以下、本発明の実施形態に係る監視システム、及び監視方法について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。
(第1実施形態)
図1は、本実施形態に係る監視システム1の概略構成を示す図である。図1に示すように、監視システム1は、監視対称となる空間内の人物状態の情報を取得可能なシステムであり、撮影装置11と、第1計測装置12と、監視装置13とを備える。監視システム1は、例えば、列車、バスなどの客車内、エレベータホールなどに配置される。すなわち、この監視システム1は、例えば鉄道車両内の天井、バス内の天井、エレベータホール内の天井などに配置され、例えば上方から下方に向けて状態情報を取得可能な装置である。なお、撮影装置11、第1計測装置12、及び監視装置13は個別の治具で天井に設置してもよい。或いは、一対の治具により一体的に固定して天井に設置してもよい。固定治具の構造は任意である。
ここで図2及び図3を用いて監視システム1の構成例を説明する。図2は、監視システム1の構成例を示すブロック図である。図2に示すように、撮影装置11は、例えばCPUを有して構成される。この撮影装置11は、人物を撮像し、年齢を推定することが可能な装置であり、人物情報記憶部110と、複数のカメラ111a、bと、人物検出部112と、年齢推定部113と、通信部134とを有する。なお、撮影装置11の詳細は後述する。
第1計測装置12は、例えばCPUを有して構成される。第1計測装置12は、撮影装置11が撮像した画像中の人物の状態情報として、心拍数、呼吸数を非接触な状態で計測可能な装置であり、複数の送受信部121と、アンプ122と、処理部123と、を有する。
監視装置13は、例えばCPUを有して構成される。監視装置13は、人物の状態を判定可能な装置であり、記憶部131と、判定部132と、発砲部133と、通信部134とを有する。なお、本実施形態に係る監視システム1は、複数のカメラ1111a、b、cと、複数の送受信部121と、を有するが、これに限定されない。例えば、監視システム1は、単一のカメラ111と、単一の送受信部121とを有するように構成してもよい。なお、第1計測装置12及び監視装置13の詳細も後述する。
また、図2には、表示装置200が更に図示されている。表示装置200は、例えば列車などの運転室、及び中央監視室などに配置される。この表示装置200は、監視装置13と有線又は無線で通信し、例えば、モニタ201とスピーカ202とを有する。また、表示装置200は、監視装置13から送信された画像信号に応じた画像をモニタ201に表示し、送信された音声信号に応じた音声をスピーカ202により発声する。
撮影装置11の人物情報記憶部110は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等により実現される。人物情報記憶部110は、例えば、年齢別の標準脈拍範囲、或いは異常状態の脈拍範囲の情報を記憶している。例えば異常状態の脈拍範囲は、低脈拍領域の範囲と、高脈拍領域の範囲とに分けられる。
図3は、車両200内の複数のカメラ111a、bと、複数の送受信部121の配置例を示す上面図である。ラインL200は、対面する開閉ドアの中間部を示す。すなわち、車両200は、例えば8つの開閉ドアを有する。ラインL202は、車両200の進行方向の中心線、すなわち車両200の長手方向の中心線を示す。車両200内には座席202が配置される。複数のカメラ111a、bは、動画撮影が可能なカメラである。
図3に示すように、撮影装置11のカメラ111a、bは、車両200の短辺側に配置される。すなわち、カメラ111a、bは、車両200の他車両との連結側である端部に配置される。これにより、カメラ111aは、車両200内を主として左側端部から右側を撮像し、カメラ111bは、車両200内の主として右側端部から左側を撮像する。このように、カメラ111a、bを車両200の他車両との連結側の両端部に配置することにより、乗客を左右両方向から撮影可能となり、乗客の顔の少なくとも半面を撮像可能となる。これから分かるように、カメラ111a、bを車両200の他車両との連結側の端部に配置することにより、進行方向の奥行を広く映せるため、カメラ111a、bの設置点数を減らすることが可能となる。また、撮影装置11では、カメラ111a、bで撮像する画像の座標を、車両200内の座標、例えば平面座標と予め対応づけている。また、複数のカメラ111a、bで撮像された画像は、撮像したカメラと撮像した時間が関連づけられ、人物情報記憶部114に記憶される。
また、図3に示すように、複数の送受信部121のそれぞれは、ラインL200と、ラインL202との交点部に配置される。これにより、複数の送受信部121は、開閉ドアから出入りする乗客のほぼ全てを上方から斜め下方に向けて計測可能である。換言すると、複数の送受信部121は、開閉ドアから出入りする乗客を測定できる位置に配置される。
図4は、監視装置13が表示装置200に表示させる画面例を示す図である。画面M10がモニタ201(図2参照)の画面を示し、画面M10内の画面M12が車両200の上面図であり、マークmh10、mh20は、何らかの異常が検出された人物h10、h20の位置を示す。画面M10内の画面M14には、カメラ111a、bで撮像された画像が交互に写し出される。領域ag10、ag20は、後述する人物検出部112が検出した人物h10、h20の領域を示す。また、領域f10、f20は、後述する人物検出部112が検出した領域ag10、ag20内の顔領域を示す。
再び図2に示すように、撮影装置11の人物検出部112は、人物情報記憶部114に記憶される各画像内から人物の領域ag10、ag20と、この人物の領域ag10、ag20内の顔領域f10、f20を検出する(図4のM14参照)。この人物の領域ag10、ag20と、顔領域f10、f20とを検出するアルゴリズムは、一般的なアルゴリズムを用いることが可能である。例えば、時系列な差分画像から移動物の輪郭線を抽出し、抽出した輪郭線に基づくラベリング処理及び色分離処理などにより人物領域が抽出される。また、例えば人物領域ag10、ag20内の色及び形状認識により顔領域f10、f20が抽出される。
また、人物検出部112は、検出した人物の領域ag10、ag20と、顔領域f10、f20との座標を、車両200内の平面座標に関連づける。この場合、複数のカメラ111aの撮像した画像領域と、カメラ111bの撮像した画像領域とは重複する場合がある。このため、検出した人物の領域ag10、ag20と、顔領域f10、f20との領域も重複する場合がある。そして、人物検出部112は、検出した人物の領域ag10、ag20と、顔領域f10、f20との領域の座標と、車両200内の平面座標とを撮像画像に関連づけ、人物情報記憶部110に記憶する。すなわち、この人物検出部112の生成する位置情報は、例えば検出した人物の領域の外接矩形の座標、及び外接矩形の重心の位置座標、検出した顔領域の外接矩形の座標及び重心の位置座標などである。
撮影装置11の年齢推定部113は、人物検出部112が検出した顔領域の画像に対して年齢推定処理を行う。この年齢推定処理のアルゴリズムも一般のアルゴリズムを用いることが可能である。例えば年齢推定部113は、顔領域の画像に対して、皺などに関する複数の特徴量を生成する画像処理部と、この複数の特徴量を入力とし、出力を年齢とするニューラルネットワーク部とを有する。そして、年齢推定部113は、人物情報記憶部114に記憶される撮像画像に更にニューラルネットワーク部による推定年齢を関連づけて記憶する。また、年齢推定部113は、検出した人物の領域ag10、ag20の位置情報、推定年齢、及び撮像時間の情報を監視装置13の記憶部131に供給する。
本実施形態に係る年齢推定部113は、所謂ニューラルネットワークを認識に用いるがこれに限定されない。例えば年齢推定部113は、特定した顔領域の画像と人物情報記憶部114に記憶される顔領域の画像を比較し、特定した人物画像の年齢を推定してもよい。この年齢推定方法は、例えば画像の類似度を比較して類似度が近い画像の年齢を特定人物の年齢とする。
なお、人物検出部112と年齢推定部113のうちの一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の回路基板であるハードウェアによって実現されてもよい。すなわち、人物検出部112と年齢推定部113とは、電子回路で構成してもよい。
図5は、第1計測装置12における送受信部121の照射範囲As10と、特定した領域As12の例を模式的に示す図である。領域As12は、処理部123で特定した人物h10の例えば胸部領域である。
図5を参照しつつ、再び図2に示すように、第1計測装置12の送受信部121は、2つの送受信部を組として対象物までの距離測定及び位置測定を行うことが可能である。例えば、処理部123は、2つの送受信部の対象物までの2つの距離と、2つの送受信部間の距離とを用いた三角測量の原理により例えば人物h10の位置を測定する。
送受信部121は、変調波(送信波)を生成し、照射範囲As10に送信する。例えばこの送信波はミリ波であり、FMCW(周波数連続変調)方式が用いられる。そして、送受信部121は、例えば人物h10から反射した反射波を受信する。送受信部121は、送信波と受信波を混合し、IF(中間周波数)信号を生成し、アンプ122に供給する。アンプ122は、IF(中間周波数)信号を増幅し、A/D変換部でデジタル信号に変換し、処理部123に供給する。また、送受信部121は、照射電波を変調した周波数を掃引して照射することにより、様々な対象に対し位相の異なる電波を照射できるため、反射を区別することができる。この場合、送受信部121の2つの送受信部は、照射電波の変調を同調させている。
処理部123は、デジタル信号に基づき、一般的な信号処理を実施して対象物毎の距離を生成する。そして、処理部123は、2つの送受信部からの対象物毎の距離を用いて対象物の位置を生成する。
また、処理部123は、デジタル信号に基づき計測対象までの距離変動を、計測対象の振幅として時系列に生成する。そして、処理部123は、計測対象における振幅の時系列な変動を周波数として算出する。なお、振幅の生成処理は、一般的な処理を用いることも可能である(例えば特許文献1参照)。
処理部123の処理では、基本的に機械のような静止している物体は装置間の距離に変化がない場合の振幅は0になる。一方で人体は、血管や心臓の収縮(心拍数)や、呼吸による皮膚の変動により、装置間距離が変動するため、算出した振幅が時系列に変動する。そして、処理部123は、時系列に変動する振幅の周期情報に基づき、心拍数/呼吸数に対応する周波数を算出する。また、例えば処理部123は、周波数の測定に所謂ドップラーFFTを用いて、対象物の速度変化の周期性に基づき、心拍数/呼吸数に対応する周波数の情報を演算することも可能である。
処理部123は、生成した周波数が、心拍数/呼吸数の範囲内にある場合に、測定対象を人物と判定する。このような処理により、特定された人物h10の胸部領域がAs12(図5参照)である。処理部123は、特定された人物h10の領域As12の位置情報と、心拍数/呼吸数に対応する周波数の情報、測定時間を監視装置13に供給する。処理部123の生成する位置情報は、例えば検出した人物の胸部領域の外接矩形の座標、及び外接矩形の重心の位置座標などである。
監視装置13の記憶部131は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等により実現される。記憶部131は、上述のように、撮影装置11で検出した人物の位置情報、年齢情報、及び時間情報と、第1計測装置12で算出した計測範囲内の人物の位置情報、心拍数、呼吸数、及び時間情報を記憶する。この記憶部131は、例えば、年齢別の標準の心拍数範囲、異常状態の心拍数範囲の情報、標準の呼吸数範囲、異常状態の呼吸数範囲の情報など、を記憶している。
判定部132は、監視範囲内の人物に異常があるか否かを判定する。より具体的には、判定部132は、撮影装置11で検出した人物の年齢情報に対応する標準範囲の心拍数範囲、及び呼吸数範囲の情報を記憶部131から取得する。そして、撮影装置11で検出したこの人物h10、h20の位置情報(領域ag10)に対応する領域As12に関連づけられた心拍数と呼吸数とを記憶部131から取得する。そして、判定部132は、領域As12に関連づけられた心拍数と呼吸数との少なくとも一方が、標準範囲にない場合に、人物h10は異常状態であると判定する。
判定部132は、異常がある場合に、人物h10、h20の撮像された画像を人物情報記憶部110から読込み、人物h10の領域を画像中に書き込み、異常の判定理由、例えば「心拍異常」、「呼吸異常」などの人物の状態を示す通知情報とともに発砲部133に出力する。すなわち、判定部132は、撮像装置11が撮像した人物h10の心拍数と呼吸数との少なくとも一方が、標準範囲にない場合に、例えば「心拍異常」、「呼吸異常」などの人物の状態情報を含む通知情報を生成する。
また、判定部132は、人物h10に異常がある場合に、すなわち、人物h10が所定の状態である場合に、人物h10の位置座標を、列車200の平面図にマークmh10、mh20として書き込み、発砲部133に通知情報として出力する。判定部132は、例えば人物h10、h20が動画として撮影され続けられている期間は、人物h10、h20の位置座標を、列車200の平面図にマークmh10、mh20として書き込み、発砲部133への通知情報の出力を継続する。上述のように、本実施形態では、「心拍異常」、「呼吸異常」などの人物の状態情報が通知情報に含まれる。例えば、判定部132は、通知情報として、列車200の平面図にマークmh10、mh20として書き込んだ画像(図4のM12参照)と、人物の領域ag10、ag20と、顔領域f10、f20と、「心拍異常」、「呼吸異常」などの人物の状態とを書き込んだカメラ111a,bの撮像画像(図4のM14参照)とを含む画像信号を生成する。また同時に、判定部132は、通知情報として、「心拍異常」、「呼吸異常」などの人物の状態情報を含む音声信号を生成する。
発砲部133は、スピーカを有している。発砲部133は、通知情報を受信した場合に、通知情報に応じた警告音を発砲する。これにより、監視装置13の周囲の人に異常が発生したことも知らせることが可能となる。なお、音声信号は、同一の人物h10に対しては、1回だけ出力するように構成してもよい。なお、発砲部133は、通知情報に含まれる物の状態を関連づけた状態情報に応じて警告音の発砲内容を変更することが可能である。例えば、警告音として、「心拍異常」、「呼吸異常」などと発砲してもよい。
また、発砲部133は、判定部132から供給された音声信号、及び画像信号を含む通知情報を表示装置200に送信する。この音声信号は、上述のように、異常が発生したことを示す情報を含む信号である。これにより、表示装置200のモニタ202は、図4に示すように異常がある車両の情報(M12、14参照)を表示する。また、表示装置200のスピーカ203は、「心拍異常」、「呼吸異常」などの人物の状態を示す音声信号に応じた警告音を発声する。このように、判定部132は、異常がある場合には、図4に示すように異常がある車両の情報(図4のM12、14参照)を、表示装置200に発砲部133を介して警告音とともに表示させる。これにより、表示装置200の監視者は、車両200内の人物の状態を容易に判断することが可能となる。
また、判定部132、発砲部133は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の回路基板であるハードウェアによって実現してもよい。さらにまた、撮影装置11、第1計測装置12、及び監視装置13は、CPU、記憶部等を共通化してもよい。或いは、撮影装置11、第1計測装置12、及び監視装置13は、一つのLSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の回路基板を共有化させて構成してもよい。以上が、監視システム1の構成例の説明であるが、以下に処理例を説明する。
図6は、撮影装置11の処理例を示すフローチャートである。複数のカメラ111a、bは、設置位置から斜め下方の範囲、又は水平方向の範囲の画像を撮像し、物情報記憶部114に記憶する(ステップS11)。各撮像画像には撮像時刻が関連づけられている。
次に、人物検出部112は、人物情報記憶部114に記憶される各画像内から人物の領域と、この人物の領域内の顔領域を検出する。人物を検出した場合、人物が含まれる矩形領域の座標と、顔領域の座標とを生成する(ステップS12)。
次に、人物検出部112は、人物を示す矩形の2次元の重心座標(対角線の交点)の座標を算出する(ステップS13)。算出した座標が特定した人物の画像上の位置を示し、マークmh10、mh20(図4参照)などの基準座標となる。
次に、年齢推定部113は、顔領域の座標に対応する画像に基づく特徴量を生成し、特徴量に基づき年齢を推定する(ステップS14)。年齢推定部113は、特定した人物の位置座標などと、推定した年齢を記憶部131に送信する(ステップS15)。撮影装置11はこれらの処理を一定時間ごとに実施し、更新する。
図7は、第1計測装置12の処理例を示すフローチャートである。ステップS21において、送受信部121は設置方向に対して、下方向に電波を照射し、照射範囲内で反射した電波を受信する(ステップS21)。送受信部121は、送信波と受信波を混合し、IF(中間周波数)信号を生成し、アンプ122に供給する。また、照射電波は変調した周波数を掃引して照射することで、様々な対象に対し位相の異なる電波を照射できるため、反射を区別することができる。
次に、アンプ122は、IF(中間周波数)信号を増幅し、A/D変換部でデジタル信号に変換し、処理部123に供給する(ステップS22)。
次に、処理部123は、デジタル信号に基づき、測定対象までの距離値の時系列な変動を反射対象の振幅として算出する(ステップS23)。続けて、処理部123は、時系列な振幅変動の周波数を算出し、生成した周波数が、心拍数/呼吸数の範囲内にある場合に、測定対象を人物と判定する(ステップS24)。すなわち、処理部123は、算出した振幅が0ではなく、且つ周波数が人物の心拍数/呼吸数の範囲内にある対象を人物と判定する。
次に、処理部123は、2つの送受信部からの対象物毎の距離を用いて、人物と判定した対象物の位置を算出する。この場合、処理部123は、同一の周期で変動する連続した領域の全体を例えば胸部領域として検出する(ステップS24)。
次に、処理部123は、人物と判定した対象物の位置、領域の情報と、心拍数、及び呼吸数それぞれに対応する周波数を監視装置13の記憶部131に供給する。第1計測装置12はこれらの処理を一定時間ごとに実施し、更新する。
図8は、監視装置13の処理例を示すフローチャートである。ここでは、警報を発砲するまでの処理を説明する。判定部132は、記憶部131に格納される、撮影装置11で撮影した画像から特定した人物の位置情報と、第1計測装置12で算出した人物の位置情報をそれぞれ読み出す(ステップS31)。
判定部132は、それぞれの位置座標を比較し、位置座標の値が対応する組み合わせを探索し、第1計測装置12で算出した心拍数/呼吸数と、撮影装置11で撮影した人物画像を対応付ける(ステップS32)。
続けて、判定部132は、対応付けされた人物画像の推定年齢に基づき、標準の心拍数/呼吸数を記憶部131から読み出す(ステップS33)。人体の標準の心拍数/呼吸数は年齢に応じて異なり、例えば、幼児(1~3歳)は心拍数が120~140、青少年は70~90などである。
次に、判定部132は、第1計測装置12で算出した当該人物の心拍数/呼吸数と標準心拍数/呼吸数を一定時間比較し、設定した閾値の範囲内にあるか否かを判定する(ステップS34)。判定結果が正常であると判定する場合(ステップS34のYes)、判定部132は、ステップS31からの処理をくり返す。
一方で、判定結果が異常であると判定する場合(ステップS34のNo)、判定部132は、発砲部133に状態情報を含む通知情報を送信し、異常を知らせる発砲を行う。同時に当該人物の位置情報と時刻など記憶部131に格納する。
このように、計測範囲内に存在する人物の位置と心拍数/呼吸数をモニタリングすることで、体調に異常が発生した人物が画像上のどの位置に存在するかを迅速に判断できる。このため早期対応が可能となる。また同時に発砲をするため、監視室内、運転室内、及び監視装置13などの周囲にいる人に異常が発生したことを知らせることが可能となる。特に監視室、運転室などに配置された表示装置200を介し、監視者に異常が発生したことを画像情報とともにも知らせることが可能となる。このため、監視者は状況に応じた処置、例えば列車の停止処理、ドアの開閉処理などを迅速に判断できる。
図9は、車両200内の複数のカメラ111a、b、cと、複数の送受信部121の別の配置例を示す上面図である。図9では、撮影装置11は、複数のカメラ111cを有する点で図3の配置例と相違する。カメラ111cは、例えば魚眼レンズを有するカメラであり、ラインL200と、ラインL202との交点部に配置される。これにより、複数のカメラ111cは、開閉ドアから出入りする乗客のほぼ全てを上方から撮像可能となる。換言すると、複数のカメラ111cは、開閉ドアから出入りする乗客のほぼ全てを上方から撮像可能位置に設置される。また、カメラ111c毎に撮像領域A200が割り振られている。本実施形態では、カメラ111cで撮像した画像内の座標と、撮像領域A200内の平面座標とを予め対応づけている。複数のカメラ111a、b、cで撮像された画像は、撮像したカメラと撮像した時間が関連づけられ、人物情報記憶部114に記憶される。また、複数のカメラ111cの画像が真下の画像であり、複数の送受信部121の計測範囲とも重なり、人物の対応付けをより正確に行うことが可能となる。これにより、車両200内の乗客数が増加した場合にも、乗客をより詳細に撮像することが可能となり、監視システム1の判定精度がより向上する。
以上説明したように、本実施形態によれば、撮影装置11が監視対象となる空間内の画像を撮像し、第1計測装置12が画像中の人物の状態を計測し、監視装置13が画像中の人物が所定の状態である場合に、通知情報を生成することとした。これにより、画像情報に加えて、画像中の人物の状態計測の結果を用いるので、より高精度に画像中の人物の状態に応じた通知情報を生成することが可能となる。
(第2実施形態)
第2実施形態に係る監視システム1は、悲鳴検知装置(第2計測装置)14を更に備える点で第1実施形態に係る監視システム1と相違する。以下では、第1実施形態に係る監視システム1と相違する点を説明する。
図10は、第2実施形態に係る監視システム1の構成例を示すブロック図である。図10に示すように、第2実施形態に係る監視システム1は、撮影装置11、第1計測装置12、監視装置13に加え悲鳴検知装置14を更に備える。なお、本実施形態に係る第1計測装置12、及び悲鳴検知装置(第2計測装置)14が計測装置に対応する。
悲鳴検知装置14は、音声収集部141と、音声情報記憶部142と、悲鳴検出部143と、第2発砲部144と、を有する。音声収集部141は例えばマイクロフォンである。マイクロフォンは、指向性があってもよく、或いは無指向性でもよい。マイクロフォンは複数本設置してもよい。音声収集部141は、集音した人物の音声や周囲の音を録音する。
音声情報記憶部142は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等により実現される。音声情報記憶部142は、過去に録音した様々な種類の悲鳴の音データを格納する。
悲鳴検出部143は、収集した音データと音声情報記憶部142の悲鳴データを比較して所定の音声、例えば悲鳴を検出する。悲鳴は、例えば人物の危険や危機を知らせる人が発する音声である。
悲鳴検出部143は、悲鳴を検出した時刻と、悲鳴を集音した音声収集部141の位置とを監視装置13の記憶部131に格納し、監視装置13の判定部132にも供給する。なお、悲鳴検出部143は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の回路基板であるハードウェアによって実現されてもよい。
第2発砲部144は、悲鳴検出部143が悲鳴を検出した場合に、悲鳴を検出したこと示す音声信号を表示装置200に送信する。また、第2発砲部144は、スピーカを有しており、このスピーカで悲鳴を検出したこと示す音声を発生することも可能である。さらにまた、監視装置13の判定部132は、悲鳴を集音した音声収集部141の位置を含む車両の撮像画像を、モニタ202の画像M14(図4参照)に表示させてもよい。これにより、表示装置200の監視者は、監視対象空間内の状況をより簡易に把握可能となる。
図11は、悲鳴検知装置14の処理例を示すフローチャートである。音声収集部141は、設置位置周辺の音を録音する(ステップS41)。録音された音は例えばPCM(Pulse Code Modulation)やDSD(Direct Stream Digital)などの処理方式でデジタル化され、悲鳴検出部143に送信される。
次に、悲鳴検出部143は、デジタル化された音データからパワースペクトルを算出し、算出したパワースペクトルと音声情報記憶部142に記憶される音データと比較する(ステップS42)。続けて、悲鳴検出部143は、録音した音データが悲鳴か否かを判定する(ステップS43)。悲鳴検出部143は、音声情報記憶部142に記憶される悲鳴データと録音した音データとが類似する場合に、悲鳴と判定する(ステップS43のYes)。続けて、悲鳴検出部143から第2発砲部144に発砲命令を送信し、第2発砲部144で警報を発砲する(ステップS44)。
一方で、悲鳴検出部143は、音声情報記憶部142に記憶される悲鳴データと録音した音データとが類似しない場合に、悲鳴でないと判定する(ステップS43のNo)。悲鳴検出部143は、悲鳴でないと判定する場合に、ステップS41からの処理をくり返す。また、悲鳴検出部143の検出結果に基づき、監視装置13の判定部132は、所定の音声を発している人物の状態情報として例えば「悲鳴」を、通知情報に含める。
このように、計測範囲内に存在する人物の悲鳴を検出することで、周囲に異常が発生したことを迅速に判断できるため、早期対応が可能となる。また同時に発砲をするため、周囲に異常が発生したことも知らせることが可能となる。
以上説明したように、本実施形態によれば、悲鳴検知装置(第2計測装置)14が所定の音声(例えば悲鳴)を検出した場合に、画像中の人物と、所定の音声を発している状態とを関連づけた状態情報を生成することとした。これにより、画像情報に加えて、所定の音声を発している人物の状態情報を用いて、通知情報を生成することが可能となる。
(第3実施形態)
第3実施形態に係る監視システム1は、音声発生源の位置を特定する悲鳴発生位置特定部145を
を更に備える点で第2実施形態に係る監視システム1と相違する。以下では、第2実施形態に係る監視システム1と相違する点を説明する。
図12は、第3実施形態の監視システム1の構成を示すブロック図である。図12に示すように、第3実施形態に係る悲鳴検知装置14は、悲鳴を発生した人物の位置を特定する悲鳴発生位置特定部145を更に備える。
図13は、第3実施形態に係る車両200内の複数のカメラ111a、bと、複数の送受信部121と、複数の音声収集部141との配置例を示す上面図である。ラインL200は、対面する開閉ドアの中間部を示す。すなわち、車両200は、例えば8つの開閉ドアを有する。ラインL202は、車両200の水平方向の中心線を示す。図13に示すように、二つの音声収集部141aとb、141cとdがそれぞれ組として配置される。
複数の送受信部121のそれぞれは、ラインL200と、ラインL202との交点部に配置され、更にその中間部にも配置される。これにより、車両200内の乗客のほぼ全てを上方から斜め下方に向けてより詳細に計測可能となる。
図14は、カメラ111bが撮像した画像例を示す図である。この画像は、図13の人物h10を通過するラインL13を含んでおり、ほぼラインL13に対して正対する方向から撮像されている。音性領域Av10~16は、悲鳴発生位置特定部145が特定する領域例を模式的に示す。
図15は、第3実施形態に係る監視装置13が表示装置200に表示させる画面例を示す図である。画面M10がモニタ201(図12参照)の画面を示し、画面M12が車両200の上面図であり、マークmh10は、悲鳴を発した人物h10の位置を示す。画面M14には、カメラ111a、bで撮像された画像が交互に写し出される。領域ag10は人物検出部112が検出した人物h10の領域を示す。また、領域f10は人物検出部112が検出した領域ag10内の顔領域を示す。
再び図12に示すように、悲鳴発生位置特定部145は、音声収集部141a、b、141c、d(図13参照)で録音する悲鳴と該当する音データの時間差から、音声収集部141aと音声収集部141bの距離を算出し、三角測量の原理で音源の位置を推定する。同様に、悲鳴発生位置特定部145は、音声収集部141cと音声収集部141dの距離を算出し、三角測量の原理で音源の位置を推定する。より具体的には、悲鳴検出部143は、音声収集部141a、b、141c、d(図13参照)の録音音声に対して悲鳴の認識処理を行い、それぞれの音声収集部141a、b、141c、dに対応する検出時刻を悲鳴発生位置特定部145に供給する。
悲鳴発生位置特定部145は、例えば、音声収集部141aと音声収集部141bの検出時間差が生じる距離、及び、音声収集部141aと音声収集部141bとの間の距離を用いて三角測量の原理により音源の車両200における平面座標を特定する。同様に、悲鳴発生位置特定部145は、音声収集部141cと音声収集部141dの検出時間差が生じる距離、及び、音声収集部141cと音声収集部141dとの間の距離を用いて三角測量の原理により音源の車両200における平面座標を特定する。悲鳴発生位置特定部145は、音源の位置座標、時刻を監視装置13の記憶部131に供給する。
監視装置13の判定部132は、音源の位置座標に基づき、音源の位置座標が属する音性領域Av10~16のなから音性領域Av13を一つ選択する。そして、判定部132は、選択した音性領域Av13の中から音源の位置座標に近い座標を有する人物h10を特定する。
判定部132は、特定した人物h10の撮像された画像を人物情報記憶部110から読込み、人物h10の領域を画像中に書き込み、異常の判定理由、例えば「悲鳴」、「心拍異常」、「呼吸異常」などの状態情報とともに発砲部133に通知情報として出力する。また、判定部132は、異常がある場合に、人物h10の位置座標を、列車200の平面図にマークmh10として書き込み、発砲部133に画像信号として出力する。判定部132は、例えば人物h10が動画として撮影され続けられている期間は、人物h10の位置座標を、列車200の平面図にマークmh10として書き込み、発砲部133への画像信号の出力を継続する。
発砲部133は、判定部132から供給された画像情報を含む画像信号と音声信号とを表示装置200に送信する。この音声信号は、上述のように異常が発生したことを示す状態情報を含む信号である。このように、判定部132は、異常がある場合には、図15に示すように異常がある車両の情報を、表示装置200に発砲部133を介して警告音とともに表示させる。この場合、発砲部133、及び第2発砲部144が警告音を発声してもよい。このように、発砲をするため、監視装置13、及び表示装置200の周囲の人に異常が発生したことも知らせることが可能となる。なお、音声信号は、例えば同一の人物h10に対しては、1回だけ出力されるように構成することが可能である。また、表示装置200を監視している監視者は、画像により車両200内の状況を容易に把握可能となり、状況に応じた判断、例えば列車停止、ドアの開閉などの判断を容易に行うことが可能となる。また、異常が生じた場合に異常発生箇所の画像を確認すればよいため、全車両内の画像を常に監視などする必要がなく、通常運転時には、他の操作、例えば運転操作などが阻害されることが抑制される。
判定部132は、カメラ111a、bの双方の画像がある場合には、ラインL13(図13参照)に近い側のカメラ111bの画像を優先的に表示装置200に表示させてもよい。例えば、時系列に画像表示させる場合に、例えば4枚はカメラ111bの画像を連続的に表示させ、続けて1枚はカメラ111aの画像を表示させる。これにより、状況をより容易に把握できる。
図16は、第3実施形態に係る悲鳴検知装置14の処理を示すフローチャートである。ステップS41から43は、図11と同等の処理を行う。悲鳴が発生したと判定された場合(ステップS43のYes)、悲鳴発生位置特定部145は、例えば、音声収集部141aと音声収集部141bの検出時間差が生じる距離、及び、音声収集部141aと音声収集部141bとの間の距離を用いて三角測量の原理により悲鳴発生源の車両200における座標を特定する(ステップS54)。
悲鳴発生位置特定部145は、算出した悲鳴発生座標の情報を監視装置13の記憶部131に送信する。そして、悲鳴検出部142から第2発砲部144に発砲命令を送信し、第2発砲部144で危険を知らせる警報を発砲する(ステップS55)。また、監視装置13の判定部132は、発砲部133を介して、表示装置200に、状態情報を含む音声の発生をさせると共に、画像情報などを表示させる。
図17は、第3実施形態に係る監視装置13の処理例を示すフローチャートである。判定部132は、記憶部131から撮影装置11で算出した画像上の人物の位置座標と、悲鳴検出装置14で算出した、悲鳴発生位置情報をそれぞれ読み出す(ステップS61)。
次に、判定部132は、撮影装置11で算出した画像上の人物の位置座標と、悲鳴検知装置14で算出した悲鳴発生位置が最も近くなる組み合わせを探索し、一致した組み合わせがあった場合、当該人物が悲鳴を発したと判定する(ステップS62)。続けて、判定部132は、悲鳴を発生した人物の位置情報と時刻を記憶部131に送信する(ステップS63)。そして、判定部132から発砲部133に発砲命令を送信し、発砲部133から危険を知らせる警報を発砲する(ステップS64)。
このように、計測範囲内に存在する人物の位置と悲鳴発生有無をモニタリングすることで、悲鳴を発生した人物が画像上のどの位置に存在するかを迅速に判断できるため早期対応が可能となる。また同時に発砲をするため、周囲に異常や危険が発生したことも知らせることが可能となる。
また、詳細な説明は省略するが、悲鳴検知装置14と第1計測装置12の結果も撮影装置11に加えて連動させることが可能である。これにより、例えば体調に異変を生じて苦しんで声を発している人物の特定(位置、人物、状態)も可能になるため、様々な事態に対応することが可能となる。
ここで図18乃至図21を用いて、カメラ111、送受信部121、及び音声収集部141の他の配置例を説明する。図18は、音声収集部141をドア部に配置するパターンP18と、音声収集部141をラインL200と、ラインL202との交点部に配置するパターンP19と、を示す図である。
パターンP18では、カメラ111、及び送受信部121が出入りドア付近の通路における天井中央部に配置され、画像が真下の画像のため、音源位置との対応がより高精度に行える。同様にミリ波をカメラ111同等の範囲に発生することにより、画像の被写体領域と、心拍源の胸部領域との対応がより高精度に行うことが可能となる。また、音声収集部141を端部に設置するため、反射波の入力を抑制可能となる。
一方で、パターンP19では、音声収集部141も天井中央部に配置する点で、パターンP18と相違する。パターンP19では、音声収集部141の集音領域と、カメラ111の撮像領域、及び送受信部121のミリ波の発生範囲を同等にでき、測定対象の対応付けがより高精度行える。また、音声収集部141を天井中央部に配置するので、直接音をより効率的に集音できる。
図19は、車両200の進行方向の中間部に音声収集部141を更に配置した例を示す図である。間部に音声収集部141を更に配置した点で図13の配置パターと相違する。音声収集部141を天井中央部に配置するので、直接音をより効率的に集音できる。また、端部の音声収集部141の収集音声を、天井中央部に配置された音声収集部141で補うことができ、より高精度に音源の位置を特定可能となる。
図20は、座席が進行方向又は進行方向と逆向きである車両200の配置例を示す図である。すなわち、図20は、新幹線の車両のように、車両200の進行方向に沿った側面部に開閉ドアがない場合の配置例を示す図である。カメラ151は、開閉ドア側にされるカメラである。撮像装置11は、カメラ151の画像も参照可能である。
カメラ111cは、車両200の中央部に配置される。中央部に配置されるカメラ111cにより、ドア近辺に配置されるカメラ111amの画像を補うことが可能となる。また、音声収集部141a~f、車両間のドア近辺と、車両200の中央部に配置される。中央部に配置される音声収集部141e,fにより、ドア近辺に配置される音声収集部141a~dの音声収集を補うことが可能となる。また、車両200の進行方向に対して左右対称にカメラ111a,b,c、送受信部121、及び音声収集部141a~fが配置されるため、進行方向が変わっても測定精度の変動が抑制される。
図21は、車両200の長手方向の中央部にカメラ111、及び音声収集部141を配置する例を示す図である。ドア付近のカメラ111eは魚眼レンズを有するカメラであり、カメラ111fは、通常レンズのカメラである。またカメラ111e、カメラ111fを通路の上部に4台配置するため、撮像画像の撮影範囲が5m程度の間隔となり、着席している人をより高精度に撮影することが可能となる。また、通路のカメラ111fは真下の撮影が可能となるため、音声収集部141を用いた音源の位置が特定できれば対応が付けの精度がより上げることが可能となる。
本実施形態に係る監視システム1は、車両200を例にして説明したが、これに限定されない。例えば、監視システム1は、エレベータホールなどの不特定多数の人が出入りする監視空間等に配置することも可能である。
図22は、エレベータホール300におけるカメラ111a,b、送受信部121、及び音声収集部141a~dの配置例を示す図である。カメラ1111a,b、及び音声収集部141a~dの配置は、図13などと同等であり、監視システム1は、エレベータホール300における人物の撮像及び領域の特定と、悲鳴などを発した人の位置情報を取得出来る。また、エレベータのドア前に送受信部121を配置するので、エレベータ302を待つ人の心拍などをより高精度に測定できる。
以上説明したように、本実施形態によれば、悲鳴検知装置(第2計測装置)14が所定の音声(例えば悲鳴)を検出した場合に、悲鳴発生位置特定部145が音声発生源の位置を特定することとした。これにより、音声発生源の位置と画像中の人物の位置を対応づけた状態情報を生成することが可能となる。このため、状態情報により、音声発生源の状態を画像により確認することが可能となる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。