JP6841277B2 - 監視装置、監視方法、及びプログラム - Google Patents

Description

本発明は、複数種類のセンサを用いてイベントを検知する技術に関し、特に、複数種類センサ間の方向関係のキャリブレーションを行う監視装置、監視方法、及び記録媒体に関する。

複数種類のセンサを用いてイベントを検知する監視技術が広く知られており、実用化されている。このような監視技術の一例が、特許文献１に記載されている。特許文献１に記載された監視装置は、カメラ又はマイクのいずれか一方で不審な変化（異常イベント）を検知し、異常イベントの発生方向を推定する。さらに、特許文献１に記載された監視装置は、推定した発生方向とカメラとマイクの配置位置の差とに基づいて、もう一方から見たときの異常イベントの発生方向を推定する。そして、特許文献１に記載された監視装置は、推定したもう一方から見たときの異常イベントの発生方向へ、もう一方のカメラ又はマイクを向ける。

特開２００６−３３９７４１号公報

特許文献１に記載された監視装置は、カメラとマイクとの配置位置の差に基づいて、制御を行う。このため、特許文献１に記載された監視装置においては、カメラ及びマイクの設置時の位置及び方向について、極めて高い正確度が要求されていた。このため、特許文献１に記載された監視装置においては、カメラとマイクの設置時に行う方向の較正（キャリブレーション）が高コストとなっていた。

つまり、上述した監視装置においては、センサの設置時の位置及び方向について、極めて高い正確度が要求されるという問題があった。

本発明の目的は、上述した課題である、センサの設置時の位置及び方向について、極めて高い正確度が要求されることを解決する監視装置、監視方法及び記録媒体を提供することにある。

本発明の一形態における監視装置は、音響信号を取得する音響信号取得手段と、取得した音響信号から音響イベントの発生方向を算出する音響イベント検知手段と、画像信号を取得する画像信号取得手段と、取得した画像信号から画像イベントの発生方向を算出する画像イベント検知手段と、算出した音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出する写像関係算出手段と、算出した写像関係と算出した音響イベントのうちの検知対象イベントの発生方向とを用いて画像イベントのうちの検知対象イベントの発生方向を推定する座標変換手段とを備える。

本発明の一形態における監視方法は、音響信号を取得し、取得した音響信号から音響イベントの発生方向を算出し、画像信号を取得し、取得した画像信号から画像イベントの発生方向を算出し、算出した音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出し、算出した写像関係と算出した音響イベントのうちの検知対象イベントの発生方向とを用いて画像イベントのうちの検知対象イベントの発生方向を推定する。

本発明の一形態における記録媒体は、音響信号を取得する処理と、取得した音響信号から音響イベントの発生方向を算出する処理と、画像信号を取得する処理と、取得した画像信号から画像イベントの発生方向を算出する処理と、算出した音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出する処理と、算出した写像関係と算出した音響イベントのうちの検知対象イベントの発生方向とを用いて前記画像イベントのうちの検知対象イベントの発生方向を推定する処理とをコンピュータの実行させる監視プログラムを記録する。

本発明によれば、センサの設置時の位置及び方向について、極めて高い正確度が要求されることを解決することができる。

本発明の実施形態に係る監視装置の構成を表すブロック図である。 本発明の実施形態に係るＰ_ｍとＰ_ｃの関係を説明するための概念的なイメージ図である。 本発明の実施形態に係るＰ_ｍ―Ｐ_ｃ空間をＰ_ｍの値で部分領域に分けたときの概念的なイメージ図である。 本発明の実施形態に係る音響イベント検知部で検知される方向の座標と、画像イベント検知部で検知される方向の座標とを表す概念的なイメージ図である。 実施形態の概要を示すブロック図である。 ハードウェア構成の一例を示すブロック図である。

以下に、図面を参照しながら、本発明の実施形態について詳細に説明する。なお、以下の説明では、同じ機能を有するものには同じ符号をつけ、その説明を省略する場合がある。また、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。

（構成）
図１は、本発明の第一の実施形態に係る監視装置の構成を表すブロック図である。本発明の第一の実施形態における監視装置は、音響信号取得部１と、画像信号取得部２と、音響イベント検知部３と、画像イベント検知部４と、写像関係算出部５と、座標変換部６と、表示部７とを備える。

音響信号取得部１は、複数のマイクロフォン（マイク）を備えるマイクロフォンアレイを用いて音響信号を外部から取得し、音響イベント検知部３に出力する。あるいは、音響信号取得部１は、複数の方向に向けた複数の指向性マイクロフォンを用いて音響信号を取得し、取得した音響信号を音響イベント検知部３に出力する。音響信号は、音を表す時系列信号であり、複数の時間フレームと各時間フレームに対応する音圧の情報とを持つ。以降、音響信号を可聴域音響信号であるものとして説明する。音響信号取得部１は、他にも、超音波、超低周波、又は振動情報などの時系列信号を音響信号として扱うことができる。

音響イベント検知部３は、音響信号取得部１で取得された音響信号から音源の方向（音源方向）を算出（推定）する。音響信号取得部１が複数のマイクロフォンを備えるマイクロフォンアレイを用いる場合は、複数のマイクロフォンが測定した音響信号間の到達時間差が、音源方向の算出に利用できる。この場合、音響イベント検知部３は、例えば、相互相関法又はビームフォーミング法を用いて音源方向を算出（推定）する。あるいは、音響信号取得部１が複数の方向に向けた複数の指向性マイクロフォンを用いる場合は、音響イベント検知部３は、各指向性マイクロフォンに音響イベントの発生時刻を検知することで、音響イベントが検知された指向性マイクロフォンを特定できる。このため、音響イベント検知部３は、その特定した指向性マイクロフォンが向いている方向を、音源方向とする。若しくは、複数の指向性マイクロフォンで音響イベントが検知された場合には、音響イベント検知部３は、それら複数の指向性マイクロフォンが向いている方向の中間を音源方向と特定できる。この場合、音響イベント検知部３は、各指向性マイクロフォンが取得した音響信号の強度を用いて中間方向の強度を内挿する。

また、音響イベント検知部３は、音響信号取得部１から受信した音響信号から音響イベントを検知するとともに、検知した音響イベントをキャリブレーション対象イベントと検知対象イベントとに分類する。

音響イベントは、予め定義された音響上の特徴である。例えば、音響イベントは、受信した音響信号のある時間フレーム（現時間フレーム）の音圧とそれ以前の過去の時間フレームの音圧とを比較した時に、音圧の差が事前に設定した閾値を超えている状態のことである。音響イベントの発生時刻は、現時間フレームに対応する時刻である。あるいは、音響イベントは、受信した音響信号を周波数スペクトルに変換した時に、周波数の分布（スペクトルパタン）が事前に設定した形状のまま一定時間継続している状態のことである。

キャリブレーション対象イベントは、ユーザが予め定義する、音響信号と画像信号との両方から検出できる事象である。キャリブレーション対象イベントの例としては、歩く動作、話す動作、逃げる動作、暴れる動作、手をたたく動作、又は、外部の装置等に基づく音と光のパターン等がある。

検知対象イベントは、ユーザが予め定義する音響信号と画像信号とのどちらかから検出できる事象である。検知対象イベントの例としては、例えば、犯罪又は事故の発生時刻における暴れる動作又は逃げる動作がある。検知対象イベントのうち、音響信号で検知可能な例としては、多人数が集まった場所で暴れる人の罵声又は悲鳴がある。また、同様に、画像信号で検知可能な例としては、群衆が単一方向に逃げる動作、又は、人が道路中に寝そべる動作がある。

一つの音響イベントは、キャリブレーション対象イベントと検知対象イベントとのどちらか一方に分類される場合だけでなく、両方に分類される場合もある。

画像信号取得部２は、カメラを用いて画像信号を取得し、画像信号を画像イベント検知部４及び表示部７に出力する。ここで、画像信号は、画像を表す電気的な時系列信号であり、複数の時間フレームと各時間フレームに対応する輝度の情報とを持つ。以降、画像信号を可視光画像信号であるものとして説明する。カメラの数は、複数としてもよい。カメラの数を複数とした場合は、画像信号取得部２は、複数のカメラが取得した画像を１つの画像に合成する。画像信号取得部２は、他にも、赤外線画像、熱画像（サーモグラフィー）、又はレーダー画像などの時系列信号を画像信号として扱うことができる。また、画像信号は、２次元画像としてもよいし、立体画像（深度画像）としてもよい。

画像イベント検知部４は、画像信号取得部２で取得された画像信号から画像イベントが発生した方向（画像イベント発生方向）を算出（推定）する。

また画像イベント検知部４は、画像信号取得部２で取得された画像信号から画像イベントを検知するとともに、検知した画像イベントをキャリブレーション対象イベントと検知対象イベントとに分類する。画像イベントは、取得された画像信号のある時間フレーム（現時間フレーム）の輝度とそれ以前の過去の時間フレームの輝度とを比較した時に、輝度の差が事前に設定した閾値を超えている状態のことである。画像イベントの発生時刻は、現時間フレームに対応する時刻である。一つの画像イベントは、キャリブレーション対象イベントと検知対象イベントとのどちらか一方に分類される場合だけでなく、両方に分類される場合もある。

キャリブレーション対象イベントと検知対象イベントとの定義は、例えば、予め専用の装置に検知したい事象の音響信号又は画像信号を取得し、機械学習させてモデル化させたものを辞書的に用いる。この場合、音響イベント検知部３又は画像イベント検知部４は、モデルの尤度が閾値を超えた場合にそのモデルに対応するキャリブレーション対象イベント又は検知対象イベントが発生したと判断する。より具体的には、例えば、音響イベント検知部３又は画像イベント検知部４は、専用の装置に、検知したい事象の音響信号又は画像信号から特徴量を抽出させる。特徴量は、メル周波数ケプストラム係数（ＭＦＣＣ、Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ）等である。さらに、音響イベント検知部３又は画像イベント検知部４は、抽出させた特徴量を、モデル化手法を用いて専用の装置にモデル化させる。モデル化手法は、ガウス混合モデル(ＧＭＭ、Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ)や隠れマルコフモデル（ＨＭＭ、Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）等である。

写像関係算出部５は、音響イベント検知部３と画像イベント検知部４とで同時に検知されたキャリブレーション対象イベントについて、音響イベント検知部３と画像イベント検知部４とのそれぞれが算出した発生方向から、写像関係を算出する。この発生方向とは、音源方向及び画像イベント発生方向のことである。さらに、写像関係算出部５は、算出した現時刻の写像関係と直前に算出した過去の時刻の写像関係とを比較し、その差が閾値以上である場合に、カメラ又はマイクの方向関係が変わったと判断する。同時に検知とは、必ずしも同時刻に検知されたことを意味するのではない。キャリブレーション対象イベントの種別ごとに設定した一定時間内の違いは、同時とみなす。

写像関係算出部５は、写像関係の算出方法として、例えば、写像関係として多項式を仮定し、最小二乗法等を用いて多項式のパラメータを推定する、多項式回帰と呼ばれる手法を利用する。あるいは、写像関係算出部５は、ノイズ対策として、サポートベクトル回帰と呼ばれる手法、又は、ＲＡＮＳＡＣ(ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ)と呼ばれる手法を利用してもよい。

ここでは、ＲＡＮＳＡＣを利用する写像関係の算出方法を説明する。音響イベント検知部３で検知されたキャリブレーション対象イベントの発生方向（第１の発生方向）をＰ_ｍとする。音響イベント検知部３で検知されたのと同時に画像イベント検知部４で検知されたキャリブレーション対象イベントの発生方向（第２の発生方向）をＰ_ｃとする。写像関係算出部５は、第１の発生方向Ｐ_ｍから第２の発生方向Ｐ_ｃへの写像変換行列Ｈを算出する。この写像変換行列Ｈの算出にあたって、写像関係算出部５は、数式１に示す変換誤差Ｅが予め設定した閾値以下（条件１）となるように算出する。Ｐ_ｍとＰ_ｃの組が複数組存在する場合、写像関係算出部５は、条件１を満たす組（以降、Ｉｎｌｉｅｒと呼ぶ）の数が最大となるような写像変換行列Ｈを算出する。

図２は、Ｐ_ｍとＰ_ｃとの関係を説明するための概念的なイメージ図である。横軸がＰ_ｍ、縦軸がＰ_ｃである。黒点は、音響イベント検知部３と画像イベント検知部４とで同時に検知されたキャリブレーション対象イベントの発生方向（Ｐ_ｍとＰ_ｃの組）を示す。写像変換行列Ｈに基づく写像が点線（Ｐ_ｃ＝ＨＰ_ｍ）のように表されるとき、点線から縦軸方向に予め設定した閾値以内の範囲が（条件１）を満たす領域である。つまり、写像関係算出部５は、この領域に含まれる黒点（すなわちＩｎｌｉｅｒ）の数が最大となるように写像変換行列Ｈを算出する。さらに、写像関係算出部５は、Ｐ_ｍ―Ｐ_ｃ空間をＰ_ｍの値で部分領域に分けたときの各部分領域ａ_ｉ ^ｍ（ｉは１以上Ｎ以下の自然数）について、変換誤差の期待値σ_ｉを算出する。Ｎは部分領域の総数である。また、写像関係算出部５は、各部分領域ａ_ｉ ^ｍについて信頼度Ｒ_ｉ ^ｍを算出する。

図３は、Ｐ_ｍ―Ｐ_ｃ空間をＰ_ｍの値で部分領域に分けたときの概念的なイメージ図である。点線で囲った領域が、それぞれＰ_ｍのｉ番目の部分領域ａ_ｉ ^ｍを示す。

図４は、音響イベント検知部３で検知される方向の座標と、画像イベント検知部４で検知される方向の座標を表す概念的なイメージ図である。黒点は、部分領域ａ_ｉ ^ｍ内の音響イベント検知部３と画像イベント検知部４で同時に検知されたキャリブレーション対象イベントの発生方向（Ｐ_ｍとＰ_ｃの組）である。図４左におけるグレーの領域は、音響イベント検知部３で検知される部分領域ａ_ｉ ^ｍを示している。図４右におけるグレーの領域は、音響イベント検知部３で検知される部分領域ａ_ｉ ^ｍを画像イベント検知部４で検知される方向に置き換えた場合の部分領域（対応する部分領域）ａ＾_ｉ ^ｍを示している。

なお、ハット記号「＾」は、各変数の上に記載される記号であるが、本明細書では変数の右側（例えば、「ａ＾」）に記載する。

対応する部分領域ａ＾_ｉ ^ｍにおける変換誤差の期待値σ_ｉは、例えば、数式２に示すように、対応する部分領域ａ＾_ｉ ^ｍ内に存在するＩｎｌｉｅｒの、変換誤差Ｅの標準偏差の定数倍とする。

ｎ_ｉ ^ｉｎは部分領域ａ＾_ｉ ^ｍ内に存在するＩｎｌｉｅｒの数、Ｅ_ｅはｅ番目のＩｎｌｉｅｒの変換誤差、ｃは定数である。また、部分領域ａ＾_ｉ ^ｍにおける信頼度Ｒ_ｉ ^ｍは、例えば、部分領域ａ＾_ｉ ^ｍ内に存在するキャリブレーション対象イベントの数に対する、対応する部分領域ａ＾_ｉ ^ｍ内に存在するＩｎｌｉｅｒの数の割合とする。あるいは、部分領域ａ＾_ｉ ^ｍにおける信頼度Ｒ_ｉ ^ｍは、対応する部分領域ａ＾_ｉ ^ｍ内に存在するＩｎｌｉｅｒの変換誤差Ｅの総和の逆数としてもよい。

写像関係算出部５は、信頼度Ｒ_ｉ ^ｍが閾値以下となる部分領域ａ_ｉ ^ｍの数が部分領域の全数Ｎに対して一定割合（例えば８０％以上）を占める場合には、カメラとマイクの方向関係が適切でないと判断する。

座標変換部６は、音響イベント検知部３で検知された検知対象イベントの発生方向Ｐ_ｍ ^Ａ（第３の発生方向）から画像イベント検知部４で検知されるであろう検知対象イベントの発生方向Ｐ＾_ｍ ^Ａを推定する。言い換えると、座標変換部６は、Ｐ_ｍ ^Ａに対応する画像イベント検知部４で検知される検知対象イベントの発生方向Ｐ＾_ｍ ^Ａを算出する。第３の発生方向Ｐ＾_ｍ ^Ａは、写像関係算出部５で算出された写像変換行列Ｈを用いて数式３から算出される。

また、座標変換部６は、Ｐ_ｍ ^Ａを含む部分領域ａ_ｊ ^ｍを特定する。さらに、座標変換部６は、特定した部分領域ａ_ｊ ^ｍにおける変換誤差の期待値σ_ｊを算出する。

表示部７は、画像信号取得部２から出力された画像信号を画像としてディスプレイに表示させる。同時に、表示部７は、音響信号取得部１から出力された音響信号を音声として再生する。また、表示部７は、画像イベント検知部４で算出した検知対象イベントの発生方向Ｐ_ｍ ^Ａ又は座標変換部６で算出した検知対象イベントの発生方向（Ｐ＾_ｍ ^Ａ）をそれぞれ、ディスプレイに逐次表示させる。座標変換部６で算出した検知対象イベントの発生方向Ｐ＾_ｍ ^Ａを表示する際、表示部７は、座標変換部６で算出した変換誤差の期待値σ_ｊを同時に表示させてもよい。変換誤差の期待値σ_ｊの表示の仕方としては例えば、Ｐ＾_ｍ ^Ａを中心とし、変換誤差の期待値σ_ｊを半径とした円で表示する。さらに、表示部７は、円及びその周辺を拡大表示させてもよい。

また、写像関係算出部５がカメラ若しくはマイクの方向関係が変わったと判断した場合、又は、写像関係算出部５がカメラとマイクとの方向関係が適切でないと判断した場合には、表示部７は、次のような内容をディスプレイ等に表示させる。すなわち、表示部７は、カメラとマイクの方向関係が適切でないことを示す警告、又は、確認若しくは注意を促すメッセージをディスプレイ等に表示させる。さらに、表示部７は、写像関係算出部５で算出した信頼度Ｒ_ｉ ^ｍを、部分領域ａ_ｉ ^ｍごとにカラーマップ等でディスプレイ上に表示させる。

以上のように、本発明の実施形態に係る監視装置は、マイクが外部から取得した音響信号とカメラが外部から取得した画像信号との両方からそれぞれキャリブレーション対象イベントの発生方向の算出を行う。さらに、本発明の実施形態に係る監視装置は、算出したキャリブレーション対象イベントの発生方向に基づいて写像関係を算出し、算出した写像関係とマイクが外部から取得した音響信号とに基づいて算出した検知対象イベントの発生方向の座標変換を行う。

このため、本発明の実施形態に係る監視装置は、カメラとマイクの設置時の位置と方向について、高い正確度を要しない。このため、本発明の実施形態に係る監視装置においては、カメラとマイクの設置時に行う方向の較正（キャリブレーション）は、低コストである。

また、本発明の実施形態に係る監視装置は、キャリブレーション対象イベントが検知される毎に写像関係を逐次算出し、算出した現時刻の写像関係と直前に算出した過去の時刻の写像関係とを比較する。そして、マイクとカメラの方向関係が変わったと判断した場合に、本発明の実施形態に係る監視装置は、警告や確認、注意を促すメッセージをディスプレイ等に表示させる。このため、ユーザはカメラ又はマイクの方向関係が変わったことに気付くことができる。

また、本発明の実施形態に係る監視装置は、音響信号取得部１が実際に外部から取得した音響信号を用いている。これにより、本発明の実施形態に係る監視装置は、音響信号取得部１が外部から取得する音響信号にマイクの設置場所毎に異なる反射音が含まれることにより生じる音源方向の算出における誤差を低減することができる。さらに、本発明の実施形態に係る監視装置は、気温や気圧等の要因で音速が変化することによる音源方向の算出における誤差を低減することができる。

以上、音響イベント検知部３が検知するキャリブレーション対象イベント及び画像イベント検知部４が検知するキャリブレーション対象イベントが、位置的にも時間的にも断絶して発生する例について説明した。本実施形態は、このほかに、キャリブレーション対象イベントが、位置を変えながら一定時間継続する場合にも対応可能である。さらに、本実施形態は、キャリブレーション対象イベントだけでなく、検知対象イベントについても同様に対応可能である。このような場合としては例えば、自動車、飛行体、又は船舶の駆動音と移動する様子、自転車のブレーキ音と移動する様子、台車の振動と移動する様子、等がある。

キャリブレーション対象イベントの始端時刻をｔ_ｓ、終端時刻をｔ_ｅとする。さらに、時刻ｔの時に音響イベント検知部３が検知するキャリブレーション対象イベントの発生方向をＰ_ｍ（ｔ）、時刻ｔの時に画像イベント検知部４が検知するキャリブレーション対象イベントの発生方向をＰ_ｃ（ｔ）とする。

音響イベント検知部３又は画像イベント検知部４は、キャリブレーション対象イベントの始端時刻ｔ_ｓ及び終端時刻ｔ_ｅを求める。

始端時刻ｔ_ｓは、音響イベント検知部３又は画像イベント検知部４が検知したキャリブレーション対象イベント（音響イベント又は画像イベント）の発生時刻と同様である。すなわち、始端時刻ｔ_ｓは、次の場合の現時間フレームに対応する時刻である。この場合とは、音響イベント検知部３が、受信した音響信号のある時間フレーム（現時間フレーム）の音圧とそれ以前の過去の時間フレームの音圧とを比較した時に、音圧の差が事前に設定した閾値を超えて大きくなっている場合である。あるいは始端時刻ｔ_ｓは、次の場合の現時間フレームに対応する時刻である。この場合とは、画像イベント検知部４が、受信した画像信号のある時間フレーム（現時間フレーム）の輝度とそれ以前の過去の時間フレームの輝度とを比較した時に、輝度の差が事前に設定した閾値を超えて大きくなっている場合である。

終端時刻ｔ_ｅは、次の場合の現時間フレームに対応する時刻である。この場合とは、音響イベント検知部３が、受信した音響信号のある時間フレーム（現時間フレーム）の音圧とそれ以前の過去の時間フレームの音圧とを比較した時に、音圧の差が事前に設定した閾値より小さくなっている場合である。あるいは、終端時刻ｔ_ｅは、次の場合の現時間フレームに対応する時刻である。この場合とは、画像イベント検知部４が、受信した画像信号のある時間フレーム（現時間フレーム）の輝度とそれ以前の過去の時間フレームの輝度とを比較した時に、輝度の差が事前に設定した閾値より小さくなっている場合である。

音響イベント検知部３又は画像イベント検知部４は、求めた始端時刻ｔ_ｓ及び終端時刻ｔ_ｅ間の時間を任意の数に分割する。この分割にあたって、音響イベント検知部３又は画像イベント検知部４は、例えば、１秒毎などのように等時間毎に分割を行ってもよいし、等時間でなくても分割を行ってよい。

音響イベント検知部３又は画像イベント検知部４は、分割した時間それぞれの開始時刻について、キャリブレーション対象イベントの発生方向を求める。

以上により、複数の時刻ｔ＝｛ｔ_ｓ，ｔ_１，ｔ_２，・・・，ｔ_ｅ｝についてＰ_ｍとＰ_ｃの組｛Ｐ_ｍ（ｔ_ｓ），Ｐ_ｃ（ｔ_ｓ）｝，｛Ｐ_ｍ（ｔ_１），Ｐ_ｃ（ｔ_１）｝，｛Ｐ_ｍ（ｔ_２），Ｐ_ｃ（ｔ_２）｝，・・・，｛Ｐ_ｍ（ｔ_ｅ），Ｐ_ｃ（ｔ_ｅ）｝が求まる。このＰ_ｍ（ｔ）とＰ_ｃ（ｔ）の組を用いて、写像関係算出部５は、写像関係を算出する。

また、写像関係算出部５は、時刻のずれをτとして、｛Ｐ_ｍ（ｔ）,Ｐ_ｃ（ｔ＋τ）}の相関が最大になるようなτの値を求め、Ｐ_ｃ（ｔ）の代わりにＰ_ｃ（ｔ＋τ）を用いて写像関係を算出することとしてもよい。

本実施形態によれば、センサの設置時の位置及び方向について、極めて高い正確度が要求される問題を解決することができる。

つまり、本実施形態に係る監視装置は、センサの設置時の位置及び方向について、極めて高い正確度を実現できるとの効果を奏する。

その理由は、次のとおりである。音響信号取得部１は、音響信号を取得する。音響イベント検知部３は、取得した音響信号から音響イベントの発生方向を算出する。画像信号取得部２は、画像信号を取得する。画像イベント検知部４は、取得した画像信号から画像イベントの発生方向を算出する。写像関係算出部５は、算出した音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出する。座標変換部６は、算出した写像関係と算出した音響イベントのうちの検知対象イベントの発生方向とを用いて画像イベントのうちの検知対象イベントの発生方向を推定する。

このように、本実施形態の監視装置は、音響イベント及び画像イベントのうちのキャリブレーション対象イベントの発生方向を用いて写像関係を算出する。そして、監視装置は、音響イベント及び画像イベントの発生方向だけではなく、算出した写像関係と音響イベントの検知対象イベントの発生方向とを基に画像イベントのうちの検知対象イベントを推定する。そのため、監視装置は、センサの設置時の位置及び方向について、極めて高い正確度を実現できる。

図５は、上記の効果の説明に関連する構成を含む監視装置の概要の構成を示すブロック図である。すなわち、図５に示されている監視装置は、音響信号取得部１と、画像信号取得部２と、音響イベント検知部３と、画像イベント検知部４と、写像関係算出部５と、座標変換部６とを含む。そして、図５に示されている監視装置は、図１に示されている監視装置と同様の効果を実現できる。なお、図５に示されている監視装置は、本実施形態の最小構成である。ただし、各構成部は、適宜、表示部７に相当する構成に情報を送信する。

次に、ハードウェア構成について説明する。以上の説明した監視装置は、次のように構成される。例えば、監視装置の各構成部は、ハードウェア回路で構成されてもよい。また、監視装置において、各構成部は、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。また、監視装置において、複数の構成部は、１つのハードウェアで構成されてもよい。また、監視装置は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを含むコンピュータ装置として実現されてもよい。監視装置は、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Input / Output Circuit）と、ネットワークインターフェース回路（ＮＩＣ：Network Interface Circuit）とを含むコンピュータ装置として実現されてもよい。

図６は、監視装置のハードウェア構成の一例を示すブロック図である。監視装置６００は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。

ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図１に示す、音響信号取得部１と、画像信号取得部２と、音響イベント検知部３と、画像イベント検知部４と、写像関係算出部５と、座標変換部６としての各機能を実現する。ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は内部記憶装置６４０を、プログラムの一時記憶媒体として使用してもよい。また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記録媒体７００が含むプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０に保存して、保存したプログラムを基に動作してもよい。

ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ−ＲＯＭ（Programmable-ROM）又はフラッシュＲＯＭである。

ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ−ＲＡＭ（Dynamic-RAM）である。

内部記憶装置６４０は、監視装置６００が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作してもよい。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。

ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性（non-transitory）の記録媒体である。一方、ＲＡＭ６３０は、揮発性（transitory）の記録媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記録媒体又は揮発性記録媒体を用いて動作可能である。

ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Universal Serial Bus）カードである。さらに、ＩＯＣ６５０は、ＵＳＢのような有線に限らず、無線を用いてもよい。

入力機器６６０は、監視装置６００の操作者からの入力指示を受け取る機器である。入力機器６６０は、音響信号取得部１及び／又は画像信号取得部２として動作してもよい。入力機器６６０は、例えば、キーボード、マウス又はタッチパネルである。

表示機器６７０は、監視装置６００の操作者に情報を表示する機器である。表示機器６７０は、表示部７として動作してもよい。表示機器６７０は、例えば、液晶ディスプレイである。

ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、音響信号取得部１及び／又は画像信号取得部２として動作してもよい。ＮＩＣ６８０は、例えば、ＬＡＮ（Local Area Network）カードである。さらに、ＮＩＣ６８０は、有線に限らず、無線を用いてもよい。

このように構成された監視装置６００は、図１に示されている監視装置と同様の効果を得ることができる。その理由は、監視装置６００のＣＰＵ６１０が、プログラムに基づいて図１に示されている監視装置と同様の機能を実現できるためである。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）カメラが取得した画像信号とマイクが取得した音響信号の両方で同時に検知されたイベントの発生位置に基づいて、前記発生位置間の写像関係を算出する写像関係算出部を備えたことを特徴とする監視装置。

（付記２）カメラが取得した前記画像信号からイベントの発生時刻と位置を検知する画像イベント検知部と、マイクが取得した前記音響信号からイベントの発生時刻と位置を検知する音響イベント検知部と、前記画像信号によるイベント発生時刻と前記音響信号によるイベント発生時刻の差が閾値以下の場合に同時とみなし、前記画像信号によるイベント発生位置と前記音響信号によるイベント発生位置の間の写像関係を算出する写像関係算出部を備える付記１に記載の監視装置。

（付記３）前記画像イベント検知部は、前記画像信号によるイベントを事前に定義したキャリブレーション対象イベントと検知対象イベントに分類し、前記音響イベント検知部は、前記音響信号によるイベントを事前に定義した前記キャリブレーション対象イベントと検知対象イベントに分類し、前記画像信号によるイベント発生時刻と前記音響信号によるイベント発生時刻が同時とみなされた前記キャリブレーション対象イベントの発生位置から、前記キャリブレーション対象イベントの発生位置間の写像関係を算出する写像関係算出部と、前記写像関係に基づいて前記音響イベント検知部で算出した検知対象イベントの位置を座標変換する座標変換部を備える付記２に記載の監視装置。

（付記４）前記写像関係算出部は、前記写像関係の変化が閾値以上の場合に前記カメラと前記マイクの方向関係が変化したと判断する付記３に記載の監視装置。

（付記５）前記写像関係算出部は、前記写像関係として、前記キャリブレーション対象イベントの発生位置間の写像変換行列を、前記写像変換行列の変換誤差が閾値以下のイベントであるＩｎｌｉｅｒの数が最大となるように算出する付記３に記載の監視装置。

（付記６）前記写像関係算出部は、前記写像関係として、前記キャリブレーション対象イベントの発生位置間の写像変換行列と、写像変換誤差の期待値と信頼度を算出する付記３に記載の監視装置。

（付記７）前記写像関係算出部は、前記写像変換誤差の期待値として、前記音響イベント検知部で算出した前記キャリブレーション対象イベントの位置が部分領域に含まれるイベントのうち、Ｉｎｌｉｅｒの前記写像変換誤差の標準偏差の定数倍を算出する付記６に記載の監視装置。

（付記８）前記写像関係算出部は、前記信頼度として、前記音響イベント検知部で算出した前記キャリブレーション対象イベントの位置が部分領域に含まれるイベントのうち、前記Ｉｎｌｉｅｒの変換誤差の総和の逆数又は、前記部分領域に含まれる前記キャリブレーション対象イベントに対する前記Ｉｎｌｉｅｒの割合に基づいて算出する付記６に記載の監視装置。

（付記９）前記座標変換部は、前記写像関係算出部で算出した前記写像変換誤差の期待値から、前記画像イベント検知部で算出した前記検知対象イベントの位置を含む部分領域における前記写像変換誤差の期待値を算出する付記５から７に記載の監視装置。

（付記１０）前記画像イベント検知部で算出した検知対象イベントの位置と、前記座標変換部で算出した座標変換された検知対象イベントの位置と、前記写像関係算出部で算出した前記信頼度と、前記座標変換部で算出した前記検知対象イベントの位置を含む部分領域における前記写像変換誤差の期待値と、前記写像関係算出部で前記カメラと前記マイクの方向関係が変化したと判断した場合にアラームの、いずれか又は全てを表示する表示部を備える付記３から９に記載の監視装置。

この出願は、２０１６年 ３月３０日に出願された日本出願特願２０１６−０６７０２１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ 音響信号取得部
２ 画像信号取得部
３ 音響イベント検知部
４ 画像イベント検知部
５ 写像関係算出部
６ 座標変換部
７ 表示部
６００ 監視装置
６１０ ＣＰＵ
６２０ ＲＯＭ
６３０ ＲＡＭ
６４０ 内部記憶装置
６５０ ＩＯＣ
６６０ 入力機器
６７０ 表示機器
６８０ ＮＩＣ
７００ 記録媒体

Claims (6)

1. 音響信号を取得する音響信号取得手段と、
   取得した前記音響信号から音響イベントの発生方向を算出する音響イベント検知手段と、
   画像信号を取得する画像信号取得手段と、
   取得した前記画像信号から画像イベントの発生方向を算出する画像イベント検知手段と、
   算出した前記音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した前記画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出する写像関係算出手段と、
   算出した前記写像関係と算出した前記音響イベントのうちの検知対象イベントの発生方向とを用いて前記画像イベントのうちの検知対象イベントの発生方向を推定する座標変換手段と
   を備える監視装置。
2. 前記写像関係算出手段は、
   前記写像関係の変化が閾値以上の場合に前記画像信号取得手段と前記音響信号取得手段の方向関係が変化したと判断する
   請求項１に記載した監視装置。
3. 前記写像関係算出手段は、
   算出した前記音響イベントのうちのキャリブレーション対象イベントの発生方向と算出した前記画像イベントのうちのキャリブレーション対象イベントの発生方向との間の写像変換行列と、写像変換誤差の期待値と信頼度とを算出する、
   請求項１又は２に記載した監視装置。
4. 前記画像信号を表示させる表示手段をさらに備え、
   前記表示手段は、
   前記画像イベント検知手段で算出した前記画像イベントのうちの検知対象イベントの位置と、前記座標変換手段で推定した前記画像イベントのうちの検知対象イベントの発生方向と、前記写像変換誤差の期待値と、前記信頼度とのいずれか又は全てを表示する、
   請求項３に記載した監視装置。
5. 音響信号を取得し、
   取得した前記音響信号から音響イベントの発生方向を算出し、
   画像信号を取得し、
   取得した前記画像信号から画像イベントの発生方向を算出し、
   算出した前記音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した前記画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出し、
   算出した前記写像関係と算出した前記音響イベントのうちの検知対象イベントの発生方向とを用いて前記画像イベントのうちの検知対象イベントの発生方向を推定する、
   監視方法。
6. 音響信号を取得する処理と、
   取得した前記音響信号から音響イベントの発生方向を算出する手段と、
   画像信号を取得する処理と、
   取得した前記画像信号から画像イベントの発生方向を算出する処理と、
   算出した前記音響イベントのうちのキャリブレーション対象イベントの発生方向と、算出した前記画像イベントのうちのキャリブレーション対象イベントの発生方向とに基づいて、写像関係を算出する処理と、
   算出した前記写像関係と算出した前記音響イベントのうちの検知対象イベントの発生方向とを用いて前記画像イベントのうちの検知対象イベントの発生方向を推定する処理と、
   をコンピュータに実行させるプログラム。

Images