JP4626632B2 - 映像監視システム - Google Patents

Description

本発明は、カメラなどの撮像装置から映像を取得し、カメラへの悪戯や機器不良による映像取得不良を検知する機能を有する映像監視システムに係わる。

カメラから取得した映像から画像認識により監視エリアに現れる人や車両などの移動物体を検知する機能を有する映像監視システムは、検出結果を利用することで移動物体の出現した映像のみ記録する機能や、表示装置の警告アイコンの表示、またブザー等を鳴らして監視員の注意を促すことができるため、従来の常時確認作業が必要であった監視業務の負担低減に役立つ。

また、前述の映像監視システムでは、窃盗などの不正行為が発生した場合、記録した映像を事後の犯罪立証に役立てることも可能である。

このような映像監視システムに対して、証拠となる映像を取得されないよう、犯行者がカメラの撮像角度を変更する行為や、カメラ前に遮蔽物を置く、カメラを破壊するなどの行為が問題視されている。また撮像機器自体の故障が発生した場合であっても映像が取得できないため、映像監視システムが無力化する恐れがあり、監視員等へ機器の異常を知らせカメラの異常を修復し映像監視システムを復旧させる必要がある。

この問題に対処するため、基準となる正常な画像を保持し、その画像と入力画像との比較を行いカメラの異常を検知する方法が例えば特許文献１として知られている。

特開２０００−２２２６４６号公報

しかしながら、特許文献１では画像の輝度値の変化量に着目した方法であり、基準となる画像と入力画像において、所定以上の輝度値変化が発生した画素の割合を求め、一定以上の変化画素があった場合に、カメラへの妨害行為として発報する構成である。この構成の場合、遮蔽物やカメラ画角の変更で明らかに妨害行為となる条件では発報することは可能であるが、レンズに対して例えば撮像ボケ（本願において、ボケとは、画像のはっきりとせず、ぼやけている状態を意味するものとする）が発生し得るような状況の判断が困難な事象では失報となる可能性がある。逆に照明条件の変化や天候変動などの正常な変化の場合に誤報が多発することも考えられる。

本発明の目的は、以上の問題を解決するもので、撮像ボケや照明条件の変化や天候変動が生じる状況においても正確なカメラ異常検知を実現する映像監視システムを提供することにある。

上記の課題を解決するために、本発明における映像監視システムは、１台以上のカメラなどの撮像機器からの信号を取得する映像取得部とカメラからの信号を取得する映像取得部と、該映像取得部からの入力画像から基準画像を登録する手段と、前記基準画像と前記入力画像の撮像ボケの相違を検出する撮像ボケ検出手段と、前記基準画像と前記入力画像の類似度を算出する類似度算出手段と、前記撮像ボケの相違と前記類似度とから前記カメラの異常を判定するカメラ異常検知手段と、を備える。

本発明によれば、撮像ボケや照明条件の変化や天候変動が生じる状況においてもカメラから入力される映像の異常を検知することが可能な映像監視システムを提供することが可能となる。

以下に本発明における３つの実施例を示す。各実施例は、撮像ボケや照明条件の変化や天候変動が生じる状況においてもカメラから入力される映像の異常を検知するという本発明の目的を小さくとも達成するものである。

以下に、本発明の一実施形態について図面を参照しながら説明する。図１はカメラ異常検知を映像監視システムに適用した場合の構成であり、ハードウェアとしてはＣＰＵを備えた電子計算機システムにより構成され、夫々の機能が実行されるようになっている。１台のＴＶカメラなどの撮像装置から得られる信号を映像として取得する映像取得部１０，映像取得部１０より得られた画像データを入力として画像認識処理を行う画像認識部２０，画像認識部２０で算出した結果を用いて記録制御，記録映像の圧縮率や記録間隔を制御する記録制御部３０，画像認識部２０の結果や映像取得部１０の映像をモニタ等に出力したり、ブザーなどの警報を発する出力部４０、基準画像の登録や種々の設定値をユーザインターフェースなどにより入力する入力部５０で構成される。

映像取得部１０においてはリアルタイムのカメラからの画像データや、画像データが記録されている映像記録装置などから入力された映像信号から１次元配列もしくは２次元配列の画像データとして取得する。この画像データにおいては、ノイズやフリッカなどの影響を低減するために、前処理として平滑化フィルタや輪郭強調フィルタ，濃度変換などの処理を施してもよい。また、用途に応じてＲＧＢカラーやモノクロなどのデータ形式を選択してもよい。さらには、処理コスト低減のために、所定の大きさで画像データに縮小処理を施してもよい。

画像認識部２０においては、映像取得部１０より取得した映像から映像内の動きを検知する動き検知部１００，画像取得部１０からの画像から入力部５０により基準画像を設定する基準画像登録部２００，基準画像登録部２００で登録した画像を保持する基準画像記憶部３００，動き検知部１００で算出した結果と映像取得部１０より取得した映像と基準画像記憶部３００に確保された基準画像とからカメラの異常を検知するカメラ異常検知部４００によって構成される。

次に、画像認識部２０の処理の詳細について説明する。図２は動き検知部１００の内部処理の構成図である。映像取得部１０により取得した画像データの特徴を抽出する特徴抽出手段１０１，映像取得部１０により取得した画像データから比較基準となる背景画像を生成する背景画像生成手段１０２，特徴抽出手段１０１により抽出された画像データの特徴と背景画像を比較し変化部分を抽出する変化抽出手段１０３で構成される。

特徴抽出手段１０１で取得される特徴は入力画像の各画素で算出される明度値やＲＧＢ値，ソーベルオペレータなどの微分フィルタによって算出されるエッジ強度や方向など任意のオペレータによって算出される特徴量、またそれらを統合した特徴ベクトルを用いてよい。それぞれの特徴量によって環境変動に対するロバスト性や検出精度は異なり、状況に応じた特徴量の決定が必要であるが、本実施例では最も一般的である明度値を選択する。

次に背景画像生成手段１０２について説明する。背景画像生成手段１０２で生成される背景画像は、移動物体を含まずに時々刻々と変化する天候や照明条件などの環境変化に適応した画像が理想である。これは、移動物体を含む背景画像と入力画像を比較した場合、背景画像に含まれる移動物体が変化として検出される可能性があり、また環境変化に追従しなければ、背景画像と入力画像の照明変動による明るさの変化を検出してしまう場合があるためである。そのため本実施例において、背景画像生成手段１０２では後述する変化抽出手段１０３の結果を利用し、一定期間に取得される画像から移動物体の影響を除去した画像を平均化するなど、統計処理を施すことで移動物体を含まない画像を再構成する手法を用いる。また、背景画像は監視員による登録できるようにすることにより、移動物体を含まず、環境変化に対応した背景画像を生成することが可能で、移動物体を精度よく検出することができる。その他、カメラ内の映像は、天候や季節により日照条件が異なるため、夫々の状況に応じた画像を複数保持し、この画像を時刻や季節，明るさの情報を用いて自動的に更新することもできる。このようにすることで誤報を低減すことができる。

次に変化抽出手段１０３について述べる。ここでは、画素単位での算出方法や注目画素周辺の局所領域で判定する方法、背景画像に対して、数フレームの入力画像によって時間軸方向に判定基準を拡張する方法が考えられるが、本実施例では、画素単位での差分演算による算出方法を選択する。具体的な算出方法を以下に説明する。画像データを２次元配列とした場合、任意のｘ座標とｙ座標である画素位置ｐはｐ＝（ｘ，ｙ）と表現する。この画素位置ｐにおける背景画像の明度値をＢ_p、入力画像の明度値をＩ_pと表す。ここで背景画像と入力画像との画素位置ｐにおける変化量Δ_pは、Δ_p＝Ｂ_p−Ｉ_pで算出する。このΔ_p が所定のしきい値以上の場合、移動物体に含まれる画素であると判定する。この判定を画像全体に施せば、移動物体の領域を抽出することが出来る。しかしながら画素単位ではノイズ等に反応する場合があり、移動物体の領域の過検出や虫食い状態が発生する場合があるため、抽出した画素の膨張収縮処理などにより、移動物体と判定した領域の整形処理を施す。変化抽出手段１０３の結果はカメラ異常検知部４００に出力される。同じく記録制御部３０にも出力され、動き検知による記録制御を行うことも可能である。

次にカメラ異常検知に用いる基準画像登録部２００に関して図３を用いて述べる。ここでは特徴抽出手段２０１によって前述の特徴抽出手段１０１と同様に、入力部５０より指定した基準画像の特徴を取得する。基準画像は監視カメラの設置された監視対象エリアの代表画像として、監視員および保守員が図４に示すようなユーザインターフェースを介して、入力されたライブ映像から基準画像を確認や登録，更新などをすることが可能である。この操作は入力部５０により行われ、その映像は出力部４０によりモニタ表示する。ここで登録された画像は基準画像記憶部３００に保持される。また、基準画像は前述の背景画像生成手段１０２と同様に、移動物体を含まずに時々刻々と変化する天候や照明条件などの環境変化に適応した画像となるように自動で登録と更新がされるようにしても良い。

次にカメラ異常検知部４００について図５を用いて説明する。カメラ異常検知部４００では、映像取得部１０，基準画像記憶部３００，動き検知部１００のデータを入力にして最終的にカメラ異常判定手段４０３により、カメラの異常度を判定する。先ず特徴抽出手段４０１により、入力画像の特徴を算出する。監視エリアの構造を的確に捉えるためには輪郭情報が有効なため、画像の微分フィルタによりエッジ強調を行い特徴量とする。また画像全体の輝度もカメラ異常検知に有効な情報なため合わせて用いる。基準画像記憶部３００でも同じ特徴量算出の結果が保持されているものとする。次に基準画像変化抽出手段４０２において、予め登録済みの基準画像と特徴抽出手段４０１からの入力画像との変化を検出する。

次に詳細な処理手順について説明する。画像の任意の位置をｐ＝（ｘ，ｙ）と表現し、この画素位置ｐにおける基準画像のエッジ強度をＢ^edge _p、入力画像のエッジ強度をＩ^edge _pと表すと、画素位置ｐにおける基準画像と入力画像のエッジ強度の差分はΔ_p ^edge＝Ｂ^edge _p−Ｉ^edge _pと表現することが出来る。この差分を画像全体の各画素で求めて、すべてを足し合わせたものは〔数１〕のようになり、基準画像と入力画像のエッジ強度の差分を表す。

さらには、画面全体のエッジ強度の平均値をそれぞれ

とすると、これらの値に差分が生じた場合は正常なカメラ映像と比較してカメラにボケが発生していることとなる。画像全体のエッジ強度平均の差分は〔数２〕のようになる。

他に周波数解析なども有効な手段であり、高周波成分が低下している場合をボケとして判断することも可能である。

また、画像全体の輝度値平均の差分

、もしくは〔数３〕示すような正規化相関演算などの相関値算出により画像の類似度を算出することが可能である。

さらに、カメラ異常判定手段４０３により、動き検知部１００の結果を利用する。単に画像内に移動物体が存在することによる誤検知を抑制するために、動き検知部１００にて抽出された移動物体の領域の広さや画素数等を動き検知ブロック数Ｎ^motionとして一つの判断指標として用いることもできる。ここで、上述のエッジ強度の差分およびエッジ強度平均の差分および類似度は、画像全体もしくは動き検知部１００にて抽出された移動物体の領域を除いた画像領域について、算出しても良い。カメラ異常判定手段のカメラ異常度Ｒ_alarmを〔数４〕に示す。

〔数４〕に示すように、夫々の画像比較結果を統合し、所定のしきい値判断をすることで、撮像ボケや照明条件の変化や天候変動が生じる状況においても適切にカメラ異常を判定することが可能となる。

さらに上記のカメラ異常判定の信頼性を向上するための、周辺カメラの情報を用いる実施形態について図６を用いて述べる。複数カメラの映像を取得する映像監視システムにおいて、前述の実施形態に映像取得部（Ｂ）１１，画像認識部（Ｂ）２１，カメラ異常検知統合判定部６０，カメラ情報設定部７０を付加する。ここでは、２台のカメラ入力を可能とするシステムについて説明するが、３台以上のカメラを有するシステムにも適応できる。

基準画像登録部２００と入力画像の比較において、撮像環境の急激な変化が発生した場合とカメラに対する妨害行為とが適切に判断されない可能性も考えられる。そこで、同一の監視エリアに設置されている各カメラの映像情報間では画像の明るさや分散，色情報などに大きな相違はないことを利用し、カメラ異常検知部４００において、カメラ異常度Ｒ_alarmが所定以上の異常と判断されたとき、映像取得部１０と映像取得部（Ｂ）１１より取得される画像の特徴をカメラ異常検知統合判定部６０において比較し、カメラ異常検知部４００におけるカメラ異常の確信度を判定する。あるカメラに対して映像情報を補間するカメラは入力部５０およびカメラ情報設定部７０により設定する。図７に示すように、あるカメラ内と重複のエリアを撮像するカメラを補間カメラとして設定し、同一物体を指定することで、一方のカメラでのみ物体が遮蔽される場合などを検出し、カメラ異常であるか、レイアウト変更であるかの判断を可能とする。これらの設定は、図７ａ１，ａ２のように物体を指定する。

カメラ異常検知統合判定部６０について図８を用いて説明する。ここでは画像認識部（Ｂ）２１において、補間カメラの映像である映像取得部（Ｂ）１１に対して妨害行為が行われていないことが前提である。映像取得部１０，映像取得部（Ｂ）１１から取得した映像を用いて、カメラ間変化検出手段６０１およびカメラ間物体判定手段６０２でカメラ間の物体相違度を判定する。

カメラ間変化検出手段６０１では、画像の基本情報の比較を行い、本実施例では画像全体の平均輝度を適用した例で説明する。画像間の平均輝度は

と算出することができ、所定値以上の変化があった場合画像間での相違があるものと判断する。

また、カメラ間物体判定手段６０２では、図７ａ１，ａ２の同一物体が同じ領域に在るか否かを画像のパターンマッチングを用いて判定する。比較演算は種々のパターンマッチング方法を適用可能であるが、最も簡単なＳＡＤ（Sum of Absolute Difference）を選択する。ＳＡＤは、画素位置ｐにおける各々の輝度値をＡ１_p，Ａ２_pとする。ここで、画像データの全画素数がＭとすれば、類似度ＳはＳ＝Σ｜Ａ１_p−Ａ２_p｜／Ｍと算出できる。ここで、補間カメラで物体が存在するにも関わらず、映像取得部１０では存在しない場合、遮蔽等の可能性が高い。

これらのカメラ間変化検出手段６０１とカメラ間物体判定手段６０２で判定したカメラ間の相違情報およびカメラ異常検知部４００の結果を用いてカメラ異常検知判定手段６０３でカメラの異常を判定する。その結果は出力部４０および記録制御部３０に転送される。記録制御部３０では、あるカメラが異常と判断された場合、周辺カメラで取得された画像の記録を開始する処理も行うことができる。

本実施例のように複数のカメラ画像をカメラの異常判定に用いることで撮像環境の急激な変化が発生した場合やカメラに対する妨害行為を適切に判断することが可能となる。さらに、あるカメラが異常と判断された場合、周辺カメラで取得された画像の記録を開始することで、異常が生じて正常な画像を取得できなくなったカメラの情報を周囲のカメラが補うことが可能となる。

上述の実施例によるカメラ異常検知においては、カメラ異常と判断された場合には、そのカメラの撮像が不可となるため、周辺カメラで撮像範囲を補完する機能を付加した映像監視システムの一実施例を図９を用いて説明する。ここでは、ＰＴＺ機能付きカメラおよびカメラ位置制御部８０を前述の実施例２に付加した形態とする。予め設定したＰＴＺ設定に対して、カメラ異常検知統合判定部６０によりカメラ１が異常と判定された場合、カメラ異常時の補間設定に基づいてＰＴＺ設定を変更し、カメラ異常となったカメラ１の撮像範囲を補完することを可能とする。具体的には、カメラ異常と判定された場合、設定した補完カメラの所定のパラメータに基づいて、異常と判定されたカメラの方位へ撮像することを可能とする。カメラ異常時のＰＴＺ設定は、図１０に示すユーザインターフェースにより、カメラ１の撮像範囲を補完するカメラを選択し、そのカメラの撮像範囲を決定するためのパン角，チルト角，ズームをそれぞれ設定することができる。この設定値に基づきカメラ位置制御部８０はＰＴＺカメラに対してカメラ設定変更を行う。

このように、あるカメラの異常を検出した時に、周辺カメラの撮像範囲を異常のあるカメラの撮像範囲を補完するように設定することで、異常が生じた監視カメラの撮像範囲をより確実に補完できるため、カメラへの妨害に対しロバストな監視システムを提供することが可能となる。

以上に説明した実施例の内容によれば、カメラから入力される映像の異常を検知し、モニタ表示や警告を発することで監視員への注意喚起が可能であり、カメラへの妨害行為が発生した場合であっても、犯行時の映像を撮り逃すことを防止できるため、特にカメラへ妨害がなされる可能性のある監視システムに有用である。

本発明における一実施例の全体構成を示した図である。 本発明における動き検知部の処理構成を示した図である。 本発明における基準画像登録部について示した図である。 本発明における基準画像登録時のユーザインターフェースについて示した図である。 本発明におけるカメラ異常検知部について示した図である。 本発明における周辺カメラ情報を用いてカメラ異常検知の統合判定を付加した実施例の全体構成を示した図である。 本発明における補間カメラ設定時のユーザインターフェースについて示した図である。 本発明におけるカメラ異常検知統合判定部について示した図である。 本発明における周辺カメラ制御を付加した一実施例について示した図である。 本発明におけるカメラ設定値の変更時のユーザインターフェースについて示した図である。

符号の説明

１０ 映像取得部
１１ 映像取得部（Ｂ）
２０ 画像認識部
２１ 画像認識部（Ｂ）
３０ 記録制御部
４０ 出力部
５０ 入力部
６０ カメラ異常検知統合判定部
７０ カメラ情報設定部
８０ カメラ位置制御部
１００ 動き検知部
１０１，２０１，４０１ 特徴抽出手段
１０２ 背景画像生成手段
１０３ 変化抽出手段
２００ 基準画像登録部
３００ 基準画像記憶部
４００ カメラ異常検知部
４０２ 基準画像変化抽出手段
４０３ カメラ異常判定手段
６０１ カメラ間変化検出手段
６０２ カメラ間物体判定手段
６０３ カメラ異常検知判定手段
ａ１ カメラ１登録物体
ａ２ 補間カメラ登録物体

Claims (9)

1. カメラからの信号を取得する映像取得部と、
   前記映像取得部から得られた入力画像を用いて認識処理を行う画像認識部と、を備えた映像監視システムにおいて、
   前記画像認識部は、
   前記入力画像から基準画像を登録する手段と、
   前記入力画像から動き検知情報を取得する動き検知手段と、
   前記基準画像と前記入力画像のエッジ強度の比較により撮像ボケを検出する撮像ボケ検出手段と、
   前記基準画像と前記入力画像の類似度を算出する類似度算出手段と、
   前記動き検知情報と前記撮像ボケと前記類似度とから前記カメラの異常を判定するカメラ異常検知手段と、を備え、
   前記エッジ強度の比較および前記類似度は、前記動き検知手段によって抽出された移動物体の領域を除いた画像領域について算出することを特徴とする映像監視システム。
2. 請求項１の映像監視システムにおいて、
   前記類似度算出手段は、輝度値の差分もしくは相関値により前記類似度を算出することを特徴とする映像監視システム。
3. 請求項１の映像監視システムにおいて、
   前記動き検知手段は、
   前記入力画像から自動的に背景画像を生成する手段を備え、
   前記背景画像と前記入力画像の比較により、前記動き検知情報を取得することを特徴とする映像監視システム。
4. 複数のカメラと、
   複数の前記カメラからの信号を取得する複数の映像取得部と、
   複数の前記映像取得部から得られた入力画像を用いて認識処理を行う画像認識部と、を備えた映像監視システムにおいて、
   前記画像認識部は、
   第一カメラの第一入力画像から基準画像を登録する手段と、
   前記第一入力画像から動き検知情報を取得する動き検知手段と、
   前記第一入力画像と前記基準画像のエッジ強度の比較により撮像ボケを検出する撮像ボケ検出手段と、
   前記第一入力画像と前記基準画像の類似度を算出する類似度算出手段と、
   第二カメラの第二入力画像と前記動き検知情報と前記撮像ボケと前記類似度とから前記第一カメラの異常を判定するカメラ異常検知手段とを備え、
   前記エッジ強度の比較および前記類似度は、前記動き検知手段によって抽出された移動物体の領域を除いた画像領域について算出することを特徴とする映像監視システム。
5. 請求項４の映像監視システムにおいて、
   前記類似度算出手段は、輝度値の差分もしくは相関値により前記類似度を算出することを特徴とする映像監視システム。
6. 請求項４の映像監視システムにおいて、
   前記動き検知手段は、
   前記第一入力画像から自動的に背景画像を生成する手段を備え、
   前記第一入力画像と前記背景画像の比較により、前記動き検知情報を取得することを特徴とする映像監視システム。
7. 請求項４の映像監視システムにおいて、
   前記カメラ異常検知手段は、
   前記第一カメラと前記第二カメラの撮像領域に同一の物体が存在する場合に、
   前記第一入力画像と前記第二入力画像の双方に前記物体が映っていることをカメラ異常の判定に用いることを特徴とする映像監視システム。
8. 請求項４の映像監視システムにおいて、
   前記カメラ異常検知手段が前記第一カメラの異常を検知した場合に、
   前記第一カメラ以外の他のカメラは、前記第一カメラの監視エリアを補完する方向に監視エリアを変化させることを特徴とする映像監視システム。
9. 請求項４の映像監視システムにおいて、
   前記カメラ異常検知手段が前記第一カメラの異常を検知した場合に、
   前記第一カメラ以外の他のカメラによる入力画像の記録が開始されることを特徴とする映像監視システム。

Images