JP4874735B2 - 警備装置、監視システム、異常判定方法および異常判定プログラム - Google Patents

Description

本発明は、警備装置、監視システム、異常判定方法および異常判定プログラムに関するものであり、特に監視カメラで撮像した画像を用いた異常検知に関するものである。

従来、病院に入院している患者や特定の施設で一人暮らしをしている老人がベッドから起き上がる際に転んだり、意識障害で倒れたりした場合に、早急に対処する必要があり、対応が遅れると手遅れとなってしまうおそれがあるという問題があった。

このような問題を解決するものとして、人体に対する異常を検知する事故防止監視システムが開示されている（特許文献１参照）。かかる事故防止監視システムは、監視領域について予め基準となる画像を生成しておき、常時監視している画像との差分を比較し、全く変化がない場合に異常と判断して報知するものである。

特開２００４−７０７６８号公報

しかしながら、上記特許文献１に記載された技術は、ある一定時間画像に変化がない場合のみに異常を検知するものであるため、多くの人が行き交う公共機関の通路や商店街等においては、人が倒れていたとしても常に画像に変化が生じてしまうために異常を検知することができなかった。

また、ケンカ等の人の動きが伴う異常に関しては検知することができず、警備担当者は常時に監視カメラに映し出される監視領域の画像を確認する必要があり、作業負担が多大であるという問題があった。

本発明は、上記に鑑みてなされたものであって、人通りのある場所において異常を効率的に検知できる警備装置、監視システム、異常判定方法および異常判定プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、監視領域を撮像する監視カメラを備えた警備装置において、前記監視カメラによって撮像された画像情報から通行者を検出する通行者検出手段と、前記監視カメラによって撮像された画像情報に基づいて、前記通行者検出手段によって検出された前記通行者ごとの当該通行者が注視している向きを示す視線を検出する視線検出手段と、前記視線検出手段によって検出された前記視線が所定の領域に集中した場合に異常を判定する異常判定手段と、前記異常判定手段によって異常が判定された場合に、前記異常に関する情報を報知する報知手段と、を備えることを特徴とする。

また、請求項２にかかる発明は、請求項１に記載の警備装置において、前記視線検出手段は、前記画像情報から判定される前記通行者の顔の向きによって、当該通行者の視線を検出すること、を特徴とする。

また、請求項３にかかる発明は、請求項１または請求項２に記載の警備装置において、前記異常判定手段は、前記視線検出手段によって検出された前記視線のうちの２つの視線の交点を中心とした所定の領域を通過する他の視線の全検出視線に対する割合が予め定められた値を超える場合に異常と判定すること、を特徴とする。

また、請求項４にかかる発明は、請求項１または請求項２に記載の警備装置において、前記視線検出手段によって検出された前記視線が、前記視線のうちの２つの視線の交点を中心とした所定の領域を通過する時間を計測する計測手段、をさらに備え、前記異常判定手段は、前記計測手段によって計測された前記時間が予め定められた時間を超えた前記視線の全検出視線に対する割合が予め定められた値を超えた場合に異常と判定すること、を特徴とする。

また、請求項５にかかる発明は、請求項１〜４のいずれか一つに記載の警備装置において、前記画像情報から前記通行者の移動方向を検出する移動方向検出手段、をさらに備え、前記異常判定手段は、前記視線検出手段によって検出された前記視線のうち、前記移動方向検出手段によって検出された前記移動方向に対して所定の角度を有する前記視線を用いて異常を判定すること、を特徴とする。

また、請求項６にかかる発明は、請求項１〜５のいずれか一つに記載の警備装置において、前記監視領域において前記通行者が通常移動する方向を記憶する移動方向記憶手段、をさらに備え、前記異常判定手段は、前記視線検出手段によって検出された前記視線のうち、前記移動方向記憶手段に記憶された前記方向に対して所定の角度を有する前記視線を用いて異常を判定すること、を特徴とする。

また、請求項７にかかる発明は、請求項１〜６のいずれか一つに記載の警備装置において、前記監視領域において前記通行者の前記視線が集中する物体の領域を記憶する視線集中領域記憶手段、をさらに備え、前記異常判定手段は、さらに前記視線検出手段によって検出された前記視線のうち、前記視線集中領域記憶手段に記憶された前記領域を注視する視線以外の前記視線を用いて異常を判定すること、を特徴とする。

また、請求項８にかかる発明は、請求項１〜７のいずれか一つに記載の警備装置において、前記監視領域において前記通行者の前記視線を遮蔽する物体の領域を記憶する視線遮蔽領域記憶手段、をさらに備え、前記視線検出手段は、検出された前記視線が、前記視線遮蔽領域記憶手段に記憶された前記視線を遮蔽する物体の領域に到達する場合は、前記視線を遮蔽する物体の領域の外周部分を前記視線に端点とすること、を特徴とする。

また、請求項９にかかる発明は、請求項１〜８のいずれか一つに記載の警備装置において、前記視線検出手段は、検出された前記視線が、前記通行者検出手段によって検出された他の通行者を示す領域に到達する場合は、前記他の通行者を示す領域の外周部分を前記視線の端点とすること、を特徴とする。

また、請求項１０にかかる発明は、監視領域を撮像する監視カメラを備えた警備装置と、前記警備装置とネットワークで接続された監視センタを備える監視システムにおいて、前記警備装置は、前記監視カメラによって撮像された画像情報から通行者を検出する通行者検出手段と、前記監視カメラによって撮像された画像情報に基づいて、前記通行者検出手段によって検出された前記通行者ごとの当該通行者が注視している向きを示す視線を検出する視線検出手段と、前記視線検出手段によって検出された前記視線が所定の領域に集中した場合に異常を判定する異常判定手段と、前記異常判定手段によって異常が判定された場合に、警報情報を前記監視センタに送信する送信手段と、を備え、前記監視センタは、前記警備装置から送信された前記警報情報を受信する受信手段と、前記受信手段によって前記警報情報が受信された場合に、前記警報情報を報知する報知手段と、を備えることを特徴とする。

また、請求項１１にかかる発明は、監視領域を撮像する監視カメラを備えた警備装置による異常判定方法において、前記監視カメラによって撮像された画像情報から通行者を検出する通行者検出ステップと、前記監視カメラによって撮像された画像情報に基づいて、前記通行者検出ステップによって検出された前記通行者ごとの当該通行者が注視している向きを示す視線を検出する視線検出ステップと、前記視線検出ステップによって検出された前記視線が所定の領域に集中した場合に異常を判定する異常判定ステップと、前記異常判定ステップによって異常が判定された場合に、前記異常に関する情報を報知する報知ステップと、を有することを特徴とする。

また、請求項１２にかかる発明は、請求項１１に記載された異常判定方法をコンピュータに実行させる。

請求項１にかかる発明によれば、通行者検出手段によって、監視カメラによって撮像された画像情報から通行者を検出し、視線検出手段によって、監視カメラによって撮像された画像情報に基づいて、通行者検出手段によって検出された通行者ごとの当該通行者が注視している向きを示す視線を検出し、異常判定手段によって、視線検出手段によって検出された視線が所定の領域に集中した場合に異常を判定し、報知手段によって、異常判定手段によって異常が判定された場合に、異常に関する情報を報知することにより、通行者が通常と異なる人や物を注視する性質を利用した通行者の視線の集中によって異常を判定するため、人通りのある場所において異常を効率的に検知できるという効果を奏する。

また、請求項２にかかる発明によれば、視線検出手段は、画像情報から判定される通行者の顔の向きによって、当該通行者の視線を検出することにより、通行者が注視している方向を正確に検出するため、異常が発生している場所を正確に把握することができるという効果を奏する。

また、請求項３にかかる発明によれば、異常判定手段は、視線検出手段によって検出された視線のうちの２つの視線の交点を中心とした所定の領域を通過する他の視線の全検出視線に対する割合が予め定められた値を超える場合に異常と判定することにより、通行者の視線がある程度集中した場合に異常と判定するため、誤報の発生を減少することができるという効果を奏する。

また、請求項４にかかる発明によれば、計測手段によって視線検出手段によって検出された視線が、視線のうちの２つの視線の交点を中心とした所定の領域を通過する時間を計測し、異常判定手段は、計測手段によって計測された時間が予め定められた時間を超えた視線の全検出視線に対する割合が予め定められた値を超えた場合に異常と判定することにより、通行者がある程度の時間注視した場合に異常と判定するため、誤報の発生を減少することができるという効果を奏する。

また、請求項５にかかる発明によれば、移動方向検出手段によって、画像情報から通行者の移動方向を検出し、異常判定手段は、視線検出手段によって検出された視線のうち、移動方向検出手段によって検出された移動方向に対して所定の角度を有する視線を用いて異常を判定することにより、通行者が移動方向を注視している視線は異常判定の対象から除外されるため、誤報の発生を減少することができるという効果を奏する。

また、請求項６にかかる発明によれば、異常判定手段は、視線検出手段によって検出された視線のうち、監視領域において通行者が通常移動する方向を記憶する移動方向記憶手段に記憶された方向に対して所定の角度を有する視線を用いて異常を判定することにより、予め設定された移動方向を用い、通行者ごとに移動方向を算出する処理を行う必要がないため、処理時間を削減することができるという効果を奏する。また、請求項４と同様に、通行者が移動方向を注視している視線は異常判定の対象から除外されるため、誤報の発生を減少することができるという効果を奏する。

また、請求項７にかかる発明によれば、異常判定手段は、視線検出手段によって検出された視線のうち、監視領域において通行者の視線が集中する物体の領域を記憶する視線集中領域記憶手段に記憶された領域を注視する視線以外の視線を用いて異常を判定することにより、通行者の通常の行動による視線を除外して異常を判定することができるため、誤報の発生を減少することができるという効果を奏する。

また、請求項８にかかる発明によれば、視線検出手段は、検出された視線が、監視領域において通行者の視線を遮蔽する物体の領域を記憶する視線遮蔽領域記憶手段に記憶された視線を遮蔽する物体の領域に到達する場合は、視線を遮蔽する物体の領域の外周部分を前記視線の端点とすることにより、通行者が実際に注視できる領域のみの視線によって異常が判定されるため、誤報の発生が減少することができるという効果を奏する。

また、請求項９にかかる発明によれば、視線検出手段は、検出された視線が、通行者検出手段によって検出された他の通行者を示す領域に到達する場合は、他の通行者を示す領域の外周部分を視線の端点とすることにより、通行者が実際に注視できる領域のみの視線によって異常が判定されるため、誤報の発生が減少することができるという効果を奏する。

また、請求項１０にかかる発明によれば、通行者検出手段によって、監視カメラによって撮像された画像情報から通行者を検出し、視線検出手段によって、監視カメラによって撮像された画像情報に基づいて、通行者検出手段によって検出された通行者ごとの当該通行者が注視している向きを示す視線を検出し、異常判定手段によって、視線検出手段によって検出された視線が所定の領域に集中した場合に異常を判定し、送信手段によって、異常判定手段によって異常が判定された場合に、警報情報を監視センタに送信し、受信手段によって、警備装置から送信された警報情報を受信し、報知手段によって、受信手段によって警報情報が受信された場合に、警報情報を報知することにより、通行者が通常と異なる人や物を注視する性質を利用した通行者の視線の集中によって異常を判定するため、人通りのある場所において異常を効率的に検知できるという効果を奏する。

また、請求項１１にかかる発明によれば、通行者検出ステップによって、監視カメラによって撮像された画像情報から通行者を検出し、視線検出ステップによって、監視カメラによって撮像された画像情報に基づいて、通行者検出ステップによって検出された通行者ごとの当該通行者が注視している向きを示す視線を検出し、異常判定ステップによって、視線検出ステップによって検出された視線が所定の領域に集中した場合に異常を判定し、報知ステップによって、異常判定ステップによって異常が判定された場合に、異常に関する情報を報知することにより、通行者が通常と異なる人や物を注視する性質を利用した通行者の視線の集中によって異常を判定するため、人通りのある場所において異常を効率的に検知できるという効果を奏する。

また、請求項１２にかかる発明によれば、請求項１１に記載された異常判定方法をコンピュータに実行させることにより、通行者が通常と異なる人や物を注視する性質を利用した通行者の視線の集中によって異常を判定するため、人通りのある場所において異常を効率的に検知できるという効果を奏する。

以下に添付図面を参照して、本発明にかかる警備装置、監視システム、異常判定方法および異常判定プログラムの最良な実施の形態を詳細に説明する。なお、本発明はこれらの実施の形態に限定されるものではない。

本実施の形態について、添付図面を参照して説明する。本実施の形態にかかる監視システムは、通行者の視線が集中している領域を検出し、ある程度の割合の通行者がその領域に視線を向けている場合に異常と判定するものである。

まず、本発明が適用される監視システムの構成例について説明する。図１は、本実施の形態にかかる監視システムの構成を示すブロック図である。

本実施の形態にかかる監視システム１０は、警備装置１００と、監視センタ２００と、を備え、警備装置１００と監視センタ２００とは、電話回線、無線ネットワーク、インターネットなどのネットワーク３００を介して接続されている。

警備装置１００は、さらに監視カメラ１０１と、画像情報取得部１０２と、通行者検出部１０３と、送受信部１０４と、視線検出部１０５と、移動方向検出部１０６と、視線選択部１０７と、異常判定部１０８と、出力部１０９と、移動方向記憶部１２０と、視線集中領域記憶部１３０と、視線遮蔽領域記憶部１４０と、を備えている。

監視カメラ１０１は、監視領域を撮像するものである。監視カメラ１０１は、複数台設置され、通行者の顔の向きが判定できるように同一の領域に対して複数台、例えば４台で４方向から撮像できるように設置されている。ここで、通行者とは、監視領域内を通行している者または監視領域内で立ち止まっている者をいう。

画像情報取得部１０２は、監視カメラ１０１によって撮像した画像情報を取得するものである。通行者検出部１０３は、画像情報取得部１０２によって取得された画像情報から通行者を検出するものである。例えば、監視カメラ１０１によって撮像された通行者が存在しない監視領域の画像情報と、現在撮像された監視領域の画像情報とを対比することによって通行者を検出する。また、所定の時間ごとに撮像された画像情報から検出された移動する物体を通行者として検出してもよい。

視線遮蔽領域記憶部１４０は、監視領域内で通行者の視線が遮蔽される物体の領域を規定する。例えば、壁や柱等のような通行者の視線が遮蔽される物体の領域を示す位置情報を予め設定しておくものである。

視線検出部１０５は、通行者検出部１０３によって検出された通行者ごとに、画像情報取得部１０２によって取得された画像情報から視線を検出する。ここで、視線とは、通行者が注視している方向をいい、具体的には、画像情報から判定される通行者の顔の向きによって求めることができる。なお、画像情報の解像度が高ければ、通行者の眼球の向きによって視線を算出してもよい。

また、視線は、通行者が実際に注視できる範囲を表すものである。よって、上述した視線遮蔽物や他の通行者が視線方向に存在する場合は、視線遮蔽物や他の通行者の外周部分を視線の端点として算出する。具体的には、視線検出部１０５は、検出された視線が視線遮蔽領域記憶部１４０に設定された遮蔽する物体の領域に到達する場合に、視線の終点を当該領域の外周上に変更する。視線検出部１０５は、検出された視線が視線方向上の通行者に到達する場合は、視線の終点を当該通行者の外周上に変更する。なお、視線の始点は通行者の顔の位置となる。

移動方向検出部１０６は、画像情報取得部１０２によって取得された画像情報から、通行者の移動方向を検出するものである。具体的には、所定の時間ごとに撮像された画像情報から通行者の位置情報を算出して移動方向を検出する。

移動方向記憶部１２０は、監視領域内で通行者が移動する方向を格納する。例えば、監視領域内に、エスカレータが設置されている場合は、通行者はエスカレータの進行方向に移動することとなる。このような場合、通行者の移動方向を予め設定しておくことによって、上述した移動方向検出部１０６で通行者ごとの移動方向を算出することなく、移動方向を定めることができる。

視線集中領域記憶部１３０は、監視領域内で通行者が注視する物体の領域を格納する。例えば、広告看板等の通行者の視線が集中する物体の領域を示す位置情報を予め設定しておくものである。

視線選択部１０７は、視線検出部１０５によって検出された視線の中から、異常判定に用いる視線を選択するものである。具体的には、視線検出部１０５によって検出された視線のうち、移動方向検出部１０６によって検出された移動方向から所定の角度以内の視線は、通行者が特定の人や物を注視していないと判断することができるため、異常を判定する対象の視線から除外する。また、視線集中領域記憶部１３０に設定された領域に向けられた視線を異常判定に用いる視線から除外する。

異常判定部１０８は、視線選択部１０７によって選択された視線を用いて異常を判定するものである。具体的には、すべての視線のうちの２本の視線のそれぞれについて交点を算出し、算出された交点のうちの１つを中心とした判定領域を決定する。例えば、監視カメラ１０１によって撮像された画像情報において、最も顔の面積が大きく撮像されている通行者２人の視線の交点を用いてもよい。異常判定部１０８は、視線選択部１０７によって選択された全ての視線に対する、判定領域内を通過する視線の割合が予め定められた値を超える場合には、異常が発生していると判定する。ここで、予め定められた値とは、例えば３０％である。すなわち、通行者の３割が所定の領域を注視している場合に、異常が発生していると判定することができる。なお、この値は、監視領域の状況や誤報の許容度によって変更してもよい。

なお、異常判定部１０８は、さらに視線選択部１０７によって選択された視線が判定領域を通過している時間を計測し、計測された時間が所定の時間、例えば２〜３秒を超えた視線の視線選択部１０７によって選択された全ての視線に対する割合が、予め定められた値を超える場合には、異常が発生していると判定してもよい。この場合、異常判定部１０８は、本発明にかかる計測手段および異常判定手段を構成する。

出力部１０９は、異常判定部１０８によって異常が判定された場合に、異常に関する情報を出力するものである。出力部１０９は、具体的に表示モニタに監視領域の画像情報とともに、異常と判定した判定領域を表示したり、注意喚起のための音声の出力等を行う。なお、出力部１０９は、本発明にかかる報知手段を構成する。送受信部１０４は、異常判定部１０８によって異常が判定された場合に、異常に関する情報を監視センタ２００に送信するものである。

監視センタ２００は、さらに送受信部２０１と、出力部２０２とを備えている。送受信部２０１は、警備装置１００から送信された異常に関する情報を受信するものである。出力部２０２は、送受信部２０１によって受信された異常に関する情報を出力するものである。

次に、以上のように構成されている警備装置１００による異常判定処理について説明する。図２は、画像情報取得部、通行者検出部、視線検出部、異常判定部、出力部が行う異常手順を示すフローチャートである。

まず、画像情報取得部１０２は、監視カメラ１０１が撮像した画像情報を取得する（ステップＳ２０１）。図３は、監視カメラの設置位置の一例を示す説明図である。図４は、設置された監視カメラが撮像する領域を示す説明図である。このように、監視カメラ１０１は、監視領域を複数方向から撮像するように設置されている。

通行者検出部１０３は、画像情報取得部１０２によって取得された画像情報から通行者を検出する（ステップＳ２０２）。通行者検出部１０３は、検出された通行者の人数をカウントする（ステップＳ２０３）。通行者検出部１０３は、検出した人数が２人以上か否かを判断する（ステップＳ２０４）。検出した人数が２人以上でないと判断した場合は（ステップＳ２０４：Ｎｏ）、異常であるか否かを判定することができないので処理を終了する。

検出した人数が２人以上であると判断した場合は（ステップＳ２０４：Ｙｅｓ）、通行者検出部１０３は、画像情報から検出された通行者の２次元平面上の位置を算出する（ステップＳ２０５）。具体的には、監視カメラ１０１が撮像した画像中の各画素を実際の監視領域の位置に対応させるテーブルを用いて、通行者の２次元平面上の座標をもとめることができる。また、監視カメラとしてステレオカメラを用いて、ステレオカメラによって撮像された画像情報から画像中の通行者の位置を実際の監視領域の空間の座標に変換した上で、通行者の２次元平面上の座標を求めてもよい。

次に、視線検出部１０５は、異常であるか否かと判定するための判定領域を通過する視線数、すなわち閾値を決定する（ステップＳ２０６）。具体的に、閾値は、通行者検出部１０３によって検出された通行者の人数に対する所定の割合の人数を算出することによって求められる。なお、閾値を算出するための割合は、視線を判定対象とされた通行者の人数や監視領域の状況等によって変更してもよい。適正な閾値を設定するために、監視領域内において事前調査を行うことによって決定してもよい。

視線検出部１０５は、通行者の視線を検出する(ステップＳ２０７)。ここで、具体的に視線を検出する方法について説明する。図５は、監視カメラを基準にした通行者の位置を示す説明図である。監視カメラ１０１の位置を（０，０）とすると、通行者１の位置（ｘ１，ｙ１）は、次式でもとめられる。

Ｌ１は、監視カメラ１０１と通行者１との間の距離、θ１は、Ｙ座標を基準にした通行者１の角度を示す。Ｌ１およびθ１は、通行者の２次元平面上の位置を算出した時点で、予め求められているものとする。なお、監視カメラ１０１の位置を座標（０，０）とし、図中において座標（０，０）から上方向がＸ座標（＋）方向、右方向がＹ座標（＋）方向とする。

図６は、通行者の顔の向きと監視カメラの位置関係を示す説明図である。通行者１の注視方向と監視カメラ１０１の設置ライン（Ｙ座標が０の位置）の交点（ｘ２，０）および通行者１と監視カメラ１０１の設置ラインとの間の距離Ｌ２を求める。Ｌ２とｘ２は次式で求められる。

θ２は、通行者１の顔の向きを示し、通行者１の顔の向きが監視カメラ１０１を向いている場合を０°とし、通行者１が監視カメラ１０１より右を注視している場合を＋、左側を注視している場合は−として表す。ただし、−９０°＜（θ２−θ１）＜９０°である。

上述した計算から求められた（ｘ１，ｙ１）、（ｘ２，０）から直線の式を算出する。

また、同様の処理を行い、他の通行者の注視方向を示す直線の式を求めると、次式となる。

フローチャートのステップＳ２０８に戻り、移動方向検出部１０６は、画像情報から通行者の移動方向を検出する（ステップＳ２０８）。具体的には、監視カメラ１０１によって撮像された所定時間ごとの画像情報から通行者が移動する方向を検出する。視線選択部１０７は、異常判定に用いる通行者の視線を選択する（ステップＳ２０９）。

ここで、通行者の視線の選択について具体的に説明する。まず、視線の選択処理の１つは、通行者が移動する方向に対して視線の方向が所定の角度以内である場合には、その視線を異常判定の対象から除外するものである。この場合、通行者は特定の人や物を注視しているのではなく移動方向を見ていると判断することができるため、かかる視線を除外することによって誤報の発生を減少させることができる。図７−１は、通行者の移動方向と視線の関係を示す説明図である。図７−１では、図中左方に上りエスカレータ７３があるため、通常通行者は右から左に移動する。通行者７１は、時系列に撮像された画像情報から移動方向７４が算出される。通行者７１の視線７５は、移動方向７４を基準とした所定の角度±α内ではないため、異常判定対象の視線として選択される。一方、通行者７２の視線７７は、移動方向７６を基準とした所定の角度±α内であるため、異常判定対象の視線から除外される。

なお、通行者が移動する方向が限定されている監視領域の場合には、移動方向を予め移動方向記憶部１２０に設定しておくことにより、通行者ごとに移動方向を算出することなく、予め設定されている移動方向を基準として通行者ごとの視線との角度を算出し、異常判定対象の視線を選択してもよい。図７−２は、予め設定された移動方向と通行者の視線の関係を示す説明図である。通行者７１は、視線７８と予め設定されている移動方向８０とがなす角度が所定の角度内±αであるため、異常判定対象の視線として選択されない。通行者７２は、視線７９と予め設定されている移動方向８０とがなす角度が所定の角度内±αでないため、異常判定対象の視線として選択される。

また、他の視線選択処理としては、監視領域において広告用看板等のように通行者の視線が集中するものが存在している場合は、その位置を予め視線集中領域記憶部１３０に設定しておき、その位置を注視している視線は異常判定対象として除外する。これは、通行者が異常と感じて注視しているのではなく、広告等の効果として視線が集中していると考えられるためである。この視線選択処理を行うことにより、誤報の発生を減少することができる。

また、視線選択部１０７は、通行者が注視している終端を算出する（ステップＳ２１０）。例えば、監視領域内に通行者の視界を遮る壁や柱等の遮蔽物があった場合、通行者はその遮蔽物の裏側を見ることができないため、通行者の視線はその遮蔽物を終端とした線分とする。また、視線が他の通行者の体上を通過する場合は、通行者の視線は他の通行者の体を終端とした線分とする。なお、壁や柱等の遮蔽物の領域は、視線遮蔽領域記憶部１４０に予め記憶しておく。

異常判定部１０８は、異常判定対象である視線の交点を算出する（ステップＳ２１１）。上述したように、異常判定の対象であるすべての視線のうち、２本の視線によって生成される交点をすべて算出する。なお、検出された通行者がコンピュータの処理性能を超えるほど多数である場合は、コンピュータの処理性能に応じた人数を予め定めておき、通行者の視線の向きを判断する顔の大きさが大きい順に通行者を選択し、視線の交点を算出してもよい。

具体的には、上述した視線を示す数式（５）、数式（６）を解くことによって、２人の視線の交点（ｘ，ｙ）を算出することができる。なお、交点（ｘ，ｙ）が通行者の視線の交点を算出する際に用いた（ｘ１，ｙ１）と（ｘ２，０）の範囲内にない場合は、交点が視線の範囲外にあると判断する。

図８は、通行者の視線の交点の算出結果を示す説明図である。図８に示すように複数の通行者８１、８２、８３、８４のうちの２人の視線の交点（黒丸）を算出すると、倒れている通行者８５の体上に多く存在している。なお、図８の示すように通行者が移動していない場合は、上述したような移動方向が算出されないため、通行者の視線は除外されない。もちろん、高精度な視線算出が可能であれば、すべての視線または顔の向きを算出し、その交点を求めることが望ましい。

次に、異常判定部１０８は、視線の交点が算出されたか否かを判断する（ステップＳ２１２）。視線の交点が算出されていないと判断した場合は（ステップＳ２１２：Ｎｏ）、異常が発生していないと判定することができるため、処理を抜ける。視線の交点が算出されたと判断した場合は（ステップＳ２１２：Ｙｅｓ）、ある１つの交点を中心に判定領域を設定する（ステップＳ２１３）。なお、ここで選択される１つの交点は、画像情報において最も顔の面積が大きく撮像されている２人の通行者の視線から求められた交点を用いる。顔が大きく撮像されているほうが、視線をより正確に算出することができるためである。

図９は、交点を中心に決定された判定領域の一例を示す説明図である。複数の視線の交点の中から１つの交点を決定し、決定した交点を中心に判定領域８６として、例えば円を設定する。判定領域の大きさは、通常立っている人が含まれる程度の大きさを想定しているが、監視領域ごとの状況に応じた大きさを設定してもよい。例えば、通行者の視線の算出に用いる顔の向きの検出精度によって判定領域の大きさを変更してもよい。すなわち、検出精度が低い場合は、誤差を見込んで判定領域を通常より大きく設定する。誤報を削減するためには、判定領域を小さく設定する。また、監視領域の状況、例えば監視領域の面積や通行者の密度等によって大きさを変更してよい。

異常判定部１０８は、判定領域内を通過している視線の数をカウントする（ステップＳ２１４）。なお、上述したように異常判定部１０８は、判定領域内を視線が通過している時間を計測し、計測された時間が所定時間を超えた視線の数をカウントして異常を判定してもよい。図９に示す説明図においては、判定領域８６を通過している視線の数は４とカウントされる。異常判定部１０８は、判定領域を通過している視線の数が閾値より大きいか否かを判断する（ステップＳ２１５）。

判定領域を通過している視線の数が閾値と等しいまたは小さいと判断した場合は（ステップＳ２１５：Ｎｏ）、異常と判定されず、処理を抜ける。判定領域を通過している視線の数が閾値より大きいと判断した場合は（ステップＳ２１５：Ｙｅｓ）、出力部１０９は、異常を出力する（ステップＳ２１６）。なお、警備装置１００の出力部１０９において異常を出力することとともにまたは代えて、監視センタ２００に異常に関する情報を送受信部１０４から送信し、監視センタ２００で異常に関する情報を受信し、出力してもよい。

このように、通行者が注視する方向（視線）を検出し、視線が集中している領域を検出することにより、他者が倒れている場合やケンカをしている場合等の異常な状況に対して通行者が視線を向けるという特性を利用して異常が発生していることを判定することができるため、人通りのある場所において異常を効率的に検知できる。

また、人に関連しない異常、例えば火災等が発生した場合であっても、通行者が注視する対象となるため、異常を効率的に検知することができる。

なお、上述した判定領域を通過している視線の数が閾値を超えていか否かによる異常の判定に加え、さらに判定領域において人体の形状等でパターンマッチングを行なって異常を判定することにより、異常判定の精度を向上することができ、誤報の発生を減少させることができる。

次に、図３および図４で説明した監視カメラの配置の他の例を説明する。図１０は、監視領域の四隅に監視カメラを配置した例を示す説明図である。図１０に示すように監視カメラを配置することにより、少ない台数で広範囲の領域を監視することができる。

図１０に示すように監視カメラを配置した場合、監視カメラによって撮像された画像から通行者の位置や視線を算出する際には、座標を変換する必要があるため、座標変換について簡単に説明する。

監視カメラは、正方形の監視領域の頂点に配置されているため、１台の監視カメラがカバーする範囲は、図６を参照すると、−４５°≦（θ２―θ１）＜４５°となる。図１１は、監視カメラの正面をＹ座標（＋）方向とした場合の座標関係を示す説明図である。図１２は、図１１の示す座標系を角度θのみ回転させた場合の座標関係を示す説明図である。図１１に示す座標系を、図１２に示す座標系に変換する式は、次式で求められる。

このように、監視領域に設置された４台の監視カメラによって撮像された画像から求められた位置情報を監視領域全体の位置情報に変換することによって、視線や移動方向を算出でき、異常の判定を正確に行うことができる。

本実施の形態にかかる監視システムの構成を示すブロック図である。 画像情報取得部、通行者検出部、視線検出部、異常判定部、出力部が行う異常手順を示すフローチャートである。 画像情報取得部、通行者検出部、視線検出部、異常判定部、出力部が行う異常手順を示すフローチャートである。 監視カメラの設置位置の一例を示す説明図である。 設置された監視カメラが撮像する領域を示す説明図である。 監視カメラを基準にした通行者の位置を示す説明図である。 通行者の顔の向きと監視カメラの位置関係を示す説明図である。 通行者の移動方向と視線の関係を示す説明図である。 予め設定された移動方向と通行者の視線の関係を示す説明図である。 通行者の視線の交点の算出結果を示す説明図である。 交点を中心に決定された判定領域の一例を示す説明図である。 監視領域の四隅に監視カメラを配置した例を示す説明図である。 監視カメラの正面をＹ座標（＋）方向とした場合の座標関係を示す説明図である。 図１１の示す座標系を角度θのみ回転させた場合の座標関係を示す説明図である。

符号の説明

１０ 監視システム
１００ 警備装置
１０１ 監視カメラ
１０２ 画像情報取得部
１０３ 通行者検出部
１０４ 送受信部
１０５ 視線検出部
１０６ 移動方向検出部
１０７ 視線選択部
１０８ 異常判定部
１０９ 出力部
２００ 監視センタ
２０１ 送受信部
２０２ 出力部
３００ ネットワーク

Claims (12)

1. 監視領域を撮像する監視カメラを備えた警備装置において、
   前記監視カメラによって撮像された画像情報から通行者を検出する通行者検出手段と、
   前記監視カメラによって撮像された画像情報に基づいて、前記通行者検出手段によって検出された前記通行者ごとの当該通行者が注視している向きを示す視線を検出する視線検出手段と、
   前記視線検出手段によって検出された前記視線が所定の領域に集中した場合に異常を判定する異常判定手段と、
   前記異常判定手段によって異常が判定された場合に、前記異常に関する情報を報知する報知手段と、
   を備えることを特徴とする警備装置。
2. 前記視線検出手段は、前記画像情報から判定される前記通行者の顔の向きによって、当該通行者の視線を検出すること、を特徴とする請求項１に記載の警備装置。
3. 前記異常判定手段は、前記視線検出手段によって検出された前記視線のうちの２つの視線の交点を中心とした所定の領域を通過する他の視線の全検出視線に対する割合が予め定められた値を超える場合に異常と判定すること、を特徴とする請求項１または請求項２に記載の警備装置。
4. 前記視線検出手段によって検出された前記視線が、前記視線のうちの２つの視線の交点を中心とした所定の領域を通過する時間を計測する計測手段、をさらに備え、
   前記異常判定手段は、前記計測手段によって計測された前記時間が予め定められた時間を超えた前記視線の全検出視線に対する割合が予め定められた値を超えた場合に異常と判定すること、を特徴とする請求項１または請求項２に記載の警備装置。
5. 前記画像情報から前記通行者の移動方向を検出する移動方向検出手段、をさらに備え、
   前記異常判定手段は、前記視線検出手段によって検出された前記視線のうち、前記移動方向検出手段によって検出された前記移動方向に対して所定の角度を有する前記視線を用いて異常を判定すること、を特徴とする請求項１〜４のいずれか一つに記載の警備装置。
6. 前記監視領域において前記通行者が通常移動する方向を記憶する移動方向記憶手段、をさらに備え、
   前記異常判定手段は、前記視線検出手段によって検出された前記視線のうち、前記移動方向記憶手段に記憶された前記方向に対して所定の角度を有する前記視線を用いて異常を判定すること、を特徴とする請求項１〜５のいずれか一つに記載の警備装置。
7. 前記監視領域において前記通行者の前記視線が集中する物体の領域を記憶する視線集中領域記憶手段、をさらに備え、
   前記異常判定手段は、前記視線検出手段によって検出された前記視線のうち、前記視線集中領域記憶手段に記憶された前記領域を注視する視線以外の前記視線を用いて異常を判定すること、を特徴とする請求項１〜６のいずれか一つに記載の警備装置。
8. 前記監視領域において前記通行者の前記視線を遮蔽する物体の領域を記憶する視線遮蔽領域記憶手段、をさらに備え、
   前記視線検出手段は、検出された前記視線が、前記視線遮蔽領域記憶手段に記憶された前記視線を遮蔽する物体の領域に到達する場合は、前記視線を遮蔽する物体の領域の外周部分を前記視線の端点とすること、を特徴とする請求項１〜７のいずれか一つに記載の警備装置。
9. 前記視線検出手段は、検出された前記視線が、前記通行者検出手段によって検出された他の通行者を示す領域に到達する場合は、前記他の通行者を示す領域の外周部分を前記視線の端点とすること、を特徴とする請求項１〜８のいずれか一つに記載の警備装置。
10. 監視領域を撮像する監視カメラを備えた警備装置と、前記警備装置とネットワークで接続された監視センタを備える監視システムにおいて、
    前記警備装置は、
    前記監視カメラによって撮像された画像情報から通行者を検出する通行者検出手段と、
    前記監視カメラによって撮像された画像情報に基づいて、前記通行者検出手段によって検出された前記通行者ごとの当該通行者が注視している向きを示す視線を検出する視線検出手段と、
    前記視線検出手段によって検出された前記視線が所定の領域に集中した場合に異常を判定する異常判定手段と、
    前記異常判定手段によって異常が判定された場合に、警報情報を前記監視センタに送信する送信手段と、を備え、
    前記監視センタは、
    前記警備装置から送信された前記警報情報を受信する受信手段と、
    前記受信手段によって前記警報情報が受信された場合に、前記警報情報を報知する報知手段と、
    を備えることを特徴とする監視システム。
11. 監視領域を撮像する監視カメラを備えた警備装置による異常判定方法において、
    前記監視カメラによって撮像された画像情報から通行者を検出する通行者検出ステップと、
    前記監視カメラによって撮像された画像情報に基づいて、前記通行者検出ステップによって検出された前記通行者ごとの当該通行者が注視している向きを示す視線を検出する視線検出ステップと、
    前記視線検出ステップによって検出された前記視線が所定の領域に集中した場合に異常を判定する異常判定ステップと、
    前記異常判定ステップによって異常が判定された場合に、前記異常に関する情報を報知する報知ステップと、
    を有することを特徴とする異常判定方法。
12. 請求項１１に記載された異常判定方法をコンピュータに実行させることを特徴とする異常判定プログラム。

Images