JP5227046B2

JP5227046B2 - 動作検出装置および動作検出方法

Info

Publication number: JP5227046B2
Application number: JP2008042834A
Authority: JP
Inventors: 拓雄森口; 健宏馬渕; 聡二見; 正貴村川
Original assignee: Sohgo Security Services Co Ltd
Current assignee: Sohgo Security Services Co Ltd
Priority date: 2008-02-25
Filing date: 2008-02-25
Publication date: 2013-07-03
Anticipated expiration: 2028-02-25
Also published as: JP2009199516A

Description

この発明は、カメラなどの撮像手段により撮像された画像情報から人物などの物体の動作を検出する動作検出装置および動作検出方法に関する。

従来から、監視カメラ等で撮影した画像を分析して、人物などの監視対象物の行動を認識する認識装置が知られている。例えば、特許文献１では、建物等に固定された固定カメラではなく、人物等の移動体に装着されたカメラによって撮影された画像を加工して被写体の行動を分析する技術が提案されている。

特許文献１では、移動するカメラで撮影された画像から分析された行動をテキスト情報として出力するため、カメラを装着した人物の特性に応じたテキスト情報を集積してテキストデータベースを構築することが可能となる。

特開２００４−２８０３７６号公報

しかしながら、特許文献１の方法は、画像の分析のみによって監視対象物の行動を認識するため、分析のための画像処理の処理負荷が高くなるという問題があった。例えば、特許文献１では、画像から抽出した人物の顔領域を着色して元の画像に組み込み、ノイズ除去処理、メジアンフィルタ処理などの画像処理後の画像を比較することにより顔領域の動きを分析し、被撮影者の動作を推定している。

本発明は、上記に鑑みてなされたものであって、画像から監視対象物の動作を検出するときの処理負荷を低減することができる動作検出装置および動作検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を記憶可能な記憶手段と、撮像手段によって撮像された前記物体の画像情報を取得する取得手段と、前記画像情報を解析して物体の動作状態を検出し、検出した動作状態を表す前記状態情報を生成して前記記憶手段に保存する第１検出手段と、保存された複数の前記状態情報間の差分を検出し、前記差分に応じた前記物体の動作を予め定めた規則に基づいて、検出した差分に対応する前記物体の動作を検出する第２検出手段と、を備え、前記規則は、比較元の前記状態情報の前記動詞または前記格要素と比較先の前記状態情報の前記動詞または前記格要素とによって表される前記状態情報の差分のパターンを表す差分情報と、前記差分情報に応じて定められた前記物体の動作とを含み、前記第２検出手段は、第１状態情報の前記動詞または前記格要素が前記比較元の前記状態情報の前記動詞または前記格要素と一致し、第２状態情報の前記動詞または前記格要素が前記比較先の前記状態情報の前記動詞または前記格要素と一致する場合に、前記第１状態情報と前記第２状態情報との間に差分が存在することを検出し、検出した差分を表す前記差分情報に対応する前記物体の動作を検出すること、を特徴とする動作検出装置である。

また、請求項２にかかる発明は、請求項１に記載の動作検出装置において、前記第２検出手段は、さらに、検出した前記物体の動作の種類を表す動詞と、検出した前記物体の動作に関連する格要素とを含む前記状態情報を生成して前記記憶手段に保存し、保存した複数の前記状態情報間の差分をさらに検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、を特徴とする。

また、請求項３にかかる発明は、請求項１に記載の動作検出装置において、前記状態情報は、前記格要素として前記物体の動作が発生した時刻を含み、前記第２検出手段は、保存された前記状態情報のうち、前記時刻が連続する複数の前記状態情報間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、を特徴とする。

また、請求項４にかかる発明は、請求項１に記載の動作検出装置において、前記状態情報は、前記格要素として前記物体の位置を含み、前記第２検出手段は、保存された複数の前記状態情報に含まれる前記位置間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、を特徴とする。

また、請求項５にかかる発明は、請求項１に記載の動作検出装置において、前記状態情報は、前記格要素として前記物体の向きを含み、前記第２検出手段は、保存された複数の前記状態情報に含まれる前記向きの間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、を特徴とする。

また、請求項６にかかる発明は、請求項１に記載の動作検出装置において、前記状態情報は、前記格要素として前記物体の高さを含み、前記第２検出手段は、保存された複数の前記状態情報に含まれる前記高さ間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、を特徴とする。

また、請求項７にかかる発明は、取得手段が、撮像手段によって撮像された物体の画像情報を取得する取得ステップと、第１検出手段が、前記画像情報を解析して物体の動作状態を検出し、検出した動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を生成して記憶手段に保存する第１検出ステップと、第２検出手段が、保存された複数の前記状態情報間の差分を検出し、前記差分に応じた前記物体の動作を予め定めた規則に基づいて、検出した差分に対応する前記物体の動作を検出する第２検出ステップと、を含み、前記規則は、比較元の前記状態情報の前記動詞または前記格要素と比較先の前記状態情報の前記動詞または前記格要素とによって表される前記状態情報の差分のパターンを表す差分情報と、前記差分情報に応じて定められた前記物体の動作とを含み、前記第２検出ステップは、第１状態情報の前記動詞または前記格要素が前記比較元の前記状態情報の前記動詞または前記格要素と一致し、第２状態情報の前記動詞または前記格要素が前記比較先の前記状態情報の前記動詞または前記格要素と一致する場合に、前記第１状態情報と前記第２状態情報との間に差分が存在することを検出し、検出した差分を表す前記差分情報に対応する前記物体の動作を検出すること、を特徴とする動作検出方法である。

本発明によれば、画像情報から検出した物体の動作状態を、テキスト情報である格フレームで表した状態情報を記憶するとともに、記憶した状態情報を比較することにより物体の動作をさらに検出することができる。このため、画像の分析のみによって監視対象物の動作を認識する方法と比較して、画像から監視対象物の動作を検出するときの処理負荷を低減することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる動作検出装置および動作検出方法の最良な実施の形態を詳細に説明する。

本実施の形態にかかる動作検出装置は、監視カメラで撮像した画像情報から、監視対象物である人物の行動（動作状態）を解析し、解析結果を深層格フレーム構造で表して記憶部に保存する。そして、記憶部に保存した深層格フレームを相互に比較することによって、さらに人物の行動を検出する。

なお、以下では、監視カメラや各種センサからの情報を用いて所定領域を警備する警備装置として動作検出装置を実現した例について説明する。適用可能な装置は警備装置に限られず、画像情報を解析して物体の動作を検出する機能を備える装置であればあらゆる装置に適用できる。

本実施の形態について、添付図面を参照して説明する。まず、本実施の形態が適用される監視システムの構成例について説明する。図１は、本実施の形態にかかる監視システム１０の構成を示すブロック図である。図１に示すように、監視システム１０は、警備装置１００と監視センタ２００とを備えている。警備装置１００と監視センタ２００は、電話回線、無線ネットワーク、インターネットなどのネットワーク３００を介して接続されている。

監視センタ２００は、監視領域の異常を検知した警備装置１００からの通報を受け、待機中の警備員に対して異常が検知された監視領域（不図示）へ向かう旨の指示を出すとともに、必要に応じて警察や消防等の関係機関への通報を行う。

警備装置１００は、センサ１１０と、監視カメラ１２０と、警備操作部１３０とを備えている。

センサ１１０は、警備対象である監視領域に設置されており、主に侵入者等の異常を検知する目的で設置された人感センサである。センサ１１０は、人の存在や扉の開閉を検知した場合に検知信号を出力する。センサ１１０は、例えば赤外線の受光量の変化をもとに人の存在を検出する赤外線センサ、赤外線等の受信が遮断されることで人の存在を検出する遮断センサ、電磁波の乱れで人の存在を検知する電波センサ、およびマグネットにより扉の開閉を検出するマグネットセンサなどの監視領域の異常を検出する各種センサによって構成できる。

監視カメラ１２０は、警備対象である監視領域を撮像する。監視カメラ１２０は、主に監視領域である住居の出入口付近や敷地内への出入口付近に設置されている。

次に、警備操作部１３０について説明する。警備操作部１３０は、検知情報受信部１３１と、画像情報取得部１３２と、警備状態切替部１３３と、操作パネル制御部１３４と、操作パネル１３５と、送受信部１３６と、警備状態記憶部１３７と、第１検出部１３８と、第２検出部１３９と、ＨＤＤ（Hard Disk Drive）１５０と、を備えている。

検知情報受信部１３１は、センサ１１０によって異常が検知された場合に送出される検知情報を受信する。検知情報は、センサ１１０から送出される検知信号である。センサ１１０が複数設置されている場合、検知情報は検知信号およびセンサ１１０を識別するセンサＩＤを含む。画像情報取得部１３２は、監視カメラ１２０によって撮像された画像情報を取得する。

警備状態切替部１３３は、操作パネル制御部１３４によって受付けた警備状態を警備状態記憶部１３７に格納する。

警備状態記憶部１３７は、現在の警備装置１００の警備状態である警備モードまたは警備解除モードのいずれかを記憶する。なお、警備状態記憶部１３７は、ハードディスク、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。

ここで、警備モードとは、センサ１１０が異常を検知して検知情報を取得した場合に、警備領域での異常を知らせる警報情報をネットワーク３００で接続されている監視センタ２００に送信する状態をいう。また、警備解除モードとは、上記検知情報を取得した場合でも異常を知らせる警報情報を監視センタ２００に送信しない状態をいう。

操作パネル１３５は、警備装置１００に関する情報が表示され、警備装置１００に対して情報が入力される。操作パネル１３５は、ボタンの押下等によって警備モードまたは警備解除モードのいずれかの警備状態を入力する。操作パネル制御部１３４は、操作パネル１３５への表示情報の出力や、操作パネル１３５から入力された入力情報の取得等の操作パネル１３５に対する制御を行う。

送受信部１３６は、ネットワーク３００を介して監視センタ２００との間で各種情報を送受信する。例えば、送受信部１３６は、監視カメラ１２０が撮像した画像情報を監視センタ２００に送信する。また、送受信部１３６は、センサ１１０から検知情報を受信した場合で、かつ警備状態記憶部１３７に記憶された現在の警備状態に警備モードが記憶されている場合に、警報情報を監視センタ２００に送信する。

ＨＤＤ１５０は、物体の動作検出に関する各種データを記憶する。具体的には、ＨＤＤ１５０は、状態情報ＤＢ（データベース）１５１と、規則ＤＢ１５２とを格納している。なお、各ＤＢを、光ディスク、メモリカードなどのＨＤＤ１５０以外の記憶媒体に格納するように構成してもよい。

なお、第１検出部１３８、第２検出部１３９、ＨＤＤ１５０等を監視センタ２００に設け、センサ１１０や監視カメラ１２０で得られた情報を監視センタ２００に送り、動作検出を監視センタで行うように構成してもよい。

状態情報ＤＢ１５１は、物体の動作状態を深層格フレーム構造で表した状態情報を記憶する。深層格フレーム（以下、単に格フレームとも言う）とは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造をいう。

図２は、状態情報ＤＢ１５１に記憶される状態情報のデータ構造の一例を示す図である。図２に示すように、状態情報は、格フレームを識別する格フレームＩＤと、動作（行動）の種類を表す行動名と、動作に関連する名詞である格要素（深層格）とを含んでいる。深層格には、主格、属性格、場所格、時間格、源泉格、目標格、対象格、および道具格が含まれる。

主格は、動作を引き起こす主体を表す。属性格は、主格に関する情報をいう。例えば、属性格は、身長高、体型、上半身色、下半身色、頭色、顔情報、および歩容情報等を含む。

顔情報および歩容情報は、さらに詳細な要素に分けられる。例えば、顔情報は、顔の特徴を表す顔特徴、視線方向、マスクの有無、サングラスの有無、性別、および年代などの要素を含む。また、歩容情報は、歩幅、姿勢、脚長、および歩速などの要素を含む。

場所格は、動作や状態が起こる場所を表す。例えば、場所格は、頭部位置、体位置、手位置、顔位置、および脚部位置等を含む。

時間格は、動作や状態が起こる時間を表す。例えば、時間格は、現在時刻を表す時刻、動作が開始された時刻を表す動作開始時刻、動作が終了した時刻を表す動作終了時刻、および動作が発生した年月日等を表す。

源泉格は、移動や状態変化などの起点を表す。例えば、源泉格は、主格が移動や動作等を行う起点の位置を表す場所情報、および起点での主格の属性を表す属性情報を含む。

目標格は、移動や状態変化などの終点を表す。例えば、目標格は、主格が移動や動作等を行う終点の位置を表す場所情報、および起点での主格の属性を表す属性情報を含む。

対象格は、動作や状態の対象となる事物を表す。対象格は、固有の識別情報である対象ＩＤ、および固有の情報である属性情報を含む。

道具格は、動作の補助的手段を表す。道具格は、固有の識別情報である道具ＩＤ、および固有の情報である属性情報を含む。

なお、利用できる深層格はこれらに限られず、例えば精神的事象の経験者を表す経験者格などの、その他のあらゆる深層格を用いることができる。

図３は、状態情報ＤＢ１５１に記憶される状態情報の具体例を示す図である。図３は、人物Ａ（主格）が、「しゃがむ」という行動を検出したときに生成される状態情報の一例を示している。この場合、属性格には、人物Ａの身長高、体型などの具体的な値が設定される。また、場所格および時間格には、それぞれ人物Ａがしゃがんだときの位置や時刻に関する具体的な値が設定される。

図１に戻り、規則ＤＢ１５２は、後述する第２検出部１３９が、状態情報ＤＢ１５１に保存された格フレームを比較して動作を検出するときに参照する行動検出規則を記憶する。図４は、規則ＤＢ１５２に記憶される行動検出規則のデータ構造の一例を示す図である。

図４に示すように、行動検出規則は、比較元となる情報であって、時間的に前の状態情報である前格フレームと、比較先となる情報であって、時間的に後の状態情報である後格フレームと、その他の条件と、検出される状態情報とを対応づけた形式となっている。

前格フレームおよび後格フレームは、それぞれ行動名と格情報とを含んでいる。格情報には、比較すべき少なくとも１つの深層格を設定する。

前格フレームおよび後格フレームは、２つの格フレームが差異を有するパターンを表す情報（差分情報）に相当する。すなわち、ある２つの格フレームが、それぞれ前格フレームと後格フレームとで設定された行動名および格情報と適合するとき、この２つの格フレーム間には差異が存在すると判断される。例えば、図４では、ある格フレーム（格フレーム１）の行動名が「存在する」、場所格に含まれる体位置が「Ａ」であり、他の格フレーム（格フレーム２）の行動名が「存在する」、場所格に含まれる体位置が「Ｂ」であるとき、格フレーム１と格フレーム２との間には差分が存在すると判断される。そして、差分が存在すると判断された場合、差分に対応する行動として、「検出される状態情報」欄に記載された行動名の行動が検出される。

その他の条件には、必要に応じて、比較する状態情報が満たすべき条件が設定される。例えば、同図の行動名「しゃがむ」の行動を検出する行動検出規則では、前格フレームに含まれる頭部位置Ｂと、後格フレームに含まれる頭部位置Ｃとが、Ｂ＞Ｃの関係を満たすことが条件として設定されている。

検出される状態情報は、検出される行動の行動名と、保存すべき少なくとも１つの深層格を表す格情報とを含んでいる。同図では、例えば、行動名「移動する」の行動が検出された場合は、前格フレームに含まれる体位置Ａおよび後格フレームに含まれる体位置Ｂを、それぞれ検出した行動に対応する格フレームの源泉格の体位置Ａおよび目標格の体位置Ｂとして保存する例が示されている。

なお、行動検出規則は同図に示す形式に限られるものではなく、複数の状態情報間の差分に応じて予め定められた行動を決定可能なものであればあらゆる形式の規則を適用できる。

図５は、検出される行動間の遷移関係を表す図である。具体的には、図５は、画像情報から検出される行動と、状態情報ＤＢ１５１に保存された状態情報を比較し、行動検出規則によって検出される行動との関係を表している。同図の楕円は、検出される行動名の一例を表している。また、楕円間の矢印に付された文字列は、ある行動から他の行動を検出するための状態情報間の差分の基準を表している。

なお、この基準は、図４の規則ＤＢ１５２に記憶された行動検出規則に対応する。例えば、「位置座標の変異」という基準は、図４では行動名「移動する」を検出する最初の行動検出規則に対応する。すなわち、例えば同図の行動名５０１（存在する）に対応する複数の状態情報を比較することにより、「位置座標の変異」という差分が検出された場合は、「移動する」という行動名の行動が新たに検出される。

なお、図５の行動名５０１〜５０４は、後述する第１検出部１３８によって画像情報から検出される行動名を表している。それ以外の行動名は、後述する第２検出部１３９によって、行動検出規則を用いて検出される行動名を表している。また、同図の行動名５１１〜５１３は、他の行動へ派生しない行動名を表している。すなわち、この状態に達した場合は、同図の遷移から離脱することを意味する。

図１に戻り、第１検出部１３８は、画像情報取得部１３２によって取得された画像情報を解析することにより、画像情報から物体の動作状態を検出する。また、第１検出部１３８は、検出した動作状態を表す状態情報を生成して状態情報ＤＢ１５１に保存する。

第１検出部１３８は、例えば画像情報から人物領域を抽出することにより、人物が「存在する」という動作状態を検出する。また、第１検出部１３８は、検出した人物の視線方向を検出することにより、当該人物の「見る」という動作状態を検出する。また、第１検出部１３８は、人物以外の他の物体を画像情報から抽出し、抽出した物体が新たに現れた場合には「取り出す」という動作状態を、抽出した物体が以前から存在し、人物の手の位置と重なった場合には「触る」という動作状態を検出する。

なお、第１検出部１３８が人物または物体を抽出する方法としては、連続する画像情報の背景を比較することにより抽出した変動領域を人物領域とする方法や、人物パターンまたは物体パターンと照合することにより人物または物体を抽出する方法などの、従来から用いられているあらゆる方法を適用できる。また、第１検出部１３８が人物の視線方向を検出する方法としては、顔領域パターンと照合することにより顔領域を抽出するとともに視線方向を検出する方法などの従来から用いられているあらゆる方法を適用できる。

第２検出部１３９は、状態情報ＤＢ１５１に保存された２つの状態情報が規則ＤＢ１５２に保存された行動検出規則に適合するか否かを判定することによって、新たな行動を検出する。

具体的には、第２検出部１３９は、まず、第１検出部１３８によって検出され、状態情報ＤＢ１５１に保存された状態情報のうち、時刻が連続する２つの状態情報を取得する。次に、第２検出部１３９は、取得した２つの状態情報の行動名および格情報が一致する行動検出規則を規則ＤＢ１５２から取得する。そして、第２検出部１３９は、行動検出規則が取得できた場合に、行動検出規則で定められた行動を新たな行動として検出する。

次に、このように構成された本実施の形態にかかる警備装置１００による画像からの動作検出処理について図６を用いて説明する。画像からの動作検出処理とは、監視カメラ１２０で撮影された画像情報から人物等の動作（行動）を検出する処理をいう。図６は、本実施の形態における画像からの動作検出処理の全体の流れを示すフローチャートである。

まず、画像情報取得部１３２は、監視カメラ１２０が撮影した画像情報を入力する（ステップＳ６０１）。次に、第１検出部１３８が、画像情報から人物領域を検出する（ステップＳ６０２）。次に、第１検出部１３８は、人物領域が検出されたか否かを判断する（ステップＳ６０３）。人物領域が検出されなかった場合は（ステップＳ６０３：ＮＯ）、次の画像情報を入力して処理を繰り返す（ステップＳ６０１）。

人物領域が検出された場合（ステップＳ６０３：ＹＥＳ）、第１検出部１３８は、行動名＝「存在する」の格フレームを作成する（ステップＳ６０４）。なお、作成した格フレームの格フレームＩＤには、他の格フレームと重複しない値を割り当てる。

次に、第１検出部１３８は、検出した人物領域の各部位の検出位置を場所格へ格納する（ステップＳ６０５）。例えば、第１検出部１３８は、検出した人物領域に含まれる頭部、体、手、顔、および脚部の座標を算出し、それぞれ頭部位置、体位置、手位置、顔位置、および脚部位置として場所格に格納する。なお、人物領域の各部位は、部位ごとの照合パターンと照合して検出する方法などの従来から用いられているあらゆる方法により検出できる。

第１検出部１３８は、ステップＳ６０４〜ステップＳ６０５と並行して、人物同定処理（ステップＳ６０６〜ステップＳ６０７）、顔検出処理（ステップＳ６０８〜ステップＳ６１０）、体型判定処理（ステップＳ６１１〜ステップＳ６１２）、および歩容検出処理（ステップＳ６１３〜ステップＳ６１４）の各処理を実行する。なお、これらの各処理は必ずしも並行して処理する必要はなく、任意の順序で実行するように構成することができる。

人物同定処理では、第１検出部１３８は、抽出済みの人物領域と照合する方法などにより、抽出された人物を同定する（ステップＳ６０６）。そして、第１検出部１３８は、同定した人物に既に割り当てられているエージェントＩＤ（図２のＡｇｔＩＤ）を、作成した格フレームの主格に格納する（ステップＳ６０７）。

顔検出処理では、第１検出部１３８は、顔領域パターンと照合する方法などによって顔領域を検出する（ステップＳ６０８）。また、第１検出部１３８は、照合結果に応じて、視線方向、マスクの有無、およびサングラスの有無などの顔情報を属性格に格納する（ステップＳ６０９）。視線方向が検出された場合は、第１検出部１３８は、行動名＝「見る」の格フレームを作成する（ステップＳ６１０）。

体型判定処理では、第１検出部１３８は、照合した人物パターンに予め付与された体型を求める方法などにより、検出した人物の体型を判定する（ステップＳ６１１）。そして、第１検出部１３８は、判定した体型を、作成した格フレームの属性格に格納する（ステップＳ６１２）。

歩容検出処理では、第１検出部１３８は、主に検出した人物領域の脚部を解析することにより、歩速、歩幅、脚長、姿勢などの歩容情報を検出する（ステップＳ６１３）。歩速は、例えば連続する画像情報の脚部の位置を比較することにより算出することができる。そして、第１検出部１３８は、検出した歩容情報を、作成した格フレームの属性格に格納する（ステップＳ６１４）。

次に、第１検出部１３８は、画像情報から物体を検出する（ステップＳ６１５）。なお、物体検出処理は、人物領域検出処理（ステップＳ６０２）とともに実行してもよい。

次に、第１検出部１３８は、物体が検出されたか否かを判断する（ステップＳ６１６）。物体が検出された場合（ステップＳ６１６：ＹＥＳ）、第１検出部１３８は、物体が前の画像情報で検出されていたか否か、および物体と人物領域の位置関係に応じて、行動名＝「触る」または「取り出す」の格フレームを作成する（ステップＳ６１７）。

具体的には、第１検出部１３８は、前の画像情報で検出された物体と照合することなどにより、物体が既に検出されていると判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「触る」の格フレームを新たに作成する。また、第１検出部１３８は、未検出の物体が新たに検出されたと判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「取り出す」の格フレームを新たに作成する。

ステップＳ６１６で物体が検出されなかったと判断された場合（ステップＳ６１６：ＮＯ）、またはステップＳ６１７で新たな格フレームを作成後、第１検出部１３８は、これまでに作成した格フレームを状態情報ＤＢに保存し（ステップＳ６１８）、画像からの動作検出処理を終了する。

次に、本実施の形態にかかる警備装置１００による状態情報からの動作検出処理について図７を用いて説明する。状態情報からの動作検出処理とは、状態情報ＤＢ１５１に保存されている状態情報から人物等の動作（行動）を検出する処理をいう。図７は、本実施の形態における状態情報からの動作検出処理の全体の流れを示すフローチャートである。

まず、第２検出部１３９は、状態情報ＤＢ１５１に保存されている状態情報である格フレームのうち、未処理の格フレーム（以下、第１格フレームという）を取得する（ステップＳ７０１）。次に、第２検出部１３９は、取得した第１格フレームと時間的に連続する格フレーム（以下、第２格フレームという）を状態情報ＤＢ１５１から取得する（ステップＳ７０２）。

次に、第２検出部１３９は、取得した２つの格フレームが満たす行動検出規則を規則ＤＢ１５２から検索する（ステップＳ７０３）。具体的には、第２検出部１３９は、第１格フレームおよび第２格フレームの行動名が、それぞれ行動検出規則の前格フレームおよび後格フレームの行動名と一致し、格情報が行動検出規則の格情報が表す条件を満たす行動検出規則を検索する。

例えば、第１格フレームおよび第２格フレームの行動名が共に「存在する」であり、第１格フレームの体位置（体位置Ａとする）と、第２格フレームの体位置（体位置Ｂとする）とが異なる場合、図４に示すような規則ＤＢ１５２の最初の行動検出規則が検索される。

次に、第２検出部１３９は、行動検出規則が検索されたか否かを判断し（ステップＳ７０４）、検索された場合は（ステップＳ７０４：ＹＥＳ）、検索した行動検出規則の「検出される状態情報」に設定された行動名の格フレームを作成する（ステップＳ７０５）。

行動検出規則が検索されなかった場合（ステップＳ７０４：ＮＯ）、または、格フレームを作成後、第２検出部１３９は、未処理の格フレームが存在するか否かを判断する（ステップＳ７０６）。

未処理の格フレームが存在する場合（ステップＳ７０６：ＹＥＳ）、第２検出部１３９は、次の格フレームを取得して処理を繰り返す（ステップＳ７０１）。未処理の格フレームが存在しない場合は（ステップＳ７０６：ＮＯ）、状態情報からの動作検出処理を終了する。

このような処理により、画像情報からだけでなく、テキスト情報として保存した状態情報から、人物等の対象物の行動を検出することができる。このため、画像の分析のみによって監視対象物の動作を認識する従来の方法と比較して、動作検出処理の処理負荷を低減することが可能となる。

次に、動作検出処理の具体例について図８を用いて説明する。図８は、動作検出処理の具体例を示す模式図である。同図は、一般家屋の玄関前に設置された監視カメラ１２０で撮影された画像情報８０１〜８０３から人物の行動を検出する例を示している。

同図に示すように、最初の画像情報８０１を解析することにより、人物が通路にいることを表す行動名＝「存在する」の格フレーム８１１が構築される。また、次に撮影された画像情報８０２を解析することにより、人物が玄関前にいることを表す行動名＝「存在する」の格フレーム８１２が構築される。これらの２つの格フレームを比較すると、同一人物が異なる場所で存在していることから、図４に示すような規則ＤＢ１５２の行動名＝「移動する」を検出可能な行動検出規則と一致する。このため、行動名＝「移動する」の格フレーム８２１が検出される。

さらに、次に撮影された画像情報８０３を解析することにより、人物が玄関前にいる（頭部の位置が低い）ことを表す行動名＝「存在する」の格フレーム８１３が構築される。同様に前後の格フレームを比較すると、同一人物が同位置に存在し、頭部の高さのみが変化していることから、図４に示すような規則ＤＢ１５２の行動名＝「しゃがむ」を検出可能な行動検出規則と一致する。このため、行動名＝「しゃがむ」の格フレーム８２２が検出される。

このように、本実施の形態にかかる動作検出装置では、監視カメラで撮影した動画像中の任意の瞬間の画像（フレーム画像）に対して画像処理を行って人物等の監視対象物を検出し、検出した監視対象物の状態を表す格フレームを構築して記憶部に保存する。さらに時間が経過するごとに構築される格フレーム上の差異を比較することで、さらに監視対象物の行動を検出する。すなわち、本実施の形態で必要な画像処理は、主に監視対象物の検出とその特徴抽出であり、監視対象物の詳細な行動を検出するための画像処理が不要となる。これにより、画像から監視対象物の動作を検出するときの処理負荷を低減することができる。

また、本実施の形態は、全てのフレーム画像に対して画像処理を実行する必要がないため、何らかの要因により、画像処理が正常に行われなかったフレーム画像が存在したとしても、監視対象物の行動を検出することが可能である。

さらに、新たな犯罪手口の発生等により、検出対象とすべき行動が増えた場合、従来のように画像処理のみで行動を検出する方法であれば、新たな画像処理を追加する必要が生じる。これに対し、本実施の形態の方法によれば、新たな行動検出規則を追加するだけで、検出対象行動の増加に対して容易に対応することができる。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

本実施の形態にかかる監視システムの構成を示すブロック図である。状態情報ＤＢに記憶される状態情報のデータ構造の一例を示す図である。状態情報ＤＢに記憶される状態情報の具体例を示す図である。規則ＤＢに記憶される行動検出規則のデータ構造の一例を示す図である。検出される行動間の遷移関係を表す図である。本実施の形態における画像からの動作検出処理の全体の流れを示すフローチャートである。本実施の形態における状態情報からの動作検出処理の全体の流れを示すフローチャートである。動作検出処理の具体例を示す模式図である。

符号の説明

１０監視システム
１００警備装置
１１０センサ
１２０監視カメラ
１３０警備操作部
１３１検知情報受信部
１３２画像情報取得部
１３３警備状態切替部
１３４操作パネル制御部
１３５操作パネル
１３６送受信部
１３７警備状態記憶部
１３８第１検出部
１３９第２検出部
１５０ＨＤＤ
１５１状態情報ＤＢ
１５２規則ＤＢ
２００監視センタ
３００ネットワーク
５０１〜５０４、５１１〜５１３行動名
８０１〜８０３画像情報
８１１〜８１３、８２１〜８２２格フレーム

Claims

物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を記憶可能な記憶手段と、
撮像手段によって撮像された前記物体の画像情報を取得する取得手段と、
前記画像情報を解析して物体の動作状態を検出し、検出した動作状態を表す前記状態情報を生成して前記記憶手段に保存する第１検出手段と、
保存された複数の前記状態情報間の差分を検出し、前記差分に応じた前記物体の動作を予め定めた規則に基づいて、検出した差分に対応する前記物体の動作を検出する第２検出手段と、を備え、
前記規則は、比較元の前記状態情報の前記動詞または前記格要素と比較先の前記状態情報の前記動詞または前記格要素とによって表される前記状態情報の差分のパターンを表す差分情報と、前記差分情報に応じて定められた前記物体の動作とを含み、
前記第２検出手段は、第１状態情報の前記動詞または前記格要素が前記比較元の前記状態情報の前記動詞または前記格要素と一致し、第２状態情報の前記動詞または前記格要素が前記比較先の前記状態情報の前記動詞または前記格要素と一致する場合に、前記第１状態情報と前記第２状態情報との間に差分が存在することを検出し、検出した差分を表す前記差分情報に対応する前記物体の動作を検出すること、
を特徴とする動作検出装置。
前記第２検出手段は、さらに、検出した前記物体の動作の種類を表す動詞と、検出した前記物体の動作に関連する格要素とを含む前記状態情報を生成して前記記憶手段に保存し、保存した複数の前記状態情報間の差分をさらに検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、
を特徴とする請求項１に記載の動作検出装置。
前記状態情報は、前記格要素として前記物体の動作が発生した時刻を含み、
前記第２検出手段は、保存された前記状態情報のうち、前記時刻が連続する複数の前記状態情報間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、
を特徴とする請求項１に記載の動作検出装置。
前記状態情報は、前記格要素として前記物体の位置を含み、
前記第２検出手段は、保存された複数の前記状態情報に含まれる前記位置間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、
を特徴とする請求項１に記載の動作検出装置。
前記状態情報は、前記格要素として前記物体の向きを含み、
前記第２検出手段は、保存された複数の前記状態情報に含まれる前記向きの間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、
を特徴とする請求項１に記載の動作検出装置。
前記状態情報は、前記格要素として前記物体の高さを含み、
前記第２検出手段は、保存された複数の前記状態情報に含まれる前記高さ間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、
を特徴とする請求項１に記載の動作検出装置。
取得手段が、撮像手段によって撮像された物体の画像情報を取得する取得ステップと、
第１検出手段が、前記画像情報を解析して物体の動作状態を検出し、検出した動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を生成して記憶手段に保存する第１検出ステップと、
第２検出手段が、保存された複数の前記状態情報間の差分を検出し、前記差分に応じた前記物体の動作を予め定めた規則に基づいて、検出した差分に対応する前記物体の動作を検出する第２検出ステップと、を含み、
前記規則は、比較元の前記状態情報の前記動詞または前記格要素と比較先の前記状態情報の前記動詞または前記格要素とによって表される前記状態情報の差分のパターンを表す差分情報と、前記差分情報に応じて定められた前記物体の動作とを含み、
前記第２検出ステップは、第１状態情報の前記動詞または前記格要素が前記比較元の前記状態情報の前記動詞または前記格要素と一致し、第２状態情報の前記動詞または前記格要素が前記比較先の前記状態情報の前記動詞または前記格要素と一致する場合に、前記第１状態情報と前記第２状態情報との間に差分が存在することを検出し、検出した差分を表す前記差分情報に対応する前記物体の動作を検出すること、
を特徴とする動作検出方法。