JP5496566B2 - 不審行動検知方法および不審行動検知装置 - Google Patents

Description

本発明は、カメラ画像に基づいて監視エリア内での不審行動を検知する不審行動検知方法および不審行動検知装置に関する。

この種の監視システムとしては、監視対象の日常動作を調べて定義しておき、その日常動作からの逸脱により異常動作を検出するものがある。たとえば、エレベータ内では、通常は静止しているが、稀に体操する人もありその体操は手や足を周期的に動かす周期性動作となるという前提から、日常逸脱動作であり、かつ周期性動作でなければ、異常動作であると判定するシステムがある（特許文献１参照）。また、歩く、屈むなど人の汎用的振る舞いを解析し、この汎用的振る舞いに関する時系列データに基づいて、特定の専用的振る舞いか否かを識別（たとえば、歩く動作から→屈む動作に変化し、その後、屈む動作がＮ秒間以上継続すると病気と判定)する画像監視システムがある（特許文献２参照）。

一方、異常行動のパターン（場所と動作）を定義付けておき、該定義した行動に類似する行動を異常行動として検出する監視システムがある。たとえば、危険領域（歩道や駅のプラットフォーム端部など）におけるふらつき歩行や千鳥足歩行などの動作を異常歩行として検出する歩行監視システムがある（特許文献３参照）。また、監視対象物を監視要素（人体部分等の動作、外観的識別、視認行為回数）単位で解析し、監視対象物に対する監視項目を、細分化した監視要素毎に所定の判定ルールに基づいて判定し、その総合的な判断により警報を出力するシステムがある（たとえば、特許文献４参照。）。

特許第３９９４４１６号 特開２００７−２７２４８８号公報 特開２００７−８９１０５号公報 特開２００６−２８７８８４号公報

日常行動から逸脱した動作を異常行動として検出するシステムでは、検知を所望する異常行動の行動パターンが日常行動パターンと類似している場合には、検知漏れが発生し易くなる。たとえば、駐車場のような監視エリアでは、人・車両等複数種類のオブジェクトが存在し、監視対象の出入りや動作の自由度が高く、起こり得る日常行動パターンはバリエーションに富み、個人差もある。このため、日常行動の範囲に異常行動と類似した行動も含まれてしまい、日常行動に類似した異常行動（犯罪行為等）が検知漏れになり易い。

一方、車上荒らしなどの犯罪行為は、頻繁に発生するものではないから、得られる監視映像のサンプル数はごく少量に過ぎない。また、犯罪行為に関する行動パターンは複雑でバリエーションに富み、個人差もある。このため、定義した異常行動パターンに類似する行動を異常行動として検出する方式の監視システムでは、監視カメラが実際の犯罪行為を捉えたとしても、その画像から抽出した行動と犯罪行為サンプルデータとを比較した場合の外れ度合いが大きくなり、検知漏れが発生しやすい。

なお、監視員の映像監視を支援するシステムにおいては、日常行動を異常行動として誤検知する場合が稀にあったとしても、異常行動を漏れなく検知することが望まれる。

本発明は、上記の問題を解決しようとするものであり、発生する場所・時間・動作による不審（異常）行動の定義が困難な広域エリアにおいて、多様で複雑な行動パターンの監視対象においても不審行動の検知漏れを防止することのできる不審行動検知方法および不審行動検知装置を提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］処理部が、カメラから入力される画像内の人物を追尾し、前記追尾した人物の行動が日常行動パターンから外れた非日常行動であるか否かの第１判定と、前記人物の行動が不審な特異行動か否かの第２判定とを行い、前記第１判定と前記第２判定の判定結果に基づいて前記人物の不審行動を検知する不審行動検知方法であって、
追尾している人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データを、日常行動を行う複数人分についてデータベースに登録すると共に、特異行動を行う人物の特徴量時系列データより発見される知識ベース推論関数を推論関数記憶部に登録しておき、
前記カメラから入力される画像内の人物の追尾において、該人物の特徴量時系列データを収集し、
前記第１判定を、判定対象の人物に関する特徴量時系列データと、前記データベースに登録されている以前に追尾された日常行動を行う複数人分の特徴量時系列データとに基づく統計的手法によって行い、
前記第２判定を、判定対象の人物に関する特徴量時系列データに、前記推論関数記憶部に登録されている知識ベース推論関数を適用して行う
ことを特徴とする不審行動検知方法。

上記［１］および後述する［５］の発明では、追尾した人物の行動が日常行動パターンから外れた非日常行動であるか否かの第１判定と、人物の行動が不審な特異行動か否かの第２判定の双方の判定結果に基づいて人物の不審行動を検知するので、一方の判定のみで不審行動を検知する場合に比べて、信頼性の高い検知が可能になる。

また、日常行動については多数の特徴量時系列データを収集できるので、第１判定では、これらに基づく統計的手法によって、非日常行動か否かの判定を行う。一方、犯罪行為などの異常行動はサンプルされる特徴量時系列データの数が少ないので、第２判定では、その少ない特徴量時系列データから導出される知識ベース推論関数を適用して、特異行動か否かを判定する。

［２］判定対象の人物に対する前記第１判定の判定結果が非日常行動であること、もしくは、前記人物に対する前記第２判定の判定結果が特異行動であることの少なくとも一方が真であれば、前記人物について不審行動の検知ありと判定すると共に、前記第１判定の判定結果が日常行動である場合にのみ、前記第２判定を行う
ことを特徴とする［１］に記載の不審行動検知方法。

上記［２］および後述する［６］の発明では、非日常行動もしくは特異行動と判定した場合はその人物について不審行動の検知ありとするので、不審行動の検知漏れを低減することができる。
［３］前記第１判定の判定結果が非日常行動でありかつ前記第２判定の判定結果が不審な特異行動の場合は不審のレベルを第１レベルとし、
前記第１判定の判定結果が非日常行動で前記第２判定の判定結果が不審な特異行動でない場合、および、前記第１判定の判定結果が日常行動で前記第２判定の判定結果が不審な特異行動の場合は不審のレベルを前記第１レベルより低い第２レベルとする
ことを特徴とする［１］に記載の不審行動検知方法。
［４］［１］乃至［３］いずれか１項に記載の不審行動検知方法において、カメラから入力される画像内の人物の追尾を、処理対象の画像内のオブジェクトを検出して追尾する以下のオブジェクト追尾方法によって行なう、
前記処理対象の画像内のオブジェクトを検出するステップと、
新規に追尾対象のオブジェクトを検出した場合に、そのオブジェクトを追尾対象とする所定サイズの探索ブロックを前記オブジェクトの領域内に複数発生させると共に各探索ブロックに当該探索ブロックの存在領域における前記オブジェクトの特徴情報を対応付けて記憶するステップと、
探索ブロック毎に、その探索ブロックの存在領域に存在するオブジェクトの特徴情報と前記探索ブロックに対応付けて記憶されている前記特徴情報との比較に基づいて前記オブジェクトと前記探索ブロックの追尾対象のオブジェクトとの適合度を演算するステップと、
探索ブロックの存在領域に存在するオブジェクトがその探索ブロックの追尾対象のオブジェクトであるか否かを該探索ブロックに係る前記適合度に基づいて判断し、該判断結果が真の場合に前記探索ブロックの追尾対象のオブジェクトを追尾成功オブジェクトと判断するステップと、
追尾成功オブジェクト毎に、そのオブジェクトを追尾対象とする複数の探索ブロック間で、適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換えるステップと、
前記追尾成功オブジェクトを追尾対象とする探索ブロックについて、その探索ブロックに対応付けて記憶されている前記特徴情報を更新するステップと、
各探索ブロックを、その探索ブロックの追尾対象のオブジェクトの動きとランダムな動きとを合成した動きに基づいて移動させるステップと、
を繰り返し行い
前記追尾対象が同一オブジェクトの複数の探索ブロック間で適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換える処理は、前記オブジェクトを追尾対象とするすべての探索ブロックの適合度の和に対する個々の探索ブロックの適合度の比率をその探索ブロックの出現確率とするルーレットを生成し、前記オブジェクトを追尾対象とする探索ブロック毎に前記ルーレットに基づく乱数抽選を行い、その探索ブロックをその抽選結果の出目に対応する探索ブロックに置き換えることによって行う。

［５］カメラから入力される画像内の人物を追尾する追尾部と、
前記追尾部で追尾した人物の行動が日常行動パターンから外れた非日常行動であるか否かを判定する第１判定部と、
前記人物の行動が不審な特異行動か否かを判定する第２判定部と、
前記第１判定部と前記第２判定部の判定結果に基づいて前記人物の不審行動を検知する不審判定部と、
追尾している人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データが日常行動を行う複数人分について登録されたデータベースと、
特異行動を行う人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データより発見される知識ベース推論関数が登録された推論関数記憶部と、
を有し、
前記追尾部は、追尾対象の人物について、その人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データを収集し、
前記第１判定部は、判定対象の人物に関する特徴量時系列データと前記データベースに登録されている特徴量時系列データとに基づく統計的手法によって、前記人物の行動が非日常行動であるか否かを判定し、
前記第２判定部は、判定対象の人物に関する特徴量時系列データに、前記推論関数記憶部に記憶されている知識ベース推論関数を適用して、前記人物の行動が不審な特異行動か否かを判定する
ことを特徴とする不審行動検知装置。

［６］前記不審判定部は、判定対象の人物に対する前記第１判定部の判定結果が非日常行動であること、もしくは、前記人物に対する前記第２判定部の判定結果が特異行動であることの少なくとも一方が真であれば、前記人物について不審行動の検知ありと判定すると共に、前記第１判定部の判定結果が日常行動である場合にのみ、前記第２判定部で判定を行う
ことを特徴とする［５］に記載の不審行動検知装置。
［７］前記不審判定部は、
前記第１判定部の判定結果が非日常行動でありかつ前記第２判定部の判定結果が不審な特異行動の場合は不審のレベルを第１レベルとし、
前記第１判定部の判定結果が非日常行動で前記第２判定部の判定結果が不審な特異行動でない場合、および、前記第１判定部の判定結果が日常行動で前記第２判定部の判定結果が不審な特異行動の場合は不審のレベルを前記第１レベルより低い第２レベルとする
ことを特徴とする［５］または［６］に記載の不審行動検知装置。
［８］［５］乃至［７］のいずれか１項に記載の不審行動検知装置において、前記追尾部は、人物の追尾を、処理対象の画像内のオブジェクトを検出して追尾する以下のオブジェクト追尾方法によって行なう、
前記処理対象の画像内のオブジェクトを検出するステップと、
新規に追尾対象のオブジェクトを検出した場合に、そのオブジェクトを追尾対象とする所定サイズの探索ブロックを前記オブジェクトの領域内に複数発生させると共に各探索ブロックに当該探索ブロックの存在領域における前記オブジェクトの特徴情報を対応付けて記憶するステップと、
探索ブロック毎に、その探索ブロックの存在領域に存在するオブジェクトの特徴情報と前記探索ブロックに対応付けて記憶されている前記特徴情報との比較に基づいて前記オブジェクトと前記探索ブロックの追尾対象のオブジェクトとの適合度を演算するステップと、
探索ブロックの存在領域に存在するオブジェクトがその探索ブロックの追尾対象のオブジェクトであるか否かを該探索ブロックに係る前記適合度に基づいて判断し、該判断結果が真の場合に前記探索ブロックの追尾対象のオブジェクトを追尾成功オブジェクトと判断するステップと、
追尾成功オブジェクト毎に、そのオブジェクトを追尾対象とする複数の探索ブロック間で、適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換えるステップと、
前記追尾成功オブジェクトを追尾対象とする探索ブロックについて、その探索ブロックに対応付けて記憶されている前記特徴情報を更新するステップと、
各探索ブロックを、その探索ブロックの追尾対象のオブジェクトの動きとランダムな動きとを合成した動きに基づいて移動させるステップと、
を繰り返し行い
前記追尾対象が同一オブジェクトの複数の探索ブロック間で適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換える処理は、前記オブジェクトを追尾対象とするすべての探索ブロックの適合度の和に対する個々の探索ブロックの適合度の比率をその探索ブロックの出現確率とするルーレットを生成し、前記オブジェクトを追尾対象とする探索ブロック毎に前記ルーレットに基づく乱数抽選を行い、その探索ブロックをその抽選結果の出目に対応する探索ブロックに置き換えることによって行う。

本発明に係る不審行動検知方法、不審行動検知装置によれば、発生する場所・時間・動作による不審（異常）行動の定義が困難な広域エリアにおいて多様で複雑な行動パターンの監視対象においても、不審行動の検知漏れを防止することができる。

本発明の実施の形態に係る不審行動検知装置の概略構成を示すブロック図である。 不審行動検知装置が行う動作を示す流れ図である。 オブジェクトデータテーブルを示す説明図である。 行動非日常度導出処理（図２のステップＳ１３）の概要を示す説明図である。 行動非日常度導出処理の概念の一例を示す説明図である。 特徴量時系列データの蓄積状態を例示した説明図である。 非日常度導出部に入力する、時間長Ｔ_１分の特徴量時系列データを記憶領域から取り出す際の取り出し方を例示した説明図である。 行動非日常度導出処理（図２のステップＳ１３）の詳細を示す流れ図である。 行動特異度導出処理（図２のステップＳ１６）の詳細を示す流れ図である。 着目する行動の指標（推論関数引数）の一覧を例示した説明図である。 知識ベース推論関数と、これらの知識ベース推論関数で求めた特異度の最大値を求める演算式を示す説明図である。 非日常度と特異度とから不審行動か否かを判定する際の二分木図である。 不審行動検知装置が行う動作を示す第２の流れ図である。 図１３の処理に対応した判定論理表を示す説明図である。 不審行動検知装置の処理部の追尾部が追尾するオブジェクトの状態遷移図である。 不審行動検知装置の処理部が行うオブジェクトの追尾判別処理の各処理フェーズを示す説明図である。 追尾判別処理を示す流れ図である。 探索ブロックによる探索の概略を示す説明図である。 処理対象の画像（１フレーム分の画像）を複数の分割ブロックに分割した状態の一例を示す説明図である。 オブジェクト追尾・探索処理（図１７；ステップＳ１０５）を示す流れ図である。 探索ブロック発生処理（図２０；ステップＳ１２２）を示す流れ図である。 探索ブロックの原点（px0,py0）と中心位置(px,py)との関係を示す説明図である。 探索ブロックデータテーブルを示す説明図である。 ＨＳＶ色空間累積ヒストグラムの一例を示す説明図である。 適合度更新処理（図２０：ステップＳ１２３）の詳細を示す流れ図である。 探索ブロック中心・追尾対象のオブジェクト重心間の距離と適合度との関係を示す説明図である。 分割ブロック領域ＩＤ割り当て処理（図２０：ステップＳ１２４）の詳細を示す流れ図である。 探索ブロック消去処理（図２０：ステップＳ１２５）の詳細を示す流れ図である。 探索ブロックリサンプリング処理（図２０：ステップＳ１２８）の詳細を示す流れ図である。 探索ブロックリサンプリング処理で生成されるルーレットの一例を示す説明図である。 探索ブロックリサンプリング処理による探索ブロックの置き換え状況の一例を示す説明図である。 探索ブロック更新処理（図２０：ステップＳ１２９）の詳細を示す流れ図である。 交差の前後での探索ブロックによるオブジェクトの追尾・探索状況の一例を示す説明図である。 人・車両判別処理（図１７：ステップＳ１１１）の詳細を示す流れ図である。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る不審行動検知装置１０の概略構成を示している。本実施の形態の不審行動検知装置１０は、複数の物体や人物が存在する広いエリア内で行動する不審人物を検知する監視カメラシステムである。本実施の形態では、広い駐車場内で不審人物の監視を行う監視カメラシステムを例に説明する。すなわち、カメラ画像内から検出された移動物体が人か車両かを判別し、人であると判別した場合にその行動を解析して不審行動か否かを判定し、不審行動を検知した場合は監視員に対して注意喚起する等の機能を果たす。カメラは広い範囲を撮影しており、その撮影領域内を通過する人の「見え方」は様々に変化し得る。

不審行動検知装置１０は、監視対象エリアを撮影して画像を取り込むためのカメラ部１１と、カメラ部１１によって取り込まれた画像を解析して物体を検出し、その物体の追尾・探索および物体の種類の判別、人の行動解析などの処理を行う処理部１２と、処理部１２の処理結果を出力する出力部１４と、当該不審行動検知装置１０に対する各種の設定や動作に関する指示の入力を受ける入力部１３と、物体の種類の判別や人の行動を解析する際の参照データが蓄積されたデータベース部１５とを備えて構成される。カメラ部１１、出力部１４、入力部１３、データベース部１５はそれぞれ処理部１２に接続されている。以後、画像データにおいて認識された物体はオブジェクトと呼ぶ。

カメラ部１１は動画を撮影する。カメラ部１１は、フレーム毎の画像（１画面分の静止画像）を１秒間に数十フレーム取り込むことで動画を撮影する機能を果たす。処理部１２は、ＣＰＵ（Central Processing Unit）と、このＣＰＵが実行するプログラムやデータが記憶されたＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）などを主要部として構成される。

処理部１２は、カメラ部１１から入力される画像内のオブジェクトを追尾・探索する追尾部２１と、記憶部２２と、追尾部２１によるオブジェクトの追尾中に、そのオブジェクトの特徴を抽出し、該特徴を示す特徴量データを記憶部２２に記憶することを繰り返し行う蓄積制御部２３と、記憶部２２に記憶されている所定時間長以上分のオブジェクトの特徴量データに基づいてオブジェクトの種類を判別する人・車両判別部２４と、人と判別されたオブジェクトの特徴量データに基づいてその人の行動を解析する行動解析部２５の機能を備えている。

特徴量データは、たとえば、オブジェクトの形状、大きさ、動き、縦横比等である。特徴量データは時系列に記憶部２２に記憶される。蓄積制御部２３は、オブジェクトの追尾中は所定の時間間隔で特徴量データを記憶部２２に記憶させる。ここでは、フレーム毎に行う。なお、時系列にされた特徴量データを特徴量時系列データとする。

追尾部２１は、追尾対象のオブジェクト同士の交差や追尾対象のオブジェクトの障害物の背後への一時的な隠れといった現象が発生した場合でも、その前後で同一オブジェクトを同一のオブジェクトとして追尾する機能を備えている。

人・車両判別部２４は、追尾対象のオブジェクトが人か車両かを判別する機能を果たす。人・車両の判別は公知の任意の手法により行えばよい。

行動解析部２５は、人の行動が非日常行動である度合い（非日常度）を導出する非日常度導出部２５ａ（第１判定部）と、人の行動が特異行動（異常行動）である度合い（特異度）を導出する特異度導出部２５ｂ（第２判定部）と、非日常度および特異度に基づいてその人の行動が不審行動か否かを判定する不審判定部２５ｃとしての機能を果たす。

データベース部１５は、人に関する形状等の特徴データが蓄積された人特徴ＤＢ部１５ａと、車両に関する形状等の特徴データが蓄積された車両特徴ＤＢ部１５ｂと、人の日常行動に関する特徴量時系列データ等が蓄積された日常行動特徴量時系列ＤＢ部１５ｃと、人の特異行動に関する特徴量時系列データ等が蓄積された特異行動特徴量時系列ＤＢ部１５ｄとを備えて構成される。たとえば、車上荒らしや車両盗難などの犯罪行為が検知対象の特異行動(不審行動)とされる。

人・車両判別部２４は、人特徴ＤＢ部１５ａに蓄積されているデータを参照比較してオブジェクトが人か否かの判別を行い、車両特徴ＤＢ部１５ｂに蓄積されているデータを参照比較してオブジェクトが車両か否かの判別を行う。非日常度導出部２５ａは、人と判別されたオブジェクトの動き等と日常行動特徴量時系列ＤＢ部１５ｃに蓄積されているデータとから統計的手法により、その人の行動の非日常度を導出する。特異度導出部２５ｂは、人と判別されたオブジェクトの動き等に対して、特異行動特徴量時系列ＤＢ部１５ｄに蓄積されているデータより発見される知識ベース推論関数を適用して、その人の行動の特異度を導出する。

出力部１４は、処理結果のデータ信号を外部に出力するためのインターフェース回路、各種設定画面や操作画面、処理結果等を視覚的に表示するためのディスプレイ装置などで構成される。入力部１３は、各種の設定や動作に関する指示に係る信号を入力するためのインターフェース回路のほか、各種の操作スイッチなどで構成される。

次に、不審行動検知装置１０の動作を説明する。

図２は、不審行動検知装置１０が行う動作の流れを示している。なお、追尾部２１、記憶部２２、蓄積制御部２３、人・車両判別部２４に関する動作の詳細例は後述する。ここでは、カメラ部１１から入力された画像を解析してオブジェクトの追尾が行われ、それら各オブジェクトが人であるか車両であるかが判別されているものとし、行動解析部２５の動作を主として説明する。

なお、追尾中の各オブジェクトについて、図３に示すオブジェクトデータテーブル３０が作成される。オブジェクトデータテーブル３０は、新たなオブジェクトが検出される毎に作成され、そのオブジェクトが消滅するまで１フレームの画像を処理する毎に更新される。

オブジェクトデータテーブル３０には、オブジェクトＩＤ（obj_id）と、オブジェクト種類（obj_type^obj_id）と、オブジェクト状態（obj_state^obj_id）と、オブジェクト不審判定フラグ（suspicious_flag^obj_id）と、オブジェクト存在継続時間（obj_time^obj_id）と、オブジェクト領域左端位置（obj_lx^obj_id）と、オブジェクト領域右端位置（obj_rx^obj_id）と、オブジェクト領域上端位置（obj_ty^obj_id）と、オブジェクト領域下端位置（obj_bｙ^obj_id）と、オブジェクト領域重心位置（水平方向）（obj_gx^obj_id）と、オブジェクト領域重心位置（垂直方向）（obj_gy^obj_id）と、オブジェクトの大きさ（obj_size^obj_id）と、オブジェクトの縦横比（obj_aspect^obj_id）と、オブジェクトの動きベクトル（水平方向）（obj_dx^obj_id）と、オブジェクトの動きベクトル（垂直方向）（obj_dy^obj_id）と、オブジェクト-最近傍車両間距離（obj_car_dist^obj_id）とが登録される。

オブジェクトＩＤ（obj_id）は、当該オブジェクトに固有に割り当てられた識別子である。オブジェクト種類（obj_type^obj_id）は、当該オブジェクトが人と判別済みのオブジェクト（以下、人オブジェクトとも呼ぶ。）であるか車両と判別済みのオブジェクト（以下、車両オブジェクトとも呼ぶ。）であるか未判別のオブジェクトであるかを示す。オブジェクト状態（obj_state^obj_id）は、当該オブジェクトの状態が、追尾中（ACTIVE）か一時的な消失中（LOST）かなどを示す。オブジェクト不審判定フラグ（suspicious_flag^obj_id）は、当該オブジェクトが人の場合にセットされ、不審者（不審行動を行った人）と判定された人オブジェクトか否かを示す。オブジェクト-最近傍車両間距離（obj_car_dist^obj_id）は、当該オブジェクトが人の場合にセットされ、最も近い車両までの距離を示す。

図２に戻って説明を続ける。処理部１２は、フレーム時刻ｔを０に初期化した（ステップＳ１）後、追尾中のオブジェクトの中に人と判別されたオブジェクト（人オブジェクト）が存在するか否かを確認する（ステップＳ２）。追尾中の人オブジェクト（追尾人物）が存在しなければ（ステップＳ３；Ｎｏ）、フレーム時刻ｔを＋１して（ステップＳ２２）、ステップＳ２に移行して処理を継続する。なお、処理部１２は、ステップＳ２〜Ｓ２２の処理を、カメラ部１１から１フレームの画像（もしくは所定の複数フレーム）を取り込む毎に実行する。

追尾中の人オブジェクト（追尾人物）が存在すれば（ステップＳ３；Ｙｅｓ）、消滅した人オブジェクト（消滅人物）が存在するか否かを確認する（ステップＳ４）。消滅した人オブジェクトが存在しない場合は（ステップＳ４；Ｎｏ）、ステップＳ９へ移行する。消滅した人オブジェクトが存在する場合は（ステップＳ４；Ｙｅｓ）、消滅したすべての人オブジェクトのオブジェクトデータテーブル３０をクリアして（ステップＳ５〜Ｓ８）、ステップＳ９へ移行する。

ステップＳ９では、処理対象の人オブジェクトの番号を示す変数ｉを０にクリアし、追尾している人オブジェクトのそれぞれについてステップＳ１０〜Ｓ２１の処理を行う。すなわち、オブジェクト不審判定フラグ（suspicious_flag^obj_id(i)）がＯＮ状態（ＯＮは不審者を示す）か否かを調べ（ステップＳ１０）、ＯＮでなければ(ステップＳ１０；Ｎｏ)、当該人オブジェクトに関する特徴量時系列データを更新する（ステップＳ１１）。ここでは、フレーム毎のオブジェクトデータテーブル３０の内容（全部もしくは一部（上下左右の端位置、重心位置、動きベクトル、大きさ、縦横比、オブジェクト-最近傍車両間距離など））が、その人オブジェクトの特徴量データとされ、時系列にして（特徴量時系列データとして）記憶部２２に保存される。

次に、特徴量時系列データがＴ_１時間分以上蓄積されているか否かを調べ（ステップＳ１２）、蓄積量がＴ_１時間分に満たない場合は（ステップＳ１２；Ｎｏ）、ステップＳ１５へ移行する。Ｔ_１時間分以上蓄積されている場合は（ステップＳ１２；Ｙｅｓ）、Ｔ_１時間分以上蓄積された特徴量時系列データに基づいて、当該人オブジェクトの行動に関する非日常度を導出する行動非日常度導出処理を行う（ステップＳ１３）。

求めた非日常度が予め定めた閾値Ｔｈ_１以上の場合は（ステップＳ１４；Ｙｅｓ）、この人オブジェクトは不審行動を行っていると判断し、オブジェクト不審判定フラグ（suspicious_flag^obj_id(i)）をＯＮにし(ステップＳ１８)、アラーム表示を行って(ステップＳ１９)、ステップＳ２０へ移行する。なお、非日常度に基づく判定を第１判定とする。求めた非日常度が予め定めた閾値Ｔｈ_１未満の場合は（ステップＳ１４；Ｎｏ）ステップＳ１５へ移行する。

ステップＳ１５では、特徴量時系列データがＴ_２時間分以上蓄積されているか否かを調べ、蓄積量がＴ_２時間分に満たない場合は（ステップＳ１５；Ｎｏ）、ステップＳ２０へ移行する。Ｔ_２時間分以上蓄積されている場合は（ステップＳ１５；Ｙｅｓ）、Ｔ_２時間分以上蓄積された特徴量時系列データに基づいて、当該人オブジェクトの行動に関する特異度を導出する行動特異度導出処理を行う（ステップＳ１６）。

求めた特異度が予め定めた閾値Ｔｈ_２以上の場合は（ステップＳ１７；Ｙｅｓ）、この人オブジェクトは不審行動を行っていると判断し、オブジェクト不審判定フラグ（suspicious_flag^obj_id(i)）をＯＮにし(ステップＳ１８)、アラーム表示を行って(ステップＳ１９)、ステップＳ２０へ移行する。なお、特異度に基づく判定を第２判定とする。

オブジェクト不審判定フラグ（suspicious_flag^obj_id(i)）が既にＯＮになっている場合は（ステップＳ１０；Ｙｅｓ）、アラーム表示を行って(ステップＳ１９)、ステップＳ２０へ移行する。

ステップＳ２０では、変数ｉを＋１し、加算後の変数ｉが追尾中の全人オブジェクトの数に等しいか否かを調べ（ステップＳ２１）、等しくない場合は（ステップＳ２１；Ｎｏ）、ステップＳ１０に戻り、次の人オブジェクトについての処理を行う。等しい場合は（ステップＳ２１；Ｙｅｓ）、フレーム時刻ｔを＋１し（ステップＳ２２）、ステップＳ２に戻って次フレーム画像に対する処理を行う。

図４は、行動非日常度導出処理（図２のステップＳ１３）の概要を、図５は、行動非日常度導出処理の概念の一例を示している。図４では、非日常度導出部２５ａは、日常行動特徴量時系列ＤＢ部１５ｃに保存されている多数の日常行動に関する特徴量時系列データについて所定の統計処理を行って代表となる日常行動パターンを導出し、これとＴ_１時間分以上の時系列区間ｊにおける特徴量時系列データが示す行動パターンとを比較し、代表となる日常行動パターン（ベクトル（行列））からの外れ度合いを、非日常度として導出する、といった処理を行う。

図５は、非日常度導出部２５ａが行う統計的手法の一例として、日常行動特徴量時系列ＤＢ部１５ｃに保存されている多数の日常行動に関する特徴量時系列データに基づいて、日常行動パターンデータ分布をクラスタ分析し、それらクラスタの中心と人オブジェクトに関する時系列区間ｊにおける特徴量時系列データが示す行動パターン（時系列区間jに関する特徴量時系列ベクトル(行列)x_j）との距離を非日常度ＮＤ_ｊとして求める例を示している。これは非日常度の導出方法の一例であり、これに限定されるものではない。

図６は、特徴量時系列データの蓄積状態を例示している。特徴量時系列データの記憶領域Ｆは、現在時刻から最大でＬmax時間前までの特徴量データを時系列に保存するようになっている。なお、Ｌmax＞Ｔ_１、Ｔ_２とする。記憶領域Ｆは、たとえば、記憶部２２に設けられる。同図（ａ）は、非日常度の導出に必要なＴ_１時間長の特徴量時系列データが蓄積された状態を示している。記憶領域Ｆは詰まっておらず、空き領域がある。同図（ｂ）は、特異度の導出に必要なＴ_２時間長の特徴量時系列データが蓄積された状態を示している。記憶領域Ｆはまだ詰まっておらず、空き領域がある。同図（ｃ）は、記憶領域Ｆに特徴量時系列データが詰まった状態を示している。以後は、１つずつ左へシフトされて最も古いデータが廃棄され、右端の空いた領域に最新のデータが記憶される。すなわち、ＦＩＦＯ（First in First out）形式で記憶内容の更新が行われる。この例では、Ｔ_２＞Ｔ_１としたが、Ｔ_１＞Ｔ_２でも、Ｔ_１＝Ｔ_２でもかまわない。Ｔ_１、Ｔ_２は_、それぞれ着目する対象行動パターン（短時間の動作や仕草、長時間の継続動作、等）に応じて、柔軟に対応可能である。

図７は、非日常度導出部２５ａに入力する、時間長Ｔ_１分の特徴量時系列データを、図６の記憶領域Ｆから取り出す際の、取り出し方を例示している。同図（ａ）は、時間長Ｔ_１の時系列区間毎に区切って入力する場合を、同図（ｂ）は、時間長Ｔ_１の時系列区間（ウィンドウ）をスライドさせて入力する場合を示している。

図８は、行動非日常度導出処理（図２のステップＳ１３）の流れを示している。ｊ＝０（ステップＳ４１）、非日常度の最大値ＮＤ_ｍａｘ＝０(ステップＳ４２)にそれぞれ初期化する。続いて記憶領域Ｆから時系列区間ｊの特徴量時系列データを読み出して非日常度導出部２５ａに入力して非日常度ＮＤ_ｊを求め（ステップＳ４３）、その非日常度ＮＤ_ｊが非日常度の最大値ＮＤ_ｍａｘより大きい場合は（ステップＳ４４；Ｙｅｓ）、今回求めた非日常度ＮＤ_ｊで非日常度の最大値ＮＤ_ｍａｘを更新する（ステップＳ４５）。ステップＳ４３からＳ４５の処理を、図７に示すように時系列区間ｊをシフトさせ(ステップＳ４６)ながら繰り返し行い（ステップＳ４７；Ｎｏ）、全特徴量時系列区間について上記処理が完了したら（ステップＳ４７；Ｙｅｓ）、非日常度の最大値ＮＤ_ｍａｘを出力値として処理を終了する。

図９は、行動特異度導出処理（図２のステップＳ１６）の詳細を示している。行動特異度導出処理では、特異行動特徴量時系列ＤＢ部１５ｄに保存されている、異常行動を行う人物に関する特徴量時系列データより発見される知識ベース推論関数を任意数（ここではＳ個）定義して登録しておき、これらを判定対象の人物の行動に適用して、行動の特異度（不審行動である度合い）を導出する。知識ベース推論関数は、たとえば、特異行動特徴量時系列ＤＢ部１５ｄに記憶される、もしくは他の記憶領域（たとえば、処理部１２側の記憶部２２）に記憶される。

この例では、図１０に示すように、人物と駐車車両間距離、駐車車両周辺屈み込み、駐車車両覗き込み、駐車車両周辺における激しい動きなどを、着目する行動の指標（推論関数引数）として定めておき、それぞれの指標の値を、判定対象の人オブジェクトに関する特徴量時系列データから求める。

そして、これらの指標の値をＳ個の知識ベース推論関数にそれぞれ代入し、知識ベース推論関数毎の特異度を求め、その中の最大値を、当該人オブジェクトの行動の特異度として導出している。

詳細には、図９に示すように、時系列区間を示す変数ｊを０に初期化し（ステップＳ５１）、特異度の最大値ＡＢ_ｍａｘを０に初期化する（ステップＳ５２）。続いて、特異度ＡＢ_ｊを０に初期化し（ステップＳ５３）、変数ｉに１をセットする（ステップＳ５４）。そして、ｉ番目の知識ベース推論関数に関する引数(指標値)を判定対象の人オブジェクトに関する特徴量時系列データから求めて入力する（ステップＳ５５）。これらの指標値をi番目の知識ベース推論関数に代入して、i番目の知識ベース推論関数による特異度ＡＢ^ｉ _ｊを求める（ステップＳ５６）。

この特異度ＡＢ^ｉ _ｊと特異度ＡＢ_ｊとを大小比較し(ステップＳ５７)、特異度ＡＢ^ｉ _ｊ＞特異度ＡＢ_ｊであれば（ステップＳ５７；Ｙｅｓ）、ＡＢ_ｊを特異度ＡＢ^ｉ _ｊにより更新し（ステップＳ５８）、特異度ＡＢ^ｉ _ｊ＞特異度ＡＢ_ｊでなければ（ステップＳ５７；Ｎｏ）特異度ＡＢ_ｊはそのままとする。続いてｉを＋１し（ステップＳ５９）、ｉ＞Ｓでなければ（ステップＳ６０；Ｎｏ）、ステップＳ５５に戻って処理を継続する。

ｉ＞Ｓになれば（ステップＳ６０；Ｙｅｓ）、特異度ＡＢ_ｊと最大特異度ＡＢ_ｍａｘとを大小比較し(ステップＳ６１)、特異度ＡＢ_ｊ＞特異度ＡＢ_ｍａｘであれば（ステップＳ６１；Ｙｅｓ）、特異度ＡＢ_ｍａｘを特異度ＡＢ_ｊにより更新し（ステップＳ６２）、特異度ＡＢ_ｊ＞特異度ＡＢ_ｍａｘでなければ（ステップＳ６１；Ｎｏ）特異度ＡＢ_ｍａｘはそのままとする。続いてｊを＋１（これは、たとえば、時系列区間を図７に示すよう１つシフトさせることに相当する）する（ステップＳ６３）。そして、全特徴量時系列区間について確認（ステップＳ５３〜Ｓ６２の処理）が完了していなければ（ステップＳ６４；Ｎｏ）、ステップＳ５３に戻って処理を継続し、完了している場合は(ステップＳ６４；Ｙｅｓ）、特異度の最大値ＡＢ_ｍａｘを出力値として処理を終了する。

図１１は、Ｓ個の知識ベース推論関数５１と、これらＳ個の各知識ベース推論関数で求めた特異度の最大値を特異度ＡＢ_ｊとすることを示す数式５２を示している。

図１２は、非日常度ＮＤと特異度ＡＢとから不審行動か否かを判定する際の流れを示す二分木図５４を示している。非日常度ＮＤが閾値Ｔｈ_１以上であれば特異度ＡＢに係らず不審行動であると判定し、非日常度ＮＤが閾値Ｔｈ_１未満の場合は特異度ＡＢが閾値Ｔｈ_２以上であれば不審行動であると判定し、非日常度ＮＤが閾値Ｔｈ_１未満かつ特異度ＡＢが閾値Ｔｈ_２未満の場合は正常と判定する。なお、図２に示す流れ図でもこの二分木図５４に従った処理となっている。

図２、図１２に示すように２段階で判定する方式では、「非日常度」が閾値以上であれば、「特異度」に関する処理を一切省略することができるため、全体として処理速度が向上するという利点がある。また、図２、図１２では、最初に「非日常度」に着目し、続いて「特異度」による不審行動検知処理を行うようにしているが、最初に「特異度」に着目し、続いて「非日常度」による不審行動検知処理を行うようにしてもよい。

なお、図２に代えて図１３に示す流れで処理を行ってもかまわない。図１３において図２と同一処理については同一のステップ番号を付してあり、それらの説明は省略する。図１３では、非日常度が閾値Ｔｈ_１以上または特異度が閾値Ｔｈ_２以上の場合は（ステップＳ１７Ｂ；Ｙｅｓ）、不審行動と判定する（ステップＳ１８）ようになっている。図１４は、図１３に対応した判定論理表５５を示している。非日常度が閾値Ｔｈ_１以上と特異度が閾値Ｔｈ_２以上のうちの少なくとも一方の条件が満足される場合はすべて不審行動であると判定する論理和判定となっている。

図１３、図１４に示すように論理和判定方式では、例えば、「非日常度」、「特異度」ともに閾値以上であればアラームレベル：高、どちらか一方のみが閾値であればアラームレベル：中、というようにユーザ（監視員）が所望するアラームレベル設定、およびアラームレベルに応じた注意喚起が可能となる。

このように、多数のデータ（特徴量時系列データ）を採取可能な日常行動については、日常行動特徴量時系列ＤＢ部１５ｃに蓄積された日常行動のデータに対して統計的手法を適用して代表的な日常行動パターンを導出し、この代表的な日常行動パターンからの外れ具合として非日常度を求めるので、採取された多数の日常行動データに基づく客観的な判定により、非日常度を求めることができる。

また、犯罪行為などの不審行動に関して採取されるデータ（特徴量時系列データ）は少ないので統計的手法では適切な判定は難しいが、採取された不審行動のデータから求めた知識ベース推論関数を使用して特異度を導出するので、不審行動に関する少ないデータからでもより高い信頼性で行動の特異度を導出することができる。

そして、非日常度が閾値Ｔｈ_１以上の場合と特異度が閾値Ｔｈ_２以上の場合とを不審行動であると判定するので、非日常度と特異度のいずれか一方の条件のみを使用する場合に比べて、不審行動の検知漏れを低減することができる。

次に、追尾部２１、記憶部２２、蓄積制御部２３によるオブジェクトの追尾方法について説明する。

この追尾方法では、追尾対象のオブジェクト同士の交差や追尾対象のオブジェクトの障害物の背後への一時的な隠れといった現象が発生した場合でも、その前後で同一オブジェクトを同一のオブジェクトとして追尾することができるようになっている。なお、以下に示す追尾方法は、一例であり、追尾方法はこれに限定されるものではない。

図１５は、不審行動検知装置１０の追尾部２１が追尾するオブジェクトの状態遷移を表している。オブジェクトの状態は、未検出であるUNDETECTEDと、UNDETECTEDの状態で検出されたオブジェクトが追尾対象たり得るオブジェクトか否かを判定中のPENDING、追尾対象のオブジェクトと認定されかつ追尾成功中のACTIVE、追尾対象のオブジェクトであるが追尾失敗中（消失中あるいは探索中）のLOST、の４状態で管理される。

オブジェクト未検出の間はUNDETECTED状態が継続する（図中のＥ１）。UNDETECTED状態でオブジェクトが検出されるとPENDING状態に移行する（Ｅ２）。PENDING状態ではその継続時間を計時しており（Ｅ４）、PENDING状態で所定時間（PENDING_TIME）が経過するとそのオブジェクトはACTIVE状態に遷移する（Ｅ５）。PENDING状態からACTIVE状態に遷移する前に画像から消滅したオブジェクトはUNDETECTED状態に遷移し（Ｅ３）、追尾対象から外される。

ACTIVE状態ではその継続時間を計時している（Ｅ６）。ACTIVE状態のオブジェクトの追尾に失敗（当該オブジェクトが消失）するとそのオブジェクトはLOST状態に遷移し、ACTIVE状態の継続時間はリセットされる（Ｅ７）。LOST状態でもその継続時間を計時しており（Ｅ９）、継続時間が所定時間（LOST_TIME）経過すると、該オブジェクトは追尾対象から外されUNDETECTED状態になる（Ｅ１０）。LOST状態になってから所定時間（LOST_TIME）内に探索ブロックによる探索によって見出（検出）されたオブジェクトはACTIVE状態に戻る（Ｅ８）。

図１６は、不審行動検知装置１０の処理部１２が行うオブジェクトの追尾判別処理の各処理フェーズを示している。図１７は追尾判別処理の流れを示している。追尾判別処理では、オブジェクトの追尾と各オブジェクトが車両か人かの判別とを行う。図１６に示すように、追尾判別処理は、オブジェクト検出フェーズＰ１と、オブジェクト追尾・探索フェーズＰ２と、人・車両判別フェーズＰ３と、人オブジェクト抽出フェーズＰ４で構成される。オブジェクト検出フェーズＰ１は図１７の流れ図のステップＳ１０２〜Ｓ１０４が対応し、オブジェクト追尾・探索フェーズＰ２はステップＳ１０５〜Ｓ１１０が対応し、人・車両判別フェーズＰ３はステップＳ１１１が対応し、人オブジェクト抽出フェーズＰ４はステップＳ１１２、Ｓ１１３が対応する。なお、図１７の破線で示す処理ＳＡにおいて、図２もしくは図１３のステップＳ２からＳ２１の処理を行うようにすれば、追尾と不審行動の検知とが１フレーム毎に行われるようになる。

＜オブジェクト検出フェーズＰ１＞
最初に、フレーム時刻ｔを０に初期化した後（図１７；ステップＳ１０１）、カメラ部１１によって取り込まれた処理対象の画像内からオブジェクト候補領域を検出する（ステップＳ１０２）。オブジェクト候補領域の検出は、フレーム間の差分処理、二値化処理など公知の手法により行う。

次に、処理対象の画像内においてオブジェクト候補領域が１つ以上検出されたかどうかを確認する（ステップＳ１０３）。１つ以上のオブジェクト候補領域が検出された場合は（ステップＳ１０３；Ｙｅｓ）、ステップＳ１０５へ移行する。オブジェクト候補領域が１つも検出されなかった場合は（ステップＳ１０３；Ｎｏ）、状態がLOSTのオブジェクト（以後、これをLOSTオブジェクトと呼ぶ。）が存在するか否かを確認する（ステップＳ１０４）。LOSTオブジェクトは、過去に追尾対象として検出されたオブジェクトが消失（追尾失敗）し、消失状態の継続時間が所定時間（LOST_TIME）未満のオブジェクトであり、後述する探索ブロックによって探索中のオブジェクトである。

LOSTオブジェクトが存在しない場合は（ステップＳ１０４；Ｎｏ）、フレーム時刻ｔ＝ｔ＋１として（ステップＳ１１４）、ステップＳ１０２に戻り、カメラ部１１によって取り込まれる次のフレームの画像に対して同様の処理を行う。このように、オブジェクト検出フェーズＰ１は、オブジェクト候補領域が１つ以上存在するか否かを確認し、存在しない場合はオブジェクト候補領域が検出されるのを待つ状態である。

＜オブジェクト追尾・探索フェーズＰ２＞
ステップＳ１０５では、オブジェクト検出フェーズＰ１にて検出されたオブジェクト候補領域に対する追尾・探索処理を行う。オブジェクト追尾・探索処理では、前時刻の画像内のオブジェクトと現在時刻の画像内のオブジェクトとの対応付けを行う追尾処理と、隠れや交差により消失したオブジェクトを探索する探索処理とが行われる。追尾処理は動きベクトルなど公知の手法により行う。

消失したオブジェクトを探索するための探索処理は、新規に検出した追尾対象のオブジェクトに対して、その重心周辺に複数の探索ブロックを発生させ、その後は各探索ブロックを追尾対象のオブジェクトに追従させて移動させ、オブジェクト領域内の局所領域（ここでは、探索ブロック単位の領域）に着目して追尾を行う。探索ブロックは、オブジェクトを追尾・探索する際の単位領域である。消失したオブジェクトの探索が所定時間（LOST_TIME）内に成功しなかった場合は、探索しているオブジェクトは消滅したものとみなしてUNDETECTEDの状態にし、追尾対象から外す。オブジェクト追尾・探索処理の詳細は後述する。

オブジェクト追尾・探索処理にて追尾・探索に成功したオブジェクト（ACTIVE状態のオブジェクト）については、形状、動き、テクスチャ等の特徴情報を抽出（算出）する（ステップＳ１０６）。形状や動きなどオブジェクトの特徴情報の抽出は公知の任意の手法で行えばよい。抽出したオブジェクトの特徴情報を示す特徴量データは順次、記憶部２２に蓄積し、時系列データとして更新あるいは新規に生成する（ステップＳ１０７）。オブジェクト毎の時系列に蓄積された特徴量データは、そのオブジェクトが人か車両かの判別に利用される。

その後、追尾対象のオブジェクトが既に車両と判別済みのオブジェクトであれば（ステップＳ１０８；Ｙｅｓ）、フレーム時刻ｔ＝ｔ＋１として（ステップＳ１１４）、ステップＳ１０２に戻り、カメラ部１１によって取り込まれる次のフレームの画像について同様の処理を行う。追尾対象のオブジェクトが既に人と判別されており、かつそのオブジェクトが画像内に存在している（追尾・探索に成功している）場合は（ステップＳ１０９；Ｙｅｓ）、ステップＳ１１３の人オブジェクト抽出処理へ移行する。

追尾しているオブジェクトが車両、人のいずれにも判別されていない場合は（ステップＳ１０９；Ｎｏ）、追尾オブジェクトに関して、図１５の状態遷移に従って各オブジェクトの状態（ステータス）の更新と、オブジェクト継続時間obj_timeのインクリメント更新を行い（ステップＳ１１０）、人・車両判別処理（ステップＳ１１１）に移行する。

＜人・車両判別フェーズＰ３＞
人・車両判別処理では、オブジェクト追尾・探索フェーズＰ２により蓄積記憶された追尾対象のオブジェクトの時系列の特徴量データ（特徴量時系列データ）をもとに、追尾対象オブジェクトが人であるか、車両であるかの判別を行う（ステップＳ１１１）。人・車両判別処理は適宜の公知の手法により行う。

＜人オブジェクト抽出フェーズＰ４＞
追尾対象のオブジェクトが人であると判別した場合は（ステップＳ１１２；Ｙｅｓ）、人オブジェクト抽出処理（ステップＳ１１３）に移行し、人と判別できなかった場合は（ステップＳ１１２；Ｎｏ）、フレーム時刻ｔをインクリメント更新し（ステップＳ１１４）、ステップＳ１０２に戻り、カメラ部１１によって取り込まれる次のフレームの画像に対して同様の処理を行う。

人オブジェクト抽出処理では、監視員にその人物の所在位置を分かりやすい形式で伝え、監視注意を促す（ステップＳ１１３）。たとえば、カメラ部１１からの画像を出力部１４のディスプレイ装置に表示する際に、検出した人物の箇所を赤枠で囲って表示する等を行う。その後、フレーム時刻ｔをインクリメント更新し（ステップＳ１１４）、ステップＳ１０２に戻って処理を継続する。抽出された人オブジェクトに対して、不審行動検知（図２もしくは図１３のステップＳ２からＳ２１の処理）が行われる。

次に、図１７のステップＳ１０５のオブジェクト追尾・探索処理の詳細を説明する。

オブジェクト追尾・探索処理では、公知の手法によりオブジェクトの追尾と、追尾に失敗（消失）したオブジェクト（LOSTオブジェクト）の探索が行われる。探索は、消失した追尾対象のオブジェクトを追尾するように移動する複数の探索ブロックによって行われる。

図１８は、探索ブロックによる探索の概略を示している。新規に検出された追尾対象のオブジェクトＡ（図１８の例では人物Ａ）に対して、そのオブジェクトＡを追尾対象とする所定サイズの探索ブロックＤを複数発生させると共にこれらの各探索ブロックＤにその追尾対象のオブジェクトＡの特徴情報を対応付けて記憶する（ｔ１）。図１８では、斜線を施した各矩形領域が探索ブロックＤである。なお、追尾対象の各オブジェクトにはそのオブジェクトを一意に特定する識別情報として固有のオブジェクトＩＤを割り当ててあり、各探索ブロックにその追尾対象のオブジェクトのオブジェクトＩＤを登録することで、追尾対象のオブジェクトと探索ブロックとを関連付けする。

その後は、前時刻のフレームの画像と現在時刻のフレームの画像とのマッチング等の既存の手法によりオブジェクトの追尾を行うと共に、各探索ブロックＤをその追尾対象のオブジェクトを追尾するように（オブジェクトの動きベクトルに追従するように）移動させる（図１８；ｔ２）。

交差や隠れによってオブジェクトの追尾に失敗した場合（消失した場合）は（図１８；ｔ３）、そのオブジェクトを追尾対象とする探索ブロックＤの移動を所定の移動ルールに従って継続させる。たとえば、ランダムに移動させる、あるいは消失前のオブジェクトの動きにランダムな動きを合成した動きで移動を継続させる。図１８では、時刻ｔ３においてオブジェクトＡが障害物６１の背後に隠れており、各探索ブロックＤは、現在時刻までのオブジェクトＡの動きとランダムな動きとを合成した動きで移動している。オブジェクトＡの消失前の動きの影響は次第に少なくなりランダムな動きが支配的になり、探索ブロックは次第に広い範囲に分散するように移動する（ｔ４）。なお、図１８では、時刻ｔ３における各探索ブロックに「ｔ３」の文字を、時刻ｔ４における各探索ブロックに「ｔ４」の文字を付してある。

このように、消失したオブジェクトを探索するように継続的に移動させている探索ブロックの位置（存在領域）にオブジェクトが存在する場合は、そのオブジェクトの特徴情報と各探索ブロックに対応付けて記憶されている追尾対象のオブジェクトの特徴情報とを比較し、該比較結果に基づいて、その探索ブロックの位置に存在するオブジェクトがその探索ブロックの追尾対象のオブジェクトであるか否かを判断する。追尾対象のオブジェクトであればそのオブジェクトに当該探索ブロックに登録されている追尾対象のオブジェクトのオブジェクトＩＤを割り当てる。これにより、消失の前後で同一オブジェクトを同一オブジェクトとして追尾するようになる。

図１８の例では時刻ｔ４に探索ブロックＤ１によってオブジェクトＡが見出（検出）される。追尾対象のオブジェクトが消失した後は、各探索ブロックはランダムな動きが支配的となって移動し拡散しているので、仮にオブジェクトＡが破線で示したＡ’の位置に現れた場合は、その位置に移動していた探索ブロックＤ２によって発見されることになる。こうして、交差や障害物の背後への一時的な隠れが発生してもその前後で同一のオブジェクトを同一オブジェクトとして（同じオブジェクトＩＤで）追尾するようになっている。

本実施の形態では、図１９に示すように、処理対象の画像（１フレーム分の画像）を複数の小領域（分割ブロックＢｋ）に分割し、オブジェクトを分割ブロック単位で捉える。これにより、追尾に係る計算量が軽減される。ここでは、各分割ブロックＢｋが矩形となるように処理対象の画像を格子状の境界線で分割している。

図１９の例では、オブジェクトＡは、斜線を施した３３個の矩形の分割ブロックＢｋに分けられる。オブジェクトＡの追尾・探索は分割ブロックＢｋ単位に行われる。これら３３個の分割ブロックＢｋの集合体としてオブジェクトＡは認識され、オブジェクトＡ全体としての形状や重心位置、動きなどの特徴情報が把握される。ここでは、分割ブロックＢｋの中に占めるオブジェクトの面積が所定の占有率以上（たとえば、５０パーセント以上）の場合に、その分割ブロックをオブジェクトの存在する分割ブロックとみなしている。

図２０は、オブジェクト追尾・探索処理（図１７；ステップＳ１０５）の流れを示している。オブジェクト追尾（図２０；ステップＳ１２１）では、新規に検出されたオブジェクトについてオブジェクトＩＤを割り当てると共に図３に示すようなオブジェクトデータテーブル３０を生成する。

過去時刻において検出済みで既にオブジェクトＩＤが割り当てられているオブジェクトについては、動きベクトルなど公知の手法により、前時刻の画像内のオブジェクトと現在時刻の画像内のオブジェクトとの対応付け等の手法により追尾する。

次に、新たに追尾対象となったオブジェクトについて探索ブロックを発生させる探索ブロック発生処理を行う（ステップＳ１２２）。探索ブロック発生処理の詳細は図２１に示してある。処理対象の画像内に存在する、状態（ステータス）がACTIVEであって（ステップＳ１４２；Ｙｅｓ）当該オブジェクトを追尾対象とする探索ブロックが０個のオブジェクト（ステップＳ１４３；Ｙｅｓ）について、そのオブジェクト領域の重心周辺に複数の探索ブロックを発生させる（ステップＳ１４４〜Ｓ１５５）。

探索ブロックは、追尾対象のオブジェクトを追尾・探索する際の単位領域であり、探索ブロックを単位として、その探索ブロックの存在領域に存在するオブジェクトがその探索ブロックが追尾対象としているオブジェクトか否かが判断される。探索ブロックは、追尾対象のオブジェクトが存在する分割ブロック毎に所定（BLOCKFACTOR）個ずつ発生させる。すなわち、追尾対象のオブジェクトのサイズに応じた数の探索ブロックを発生させる。BLOCKFACTOR個は１個以上で任意に設定変更可能な数であり、分割ブロックの領域サイズと探索ブロックの領域サイズとの比率等に基づいて適宜の個数に設定すればよい。たとえば、BLOCKFACTOR個は２〜５個に設定される。図２２は、探索ブロックの原点（px0,py0）と中心位置(px,py)との関係を示している。探索ブロックはBLOCK_SIZE×BLOCK_SIZEの画素領域となっている（図２２の例では５×５画素の領域）。ここでは、探索ブロックを矩形としたが、探索ブロックの形状はこれに限定されず、円など他の形状であってもかまわない。

また、発生させた探索ブロック毎に図２３に示すような探索ブロックデータテーブル７０を生成する。探索ブロックデータテーブル７０には、対応する探索ブロックの属性を示す情報が登録される。発生時に初期値として以下の値等を探索ブロックデータテーブル７０に登録する。

・オブジェクトＩＤ：obj_id → 追尾対象のオブジェクトＩＤ
・探索ブロックの状態（ステータス）：state^obj_id _{n_block} → ON
・探索ブロックの位置（ｘ座標）：bx^obj_id _{n_block} → x
・探索ブロックの位置（ｙ座標）：by^obj_id _{n_block} → y
・探索ブロックの動きベクトル(水平方向)：dx^obj_id _{n_block} → dx(gx^obj_id,
gy^obj_id)
・探索ブロックの動きベクトル(垂直方向)：dy^obj_id _{n_block} → dy(gx^obj_id,
gy^obj_id)
・探索ブロックの適合度：cor^obj_id _{n_block} → 1.0
また、探索ブロックの存在領域内の各画素のＨＳＶ値（ＨＳＶ色空間で表現した画素値）から図２４に示すようなＨＳＶ色空間累積ヒストグラムを生成する。この累積ヒストグラムは、探索ブロック領域を画素単位で走査して導出する。画素値ｉの場合、ｊ≧ｉであれば、
hist_H,S,V(t, j)^obj_id _{n_block} = hist_H,S,V(t, j)^obj_id _{n_block} + 1
とする。すなわち、画素値の取り得る値を所定数の階級に区分し、当該画素の画素値がｉであれば、ｉが属する階級以上の各階級の累積値をそれぞれ「１」加算する。この処理を探索ブロック内の全画素に対して行う。

なお、ＨＳＶ色空間は色相(Hue)、彩度(Saturation・Chroma)、明度(Brightness・Lightness・Value)の三つの成分からなる色空間であり、ＨＳＶ色空間累積ヒストグラムは、Ｈ（色相)成分、Ｓ（彩度）成分、Ｖ（明度）成分のそれぞれについて生成される。これらのＨＳＶ色空間累積ヒストグラムに係る各値は、探索ブロックの位置（存在領域）におけるオブジェクト（画像）の特徴情報としてその探索ブロックに対応付けて記憶される。

次に、全探索ブロックに関する適合度を更新する（図２０：ステップＳ１２３、詳細は図２５に示す）。適合度を更新する処理では、探索ブロックの状態（ステータス）がＯＮとなっている（図２５；ステップＳ１６３；Ｙｅｓ）すべての探索ブロックに関して、適合度の更新（図２５；ステップＳ１６４〜Ｓ１６７）を行う。適合度は、探索ブロックの位置（存在領域）に存在するオブジェクトと当該探索ブロックの追尾対象のオブジェクトとの一致度を示す指標である。適合度は、探索ブロックの存在領域に存在するオブジェクトの特徴情報（色など画像としての特徴情報と重心位置に係る特徴情報）とその探索ブロックに対応付けて記憶されているオブジェクトの特徴情報（当該探索ブロックの前時刻の位置に存在していたオブジェクトの特徴情報）との比較に基づいて算出する。本実施の形態では、ＨＳＶ色空間累積ヒストグラムを用いた場合について記述する。具体的には、探索ブロックの存在領域におけるＨＳＶ色空間累積ヒストグラムの時間差分と、当該探索ブロックが追尾対象とするオブジェクトの重心位置と該探索ブロックの中心との距離に基づく距離係数との積により導出する。適合度は１〜０の範囲をとる。具体的には以下の式の通りである。
ＨＳＶ色空間累積ヒストグラムの時間差分total_diffについては、たとえば下記の式で表わされる。
距離係数に関しては、たとえば下記の式で表わされる。
従って、探索ブロックの中心とオブジェクト領域の重心との距離が近い程、探索ブロックの適合度は高くなる。なお、消失中のオブジェクト（LOSTオブジェクト）についてはLOST状態になる直前のフレーム時刻における重心位置をオブジェクトの重心位置として距離係数を求める。

図２６は、探索ブロックの中心とその追尾対象のオブジェクトの重心との距離と適合度との関係を例示したものである。探索ブロックＤ１、Ｄ２は、追尾対象のオブジェクト上にないので、オブジェクト重心との距離が大きく（距離係数（dist_factor）→小）、かつオブジェクト（画像）の特徴情報の一致度（ＨＳＶ色空間累積ヒストグラムの一致度）も低い（total_diff→小）ので、適合度は低くなる（０に近づく）。探索ブロックＤ３、Ｄ４は追尾対象のオブジェクト上にあるので、オブジェクト重心との距離が小さく（距離係数（dist_factor）→大）、かつオブジェクト（画像）の特徴情報の一致度（ＨＳＶ色空間累積ヒストグラムの一致度）も高い（total_diff→大）ので、適合度は高くなる（１に近づく）。

次に、分割ブロック領域ＩＤ割り当て処理を行う（図２０：ステップＳ１２４、詳細は図２７に示す）。当該処理では、分割ブロック領域内に何らかのオブジェクトが存在しかつ１個以上の探索ブロックが存在している分割ブロックＢｋに対して、それらの探索ブロックの中で最も優位な（最高適合度を有する）探索ブロックに登録されている追尾対象のオブジェクトＩＤを割り当てることでその分割ブロックＢｋに該オブジェクトＩＤを付与し、該オブジェクトＩＤのオブジェクトをACTIVE状態にする、ことを行う。元々ACTIVE状態であったオブジェクトはACTIVE状態が継続される。

上記処理により、LOSTオブジェクトを追尾対象とする探索ブロックに登録されているオブジェクトＩＤがいずれかの分割ブロックＢｋに割り当てられた場合、LOST状態であったその追尾対象のオブジェクトが見出された（検出された）ことになる。なお、追尾対象のオブジェクトであるがいずれの分割ブロックＢｋにもオブジェクトＩＤが付与されなかったオブジェクトは、図１７のオブジェクト状態更新処理（Ｓ１１０）においてLOSTオブジェクトと判定されて状態が保持あるいは更新される。

次に、探索ブロック消去処理を行う（図２０：ステップＳ１２５、詳細は図２８に示す）。オブジェクトの状態（ステータス）がUNDETECTEDである場合、あるいは状態がLOSTでありかつオブジェクトの継続時間obj_timeがLOST_TIME以上である（LOST状態がLOST_TIME以上継続した）場合に、当該オブジェクトに属する（当該オブジェクトを追尾対象とする）すべての探索ブロックを削除する。削除は、当該オブジェクトに属するすべての探索ブロックデータテーブルをクリアすることで行う。

次に、探索ブロックリサンプリング処理を行う（図２０：ステップＳ１２８、詳細は図２９に示す）。探索ブロックリサンプリング処理は、ACTIVE状態のオブジェクトに属するすべての探索ブロックについて行われる（図２０；ステップＳ１２７；Ｙｅｓ）。探索ブロックリサンプリング処理では、追尾対象のオブジェクトが同一の複数の探索ブロック間で、適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換えることが行われる。

ここでは、同一オブジェクト（たとえば、オブジェクトＡ）を追尾対象とするすべての探索ブロックの適合度の和に対する個々の探索ブロックの適合度の比率をその探索ブロックの出現確率とするルーレットを生成し、該オブジェクトを追尾対象とする探索ブロック毎に前記ルーレットに基づく乱数抽選を行い、その探索ブロックをその抽選結果の出目に対応する探索ブロックに置き換える。すなわち、当該オブジェクトを追尾対象とする全探索ブロックの個数と同じ回数の乱数抽選を前記ルーレットに基づいて行い、抽選毎にその当たりとなった出目に対応する探索ブロックに置き換えることによって、適合度の低い探索ブロックを適合度の高い探索ブロックに置き換わりやすいようにしている。

より詳細には、処理対象の画像内に存在するオブジェクトの中で、状態（ステータス）がACTIVEであるオブジェクト毎に以下の処理を行う。まず、注目しているACTIVEオブジェクトobj_idに関して、そのオブジェクトに属する探索ブロックn_blockの適合度cor ^obj_id _{n_block}を基に、下記の通りルーレットを生成する。

探索ブロックn_blockの状態(ステータス)state^obj_id _{n_block}がONであるならば、
roulette^obj_id _{n_block} = roulette^obj_id _{n_block-1} + cor ^obj_id _{n_block}
探索ブロックn_blockの状態(ステータス)state^obj_id _{n_block}がOFFであるならば、
roulette^obj_id _{n_block} = roulette^obj_id _{n_block-1}
次に、注目しているACTIVEオブジェクトobj_idに属する探索ブロック毎に乱数データを生成し、その乱数データをもとにその探索ブロックに関するルーレットの出目を決定した後、当該探索ブロックをその出目に対応する探索ブロックに置き換える。

図３０は、任意のオブジェクトについて生成したルーレットの一例を示している。このオブジェクトを追尾対象とする探索ブロックは全部でＭ個存在する。探索ブロック１からＭまでの全探索ブロックの適合度の合計を３６０度としたルーレット上に、個々の探索ブロックの出目をその適合度の比率に応じた占有角度で配置してある。たとえば、探索ブロック１の出目の占有角度は、（（探索ブロック１の適合度）／（全探索ブロックの適合度の合計））×３６０度となる。

適合度の高い探索ブロックは出目の占有角度も大きいので、その分、乱数抽選で当たりになる確率は高い。一方、適合度の低い探索ブロックは出目の占有角度は小さく、当たりになる確率も低い。したがって、適合度の低い探索ブロックが適合度の高い探索ブロックに置き換えられ易くなる。

ここで、探索ブロックを置き換えるとは、探索ブロックデータテーブル７０の内容を、探索ブロックＩＤを除く項目について、ルーレットの出目に対応する探索ブロックデータテーブルで更新することである。

先に説明したように、探索ブロックの適合度はその探索ブロックが追尾対象のオブジェクト上に存在する場合は高く、追尾対象のオブジェクトから外れた位置にある場合は低くなる。したがって、図３１（ａ）に示すように、ACTIVEオブジェクトについて探索ブロックの置き換え（探索ブロックリサンプリング）を行うと、追尾対象のオブジェクトＡ上にある探索ブロックＤ５〜Ｄ７とオブジェクトＡ上にない探索ブロックＤ１〜Ｄ４との間で適合度に大きな差が生じる。したがって、探索ブロックリサンプリングにより生成されるルーレットは図３１（ｂ）のように（Ｄ１〜Ｄ４については占有角度が小さく、Ｄ５〜Ｄ７は占有角度が大きく）なる。

このルーレットを使用して探索ブロック個数回分（ここでは７回）の乱数抽選を行った場合、その結果は、たとえば図３１（ｃ）に示すようになり、適合度の低い探索ブロックが適合度の高い探索ブロックに確率的に置き換えられる。図３１（ｄ）に示すように、追尾対象のオブジェクト上になかった探索ブロックの多くが追尾対象のオブジェクト上の探索ブロックに置き換えられ、探索ブロックが追尾対象のオブジェクト上に集約されやすくなる。

次に、探索ブロック更新処理を行う（図２０：ステップＳ１２９、詳細は図３２に示す）。探索ブロック更新処理は、各探索ブロックの移動と各探索ブロックに対応付けて記憶してある追尾対象のオブジェクトに関する特徴情報の更新とを行う。画像内に存在する（ステータスがON状態である）すべての探索ブロックについて、その位置情報、動きベクトルの情報が更新される（ステップＳ２４８、Ｓ２４９）。さらに状態（ステータス）がACTIVEであるオブジェクトに属する（当該オブジェクトを追尾対象とする）探索ブロックであり、かつ追尾対象のオブジェクトのＩＤと当該探索ブロックの存在位置の分割ブロックに付与されているオブジェクトのＩＤとが一致する探索ブロックについては、ＨＳＶ色空間累積ヒストグラムについても更新する（ステップＳ２４７）。

位置情報の更新は以下の通りである。
ここで、rnd_x、rnd_yはそれぞれx、y方向に関する乱数を示す。乱数を加えることで、探索ブロックにランダムな動きを加えることになる。

動きベクトル情報の更新は以下の通りであり、前時刻の探索ブロックの動きベクトルと現在の探索ブロック存在位置の分割ブロックにおける動きベクトルの線形荷重和となっている。
ここで、ｋは更新割合（慣性定数）を表す。ｋの値は設定変更可能となっている。追尾に成功している場合はオブジェクトの動きベクトルが支配的になり、追尾に失敗している（追尾対象のオブジェクトが消失している（LOST状態））場合は、乱数による移動が支配的になる。

上記のようにしてオブジェクトの追尾・探索を行うことにより、図１８に示すように追尾対象のオブジェクトが障害物６１に一時的に隠れた場合でも、障害物６１に隠れる前後で同一オブジェクトを同一オブジェクトとして、すなわち、障害物６１に隠れる前後の同一オブジェクトに対して同一のオブジェクトＩＤを割り当てて、追尾することができる。

同様に追尾対象のオブジェクト同士が交差した場合にも、交差の前後で同一のオブジェクトに対して同一のオブジェクトＩＤを付与して追尾することができる（図３３（ａ）〜（ｄ））。交差領域においては、適合度の高い探索ブロックに優位性がある。図３３（ｂ）では、オブジェクトＡがオブジェクトＢの背後を通過するので前面側のオブジェクトＢを追尾している探索ブロックが優位となる。同図（ｃ）に示すように、交差状態からオブジェクトＡとＢが互いに離れる際には、オブジェクトＡに属する探索ブロックはオブジェクトＡに追従し、オブジェクトＢに属する探索ブロックはオブジェクトＢを追従するように移動する（同図（ｄ））。

このように、本実施の形態に係るオブジェクト追尾・探索方法では、新規に追尾対象のオブジェクトを検出した場合に、そのオブジェクトの重心付近に複数の探索ブロックを生成しかつ各探索ブロックにその探索ブロックの存在領域における追尾対象オブジェクトの特徴情報を対応付けて記憶し、その後は、探索ブロックを追尾対象のオブジェクトに追従するように移動させると共に探索ブロックに記憶している追尾対象のオブジェクトの特徴情報の更新を行い、追尾に失敗した（消失した）後はランダムな動きが支配的となるように探索ブロックの移動を継続させ、探索ブロックという局所領域を単位に適合度を判断して消失した追尾対象のオブジェクトを探索することで、交差や隠れの前後で同一オブジェクトを同一オブジェクトとして追尾する。

なお、追尾しているオブジェクトから図１７のステップＳ１０６で抽出した形状、動き等のオブジェクトの特徴量データは、図６に示すようなＦＩＦＯ（First in First out）形式で記憶領域Ｆに特徴量時系列データとして保存される（図１７、ステップＳ１０７）。記憶された特徴量時系列データは、図１７の人・車両判別処理（ステップＳ１１１）で各追尾対象オブジェクトが人か車両かを判別する際に使用される。

次に、人・車両判別処理（図１７のＳ１１１）について詳細に説明する。図３４は、人・車両判別処理の流れを示している。人・車両判別処理は追尾対象のオブジェクト毎に行われる。まず、追尾対象のオブジェクトの状態がACTIVE（追尾成功中）であるかどうかを確認し、ACTIVEでない場合は（ステップＳ３０１；Ｎｏ）、その追尾対象のオブジェクトに対する人・車両判別処理を終了する。

ACTIVEの場合は（ステップＳ３０１；Ｙｅｓ）、その追尾対象のオブジェクトに係る特徴量データが記憶領域Ｆに時系列に記憶されている時間長（Ｌ時間長とする）が、所定時間長（Ｔ時間長とする）以上か否かを確認する（ステップＳ３０２）。Ｔ時間長は記憶部２２に記憶可能なＬmax時間長以下の任意の時間長に設定することができる。たとえば、ＴはＬmaxの２分の１に設定される。

Ｌ時間長がＴ時間長未満の場合は（ステップＳ３０２；Ｎｏ）、その追尾対象のオブジェクトに対する人・車両判別処理を終了する。

Ｌ時間長がＴ時間長以上の場合は（ステップＳ３０２；Ｙｅｓ）、記憶されているＬ時間長分の特徴量時系列データを人・車両判別部２４に入力し（ステップＳ３０３）、人・車両判別部２４において、人・車両の判別を行う。

このように、オブジェクトを追尾し、追尾中にそのオブジェクトの特徴情報を示す特徴量データを時系列にある程度の時間長分サンプリングして蓄積記憶し、所定期間以上に渡る（Ｔ時間長以上の）特徴量時系列データに基づいてそのオブジェクトが人であるか車両であるかを判別するので、オブジェクトを検出した直後に人・車両を判別する場合に比べて、高い信頼性で人・車両を判別することができる。すなわち、人は動きの自由度が高くその「見え方」が様々となるので、ある時刻の画像のみに基づく判断では誤りが生じ易いが、本実施の形態の不審行動検知装置１０では所定期間のオブジェクト追尾中に時系列に収集した複数時刻分の特徴量データに基づいて判別するので、高い信頼性で人・車両を判別することができる。

また交差や隠れがあっても同一オブジェクトを同一オブジェクトとして追尾できるので、追尾中に交差や隠れがあってもその前後をつなげて同一オブジェクトの時系列の特徴量データを収集することができる。

また、特徴量データが所定時間長（Ｔ時間長）未満の場合には追尾対象オブジェクトの種類（人・車両）を判別しないので、サンプリング時間長の短い特徴量データによって誤判別されることが防止され、判別の信頼性が確保される。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

実施の形態では、日常行動特徴量時系列ＤＢ部１５ｃは、監視動作中に逐次、記憶内容を更新したり、データを追加記憶したりした構成でもよいし、予め十分な量のデータを蓄積した構成でもよい。また、統計的手法により代表となる日常行動パターンを導出する処理は、監視動作中に行われてもよいが、予め日常行動特徴量時系列ＤＢ部１５ｃの記憶内容に基づいて導出して記憶しておき、監視動作中はその記憶されている代表の日常行動パターンを使用するように構成されてもよい。

実施の形態では、検知漏れを防止するために、図１２の二分木図５４や図１４の判定論理表５５を使用したが、たとえば、確実性の高い不審行動を検出する場合には、非日常度が閾値Ｔｈ_１以上かつ特異度が閾値Ｔｈ_２以上の場合のみを不審行動として検出するようにされてもよい。

特徴量時系列データは、形、大きさなど実施の形態で例示した項目に限定されるものではなく、判別対象の物体の種類や、人の各種動きの特徴量を示すデータであれば任意に設定できる。

また、実施の形態ではオブジェクトの追尾方法として、消失したオブジェクトを探索ブロックによって追尾・探索する方法を例示したが、これに限定されるものではなく任意の方法で追尾すればよい。交差や隠れの前後で同一オブジェクトを同一オブジェクトとして追尾可能な方法が好ましいが、このような機能のない追尾方法でもかまわない。

実施の形態に示した追尾・探索では、分割ブロック単位にオブジェクトを追尾・探索するようにしたが、オブジェクト単位に追尾を行っても構わない。また実施の形態では、追尾対象のオブジェクトの動きとランダムな動き（乱数に基づく位置変更…数４）との合成によって探索ブロックを移動させることと、ACTIVEオブジェクトに属する探索ブロックを対象にした探索ブロックリサンプリング処理（適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換える処理）との組み合わせにより、追尾に成功している間は探索ブロックを追尾対象のオブジェクトを追尾するように移動させ、消失中はランダムな動きが支配的となるように探索ブロックを移動させたが、探索ブロックの移動方法は実施の形態に例示した方法に限定されない。すなわち、追尾成功中は追尾対象のオブジェクトを追尾し、消失中はランダムな動きが支配的となるという移動ルールで移動すればよく、たとえば、追尾成功中はランダム要素なしに追尾対象の動きベクトルに従って移動させ、消失中は慣性的な動きを排除しランダムな動きのみで移動させるように構成されてもかまわない。

消失中の移動のルールは、消失直前のオブジェクトの動きにランダムな動きを加えることが好ましく、さらには時間の経過と共にランダムな動きがより支配的になるとよい。

実施の形態では、ＨＳＶ色空間累積ヒストグラムの時間差分とオブジェクトと探索ブロックとの間の距離による距離係数とに基づいて各探索ブロックの適合度を決定するようにしたが、他の基準で適合度を定めてもよい。適合度は、画像としての一致度と、オブジェクトと探索ブロックとの位置関係とを要素として決定されることが好ましい。

実施の形態では人・車両判別方法として、オブジェクトの「見え方」変動を考慮し、所定時間長オブジェクトを追尾した後に(追尾対象のオブジェクトに関して所定時間長以上の特徴量時系列データが蓄積された後に)、その特徴量時系列データをもとに、オブジェクトが人であるか車両であるかの判別を行っている。信頼性の高い人・車両判別方法が好ましいが、このような人・車両判別方法でなくても良い。

実施の形態では、人、車両を判別する場合を例に説明したが、判別対象の物体の種類はこれらに限定されるものではない。

１０…不審行動検知装置
１１…カメラ部
１２…処理部
１３…入力部
１４…出力部
１５…データベース部
１５ａ…人特徴ＤＢ部
１５ｂ…車両特徴ＤＢ部
１５ｃ…日常行動特徴量時系列ＤＢ部
１５ｄ…特異行動特徴量時系列ＤＢ部
２１…追尾部
２２…記憶部
２３…蓄積制御部
２４…人・車両判別部
２５…行動解析部
２５ａ…非日常度導出部
２５ｂ…特異度導出部
２５ｃ…不審判定部
３０…オブジェクトデータテーブル
５１…知識ベース推論関数
５２…特異度(知識ベース推論関数最大値)
５４…二分木図
５５…判定論理表
６１…障害物
７０…探索ブロックデータテーブル
Ｆ…記憶領域
Ｐ１…オブジェクト検出フェーズ
Ｐ２…オブジェクト追尾・探索フェーズ
Ｐ３…人・車両判別フェーズ
Ｐ４…人オブジェクト抽出フェーズ

Claims (8)

1. 処理部が、カメラから入力される画像内の人物を追尾し、前記追尾した人物の行動が日常行動パターンから外れた非日常行動であるか否かの第１判定と、前記人物の行動が不審な特異行動か否かの第２判定とを行い、前記第１判定と前記第２判定の判定結果に基づいて前記人物の不審行動を検知する不審行動検知方法であって、
   追尾している人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データを、日常行動を行う複数人分についてデータベースに登録すると共に、特異行動を行う人物の特徴量時系列データより発見される知識ベース推論関数を推論関数記憶部に登録しておき、
   前記カメラから入力される画像内の人物の追尾において、該人物の特徴量時系列データを収集し、
   前記第１判定を、判定対象の人物に関する特徴量時系列データと、前記データベースに登録されている以前に追尾された日常行動を行う複数人分の特徴量時系列データとに基づく統計的手法によって行い、
   前記第２判定を、判定対象の人物に関する特徴量時系列データに、前記推論関数記憶部に登録されている知識ベース推論関数を適用して行う
   ことを特徴とする不審行動検知方法。
2. 判定対象の人物に対する前記第１判定の判定結果が非日常行動であること、もしくは、前記人物に対する前記第２判定の判定結果が特異行動であることの少なくとも一方が真であれば、前記人物について不審行動の検知ありと判定すると共に、前記第１判定の判定結果が日常行動である場合にのみ、前記第２判定を行う
   ことを特徴とする請求項１に記載の不審行動検知方法。
3. 前記第１判定の判定結果が非日常行動でありかつ前記第２判定の判定結果が不審な特異行動の場合は不審のレベルを第１レベルとし、
   前記第１判定の判定結果が非日常行動で前記第２判定の判定結果が不審な特異行動でない場合、および、前記第１判定の判定結果が日常行動で前記第２判定の判定結果が不審な特異行動の場合は不審のレベルを前記第１レベルより低い第２レベルとする
   ことを特徴とする請求項１に記載の不審行動検知方法。
4. 請求項１乃至３のいずれか１項に記載の不審行動検知方法において、カメラから入力される画像内の人物の追尾を、処理対象の画像内のオブジェクトを検出して追尾する以下のオブジェクト追尾方法によって行なう、
   前記処理対象の画像内のオブジェクトを検出するステップと、
   新規に追尾対象のオブジェクトを検出した場合に、そのオブジェクトを追尾対象とする所定サイズの探索ブロックを前記オブジェクトの領域内に複数発生させると共に各探索ブロックに当該探索ブロックの存在領域における前記オブジェクトの特徴情報を対応付けて記憶するステップと、
   探索ブロック毎に、その探索ブロックの存在領域に存在するオブジェクトの特徴情報と前記探索ブロックに対応付けて記憶されている前記特徴情報との比較に基づいて前記オブジェクトと前記探索ブロックの追尾対象のオブジェクトとの適合度を演算するステップと、
   探索ブロックの存在領域に存在するオブジェクトがその探索ブロックの追尾対象のオブジェクトであるか否かを該探索ブロックに係る前記適合度に基づいて判断し、該判断結果が真の場合に前記探索ブロックの追尾対象のオブジェクトを追尾成功オブジェクトと判断するステップと、
   追尾成功オブジェクト毎に、そのオブジェクトを追尾対象とする複数の探索ブロック間で、適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換えるステップと、
   前記追尾成功オブジェクトを追尾対象とする探索ブロックについて、その探索ブロックに対応付けて記憶されている前記特徴情報を更新するステップと、
   各探索ブロックを、その探索ブロックの追尾対象のオブジェクトの動きとランダムな動きとを合成した動きに基づいて移動させるステップと、
   を繰り返し行い
   前記追尾対象が同一オブジェクトの複数の探索ブロック間で適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換える処理は、前記オブジェクトを追尾対象とするすべての探索ブロックの適合度の和に対する個々の探索ブロックの適合度の比率をその探索ブロックの出現確率とするルーレットを生成し、前記オブジェクトを追尾対象とする探索ブロック毎に前記ルーレットに基づく乱数抽選を行い、その探索ブロックをその抽選結果の出目に対応する探索ブロックに置き換えることによって行う。
5. カメラから入力される画像内の人物を追尾する追尾部と、
   前記追尾部で追尾した人物の行動が日常行動パターンから外れた非日常行動であるか否かを判定する第１判定部と、
   前記人物の行動が不審な特異行動か否かを判定する第２判定部と、
   前記第１判定部と前記第２判定部の判定結果に基づいて前記人物の不審行動を検知する不審判定部と、
   追尾している人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データが日常行動を行う複数人分について登録されたデータベースと、
   特異行動を行う人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データより発見される知識ベース推論関数が登録された推論関数記憶部と、
   を有し、
   前記追尾部は、追尾対象の人物について、その人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データを収集し、
   前記第１判定部は、判定対象の人物に関する特徴量時系列データと前記データベースに登録されている特徴量時系列データとに基づく統計的手法によって、前記人物の行動が非日常行動であるか否かを判定し、
   前記第２判定部は、判定対象の人物に関する特徴量時系列データに、前記推論関数記憶部に記憶されている知識ベース推論関数を適用して、前記人物の行動が不審な特異行動か否かを判定する
   ことを特徴とする不審行動検知装置。
6. 前記不審判定部は、判定対象の人物に対する前記第１判定部の判定結果が非日常行動であること、もしくは、前記人物に対する前記第２判定部の判定結果が特異行動であることの少なくとも一方が真であれば、前記人物について不審行動の検知ありと判定すると共に、前記第１判定部の判定結果が日常行動である場合にのみ、前記第２判定部で判定を行う
   ことを特徴とする請求項５に記載の不審行動検知装置。
7. 前記不審判定部は、
   前記第１判定部の判定結果が非日常行動でありかつ前記第２判定部の判定結果が不審な特異行動の場合は不審のレベルを第１レベルとし、
   前記第１判定部の判定結果が非日常行動で前記第２判定部の判定結果が不審な特異行動でない場合、および、前記第１判定部の判定結果が日常行動で前記第２判定部の判定結果が不審な特異行動の場合は不審のレベルを前記第１レベルより低い第２レベルとする
   ことを特徴とする請求項５または６に記載の不審行動検知装置。
8. 請求項５乃至７のいずれか１項に記載の不審行動検知装置において、前記追尾部は、人物の追尾を、処理対象の画像内のオブジェクトを検出して追尾する以下のオブジェクト追尾方法によって行なう、
   前記処理対象の画像内のオブジェクトを検出するステップと、
   新規に追尾対象のオブジェクトを検出した場合に、そのオブジェクトを追尾対象とする所定サイズの探索ブロックを前記オブジェクトの領域内に複数発生させると共に各探索ブロックに当該探索ブロックの存在領域における前記オブジェクトの特徴情報を対応付けて記憶するステップと、
   探索ブロック毎に、その探索ブロックの存在領域に存在するオブジェクトの特徴情報と前記探索ブロックに対応付けて記憶されている前記特徴情報との比較に基づいて前記オブジェクトと前記探索ブロックの追尾対象のオブジェクトとの適合度を演算するステップと、
   探索ブロックの存在領域に存在するオブジェクトがその探索ブロックの追尾対象のオブジェクトであるか否かを該探索ブロックに係る前記適合度に基づいて判断し、該判断結果が真の場合に前記探索ブロックの追尾対象のオブジェクトを追尾成功オブジェクトと判断するステップと、
   追尾成功オブジェクト毎に、そのオブジェクトを追尾対象とする複数の探索ブロック間で、適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換えるステップと、
   前記追尾成功オブジェクトを追尾対象とする探索ブロックについて、その探索ブロックに対応付けて記憶されている前記特徴情報を更新するステップと、
   各探索ブロックを、その探索ブロックの追尾対象のオブジェクトの動きとランダムな動きとを合成した動きに基づいて移動させるステップと、
   を繰り返し行い
   前記追尾対象が同一オブジェクトの複数の探索ブロック間で適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換える処理は、前記オブジェクトを追尾対象とするすべての探索ブロックの適合度の和に対する個々の探索ブロックの適合度の比率をその探索ブロックの出現確率とするルーレットを生成し、前記オブジェクトを追尾対象とする探索ブロック毎に前記ルーレットに基づく乱数抽選を行い、その探索ブロックをその抽選結果の出目に対応する探索ブロックに置き換えることによって行う。