JP4996404B2 - 人物行動検索装置 - Google Patents

Description

本発明は、人物行動検索装置に関し、詳しくは、所定の監視場所を録画した動画データから人の行動を分析するに際して、人の挙動を示す人物キーを検索キーとして検索し、当該人が録画されている録画位置から素早く上記動画データを再生できるようにした人物行動検索装置に関するものである。

従来、現金自動預払機（ＡＴＭ ）、コンビニエンスストア、デパート、マンション、住宅等の監視場所には、監視カメラが設置されて撮像画像を録画装置によって記憶部に動画記録して、上記監視場所での人の行動を記録することが行われている。そして、録画装置によって録画した動画データは、再生装置によってモニター上に再生して監視場所での特定の人の行動を分析すること等に利用されている。
特開２００６−３３１０４９号公報 特許第３４０６５８７号公報 特許第３３９０４２６号公報

ところが、上記動画データは、漫然と長時間に記録されているため、人が映し出されるまで再生装置を早送りする等の作業が必要となる。その際、特定の挙動を示す人を見つけ出すためには、巻き戻し、早送り等して人の行動が判断しやすい場面を探し、時には一時停止やコマ送り等して確認することとなる。しかも、複数の人が同時に画面に現れる場合は、巻き戻して個々の人を個別に確認する必要がある。

このように録画された動画データから人を見つけ出しその人の行動を分析するのは、非常に手間がかかる。本来、監視場所を常時動画記録するのは、人を対象とし、その行動を把握することにあり、そのため、長時間記録された動画データから人の行動を容易に且つ短時間で目視確認できるようにすることが望まれる。

本発明は、上記事情に鑑みてなされたものであり、長時間記録された動画データから人の行動を分析するのに要する作業負担を軽減すべく、動画データから特定の挙動を示す人が録画された位置を容易に検索しその位置から素早い再生を可能とする人物行動検索装置を提供することを課題とする。

上記課題を解決するための本発明は、人の行動を監視し録画した動画データを、所定の挙動を示した人を検索し当該人が現われる場面から再生可能とするための人物行動検索装置を提供するものである。その手段は、以下のとおりである。
撮像装置により撮像される監視領域の撮像画像を動画データとして画像記録部に録画させる録画装置と、
上記撮像装置又は上記画像記録部から連続的に送られる撮像画像上で個々の人を認識して当該人の仮想重心点の移動を追跡し、上記監視領域の特定場所での人の行動を把握するために撮像画像上の一定範囲内に予め設定された計測領域において撮像画像上に現われた人の仮想重心点が撮像画像上に予め設定された計測領域内に進入してから計測領域外へ退出するまでの当該人の行動情報を取得する画像処理装置と、
上記画像処理装置で取得した当該人の行動情報より、所定の挙動判定基準に基づいて当該人の挙動を判定する挙動判定装置と、
上記挙動判定装置で挙動判定された結果から当該人の挙動を示す栞データを作成する栞データ作成部と、
上記画像処理装置で追跡した当該人の仮想重心点の移動軌跡を示す追跡線を記録する移動軌跡記録部と、
上記撮像画像上において監視領域内の人が通過する位置に代表画像抽出ラインを予め設定し、上記画像処理装置での撮像画像の中から撮像画像上に現われた人の仮想重心点が上記代表画像抽出ラインを最初に通過したときの撮像画像を当該人の顔が明瞭に写った代表画像として抽出し、当該代表画像に上記移動軌跡記録部に記録された追跡線を合成した当該人の栞画像を作成する栞画像作成部と、
当該人が認識されている動画データの録画位置を記録する録画位置記録部と、
上記の当該人による栞画像と栞データと録画位置とを関連付ける人物キーを作成し、これを栞記憶部に記憶させる人物キー作成部と、
上記人物キーの栞データを検索させて上記栞記憶部から当該栞データと関連付けられた栞画像を呼び出し、当該栞画像を表示装置に一覧表示させる検索部と、
上記一覧表示された栞画像の選択により上記録画装置によって記録された動画データを当該栞画像と関連付けられた録画位置から上記表示装置に再生させる表示編集部とを備え、
上記栞データは、
(1)当該人の複数の異なる計測領域間の移動があるかを示す移動順序、
(2)当該人の計測領域内での平均速度を示す移動速度、
(3)当該人が計測領域内で停止していた時間を示す停止時間、及び
(4)当該人が計測領域内に滞在していた時間を示す滞在時間
の各項目(1)(2)(3)(4)のすべての組み合わせによって構成される。

上記栞データは、さらに、
(5)当該人が計測領域内を２人で並行して移動していたかを示す共連れ、及び
(6)当該人を含めて計測領域内に同時に存在していた人数を示す滞在人数
の各項目(5)(6)のうちの１つ又はこれら項目(5)(6)のすべてを備えることができる。
上記栞画像作成部は、撮像画像上において監視領域内の人が通過する位置に代表画像抽出ラインを予め設定することにより、当該人の顔が明瞭に写る位置で撮像された撮像画像から代表画像を抽出し栞画像を作成するようにしてもよい。
上記画像処理装置は、上記撮像画像において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各画素のピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点ごとに人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像を上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段を含むことでもよい。

以上の構成によれば、監視カメラ等の撮像装置から送られてくる撮像画像は、録画装置によって所定の記憶部に動画データとして録画される一方、画像処理装置によって常時処理し、撮像画像内の個々の人を個別に仮想重心点として捉えて追跡し、計測領域内における当該人の位置、速度、時間などの行動情報が取得される。そして、代表画像抽出ラインを最初に通過したときの撮像画像を当該人の代表画像として抽出すると共に追跡線を記録してその人の栞画像を作成し、当該人の行動情報を挙動判定して栞データを作成し、当該人が認識されている動画データの録画位置が記録される。これら当該人の栞画像と栞データと録画位置とは、互いに関連付けられた人物キーとして記憶手段に記憶される。

そして、録画装置によって録画された動画データを再生するに際して、まず、検索部によって上記人物キーの上記栞データを検索キーとして検索させることで該当する人の栞画像が表示装置に一覧表示される。次いで、所望の栞画像を選択すると、表示編集部によって選択された栞画像の人が現われる場面から上記動画データの再生が表示装置において行われる。
このように、特定の挙動を示す人が録画されている動画データの位置を容易に検索し、その人が現われる場面からの再生を簡易に且つ素早く行うことができる。

以上のように、本発明によれば、人物キーを作成しておくことで、長時間記録された動画データから特定の挙動を示した人が現われる場面を簡単に再生させることができ、その結果、録画装置によって録画された動画データに基づいて人の行動を分析するのに要する作業負担を大幅に軽減することができる。

以下に、本発明の実施の形態について図面を参照しながら説明する。
本実施の形態は、人物行動検索装置の一適用例として、銀行等の店舗内に設置したＡＴＭ機（現金自動預払機）の利用者である人の行動を監視し録画した動画データから所定の挙動を示した人を検索し素早く再生表示可能としたものである。図１は、ＡＴＭ機１００を３台（Ｍ１〜Ｍ３）並べて設置したＡＴＭ室Ｓ内（監視領域）を、１台のカメラ９によって上方から常時撮影している様子を模式的に示している。

なお、図１中、Ｔは、ＡＴＭ室Ｓの出入口の扉であり、Ａ１〜Ａ３は、撮像画像１内に設定される計測領域であり、ｈは、ＡＴＭ機１００の利用者の人物画像ｈであり、Ｇは、人物画像ｈの仮想重心点であり、Ｒ１は、図１中の右側のＡＴＭ機１００の利用者による人物画像ｈの挙動を示す移動軌跡であって不正常な挙動を示していた場合であり、Ｒ２は、図１中の中央のＡＴＭ機１００の利用者による人物画像ｈの挙動を示す移動軌跡であって正常な挙動を示していた場合である。また、Ｌは、この撮像画像１上に設定された代表画像抽出ラインである。

図２は、人物行動検索装置Ｘの構成図を示し、この人物行動検索装置Ｘは、カメラ（撮像装置）９、録画装置２、操作手段７、画像処理装置３、挙動判定装置４、栞生成装置５、栞記憶部５０、再生制御装置６、表示装置８を備える。

カメラ９は、例えば、１台のＣＣＤカメラ等で構成され、上方からＡＴＭ機１００と床面が見える角度で天井や壁面に設置されて監視領域ＳであるＡＴＭ室Ｓ内を上方から常時撮像し、その撮像画像１を連続的に画像処理装置３に送る。カメラ９を床面が写る角度に設置することで、人物画像ｈの移動軌跡を表示したときにその進路を把握しやすい情報が得られる。天井が低い場合などは、人物画像ｈの移動軌跡の範囲が狭まるため、広角レンズを装着したカメラ９を使用し、その撮影範囲を広げるようにしてもよい。

録画装置２は、カメラ９により撮像されるＡＴＭ室Ｓ内の撮像画像１を動画データとして所定の画像記録部２１に録画させるものである。この録画装置２は、既知のレコーダやコンピュータのドライブ装置等が使用され、動画データを記憶させる画像記録部２１としては、内蔵のハードディスクや、着脱可能なＤＶＤ、ＤＶテープ等の各種の記憶媒体が使用される。

操作手段７は、例えば、キーボード、マウス等の入力装置で構成され、画像処理装置３に対してカメラ９で撮像する撮像画像１上に計測領域Ａの設定を行ったり、挙動判定装置４に対して人の行動を分析するための挙動判定基準４１を設定したり、再生制御装置６を操作して録画装置２によって録画された動画データを表示装置８に再生させる指示を行ったりする。また、この操作手段７は、撮像画像１上において当該撮像画像１に写される人物の代表画像を抽出する位置を示す代表画像抽出ラインＬの設定も行う。

計測領域Ａは、撮像画像１上に現われた人がこの計測領域Ａ内に存在しているときに当該人の行動情報を取得するために設定される。例えば、無人のＡＴＭ室Ｓを監視する場合、計測領域Ａは、撮像画像１上でＡＴＭ機１００の前面位置の一定範囲内に設定される。これにより、ＡＴＭ機１００を操作する利用者の行動を把握することができ、ＡＴＭ機１００の利用者を装ってＡＴＭ機１００をいたずらしたり、他の利用者の操作を覗き見する等の不審な行動の有無が把握される。図１に示すＡＴＭ室Ｓでは、計測領域Ａは、３台のＡＴＭ機１００の各々の前面位置に四角形状に設定されているが、この計測領域Ａは、監視目的に応じて位置、大きさ、形状等を適宜に設定することができる。

画像処理装置３は、上記カメラ９から連続的に送られる撮像画像１上で個々の人を認識して当該人の仮想重心点Ｇの移動を追跡し、上記計測領域Ａ内での当該人の仮想重心点Ｇの行動情報を取得するものである。この画像処理装置３は、人認識手段３１、行動計測手段３２により構成される。

人認識手段３１は、上記撮像画像１において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各ピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点ごとに人物画像ｈの概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像ｈの仮想重心点Ｇを捉えるとともに、当該仮想重心点Ｇを経時的に追跡するいわゆるベクトル焦点法による画像処理技術（特許第３４０６５７７号、特許第３４０６５８７号、特許第３３９０４２６号）を備える手段である。

上記ベクトル焦点法の画像処理としては、まず、図３に示すように、撮像画像１内の物体像Ｂと背景像Ｗとの濃度差を利用して、撮像画像１上で等間隔に配置した各処理点Ｐについてその処理点Ｐを中心点とする円１１の円周上での各画素ｄ１〜ｄ１２のピクセル値に対し、下記式（１）に示す基本波フーリエ変換を実行していく（円形フーリエ法）。なお、基本波とは、上記処理点Ｐを中心点とする円周の１周期分の長さとなる正弦波および余弦波を意味する。

（式（１）中、ＳＶは画素のピクセル値にフーリエ変換の正弦波を積和した積和値、ＣＶ
は画素のピクセル値にフーリエ変換の余弦波を積和した積和値、ＡＴＡＮはアークタンジェント、ｓｉｔａはフーリエ変換で得られる位相値を示す。）

このフーリエ変換で得られる位相が、円周内に存在する画像の濃淡方向を示し、その中心点の処理点Ｐの画素における画像の濃淡方向となる。すなわち、この濃淡方向は、２次元の撮像画像１での物体Ｂとその周囲の背景Ｗとの境界、すなわち物体Ｂの輪郭部に対する法線ベクトルとして認識される。

例えば、図４（ａ）に示すように円１１が物体Ｂにかかった状態のとき、所定の基準位置から反時計方向に回転させて円形にフーリエ変換を実行し、正弦波および余弦波に円周上の各画素のピクセル値を積算すると、図４（ｂ）に示すように、９０度付近で波形のピークが現れる。その結果、上記の円形フーリエ法で得られた位相がちょうど物体Ｂの輪郭部に対する法線方向を示すものとなる。なお、図４（ｂ）において、ｓｉｎは正弦波、ｃｏｓは余弦波、ｓ・ｐは正弦波とピクセル値とを積算した波形、ｃ・ｐは余弦波とピクセル値とを積算した波形を示している。

但し、上記の円周内には物体像Ｂの輪郭部が入っておらず、円周内の画像がほとんど均一な濃度分布のところを除くため、下記式（２）に示す、上記ＳＶおよび上記ＣＶの二乗和の平方根の値（ｐｏｗ）が一定値以下のときはこの処理点Ｐには濃淡が無いとして扱う。

そして、人物画像ｈの抽出を行うには、図５（ａ）に示すように、まず、撮像画像１上の任意の配置点Ｑを基準に標準人型像ｏを配置し、上記円形フーリエ法により標準人型像ｏの輪郭部における法線ベクトル群ｂを求め、配置点Ｑから法線ベクトル群ｂまでの位置情報と法線ベクトル群ｂの角度情報を、当該配置点Ｑの標準データとして記憶する。

次に、図５（ｂ）に示すように、監視時に移動する人物画像ｈが写された撮像画像１に対して上記円形フーリエ法により人物画像ｈの輪郭部における法線ベクトル群ｂ’を求め、上記標準データに基づいてこれら法線ベクトル群ｂ’から上記配置点Ｑに相当する複数の正解点を求め、これら正解点が集まった所謂ベクトル焦点Ｇが一定値以上であれば、その人物画像ｈは人であると認識する。このベクトル焦点Ｇが、上記人の仮想重心点Ｇとなり、この重心点Ｇをカメラ９から送られてくる撮像画像１毎に追跡して行く。

なお、上記仮想重心点Ｇの位置は、監視目的に応じて人物画像ｈ上の適宜位置に設定することができるが、本実施の形態では、例えば、人物画像ｈの頭部に配置される。すなわち、ＡＴＭ機１００の利用者を装ってＡＴＭ機１００をいたずらしたり、他の利用者の操作を覗き見する等の場合、周りを見渡したりするのに頭部の移動が顕著となるからであり、そのため、本実施の形態では、人の行動を捉えるための仮想重心点Ｇを人物画像ｈの頭部に配置するのが好ましい。これにより、ＡＴＭ室Ｓ内の人の行動を監視する場合、頭部の動きを観察することで、当該人の不審な挙動の有無を確実に把握することができ、人の行動分析の信頼性を向上することができる。

以上のベクトル焦点法による画像処理技術によれば、カメラ９から送られてくる撮像画像１を連続的に処理し、処理毎に人物画像ｈをベクトル焦点という仮想重心点Ｇで規定することができ、この仮想重心点Ｇの移動を追跡することができ、さらに、この追跡により仮想重心点Ｇの瞬間移動速度（停止を含む。）を計測することができるという特性を備えている。例えば、人認識において前後フレームの撮像画像１より差分画像を把握する方法では、人物画像ｈが停止すると差分がとれず人を見失うおそれがあるが、上記ベクトル焦点法による画像処理技術ではそのような不都合も無い。

従って、上記人認識手段３１によれば、撮像画像１に現われる個々の人物を一人ひとり認識することができ、例えば、肩を組んでいる２人について、その個々人をそれぞれ一人ひとりに区別して認識し、それぞれの仮想重心点Ｇを認識することができる。従って、２人が並走するような共連れも把握することができる。そして、人認識手段３１は、当該人物画像ｈの仮想重心点Ｇの移動を、人物画像ｈの仮想重心点Ｇが撮像画像１内に現われてから撮像画像１外に消えるまで追跡する。

行動計測手段３２は、人認識手段３１で特定する人物画像ｈの仮想重心点Ｇが計測領域Ａ内に進入してから計測領域Ａ外へ退出するまでの行動情報を計測し、記録する。この行動情報としては、例えば、計測領域Ａ内での人の位置、速度、時間などである。

挙動判定装置４は、上記画像処理装置３で取得した当該人の行動情報より、所定の挙動判定基準４１に基づいて当該人の挙動を判定するものである。挙動判定装置４には、挙動判定基準４１が登録されている（図２参照）。この挙動判定基準４１は、監視領域Ｓ内で人がどうような行動をとっていたかを判定するための基準であり、例えば、(1)移動順序、(2)共連れ、(3)移動速度、(4)停止時間、(5)滞在時間、及び(6)滞在人数、等の各挙動が設定される（図７参照）。

ここで、上記(1)の移動順序は、当該人の複数の異なる計測領域Ａ間の移動があったかを判定する。すなわち、正常なＡＴＭ機１００の利用者は、通常、ＡＴＭ機１００の操作中に横側へ移動することもない（図１中、Ｒ２を参照）。一方、隣のＡＴＭ機１００を覗き見するような不審な行動を示すと、隣接するＡＴＭ機１００に対して設定された計測領域Ａへの移動が発生することとなる（図１中、Ｒ１を参照）。従って、複数の異なる計測領域Ａ間の行動を行った人の中には、不審人物が含まれ得ると判断できるからである。

上記(2)の共連れは、当該人が計測領域Ａ内を２人で並行して移動していたかを判定する。この場合、ＡＴＭ機１００の利用者を装ってＡＴＭ機１００をいたずら等した者が含まれ得ると判断できるからである。

上記(3)の移動速度は、当該人の計測領域Ａ内での平均速度を判定する。この場合、平均速度が異常に速いと、周辺をきょろきょろ見渡していたとも捉えることができ、その者の中には、ＡＴＭ機１００の利用者を装ってＡＴＭ機１００をいたずら等した者が含まれ得ると判断できるからである。

上記(4)の停止時間は、当該人が計測領域Ａ内で停止していた時間を判定する。この場合、停止時間が異常に長いと、ＡＴＭ機１００の利用者を装ってＡＴＭ機１００をいたずら等した者が含まれ得ると判断できるからである。

上記(5)の滞在時間は、当該人が計測領域Ａ内に滞在していた時間を判定する。この場合も、滞在時間が異常に長いと、ＡＴＭ機１００の利用者を装ってＡＴＭ機１００をいたずら等した者が含まれ得ると判断できるからである。

上記(6)の滞在人数は、当該人を含めて計測領域Ａ内に同時に存在していた人数を判定する。この場合、例えば、３人以上の多数であると、ＡＴＭ機１００の利用者を装ってＡＴＭ機１００をいたずら等した者が含まれ得ると判断できるからである。
なお、この挙動判定基準４１は、上記の各挙動に限らず、監視目的に応じてその挙動内容を適宜に決定することができる。

栞生成装置５は、上記録画装置２に長時間記録された動画データから特定の挙動を示した人が現われる場面を簡単に呼び出せるようにするための人物キーを生成するものである。この栞生成装置５は、録画位置記録部５１と、移動軌跡記録部５２、栞画像作成部５３と、栞データ作成部５４と、人物キー作成部５５とを有する（図２参照）。

録画位置記録部５１は、撮像画像１上で認識される個々の人が写されている動画データの録画位置を記録する。録画位置は、例えば、撮像画像１中にある人が初めて現われた時点の画像フレーム番号（開始フレーム）と、当該人物が撮像画像１外に出て消失した時点の１つ前の画像フレーム番号（終了フレーム）とで構成される（図１１参照）。なお、この録画位置は、上記の画像フレーム番号に限らず、録画時間で構成することもできる。また、録画位置は、開始フレームだけで構成してもよい。

移動軌跡記録部５２は、上記画像処理装置３で追跡した当該人の仮想重心点Ｇの移動軌跡を示す追跡線を記録する。すなわち、この移動軌跡記録部５２は、撮像画像１において一人ひとり個別に、人物画像ｈの仮想重心点Ｇが撮像画像１内に現われてから撮像画像１外に消えるまでの移動軌跡を当該人物画像ｈの追跡線として記録する。

栞画像作成部５３は、上記画像処理装置３で撮像画像１上に人が認識されると当該人の代表画像を抽出し、当該代表画像に上記移動軌跡記録部５２に記録された追跡線を合成した当該人の栞画像を作成する。この栞画像作成部５３は、当該人の顔が明瞭に写る位置で撮像された撮像画像１から代表画像を抽出し栞画像を作成するが、このとき、代表画像抽出位置は、撮像画像１上に任意に設定することができる。例えば、図１のＡＴＭ室Ｓ内を監視する場合、ＡＴＭ室Ｓの出入口の扉Ｔから少し入ったところの位置が当該人の顔が比較的明瞭に写される。従って、この場合、ＡＴＭ室Ｓの出入口から少し入ったところに代表画像抽出ラインＬを設定し、このラインＬを最初に通過した瞬間の画像フレーム（撮像画像１）を代表画像として抽出し、当該人の栞画像を作成する（図１、図１１参照）。

栞データ作成部５４は、上記挙動判定装置４で挙動判定された結果から当該人の挙動を示す栞データを作成する。この栞データは、特定の挙動を示した人を検索するための人の挙動別に分類された項目であり、各項目は、上記挙動判定基準４１に設定される人の挙動の各項目と対応している。従って、この栞データの項目としては、例えば、(1)移動順序（当該人の複数の異なる計測領域Ａ間の移動があったか）、(2)共連れ（当該人が計測領域Ａ内を２人で並行して移動していたか）、(3)移動速度（当該人の計測領域Ａ内での平均速度）、(4)停止時間（当該人が計測領域Ａ内で停止していた時間）、(5)滞在時間（当該人が計測領域Ａ内に滞在していた時間）、及び(6)滞在人数（当該人を含めて計測領域Ａ内に同時に存在していた人数）等である（図７参照）。

人物キー作成部５５は、上記の当該人による栞画像と栞データと録画位置とを関連付ける人物キーを作成し、この人物キーを栞記憶部５０に記憶させるものである。この人物キーとしては、例えば、図８に示すような表形式のデータとすることができ、個人毎に人物ナンバー（図８中の「人物ＮＯ．」）が設定されて、この人物ナンバーによって当該人の栞画像、栞データ、録画位置が関連付けられている。

栞記憶部５０は、上述のとおり、栞生成装置５で作成された人物キーを記憶するものである。この栞記憶部５０に記憶された人物キーは、この人物キーを作成する基となった動画データとの関連付けがなされている。

再生制御装置６は、上記録画装置２に長時間記録された動画データを、上記人物キーを参照して特定の挙動を示した人が現われる場面からジャンプ再生させるようにするものである。この再生制御装置６は、検索部６１と、表示編集部６２とを有する（図２参照）。
検索部６１は、上記人物キーの栞データを検索キーとして検索させて上記栞記憶部５０から当該人物キーと関連付けられた栞画像を呼び出し、当該栞画像を表示装置８に一覧表示させる。
表示編集部６２は、上記一覧表示された栞画像の選択により上記録画装置２によって記録された動画データを当該栞画像と関連付けられた録画位置から上記表示装置８に再生させる。すなわち、栞画像が選択されると、この栞画像と関連付けられた動画位置が示す開始フレームから動画データがジャンプ再生され、そして、この動画位置が示す終了フレームで上記再生が停止される。これにより、選択された栞画像の人が現われる場面に対して、上記動画データの再生が表示装置８において行われる。

表示装置８は、既知のモニター装置が使用され、カメラ９で撮像されている撮像画像１を表示させたり、上記栞画像を一覧表示させたり、上記動画データを再生表示させたりするものである。

次に、上記人物行動検索装置Ｘの動作を説明する。
まず、操作手段７によって、画像処理装置３に対してカメラ９で撮像する撮像画像１上に計測領域Ａを設定すると共に、挙動判定装置４に対して挙動判定基準４１を設定する。計測領域Ａとしては、図１に示すように、ＡＴＭ機１００を操作している利用者が完全に包囲されるように、ＡＴＭ機１００の前面位置の一定範囲を四角形状に囲むように設定される。挙動判定基準４１としては、上述した(1)移動順序、(2)共連れ、(3)移動速度、(4)停止時間、(5)滞在時間、及び(6)滞在人数の各項目が設定される。また、操作手段７によって、撮像画像１上の所定位置に代表画像抽出ラインＬを引いて、カメラ９で撮像される一人ひとりの代表画像を抽出する位置を設定する。以上の設定が完了すると、ＡＴＭ機１００の利用者の行動分析のために、撮像画像１の録画とともに個人毎に人物キーが作成される。

人物キーを作成するときの動作は、図６に示した手順によって行われる。
すなわち、図６を参照して、カメラ９から撮像画像１が画像処理装置３に連続的に入力されると（Ｓ１）、録画装置２によって画像記録部２１に動画データとして録画される一方、画像処理装置３では、撮像画像１内に人が存在するか人認識を行う。人の存在が認識されると、その画像フレーム番号を当該人が初めて撮像画像１中に現われた時点を示す開始フレームとして記録される（Ｓ２）。すなわち、図１１に示すように、撮像画像１上に初めて人が認識されると、そのときの画像フレーム番号が録画されている動画データにおいて当該人が現われる録画位置を示す開始フレームとなる。

引き続き、撮像画像１中に認識された当該人を仮想重心点Ｇとして捉え、連続的に入力される撮像画像１上で当該仮想重心点Ｇが経時的に追跡される（Ｓ３）。なお、上記人認識や仮想重心点Ｇの追跡は、上述したベクトル焦点法による画像処理技術が用いられる（図３〜図５を参照）。そして、追跡した当該人の仮想重心点Ｇが代表画像抽出ラインＬを通過すると、そのときの撮像画像１（画像フレーム）が当該人の代表画像として抽出される（Ｓ４）。すなわち、出入口の扉ＴからＡＴＭ室Ｓ内に少し入ったところで写された撮像画像１が当該人物の代表画像となる。

そして、追跡した当該人の仮想重心点Ｇが計測領域Ａに進入すると、その仮想重心点Ｇが計測領域Ａに進入してから計測領域Ａ外へ退出するまでの間の当該人の行動情報が上記画像処理装置３の行動計測手段３２によって取得される（Ｓ５）。すなわち、実空間の人がＡＴＭ機１００を操作している間の位置、速度、時間が取得される。

ここで取得された人の行動情報は、挙動判別基準に基づいて挙動判定され（Ｓ６）、その挙動判定結果から栞データが作成される（Ｓ７）（図１１をも参照）。すなわち、上述したとおり、(1)移動順序、(2)共連れ、(3)移動速度、(4)停止時間、(5)滞在時間、及び(6)滞在人数の各挙動が判定され、その結果を栞データとして作成する（図７をも参照）。

次いで、仮想重心点Ｇが撮像画像１から消失した時点で、その画像フレームの１つ前の画像フレーム番号を当該人が監視領域ＳであるＡＴＭ室Ｓから退室した時点を示す終了フレームとして記録される（Ｓ８）。すなわち、図１１に示すように、撮像画像１上から当該人が消失すると、そのときの画像フレーム番号の１つ前の画像フレーム番号を録画されている動画データにおいて当該人が消失する直前の録画位置を示す終了フレームとする。この終了フレームと上記開始フレームとをペアにして当該人が撮像画像１中に写されている録画位置として記録される。

移動軌跡記録部５２は、撮像画像１において一人ひとり個別に、人物画像ｈの仮想重心点Ｇが撮像画像１内に現われてから撮像画像１外に消えるまでの移動軌跡を当該人物画像ｈの追跡線として記録する。栞画像作成部５３は、上記代表画像抽出ラインＬの通過時に抽出した当該人の代表画像に上記移動軌跡記録部５２に記録された追跡線を合成した当該人の栞画像を作成する（Ｓ９）。

そして、人物キー作成部５５によって、図８に示すような上記の当該人による栞画像と栞データと録画位置とを互いに関連付けた人物キーが作成され、この人物キーが栞記憶部５０に記憶される（Ｓ１０）。

以上の動作によってカメラ９から順次送られてくる撮像画像１を連続的に処理して動画データとして記録する一方、その撮像画像１中に写されている当該人の画像（栞画像）や行動（栞データ）を示すとともに当該人が現われる動画データの位置（録画位置）を示す人物キーが作成され、記録される。

次に、上記人物キーを用いて動画データを再生するときの動作は、図９に示した手順によって行われる。
すなわち、図９を参照して、上記人物キーの栞データを検索キーとして検索すると（Ｓ２０）、当該人物キーと関連付けられた全ての栞画像が上記栞記憶部５０から呼び出され表示装置８に一覧表示される（Ｓ２１）。この一覧表示は、例えば、図１０に示すように、栞画像（追跡線付きの人物代表画像）をサムネイル表示することができる。

そして、上記一覧表示された栞画像のうち所望の栞画像を選択すると（Ｓ２２）、上記録画装置２によって記録された動画データが当該栞画像と関連付けられた録画位置から上記表示装置８に再生される（Ｓ２３）。すなわち栞画像が選択されると、この栞画像と関連付けられた動画位置が示す開始フレームから動画データがジャンプ再生され、そして、この動画位置が示す終了フレームで上記再生が停止される（図１１参照）。これにより、選択された栞画像の人が現われる場面に対して、上記動画データの再生が表示装置８において行われる。

以上のように、本実施の形態による人物行動検索装置Ｘによれば、特定の挙動を示す人が録画されている動画データの位置を容易に検索し、その人が現われる場面からの再生を簡易に且つ素早く行うことができる。このように、人物キーを作成しておくことで、長時間記録された動画データから特定の挙動を示した人が現われる場面を簡単に再生させることができ、その結果、録画装置２に録画された動画データに基づいて人の行動を分析するのに要する作業負担を大幅に軽減することができる。

なお、本発明は、上記実施の形態のみに限定されず、各種の設計変更を施すことが可能である。
例えば、上記実施の形態では、カメラ９からの撮像画像１を画像処理装置３に入力し栞生成装置５によって人物キーを作成するようにしたが、録画装置２によって既に録画された動画データ（撮像画像１）を画像処理装置３に入力して、上記同様に、栞生成装置５によって人物キーを作成するようにしてもよい。

また、上記録画装置２は、上記画像処理装置３の指令に基づいて、撮像画像１中に人が現われた時点から録画を開始し、当該人が撮像画像１外に出た時点で録画を停止させる構成としてもよい。この場合、動画データを記録する画像記録部２１の記憶容量を低減することができる。

また、上記栞画像は、１つ画像フレームから抽出した静止画であるが、連続した複数枚の画像フレームを抽出しこれを動画表示可能な栞画像としてもよい。この場合、例えば、上記した代表画像抽出ラインＬを通過したときから所定フレーム数の撮像画像１を抽出して動画を作成するようにしてもよい。

また、録画位置は、開始フレームだけを記録し、栞画像を選択することでの動画データの再生をこの開始フレームからのジャンプ再生のみ行い停止は行わないようにし、操作者の意思で再生停止させるようにしてもよい。

また、本発明に係る人物行動検索装置Ｘは、ＡＴＭ室Ｓに限らず、コンビニエンスストア、デパート、マンション、住宅等のあらゆる監視場所における人の行動観察に適用することができる。

また、録画装置２、操作手段７、画像処理装置３、挙動判定装置４、栞生成装置５、栞記憶部５０、再生制御装置６、表示装置８は、それぞれ独立の専用ユニットで構成されてもよいし、また、これらの全部又は一部が一台のパーソナルコンピュータ等の汎用コンピュータによって構成されてもよい。

ＡＴＭ機を３台（Ｍ１〜Ｍ３）並べて設置したＡＴＭ室内（監視領域）を１台のカメラによって上方から常時撮影している様子を示す模式図である。 本実施の形態による人物行動検索装置の構成を示すブロック図である。 本実施の形態による人物行動検索装置において人認識の画像処理に際して用いられる円形フーリエ法を説明するための模式図である。 円形フーリエ法を実行することで画像の濃淡方向が示されることを説明するための図であり、同図（ａ）は人物画像の輪郭部に円形状に基本波フーリエ変換を実行する様子を示し、同図（ｂ）はその基本波フーリエ変換を実行したときの波形グラフを示す。 人認識の画像処理に際して用いられるベクトル焦点法を説明するための模式図であり、同図（ａ）は画像上に標準人型像を配置したときの様子を示し、同図（ｂ）は画像上に識別対象の人が映されているときの様子を示す。 本実施の形態による人物行動検索装置において人物キーを作成するときの動作を示す流れ図である。 本実施の形態による人物行動検索装置において栞データを作成するときの動作を説明するための模式図である。 本実施の形態による人物行動検索装置において作成された人物キーを示す模式図である。 本実施の形態による人物行動検索装置において人物キーを用いて動画データを再生するときの動作を示す流れ図である。 本実施の形態による人物行動検索装置において人物キーを検索キーとして検索させたときに栞画像がサムネイルとして一覧表示された様子を示す模式図である。 本実施の形態による人物行動検索装置における撮像画像フレームと再生画像フレームとの関係を示す模式図である。

符号の説明

１ 撮像画像
２ 録画装置
３ 画像処理装置
４ 挙動判定装置
５ 栞生成装置
６ 再生制御装置
７ 操作手段
８ 表示装置
９ カメラ（撮像装置）
２１ 画像記録部
３１ 人認識手段
３２ 行動計測手段
４１ 挙動判定基準
５０ 栞記憶部
５１ 録画位置記録部
５２ 移動軌跡記録部
５３ 栞画像作成部
５５ 人物キー作成部
５４ 栞データ作成部
６１ 検索部
６２ 表示編集部
１００ ＡＴＭ機
Ａ 計測領域
Ｇ 仮想重心点
ｈ 人物画像
Ｌ 代表画像抽出ライン
Ｓ ＡＴＭ室（監視領域）

Claims (3)

1. 人の行動を監視し録画した動画データを、所定の挙動を示した人を検索し当該人が現われる場面から再生可能とするための人物行動検索装置であって、
   撮像装置により撮像される監視領域の撮像画像を動画データとして画像記録部に録画させる録画装置と、
   上記撮像装置又は上記画像記録部から連続的に送られる撮像画像上で個々の人を認識して当該人の仮想重心点の移動を追跡し、上記監視領域の特定場所での人の行動を把握するために撮像画像上の一定範囲内に予め設定された計測領域において撮像画像上に現われた人の仮想重心点が撮像画像上に予め設定された計測領域内に進入してから計測領域外へ退出するまでの当該人の行動情報を取得する画像処理装置と、
   上記画像処理装置で取得した当該人の行動情報より、所定の挙動判定基準に基づいて当該人の挙動を判定する挙動判定装置と、
   上記挙動判定装置で挙動判定された結果から当該人の挙動を示す栞データを作成する栞データ作成部と、
   上記画像処理装置で追跡した当該人の仮想重心点の移動軌跡を示す追跡線を記録する移動軌跡記録部と、
   上記撮像画像上において監視領域内の人が通過する位置に代表画像抽出ラインを予め設定し、上記画像処理装置での撮像画像の中から撮像画像上に現われた人の仮想重心点が上記代表画像抽出ラインを最初に通過したときの撮像画像を当該人の顔が明瞭に写った代表画像として抽出し、当該代表画像に上記移動軌跡記録部に記録された追跡線を合成した当該人の栞画像を作成する栞画像作成部と、
   当該人が認識されている動画データの録画位置を記録する録画位置記録部と、
   上記の当該人による栞画像と栞データと録画位置とを関連付ける人物キーを作成し、これを栞記憶部に記憶させる人物キー作成部と、
   上記人物キーの栞データを検索させて上記栞記憶部から当該栞データと関連付けられた栞画像を呼び出し、当該栞画像を表示装置に一覧表示させる検索部と、
   上記一覧表示された栞画像の選択により上記録画装置によって記録された動画データを当該栞画像と関連付けられた録画位置から上記表示装置に再生させる表示編集部とを備え、
   上記栞データは、
   (1)当該人の複数の異なる計測領域間の移動があるかを示す移動順序、
   (2)当該人の計測領域内での平均速度を示す移動速度、
   (3)当該人が計測領域内で停止していた時間を示す停止時間、及び
   (4)当該人が計測領域内に滞在していた時間を示す滞在時間
   の各項目(1)(2)(3)(4)のすべての組み合わせによって構成される人物行動検索装置。
2. 請求項１に記載の人物行動検索装置において、
   上記栞データは、さらに、
   (5)当該人が計測領域内を２人で並行して移動していたかを示す共連れ、及び
   (6)当該人を含めて計測領域内に同時に存在していた人数を示す滞在人数
   の各項目(5)(6)のうちの１つ又はこれら項目(5)(6)のすべてを備える人物行動検索装置。
3. 請求項１又は２に記載の人物行動検索装置において、
   上記画像処理装置は、上記撮像画像において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各画素のピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点ごとに人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像を上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段を含む人物行動検索装置。

Images