JP7632692B2 - 注目映像検出装置、方法およびプログラム - Google Patents

Description

この発明の一態様は、例えば、映像データから注目対象の物体等を含む注目映像を検出する注目映像検出装置、方法およびプログラムに関する。

近年、高精細カメラの普及に伴い、撮影した映像をもとに人物の行動を解析する技術が種々提案されている。例えば、監視カメラの映像をもとに犯罪行動を検出したり、工事現場における危険な行動を検出する技術がある。

人の行動を精度良く検知するには、一般に大量の映像を観察する必要がある。その場合、人手による観察は時間的および人的コストがかかるため、特定の行動を自動的に検出するアルゴリズムを用いる技術が研究されている。また、複数の人物の動きを個別に検出するために、人物のトラッキング技術や顔認証技術のロバスト性に関連する研究も盛んに行われている（例えば非特許文献１を参照）。

Z. Xiao et al. "Improving Transferability of Adversarial Patches on Face Recognition with Generative Models." CVPR2021.

ところで、例えば人物の動きを精度良く検出するには、人物とこの人物が作業対象とする周囲の物体とのインタラクション、つまり動きの関連性を考慮する必要がある。しかし、非特許文献１に記載された技術は、監視対象となる特定の人物または物体の動きをそれ単体で検出するものとなっている。このため、人物の行動を精度良く検出できない場合がある。

例えば、梯子を登るまたはカナヅチで釘を打つ等の、人物と物体との間でインタラクションのあるシーンでは、梯子からの転落やカナヅチで誤って手を打つといった、周辺の物体と関連する特有の潜在的な危険を有している。しかし、監視対象として人物の動きのみを検知したのでは、人物の動作の潜在的な危険性までは監視することができない。

この発明は上記事情に着目してなされたもので、注目対象の物体の動きを推定するために必要な注目映像を的確に検出可能とする技術を提供しようとするものである。

上記課題を解決するためにこの発明に係る注目映像検出装置または方法の一態様は、カメラにより撮像された映像データを取得する第１の処理部または過程と、前記映像データの映像フレームから、物体と当該物体の前記映像フレーム中の位置を表す情報を含む物体検出情報を検出する第２の処理部または過程と、前記映像データの前記映像フレームから、当該映像フレームに描画されている画像の前記カメラからの距離分布を表すデプス情報を抽出し、抽出した前記デプス情報をもとに前記物体の前記カメラからの距離を算出することにより距離検出情報を検出する第３の処理部または過程と、前記物体検出情報および前記距離検出情報に基づいて、注目対象となる第１の物体と当該第１の物体の作業対象となる第２の物体とを含み、かつ前記第１の物体と前記第２の物体との間の前記カメラからの距離の差が所定値以下の関係を有する前記第１の物体と前記第２の物体との組合せと、その距離の差を表す情報とを含む特定映像領域を検出する第４の処理部または過程と、前記特定映像領域に含まれる前記第１の物体と前記第２の物体との組合せと、その距離の差が、予め設定された検出条件を満たす特定映像領域を、注目映像として検出する第５の処理部または過程とを具備するものである。

この発明の一態様によれば、例えば、注目対象として指定された第１の物体とこの第１の物体が作業対象とする周囲の第２の物体とを含み、かつ上記第１の物体と前記第２の物体との間のカメラからの距離の差が所定値以下の関係を有する前記第１の物体と前記第２の物体との組合せと、その距離の差を表す情報とを含む特定映像領域が注目映像として検出される。この結果、上記注目映像をもとに第１の物体の動きを解析する場合に、当該第１の物体とその作業対象となる周囲の第２の物体との間の奥行き方向のインタラクションを考慮して、第１の物体の動作を高精度に推定することが可能となる。

すなわちこの発明の一態様によれば、注目対象の物体の動きを推定するために必要な注目映像を的確に検出可能とした技術を提供することができる。

図１は、この発明の一実施形態に係る注目映像検出装置のハードウェア構成の一例を、周辺部の構成と共に示したブロック図である。 図２は、この発明の一実施形態に係る注目映像検出装置のソフトウェア構成の一例を示すブロック図である。 図３は、図２に示した注目映像検出装置の制御部が実行する注目映像検出処理の処理手順と処理内容の一例を示すフローチャートである。 図４は、図３に示した注目映像検出処理のうち物体検出処理の処理手順と処理内容の一例を示すフローチャートである。 図５は、図３に示した注目映像検出処理のうち距離情報検出処理の処理手順と処理内容の一例を示すフローチャートである。 図６Ａは、図３に示した注目映像検出処理のうち特定区間判定処理の処理手順と処理内容の前半部分の処理を示すフローチャートである。 図６Ｂは、図３に示した注目映像検出処理のうち特定区間判定処理の処理手順と処理内容の後半部分の処理を示すフローチャートである。 図７は、図３に示した注目映像検出処理のうち注目映像検出処理の処理手順と処理内容の一例を示すフローチャートである。 図８は、図３に示した注目映像検出関連情報記憶部に記憶される注目映像検出ルールの一例を示す図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。

［一実施形態］
（構成例）
図１はこの発明の一実施形態に係る注目映像検出装置のハードウェア構成の一例をその周辺デバイスと共に示したブロック図、図２は上記注目映像検出装置のソフトウェア構成の一例を示すブロック図である。

注目映像検出装置ＢＤは、例えばサーバコンピュータまたはパーソナルコンピュータ等の情報処理装置からなり、この注目映像検出装置ＢＤには信号ケーブルまたは図示しないネットワークを介して、カメラＣＭおよび端末ＭＴが接続されている。

カメラＣＭは、例えば監視対象エリアを撮影可能な天井や壁面等に設置され、上記監視対象エリアに存在する監視対象となる人物の全身をその周辺領域と共に撮影し、時系列の映像データを注目映像検出装置ＢＤへ送信する。

なお、カメラＣＭにより撮影された映像データは、カメラＣＭから注目映像検出装置ＢＤへ直接送信されてもよいが、図示しない映像データベースに一旦蓄積されたのち注目映像検出装置ＢＤへ送られるようにしてもよい。また、カメラＣＭは１台に限らず複数台であってもよい。

端末ＭＴは、例えばシステム管理者、または監視対象の人物の行動を監視する監視者が使用するもので、パーソナルコンピュータ等の情報処理端末により構成される。端末ＭＴは、例えば、注目映像検出装置ＢＤにより検出された注目映像情報を受信し、受信された注目映像情報をもとに監視対象の人物の行動を解析する機能を備える。なお、上記注目映像をもとに監視対象の人物の行動を解析する機能は、注目映像検出装置ＢＤが備えていてもよい。

また端末ＭＴは、注目映像検出装置ＢＤが機械学習モデルを備える場合に、機械学習モデルの学習に必要な学習データを注目映像検出装置ＢＤに入力する機能を備えていてもよい。

注目映像検出装置ＢＤは、中央処理ユニット（Central Processing Unit：ＣＰＵ）および画像処理ユニット（Graphics Processing Unit：ＧＰＵ）等のハードウェアプロセッサを使用した制御部１を備え、制御部１に対し、バス５を介して、プログラム記憶部２およびデータ記憶部３を有する記憶ユニットと、入出力インタフェース（以後インタフェースをＩ／Ｆと略称する）部４を接続したものとなっている。なお、制御部１は、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等を用いて構成されてもよい。

入出力Ｉ／Ｆ部４は、通信インタフェース機能を有し、信号ケーブルまたはネットワークを介して、上記カメラＣＭおよび端末ＭＴとの間で映像データおよび各入出力データの送受信を行う。

プログラム記憶部２は、例えば、記憶媒体としてＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成したもので、ＯＳ（Operating System）等のミドルウェアに加えて、一実施形態に係る各種制御処理を実行するために必要なアプリケーション・プログラムを格納する。なお、以後ＯＳと各アプリケーション・プログラムとをまとめてプログラムと称する。

データ記憶部３は、例えば、記憶媒体として、ＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、一実施形態を実施するために必要な主たる記憶部として、映像データ記憶部３１と、特定区間映像判定関連情報記憶部３２と、注目映像検出関連情報記憶部３３とを備えている。

映像データ記憶部３１は、カメラＣＭから送信される時系列の映像データを、以後の注目映像検出処理のために一旦記憶するために使用される。

特定区間映像判定関連情報記憶部３２は、監視対象として事前に指定された指定領域および指定物体の名称を含む特定区間映像判定関連情報を記憶する。

指定領域は、例えば監視カメラＣＭが監視対象エリアに固定的に設置される場合に、端末ＭＴまたは注目映像検出装置ＢＤにより、上記カメラＣＭの映像をもとにセマンティックセグメンテーション等の手法を用いて自動的に設定される。なお、指定領域は管理者または監視者により端末ＭＴから手動操作により設定されてもよい。

指定領域は、例えば矩形、多角形または円形等の形状により表現される。また、指定領域は１つに限らず複数指定することもできる。例えば、形状が矩形であれば、１つの固定カメラＣＭにより撮影される映像フレーム内に、複数の矩形が検出対象領域として指定される。なお、指定領域は必ずしも設定しなくてもよい。この場合、映像フレームの全域が指定領域と見なされる。

一方、指定物体としては、人物、梯子、カナヅチ、安全ベルト等の検出対象となる物体名が指定される。なお、指定物体は必ずしも指定しなくてもよい。この場合、すべての物体が検出対象と見なされる。

注目映像検出関連情報記憶部３３は、注目映像を検出するために必要な検出ルールを記憶する。検出ルールは、後述する特定区間判定処理部１４により検出された特定区間の映像が、人物と物体との間でインタラクションが発生する可能性が高い注目映像であるか否かを判定するためのルールを定義するもので、事前に複数記憶される。

制御部１は、一実施形態を実施するために必要な処理機能として、映像データ取得処理部１１と、物体検出処理部１２と、距離情報検出処理部１３と、特定区間判定処理部１４と、注目映像検出処理部１５とを備える。上記処理部１１～１５は、何れもプログラム記憶部２に格納されたアプリケーション・プログラムを、制御部１のハードウェアプロセッサに実行させることにより実現される。

映像データ取得処理部１１は、カメラＣＭから出力される時系列の映像データを入出力Ｉ／Ｆ部４を介して取得し、取得された上記各映像データを映像データ記憶部３１に一旦記憶させる処理を行う。

物体検出処理部１２は、ニューラルネットワークを用いて構築される物体検出用の機械学習モデルを備える。そして、物体検出処理部１２は、映像データ記憶部３１から映像データをフレームごとに読み込み、読み込まれた映像フレームを上記物体検出用の機械学習モデルに入力することで、当該映像フレームに写っている物体のクラスと位置を物体検出情報として検出する。この物体検出処理の一例は動作例において述べる。

距離情報検出処理部１３は、ニューラルネットワークを用いて構築される距離情報検出用の機械学習モデルを備える。そして、距離情報検出処理部１３は、映像データ記憶部３１から映像データをフレームごとに読み込み、読み込まれた映像フレームを上記距離情報検出用の機械学習モデルに入力することで、上記映像フレームに写っている画像のカメラＣＭからの距離を画素（ピクセル）単位で検出する。この距離情報の検出処理の一例についても動作例で説明する。

特定区間判定処理部１４は、上記物体検出処理部１２および上記距離情報検出処理部１３から、それぞれ物体検出情報および距離検出情報を受け取る。そして、これらの検出情報を、特定区間映像判定関連情報記憶部３２に記憶された特定区間映像判定関連情報と照合することで、指定領域内に指定物体が写っている特定区間の映像を検出する処理を行う。特定区間検出処理の一例は動作例においてより詳しく説明する。

注目映像検出処理部１５は、上記特定区間判定処理部１４により検出された特定区間映像情報を受け取る。そして、受け取った上記特定区間映像情報を、注目映像検出関連情報記憶部３３に記憶されている検出ルールと照合することで、上記特定区間映像情報が注目映像であるか否かを判定し、注目映像であれば当該注目映像を入出力Ｉ／Ｆ部４から端末ＭＴへ出力する処理を行う。注目映像判定処理の一例についても、動作例においてより詳しく説明する。

なお、上記物体検出用の機械学習モデルおよび上記距離情報検出用の機械学習モデルは、例えば畳み込みニューラルネットワークにより構成されるが、ニューラルネットワークの種類については適宜選択して使用可能である。また、特定区間判定処理部１４および注目映像検出処理部１５においても、特定区間の判定処理および注目映像の検出処理を、それぞれ機械学習モデルを用いて実行するようにしてもよい。

（動作例）
次に、以上のように構成された注目映像検出装置ＢＤの動作例を説明する。
なお、上記物体検出用の機械学習モデルおよび上記距離情報検出用の機械学習モデルは、事前に学習されているものとして以後の説明を行う。

図３は、注目映像検出装置ＢＤの制御部１が実行する注目映像検出処理の全体の処理手順および処理内容の一例を示すフローチャートである。

（１）映像データの取得
注目映像検出装置ＢＤの制御部１は、映像データ取得処理部１１の制御の下、カメラＣＭにより監視対象エリアを撮影して得られた時系列の映像データを、入出力Ｉ／Ｆ部４を介して取得する。そして、取得された上記映像データをフレームごとに映像データ記憶部３１に順次保存する。

（２）物体の検出
上記映像データが一定時間分取得されると、注目映像検出装置ＢＤの制御部１は、物体検出処理部１２の制御の下、ステップＳ１において、映像データからフレームごとに物体のクラスと位置を表す情報を検出する処理を以下のように行う。

図４は、物体検出処理部１２により実行される物体検出処理の処理手順と処理内容の一例を示すフローチャートである。

すなわち、物体検出処理部１２は、ステップＳ１１により映像データ記憶部３１から映像データをフレームごとに読み込む。そして、読み込まれた映像フレームを物体検出用の機械学習モデルに入力し、この学習モデルにより上記映像フレームに写っている物体のクラスと位置を表す情報をそれぞれ検出する。

例えば、検出対象となる物体として、「人物」、「梯子」、「安全ベルト」が事前に指定されていたとすると、物体検出処理部１２の物体検出用学習モデルは、ステップＳ１２において、上記映像フレームから上記各物体の検出処理を行い、検出された物体を“１”、検出されなかった物体を“０”とした２値のベクトルで表現されるクラス情報を出力する。例えば、いまある映像フレームにおいて「人物」と「梯子」が検出されたとすると、クラス情報（１，１，０）を出力する。なお、ベクトル長は、物体のクラス数に依存する。

一方、物体の位置は、バウンディングボックス情報により表現される。バウンディングボックス情報は（x_min, y_min, x_max, y_max）で表現される。これは、映像フレームの左上端の座標を（0, 0）としたときの、矩形の左上端の端点（x_min, y_min）と右下端の端点（x_max, y_max）の座標を示すものである。物体検出処理部１２の物体検出用学習モデルは、ステップＳ１３により上記クラス情報に含まれる物体ごとにバウンディングボックス情報を出力する。

物体検出処理部１２は、上記物体検出用の学習モデルから出力された上記クラス情報とバウンディングボックス情報とからなる物体検出情報を、ステップＳ１４により特定区間判定処理部１４へ出力する。

なお、人物の時系列的な整合性を保つために、周知の人物トラッキング技術を用いて人物を識別する人物ＩＤを生成し、この人物ＩＤを上記物体検出情報に含めるようにしてもよい。人物トラッキング技術については、例えばK. Zhou et al. “Omni-Scale Feature Learning for Person Re-Identification.” ICCV2019.に詳しく記載されている。また、映像フレームから物体を検出する手法についても、周知の手法を用いることができる。

（３）距離情報の抽出
注目映像検出装置ＢＤの制御部１は、上記物体検出処理と並行して、距離情報検出処理部１３の制御の下、ステップＳ２において、上記映像フレームに写っている画像のカメラＣＭからの距離を画素（ピクセル）単位で抽出する処理を以下のように実行する。

図５は、距離情報検出処理部１３により実行される距離情報検出処理の処理手順と処理内容の一例を示すフローチャートである。

すなわち、距離情報検出処理部１３は、先ずステップＳ２１により映像データ記憶部３１から映像データをフレームごとに読み込む。そして、読み込まれた上記映像フレームを距離情報検出用の機械学習モデルに入力し、この学習モデルにより上記映像フレームに写っている画像のカメラＣＭからの画素毎の距離分布を表す情報を検出し出力する。

例えば、距離分布はデプスフレームＤにより表される。デプスフレームＤには、映像フレームＩのピクセルp(u, v)ごとに、対応するデプス情報d(u, v)が収容されている。ここで、p，dは映像フレーム上の各画素位置に対応するピクセル値とデプス値を返す関数であり、またu，vは映像フレーム上の画素位置を表す。

距離情報検出用の機械学習モデルは、ステップＳ２２において、入力された映像データに対応するデプスフレームＤを抽出し、抽出された上記デプスフレームＤを距離検出情報としてステップＳ２３により特定区間判定処理部１４へ出力する。

なお、カメラＣＭとしてデプスカメラ等が用いられている場合には、デプスフレームを上記デプスカメラから取得するようにしてもよい。但し、この場合、デプスカメラから取得されるデプスフレームは、映像フレームと時間的および空間的にアラインメントされている必要がある。

（４）特定区間の判定
注目映像検出装置ＢＤの制御部１は、次に特定区間判定処理部１４の制御の下、ステップＳ３において、上記物体検出情報および距離検出情報をもとに、映像フレーム中の指定された領域に指定された物体が写っている特定区間を判定する処理を、以下のように実行する。

図６Ａおよび図６Ｂは、特定区間判定処理部１４が実行する特定区間判定処理の処理手順と処理内容の一例を示すフローチャートである。

（４－１）指定領域と指定物体の検出
特定区間判定処理部１４は、先ず図６ＡのステップＳ３１１において、上記物体検出処理部１２および距離情報検出処理部１３からそれぞれ上記物体検出情報および上記距離検出情報を受け取る。また、ステップＳ３１２において、特定区間映像判定関連情報記憶部３２から特定区間映像判定関連情報を読み込む。

特定区間判定処理部１４は、次にステップＳ３１３において、上記物体検出情報を上記特定区間映像判定関連情報と照合し、特定区間映像判定関連情報で定義されている検出対象の指定領域に何らかの物体が写っているか否かを判定する。そして、指定領域に何らかの物体が写っていれば、当該指定領域を物体領域情報としてすべて抽出する。

続いて特定区間判定処理部１４は、ステップＳ３１４において、検出された上記複数の物体領域情報の中に人物が写っている物体領域情報があるか否かを判定し、該当する領域情報が存在しなければ処理を終了する。これに対し、人物が写っている物体領域情報が見つかった場合、特定区間判定処理部１４は次にステップＳ３１５により、上記人物が写っている物体領域情報の中に人物以外の物体がさらに写っている物体領域情報があるかどうかを判定し、該当する物体領域情報が存在しなければ処理を終了する。

一方、物体が写っている物体領域情報が検出されたとする。この場合、特定区間判定処理部１４は、ステップＳ３１６において、上記特定区間映像判定関連情報により検出対象として指定された物体とマッチする物体を含む指定物体領域情報を抽出する。

以上のステップＳ３１１～Ｓ３１６による一連の処理を行うことで、指定領域内に、人物が写っている人物領域が最低１つ存在し、かつ当該人物の作業対象となり得る指定物体が写っている物体領域が１つ以上存在する指定物体領域情報が検出される。

（４－２）距離に着目した特定区間映像の検出
次に特定区間判定処理部１４は、図６ＢのステップＳ３２１において、先にステップＳ３１１において受け取った距離検出情報から、指定物体領域情報に対応する距離検出情報を抽出する。つまり、指定領域内の、人物が写っている人物領域と、指定物体が写っている物体領域の各々に対応する距離検出情報を抽出する。ここで、上記人物領域および物体領域に対応する距離検出情報は、各領域のバウンディングボックスに対応するデプスフレームにデプス情報として含まれている。すなわち、上記人物領域および物体領域の各々に対応する距離検出情報は、バウンディングボックス（x_min, y_min, x_max, y_max）に対応するデプスフレームに含まれるデプス情報d(u, v)の集合となっている。

特定区間判定処理部１４は、続いてステップＳ３２２により、上記人物領域および物体領域の各々について、距離の平均を算出する。この平均距離は、バウンディングボックス（x_min, y_min, x_max, y_max）に対応するデプスフレームに含まれるデプス情報d(u, v)の集合の平均として算出される。

特定区間判定処理部１４は、続いてステップＳ３２３において、指定物体領域情報中のN 個の人物領域のリストH と、M 個の人物領域以外の物体領域のリストO をそれぞれ生成する。そして特定区間判定処理部１４は、ステップＳ３２４により、上記リストH に含まれる人物領域h_i のi をi=0 に初期化し、かつステップＳ３２５により、上記リストO に含まれる物体領域o_j のj をj=0 に初期化した後、ステップＳ３２６において、上記リストH に含まれる人物領域h_0 の平均距離と、上記リストO に含まれる物体領域o_0 の平均距離との差分Ｅを算出する。

特定区間判定処理部１４は、続いてステップＳ３２７において、算出された上記平均距離の差分Ｅを閾値Ｔと比較することで、平均距離の差分Ｅが閾値Ｔ以下であるか否かを判定する。この判定の結果、平均距離の差分Ｅが閾値Ｔ以下であれば、ステップＳ３２８により、上記人物領域h_0 と物体領域o_0 との組みとその平均距離差分Ｅを、特定区間映像情報に追加する。なお、平均距離の差分Ｅが閾値Ｔを超えている場合には、上記追加を行わずにステップＳ３２９へ移行する。

特定区間判定処理部１４は、続いてステップＳ３２９において、上記物体領域情報o_j のj をインクリメント（j+1）して次の物体領域情報o_1 を選択し、ステップＳ３２６に戻って上記物体領域o_1 の平均距離と人物領域h_0 の平均距離との差分Ｅを算出する。そして、ステップＳ３２７により、算出された上記差分Ｅが閾値Ｔ以下であるか否かを判定し、差分Ｅが閾値Ｔ以下であれば、上記人物領域情報h_0 と物体領域情報o_1 との組みとその平均距離差分Ｅを特定区間映像情報に追加し、差分Ｅが閾値Ｔを超えていれば追加しない。

特定区間判定処理部１４は、以後同様に、ステップＳ３２６～Ｓ３３０により、上記物体領域情報リストO に含まれるＭ個すべての物体領域o_j (j=2,…,M) と、人物領域h_0 との平均距離の差分Ｅを順次算出して、閾値Ｔと比較する処理を繰り返し実行する。そして、差分Ｅが閾値Ｔ以下となる物体領域o_j (j=2,…,M) と人物領域h_0 との組が見つかれば、この組をその平均距離差分Ｅと共に特定区間映像情報に追加する。

特定区間判定処理部１４は、次にステップＳ３３１により人物領域h_iのi の値をインクリメント（i+1）して次の人物領域h_1 を選択する。そして、ステップＳ３２５に戻って物体領域o_j のj を初期化した後、ステップＳ３２６により上記人物領域h_1 の平均距離と上記物体領域o_0 の平均距離との差分Ｅを算出し、ステップＳ３２７で当該差分Ｅが閾値Ｔ以下であるか否かを判定する。そして、差分Ｅが閾値Ｔ以下であれば、上記人物領域h_1と上記物体領域o_0 との組みと、その平均距離の差分Ｅを特定区間映像情報に追加する。

特定区間判定処理部１４は、以後同様に、上記人物領域h_1とM個すべての物体領域o_j (j=1,…,M)との各組み合わせについて、それぞれ平均距離の差分Ｅを算出して閾値Ｔと比較する処理を繰り返す。そして、平均距離の差分Ｅが閾値Ｔ以下となる人物領域h_1と上記物体領域o_j (j=1,…,M)との組み合わせが見つかれば、この組みとその平均距離の差分Ｅを特定区間映像情報に追加する。

すなわち、特定区間判定処理部１４は、ステップＳ３２５～Ｓ３３２により、N個すべての人物領域h_i (i=0,…,N) と、M個すべての物体領域o_j (j=0,…,M)とのすべての組み合わせについて、その平均距離の差分Ｅを算出して閾値Ｔと比較する処理を繰り返し実行する。そして、平均距離の差分Ｅが閾値Ｔ以下となる人物領域h_i (i=0,…,N) と物体領域o_j (j=0,…,M)との組み合わせが見つかると、この組を平均距離の差分Ｅと共に特定区間映像情報に追加する。

なお、以上の一連の処理において、人物領域h_i (i=0,…,N) と物体領域o_j (j=0,…,M)との間の平均距離の差分Ｅを用いて特定区間映像情報に加えるか否かを判定している理由は、平均距離の差分が小さい方が人物と物体とのインタラクションが発生している可能性が高いからである。

特定区間判定処理部１４は、最後にステップＳ３３３により、上記一連の処理により得られた特定区間映像情報を注目映像検出処理部１５へ出力する。

（５）注目映像の検出
注目映像検出装置ＢＤの制御部１は、次にステップＳ４において、注目映像検出処理部１５の制御の下、特定区間映像情報から注目映像を検出する処理を以下のように実行する。

図７は、注目映像検出処理部１５が実行する注目映像検出処理の処理手順と処理内容の一例を示すフローチャートである。

すなわち、注目映像検出処理部１５は、先ずステップＳ４１により上記特定区間判定処理部１４から特定区間映像情報を受け取る。次にステップＳ４２により注目映像検出関連情報記憶部３３から注目映像検出関連情報を読み込む。そして、注目映像検出処理部１５は、ステップＳ４３において、上記特定区間映像情報を上記注目映像検出関連情報により定義された検出ルールと照合し、当該検出ルールに該当する特定区間映像情報が存在するか否かを判定する。

例えば、いま注目映像検出関連情報において図８に示すような検出ルールが定義されていたとする。注目映像検出処理部１５は、特定区間映像情報に含まれる特定区間映像の各々について、その人物領域と物体領域との組合せと、その平均距離の差分が、上記検出ルールのいずれかに該当するか否かを判定する。この判定に際しては、人物領域と物体領域との間の映像フレーム上の距離も考慮される。なお、上記人物領域と物体領域との間の映像フレーム上の距離は、人物領域のバウンディングボックスの中心点と、物体領域のバウンディングボックスの中心点との間のユークリッド距離で表現される。

注目映像検出処理部１５は、上記判定の結果、上記検出ルールのいずれかに該当する特定区間映像が見つかると、ステップＳ４４において当該特定区間映像を注目映像として、入出力Ｉ／Ｆ部４から端末ＭＴへ出力する。一方、上記検出ルールのいずれにも該当しない特定区間映像は破棄される。

（作用・効果）
以上述べたように一実施形態では、カメラＣＭから取得した映像データのフレームごとに、当該映像フレームに写っている物体のクラスと位置を物体検出情報として検出すると共に、上記映像フレームに写っている画像の上記カメラＣＭからの距離分布を距離検出情報として検出する。そして、上記物体検出情報から、特定区間映像関連情報により検出対象として定義される指定領域に含まれる、人物とその作業対象となる物体とを含む物体領域情報をすべて検出し、さらに上記距離検出情報をもとに、上記各物体領域情報の中から人物と物体との間の平均距離の差分が閾値以下となる人物と物体との組を含む特定区間映像をすべて検出する。そして、検出された各特定区間映像の中から、注目映像検出関連情報により予め定義された検出ルールに該当する特定区間映像を検出し、検出された上記特定区間映像を注目映像として出力するようにしている。

従って、一実施形態によれば、検出対象として指定された人物とこの人物が作業対象とする周囲の物体とを含み、かつ上記人物と物体との間の距離が閾値以内に接近している映像が注目映像として検出される。この結果、上記注目映像をもとに人物の行動を解析する場合に、人物とその作業対象となる周囲の物体との間のインタラクションを考慮して、人物の行動を高精度に推定することが可能となる。

［その他の実施形態］
前記一実施形態では、人物とその作業対象となる周囲の物体との組を含む映像領域で、上記人物と周囲の物体との間の距離の差が閾値以下となる映像領域を注目映像とする場合を例にとって説明した。しかし、検出対象は人物と物体との組合せに限るものではなく、例えば監視対象の人物とこの人物と共同作業をする他の人物との組合せや、動物またはロボットと当該動物またはロボットと係わりがある周囲の物体との組合せを含む映像を注目映像として検出するようにしてもよい。

また、前記一実施形態では、人物と周囲の物体との間の距離の差が閾値以下となる映像を注目映像とする場合を例にとって説明したが、上記条件を満たす映像が予め設定された所定時間以上連続する場合に、当該映像を注目映像とするようにしてもよい。

また、前記一実施形態では、注目映像検出装置ＢＤの機能を、カメラＣＭおよび端末ＭＴとは独立して設けられるサーバコンピュータやパーソナルコンピュータ等の情報処理装置に備えた場合を例にとって説明した。しかし、この発明はそれに限らず、注目映像検出装置ＢＤの機能のすべてまたは一部を、カメラＣＭおよび端末ＭＴに備えるようにしてもよい。
その他、注目映像検出装置ＢＤの種類やその機能および処理手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

以上、この発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点においてこの発明の例示に過ぎない。この発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、この発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

ＢＤ…注目映像検出装置
ＣＭ…カメラ
ＭＴ…端末
１…制御部
２…プログラム記憶部
３…データ記憶部
４…入出力Ｉ／Ｆ部
５…バス
１１…映像データ取得処理部
１２…物体検出処理部
１３…距離情報検出処理部
１４…特定区間判定処理部
１５…注目映像検出処理部
３１…映像データ記憶部
３２…特定区間映像判定関連情報記憶部
３３…注目映像検出関連情報記憶部

Claims (5)

1. カメラにより撮像された映像データを取得する第１の処理部と、
   前記映像データの映像フレームから、物体と当該物体の前記映像フレーム中の位置を表す情報を含む物体検出情報を検出する第２の処理部と、
   前記映像データの前記映像フレームから、当該映像フレームに描画されている前記物体の画像の前記カメラからの距離分布を表すデプス情報を抽出し、抽出した前記デプス情報をもとに前記物体の前記カメラからの距離を算出することにより距離検出情報を得る第３の処理部と、
   前記物体検出情報および前記距離検出情報に基づいて、注目対象となる第１の物体と当該第１の物体の作業対象となる第２の物体とを含み、かつ前記第１の物体と前記第２の物体との間の前記カメラからの距離の差が所定値以下の関係を有する前記第１の物体と前記第２の物体との組合せと、その距離の差を表す情報とを含む特定映像領域を検出する第４の処理部と、
   前記特定映像領域に含まれる前記第１の物体と前記第２の物体との組合せと、その距離の差が、予め設定された検出条件を満たす前記特定映像領域を、注目映像として検出する第５の処理部と
   を具備する注目映像検出装置。
2. 前記第２の処理部は、前記物体の有無を表すクラス情報と、前記物体が存在する前記映像フレーム中の領域を表すバウンディングボックス情報とを、前記物体検出情報として出力する、請求項１に記載の注目映像検出装置。
3. 前記第１の物体は人物であり、前記第２の物体は前記人物の作業対象となる物体である、請求項１又は２に記載の注目映像検出装置。
4. 情報処理装置が行う注目映像検出方法であって、
   カメラにより撮像された映像データを取得する過程と、
   前記映像データの映像フレームから、物体と当該物体の前記映像フレーム中の位置を表す情報を含む物体検出情報を検出する過程と、
   前記映像データの前記映像フレームから、当該映像フレームに描画されている前記物体の画像の前記カメラからの距離分布を表すデプス情報を抽出し、抽出した前記デプス情報をもとに前記物体の前記カメラからの距離を算出することにより距離検出情報を得る過程と、
   前記物体検出情報および前記距離検出情報に基づいて、注目対象となる第１の物体と当該第１の物体の作業対象となる第２の物体とを含み、かつ前記第１の物体と前記第２の物体との間の前記カメラからの距離の差が所定値以下の関係を有する前記第１の物体と前記第２の物体との組合せと、その距離の差を表す情報とを含む特定映像領域を検出する過程と、
   前記特定映像領域に含まれる前記第１の物体と前記第２の物体との組合せと、その距離の差が、予め設定された検出条件を満たす前記特定映像領域を、注目映像として検出する過程と
   を具備する注目映像検出方法。
5. 請求項１乃至３のいずれかに記載の注目映像検出装置が具備する前記第１の処理部乃至前記第５の処理部の少なくとも１つが行う処理を、前記注目映像検出装置が備えるプロセッサに実行させるプログラム。

Images