JP6624877B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、カメラ映像から人物の領域を検出し、人物領域から服装の色や形といった特徴量を取得し、特徴量同士の比較により複数の映像中の人物が同一であるかどうかを判定する技術が知られている。特許文献１には、複数のカメラにおいて特徴量を取得する処理を行っておき、カメラ間で特徴量を比較することにより、同一人物か否かを同定する技術が開示されている。この技術により、各カメラの人物の追尾結果をつなぐことができるようになり、複数のカメラに跨る人物の追跡が実現できる。

特開２００９−２６５９２２号公報

しかしながら、例えば監視を目的とし、カメラを所定の位置に固定しておく場合、常に人物から安定した特徴を得るように撮影し続けることは難しい。例えば、人物が進行方向を急に変えるとカメラに対する被写体の向きが変わるため被写体ぶれが生じることがある。また、人物が進行方向を変えたことにより、背中に背負ったバックパックの色が急に見えるようになる等、異なる特徴が混ざり合ってしまうこともある。このような状況では、特徴量を用いた解析処理において精度の高い結果を得ることは難しいという問題があった。

本発明はこのような問題点に鑑みてなされたもので、被写体の特徴量を用いた解析処理の精度の向上を支援することを目的とする。

そこで、本発明は、情報処理装置であって、撮影手段により撮影された撮影画像内の被写体を追尾する追尾手段と、前記追尾手段の追尾結果に基づいて、安定した特徴量の抽出し易さの指標である安定度を算出する算出手段と、前記算出手段が算出した前記安定度に基づいて、前記撮影画像内における安定度分布を算出する分布算出手段と、前記分布算出手段が算出した前記安定度分布に基づいて、前記撮影画像が前記被写体の特徴量に基づいた解析処理に適しているか否かを判定する判定手段と、前記判定手段による判定結果に応じた情報を出力するよう制御する出力制御手段とを有することを特徴とする。

本発明によれば、被写体の特徴量を用いた解析処理の精度の向上を支援することができる。

撮影システムの全体図である。 情報処理装置のハードウェア構成を示す図である。 情報処理装置のソフトウェア構成を示す図である。 安定度分布算出処理を示すフローチャートである。 安定度分布算出処理の説明図である。 同定処理を示すフローチャートである。 通知情報の表示例を示す図である。 同定結果の表示例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

図１は、本実施形態に係る撮影システム１０の全体図である。撮影システム１０は、情報処理装置１００と、複数の撮像装置１１０とを有している。なお、図１においては、３台の撮像装置１１０を示しているが、撮影システム１０が備える撮像装置１１０の数は、実施形態に限定されるものではない。情報処理装置１００及び各撮像装置１１０は、ネットワーク１２０を介して接続されている。各撮像装置１１０は、撮影部を有し、撮影部により撮影された撮影画像を情報処理装置１００に送信する。なお、本実施形態においては、撮影画像は、動画（映像）であるものとする。

情報処理装置１００は、撮像装置１１０により得られた撮影画像から被写体の特徴量を抽出し、複数の撮像装置１１０それぞれにより得られた各撮影画像において、特徴量を基に被写体を同定する。被写体の同定処理は、特徴量に基づく撮影画像の解析処理の一例である。本実施形態においは、解析処理として同定処理を例に説明するが、解析処理は、特徴量に基づく処理であればよく、同定処理に限定されるものではない。また、本実施形態においては、同定対象の被写体を人物とするが、同定対象は人物に限定されるものではなく、車等人物以外であってもよい。

図２は、情報処理装置１００のハードウェア構成を示す図である。ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されたプログラムに従って命令を実行する。ＲＯＭ２０２は、不揮発性メモリであり、情報処理装置１００の制御に必要なプログラムやデータを格納する。ＲＡＭ２０３は、揮発性メモリであり、フレーム画像データやパターン判別結果等の一時的なデータを記憶する。２次記憶装置２０４は、ハードディスクドライブやフラッシュメモリー等の書き換え可能な２次記憶装置であり、画像情報や画像処理プログラム、各種設定内容等を記憶する。なお、後述する情報処理装置１００の機能や処理は、ＣＰＵ２０１がＲＯＭ２０２又は２次記憶装置２０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

入力装置２０５は、キーボードやマウス等であり、ユーザからの入力を可能とするものである。表示装置２０６は、ブラウン管ＣＲＴや液晶ディスプレイ等であり、ユーザに対して処理結果等を表示するものである。ネットワークＩ／Ｆ２０７は、インターネットやイントラネット等のネットワークと接続を行うモデムやＬＡＮ等である。バス２０８は、これらを接続して相互にデータの入出力を行う。

図３は、情報処理装置１００のソフトウェア構成を示す図である。被写体検出部３０１は、撮像装置１１０により撮影されネットワークＩ／Ｆ２０７を介して受信した映像から、被写体の領域を検出する。追尾部３０２は、被写体検出部３０１により検出された、処理対象のフレーム画像における被写体領域を、処理対象のフレーム画像よりも前に撮影されたフレーム画像において検出された被写体領域と関連付ける。追尾部３０２は、このように複数のフレーム画像の被写体領域を関連付けることにより、検出された所定の被写体を撮影画像中で追尾する。これにより、追尾部３０２は、撮影画像中の被写体の追尾結果を示す軌跡情報を求めることができる。すなわち、軌跡情報は、被写体が画面内でどのように移動しているかを表す情報である。

特徴抽出部３０３は、被写体検出部３０１により検出された被写体領域から特徴量を抽出する。被写体の特徴量としては、色・エッジ・テクスチャ、服の色、髪の色、顔の器官の形状、身長、サングラスの有無、髭の有無、鞄の所持の有無等といった情報がある。メタデータ生成部３０４は、追尾部３０２による処理結果として得られた軌跡情報と、特徴抽出部３０３による処理結果として得られた特徴量情報を、撮影画像のメタデータとして生成し、これをメタデータ記憶部３０５に記録する。なお、メタデータ記憶部３０５は、ＲＡＭ２０３又は２次記憶装置２０４である。メタデータ記憶部３０５において、メタデータは、撮影画像を撮影した撮像装置１１０の識別情報、すなわち装置ＩＤに対応付けて記録される。同定部３０６は、メタデータ記憶部３０５に記憶されている特徴量情報に基づいて、複数の撮像装置１１０それぞれにより撮影された撮影画像中の被写体を照合し、同定する。

安定度算出部３０７は、メタデータ記憶部３０５に記憶されている軌跡情報に基づいて、安定度を算出し、算出した安定度を安定度記憶部３０８に記録する。安定度算出部３０７は、ＲＡＭ２０３や２次記憶装置２０４等である。ここで、安定度とは、各撮像装置１１０により得られた撮影画像に対応する撮影範囲内の領域における、被写体の安定した特徴量の抽出し易さの指標値である。特徴量を適切に抽出できる可能性が高い場合には、安定度が高く、特徴量を適切に抽出できる可能性が低い場合には、安定度は低くなる。例えば、被写体としての人物が曲がり角で曲がるところを、撮像装置１１０が撮影するとする。この場合、曲り角では、被写体の角度が変化するため、これまで撮影画像に写っていた特徴量に相当する眼鏡等が写らなくなる可能性がある。このような場合には、安定度は低い値となる。また、移動速度が速い場合、被写体がぶれた画像となってしまい、特徴量を適切に抽出するのが難しい場合がある。このため、ある領域において、被写体の移動速度が速くなるような場合には、この領域の安定度は低い値となる。なお、安定度を算出する処理については、後に詳述する。

分布算出部３０９は、所定時間毎に、安定度算出部３０７により算出された安定度に基づいて、各撮像装置１１０の撮影画像の安定度分布を算出し、これを分布記憶部３１０に記録する。なお、分布記憶部３１０は、ＲＡＭ２０３又は２次記憶装置２０４である。安定度分布は、撮影画像内の各領域の安定度を示す情報である。安定度分布を算出する処理については後述する。判定部３１１は、安定度分布に基づき、撮影画像の各領域が被写体の特徴量に基づいた同定処理（解析処理）に適した領域か否かを判定する。

撮像制御部３１２は、撮像装置１１０の撮影条件を制御する。具体的には、判定部３１１は、撮像装置１１０の撮影条件としての制御パラメータを決定し、ネットワークＩ／Ｆ２０７を介して、撮像装置１１０に対し制御パラメータを送信する。ここで、制御パラメータは、パラメータ変更コマンド、撮像装置１１０が撮像する際のフレームレート、シャッタースピード、露出、パン・チルト・ズーム等である。なお、各撮像装置１１０は、情報処理装置１００から受信した制御パラメータに基づいて、撮像を行う。これにより、撮像装置１１０は、例えば撮像のフレームレートを１ｆｐｓ（1秒あたりのフレーム数）から３０ｆｐｓに変更することができる。

図４は、情報処理装置１００による安定度分布算出処理を示すフローチャートである。Ｓ４０１において、被写体検出部３０１は、各撮像装置１１０により撮像された撮影画像（映像）をフレーム画像の単位で取得する。ここで、各フレーム画像には、時間情報としてフレームＩＤが付与されているものとする。さらに、各フレーム画像には、対応する撮像装置１１０の装置ＩＤが付与されているものとする。

次に、Ｓ４０２において、被写体検出部３０１は、各フレーム画像から被写体を検出する。被写体を検出する処理の第１の例としては、予め背景のみが撮像された映像より背景モデルを生成しておき、これと入力映像との差分により検出する背景差分による方法が挙げられる。本処理については、以下の文献を参照することができる。

Ｓｔａｕｆｆｅｒ Ｃ， Ｇｒｉｍｓｏｎ Ｗ． Ｅ． Ｌ． Ａｄａｐｔｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ―ｔｉｍｅ ｔｒａｃｋｉｎｇ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ． １９９９ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （Ｃａｔ． Ｎｏ ＰＲ００１４９）． ＩＥＥＥ Ｃｏｍｐｕｔ． Ｓｏｃ． Ｐａｒｔ Ｖｏｌ． ２， １９９９

また、人物検出の第２の例としては、所定の大きさの検出ウィンドウを入力画像上で走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対し人物であるか否かの２クラス判別を行う方法が挙げられる。この判別では、アダブーストを使って多くの弱判別器を有効に組み合わせて判別器を構成し、判別精度を向上させる。また、この判別器を直列に繋ぎ、カスケード型の検出器を構成するようにしている。弱判別器はＨＯＧ特徴量で構成されている。そして、カスケード型の検出器は、まず前段の単純な判別器を使って明らかに被写体でないパターンの候補をその場で除去する。それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な判別器を使って人物かどうかの判別を行う。本処理については、以下の文献を参照することができる。

米国特許出願公開第２００７／０２３７３８７号明細書

なお、本実施形態においては、被写体は人物としているが、他の被写体についても適用可能である。例えば、被写体として車両を扱いたい場合は、第２の例の判別器を車両について作ればよい。

被写体検出部３０１は、被写体領域をフレーム画像の左上を原点とし、人物を囲む矩形の左上と右下の２点のｘ座標、ｙ座標で表す。被写体検出部３０１はさらに、人物に対応する画素を１、それ以外の画素を０で表したマスク画像を付与してもよい。マスク画像を利用することで、矩形で表現することによって含まれてしまう人物以外の画素と人物の画素を区別することができる。

次に、Ｓ４０３において、追尾部３０２は、一のフレーム画像を処理対象として選択する。以下、処理対象のフレーム画像を対象フレーム画像と称する。また、対象フレーム画像よりも前のフレーム画像を前フレーム画像と称する。追尾部３０２は、対象フレーム画像が前フレーム画像において検出された被写体のうちいずれの被写体に対応するものであるかを特定する追尾処理を行う。そして、追尾部３０２は、追尾処理の結果を軌跡情報として出力する。軌跡情報は、被写体毎の情報である。すなわち、軌跡情報は、被写体を識別する被写体ＩＤと、被写体を含むフレーム画像を識別するフレームＩＤと、フレーム画像における被写体の位置と、を含む情報である。なお、被写体の位置は、被写体領域の中心位置のｘ，ｙ座標を示す情報である。

追尾処理には様々な手法があるが、例えば前フレーム画像に含まれる被写体領域の中心位置と対象フレーム画像に含まれる被写体領域の中心位置が最短のものを対応付ける処理が挙げられる。この他にも、前フレーム画像の被写体領域を照合パターンとしたパターンマッチングによる手法等、フレーム間の被写体を対応付けることができればどのような手法であってもよい。

次に、Ｓ４０４において、特徴抽出部３０３は、対象フレーム画像の被写体領域から被写体の特徴量を抽出する。特徴抽出部３０３は、抽出した特徴量を、対象フレーム画像に対応する撮像装置１１０の装置ＩＤ、被写体ＩＤ及び被写体の位置に関連付けてメタデータ生成部３０４に出力する。特徴量としては、被写体領域内から抽出された色、輝度、エッジ等が挙げられる。

また、他の例としては、特徴抽出部３０３は、鞄、サングラス、髭の有無等、人間を特定可能な情報を特徴量として抽出してもよい。これらは、０から１の範囲の値で示される。鞄の有無であれば、０は鞄が無いことを示し、１は鞄が有ることを示す。画像のみから有無をはっきりと断定できない場合もあるため、０．５等中間の値も取り得る。抽出には、形状特徴であるＬＢＰ特徴量やＨＯＧ特徴量、或いは、ＧａｂｏｒフィルタやＳｃｈｍｉｄフィルタを用いて抽出したテクスチャ特徴を用いてもよい。例えば、鞄の有無であれば、鞄を所持した人物画像と鞄を所持しない人物画像を用いて、多数の正解付き画像を用いて、特徴量空間の中で正解に対応する特徴量とそうでない特徴量を識別する識別器を生成する。ここで正解付き画像とは、例えば、鞄の有無であれば、鞄を所持した人物画像か所持していない人物画像かを示す、ラベルが付与された画像である。識別器としてはサポートベクターマシーン（ＳＶＭ）等の手法が挙げられる。本処理については、以下の文献を参照することができる。

Ｒ． Ｌａｙｎｅ， Ｔ． Ｍ． Ｈｏｓｐｅｄａｌｅｓ， ａｎｄ Ｓ． Ｇｏｎｇ． "Ｔｏｗａｒｄｓ Ｐｅｒｓｏｎ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ Ｒｅ―ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ａｔｔｒｉｂｕｔｅｓ．" Ｉｎ Ｐｒｏｃ． ＥＣＣＶ， ２０１２

次に、Ｓ４０５において、メタデータ生成部３０４は、追尾部３０２により生成された軌跡情報及び特徴抽出部３０３により生成された特徴量に基づいて、メタデータを生成し、メタデータをメタデータ記憶部３０５に記録する。なお、情報処理装置１００は、入力装置２０５を介して、ユーザから終了指示を受け付けるまで、Ｓ４０１〜Ｓ４０５の処理を繰り返す。これにより、情報処理装置１００は、撮像装置１１０から継続して受信する撮影画像の各フレーム画像のメタデータの生成を続け、メタデータ記憶部３０５にメタデータを蓄積していく。

続いて、Ｓ４０６以降の処理により安定度分布を算出する。なお、情報処理装置１００は、Ｓ４０６以降の処理を、各撮像装置１１０について行うことにより、各撮像装置１１０の安定度分布を算出する。Ｓ４０６において、安定度算出部３０７は、メタデータ記憶部３０５から、処理対象の撮像装置１１０の軌跡情報を抽出し、軌跡情報に基づいて安定度を算出する（算出処理）。前述の通り、被写体が映像中で移動するのに従って特徴量を得ることができる安定度が変化する。その要因としては、被写体の移動方向の変化、被写体の移動速度が挙げられる。

被写体の移動方向の変化が大きければ大きいほど、撮像装置１１０に対する被写体の向きが大きく変化し、異なる特徴が混ざり合ってしまう。従って、移動方向の変化が大きいほど安定度が低くなるように定式化する。軌跡情報から同一の被写体ＩＤが付与された対象フレーム画像と前フレーム画像の被写体の位置座標からフレーム画像内で変化した角度を得ることができる。すなわち、安定度算出部３０７は、以下の式により、安定度を算出する。

１−ｔａｎ^-1（（Ｙ２−Ｙ１）／（Ｘ２−Ｘ１））／３６０

ここで、前フレーム画像の被写体の位置を（Ｘ１，Ｙ１）、対象フレーム画像の被写体の位置を（Ｘ２，Ｙ２）とする。また、安定度を０から１で表現し、１が最大であるとする。

また、他の方法として、予め撮像装置１１０をキャリブレーションしておくことにより、安定度算出部３０７は、撮像装置１１０内の座標を実空間の３次元座標に変換し、実空間上で計算してもよい。被写体の位置をグランドプレーン（床面）上の座標に変換することで、実空間での移動ベクトルを求めることができる。これに加え、実空間での撮像装置１１０から被写体へのベクトルも算出できるため、２つのベクトルの和を求めることで、より精度の高い角度変化を算出できる。

また、被写体の移動速度が大きいと、撮像時に被写体にぶれが生じ、被写体と背景の特徴が混ざり合ってしまう。従って、所定の速度以上であればぶれているものとして、安定度が０となるように定式化する。毎フレームの間隔は一定なので、画素数で表現したフレーム間の画面内の移動距離を速度とみなすことができる。即ち、安定度算出部３０７は、以下の式を満たす場合に安定度を０、それ以外は１として算出する。速度の閾値は、予め速度と被写体ぶれの関係から求めておく。

（Ｘ２−Ｘ１）²＋（Ｙ２−Ｙ１）²＞（速度の閾値）²

安定度算出部３０７は、上記２つの要因それぞれの安定度を算出し、最小の安定度を用いることとする。次に、Ｓ４０７において、安定度算出部３０７は、以上のように算出した安定度を、装置ＩＤ、フレームＩＤと、フレーム画像内の位置（対象フレーム画像内の被写体領域の中心位置座標）と関連付けて記憶部に記録する。

なお、安定度算出部３０７は、Ｓ４０６及びＳ４０７の処理を所定時間分のフレーム画像に対して行うことで、フレーム画像内の各位置に対し複数の安定度を安定度記憶部３０８に蓄積することができる。これにより、撮像装置１１０の撮像範囲を安定度の評価に十分な数の被写体が移動したと仮定できる。各被写体についてフレーム画像毎に算出された複数の安定度を撮影画像内の位置毎に集計することにより、被写体に依存した要素は希釈化され、環境（位置）に依存した安定度を求めることが期待できる。

図５（ａ）は、安定度算出処理（Ｓ４０６）の説明図である。撮影画像５００には、被写体５０１の他に、障害物５０３ａ，５０３ｂが撮影された画像である。所定期間に得られた撮影画像から、被写体の軌跡５０２ａ，５０２ｂが得られたとする。軌跡５０２ａは、撮像装置１１０に対して奥から手前に向かって被写体が歩いている軌跡である。軌跡５０２ｂは、障害物５０３ａ，５０３ｂによって通行が制限され、撮像装置１１０に対して奥から右方向に曲がって歩いている軌跡である。この場合、領域５１０においては、被写体の移動方向の変化は少なく、安定した特徴量の抽出ができる可能性が高い。これに対し、領域５１１付近は曲がり角に当たるため、被写体によらず、常に移動方向の変化量が大きくなる傾向にあり、安定した特徴量の抽出が行えない可能性が高い。

図４に戻り、分布記憶部３１０に所定時間分の安定度が蓄積されると、続いて、Ｓ４０８において、分布算出部３０９は、分布記憶部３１０に蓄積された安定度に基づいて、安定度分布を算出する。具体的には、まず分布算出部３０９は、処理対象の撮像装置１１０の装置ＩＤに対応付けられている所定時間分の安定度を読み出し、撮影画像内の位置毎の安定度を集計する。集計の方法としては、安定度を０．１毎のビンに分けてヒストグラムを取り、最頻の値を求める方法、中央値を求める方法等が挙げられる。なお、被写体が同じ位置を通過する可能性は低いため、例えばブロック状に画面を分割し、ブロック内の環境は同じであると見なして、ブロックごとに集計するようにしてもよい。

図５（ｂ）は、安定度分布算出処理（Ｓ４０８）の説明図である。図５（ｂ）に示すように、撮影画像５２０は、複数のブロック５２１に分割されている。また、ブロック毎に安定度の最頻値が算出されている。図５（ｂ）の各ブロック５２１に示す数値は、各ブロックの最頻値である。図５（ｂ）の撮影画像５２０は、図５（ａ）の撮影画像５００に対応しており、撮影画像５００の領域５１０に対応するブロックの最頻値が高い一方で、領域５１１に対応するブロックの最頻値が低いことがわかる。また、被写体の移動が観測できなかったブロックには、０から１の最頻値の値と異なる値（マイナスの値等）を付与することにより、観測できなかったことを識別可能としておく。

図４に戻り、Ｓ４０８の処理の後、Ｓ４０９において、分布算出部３０９は、算出した安定度分布を分布記憶部３１０に記録する。なお、分布記憶部３１０に既に安定度分布が記憶されている場合には、記憶済の安定度分布を今回得られた安定度分布で上書きする。これにより、所定時間毎に安定度分布が更新されることとなり、分布記憶部３１０は、時間的な環境変化に対応し、常に処理時点に近い安定度分布を常に記憶しておくことができる。情報処理装置１００は、前述の通り、Ｓ４０６〜Ｓ４０９の処理をすべての撮像装置１１０に対して行うことにより、すべての撮像装置１１０の安定度分布を記録する。さらに、情報処理装置１００は、前述の通り、安定度算出処理を定期的に繰り返すことにより、安定度分布を更新する。

図６は、同定処理を示すフローチャートである。ユーザは、同定対象の撮像装置１１０の装置ＩＤを入力装置２０５に入力する。これに対応し、Ｓ６０１において、判定部３１１は、ユーザによる撮像装置１１０の選択を受け付ける。具体的には、判定部３１１は、入力装置２０５を介して入力された。ユーザにより選択された撮像装置１１０の装置ＩＤを受け付ける。なお、Ｓ６０１においては選択される撮像装置１１０の数は、１つでもよく、複数でもよい。次に、Ｓ６０２において、判定部３１１は、分布記憶部３１０から、ユーザにより入力された装置ＩＤに対応付けられている安定度分布を特定する。

次に、Ｓ６０３において、判定部３１１は、安定度分布に基づいて、各領域の同定処理において各領域の適切さを判定する（判定処理）。具体的には、判定部３１１は、安定度が閾値以下のブロックを適切でない領域として求める。なお、閾値は０．４等任意の値であり、予めＲＯＭ２０２等に記憶されているものとする。次に、Ｓ６０４において、判定部３１１は、判定結果に応じた通知情報を生成する。そして、判定部３１１は、表示装置２０６に通知情報を表示するよう制御する。判定部３１１は、閾値以下のブロックが所定数以上ある場合には、「同定処理に適切でない領域を含みます」等ユーザに適切でない領域が含まれることを示す通知情報を表示するよう制御する。ユーザは、この判定結果を見て、対処するかどうかを判断することができる。また、判定部３１１は、有効な値が設定されているブロックすべてに対応する安定度が閾値以下である場合には、ユーザにより選択された撮像装置１１０による同定処理は利用できない旨を示す通知情報を表示するよう制御する。このように、判定部３１１は、撮影画像が解析処理に適するか否かを示す情報を通知情報として表示する。

また、他の例としては、判定部３１１は、安定度が閾値以下の領域を示す画像を通知情報として撮影画像（映像）に重畳表示するよう制御してもよい。なお、本実施形態においては、判定部３１１は、安定度が閾値以下のブロックの外接矩形の領域を安定度が閾値以下の領域として特定する。図７（ａ）に示す撮影画像７００においては、安定度が閾値以下の矩形領域を示す矩形画像７０１が通知情報として重畳表示されている。これにより、ユーザは、同定処理を適切に行うことができない可能性の高い領域を視覚的に把握することができる。

また、他の例としては、判定部３１１は、安定度が閾値よりも高い領域を示す画像を通知情報として撮影画像（映像）に重畳表示するよう制御してもよい。なお、本実施形態においては、判定部３１１は、安定度が閾値よりも高いブロックの外接矩形の領域を安定度が閾値よりも高い領域として特定する。図７（ｂ）の撮影画像７１０においては、安定度が閾値よりも大きい矩形領域を示す矩形画像７１１が通知情報として重畳表示されている。これにより、ユーザは、同定処理を適切に行うことができる可能性の高い領域を視覚的に把握することができる。

また、他の例としては、判定部３１１は、安定度が閾値以下のブロックが所定数以上ある場合には、安定度が閾値よりも大きい領域が撮影範囲となるように、パン、チルト、ズームするような撮影条件の変更を促す通知情報を表示するよう制御してもよい。なお、安定度が閾値以下の領域は、安定度が閾値以下のブロックの位置に基づいて定まる領域であればよく、実施形態に限定されるものではない。安定度が閾値よりも大きい領域についても同様である。

なお、Ｓ６０３の処理は、通知情報を出力するよう制御する出力制御処理の一例である。なお、通知情報の出力形態は表示に限定されるものではない。他の例としては、情報処理装置１００はスピーカを備え、スピーカから通知情報を音声出力してもよい。また、他の例としては、情報処理装置１００は、ネットワーク１２０を介して外部装置に通知情報を送信してもよい。

Ｓ６０４において表示された通知情報に応じて、ユーザは、必要に応じて入力装置２０５を介して撮影条件の変更指示を入力する。次に、Ｓ６０５において、撮像制御部３１２は、変更指示を受け付けたか否かを判定する（受付処理）。撮像制御部３１２は、変更指示を受け付けた場合には（Ｓ６０５でＹｅｓ）、処理をＳ６０６へ進める。撮像制御部３１２は、変更指示を受け付けなかった場合には（Ｓ６０５でＮｏ）、処理をＳ６０７へ進める。Ｓ６０６において、撮像制御部３１２は、変更指示に応じた制御パラメータを、ユーザにより選択された撮像装置１１０に送信する。撮像装置１１０は、制御パラメータを受信すると、制御パラメータの設定を変更し、変更後の制御パラメータによる撮影を開始する。

情報処理装置１００は、以上、Ｓ６０２〜Ｓ６０６の処理を、Ｓ６０１において選択されたすべての撮像装置１１０に対して行う。以上の処理により、同定処理に適した撮影条件となるように撮像装置１１０の画角・フレームレート・シャッタースピード等を適宜変更する。そして、準備完了後に、Ｓ６０７以降の同定処理を開始する。

Ｓ６０７において、同定部３０６は、準備完了後に得られたフレーム画像を処理対象とし、メタデータ記憶部３０５を参照し、処理対象のフレーム画像の特徴量に基づいて、複数の撮像装置１１０の撮影画像の被写体の同定処理（解析処理）を行う。同一被写体は、被写体間距離を所定の閾値と比較することによって推定できる。同定部３０６は、閾値以内の被写体距離であれば、同一被写体と判断する。被写体間距離としては、ユークリッド距離や、マハラノビス距離を予め学習しておく等の方法が挙げられる。なお、同定処理は、Ｓ６０１において選択されたすべての撮像装置１１０の組み合わせに対して行われる。

次に、Ｓ６０８において、同定部３０６は、同定結果を表示装置２０６に表示するよう制御する。図８は、同定結果の表示例を示す図である。図８に示す同定結果画面８００には、装置ＩＤ「１」、「２」の撮像装置１１０の撮影画像８１０，８２０が表示され、各撮影画像８１０，８２０の下には、フレーム画像ＩＤ８１１，８２１が表示されている。さらに撮影画像８１０，８２０には、装置ＩＤ８１２，８２２が重畳表示されている。また、各撮影画像８１０，８２０の被写体８１３，８２３が同一の被写体である場合に、図８に示すように、同一の被写体ＩＤ８１４，８２４が各撮影画像８１０，８２０に重畳表示される。さらに、同一の被写体であることを示す同一色の矩形画像８１５，８２５が、撮影画像８１０，８２０に重畳表示されている。なお、異なる被写体に対しては、異なる被写体ＩＤ、異なる色の矩形画像が重畳表示される。なお、同定部３０６は、同一の被写体が各撮影画像のどこに含まれているかをユーザが認識できるような画像を表示するよう制御すればよく、具体的な表示内容は実施形態に限定されるものではない。

次に、Ｓ６０９において、同定部３０６は、入力装置２０５を介してユーザから終了指示を受け付けたか否かを判定する。終了指示を受け付けない場合には（Ｓ６０９でＮｏ）、処理をＳ６０７へ進め、同定処理を継続し、終了指示を受け付けると（Ｓ６０９でＹｅｓ）、同定処理を終了する。

以上のように、本実施形態に係る撮影システム１０では、情報処理装置１００は、同定処理のように、被写体の特徴量を用いた解析処理の精度低下をユーザに通知することができる。したがって、ユーザは、解析処理に最適な撮影画像が得られているかどうかを事前に知ることができる。さらに、ユーザは、適宜撮影条件を調整する等の対応を行うことができる。これにより、結果として、情報処理装置１００は、被写体の特徴量を用いた解析処理の精度の向上を支援することができる。

本実施形態の第１の変更例としては、安定度算出部３０７は、移動速度に基づいて安定度を算出してもよい。この場合において、安定度が閾値未満のブロックが所定数以上ある場合には、判定部３１１は、撮像装置１１０のフレームレートを上げることを提案する通知情報を表示するよう制御してもよい。また、判定部３１１は、撮像装置１１０が撮影画像として静止画を撮影している場合には、シャッタースピードを上げることを提案する通知情報を表示するよう制御してもよい。なお、撮像装置１１０が撮影画像として静止画を撮影する場合には、撮像装置１１０は、定期的に静止画を撮影し、これを情報処理装置１００に送信する。そして、情報処理装置１００は、フレーム画像に替えて静止画を処理対象として、図４を参照しつつ説明した安定度分布算出処理及び図６を参照しつつ説明した同定処理を行えばよい。

また、第２の変更例としては、判定部３１１は、Ｓ６０４において、通知情報を表示するよう制御するのに替えて、または本処理に加えて、自動的に撮影条件を変更するよう撮像制御部３１２に指示してもよい。例えば、判定部３１１は、安定度が閾値よりも大きい領域が撮影範囲となるように、パン、チルト、ズームするような撮影条件に変更するよう撮像制御部３１２に指示してもよい。この場合、撮像制御部３１２は、指示に係る撮影条件（制御パラメータ）を、対応する撮像装置１１０に送信する。本処理は、撮影条件を変更するよう制御する変更制御処理の一例である。これに対し、撮像装置１１０は、制御パラメータを受信すると、受信した制御パラメータでの撮影を開始する。

また、第３の変更例としては、判定部３１１は、Ｓ６０４において、通知情報を表示するよう制御するのに替えて、または本処理に加えて、同定処理の対象領域を安定度が閾値以上の領域に変更してもよい（変更処理）。この場合、同定部３０６は、判定部３１１により決定された領域を処理対象とし、処理対象の領域において、同定処理を行う。

また、第４の変更例としては、本実施形態における情報処理装置１００の処理は、複数の装置の協働により実現されてもよい。例えば、第１の装置が安定度分布の算出までの処理を行い、第２の装置が第１の装置から安定度分布を受信し、これに基づいて、図６に示す同定処理を行うこととしてもよい。また、他の例としては、情報処理装置１００の処理の一部を撮像装置１１０が行ってもよい。例えば、撮像装置１１０は、被写体ＩＤや特徴量を含むメタデータの生成までの処理を行ってもよい。この場合、情報処理装置１００は、撮像装置１１０からメタデータを受信し、安定度の算出等の処理を行えばよい。

また、本発明の目的は、次の方法によって達成されるようにしてもよい。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部または全部を行うことも含まれる。

さらに、次の方法により、前述した実施形態の機能が実現される場合も含まれる。記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 情報処理装置
１１０ 撮像装置

Claims (19)

1. 撮影手段により撮影された撮影画像内の被写体を追尾する追尾手段と、
   前記追尾手段の追尾結果に基づいて、安定した特徴量の抽出し易さの指標である安定度を算出する算出手段と、
   前記算出手段が算出した前記安定度に基づいて、前記撮影画像内における安定度分布を算出する分布算出手段と、
   前記分布算出手段が算出した前記安定度分布に基づいて、前記撮影画像が前記被写体の特徴量に基づいた解析処理に適しているか否かを判定する判定手段と、
   前記判定手段による判定結果に応じた情報を出力するよう制御する出力制御手段と
   を有することを特徴とする情報処理装置。
2. 前記分布算出手段は、前記撮影画像を複数の領域に分割し、領域ごとの前記安定度に基づいて、前記安定度分布を算出し、
   前記判定手段は、前記安定度が閾値以下の前記領域の個数に基づいて前記撮影画像が前記解析処理に適しているか否かを判定することを特徴とする請求項１に記載の情報処理装置。
3. 前記判定手段は、前記安定度が閾値以下の前記領域の個数が所定数以上ある場合に、前記撮影画像が前記解析処理に適していないと判定することを特徴とする請求項２に記載の情報処理装置。
4. 前記判定手段は、前記安定度が閾値よりも大きいか否かに基づいて判定を行うことを特徴とする請求項２又は３に記載の情報処理装置。
5. 前記出力制御手段は、前記解析処理に適するか否かを示す情報を前記判定結果に応じた情報として出力するよう制御することを特徴とする請求項１乃至４何れか１項に記載の情報処理装置。
6. 前記出力制御手段は、前記解析処理に適する領域を示す情報を前記判定結果に応じた情報として出力するよう制御することを特徴とする請求項１乃至５何れか１項に記載の情報処理装置。
7. 前記出力制御手段は、前記解析処理に適さない領域を示す情報を前記判定結果に応じた情報として出力するよう制御することを特徴とする請求項１乃至６何れか１項に記載の情報処理装置。
8. 前記出力制御手段は、前記判定結果に応じて撮影範囲の変更を促す情報を前記判定結果に応じた情報として出力するよう制御することを特徴とする請求項１乃至７何れか１項に記載の情報処理装置。
9. ユーザから、前記撮影手段による撮影条件の変更指示を受け付ける受付手段と、
   前記変更指示に係る変更後の撮影条件に従い撮影された撮影画像に対し、前記解析処理を行う解析手段と
   をさらに有することを特徴とする請求項１乃至８何れか１項に記載の情報処理装置。
10. 前記算出手段は、前記被写体の移動方向の変化及び移動速度のうち少なくとも一方に基づいて、前記安定度を算出することを特徴とする請求項１乃至９何れか１項に記載の情報処理装置。
11. 前記撮影手段は、前記撮影画像として複数の静止画を撮影し、
    前記算出手段は、前記被写体の移動速度に基づいて、前記安定度を算出し、
    前記出力制御手段は、さらに前記撮影手段のシャッタースピードの変更を促す情報を前記判定結果に応じた情報として出力するよう制御することを特徴とする請求項１乃至１０何れか１項に記載の情報処理装置。
12. 前記撮影手段は、前記撮影画像として動画を撮影し、
    前記算出手段は、前記被写体の移動速度に基づいて、前記安定度を算出し、
    前記出力制御手段は、さらに前記撮影手段のフレームレートの変更を促す情報を前記判定結果に応じた情報として出力するよう制御することを特徴とする請求項１乃至１０何れか１項に記載の情報処理装置。
13. 前記追尾手段は、前記被写体の特徴量に基づいて、前記被写体を追尾することを特徴とする請求項１乃至１２何れか１項に記載の情報処理装置。
14. 撮影手段により撮影された撮影画像内の被写体を追尾する追尾手段と、
    前記追尾手段の追尾結果に基づいて、安定した特徴量の抽出し易さの指標である安定度を算出する算出手段と、
    前記算出手段が算出した前記安定度に基づいて、前記撮影画像内における安定度分布を算出する分布算出手段と、
    前記分布算出手段が算出した前記安定度分布に基づいて、前記撮影画像が前記被写体の特徴量に基づいた解析処理に適しているか否かを判定する判定手段と、
    前記判定手段による判定結果に基づいて、被写体の特徴量に基づく解析処理に用いる撮影画像を撮影する際の前記撮影手段の撮影条件を変更するよう制御する変更制御手段と
    を有することを特徴とする情報処理装置。
15. 撮影手段により撮影された撮影画像内の被写体を追尾する追尾手段と、
    前記追尾手段の追尾結果に基づいて、安定した特徴量の抽出し易さの指標である安定度を算出する算出手段と、
    前記算出手段が算出した前記安定度に基づいて、前記撮影画像内における安定度分布を算出する分布算出手段と、
    前記分布算出手段が算出した前記安定度分布に基づいて、前記撮影画像が前記被写体の特徴量に基づいた解析処理に適しているか否かを判定する判定手段と、
    前記判定手段による判定結果に基づいて、被写体の特徴量に基づく解析処理の対象領域を変更する変更手段と
    を有することを特徴とする情報処理装置。
16. 情報処理装置が実行する情報処理方法であって、
    撮影手段により撮影された撮影画像内の被写体を追尾する追尾ステップと、
    前記追尾ステップでの追尾結果に基づいて、安定した特徴量の抽出し易さの指標である安定度を算出する算出ステップと、
    前記算出ステップにて算出した前記安定度に基づいて、前記撮影画像内における安定度分布を算出する分布算出ステップと、
    前記分布算出ステップにて算出した前記安定度分布に基づいて、前記撮影画像が前記被写体の特徴量に基づいた解析処理に適しているか否かを判定する判定ステップと、
    前記判定ステップにおける判定結果に応じた情報を出力するよう制御する出力制御ステップと
    を含むことを特徴とする情報処理方法。
17. 情報処理装置が実行する情報処理方法であって、
    撮影手段により撮影された撮影画像内の被写体を追尾する追尾ステップと、
    前記追尾ステップでの追尾結果に基づいて、安定した特徴量の抽出し易さの指標である安定度を算出する算出ステップと、
    前記算出ステップにて算出した前記安定度に基づいて、前記撮影画像内における安定度分布を算出する分布算出ステップと、
    前記分布算出ステップにて算出した前記安定度分布に基づいて、前記撮影画像が前記被写体の特徴量に基づいた解析処理に適しているか否かを判定する判定ステップと、
    前記判定ステップにおける判定結果に基づいて、被写体の特徴量に基づく解析処理に用いる撮影画像を撮影する際の前記撮影手段の撮影条件を変更するよう制御する変更制御ステップと
    を含むことを特徴とする情報処理方法。
18. 情報処理装置が実行する情報処理方法であって、
    撮影手段により撮影された撮影画像内の被写体を追尾する追尾ステップと、
    前記追尾ステップでの追尾結果に基づいて、安定した特徴量の抽出し易さの指標である安定度を算出する算出ステップと、
    前記算出ステップにて算出した前記安定度に基づいて、前記撮影画像内における安定度分布を算出する分布算出ステップと、
    前記分布算出ステップにて算出した前記安定度分布に基づいて、前記撮影画像が前記被写体の特徴量に基づいた解析処理に適しているか否かを判定する判定ステップと、
    前記判定ステップにおける判定結果に基づいて、被写体の特徴量に基づく解析処理の対象領域を変更する変更ステップと
    を含むことを特徴とする情報処理方法。
19. コンピュータを、請求項１乃至１５何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images