JP4670010B2

JP4670010B2 - 移動体分布推定装置、移動体分布推定方法及び移動体分布推定プログラム

Info

Publication number: JP4670010B2
Application number: JP2005301231A
Authority: JP
Inventors: 章内海; 大丈山添; 信二鉄谷; 憲一保坂; 誠二猪木
Original assignee: ATR Advanced Telecommunications Research Institute International; National Institute of Information and Communications Technology
Current assignee: ATR Advanced Telecommunications Research Institute International; National Institute of Information and Communications Technology
Priority date: 2005-10-17
Filing date: 2005-10-17
Publication date: 2011-04-13
Anticipated expiration: 2025-10-17
Also published as: JP2007109126A

Description

本発明は、複数の撮影手段を用いて移動体の数及び分布を推定する移動体分布推定装置、移動体分布推定方法及び移動体分布推定プログラムに関するものである。

画像を用いて人の動きを検出する方法は、ユーザが検出装置を装着する必要がなく、非接触で検出できるため、ユーザへの負担を軽減することができ、また、不特定者の検出が可能となるため、応用範囲が広がる等の利点があるが、服装や照明条件といった環境条件の変化や歩行者同士のオクルージョン等のシーンに依存した要因により、検出処理が不安定となるという問題がある。

一方、複数のカメラを用いて撮影した多視点観測を利用する従来の多視点システムでは、オクルージョンを確実に減少させながら、広範囲の観測が可能となることから，多くの研究が行われている（例えば、非特許文献１参照）。
加藤博一他、「楕円体モデルを用いたリアルタイム人物追跡」、１９９９年、情処学論、４０（１１）、４０８７−４０９６

しかしながら、上記の多視点システムでは、必要とされる視点数が検出エリアの広さ及び人物の分布(人物間の距離)に応じて増加し、人物同士が極度に接近する場合には、視点数の増加によりオクルージョンの発生を完全に抑制することは困難となる。また、上記の多視点システムにおいて、背景差分又は動きベクトルを利用して各人物の位置を独立に検出する場合、人物間でオクルージョンが発生すると、各人物を分離できないため、位置検出処理が破綻する。

本発明の目的は、多数のオクルージョン領域を持つ複雑なシーンにおいても、移動体の数及び分布を高精度に推定することができる移動体分布推定装置、移動体分布推定方法及び移動体分布推定プログラムを提供することである。

また、本発明に係る移動体分布推定装置は、一の移動体のみが位置することが可能な大きさを有するＭ（Ｍは２以上の整数）個のブロックに分割された移動領域を移動する移動体を撮影する複数の撮影手段と、前記複数の撮影手段により撮影された複数の撮影画像から移動体のシルエットを表す複数の観測シルエット画像を作成する作成手段と、前記作成手段により作成された観測シルエット画像群に対して、各撮影手段のカメラ視点から各ブロック内に位置する移動体を撮影したと仮定したときに各撮影手段の画像座標系に投影されるモデル画像を当て嵌め、モデル選択基準に基づいて観測シルエット画像群に最も適した移動領域上の移動体の数及び分布を推定する推定手段とを備え、前記推定手段は、移動体の個数をゼロから１ずつ増加させ、移動体が存在するブロックを表す値を１からＭまで変化させながら観測シルエット画像群に対して各個数の移動体のモデル画像を当て嵌めて観測シルエット画像群の記述長を算出し、算出した記述長が低減していればモデル画像に基づき移動体が存在する全ブロックを表すブロックデータを更新し、記述長が低減しなくなったときの移動体の個数及びブロックデータを、最も適した移動領域上の移動体の数及び分布として推定するものである。

本発明に係る移動体分布推定装置においては、一の移動体のみが位置することが可能な大きさを有するＭ（Ｍは２以上の整数）個のブロックに分割された移動領域を移動する移動体が複数の撮影手段により撮影され、撮影された複数の撮影画像から移動体のシルエットを表す複数の観測シルエット画像が作成され、作成された観測シルエット画像群に対して、各撮影手段のカメラ視点から各ブロック内に位置する移動体を撮影したと仮定したときに各撮影手段の画像座標系に投影されるモデル画像が当て嵌められ、モデル選択基準に基づいて観測シルエット画像群に最も適した移動領域上の移動体の数及び分布が推定されるので、多数のオクルージョン領域を持つ複雑なシーンにおいても、移動体の数及び分布を高精度に推定することができる。

また、移動領域は、一の移動体のみが位置することが可能な大きさを有するＭ（Ｍは２以上の整数）個のブロックに分割されているため、一のブロック内に一の移動体のみが位置することとなり、移動領域を推定に適した大きさのブッロクに分割することができるので、移動体の数及び分布をより高精度に推定することができる。

また、前記推定手段は、移動体の個数をゼロから１ずつ増加させ、移動体が存在するブロックを表す値を１からＭまで変化させながら観測シルエット画像群に対して各個数の移動体のモデル画像を当て嵌めて観測シルエット画像群の記述長を算出し、算出した記述長が低減していればモデル画像に基づき移動体が存在する全ブロックを表すブロックデータを更新し、記述長が低減しなくなったときの移動体の個数及びブロックデータを、最も適した移動領域上の移動体の数及び分布として推定している。

したがって、移動体の個数をゼロから１ずつ増加させ、移動体が存在するブロックを表す値を１からＭまで変化させながら観測シルエット画像群に対して各個数の移動体のモデル画像を当て嵌めて観測シルエット画像群の記述長を算出し、算出した記述長が低減していればモデル画像に基づき移動体が存在する全ブロックを表すブロックデータを更新し、記述長が低減しなくなったときの移動体の個数及びブロックデータを、最も適した移動領域上の移動体の数及び分布として推定しているので、移動体の数及び分布推定処理の計算量の増大を避けることができ、移動体の数及び分布をより高速に推定することができる。

前記作成手段は、前記観測シルエット画像を２値化し、前記推定手段は、前記２値化された観測シルエット画像群に対して２値化されたモデル画像を当て嵌め、モデル選択基準に基づいて最も適した移動体の数及び分布を推定することが好ましい。

この場合、２値化された観測シルエット画像及びモデル画像を用い、モデル選択基準に基づいて最も適した移動体の数及び分布を推定しているので、移動体の数及び分布をさらに高速に推定することができ、リアルタイムに移動体の数及び分布を求めることができる。

前記推定手段は、前記２値化されたモデル画像の画素値に対して前記２値化された観測シルエット画像の画素値が反転している部分を観測誤差として観測シルエット画像群の記述長を算出し、算出した記述長が最も短くなる移動体の数及び分布を最も適した移動領域上の移動体の数及び分布として推定することが好ましい。

この場合、観測誤差を考慮して記述長が最も短くなる移動体の数及び分布を最も適した移動領域上の移動体の数及び分布として推定しているので、移動体の数及び分布をより高精度に推定することができる。

前記複数のモデル画像を予め記憶する記憶手段をさらに備え、前記推定手段は、前記記憶手段に記憶されているモデル画像を順次読み出し、読み出したモデル画像を前記観測シルエット画像群に対して順次当て嵌め、モデル選択基準に基づいて最も適した移動体の数及び分布を推定することが好ましい。

この場合、複数のモデル画像を作成する必要がなくなり、モデル画像の作成処理を省略することができるので、移動体の数及び分布をより高速に推定することができる。

前記複数のモデル画像は、移動体を異なるカメラ視点から撮影した複数の画像からモーフィング処理により作成されることが好ましい。この場合、少ない画像から任意のカメラ視点から撮影した画像を作成することができるので、モデル画像を容易に作成することができる。

本発明に係る移動体分布推定方法は、複数の撮影手段、作成手段及び推定手段を備える移動体分布推定装置を用いた移動体分布推定方法であって、前記複数の撮影手段が、一の移動体のみが位置することが可能な大きさを有するＭ（Ｍは２以上の整数）個のブロックに分割された移動領域を移動する移動体を撮影するステップと、前記作成手段が、前記複数の撮影手段により撮影された複数の撮影画像から移動体のシルエットを表す複数の観測シルエット画像を作成するステップと、前記推定手段が、前記作成手段により作成された観測シルエット画像群に対して、各撮影手段のカメラ視点から各ブロック内に位置する移動体を撮影したと仮定したときに各撮影手段の画像座標系に投影されるモデル画像を当て嵌め、モデル選択基準に基づいて最も適した移動領域上の移動体の数及び分布を推定するステップであって、前記推定手段が、移動体の個数をゼロから１ずつ増加させ、移動体が存在するブロックを表す値を１からＭまで変化させながら観測シルエット画像群に対して各個数の移動体のモデル画像を当て嵌めて観測シルエット画像群の記述長を算出し、算出した記述長が低減していればモデル画像に基づき移動体が存在する全ブロックを表すブロックデータを更新し、記述長が低減しなくなったときの移動体の個数及びブロックデータを、最も適した移動領域上の移動体の数及び分布として推定するステップとを含むものである。

本発明に係る移動体分布推定プログラムは、一の移動体のみが位置することが可能な大きさを有するＭ（Ｍは２以上の整数）個のブロックに分割された移動領域を移動する移動体を複数の撮影手段により撮影した複数の撮影画像から移動体のシルエットを表す複数の観測シルエット画像を作成する作成手段と、前記作成手段により作成された観測シルエット画像群に対して、各撮影手段のカメラ視点から各ブロック内に位置する移動体を撮影したと仮定したときに各撮影手段の画像座標系に投影されるモデル画像を当て嵌め、モデル選択基準に基づいて最も適した移動領域上の移動体の数及び分布を推定する推定手段であって、移動体の個数をゼロから１ずつ増加させ、移動体が存在するブロックを表す値を１からＭまで変化させながら観測シルエット画像群に対して各個数の移動体のモデル画像を当て嵌めて観測シルエット画像群の記述長を算出し、算出した記述長が低減していればモデル画像に基づき移動体が存在する全ブロックを表すブロックデータを更新し、記述長が低減しなくなったときの移動体の個数及びブロックデータを、最も適した移動領域上の移動体の数及び分布として推定する推定手段としてコンピュータを機能させるものである。

本発明によれば、撮影された複数の撮影画像から移動体のシルエットを表す複数の観測シルエット画像が作成され、作成された観測シルエット画像群に対して、各撮影手段のカメラ視点から各ブロック内に位置する移動体を撮影したと仮定したときに各撮影手段の画像座標系に投影されるモデル画像が当て嵌められ、モデル選択基準に基づいて観測シルエット画像群に最も適した移動領域上の移動体の数及び分布が推定されるので、多数のオクルージョン領域を持つ複雑なシーンにおいても、移動体の数及び分布を高精度に推定することができる。

以下、本発明の一実施の形態による移動体分布推定装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による移動体分布推定装置の構成を示すブロック図である。なお、以下の説明では、移動体として歩行者（人間）の分布及び数を推定する場合を例に説明するが、本発明が適用される移動体は、この例に特に限定されず、その形状が予めわかっているものであれば、種々の移動体に同様に適用することができる。

図１に示す移動体分布推定装置は、Ｋ台のカメラ１１〜１Ｋ（Ｋは２以上の整数）及び画像処理装置２０を備える。画像処理装置２０は、画像取得部２１、人物領域抽出部２２、観測ベクトル作成部２３、記述長算出部２４、分布推定部２５及び形状投影モデル記憶部２６を備える。

カメラ１１〜１Ｋは、複数のブロックに分割された移動領域となる空間、例えば、部屋又は廊下等の天井又は壁等の所定箇所に取り付けられ、移動領域を移動する一人又は複数の歩行者をカラー画像で撮影し、撮影した画像データをＬＡＮ等の所定のネットワークを介して画像取得部２１へ出力する。なお、カメラ１１〜１Ｋの内部パラメータ、位置及び姿勢は、予め手動で校正されている。また、カメラ１１〜１Ｋは、上記の例に特に限定されず、白黒画像、赤外線画像を撮影する種々の撮像装置を用いることができる。また、推定精度を考慮すると、カメラ１１〜１Ｋの台数は、３台以上であることが好ましく、４台以上であることがより好ましいが、１台のカメラのみを用いて推定することも可能である。

画像処理装置２０は、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、外部記憶装置、入力装置、画像インタフェース装置及び表示装置等を備える通常のコンピュータから構成され、後述する移動体分布推定処理を実行するための移動体分布処理プログラムをＣＰＵ等で実行することにより上記の各ブロックの機能が実現される。なお、画像処理装置２０の構成は、この例に特に限定されず、図示の各ブロックの機能を専用のハードウエア回路から構成したり、上記の各機能の一部又は全部を１台又は複数台のコンピュータを用いて実行するようにしてもよい。

形状投影モデル記憶部２６には、各カメラ１１〜１Ｋのカメラ視点から各ブロック内に位置する一人の歩行者を撮影したと仮定したときの画像を各カメラ１１〜１Ｋの画像座標系に投影したモデル画像である形状投影モデルが予め記憶されている。

ここで、形状投影モデルについて詳細に説明する。まず、カメラ投影モデルについて説明する。図２は、カメラ投影モデルを説明するための模式図である。

一般的なピンホールカメラモデルでは、空間中の３次元点（Ｘ，Ｙ，Ｚ）と対応する画像面上の像（ｘ，ｙ）との間には、次の関係が成り立つ。ここで、Ｓは画像面への投影を表す内部パラメータであり、Ｒ、ｔはそれぞれカメラの３次元姿勢及び位置を表す。

図２に示すように、観測画像は、単数又は複数の３次元人物形状が上式に従って画像面に投影されたものと考えられる。ここで、移動領域である床面をＭブロックに分割し、下式のように、ブロックｊに人が存在するか否かをｘ_ｊ（１≦ｊ≦Ｍ）で表す。

但し、１ブロックは二人以上が同時に入ることがない程度に十分小さい領域に設定している。このとき、移動領域内の歩行者の分布は、ｘ_ｊを要素とするＭ次元ベクトルＸとして下式のように表すことができる。

このシーンをカメラｋで観測して得た歩行者のシルエット像をＡ^ｋ、Ｎをシルエット画像の画素数とすると、下式が成り立つ。

図３は、シルエット画像と床面上の歩行者の分布との対応関係を示す模式図である。図３に示すように、以下の説明では、ＸとＡ^ｋとの関係を考え、特定のブロックｌのみに歩行者が存在する場合、その分布をＸ_ｌとすると、下式が成り立つ。

上記の分布をＸ_ｌに対して、画素ａ_ｌ，ｉ ^ｋが人物領域に属するか否かは、分布Ｘ_ｌだけでなく、歩行者の体格や姿勢にも依存するため、分布Ｘ_ｌに対してｉ番目の画素ａ_ｌ，ｉ ^ｋが１となる確率をｐ_ｌ，ｉ ^ｋとする。

実際に観測されるシルエット像では、さらに複数の人物像が重畳されていると考えられる。例えば、Ｌ個所（ｘ_ｌ１，…，ｘ_ｌＬ）に歩行者が存在する場合、カメラｋで観測して得た歩行者のシルエット像Ａ^ｋの画素ａ_ｉ ^ｋが１である確率ｐ_ｉ ^ｋは、画素ａ_ｉ ^ｋがいずれかの歩行者の人物領域に属する確率として次式で表される。

各画素の変化が互いに独立であるとすると、カメラｋで観測されるシルエット像の分布は、以下の確率画像として表すことができる。

任意のカメラ配置及び歩行者分布に対するシルエット像を生成するには、ポリゴンモデルなど３次元の幾何情報を含むモデルの利用も考えられるが、本実施の形態では、より簡便な方法として有限個の観測方向からのシルエット像を平均化したモデル生成用画像を作成し、これらを組合わせてモーフィング処理により任意方向に対するシルエット像を予め作成している。

図４は、モデル生成用画像の取得方法を説明するための模式図である。図４に示すように、ブルースクリーンＢＳを背景とし、直立姿勢にある１名の人間（男性、身長１７０ｃｍ)の位置及び向きを変化させながら、水平、斜め４５度上方及び真上の３種類の観測方向から撮影し、クロマキーを利用してそれぞれ７０〜１００枚のシルエット像を取得する。このとき、人間の位置は、床面上の約３０ｃｍ×３０ｃｍのエリア（１ブロック）内とし、多方向からの観測画像が含まれるよう人間を回転させながら、観測方向算出の基準高さを床面上８０ｃｍとし、画像を撮影する。

図５は、各観測方向における平均画像の一例を示す図である。図５の（ａ）は、水平方向（０度）から撮影した平均画像Ｐ_０、（ｂ）は、斜め４５度上方から撮影した平均画像Ｐ_４５、（ｃ）は、真上から撮影した平均画像Ｐ_９０を示している。これらの平均画像から任意の観測角度の投影像を生成するために、人物位置ＸＸ＝［ＸＹＺ］’、カメラ位置ＸＸ_Ｃ＝［Ｘ_ＣＹ_ＣＺ_Ｃ］’から、次式により算出される観測角θを利用する。

なお、Ｚ＝８０であり、カメラは常に水平方向よりも上方に位置するものとし、得られた観測角に応じて、０°＜θ＜４５°であれば、平均画像Ｐ_０、Ｐ_４５を、４５°＜θ＜９０°であれば、平均画像Ｐ_４５、Ｐ_９０をそれぞれ利用してモーフィングにより所定の投影シルエット画像を生成する。

図６は、投影シルエット画像の生成方法を説明するための模式図であり、図７は、投影シルエット画像の一例を示す図である。図６に示すように、モーフィングにより生成された画像ＭＩをカメラ画像面上に投影し、投影シルエット画像を得る。これにより、任意のカメラ配置及び歩行者分布に対する投影シルエット画像Ｐを生成することができ、例えば、図７に示すように、θ＝０、１５、３０、４５、６０、７５、９０（度）の各投影シルエット画像を生成することができる。

次に、下式のように、カメラｋにおけるＸ_ｌに対する投影シルエット画像を２値化し、２値化シルエット画像Ｂ_ｌ ^ｋを得る。

カメラＫ台分の２値化シルエット画像の集合Ｂは、以下のように定義される。

本実施の形態においては、予め全てのブロックｌに対して２値化シルエット画像の集合Ｂｌが予め計算され、歩行者の位置とシルエット像との関係をモデル化した形状投影モデルとして、２値化シルエット画像が形状投影モデル記憶部２６に予め記憶されており、Ｌ個所（ｘ_ｌ１，…，ｘ_ｌＬ）に人物が存在する場合の２値化シルエット画像Ｂは、（６）式を簡略化した次式により算出される。

なお、本実施の形態では、作成した形状投影モデルを形状投影モデル記憶部２６に予め記憶しているが、この例に特に限定されず、上記の平均画像を形状投影モデル記憶部２６に予め記憶し、記憶されている平均画像からモーフィング処理により移動体分布推定処理に使用する形状投影モデルを作成したり、移動体の３次元モデルを形状投影モデル記憶部２６に予め記憶し、記憶されている３次元モデルから移動体分布推定処理に使用する形状投影モデルを作成したりする等の種々の変更が可能である。

再び、図１を参照して、画像取得部２１は、カメラ１１〜１Ｋにより撮影された複数の画像データに撮影時刻情報を付加して人物領域抽出部２２へ出力する。人物領域抽出部２２は、フレーム間差分等の公知の人物領域抽出処理を実行して画像データから人間のシルエットを表す人物領域をシルエット領域として抽出し、シルエット領域を特定したシルエット画像を撮影時刻情報とともに観測ベクトル作成部２３へ出力する。観測ベクトル作成部２３は、シルエット領域を基にシルエット画像を人物領域と背景領域とに区分して２値化し、２値化シルエット画像を観測ベクトル（観測シルエット画像）として記述長算出部２４へ出力する。

ここで、観測ベクトルについて詳細に説明する。まず、カメラ１１〜１Ｋからのカラー画像の入力を仮定し、時刻ｔにカメラｋで得られるＮ画素からなる一枚の入力画像Ｃ_ｔ ^ｋを以下のように表す。

各画素ｃ_ｉ，ｔ ^ｋは、下式のように、Ｒ、Ｇ、Ｂの各画素値ｒ_ｉ，ｔ ^ｋ、ｇ_ｉ，ｔ ^ｋ、ｂ_ｉ，ｔ ^ｋから構成される。

計算を単純化するため、本実施の形態では、人物領域抽出部２２は、ある時間間隔内に大きく変化する画素を人物領域として抽出する。カメラｋに対する入力ベクトルＺ^ｋは、以下のように表される。

したがって、カメラＫ台分の観測ベクトルの集合Ｚ_ｔは、以下のように定義される。

記述長算出部２４は、歩行者数を順次増大させながら、形状投影モデル記憶部２６から形状投影モデルを読み出し、観測ベクトル作成部２３から出力される観測ベクトル（観測シルエット画像群）に形状投影モデルを当て嵌めて記述長を算出し、観測ベクトルの記述長が最も短くなる形状投影モデルを観測ベクトルに最も適した形状投影モデルとして決定する（記述長最小基準（ＭＤＬ：ＭｉｎｉｍｕｍＤｅｓｃｒｉｐｔｉｏｎＬｅｎｇｔｈ））。

ここで、記述長最小基準とは、観測データを記述する適切なモデルを決定するために提案されたモデル選択基準の一つであり、モデルの複雑さと入力データに関する当て嵌め誤差の双方を考慮してモデルが選択されるものである。この記述長最小基準は、画像処理及びコンピュータビジョンの分野でも、領域分割や曲線当て嵌め等において既に広く用いられており、本実施の形態では、移動領域となる平面（床面）を小ブロックに分割し、形状投影モデルを利用しながら、歩行者画像の解析に記述長最小基準を用い、歩行者の数及び分布を直接推定している。

また、実際には観測誤差により理想的な観測データが得られないため、本実施の形態では、以下のようにして、観測誤差を観測値が反転する現象としてモデル化し、観測誤差を考慮した記述を行っている。

まず、人物領域についてＺ_ｊ＝０となる確率をｑ、背景領域についてＺ_ｊ＝１となる確率をｒとすると、カメラｋにおいて観測ベクトルＺ_ｔ ^ｋが観測される確率Ｐ（Ｚ_ｔ ^ｋ｜Ｂ^ｋ）は以下のように計算できる。

このとき、モデル分布Ｂのもとで画像集合Ｚ_ｔが観測される確率は、下式で表される。

ここで、ｎ_ａ、ｎ_ｂ、ｎ_ｃ、ｎ_ｄは、それぞれ（ｂ＝１、ｚ＝１）、（ｂ＝１、ｚ＝０）、（ｂ＝０、ｚ＝１）、（ｂ＝０、ｚ＝０）となる画素の総数であり、以下のように表される。

結果として、入力ベクトルＺ_ｔの対数尤度は、以下のように表される。

一方、一般に、記述長最小基準は、Ｆをモデルの自由度、ｎをデータ数とすると、以下のように定式化される。

上式に対応する形状投影モデルの記述長Ｄ（Ｂ，Ｚｔ）は、ｈを歩行者数（ｈ＜＜Ｍ）とすると、式（２０）から、次式により計算できる。

なお、本発明に適用される統計的なモデル選択基準は、上記の例に特に限定されず、赤池の情報量基準（ＡＩＣ：ＡｋａｉｋｅＩｎｆｏｒｍａｔｉｏｎＣｒｉｔｅｒｉｏｎ）、ベイズ理論に基づく基準（ＢＩＣ：ＢａｙｓｉａｎＩｎｆｏｒｍａｔｉｏｎＣｒｉｔｅｒｉｏｎ）等の他のモデル選択基準を用いてもよい。

分布推定部２５は、記述長算出部２４により決定された形状投影モデルに対応する各ブロックに人間が存在すると判定し、人間が存在するブロックの数を移動領域上の歩行者の数として推定し、人間が存在するブロックの位置を移動領域上の歩行者の分布として推定する。

本実施の形態では、カメラ１１〜１Ｋが撮影手段の一例に相当し、画像取得部２１、人物領域抽出部２２及び観測ベクトル作成部２３が作成手段の一例に相当し、記述長算出部２４及び分布推定部２５が推定手段の一例に相当し、形状投影モデル記憶部２６が記憶手段の一例に相当する。

次に、上記のように構成された移動体分布推定装置による移動体分布推定処理について説明する。図８は、図１に示す移動体分布推定装置による移動体分布推定処理を説明するためのフローチャートである。

まず、ステップＳ１において、カメラ１１〜１Ｋは、移動領域を移動する歩行者を撮影し、撮影した画像データを画像取得部２１へ出力し、画像取得部２１は、画像データを撮影時刻情報とともに人物領域抽出部２２へ出力する。

次に、ステップＳ２において、人物領域抽出部２２は、画像データから人間のシルエットを表す人物領域をシルエット領域として抽出し、シルエット領域を特定したシルエット画像を撮影時刻情報とともに観測ベクトル作成部２３へ出力する。

次に、ステップＳ３において、観測ベクトル作成部２３は、上記の式（１４）〜（１５）を用いて、シルエット画像を人物領域と背景領域とに２値化し、２値化シルエット画像を観測ベクトルとして記述長算出部２４へ出力する。

次に、ステップＳ４において、記述長算出部２４は、初期値として、歩行者数を表すｈを０に、最小記述長を表すＤ_ｍｉｎをＤ（０，Ｚ）に設定する。

次に、ステップＳ５において、記述長算出部２４は、ｆｌａｇを０に設定し、歩行者が存在するブロックを表すｌ_ｈ＋１を１からＭまで変化させながら、以下の処理を実行する。すなわち、記述長算出部２４は、形状投影モデル記憶部２６から該当する形状投影モデルを読み出し、Ｋ台のカメラ１１〜１Ｋの形状投影モデルの集合Ｂ＝Ｂ_ｌ１∪Ｂ_ｌ２∪…∪Ｂ_ｌｈ＋１を算出し、算出した形状投影モデルの集合ＢとＫ台のカメラ１１〜１Ｋの観測ベクトルＺとを用いて、不等式Ｄ（Ｂ，Ｚ）＋（（ｈ＋１）／２）（ｌｏｇＭ）＜Ｄ_ｍｉｎを満たすか否かを判定し、この不等式を満たす場合、すなわち記述長が低減している場合、Ｄ_ｍｉｎをＤ_ｍｉｎ＝Ｄ（Ｂ，Ｚ）＋（（ｈ＋１）／２）（ｌｏｇＢ）に更新するとともに、ｆｌａｇをｆｌａｇ＝１に更新し、分布推定部２５は、人間が存在する全ブロックを表すａｎｓをａｎｓ＝［ｌ_１ｌ_２ … ｌ_ｈ＋１］’に更新する。

次に、ステップＳ６において、記述長算出部２４は、ｆｌａｇ＝１であるか否か判断し、ｆｌａｇ＝１の場合、すなわち記述長が低減している場合は、ステップＳ７において、歩行者数を表すｈをｈ＝ｈ＋ｆｌａｇに更新することにより歩行者の人数を増加させてステップＳ５以降の処理を繰り返し、ｆｌａｇ＝１でない場合、すなわち記述長が低減していない場合は、処理をステップＳ８へ移行する。

記述長が低減していない場合、ステップＳ８において、分布推定部２５は、現在のａｎｓ＝［ｌ_１ｌ_２ … ｌ_ｈ＋１］’を基に、ブロックｌ_１、ｌ_２、…、ｌ_ｈ＋１に歩行者が存在すると判断し、歩行者の数及び分布を推定する。その後、ステップＳ１に戻り、次フレームの画像データを取得し、フレーム単位で上記の処理を継続し、入力画像群に適合するシーン内の人物位置を探索する。

上記の処理により、本実施の形態では、撮影された複数の画像データから歩行者のシルエットを表す複数の２値化シルエット画像が観測ベクトルとして作成され、歩行者数を順次増加させながら、２値化された複数の観測ベクトルと、２値化された形状投影モデルの集合とを用いて記述長最小基準が算出され、記述長最小基準が低減しなくなるまで探索が行われ、このときの形状投影モデルに対応するブロックに歩行者が存在すると判断して移動領域上の歩行者の数及び分布が推定されるので、歩行者の位置とシルエット画像との関係をモデル化した形状投影モデルに基づき、観測画像群の尤度が極大となる歩行者分布を推定することができ、多数のオクルージョン領域を持つ複雑なシーンにおいても、歩行者の数及び分布を高精度に且つリアルタイムに推定することができる。

また、上記の処理では、０人の場合から一人ずつ徐々に増加させながら、各歩行者の位置を確定させている。この場合、カメラ１１〜１Ｋから遠方に位置する複数の歩行者のシルエットにカメラ１１〜１Ｋに近い一人の歩行者のモデルが当てはまる等、処理が局所解に陥る可能性があるが、複数のカメラ１１〜１Ｋを用いた多視点で得られる画像群を同時に評価しているので、上記のように局所解に陥ることを抑制することができる。

次に、上記の移動体分布推定装置の推定精度について説明する。まず、形状投影モデルに基づいて得られるシミュレーション画像を用いて歩行者位置分布を推定した。歩行者の存在範囲は、床面上の３３０ｃｍ×３３０ｃｍの矩形領域とし、該当領域を１１×１１のブロックに分割し、１ブロックのサイズは、３０ｃｍ×３０ｃｍとした。歩行者は、これらブロックのいずれかに存在するものとした。

図９は、カメラの配置例を示す図である。図９に示すように、歩行者ＨＭの存在範囲の周囲に３台の仮想カメラＣＡを設置し、観測像を生成した。このカメラ配置は、後述の実画像観測における環境の制約を考慮し、極力多様な方向から観測可能な配置を選定した。

図１０は、３名の歩行者に対する生成画像の例を示す図である。図１０に示す例は、３名の歩行者が座標（ｘ，ｙ）＝（０，６０）、（ｘ，ｙ）＝（２１０，２１０）、（ｘ，ｙ）＝（２４０，１８０）の３箇所に存在する場合の生成画像である。この例では、全てのカメラの観測において、２人目と３人目の歩行者間でオクルージョンが生じている。この画像を入力として、図１に示す移動体分布推定装置により歩行者の位置分布を推定した。

図１１は、歩行者の位置分布を推定した結果を示す図である。図中、◇印は歩行者の配置を、＋印は位置推定結果をそれぞれ示している。図１１から、このときの推定歩行者数は３名であり、推定結果と一致し、また、歩行者の分布についても、全歩行者について正しい推定結果が得られていることがわかる。

次に、ランダムな位置に仮想的に歩行者を配置し、繰り返し推定を行うことにより図１に示す移動体分布推定装置の安定性を調べた。この例では、歩行者数を１人、２人、３人、４人、５人と変化させながら、上記の例と同様に３３０ｃｍ×３３０ｃｍの範囲内に歩行者を配置し、３台の仮想カメラに対する投影像を各人数１０組ずつ生成した。歩行者の位置は、床面を３０ｃｍ×３０ｃｍに区切った格子点上とし、実画像における歩行者同士の物理的な干渉を考慮し、複数の歩行者が隣り合う格子点に位置しないという条件でランダムに選択し、歩行者の分布を推定した。

図１２は、歩行者の数の推定結果を示す図であり、図１３は、図１２に示す推定結果の平均及び標準偏差を示す図であり、図１４は、各推定位置に最も近い真値の位置までの距離を計算したときの歩行者の位置分布推定誤差を示す図であり、図１５は、図１４に示す位置分布推定誤差のＸ位置及びＹ位置の平均及び標準偏差を示す図である。図１２乃至図１５から、一人の場合を除いて、推定人数に誤差は生じているものの、人数及び位置ともに、真値に近い推定値が得られていることがわかる。

次に、歩行者数を２人とし、２者間の距離を１〜５ブロック（３０〜１５０ｃｍ）のいずれかに固定した上で、歩行者の位置をランダムに選択し、各１０回の推定を行った。図１６は、歩行者の位置分布推定誤差を示す図であり、図１７は、図１６に示す位置分布推定誤差のＸ位置及びＹ位置の平均及び標準偏差を示す図である。距離が２ブロック以下の場合、多くの観測についてオクルージョンが生じるが、図１６及び図１７から、図１に示す移動体分布推定装置では、その場合も問題なく、位置及び分布が推定できていることがわかる。

次に、カメラ数と推定精度との関係を示すため、歩行者数５人の場合について、観測に用いるカメラを１〜３台に変化させ、上記と同様に各１０回の推定を行った。図１８は、カメラ数に対する歩行者の数の推定結果を示す図であり、図１９は、図１８に示す推定結果の平均及び標準偏差を示す図であり、図２０は、カメラ数に対する歩行者の位置分布推定誤差を示す図であり、図２１は、図２０に示す位置分布推定誤差のＸ位置及びＹ位置の平均及び標準偏差を示す図である。

図１８乃至図２１から、この例では、カメラ２台と３台とでは、推定結果に差がないものが、カメラ数を１とすると推定精度が悪化していることがわかる。この結果は、多人数時における多視点観測の効果を示しており、この傾向は、歩行者数の増加に伴い、より顕著になる。

次に、実際に３台のカメラ１１〜１３を用いて歩行者を撮影した観測画像を用いて推定を行った。この例では、人数を１人、２人、３人、４人、５人と変化させながら、上記の各例と同様に３３０ｃｍ×３３０ｃｍの範囲内に歩行者を配置し、３台のカメラ１１〜１３によって各人数１０組の画像を撮影し、予め無人状態で撮影した画像との差分処理によりシルエット像を得た。

図２２は、観測画像の一例を示す図である。このときのカメラ配置及び歩行者の配置は、図１２及び図１３の例と同一とした。ここで、歩行者の内訳は、男性４名（身長１８３ｃｍ、１７８ｃｍ、１７６ｃｍ、１７０ｃｍ）、女性１名（身長１６５ｃｍ)である。

図２３は、歩行者の数の推定結果を示す図であり、図２４は、図２３に示す推定結果の平均及び標準偏差を示す図であり、図２５は、各推定位置に最も近い真値の位置までの距離を計算したときの歩行者の位置分布推定誤差を示す図であり、図２６は、図２５に示す位置分布推定誤差のＸ位置及びＹ位置の平均及び標準偏差を示す図である。

図２３乃至図２６から、実写画像に対して、位置で±８０ｃｍ未満、人数で±１名以下という精度で推定が行えていることがわかる。一方、人数の増加に伴って誤差が増加していることに加え、図１２及び図１３の結果に比べても、推定精度が悪化している。この要因としては、シルエット観測自体のノイズに加え、歩行者間のオクルージョン、姿勢及び体格の違い、着衣形状の違い等が考えられる。したがって、本実施の形態では、歩行者の直立姿勢についてのみモデル化したが、複数の異なる姿勢ごとに形状投影モデルを作成し、歩行者の姿勢を検出した後に、検出した姿勢の形状投影モデルを用いて歩行者の数及び分布を推定するようにしてもよい。

最後に、図１に示す移動体分布推定装置を用いてシーン内を移動する歩行者の位置を連続的に推定した。図２７は、シーン内を移動する歩行者の位置を連続的に推定した結果を示す図であり、図２８は、図２７に示す例に使用した観測画像の一例を示す図である。

本例では、歩行者に図２７に示す破線上の軌跡を辿るように教示し、観測画像に対して式（１４）に示した差分処理によりシルエット像を得た。図２７中の＋印は、各時刻における推定位置を示している。図２７に示すように、位置推定結果と教示したコースとの平均距離は、８．５９ｃｍ（距離分布の標準偏差１１．６ｃｍ）という精度が得られた。この結果、本実施の形態では、連続的な運動に対しても、その位置を推定できることがわかる。

なお、本例では、教示コースの上辺（Ｙ＝３００）上の８箇所（Ｘ＝３０、６０、…、２４０）以外では、教示コースはブロックの中心と一致していない。本実施の形態では、モデル生成時に仮定したブロック単位で入力画像に尤も適合する歩行者分布が選択されるため、ブロックの大きさよりも細かな位置の変動を推定することはできない。このため、ブロック境界付近に存在する歩行者は、その周辺のいずれかのブロックに存在するものとして推定される。図２７の追跡結果では、教示コースの周辺ブロックに推定位置が得られており、上記状況を示しているといえる。

上記の各例により、歩行者の数及び分布の推定における本実施の形態の有効性が確認された。なお、上記の各例では、画像サイズを全て８０×６０画素とし、一般的なパーソナルコンピュータ４台で並列処理した場合の処理速度は、３〜１０フレーム／秒であった。

本発明の一実施の形態による移動体分布推定装置の構成を示すブロック図である。カメラ投影モデルを説明するための模式図である。シルエット画像と床面上の歩行者の分布との対応関係を示す模式図である。モデル生成用画像の取得方法を説明するための模式図である。各観測方向における平均画像の一例を示す図である。投影シルエット画像の生成方法を説明するための模式図である。投影シルエット画像の一例を示す図である。図１に示す移動体分布推定装置による移動体分布推定処理を説明するためのフローチャートである。カメラの配置例を示す図である。３名の歩行者に対する生成画像の例を示す図である。歩行者の位置分布を推定した結果を示す図である。歩行者の数の推定結果を示す図である。図１２に示す推定結果の平均及び標準偏差を示す図である。各推定位置に最も近い真値の位置までの距離を計算したときの歩行者の位置分布推定誤差を示す図である。図１４に示す位置分布推定誤差のＸ位置及びＹ位置の平均及び標準偏差を示す図である。歩行者の位置分布推定誤差を示す図である。図１６に示す位置分布推定誤差のＸ位置及びＹ位置の平均及び標準偏差を示す図である。カメラ数に対する歩行者の数の推定結果を示す図である。図１８に示す推定結果の平均及び標準偏差を示す図である。カメラ数に対する歩行者の位置分布推定誤差を示す図である。図２０に示す位置分布推定誤差のＸ位置及びＹ位置の平均及び標準偏差を示す図である。観測画像の一例を示す図である。歩行者の数の推定結果を示す図である。図２３に示す推定結果の平均及び標準偏差を示す図である。各推定位置に最も近い真値の位置までの距離を計算したときの歩行者の位置分布推定誤差を示す図である。図２５に示す位置分布推定誤差のＸ位置及びＹ位置の平均及び標準偏差を示す図である。シーン内を移動する歩行者の位置を連続的に推定した結果を示す図である。図２７に示す例に使用した観測画像の一例を示す図である。

符号の説明

１１〜１Ｋカメラ
２０画像処理装置
２１画像取得部
２２人物領域抽出部
２３観測ベクトル作成部
２４記述長算出部
２５分布推定部
２６形状投影モデル記憶部

Claims

一の移動体のみが位置することが可能な大きさを有するＭ（Ｍは２以上の整数）個のブロックに分割された移動領域を移動する移動体を撮影する複数の撮影手段と、
前記複数の撮影手段により撮影された複数の撮影画像から移動体のシルエットを表す複数の観測シルエット画像を作成する作成手段と、
前記作成手段により作成された観測シルエット画像群に対して、各撮影手段のカメラ視点から各ブロック内に位置する移動体を撮影したと仮定したときに各撮影手段の画像座標系に投影されるモデル画像を当て嵌め、モデル選択基準に基づいて観測シルエット画像群に最も適した移動領域上の移動体の数及び分布を推定する推定手段とを備え、
前記推定手段は、移動体の個数をゼロから１ずつ増加させ、移動体が存在するブロックを表す値を１からＭまで変化させながら観測シルエット画像群に対して各個数の移動体のモデル画像を当て嵌めて観測シルエット画像群の記述長を算出し、算出した記述長が低減していればモデル画像に基づき移動体が存在する全ブロックを表すブロックデータを更新し、記述長が低減しなくなったときの移動体の個数及びブロックデータを、最も適した移動領域上の移動体の数及び分布として推定することを特徴とする移動体分布推定装置。
前記作成手段は、前記観測シルエット画像を２値化し、
前記推定手段は、前記２値化された観測シルエット画像群に対して２値化されたモデル画像を当て嵌め、モデル選択基準に基づいて最も適した移動体の数及び分布を推定することを特徴とする請求項１に記載の移動体分布推定装置。
前記推定手段は、前記２値化されたモデル画像の画素値に対して前記２値化された観測シルエット画像の画素値が反転している部分を観測誤差として観測シルエット画像群の記述長を算出し、算出した記述長が最も短くなる移動体の数及び分布を最も適した移動領域上の移動体の数及び分布として推定することを特徴とする請求項２記載の移動体分布推定装置。
前記複数のモデル画像を予め記憶する記憶手段をさらに備え、
前記推定手段は、前記記憶手段に記憶されているモデル画像を順次読み出し、読み出したモデル画像を前記観測シルエット画像群に対して順次当て嵌め、モデル選択基準に基づいて最も適した移動体の数及び分布を推定することを特徴とする請求項１〜３のいずれかに記載の移動体分布推定装置。
前記複数のモデル画像は、移動体を異なるカメラ視点から撮影した複数の画像からモーフィング処理により作成されることを特徴とする請求項１〜４のいずれかに記載の移動体分布推定装置。
複数の撮影手段、作成手段及び推定手段を備える移動体分布推定装置を用いた移動体分布推定方法であって、
前記複数の撮影手段が、一の移動体のみが位置することが可能な大きさを有するＭ（Ｍは２以上の整数）個のブロックに分割された移動領域を移動する移動体を撮影するステップと、
前記作成手段が、前記複数の撮影手段により撮影された複数の撮影画像から移動体のシルエットを表す複数の観測シルエット画像を作成するステップと、
前記推定手段が、前記作成手段により作成された観測シルエット画像群に対して、各撮影手段のカメラ視点から各ブロック内に位置する移動体を撮影したと仮定したときに各撮影手段の画像座標系に投影されるモデル画像を当て嵌め、モデル選択基準に基づいて最も適した移動領域上の移動体の数及び分布を推定するステップであって、前記推定手段が、移動体の個数をゼロから１ずつ増加させ、移動体が存在するブロックを表す値を１からＭまで変化させながら観測シルエット画像群に対して各個数の移動体のモデル画像を当て嵌めて観測シルエット画像群の記述長を算出し、算出した記述長が低減していればモデル画像に基づき移動体が存在する全ブロックを表すブロックデータを更新し、記述長が低減しなくなったときの移動体の個数及びブロックデータを、最も適した移動領域上の移動体の数及び分布として推定するステップとを含むことを特徴とする移動体分布推定方法。
一の移動体のみが位置することが可能な大きさを有するＭ（Ｍは２以上の整数）個のブロックに分割された移動領域を移動する移動体を複数の撮影手段により撮影した複数の撮影画像から移動体のシルエットを表す複数の観測シルエット画像を作成する作成手段と、
前記作成手段により作成された観測シルエット画像群に対して、各撮影手段のカメラ視点から各ブロック内に位置する移動体を撮影したと仮定したときに各撮影手段の画像座標系に投影されるモデル画像を当て嵌め、モデル選択基準に基づいて最も適した移動領域上の移動体の数及び分布を推定する推定手段であって、移動体の個数をゼロから１ずつ増加させ、移動体が存在するブロックを表す値を１からＭまで変化させながら観測シルエット画像群に対して各個数の移動体のモデル画像を当て嵌めて観測シルエット画像群の記述長を算出し、算出した記述長が低減していればモデル画像に基づき移動体が存在する全ブロックを表すブロックデータを更新し、記述長が低減しなくなったときの移動体の個数及びブロックデータを、最も適した移動領域上の移動体の数及び分布として推定する推定手段としてコンピュータを機能させることを特徴とする移動体分布推定プログラム。