JP6632142B2 - オブジェクト追跡装置、方法およびプログラム - Google Patents

Description

本発明は、奥行映像上でオブジェクトを追跡するオブジェクト追跡装置、方法およびプログラムに係り、特に、オクルージョンにかかわらず頑健かつ高精度のオブジェクト追跡を可能にするオブジェクト追跡装置、方法およびプログラムに関する。

監視カメラ映像や、スポーツ映像を対象としたオブジェクト追跡に関する手法がこれまでに数多く提案されている。これらのほとんどは、一定の撮影条件が満たされることを前提に、映像のカラー情報に基づく追跡を行っている。

一方、防犯やマーケティングの用途において、監視カメラ映像を用いた人物検出・追跡に関する需要が急速に高まっているが、解像度不足や照明条件の観点からカラー情報の利用が困難なケースが少なくない。また、プライバシーの観点から、人物を特定できてしまうカラー情報の利用が制限されており、代わりに人物を特定できない奥行映像のみからオブジェクト追跡を行う技術に対する期待が高まっている。

特許文献１には、奥行映像のフレーム間で各オブジェクトの位置、サイズおよび動きベクトルを比較し、オクルージョンの発生前後における各オブジェクトの位置、サイズおよび動きベクトルに基づいて各オブジェクトに同一IDを割り当てる技術が開示されている。

特許文献２には、奥行映像上で検知したオブジェクトの左右の各輪郭に沿ったオブジェクト曲線をそれぞれ抽出し、オクルージョンの発生前および解消後の各オブジェクトのオブジェクト曲線に基づいて各オブジェクトの対応関係を判定し、対応するオブジェクトに同一IDを割り当てる技術が開示されている。

特許文献３には、今回フレームで検知されたオブジェクトがオクルージョンにより生じた統合オブジェクトであると、この統合オブジェクトから前回フレームで検知されているオブジェクトに類似する部分を追跡対象のオブジェクトとして分割し、フレーム間で各オブジェクトをその類似度に基づいて追跡する技術が開示されている。

特願2014-198941号 特願2015-38594号 特願2016-62076号

S. Thrun, and A. Bucken, "Integrating grid-based and topological maps for mobile robot navigation," Proceedings of the Thirteenth National Conference on Artificial Intelligence, pp944-950, 1996. T. Bagautdinov, F. Fleuret, and P. Fua, "Probability Occupancy Maps for Occluded Depth Images," IEEE CVPR 2015.

上記の各先行技術は、奥行映像から得られるデプス情報に基づいて各オブジェクトを検知するので、奥行カメラとオブジェクトとの距離が大きく、デプス情報の信頼性が低いためにオブジェクトを正確に検知できないと、オブジェクトの追跡精度が低下してしまう。

また、上記の各先行技術では、各オブジェクトを奥行カメラのカメラビューで得られるデプス情報のみに基づいて検知するので、奥行カメラと各オブジェクトとの相対的な位置関係により、カメラビューでの識別が難しいオブジェクトについては追跡精度が低下してしまう。

本発明の目的は、上記の技術課題を解決し、奥行カメラと各オブジェクトとの相対的な位置関係にかかわらず、各オブジェクトをオクルージョンにかかわらず頑健かつ精度良く追跡できるオブジェクト追跡装置、方法およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、オブジェクトをその奥行映像に基づいて追跡するオブジェクト追跡装置において以下のような構成を具備した点に特徴がある。
(1) オブジェクトを含む観察エリアを撮影してカメラビューの奥行映像を取得する奥行カメラと、奥行映像から各ピクセルがデプス値を有するデプス画像をフレーム単位で取得する手段と、カメラビューのデプス画像に基づいてオブジェクト同士のオクルージョンを検知する手段と、カメラビューのデプス画像に基づいて、当該カメラビューとは異なる複数の相互に異なる仮想ビューでの仮想デプス画像をそれぞれ算出する手段と、オブジェクト同士のオクルージョンが検知されると、デプス画像および各仮想デプス画像に基づいて各オブジェクトを識別する手段と、識別結果に基づいて各オブジェクトを追跡する手段と、追跡の結果を表示する手段とを具備した。
(2) カメラビューのデプス画像に基づいて、観察エリアのトップビュー、左サイドビューおよび右サイドビューの各仮想デプス画像を算出するようにした。
(3) 複数の奥行カメラを備え、各奥行カメラの観察エリアごとに予め設定されたマーカに基づいて、各奥行カメラにより得られた追跡の結果を同一の座標系上へ投影する手段をさらに具備し、追跡の結果を表示する手段は、同一の座標系上に投影された追跡の結果を表示するようにした。

本発明によれば、以下のような効果が達成される。

(1) カメラビューの奥行映像に基づくデプス画像に基づいて、カメラビュー以外の複数の仮想ビュー（例えば、トップビュー、左右の各サイドビュー）の仮想デプス画像を生成し、デプス画像および各仮想デプス画像に基づいて各オブジェクトを検知、識別するので、奥行カメラと各オブジェクトとの相対的な位置関係にかかわらず、各オブジェクトをオクルージョンにかかわらず精度良く追跡できるようになる。

(2) 各仮想ビューにおける前回フレームの各オブジェクトと今回フレームの各オブジェクトとの対応付けが、フレーム間での各オブジェクトの位置のみならず、各オブジェクトのデプス分布に基づいて行われるので、フレーム間での移動量が多いオブジェクトも精度よく追跡できるようになる。

(3) オブジェクトの観察エリアが広いために複数の奥行カメラで各オブジェクトを追跡する場合も、各奥行カメラの観察エリアが、予め各観察エリアに設定されたオーバラップマーカに基づいて統合されるので、オブジェクトが観察エリアを跨いで移動する場合も精度よく追跡できるようになる。

本発明の一実施形態に係るオブジェクト追跡装置が設置される環境の一例を模式的に示した図である。 オブジェクト追跡装置の主要部の構成を示した機能ブロック図である。 デプス画像の例を示した図である。 オブジェクトの輪郭に外接する矩形領域の例を示した図である。 オブジェクトの矩形領域の重畳面積の割合に基づいてオクルージョンの発生を判定する方法を模式的に示した図である。 トップビューでの仮想デプス画像D^T，左サイドビューでの仮想デプス画像D^Lおよび右サイドビューでの仮想デプス画像D^Rの例を示した図である。 カメラビューの一例を示した図である。 トップビューの一例を示した図である。 左サイドビューの一例を示した図である。 右サイドビューの一例を示した図である。 オブジェクトの移動軌跡の表示例を示した図である。 本発明の一実施形態に係るオブジェクトの追跡方法および追跡プログラムの動作を示したフローチャートである。 ２つの観察エリアQ1，Q2の統合例を示した図である。 ３つの観察エリアQ1，Q2，Q3の統合例を示した図である。 ４つの観察エリアQ1，Q2，Q3，Q4の統合例を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の一実施形態に係るオブジェクト追跡装置が設置される環境の一例を模式的に示した図であり、ここでは２台の奥行カメラcam（cam1，cam2）を設置する場合を例にして説明する。

第１奥行カメラcam1は、第1観察エリアQ1内のオブジェクトObjを撮影し、そのカメラビューでの奥行映像を取得する。第２奥行カメラcam2は、第２観察エリアQ2内のオブジェクトObjを撮影し、そのカメラビューでの奥行映像を取得する。各観察エリアQ1，Q2は矩形であり、それぞれの４隅には、後述する透視投影用のマーカm11〜m14，m21〜m24が予め設定されている。

第１および第２観察エリアQ1，Q2は、その一辺を共有するように隣接配置される。当該一辺の一端および他端の各マーカm13，m23およびm14，m24は共通であり、前記一辺はオーバラップマーカm_overとして利用される。当該オーバラップマーカm_overは、オブジェクトObjが第１観察エリアQ1および第２観察エリアQ2の一方から他方に移動した場合でもオブジェクトObjを見失うことなく追跡を継続できるように、各観察エリアQ1，Q2を統合するために参照される。

図２は、前記奥行カメラcam1，cam2が撮影した奥行映像に基づいてオブジェクトを追跡するオブジェクト追跡装置の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。本実施形態では、２台の奥行カメラcam1，cam2が独立してオブジェクト追跡を実行するが、その追跡メカニズムは同一なので、ここでは一方の奥行カメラcamに注目して説明する。

オブジェクト検知部１０は、図３に示したように、奥行映像から各ピクセルがデプス値を有するデプス画像をフレーム単位で取得し、当該デプス画像上でオブジェクトを検知する。本実施形態では、オブジェクトが存在しない環境下で撮影した背景画像を蓄積しておき、デプス画像と背景画像との差分が所定の閾値以上となる閉領域に基づいてオブジェクトが検知される。

矩形領域設定部２０は、図４に一例を示したように、各オブジェクトに対して、その輪郭に外接する矩形領域Kを設定する。オクルージョン判定部３０は重畳面積計算部３１を含み、各オブジェクトの矩形領域Kが重なる重畳範囲の面積の割合に基づいてオクルージョンの有無を判定する。

図５は、各オブジェクトの矩形領域Kの重畳面積の割合に基づいてオクルージョンの発生を判定する方法を模式的に示した図である。

本実施形態では、前回フレーム(f-1)で検知されたオブジェクトの矩形領域と今回フレーム(f)で検知されたオブジェクトの矩形領域との重なりが判断される。その結果、同図(a)に示したように、前回フレームで検知されたオブジェクトObja^f-1，Objb^f-1の各矩形領域Ka，Kbと、今回フレームで検知されたオブジェクトObjc^fの矩形領域Kcとの重畳範囲の面積の割合がいずれも５０パーセント以上であれば、オブジェクトObjc^fは２つのオブジェクトObja^f-1，Objb^f-1のオクルージョンにより生じた統合オブジェクトであると判断される。

これに対して、同図(b)に示したように、前回フレームで検知されたオブジェクトObja^f-1，Objb^f-1の各矩形領域Ka，Kbと今回フレームで検知されたオブジェクトObjc^fの矩形領域Kcとの重畳が検知されても、重畳範囲の面積の割合が５０パーセント以上の組み合わせが一つのみ（ここでは、オブジェクトObja^f-1，Objd^fの組み合わせのみ）であればオクルージョン状態とは判定されない。

また、同図(c)に示したように、前回フレームで検知されたオブジェクトObja^f-1の矩形領域Kaと今回フレームで検知されたオブジェクトObjf^fの矩形領域Kfとの重畳範囲の面積の割合が５０パーセント以上であっても、それが一つのみであればオクルージョン状態とは判定されない。

図２へ戻り、透視投影部４０は、図６に示したように、前記４つのマーカm11〜m22のカメラ座標系での位置ならびに奥行カメラcamの内部パラメータおよび外部パラメータに基づいて、前記カメラビューでのデプス画像D^Cを、トップビュー（上面視）での仮想的なデプス画像D^Tに射影変換し、さらに左サイドビュー（左側面視）での仮想的なデプス画像D^Lおよび右サイドビュー（右側面視）での仮想的なデプス画像D^Rに射影変換する。各デプス画像Dは各ピクセル位置のデプス値dの集合として次式(1)で表され、各デプス値dの添え字x，yは各ピクセルの座標位置を表している。

本実施形態では、前記観察エリアQに設定された４つのマーカm11〜m22に基づいて次式(2)の行列Aが与えられると、観察エリアQのトップビューを得るための次式(3)の行列A'に基づいて変換行列Mを計算する。

ここでは、計算を簡単化するためにx₀'=x₂'=y₀'=y₁'=0とし、また観察エリアを予め設定された矩形状とすることでx₁'=x₃'=y₂'=y₃'とする。その結果、行列A'は次式(4)で表される。ここでは、X'=Y'である。

行列A，A'間の透視マッピングは次式(5)の計算により実行される。

ここで、x_i，y_iおよびx'_i，y'_iは既知なので、行列係数c_ijはLU分解を解くことで計算できる。c₂₂=１とすれば、変換行列Mは次式(6)で表される。

簡単のために、変換行列Mを用いて観察エリアの左サイドおよび右サイドからの透視ビューを、次式(7)，(8)の行列A^L，A^Rをそれぞれ決定することで得る。

ID割当実行部５０は、統合オブジェクト分割部５１，オブジェクト候補検知部５２，類似度パラメータ計算部５３およびオブジェクト対応付け部５４を含み、カメラビューでのデプス画像D^Cに基づいてオブジェクト同士のオクルージョンが検知されると、その観察エリアのトップビュー，左サイドビューおよび右サイドビューでの各仮想デプス画像D^T，D^L，D^Rに基づいて、ビューごとにオブジェクトを検知する。

そして、前回フレーム(f-1)と今回フレーム(f)との間で各オブジェクトの同一性が、その位置およびデブス分布に基づいて判断され、最尤のオブジェクト同士に同一IDを付することでオクルージョン中も各オブジェクトの追跡が継続される。

前記統合オブジェクト分割部５１は、オクルージョンにより複数のオブジェクトが統合したオブジェクト（統合オブジェクト）から、オクルージョン前の各オブジェクトとデプス値の分布が類似する各重畳範囲を追跡対象のオブジェクトとして分割する。

本実施形態では、n個のオブジェクトのオクルージョンにより生じた統合オブジェクトであれば、その領域内にデプス分布の異なるn個の領域が混在しているとの考察に基づいて、統合オブジェクトから各ピクセルのデプス値に基づいて複数の部分を分割して新たな追跡対象のオブジェクトとする。

ここでは初めに、前回フレームで検知されている統合前の各オブジェクトおよび今回フレームにおける重畳範囲に関して、次式(9)〜(12)で表されるデプスモデルxが生成される。ここで、変数aは統合前の各オブジェクトまたは重畳範囲に外接する矩形領域の幅wおよび高さhの関数であり、変数cは幅wおよび高さhの中心位置（座標）であり、変数dは各ピクセルのデプス値の関数である。

次いで、統合前の各オブジェクトのデプス分布と今回フレームにおける重畳範囲のデプス分布との類似性を判断するために、次式(13)のバッタチャリャ距離（Bhattacharyya distance：距離尺度）Bが計算される。

ここで、σ_f，μ_fは今回フレームにおける重畳範囲のデプス値の分散および算術平均（中央値）であり、σ_f-1，μ_f-1は前回フレームで検知されたオブジェクトのデプス値の分散および算術平均（中央値）である。そして、今回フレームにおける各重畳範囲のうち、前回フレームで検知されている統合前の各オブジェクトとのバッタチャリャ距離Bの近い重畳範囲が統合オブジェクトから分割されて新たな追跡対象のオブジェクトとされる。

前記オブジェクト候補検知部５２は、各ビューの仮想デプス画像D^T，D^L，D^Rに基づいてオブジェクトを検知する。ここでは、ビューごとにそのデプス値をクラスタリングすることでオブジェクトが検知され、検知された各オブジェクトに外接する矩形領域が、それぞれオブジェクト候補領域とされる。

類似度パラメータ計算部５３は、前回フレームで検知されたオブジェクトごとに、今回フレームで検知された各オブジェクトとのペア（オブジェクトペア）の類似度パラメータを計算し、連続するフレーム間での各オブジェクトの同一性の指標とする。

図７ないし図１０は、前記類似度パラメータ計算部５３による類似度パラメータの計算方法を説明するための図であり、ここでは、２つのオブジェクトObj1，Obj2が奥行カメラcamに対して略平行に起立している場合を例にして説明する。

図７は、カメラビューの一例を示した図であり、本実施形態では、４つのマーカで囲まれた観察エリアQが、格子状に量子化されて予めN×N個のブロックに分割されている。このようなエリア分割は、非特許文献１，２に開示されたOccupancy Grid Mapの技術を利用して行うことができる。

本実施形態では、奥行カメラcamが地面から2.5mの高さの位置に配置され、フレームサイズがVGA解像度（640×480）であり、エリア分割は、例えばN=50として行われている。そして、オクルージョン中の２つのオブジェクトObj1，Obj2が位置している各ブロックが、オクルージョン中の各オブジェクトに占有されているブロック（占有ブロック）として認識される。

図８は、図７のカメラビューのデプス画像D^Cを射影変換して得られたトップビューでの仮想デプス画像D^Tに基づいて検知されたオブジェクトObj1，Obj2およびその位置を示した図であり、各オブジェクトObj1，Obj2の占有ブロックはハッチングで示されている。

図９は、図７のカメラビューのデプス画像D^Cを射影変換して得られた左サイドビューでの仮想デプス画像D^Lに基づいて検知されたオブジェクトおよびその位置を示した図であり、図１０は、図７のカメラビューのデブス情報D^Cを射影変換して得られた右サイドビューでの仮想デプス画像D^Rに基づいて検知されたオブジェクトおよびその位置を示した図である。

本実施形態では、以上のようにして仮想ビューごとにオブジェクト候補の位置およびそのデプス値が検知されると、前回フレーム(f-1)で検知されたオブジェクトObji（iはオブジェクト識別子）ごとに、今回フレーム(f)で検知された各オブジェクト候補Obj(i)との類似度パラメータΔ(π_(i) ^f，π_i ^f-1)が、各オブジェクト間の距離およびデプス分布の差の総和として次式(14)により計算される。

ここで、上式(14)の右辺第1項のB(p^f，p^f-1)は、今回フレーム(f)でのオブジェクトの位置と前回フレーム(f-1)でのオブジェクトの位置との距離であり、次式(15)で求められる。

ここで、|p^f，p^f-1|は、今回フレームのオブジェクト候補Obj(i)の位置p^fと前回フレームのオブジェクトObjiの位置p^f-1とのユークリッド距離であり、例えば、各オブジェクトに外接するオブジェクト領域の重心位置間のユークリッド距離である。

そして、カメラビューにおいて、今回フレームでのオブジェクト候補Obj(i)の占有ブロックb(p^f)と前回フレームでのオブジェクトObjiの占有ブロックb(p^f-1)とが同一[b(p^f)=b(p^f-1)]であれば、距離B(p^f，p^f-1)は、カメラビューでのオブジェクトObji，Obj(i)間のユークリッド距離|p^f，p^f-1|に所定の係数αを乗じた値として求められる。

これに対して、カメラビューにおいて、今回フレームのオブジェクト候補Obj(i)の占有ブロックb(p^f)と前回フレームのオブジェクトObjiの占有ブロックb(p^f-1)とが同一でなければ[else]、距離B(p^f，p^f-1)は、各オブジェクトObji，Obj(i)のトップビューにおけるユークリッド距離|p^f，p^f-1|、左サイドビューにおけるユークリッド距離|p^Lf，p^Lf-1|および右サイドビューにおけるユークリッド距離|p^Rf，p^Rf-1|の総和に所定の係数αを乗じた値となる。

また、上式(14)の右辺第２項の各Γ(D^f，D^f-1)は、各ビューにおいて検知された今回フレームのオブジェクト候補Obj(i)のデプス分布と前回フレームのオブジェクトObjiのデブス分布との差であり、本実施形態では、バッタチャリ距離として次式(16)により求められる。

ここでも、σ_f，μ_fは今回フレームにおける重畳範囲のデプス値の分散および算術平均（中央値）であり、σ_f-1，μ_f-1は前回フレームで検知されたオブジェクトのデプス値の分散および算術平均（中央値）である。そして、今回フレームにおけるオブジェクトのうち、前回フレームで検知されている統合前の各オブジェクトとのバッタチャリャ距離の近いオブジェクトが、当該統合前のオブジェクトと同一のオブジェクトとされる。

すなわち、Γ(D^Tf，D^Tf-1)は、トップビューにおいて検知された今回フレームでのオブジェクト候補Obj(i)のデプス分布と前回フレームでのオブジェクトObjiのデブス分布との距離である。同様に、Γ(D^Lf，D^Lf-1)は、左サイドビューにおいて検知された今回フレームでのオブジェクト候補Obj(i)のデプス分布と前回フレームでのオブジェクトObjiのデブス分布との距離である。同様に、Γ(D^Rf，D^Rf-1)は、右サイドビューにおいて検知された今回フレームでのオブジェクト候補Obj(i)のデプス分布と前回フレームでのオブジェクトObjiのデブス分布との距離である。

本実施形態では、オクルージョンが検知されると、前回フレーム(f-1)で検知された全てのオブジェクトごとに、今回フレーム(f)で検知された全てのオブジェクトとの全ての組み合わせに関して上記の計算が実行される。

オブジェクト対応付け部５３は、類似度パラメータが最小値を示すオブジェクト、すなわち次式(17)を満足するオブジェクト(i)に対して、前回フレームで当該オブジェクトに割り当てられたIDが付与される。

このように、本実施形態では一のカメラビューに基づくデプス情報をトップビューおよび左右のサイドビューに射影変換することにより、オブジェクトを複数の異なる方向から見込んだデプス情報が得られるので、複数のオブジェクトがどのような位置関係でオクルージョン状態になっても、各オブジェクトを識別することができる。

図２へ戻り、動線表示部６０は、図１１に示したように、フレーム間で同一IDを割り当てられたオブジェクトを同一オブジェクトとみなして、各オブジェクトの移動軌跡をディスプレイ上に表示する。

本実施形態では、前記オーバラップマーカmoverに基づいて、前記２つの観察エリアQ1，Q2の2Dプレーンが統合される。そして、カメラcam1の追跡点およびカメラcam2の追跡点が前記統合プレーン上に投影され、オブジェクトごとに一つの動線（軌跡）として表示出力される。

図１２は、本発明の一実施形態に係るオブジェクトの追跡方法および追跡プログラムの動作を示したフローチャートであり、上記の各処理が各ステップで実行される。

ステップS１では、奥行カメラcamごとにピクセル単位でデプス値Dを有する奥行映像がフレーム単位で取り込まれる。ステップS２では、各フレーム画像と予め生成されている背景画像との差分データが2D座標系上に投影される。

ステップS３では、当該2D座標上でデプス値に基づくクラスタリングがピクセル単位で実行される。ステップS４では、前記クラスタリングの結果に基づいて、今回フレームの全てのオブジェクトが検知される。

ステップS５では、前回フレームで検知された各オブジェクトと今回フレームで検知された各オブジェクトとの類似度が総当たりで計算され、類似度のより高いオブジェクト同士が相互に対応付けられる。

ステップS６では、各オブジェクトに外接する矩形領域Kが設定され、各矩形領域同士の重畳範囲の面積の割合が算出される。ステップS７では、重畳面積の割合が所定の条件を満足するオブジェクト同士がオクルージョン関係にあると判定される。

このオクルージョン判定により、オクルージョン状態ではないと判定された今回フレームのオブジェクトに関してはステップS８へ進み、類似度が高かった前回フレームのオブジェクトのIDが付与される。これに対して、オクルージョン状態であると判定されたオブジェクト（統合オブジェクト）に関してはステップS９へ進み、統合オブジェクトが各ピクセルのデプス値に基づいて分割される。

ステップＳ１０では、カメラビューでのデプス情報D^Cを射影変換することでトップビューでの仮想デプス情報D^T、左サイドビューでの仮想デプス情報D^Lおよび右サイドビューでの仮想デプス情報D^Rが生成される。

ステップＳ１１では、各ビューのデプス情報に基づいてオブジェクトが検知される。ここでも、各オブジェクトはビューごとにそのデプス値をクラスタリングすることで検知され、各オブジェクトに外接する矩形領域がオブジェクト候補領域とされる。

ステップＳ１２では、前回フレームで検知されたオブジェクトごとに、今回フレームで検知された全てのオブジェクトとの類似度パラメータが、上式(14)，(15)，(16)に基づいて計算される。ステップＳ１３では、上式(17)を満足する今回のオブジェクト、すなわち類似度パラメータが最小のオブジェクトに対して同一のIDが付与される。

ステップＳ１４では、前記オーバラップマーカm_overに基づいて、前記２つの観察エリアQ1，Q2が同一の座標系上に統合される。ステップＳ１５では、図１３に示したように、カメラcam1の追跡点およびカメラcam2の追跡点が前記統合された座標系上に投影され、オブジェクトごとに一つの動線（軌跡）として表示出力される。

本実施形態によれば、カメラビューのデプス画像に基づいてトップビューおよび左右の各サイドビューの仮想デプス画像を生成し、デプス画像および各仮想デプス画像に基づいて各オブジェクトを検知、識別するので、奥行カメラと各オブジェクトとの相対的な位置関係にかかわらず、各オブジェクトをオクルージョンの前後で精度良く追跡できるようになる。

また、本実施形態によれば、各仮想ビューにおける前回フレームの各オブジェクトと今回フレームの各オブジェクトとの対応付けが、フレーム間での各オブジェクトの位置および各オブジェクトのデプス分布に基づいて行われるので、フレーム間での移動量が多いオブジェクトも精度よく追跡できるようになる。

さらに、本実施形態によれば、オブジェクトの観察エリアが広いために複数の奥行カメラで各オブジェクトを追跡する場合も、各奥行カメラの観察エリアが、予め各観察エリアに設定されたオーバラップマーカm_overに基づいて統合されるので、オブジェクトが観察エリアを跨いで移動する場合も精度よく追跡できるようになる。

なお、上記の実施形態では２つの矩形の観察エリアQ1，Q2が、その一辺を共有するように統合される場合を例にして説明したが、本発明はこれのみに限定されるものではなく、図１４に示したように、３つの観察エリアQ1，Q2，Q3がオ−バラッップマーカm_overにより統合されるようにしても良い。あるいは図１５に示したように、４つの観察エリアQ1，Q2，Q3，Q4ないしはそれ以上の観察エリアがオ−バラッップマーカm_overにより統合されるようにしても良い。

さらに、上記の実施形態では、カメラビューのデプス情報に基づいて、トップビューの仮想デプス情報D^T、左サイドビューの仮想デプス情報D^Lおよび右サイドビューの仮想デプス情報D^Rの３つの仮想ビューのデプス情報を取得するものとして説明したが、本発明はこれのみに限定されるものではなく、カメラビュー以外に、少なくとも２つの仮想ビューについて仮想デプス情報を取得し、ビューごとに各オクルージョンを識別するようにしても良い。

１０…オブジェクト検知部，２０…矩形領域設定部，３０…オクルージョン判定部，３１…重畳面積計算部，４０…透視投影部，５０…ID割当実行部，５１…統合オブジェクト分割部，５２…オブジェクト候補検知部，５３…類似度パラメータ計算部，５４…オブジェクト対応付け部，６０…動線表示部

Claims (11)

1. オブジェクトをその奥行映像に基づいて追跡するオブジェクト追跡装置において、
   オブジェクトを含む観察エリアを撮影してカメラビューの奥行映像を取得する奥行カメラと、
   前記奥行映像から各ピクセルがデプス値を有するデプス画像をフレーム単位で取得する手段と、
   前記カメラビューのデプス画像に基づいてオブジェクト同士のオクルージョンを検知する手段と、
   前記カメラビューのデプス画像に基づいて、当該カメラビューとは異なる複数の相互に異なる仮想ビューでの仮想デプス画像をそれぞれ算出する手段と、
   オブジェクト同士のオクルージョンが検知されると、前記デプス画像および各仮想デプス画像に基づいて各オブジェクトを識別する手段と、
   前記識別結果に基づいて各オブジェクトを追跡する手段と、
   前記追跡の結果を表示する手段とを具備したことを特徴とするオブジェクト追跡装置。
2. 前記仮想デプス画像をそれぞれ算出する手段は、前記カメラビューのデプス画像を射影変換して各仮想ビューの仮想デプス画像を算出することを特徴とする請求項１に記載のオブジェクト追跡装置。
3. 前記仮想デプス画像をそれぞれ算出する手段は、前記カメラビューのデプス画像に基づいて、前記観察エリアのトップビュー、左サイドビューおよび右サイドビューの各仮想デプス画像を算出することを特徴とする請求項１または２に記載のオブジェクト追跡装置。
4. 前記各オブジェクトを識別する手段は、
   前記デプス画像および各仮想デプス画像に基づいて、各ビューでの各オブジェクトの位置およびデプス分布をフレーム単位で検知する手段と、
   前回フレームで検知されたオブジェクトごとに、今回フレームで検知された各オブジェクトとのペア間の類似度パラメータを、当該オブジェクトペアの距離およびデプス分布の差分に基づいて計算する手段とを具備し、
   前記各オブジェクトを追跡する手段は、前記類似度パラメータに基づいて、最尤のオブジェクトペアに同一IDを割り当てることを特徴とする請求項１ないし３のいずれかに記載のオブジェクト追跡装置。
5. 複数の奥行カメラを備え、
   各奥行カメラの観察エリアごとに予め設定されたマーカに基づいて、各奥行カメラにより得られた追跡の結果を同一の座標系上へ投影する手段をさらに具備し、
   前記追跡の結果を表示する手段は、前記同一の座標系上に投影された追跡の結果を表示することを特徴とする請求項１ないし４のいずれかに記載のオブジェクト追跡装置。
6. オブジェクトをその奥行映像に基づいて追跡するオブジェクト追跡方法において、
   オブジェクトを含む観察エリアを撮影してカメラビューの奥行映像を取得し、
   前記奥行映像から各ピクセルがデプス値を有するデプス画像をフレーム単位で取得し、
   前記カメラビューのデプス画像に基づいてオブジェクト同士のオクルージョンを検知し、
   オブジェクト同士のオクルージョンが検知されると、前記カメラビューのデプス画像に基づいて、当該カメラビューとは異なる複数の相互に異なる仮想ビューでの仮想デプス画像をそれぞれ算出し、
   前記デプス画像および各仮想デプス画像に基づいて各オブジェクトを識別し、
   前記識別結果に基づいて各オブジェクトを追跡し、
   前記追跡の結果を表示することを特徴とするオブジェクト追跡方法。
7. 前記カメラビューのデプス画像を射影変換して各仮想ビューの仮想デプス画像を算出することを特徴とする請求項６に記載のオブジェクト追跡方法。
8. 前記カメラビューのデプス画像に基づいて、前記観察エリアのトップビュー、左サイドビューおよび右サイドビューの各仮想デプス画像を算出することを特徴とする請求項６または７に記載のオブジェクト追跡方法。
9. 前記各オブジェクトを識別する際は、
   前記デプス画像および各仮想デプス画像に基づいて、各ビューでの各オブジェクトの位置およびデプス分布をフレーム単位で検知し、
   前回フレームで検知されたオブジェクトごとに、今回フレームで検知された各オブジェクトとのペア間の類似度パラメータを、当該オブジェクトペアの距離およびデプス分布の差分に基づいて計算し、
   前記類似度パラメータに基づいて、最尤のオブジェクトペアに同一IDを割り当てることを特徴とする請求項６ないし８のいずれかに記載のオブジェクト追跡方法。
10. 複数の奥行カメラを備え、
    各奥行カメラの観察エリアごとに予め設定されたマーカに基づいて、各奥行カメラにより得られた追跡の結果を同一の座標系上へ投影して表示することを特徴とする請求項６ないし９のいずれかに記載のオブジェクト追跡方法。
11. 請求項６ないし１０のいずれかに記載のオブジェクト追跡方法をコンピュータに実行させるオブジェクト追跡プログラム。