JP6474126B2 - オブジェクト追跡方法、装置およびプログラム - Google Patents

Description

本発明は、映像上で人物に代表される動的なオブジェクトを追跡するオブジェクト追跡方法、装置およびプログラムに係り、特に、オブジェクトを個別認識できるRGBカラー画像を利用せず、オブジェクトを個別認識できない奥行データの映像のみを用いて、動的なオブジェクトをオクルージョンに関わらず正確に追跡できるオブジェクト追跡方法、装置およびプログラムに関する。

監視カメラ映像や、スポーツ映像を対象としたオブジェクト追跡に関する手法がこれまでに数多く提案されている。これらのほとんどは、一定の撮影条件が満たされることを前提に、映像のカラー情報に基づく追跡を行っている。

一方、防犯やマーケティングの用途において、監視カメラ映像を用いた人物検出・追跡に関する需要が急速に高まっているが、解像度不足や照明条件の観点からカラー情報の利用が困難なケースが少なくない。また、プライバシーの観点から、人物を特定できてしまうカラー情報の利用が制限されており、代わりに人物を特定できない奥行映像のみからオブジェクト追跡を行う技術に対する期待が高まっている。

非特許文献１には、Microsoft Kinectに代表される奥行センサを用いた奥行データにおけるオブジェクト領域の検出に基づき追跡を行う手法が提案されている。非特許文献２には、カラー情報と奥行データとを組み合わせる形で追跡性能の向上を実現する技術が開示されている。

特許文献１には、距離データを利用して移動体を追跡する際、多平面図を有効にするために距離データから３次元点群を作成する技術が開示されている。特許文献２には、色情報と距離データとを組み合わせ、移動体をリアルタイムで追跡する技術が開示されている。特許文献３には、二重差分法に基づいて距離データを抽出し、物体を検出する技術が開示されている。特許文献４には、背景差分方法により距離画像から移動体を抽出する際に、前フレームと現在のフレームの距離データを比較して、最も類似の対応情報を抽出する技術が開示されている。

非特許文献３には、Kinectセンサから取得された距離データに基づいて人数を算出し、距離データを２次元に投影することで、部屋の入口や出口に対する人物の位置を推定する技術が開示されている。非特許文献４には、熱赤外線センサから距離データを取得し、フレーム間で検出された移動体の中心の類似性を判定することで歩行者を追跡する技術が開示されている。

非特許文献５には、Kinectセンサが出力するRGB-D画像に基づく２次元の頭輪郭モデルと３次元の頭表面モデルとを併用することにより人物を検出し、検出された移動体を識別してマーカーを作成する技術が開示されている。非特許文献６には、距離画像を8×8（ピクセル）のブロックに分割して移動体を検出する技術が開示されている。非特許文献７には、赤外線センサで移動体を検出して追跡し、検出された物体の中心で類似性を計算してラベリングする技術が開示されている。

US 7003136 B1 US 7590262 B2 US 8831285 B2 US 20120195471 A1 特願2014-198941号

Parvizi and Wu, " Multiple Object Tracking Based on Adaptive Depth Segmentation," Canadian conference on Computer and Robot Vision 2008, pp.273-277, 2008 Tran and Harada, " Depth-Aided Tracking Multiple Objects under Occlusion," Journal of Signal and Information processing, vol. 4, pp.299-307, 2013 C.-T. Hsieh, H.-C. Wang, Y.-K. Wu, L.-C. Chang, and T.-K. Kuo, A Kinect-Based People-Flow Counting System, Int. Symp. on Intelligent Signal Processing and Communications Systems, pp. 146-150, 2012. J. Li and W. Gong, Real Time Pedestrian Tracking using Thermal Infrared Imagery, Journal of Computers, 5(10):1606-1614, 2010. L. Xia, C.-C. Chen, and J. K. Aggarwal, Human Detection Using Depth Information by Kinect, IEEE Conf. on CVPR Workshops, pp. 15-22, 2011. S. Ikemura and H. Fujiyoshi, Real-Time Human Detection Using Relational Depth Similarity Features, Proc. of the 10th Asian Conference on Computer Vision, 2010 L. J. Latecki, R. Miezianko, and D. Pokrajac, Tracking Motion Objects in Infrared Videos, IEEE Conf. on Advanced Video and Signal Based Surveillance, pp. 99-104, 2005

非特許文献１では、奥行データのみを用いたオブジェクト追跡手法が提案されているが、オブジェクト同士が重なるオクルージョン時の追跡に関する言及がされておらず、実利用の観点では性能低下が予想される。非特許文献２では、カラー情報との組み合わせ手法であり、奥行データのみを用いるという利用シーンには対応していない。

非特許文献１−７および特許文献１−４では、オブジェクト同士が重なるオクルージョンが発生するとオブジェクトの追跡が困難になる。

このような技術課題に対して、本発明の発明者等は、オクルージョン前後での各オブジェクトの同一性を、各オブジェクトの位置、サイズおよび動きベクトルから計算される類似度に基づいて判断することにより、オクルージョンの発生にかかわらずオブジェクトの正確な追跡を可能にする技術を発明し、特許出願した（特許文献５）。

しかしながら、特許文献５では図１５(a)に示したように、オブジェクトBの移動方向がオブジェクトAとのオクルージョン前後で大きく異なる場合、あるいは同図(b)に示したように、停止しているオブジェクトBにオブジェクトAが接近してオクルージョンが発生したのち、オブジェクトAは停止してオブジェクトBが同一方向へ移動してオクルージョンが解消する場合にように、オクルージョン後における各オブジェクトの移動方向がオクルージョン前の動きベクトルから予測し得ないような場合にオブジェクトの正確な追跡が困難になるという技術課題があった。

なお、図１５において各オブジェクトA，Bに外接する点線枠は、後に図８を参照して詳述するように、オブジェクト間のオクルージョを、オブジェクト同士の重なりではなく、オブジェクトに外接する矩形枠の重なりで判断することでオクルージョンの発生を事前に予測できるようにするために設けられている。

本発明の目的は、上記の技術課題を解決し、奥行映像のみを用いることでオブジェクトのプライバシーを尊重しながら、オクルージョンの解消後もオブジェクトを正確に追跡できるオブジェクト追跡方法、装置およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、奥行映像上でオブジェクトを追跡するオブジェクト追跡装置において、以下の構成を具備した点に特徴がある。

(1) 奥行映像上でオブジェクトを検知する手段と、オブジェクトの左右の各輪郭に沿ったオブジェクト曲線をそれぞれ抽出する手段と、オブジェクト間のオクルージョンを判定する手段と、オクルージョンの発生前および解消後の各オブジェクトのオブジェクト曲線に基づいて各オブジェクトの対応関係を判定し、対応するオブジェクト同士に同一IDを割り当てるID割当手段とを具備した。

(2) ID割当手段は、オクルージョンの発生前および解消後でオブジェクト曲線の類似度が所定の閾値を超えるオブジェクト同士に同一IDを割り当てるようにした。

(3) オブジェクトの向きと当該向きで抽出されたオブジェクトの左側および右側の各オブジェクト曲線との対応関係を学習する手段と、抽出されたオブジェクト曲線を前記学習した対応関係と照合してオブジェクトの向きを推定する手段とをさらに具備し、ID割当手段は、オクルージョンの発生前および解消後で向きの推定結果が一致するオブジェクト同士に同一IDを割り当てるようにした。

本発明によれば、以下のような効果が達成される。
(1) 各オブジェクトの輪郭に沿ったオブジェクト曲線をフレーム間で比較することにより各オブジェクトを対応付けるので、オクルージョン後における各オブジェクトの移動方向がオクルージョン前の移動ベクトルから予測し得ないような場合もオブジェクトの正確な追跡が可能になる。

(2) オブジェクトの向きとオブジェクト曲線との対応関係を予め学習しておき、オブジェクト曲線から推定される向きに基づいて各オブジェクトを対応付けることができるので、オクルージョンの前後で各オブジェクトの向き・姿勢が一致していれば、オブジェクト曲線の類似度が関わらず両者を対応付けられる。したがって、向き・姿勢が同一とみなせる範囲内でオブジェクトの輪郭が変化しても正確な追跡が可能になる。

(3) オブジェクトを具体的に識別可能なRGBカラー映像を用いることなく、オブジェクトを具体的に識別できない奥行映像のみを用いてオブジェクトを追跡できるので、各オブジェクトのプライバシーを尊重したオブジェクト追跡が可能になる。

(4) オクルージョンの有無を、オブジェクト同士が重なって認識できなくなるよりも前に、オブジェクトに外接する矩形オクルージョン領域の重なりの有無に基づいて予測するようにしたので、その後にオクルージョンの関係となるオブジェクトを正確に識別できるようになる。

本発明の一実施形態に係るオブジェクト追跡装置の機能ブロック図である。 奥行映像の一例を示した図である。 矩形オブジェクト領域の設定例を示した図である。 形状フィルタ処理を説明するための図である。 オブジェクト曲線を説明するための図である。 オクルージョンの判定方法を示した図である。 オブジェクト追跡映像の一例を示した図である。 オブジェクト追跡方法を説明するための図である。 本発明の一実施形態の動作を示したフローチャートである。 ID割当処理の動作を示したフローチャートである。 オブジェクト曲線の比較方法を示した図である。 本発明の第２実施形態の機能ブロック図である。 オブジェクト曲線の学習結果の例を示した図である。 例外処理を説明するための図である。 先行技術の課題を説明するための図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るオブジェクト追跡装置の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。

オブジェクト検知部１０は、図２に示したように、オブジェクトを具体的に識別できない奥行（距離）データのみの映像（奥行映像）の各映像フレーム上でオブジェクトを検知する。本実施形態では、オブジェクトが存在しない環境下で撮影した背景画像を蓄積しておき、奥行映像の各フレームと前記背景画像とを比較して奥行データの差分が所定の閾値以上となる閉領域がオブジェクトとして検知される。

オブジェクト領域設定部２０は、図３に示したように、各オブジェクトに対して、その輪郭に外接あるいは包含する矩形のオブジェクト領域を設定する。オブジェクト曲線抽出部３０は、形状フィルタ処理部３１およびエッジスキャン部３２を含み、検知されたオブジェクトごとに、その左側および右側の各輪郭に沿った左右一対のオブジェクト曲線Cleft，Crightを抽出する。

前記形状フィルタ処理部３１は、オブジェクトの輪郭を正確に識別するための前処理として形状フィルタ処理を行う。本実施形態では、図４に示したように、初めに奥行データから4×4の画素ブロックを認識し、画素ブロックごとに奥行データの平均値を計算する。次いで、高域フィルタ処理により、平均値が最大濃淡値（ここでは、２５５）の半分以下（１２８未満）の画素ブロックを削除する。

前記エッジスキャン部３２は、前記形状フィルタ処理後の奥行データを対象に、ラスタ走査によるエッジスキャンを実施して輪郭部分の画素ブロックを特定する。オブジェクト曲線抽出部３０は、図５に示したように、オブジェクトの輪郭部分の各画素ブロックの中心（以下、参照点と表現する）を通る左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightを抽出する。

本実施形態では、左右の各輪郭部の参照点をY座標値の降順でそれぞれ連結することで各オブジェクト曲線Cleft，Crightが得られる。各オブジェクト曲線Cleft，Crightは、図５に示したように、オブジェクト曲線上で隣接する次の画素ブロックの参照点の方向（傾斜度）の系列で表現される。図示の例では、次の画素ブロックの参照点が垂直方向であれば傾斜度の値は「0」、右下方向であれば正の値、左下方向であれば負の値となり、いずれも水平方向に近いほど傾斜度の絶対値は大きくなる。

ID割当処理部４０は、映像フレーム間で各オブジェクトの位置、大きさおよび動きベクトルを比較し、更には映像フレーム間で各オブジェクトの左右のオブジェクト曲線Cleft，Crightをそれぞれ比較し、類似度が所定の閾値を上回るオブジェクト同士を、対応する同一オブジェクトとみなして同一IDを割り当てる。各オブジェクトの位置は、たとえばオブジェクトの中心座標で代表される。

オクルージョン処理部６０において、オクルージョン判定部６１は、図６に示したように、オブジェクト領域Ka，Kbの少なくとも一部が重なっているオブジェクトA，B間にオクルージョンが生じる可能性があると判定する。そして、各オブジェクトに固有のIDをオクルージョンリスト６２へ登録し、さらにオクルージョンフラグ（Foc）６３をセットする。

前記ID割当処理部４０において、オクルージョン発生時割当部４１は、今回フレームに前回フレームと同一のIDを割り当てられない未割当オブジェクトが存在し、前回フレームから今回フレームにかけてオブジェクト数が減少し、かつ未割当オブジェクトの現在位置がオクルージョンリスト６２に登録されている候補オブジェクトA，Bの位置および動きベクトルに基づいて予測される現在位置からの予測誤差範囲内であれば、前記未割当オブジェクトがオクルージョン中のオブジェクトA，Bであると判定して、当該未割当オブジェクトに対して固有のオクルージョンIDを割り当てる。

第１オクルージョン解消時割当部４２は、今回フレームに前回フレームと同一のIDを割り当てられない未割当オブジェクトが存在し、前回フレームから今回フレームにかけてオブジェクト数が増加し、未割当オブジェクトの大きさがオクルージョンリストに登録されている候補オブジェクトA，Bに類似し、かつ未割当オブジェクトの現在位置がオクルージョンリストに登録されているオブジェクトA，Bの位置および動きベクトルに基づいて予測される現在位置からの予測誤差範囲内であれば、オブジェクトA，B間のオクルージョンが解消したと判定する。そして、オクルージョンリストに登録されている候補オブジェクトA，BのIDを当該各未割当オブジェクトに割り当てる。

第２オクルージョン解消時割当部４３は、前記第１オクルージョン解消時割当部４２によってもIDを割り当てられない未割当オブジェクトが今回フレームに残っていると、未割当オブジェクトの左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightを、オクルージョンリストに登録されている各候補オブジェクトからオクルージョン直前に抽出された左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightと比較する。その結果、左オブジェクト曲線Cleft同士および右オブジェクト曲線Cright同士の類似度がいずれも所定の閾値を上回ると、オブジェクトA，B間のオクルージョンが解消したと判定し、オクルージョンリストに登録されている候補オブジェクトA，Bの各IDを当該各未割当オブジェクトに割り当てる。

前記類似度判定には、動的時間伸縮法（DWT：Dynamic Time Warping）をベースにした曲線マッチングを利用できる。本実施形態では、類似度を代表するコスト関数Cost(cur，ref)を次式(1)で定義する。

ここで、g(cur)は未割当オブジェクトの左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightの対応する各参照点における傾斜度g(cur)left，g(cur)rightを代表する。同様に、g(ref)はオクルージョンリストに登録されている候補オブジェクトの左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightの対応する各参照点における傾斜度g(ref)left，g(ref)rightを代表する。

本実施形態では、対応するP個の参照点に関して前記コスト関数を計算し、その計算結果を次式(2)に適用することによりP個の参照点におけるコストの総和を求める。そして、コストの総和が最小値を示した未割当オブジェクトおよび候補オブジェクトのペアが同一オブジェクトとして対応付けられる。

動線表示部５０は、図７に示したように、フレーム間で同一IDを割り当てられたオブジェクトを同一オブジェクトとみなして、各オブジェクトの移動軌跡をディスプレイ上に表示する。本実施形態では、各オブジェクトが丸印のシンボルマークで表現され、色を異ならせて表示される。

このようなオブジェクト追跡装置は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機としても構成できる。

次いで、図８に示したように、３つのオブジェクトA，B，Cが検知され[同図(a)]、それぞれにオブジェクトIDとしてIDa，IDb，IDcが割り当てられた後、オブジェクトA，B間にオクルージョンが生じ[同図(b)]，[同図(c)]、その後、オクルージョンが解消する場合[同図(d)]，[同図(e)]のオブジェクト追跡動作を、図９，１０のフローチャートに沿って説明する。

初めに図９のフローチャートを参照し、第n周期のステップS１では、図８(a)に示した奥行映像フレームが取り込まれる。ステップS２では、３つのオブジェクトA，B，Cが前記オブジェクト検知部１０により検知される。ステップS３では、各オブジェクトA，B，Cに外接する矩形オブジェクト領域Ka，Kb，Kcが、前記オブジェクト領域設定部２０によりそれぞれ設定される。

ステップS４では、各オブジェクトの輪郭を正確に検出するための前処理として、前記オブジェクト曲線抽出部３０の形状フィルタ処理部３１により形状フィルタ処理が行われる。本実施形態では、初めに奥行データから4×4の画素ブロックが識別され、画素ブロックごとに奥行データの平均値が計算される。次いで、前記図４を参照して説明したように、高域フィルタ処理により、平均値が最大濃淡値の半分以下の画素ブロックが削除される。

ステップS５では、前記フィルタ処理後の奥行データを対象に、前記エッジスキャン部３２がエッジスキャンを実行してエッジ部分の画素ブロックを特定する。さらに、各画素ブロックを結ぶ左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightをオブジェクトごとに抽出して記憶する。

ステップS６では、前記ID割当処理部４０により、オブジェクトA，B，Cに対してオブジェクトIDが割り当てられる。図１０は、ID割当処理の動作を示したフローチャートであり、ステップS１０１では、最初のフレームであるか否かが判定される。ここでは最初のフレームと判断されるのでステップS１１４へ進み、前記ステップS２で検出されたオブジェクトA，B，Cに対して、オブジェクトIDとしてそれぞれIDa，IDb，IDcが新規に割り当てられる。

続く第（n+1）周期のステップS１では、図８(b)に示した奥行映像フレームが取り込まれる。このフレームでは、２つのオブジェクトA，Bが近接しているが、未だオブジェクト同士は重なっていないので、ステップS２では、３つのオブジェクトA，B，Cが検知される。

ステップS３では、各オブジェクトA，B，Cに、それぞれ矩形オブジェクト領域Ka，Kb，Kcが設定される。ステップS４では、各オブジェクト領域に対して形状フィルタ処理が実施される。ステップS５では、各オブジェクトから左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightが抽出される。

ステップS６では、前記ステップS２で検知されたオブジェクトA，B，Cに対して、全フレームを通じて一貫した追跡用のオブジェクトIDを割り当てるID割当処理が、前記ID割当処理部４０により実行される。

図１０のフローチャートを参照し、ステップS１０１では、最初のフレームであるか否かが判定され、ここでは最初の映像フレームではないと判定されるのでステップS１０２へ進む。

ステップS１０２では、前回の映像フレームにおいて検知された各オブジェクトと今回の映像フレームにおいて検知された各オブジェクトとが、オブジェクト間の距離（位置）、オブジェクトサイズおよびオブジェクトの動きベクトルに基づいて計算される類似度に基づいて対応付けられる。本実施形態では、オブジェクトA，B，Cに対して、それぞれ対応するオブジェクトIDa，IDb，IDcが割り当てられる。

ステップS１０３では、対応IDの割り当てに成功したオブジェクトA，B，Cに関するオブジェクト情報が更新される。本実施形態では、各オブジェクトの現在位置が更新され、さらにその動きベクトルが、前回フレームから今回フレームまでの各オブジェクトA，B，Cの移動の量及び方向に基づいて更新される。ステップS１０４では、IDを割り当てられなかった未割当オブジェクトが存在するか否かが判定され、ここでは存在しないと判定されるので当該処理を終了する。

図９へ戻り、ステップS７では、オクルージョンの有無が判定され、ここではオブジェクトAの矩形オブジェクト領域Kaの一部とオブジェクトBの矩形オブジェクト領域Kbの一部とが重なっているので、オブジェクトA，B間にオクルージョンの生じる可能性があると判定されてステップS８へ進む。

ステップS８では、オブジェクトA，BのオブジェクトID（IDa，IDb）がオクルージョンリスト６２へ登録される。ステップS９では、オクルージョンフラグFocがセットされる。ステップS１０では、オブジェクトA，B，Cの動線（軌跡）が、前記動線表示部５０により表示出力される。

このように、本実施形態ではオブジェクト自身が重なっていなくても、オブジェクト領域の一部が重なっていればオクルージョンの生じる可能性があると判定して各オブジェクトの情報が蓄積される。したがって、その後に各オブジェクトが重なって両者を識別できなくなっても、各オブジェクトのオクルージョン直前のサイズやオブジェクト曲線を取得できるようになる。

続く第（n+2）周期のステップS１では、図８(c)に示したような第(n+2)映像フレームが取り込まれる。この映像フレームでは、オブジェクトA，Bが重なって見かけ上一体化しており、各オブジェクトを個別に判別できない。したがって、ステップS２では２つのオブジェクトC，D（＝A+B）が検知されることになる。ステップS３では、各オブジェクトC，Dに、それぞれ矩形オブジェクト領域Kc，Ka+bが設定される。

ステップS４では、各オブジェクトC，Dの領域に対して形状フィルタ処理が実施される。ステップS５では、各オブジェクトから左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightが抽出される。ステップS６では、各オブジェクトC，Dに対するID割当処理が実行される。

図１０のフローチャートを参照し、ステップS１０１では、最初の映像フレームではないと判定されるとステップS１０２へ進み、前回の映像フレームにおいて検知された各オブジェクトと今回の映像フレームにおいて検知された各オブジェクトとの類似度が、各オブジェクトの位置、オブジェクトサイズおよびオブジェクトの動きベクトルに基づいて計算され、類似度の高いオブジェクトに同一のIDが割り当てられる。

ここでは、オブジェクトCにIDcが割り当てられるが、オブジェクトDにはIDが未割当となるのでステップS１０４からステップS１０５へ進み、オクルージョンフラグFocに基づいてオクルージョン中であるか否かが判定される。ここではオクルージョン中と判定されるのでステップS１０６へ進む。

ステップS１０６では、前回フレームから今回フレームにかけてオブジェクト数が減少しているか否かが判定される。ここでは、オブジェクト数が「３」から「２」に減少していると判定されるのでステップS１０７へ進み、前記第１オクルージョン発生時割当部４１により未割当オブジェクトDへのID割当が行われる。

本実施形態では、未割当オブジェクトDの現在位置が、オクルージョンリスト６２に登録されている候補オブジェクトA，Bの動きベクトルに基づいて予測される現在位置から予測誤差範囲内であるか否かが判断される。その結果、予測誤差範囲内であれば、未割当オブジェクトDをオブジェクトA，Bが一体化したオクルージョン中のオブジェクトであると判断して固有のID（IDa+b）を割り当てる。

これに対して、未割当オブジェクトDの現在位置が予測誤差範囲外であれば、新規なオブジェクトIDが割り当てられる。ステップS１０８では、オブジェクトA，Bのオブジェクト情報が更新される。

続く第（n+3）周期のステップS１では、図８(d)に示した映像フレームが取り込まれる。この映像フレームでは、オブジェクトA，B間のオクルージョンが解消し始めており、ステップS２では、オブジェクトA，Bを個別に認識できるので、３つのオブジェクトA，B，Cが改めて検出される。ステップS３では、各オブジェクトA，B，Cに、それぞれ矩形オブジェクト領域Ka，Kb，Kcが設定される。

ステップS４では、各オブジェクトA，B，Cの領域に対して形状フィルタ処理が実施される。ステップS５では、各オブジェクトから左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightが抽出される。ステップS６では、各オブジェクトA，B，Cに対するID割当処理が実行される。

図１０のフローチャートを参照し、ステップS１０１では、最初の映像フレームではないと判定されるのでステップS１０２へ進み、前回の映像フレームにおいて検知されていたオブジェクトC，Dと今回の映像フレームにおいて検知されたオブジェクトA，B，Cとの類似度が、各オブジェクトの位置、オブジェクトサイズおよびオブジェクトの動きベクトルに基づいて計算され、類似度の高いオブジェクトに同一IDが割り当てられる。

ここでは、オブジェクトCに対してはオブジェクトIDcが割り当てられるが、オブジェクトA，Bについては、ステップS１０４において、対応するオブジェクトが前回の映像フレームにおいて検知されていないと判定されるのでステップS１０５へ進む。

ステップS１０５では、オクルージョンフラグFocがセットされていると判定されるのでステップS１０６へ進み、ここでは、オブジェクト数が「２」から「３」に増加しているのでステップS１０９からステップS１１０へ進み、前記第１オクルージョン解消時割当部４２により、未割当オブジェクトへのID割当が行われる。

本実施形態では、未割当オブジェクトの大きさがオクルージョンリストに登録されている候補オブジェクトA，Bに類似し、かつ未割当オブジェクトの現在位置が候補オブジェクトA，Bの動きベクトルに基づいて予測される現在位置から予測誤差範囲内であるか否かが判断される。

予測誤差範囲内であれば、候補オブジェクトA，BのID（IDa，IDb）が、それぞれ対応する各未割当オブジェクトに割り当てられる。本実施形態では、オブジェクトAにオブジェクトIDaが割り当てられ、オブジェクトBにオブジェクトIDbが割り当てられる。

ステップS１１１では、未割当オブジェクトが残っているか否かが判定され、全ての未割当オブジェクトに対してIDを割り当てることができればステップS１０８へ進み、未割当オブジェクトが残っていればステップS１１２へ進む。

ステップS１１２では、前記第２オクルージョン解消時割当部４３により未割当オブジェクトへのID割当が改めて行われる。本実施形態では、図１１に示したように、全ての未割当オブジェクトの左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightと、オクルージョンリストに登録されている全ての候補オブジェクトの各左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightとが総当たりで比較される。そして、類似度が所定の閾値を上回るオブジェクト同士が対応付けられ、各未割当オブジェクトに対して、対応するオブジェクトのIDが割り当てられる。

これにより、図１５(b)に示した形態のオクルージョンであれば、オクルージョン前のオブジェクトAから抽出されたオブジェクト曲線は、オクルージョン後のオブジェクトBから抽出されるオブジェクト曲線よりもオクルージョン領域内のオブジェクトAから抽出されるオブジェクト曲線により類似する。

同様に、オクルージョン前のオブジェクトBから抽出されたオブジェクト曲線は、オクルージョン後のオクルージョン領域内のオブジェクトAから抽出されるオブジェクト曲線よりもオクルージョン領域外のオブジェクトBから抽出されるオブジェクト曲線により類似する。したがって、オクルージョンの前後で正確なオブジェクト追跡が可能になる。

一方、図１５(a)に示した形態のオクルージョンでは、オブジェクトAからオクルージョンの前後で抽出されるオブジェクト曲線が類似するので、両者を対応付けることは容易である。これに対して、オブジェクトBからオクルージョンの前後で抽出されるオブジェクト曲線は相違するので、両者をオブジェクト曲線に基づいて対応付けることは難しい。しかしながら、オブジェクトAを対応付けられれば、残りはオブジェクトBと推定できるので、未割当オブジェクトをオブジェクトBと認識するようにしても良い。

ステップS１１３では、未割当オブジェクトが残っているか否かが判定され、全ての未割当オブジェクトに対してIDを割り当てることができればステップS１０８へ進む。未割当オブジェクトが残っていればステップS１１４へ進み、依然として未割当のオブジェクトに新規なオブジェクトIDが割り当てられる。

本実施形態によれば、各オブジェクトの左右の輪郭に沿ったオブジェクト曲線をフレーム間で比較することにより各オブジェクトを対応付けるので、オクルージョンの解消後における各オブジェクトの移動方向がオクルージョンの発生前の移動ベクトルから予測し得ないような場合もオブジェクトの正確な追跡が可能になる。

また、本実施形態によれば、オブジェクトを具体的に識別可能なRGBカラー映像を用いることなく、オブジェクトを具体的に識別できない奥行映像のみを用いてオブジェクトを追跡できるので、各オブジェクトのプライバシーを尊重したオブジェクト追跡が可能になる。

さらに、本実施形態によれば、オクルージョンの有無を、オブジェクト同士が重なって認識できなくなるよりも前に、オブジェクトに外接する矩形オクルージョン領域の重なりの有無に基づいて予測するようにしたので、その後にオクルージョン関係となる各オブジェクトを正確に識別できるようになる。

図１２は、本発明の第２実施形態に係るオブジェクト追跡装置の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。

上記の第１実施形態では、未割当オブジェクトの左右のオブジェクト曲線とオクルージョンリストに登録されている候補オブジェクトの左右のオブジェクト曲線とを総当たりで比較し、類似度の最も高いオブジェクト同士を同一オブジェクトとみなしてIDを割り当てていた。

これに対して、本実施形態ではオブジェクトの向きや姿勢ごとに左右のオブジェクト曲線Cleft，Crightを学習しておき、検出されたオブジェクトの向き・姿勢を、そのオブジェクト曲線Cleft，Crightに基づいて推定し、これに基づいて未割当オブジェクトとオクルージョンリストに登録されている候補オブジェクトとを対応付けるようにしている。

学習データDB７０には、図１３に示したように、オブジェクトが所定の向きにある状態で抽出した左右のオブジェクト曲線がテンプレートとして学習、記憶されている。本実施形態では、４５度間隔で８方向（上下左右方向、右上下方向、左上下方向）の向きについてテンプレートが学習されている。

向き・姿勢推定部８０は、奥行データに基づいて検出された各オブジェクトのオブジェクト曲線を前記テンプレートと比較して、その向き・姿勢を推定する。そして、未割当オブジェクトの向き・姿勢とオクルージョンリストに登録されている候補オブジェクトの向き・姿勢とを比較し、一致するオブジェクト同士を対応付ける。

本実施形態によれば、オクルージョンの前後で各オブジェクトの向き・姿勢が類似していれば、オブジェクト曲線の類似度が関わらず両者を対応付けられるので、向き・姿勢が同一とみなせる範囲内でオブジェクトの輪郭形状が変化しても、正確な追跡が可能になる。

なお、オブジェクトが商品等を指し示すために腕を上下するジェスチャを示すと、図１４に示したように、オブジェクト本体ではなく腕の左右輪郭に沿った曲線が抽出され得る。この場合、オブジェクト曲線に基づく対応付けが困難になり、場合によっては誤った対応付けが行われる場合がある。

そこで、本実施形態では、他の部位で検知されたエッジ間隔に対して十分に狭いエッジ間隔（例えば、五分の一程度）が同時に検知されている場合には、当該オブジェクトを追跡対象としないようにしている。

１０…オブジェクト検知部，２０…オブジェクト領域設定部，３０…オブジェクト曲線抽出部３０，３１…形状フィルタ処理，３２…エッジスキャン部，４０…ID割当処理部，４１…オクルージョン発生時割当部，４２…第１オクルージョン解消時割当部，４３…第２オクルージョン解消時割当部，５０…動線表示部，６０…オクルージョン処理部

Claims (8)

1. 奥行映像上でオブジェクトを追跡するオブジェクト追跡装置において、
   奥行映像上でオブジェクトを検知する手段と、
   オブジェクトの左右の各輪郭に沿ったオブジェクト曲線をそれぞれ抽出する手段と、
   オブジェクト間のオクルージョンを判定する手段と、
   オクルージョンの発生前および解消後の各オブジェクトのオブジェクト曲線に基づいて各オブジェクトの対応関係を判定し、対応するオブジェクト同士に同一IDを割り当てるID割当手段とを具備したことを特徴とするオブジェクト追跡装置。
2. 前記ID割当手段は、オクルージョンの発生前および解消後でオブジェクト曲線の類似度が所定の閾値を超えるオブジェクト同士に同一IDを割り当てることを特徴とする請求項１に記載のオブジェクト追跡装置。
3. オブジェクトの向きと当該向きで抽出されたオブジェクトの左側および右側の各オブジェクト曲線との対応関係を学習する手段と、
   抽出されたオブジェクト曲線を前記学習した対応関係と照合してオブジェクトの向きを推定する手段とを具備し、
   前記ID割当手段は、オクルージョンの発生前および解消後で向きの推定結果が一致するオブジェクト同士に同一IDを割り当てることを特徴とする請求項１に記載のオブジェクト追跡装置。
4. 前記ID割当手段は、
   今回フレームに前回フレームと同一のIDを割り当てられない未割当オブジェクトが存在するか否かを判定する手段と、
   今回フレームに未割当オブジェクトが存在し、かつ前回フレームから今回フレームにかけてオブジェクト数が増加し、かつ未割当オブジェクトのオブジェクト曲線とオクルージョン判定されたオブジェクトのオブジェクト曲線とが類似していると、当該未割当オブジェクトに前記オクルージョン判定されたオブジェクトのIDを割り当てる手段とを含むことを特徴とする請求項２に記載のオブジェクト追跡装置。
5. 前記ID割当手段は、
   今回フレームに前回フレームと同一のIDを割り当てられない未割当オブジェクトが存在するか否かを判定する手段と、
   今回フレームに未割当オブジェクトが存在し、かつ前回フレームから今回フレームにかけてオブジェクト数が増加し、かつ未割当オブジェクトの向きの推定結果とオクルージョン判定されたオブジェクトの向きの推定結果とが一致すると、当該未割当オブジェクトに前記オクルージョン判定されたオブジェクトのIDを割り当てる手段とを含むことを特徴とする請求項３に記載のオブジェクト追跡装置。
6. 各オブジェクトに外接する矩形のオブジェクト領域を設定する手段を具備し、
   前記オクルージョンを判定する手段は、オブジェクト領域の少なくとも一部が重なるオブジェクト間にオクルージョンが生じる可能性があると判定して当該各オブジェクトのオブジェクト曲線を抽出することを特徴とする請求項１ないし５のいずれかに記載のオブジェクト追跡装置。
7. コンピュータが奥行映像上でオブジェクトを追跡する方法において、
   奥行映像上で検知したオブジェクトの左右の各輪郭に沿ったオブジェクト曲線をそれぞれ抽出する手順と、
   オブジェクト間のオクルージョンを判定する手順と、
   オクルージョンの発生前および解消後の各オブジェクトのオブジェクト曲線に基づいて各オブジェクトの対応関係を判定する手順と、
   前記対応するオブジェクトに同一IDを割り当てる手順とを含むことを特徴とするオブジェクト追跡方法。
8. 奥行映像上でオブジェクトを追跡するオブジェクト追跡プログラムにおいて、
   奥行映像上で検知したオブジェクトの左右の各輪郭に沿ったオブジェクト曲線をそれぞれ抽出する手順と、
   オブジェクト間のオクルージョンを判定する手順と、
   オクルージョンの発生前および解消後の各オブジェクトのオブジェクト曲線に基づいて各オブジェクトの対応関係を判定する手順と、
   前記対応するオブジェクトに同一IDを割り当てる手順とを、コンピュータに実行させるオブジェクト追跡プログラム。