JP6932098B2

JP6932098B2 - 追尾装置

Info

Publication number: JP6932098B2
Application number: JP2018051548A
Authority: JP
Inventors: 良晃横山; 知視森野
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-03-19
Filing date: 2018-03-19
Publication date: 2021-09-08
Anticipated expiration: 2038-03-19
Also published as: JP2019164521A

Description

本発明は、目標を追尾する追尾装置に関する。

従来、カメラで撮像した画像から目標を追尾する技術が提案されている。目標の例は、船舶又は車両である。特許文献１は、テンプレートマッチングを行って目標を追尾する技術を提案している。具体的には、特許文献１は、参照画像を捜索範囲上で移動させてテンプレートマッチングを行い、最も相関値の高い部分の位置を追尾位置と推定して目標を追尾する技術を開示している。しかしながら、特許文献１が開示している技術については、ユーザは目標を指定しなければならず、そのため事前に目標が検出されていなければならないという問題がある。

近年、深層学習分野の一般物体認識技術において、処理速度と物体検出精度とが良好であるＳＳＤ（Single Shot Multibox）又はＹＯＬＯ（You Only Look Once）ｖ２の技術が注目されている。当該技術は、自動目標検出に用いられている（例えば、非特許文献１及び非特許文献２参照）。

さらに、学習済みネットワークを利用して、ユーザが識別したい目標の学習画像を用意し、再学習することでユーザが識別したい目標を推論することができる転移学習が知られている。例えばＳＳＤ又はＹＯＬＯｖ２といった学習済みネットワークを用いて、転移学習することによって、様々な目標を検出することが可能である。そのため、目標を検出し、検出領域を切出し後、初期テンプレートを保存し、次フレーム以降についてはテンプレートマッチングにより目標を継続的に追尾することが可能となる。

特開２０１３−１３４６２８号公報

Wei Liu, et al. "SSD: Single Shot MultiBox Detector", arXiv:1512.02325 2015. Joseph Redmon, et al. "YOLO9000：Better,Faster,Stronger", arXiv:1612.08242 2016.

しかしながら、目標を離れた場所から撮像する場合、画像中の目標は小さくなる。このような場合、テンプレートに目標以外の背景が写り込むため、ドリフト現象により正しく目標を追尾できなくなるという問題がある。目標以外の背景の例は、海面である。また、複数の目標を検出しようとする場合、テンプレートマッチングでは計算負荷が大きくなる。テンプレートマッチングを利用せず、一般物体認識技術を画像全体に適用し、周期的に目標を検出し、バウンディングボックスの中心を追尾する手法も考えられる。しかしながら、画像全体に対して周期的に例えばＳＳＤ又はＹＯＬＯｖ２の推論処理を行う場合、計算負荷が大きくなるという問題がある。

本発明は、上記に鑑みてなされたものであって、計算負荷を小さくしつつ、目標を検出し、目標を安定して追尾することができる追尾装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、時系列の画像を得る撮像部と、前記撮像部によって得られた画像における複数の特徴点の各々の位置と速度とを抽出する特徴量抽出部と、前記特徴量抽出部によって抽出された前記複数の特徴点の各々の位置と速度とをもとにクラスタリング処理を行って、前記複数の特徴点のうちの一部の複数の特徴点を特徴点群と特定するクラスタリング処理部とを有する。本発明は、前記クラスタリング処理部によって特定された前記特徴点群の重心の位置及び速度の推定値を算出すると共に、前記重心の位置の予測値を算出するクラスタ追尾部と、前記撮像部によって得られた画像から、前記クラスタ追尾部によって算出された前記予測値を含む部分画像を切出し、前記部分画像における目標を検出し、前記目標を含むバウンディングボックスの中心の、前記重心に対しての相対的な位置を算出する目標検出部とを更に有する。本発明は、前記クラスタリング処理部によって特定された前記特徴点群の前記重心の位置と前記目標検出部によって算出された前記相対的な位置とをもとに、前記目標の位置の推定値を算出する目標追尾部と、前記クラスタ追尾部によって算出された前記重心の速度の推定値と前記目標追尾部によって算出された推定値とを統合する統合部とを更に有する。

本発明は、計算負荷を小さくしつつ、目標を検出し、目標を安定して追尾することができるという効果を奏する。

実施の形態にかかる追尾装置の構成を示す図実施の形態にかかる追尾装置が有する特徴量抽出部の動作の手順の例を示すフローチャート実施の形態にかかる追尾装置が有するクラスタリング処理部の動作を説明するための第１図実施の形態にかかる追尾装置が有するクラスタリング処理部の動作を説明するための第２図実施の形態にかかる追尾装置が有するクラスタリング処理部の動作を説明するための第３図実施の形態にかかる追尾装置が有する目標検出部の動作を説明するための第１図実施の形態にかかる追尾装置が有する目標検出部の動作を説明するための第２図実施の形態にかかる追尾装置が有する統合部の動作を説明するための図実施の形態にかかる追尾装置が有する特徴量抽出部、クラスタリング処理部、クラスタ追尾部、目標検出部、目標追尾部及び統合部を構成する少なくとも一部の構成要素が処理回路によって実現される場合の処理回路を示す図実施の形態にかかる追尾装置が有する特徴量抽出部、クラスタリング処理部、クラスタ追尾部、目標検出部、目標追尾部及び統合部の少なくとも一部の機能がプロセッサによって実現される場合のプロセッサを示す図

以下に、本発明の実施の形態にかかる追尾装置を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態．
図１は、実施の形態にかかる追尾装置１０の構成を示す図である。追尾装置１０は、時系列の画像を得る撮像部１を有する。例えば、撮像部１は、目標からの可視光又は赤外光を撮像レンズにより集め、集められた光を撮像素子により電気信号に変換し、電気信号をアナログデジタル変換器によりデジタル信号に変換して、目標を含む画像を得る。目標を含む画像は、２次元画像である。以下では、「目標を含む画像」を「フレーム」と記載する。

追尾装置１０は、撮像部１によって得られたフレームにおける複数の特徴点の各々の位置と速度とを抽出する特徴量抽出部２を更に有する。なお、特徴量抽出部２は、複数のフレームについて特徴点マッチング処理を行うことにより、再現度があらかじめ決められた値より低い特徴点を除去してもよい。追尾装置１０は、特徴量抽出部２によって抽出された複数の特徴点の各々の位置と速度とをもとにクラスタリング処理を行って、複数の特徴点のうちの一部の複数の特徴点を特徴点群と特定するクラスタリング処理部３を更に有する。

追尾装置１０は、クラスタリング処理部３によって特定された特徴点群の重心の位置及び速度の推定値を算出すると共に、当該重心の位置の予測値を算出するクラスタ追尾部４を更に有する。予測値は、推定値に対応するフレームの後のフレームにおける当該重心の位置についての値である。

追尾装置１０は、撮像部１によって得られた画像から、クラスタ追尾部４によって算出された予測値を含む部分画像を切出す目標検出部５を更に有する。例えば、予測値は特徴点群の重心であって、予測値が特徴点群の重心である場合、目標検出部５は、特徴点群の重心を含む部分画像を切出す。目標検出部５は、切出された部分画像における目標を検出し、目標を含むバウンディングボックスの中心の、特徴点群の重心に対しての相対的な位置を算出する。目標検出部５は、目標を検出する場合、ＳＳＤ又はＹＯＬＯｖ２の技術を用いてもよい。目標検出部５は、一般物体認識技術を用いて、バウンディングボックスの中心を特定してもよい。

追尾装置１０は、クラスタリング処理部３によって特定された特徴点群の重心の位置と、目標検出部５によって算出された相対的な位置とをもとに、状態推定処理により、目標の位置の推定値を算出する目標追尾部６を更に有する。追尾装置１０は、クラスタ追尾部４によって算出された特徴点群の重心の速度の推定値と目標追尾部６によって算出された推定値とを統合する統合部７を更に有する。

次に、追尾装置１０の動作の例を説明する。撮像部１は、時系列の画像を得る。特徴量抽出部２は、撮像部１によって得られたフレームにおける複数の特徴点の各々の位置と速度とを抽出する。図２は、実施の形態にかかる追尾装置１０が有する特徴量抽出部２の動作の手順の例を示すフローチャートである。まず、特徴量抽出部２は、撮像部１によって得られたフレームを受け取る（Ｓ１）。

次に、特徴量抽出部２は、受け取ったフレームにおける複数の特徴点を検出する（Ｓ２）。特徴点の例は、当該フレームに含まれる目標の角の点である。次に、特徴量抽出部２は、例えばＯＲＢ（Oriented FAST and Rotated BRIEF）又はＡ−ＫＡＺＥ（Accelerated KAZE）の手法を用いて特徴量を抽出する（Ｓ３）。抽出される特徴量は、回転と拡大又は縮小との双方又は一方とが行われない特徴点についての特徴量である。

次に、特徴量抽出部２は、ｎフレーム前の特徴点及び特徴量についての結果が存在するか否かを判定する（Ｓ４）。「ｎフレーム前」は、特徴量抽出部２がステップＳ２において検出した複数の特徴点を含むフレームより前の時間のフレームを意味する。ｎフレーム前の特徴点及び特徴量についての結果が存在しないと特徴量抽出部２によって判定された場合（Ｓ４でＮｏ）、特徴量抽出部２の動作はステップＳ１に移行する。

特徴量抽出部２は、ｎフレーム前の特徴点及び特徴量についての結果が存在すると判定した場合（Ｓ４でＹｅｓ）、ステップＳ２において検出した複数の特徴点を含むフレームと特徴点及び特徴量についての結果が存在するフレームとの二つのフレームにおいて対応点マッチングを行い、ステップＳ２において検出した複数の特徴点のうちの、目標以外で検出される特徴点を除去する（Ｓ５）。

特徴量抽出部２は、ステップＳ５の処理を行った後、上記の二つのフレームにおける互いに対応する点についてオプティカルフローを推定する（Ｓ６）。オプティカルフローは、速度を意味する。特徴量抽出部２は、ステップＳ６の処理を行った後、処理すべき次のフレームが存在するか否かを判断する（Ｓ７）。処理すべき次のフレームが存在すると特徴量抽出部２によって判断された場合（Ｓ７でＹｅｓ）、特徴量抽出部２の処理はステップＳ１に移行する。処理すべき次のフレームが存在しないと特徴量抽出部２によって判断された場合（Ｓ７でＮｏ）、特徴量抽出部２の処理は終了する。

クラスタリング処理部３は、特徴量抽出部２によって抽出された複数の特徴点の各々の位置と速度とをもとにクラスタリング処理を行って、抽出された当該複数の特徴点のうちの一部の複数の特徴点を特徴点群と特定する。クラスタリング処理の例は、ｋ−ｍｅａｎｓ又は変分ベイズを用いる処理である。

図３は、実施の形態にかかる追尾装置１０が有するクラスタリング処理部３の動作を説明するための第１図である。図３は、３隻の船を含むひとつのフレームを示している。更に言うと、図３は、第１の船３１が第１の向き３２に進んでいて、かつ第２の船３３及び第３の船３４が第１の向き３２と逆の第２の向き３５に進んでいる場合のフレームを示している。図３には、水平線３６も示されている。図３では、中央から左に向かうむきが第１の向き３２に対応しており、中央から右に向かうむきが第２の向き３５に対応している。第１の船３１、第２の船３３及び第３の船３４の各々は、目標の例である。

図４は、実施の形態にかかる追尾装置１０が有するクラスタリング処理部３の動作を説明するための第２図である。図４は、特徴量抽出部２が検出した複数の特徴点を示している。複数の特徴点の各々は、黒く塗りつぶされた丸で示されている。図５は、実施の形態にかかる追尾装置１０が有するクラスタリング処理部３の動作を説明するための第３図である。

図５は、図３に示される第１の船３１についての複数の特徴点が第１の特徴点群５１であると特定されており、図３に示される第２の船３３及び第３の船３４についての複数の特徴点が第２の特徴点群５２であると特定されていることを示している。図５では、第１の特徴点群５１は楕円形状の第１の破線５１ｄの内側の複数の特徴点によって構成されるものである。第２の特徴点群５２は楕円形状の第２の破線５２ｄの内側の複数の特徴点によって構成されるものである。図５には、第１の特徴点群５１の重心５１ｃと、第２の特徴点群５２の重心５２ｃとが更に示されている。図５では、重心５１ｃ及び重心５２ｃはいずれも、バツ印で示されている。

クラスタ追尾部４は、クラスタリング処理部３によって特定された特徴点群の重心が観測点であるとみなし、状態推定処理により、当該重心の位置及び速度の推定値を算出すると共に、当該重心の位置の予測値を算出する。クラスタ追尾部４は、当該重心の位置及び速度の推定値と当該重心の位置の予測値とを算出する際、ＧＮＮ（Global Nearest Neighbor）、ＪＰＤＡ（Joint Probalistic Data Association）又はＭＨＴ（Muliple Hypothesis Tracking）の技術を用いてもよい。

目標検出部５は、撮像部１によって得られた画像から、クラスタ追尾部４によって算出された予測値を含む部分画像を切出す。例えば、予測値は特徴点群の重心である。図６は、実施の形態にかかる追尾装置１０が有する目標検出部５の動作を説明するための第１図である。図６には、図３に示される第１の船３１、第２の船３３及び第３の船３４も示されている。

図６は、図５に示される第１の特徴点群５１の重心５１ｃを含む第１の部分画像６１と、図５に示される第２の特徴点群５２の重心５２ｃを含む第２の部分画像６２とを示している。図６では、第１の部分画像６１及び第２の部分画像６２はいずれも、四角形の破線で示されている。例えば、目標検出部５は、撮像部１によって得られた画像から、図６に示される第１の部分画像６１と、図６に示される第２の部分画像６２とを切出す。

目標検出部５は、例えばＳＳＤ又はＹＯＬＯｖ２の技術により、切出された部分画像における目標を検出する。図７は、実施の形態にかかる追尾装置１０が有する目標検出部５の動作を説明するための第２図である。図７は、図６に示される第１の部分画像６１における第１の船３１を示している。図７は、図６に示される第２の部分画像６２における第２の船３３及び第３の船３４を更に示している。例えば、目標検出部５は、第１の部分画像６１における第１の船３１を検出すると共に、第２の部分画像６２における第２の船３３及び第３の船３４を検出する。

目標検出部５は、例えば一般物体認識技術を用いて、目標を含むバウンディングボックスの中心を特定し、バウンディングボックスの中心の、特徴点群の重心に対しての相対的な位置を算出する。図７は、第１の部分画像６１の内側において、第１の部分画像６１を示す破線より太い破線で囲まれている第１バウンディングボックス７１と、第１バウンディングボックス７１の中心７１ｃとを示している。図７には、第１の特徴点群５１の重心５１ｃも示されている。第１バウンディングボックス７１の中心７１ｃは、黒く塗りつぶされた三角形で示されている。

図７は、第２の部分画像６２の内側において、第２の部分画像６２を示す破線より太い破線で囲まれている第２バウンディングボックス７２と、第２バウンディングボックス７２の中心７２ｃとを示している。図７は、第２の部分画像６２の内側において、第２の部分画像６２を示す破線より太い破線で囲まれている第３バウンディングボックス７３と、第３バウンディングボックス７３の中心７３ｃとを示している。図７には、第２の特徴点群５２の重心５２ｃも示されている。第２バウンディングボックス７２の中心７２ｃ及び第３バウンディングボックス７３の中心７３ｃはいずれも、黒く塗りつぶされた三角形で示されている。

目標追尾部６は、クラスタリング処理部３によって特定された特徴点群の重心の位置と、目標検出部５によって算出された相対的な位置とをもとに、状態推定処理により、目標の位置の推定値を算出する。

統合部７は、クラスタ追尾部４によって算出された特徴点群の重心の速度の推定値と目標追尾部６によって算出された推定値とを統合する。統合部７は、統合を行うことによって、目標の位置と速度とを特定する。図８は、実施の形態にかかる追尾装置１０が有する統合部７の動作を説明するための図である。図８には、第１の特徴点群５１の重心５１ｃと、重心５１ｃの速度８１とを示す第１図８０が示されている。第１図８０には、第２の特徴点群５２の重心５２ｃと、重心５２ｃの速度８２とが、更に示されている。

図８には、第１バウンディングボックス７１の中心７１ｃを示す第２図８４も示されている。中心７１ｃは、Ｘ１軸とＹ１軸とで構成される２次元平面において示されている。図８には、第２バウンディングボックス７２の中心７２ｃと、第３バウンディングボックス７３の中心７３ｃとを示す第３図８５も示されている。中心７２ｃ及び中心７３ｃは、Ｘ２軸とＹ２軸とで構成される２次元平面において示されている。

統合部７は、第１図８０に示される速度８１と、第２図８４に示される中心７１ｃの位置とを統合して、目標のひとつである第１の船３１の位置及び速度を特定する。統合部７は、第１図８０に示される速度８２と、第３図８５に示される中心７２ｃの位置とを統合して、目標のひとつである第２の船３３の位置及び速度を特定する。統合部７は、第１図８０に示される速度８２と、第３図８５に示される中心７３ｃの位置とを統合して、目標のひとつである第３の船３４の位置及び速度を特定する。

図８には、第１の船３１、第２の船３３及び第３の船３４の各々の位置及び速度を示す第４図８６が更に示されている。すなわち、統合部７は、第４図８６に示されるように、第１図８０において示される情報８７と、第２図８４において示される情報８８とをもとに、目標のひとつである第１の船３１の位置及び速度を特定する。統合部７は、第１図８０において示される情報８７と、第３図８５において示される情報８９とをもとに、目標のひとつである第２の船３３の位置及び速度を特定する。統合部７は、第１図８０において示される情報８７と、第３図８５において示される情報８９とをもとに、目標のひとつである第３の船３４の位置及び速度を特定する。

上述の通り、実施の形態にかかる追尾装置１０は、撮像部１によって得られたフレームにおける複数の特徴点の各々の位置と速度とをもとにクラスタリング処理を行う。追尾装置１０は、特徴点群の重心の速度と、目標を含むバウンディングボックスの中心の当該重心に対しての相対的な位置とを統合することにより、目標の位置と速度とを特定する。追尾装置１０は、テンプレートマッチングを行うことなく、かつ画像全体に対して周期的に例えばＳＳＤ又はＹＯＬＯｖ２の推論処理を行わない。したがって、追尾装置１０は、計算負荷を小さくしつつ、目標を検出し、目標を安定して追尾することができる。

図９は、実施の形態にかかる追尾装置１０が有する特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７を構成する少なくとも一部の構成要素が処理回路９１によって実現される場合の処理回路９１を示す図である。つまり、特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の機能の少なくとも一部は、処理回路９１によって実現されてもよい。

処理回路９１は、専用のハードウェアである。処理回路９１は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、又はこれらを組み合わせたものである。特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の一部は、残部とは別個の専用のハードウェアであってもよい。

図１０は、実施の形態にかかる追尾装置１０が有する特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の少なくとも一部の機能がプロセッサ９２によって実現される場合のプロセッサ９２を示す図である。つまり、特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の少なくとも一部の機能は、メモリ９３に格納されるプログラムを実行するプロセッサ９２によって実現されてもよい。

プロセッサ９２は、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Digital Signal Processor）である。図１０には、メモリ９３も示されている。

特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の少なくとも一部の機能がプロセッサ９２によって実現される場合、当該一部の機能は、プロセッサ９２と、ソフトウェア、ファームウェア、又は、ソフトウェア及びファームウェアとの組み合わせによって実現される。

ソフトウェア又はファームウェアはプログラムとして記述され、メモリ９３に格納される。プロセッサ９２は、メモリ９３に記憶されたプログラムを読み出して実行することにより、特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の少なくとも一部の機能を実現する。

特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の少なくとも一部の機能がプロセッサ９２によって実現される場合、追尾装置１０は、特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の少なくとも一部によって実行されるステップが結果的に実行されることになるプログラムを格納するためのメモリ９３を有する。

メモリ９３に格納されるプログラムは、特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の少なくとも一部が実行する手順又は方法をコンピュータに実行させるものであるともいえる。

メモリ９３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read-Only Memory）等の不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク又はＤＶＤ（Digital Versatile Disk）等である。

特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の複数の機能について、当該複数の機能の一部を専用のハードウェアで実現し、当該複数の機能の残部をソフトウェア又はファームウェアで実現してもよい。このように、特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の複数の機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって実現することができる。

以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略又は変更することも可能である。

１撮像部、２特徴量抽出部、３クラスタリング処理部、４クラスタ追尾部、５目標検出部、６目標追尾部、７統合部、１０追尾装置、３１第１の船、３２第１の向き、３３第２の船、３４第３の船、３５第２の向き、３６水平線、５１第１の特徴点群、５１ｃ，５２ｃ重心、５１ｄ第１の破線、５２第２の特徴点群、５２ｄ第２の破線、６１第１の部分画像、６２第２の部分画像、７１第１バウンディングボックス、７１ｃ，７２ｃ，７３ｃ中心、７２第２バウンディングボックス、７３第３バウンディングボックス、８０第１図、８１，８２速度、８４第２図、８５第３図、８６第４図、８７第１図において示される情報、８８第２図において示される情報、８９第３図において示される情報、９１処理回路、９２プロセッサ、９３メモリ。

Claims

時系列の画像を得る撮像部と、
前記撮像部によって得られた画像における複数の特徴点の各々の位置と速度とを抽出する特徴量抽出部と、
前記特徴量抽出部によって抽出された前記複数の特徴点の各々の位置と速度とをもとにクラスタリング処理を行って、前記複数の特徴点のうちの一部の複数の特徴点を特徴点群と特定するクラスタリング処理部と、
前記クラスタリング処理部によって特定された前記特徴点群の重心の位置及び速度の推定値を算出すると共に、前記重心の位置の予測値を算出するクラスタ追尾部と、
前記撮像部によって得られた画像から、前記クラスタ追尾部によって算出された前記予測値を含む部分画像を切出し、前記部分画像における目標を検出し、前記目標を含むバウンディングボックスの中心の、前記重心に対しての相対的な位置を算出する目標検出部と、
前記クラスタリング処理部によって特定された前記特徴点群の前記重心の位置と前記目標検出部によって算出された前記相対的な位置とをもとに、前記目標の位置の推定値を算出する目標追尾部と、
前記クラスタ追尾部によって算出された前記重心の速度の推定値と前記目標追尾部によって算出された推定値とを統合する統合部と
を備えることを特徴とする追尾装置。
前記特徴量抽出部は、複数の前記画像について特徴点マッチング処理を行うことにより、再現度があらかじめ決められた値より低い特徴点を除去する
ことを特徴とする請求項１に記載の追尾装置。
前記目標検出部は、一般物体認識技術を用いて、前記バウンディングボックスの中心を特定する
ことを特徴とする請求項１又は２に記載の追尾装置。
前記予測値は、前記特徴点群の前記重心であって、
前記目標検出部は、前記特徴点群の重心を含む前記部分画像を切出す
ことを特徴とする請求項１から３のいずれか１項に記載の追尾装置。