JP7223587B2 - 物体運動推定方法及び物体運動推定装置 - Google Patents

Description

本発明は、物体運動推定方法及び物体運動推定装置に関する。

ステレオ画像から周囲の物体の位置および運動を推定する技術が知られている。例えば、特許文献１の移動速度検出装置は、ステレオカメラで撮像した一対の撮像画像から距離データを算出して監視領域内に存在する立体物を認識する。移動速度検出装置は、一対の撮像画像のうちの一方の撮像画像を処理対象として、時系列の撮像画像から立体物のオプティカルフローを検出し、距離データとオプティカルフローに基づいて立体物の移動速度を算出する。より具体的には、移動速度検出装置は、画像上の各画素のオプティカルフローと距離データの平均値にもとづいて立体物の横方向の動きを算出し、各画素の距離データの平均値から奥行方向への動きを推定する。

特開２００５－２１４９１４号公報

しかしながら、特許文献１のように距離に基づいて３次元空間で動きを算出する場合、ステレオ法による距離算出の距離分解能の低さに起因する距離誤差が推定される運動に大きな影響を与える。特に遠方では正しい動きを推定することができない可能性がある。

本発明は、上記に鑑みてなされたものであり、物体の状態の予測精度を向上させることを目的とする。

本発明の一態様に係る物体運動推定方法は、自車両に搭載されたカメラで撮影した時系列画像から特徴点を検出し、特徴点のオプティカルフローを算出する。物体運動推定方法は、物体が存在する画像領域を検出する。物体運動推定方法は、画像領域内の特徴点の情報を含む物体モデルに基づいて画像領域内の特徴点の現在位置を予測する。物体運動推定方法は、オプティカルフローから算出した画像領域内の特徴点の画像上での現在の第１座標を求め、物体モデルに基づいて予測した画像領域内の特徴点の現在位置を画像上に投影した第２座標を求める。物体運動推定方法は、第１座標と第２座標とのずれを画像上で最小化するように物体モデルを更新する。物体運動推定方法は、更新後の物体モデルを用いて物体の状態を予測する。

本発明によれば、物体の状態の予測精度を向上させることができる。

本実施形態の物体運動推定装置の構成を示す機能ブロック図である。 特徴点をオプティカルフローによって追跡する様子を示す図である。 物体モデルを用いて現在の物体の状態を推定し、物体の特徴点を画像上に投影した様子を示す図である。 オプティカルフローによって追跡した特徴点と物体モデルから推定して画像上に投影した特徴点とのずれを示す図である。 本実施形態の物体運動推定装置の別の構成を示す機能ブロック図である。 コントローラの処理の流れの一例を示すフローチャートである。

以下、本発明の実施の形態について図面を用いて説明する。

図１を参照し、本実施形態の物体運動推定装置の構成を説明する。物体運動推定装置は、車両に搭載され、周囲の走行環境を認識するために利用できる。物体運動推定装置は、自動運転機能を有する車両に適用されてもよく、自動運転機能を有しない車両に適用されてもよい。物体運動推定装置は、自動運転と手動運転とを切り替え可能な車両に適用されてもよい。本実施形態における自動運転とは、例えば、ブレーキ、アクセル、ステアリングなどのアクチュエータの内、少なくとも何れかのアクチュエータが乗員の操作なしに制御されている状態のことを指す。自動運転とは、加減速制御、横位置制御などのいずれかの制御が実行されている状態であればよい。本実施形態における手動運転とは、例えば、ブレーキ、アクセル、ステアリングを乗員が操作している状態のことを指す。

物体運動推定装置は、ステレオカメラ１１，１２とコントローラ（制御部）２０を備える。

ステレオカメラ１１，１２は、左のステレオカメラ１１と右のステレオカメラ１２の２台のカメラで構成されている。ステレオカメラ１１，１２は、自車両の周囲を異なる方向から同時に撮像し、時系列のステレオ画像を得る。ステレオカメラ１１，１２の搭載場所は限定されないが、例えば、ステレオカメラ１１は、自車両の前方左側に搭載され、ステレオカメラ１２は、自車両の前方右側に搭載される。また、ステレオカメラ１１，１２は、互いの視野が撮像方向と直交する方向に沿って重なるように配置されてもよい。各ステレオカメラ１１，１２の相対位置姿勢、焦点距離、およびレンズひずみ等のカメラパラメータは予め測定されており、ステレオ法によりステレオカメラ１１，１２で撮像された物体までの距離を算出できる。

コントローラ２０は、ステレオカメラ１１，１２により撮像された時系列のステレオ画像に基づいて自車両の周囲の物体を検出し、物体の運動を推定する。本実施形態における物体とは、他車両、バイク、自転車、および歩行者を含む移動物体でもよく、駐車車両を含む静止物体でもよい。コントローラ２０は、画像補正部２０１，２０２、オプティカルフロー算出部２０３、物体検出部２０４、距離算出部２０５、自車運動推定部２０６、物体追跡部２０７、初期モデル推定部２０８、現在状態推定部２０９、モデル更新部２１０、収束判定部２１１、および状態予測部２１２を備える。コントローラ２０は、ＣＰＵ（中央処理装置）、メモリ（記憶部）、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、物体運動推定装置として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、物体運動推定装置が備える複数の情報処理回路として機能する。なお、ここでは、ソフトウェアによって物体運動推定装置が備える複数の情報処理回路を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。

画像補正部２０１，２０２は、各ステレオカメラ１１，１２で撮像した画像を補正する。具体的には、画像補正部２０１，２０２は、各ステレオカメラ１１，１２で撮像した画像に対して、各ステレオカメラ１１，１２のレンズひずみ補正処理および各ステレオカメラ１１，１２で撮像した両画像のエピポーラ線を平行にするための平行化処理を行う。これにより、ステレオ法による距離計算時に、左右の画像間の画素の対応付けを行う際、探索領域を水平方向の１次元に絞ることができる。その結果、物体までの距離を計算するのに必要な処理時間を大幅に削減することが可能である。後段の各部による処理では、画像補正部２０１，２０２により補正された画像を使用する。

オプティカルフロー算出部２０３は、補正された時系列画像から特徴点を検出し、特徴点のオプティカルフローを算出する。具体的には、オプティカルフロー算出部２０３は、画像補正部２０１で補正された時系列画像から周囲の画素と区別可能な特徴を持つ画素である１つ以上の特徴点を検出し、過去の画像の特徴点と現在の画像の特徴点から特徴点のオプティカルフローを算出する。オプティカルフローとは、画像中における物体の動きをベクトルで表すものである。本実施形態では、オプティカルフロー算出部２０３は、左のステレオカメラ１１で撮影した画像を用いてオプティカルフローを算出する。オプティカルフロー算出部２０３は、単位時刻前の画像を過去の画像として保持する。オプティカルフロー算出部２０３は、過去の画像から検出した特徴点の周囲と近似した濃度パターンを持つ画素を現在の画像から検出し、過去の特徴点と現在の特徴点との組み合わせをオプティカルフローとして算出する。オプティカルフローの算出方法として、例えば、Bruce D. Lucas and Takeo Kanade, “An Iterative Image Registration Technique with an Application to Stereo Vision,” International Joint Conference on Artificial Intelligence, pages 674-679, 1981 に記載の方法を用いることができる。

物体検出部２０４は、画像補正部２０１で補正された画像から車両、二輪車、および歩行者などの物体が存在する画像領域を検出する。物体の検出方法として、例えば、J. Redmon, et al., “You only look once: Unified, real-time object detection,” Computer Vision and Pattern Recognition, 2016 に記載の方法を用いることができる。物体検出部２０４は、ステレオカメラ１１で画像が撮影される度に物体検出処理を実行し、その時刻の画像内に存在する物体の占める画像領域と物体の種別（例えば、車両、二輪車、自転車）を物体追跡部２０７へ出力する。

距離算出部２０５は、ステレオ画像を用いて自車両から特徴点までの距離を算出する。具体的には、距離算出部２０５は、左画像中の特徴点のそれぞれについて、特徴点周囲の画像濃淡パターンと類似した画像濃淡パターンを持つ右画像中の画素を探索し、各特徴点の左右の画像での水平位置の差（視差）を求める。距離算出部２０５は、視差、カメラの焦点距離、および画像中心の座標を用いて、自車両から各特徴点までの距離を算出する。なお、左画像とは、左のステレオカメラ１１で撮影され、画像補正部２０１で補正された画像である。右画像とは、右のステレオカメラ１２で撮影され、画像補正部２０２で補正された画像である。画素の探索処理は、水平方向のみの１次元探索のみで行う。

自車運動推定部２０６は、自車両の３軸並進運動および３軸回転運動を推定する。３軸並進運動は、自車両の前後方向、車幅方向、および上下方向の運動である。３軸回転運動は、ロール軸、ピッチ軸、およびヨー軸を含む３軸回りの回転運動である。以下、自車両の３軸並進運動および３軸回転運動を自車運動と称する。自車運動推定部２０６は、特徴点のオプティカルフローと３次元座標から、例えば、Andreas Geiger, Julius Ziegler, and Christoph Stiller, “StereoScan: Dense 3d reconstruction in real-time,” Intelligent Vehicles Symposium (IV), 2011 IEEE に記載の方法を用いて自車運動を推定できる。

物体追跡部２０７は、追跡中の物体と物体検出部２０４の検出した画像領域とを対応付けて、追跡中の物体の現在の画像領域を推定する。具体的には、物体追跡部２０７は、特徴点のオプティカルフローを用いて、単位時刻前の追跡中の物体の画像領域内の特徴点と現在検出された画像領域内の特徴点との対応付けを行い、追跡中の物体の現在の画像領域を推定する。物体追跡部２０７は、追跡中の物体と対応付かなかった画像領域を新規物体（まだ追跡していない物体）が存在する画像領域として、その画像領域および画像領域内の特徴点の情報を初期モデル推定部２０８に出力する。

初期モデル推定部２０８は、新規物体に対して初期の物体モデルを生成して割り当てる。物体モデルは、重心位置、向き、速度、加速度、ヨーレート、回転中心位置、すべり角、および形状（長さ、幅、高さ）などの物体の状態と、各特徴点の３次元座標および画像座標を含む。これらの要素はすべて自車両を基準とする自車座標系（３次元座標系）で定義される。重心位置は、物体の画像領域内の特徴点の３次元位置の重心である。特徴点の３次元座標は距離算出部２０５が算出したものである。向きは、画像領域内の各特徴点の３次元空間での動きを求め、各特徴点の動きの平均を物体の運動方向とし、物体の運動方向を向きとする。特徴点の３次元空間での動きは、オプティカルフロー算出部２０３の算出した画像上の特徴点の動きを３次元空間に投影して求めることができる。初期設定時は、物体の向きと物体の運動方向が同じであるとみなす。速度は、物体の３次元空間での動きの大きさとして求められる。加速度、ヨーレートについては、初期設定時は０とする。回転中心位置は、物体の重心に対する回転中心の相対位置を表す。回転中心位置は、初期設定時は（０，０）とする。すべり角は、物体の向きと実際の進行方向のなす角である。すべり角は、初期設定時は０とする。形状（長さ、幅、高さ）は、画像領域内の特徴点の３次元座標が占める領域と上で求めた向きから算出する。各特徴点の３次元座標は、重心と向きで定義される物体座標系における３次元座標である。

初期モデル推定部２０８は、初期の物体モデルとして、異なる状態を持つ複数の物体モデルを生成してもよい。言い換えると、１つの物体に、異なる複数の物体モデルを割り当ててもよい。後述の収束判定部２１１は、物体モデルを更新する過程で、物体の動きを適切に表していない物体モデルを削除する。

初期モデル推定部２０８は、物体までの距離に基づいて生成する物体モデルの数を決定してもよい。物体までの距離は、例えば、重心位置から求めてもよいし、画像領域内の特徴点までの距離の平均値から求めてもよい。自車両から遠方で状態が不明確な物体については、初期モデル推定部２０８は、異なる複数の状態を想定した初期の物体モデルを多く生成する。自車両の近辺で状態が明確な物体については、初期モデル推定部２０８は、生成する初期の物体モデルの数を少なくする。

初期モデル推定部２０８は、画像領域内の特徴点のオプティカルフローの長さに基づいて生成する物体モデルの数を決定してもよい。大きなオプティカルフローが検出される物体の運動は画像から推定しやすいので、初期モデル推定部２０８は、生成する初期の物体モデルの数を少なくする。オプティカルフローが検出されず運動が不明確な物体については、初期モデル推定部２０８は、異なる複数の運動を想定した初期の物体モデルを多く生成する。

初期モデル推定部２０８が物体までの距離またはオプティカルフローの長さに基づいて初期の物体モデルの数を決定することにより、計算負荷を抑えつつ、適切に物体運動を推定できる。

初期モデル推定部２０８は、画像領域内の特徴点のオプティカルフローの長さが所定の閾値よりも短い場合、運動の種類として静止物体を想定した物体モデルを追加してもよい。これにより、静止物体についても物体の状態の予測精度を向上させることができる。

初期モデル推定部２０８は、等速運動、等加速度運動、静止などの異なる種類の運動を想定した複数の物体モデルを生成してもよい。これにより、物体の運動推定精度を向上させることができる。例えば、初期モデル推定部２０８は、加速度、ヨーレートについて、初期設定時に０以外の初期値を設定した物体モデルを生成する。

現在状態推定部２０９は、自車運動推定部２０６の求めた自車運動および追跡中の物体の物体モデルを用いて、現在の時刻における追跡中の物体の位置および姿勢を推定する。具体的には、現在状態推定部２０９は、自車運動推定部２０６の推定した自車運動を用い、追跡中の物体を現在の自車両座標系に変換し、物体の状態に従い現在の時刻における物体の位置および姿勢を推定する。物体に複数の物体モデルが割り当てられている場合は、物体モデルのそれぞれについて現在時刻における物体の状態を推定する。

モデル更新部２１０は、オプティカルフローを用いて特徴点の画像上での現在の画像座標（以下、「第１座標」と称する）を求める。モデル更新部２１０は、現在状態推定部２０９の推定した特徴点の現在位置を画像上に投影した画像座標（以下、「第２座標」と称する）を求める。モデル更新部２１０は、第１座標と第２座標とのずれを画像上で最小化するような運動を推定して物体モデルを更新する。

モデル更新部２１０は、図２に示すように、単位時刻前の画像上での追跡中の物体の特徴点をオプティカルフローによって追跡した第１座標を求める。図２の三角印は、オプティカルフローによって追跡した画像上での特徴点の位置を示す。

また、モデル更新部２１０は、現在状態推定部２０９の推定した現在の物体の状態に基づき、物体の特徴点の現在位置を画像上に投影して第２座標を求める。図３の上段は、現在状態推定部２０９が物体モデルを用いて現在の物体の状態を推定する様子を示す。図３の下段は、物体の特徴点を画像上に投影した様子を示す。図３の丸印は、物体モデルを用いて推定した画像上での特徴点の位置を示す。

モデル更新部２１０は、第１座標と第２座標とのずれを画像上で最小化するような物体の運動を推定し、物体モデルの状態を更新する。図４に、特徴点の第１座標（三角印）と第２座標（丸印）を画像上にプロットした様子を示す。例えば、物体の運動の推定には拡張カルマンフィルタを用い、時系列で特徴点の追跡と推定を行う。自車座標系で表された３次元座標（Ｘ，Ｙ，Ｚ）は以下の式を用いて画像上の座標（ｕ，ｖ）と視差（ｄ）に変換できる。

ここで、ｆ_x，ｆ_yは水平、垂直の焦点距離であり、ｘ₀，ｙ₀は画像中心の座標、ｂはステレオカメラの基線長である。

特徴点の動きは画像上に投影すると非線形になるので、拡張カルマンフィルタの分散共分散行列を求める際には、特徴点をいくつかを選択し、線形近似したヤコビ行列を用いて分散共分散行列を求める。求めた拡張カルマンフィルタで特徴点の現在位置を算出し、画像上に投影する。選択する特徴点を変えて、オプティカルフローで求めた画像上の点と拡張カルマンフィルタで現在位置を予測して画像上に投影した点とのずれが最小となった拡張カルマンフィルタで物体モデルの状態を更新する。

なお、物体の運動の推定には、拡張カルマンフィルタに限らず、パーティクルフィルタなど他の非線形ベイズフィルタを用いてもよい。本実施形態では、複数の特徴点の動きから、速度だけでなく、加速度およびヨーレートも推定できる。

モデル更新部２１０は、物体の向きの変化等により現在の画像から検出できなくなった特徴点を物体モデルから削除してもよい。これにより、特徴点の誤った対応付けを抑止でき、運動推定の精度の低下を抑えることができる。また、計算負荷の低減が期待できる。

モデル更新部２１０は、第１座標と第２座標とのずれが閾値以上となった特徴点を物体モデルから削除してもよいし、特徴点のオプティカルフローと物体モデルに基づく特徴点の動きを画像上に投影したベクトルのなす角度が閾値以上となった特徴点を物体モデルから削除してもよい。これにより、追跡した画像上の位置が間違っている、または検出できなくなった特徴点を削除できる。また、特徴点を柔軟に削除することで、自転車のような一部が非剛体の物体にも本実施形態を適用できる。

モデル更新部２１０は、画像領域内で新たな特徴点を検出したときに、その特徴点を物体モデルに追加してもよい。これにより、右左折時の車両などの見え方が大きく変化する物体の運動を推定できる。

収束判定部２１１は、物体モデルのそれぞれについて、その物体モデルの推定が収束したか否か判定する。例えば、収束判定部２１１は、第１座標と第２座標とのずれの大きさ、特徴点のオプティカルフローと物体モデルに基づく特徴点の動きを画像上に投影したベクトルとのなす角度の誤差、および拡張カルマンフィルタの分散共分散を収束判定に用い、それぞれの値がすべて所定の閾値以下になった場合、あるいはいずれかの値が所定の閾値以下になった場合に、物体モデルの推定が収束したと判定する。物体モデルの推定が収束したか否かを判定することで、物体の追跡と運動の推定が成功しているか否かを判断できる。

収束判定部２１１は、所定の時間以上収束しない物体モデルを削除してもよいし、第１座標と第２座標とのずれの平均が閾値以上の場合に物体モデルを削除してもよいし、特徴点のオプティカルフローと３次元空間での特徴点の動きを画像上に投影したベクトルとのなす角度の平均が閾値以上の場合に物体モデルを削除してもよい。追跡に失敗したと考えられる物体モデルを削除することで計算負荷の低減が期待できる。

状態予測部２１２は、モデル更新部２１０で更新された物体モデルを用いて物体の状態を予測する。状態予測部２１２は、収束判定部２１１が収束したと判定した物体モデルを用いてもよい。物体に複数の物体モデルが割り当てられている場合、状態予測部２１２は、最適な物体モデルを用いて物体の状態を予測してもよい。例えば、状態予測部２１２は、第１座標と第２座標のずれが最も小さい物体モデルを用いて物体の状態を予測する。

次に、図５を参照し、本実施形態の物体運動推定装置の別の構成を説明する。

図５の物体運動推定装置は、図１の物体運動推定装置のステレオカメラ１１，１２の代わりに、自車両周囲を観測するセンサとして単眼カメラ１３とＬｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ（ＬＩＤＡＲ）１４を備えた点が異なる。

単眼カメラ１３とＬＩＤＡＲ１４はともに校正済みであり、単眼カメラ１３の内部パラメータと単眼カメラ１３に対するＬＩＤＡＲ１４の相対位置姿勢は既知である。内部パラメータおよび相対位置姿勢により、ＬＩＤＡＲ１４で計測された３次元座標を単眼カメラ１３で撮像された画像に投影できる。この校正には、例えば、Gaurav Pandey, et al., “Automatic extrinsic calibration of vision and lidar by maximizing mutual information,” Journal of Field Robotics, 2015, Volume 32, Issue 5, pp. 696-722 に記載の方法を用いることができる。

単眼カメラ１３の撮像した画像の画素とＬＩＤＡＲ１４の計測点は１対１で対応していない。そこで、距離算出部２０５は、ＬＩＤＡＲ１４の計測した隣接する３つの計測点から三角形を生成し、三角形と単眼カメラ１３から特徴点の方向へ伸ばした直線との交点を特徴点の３次元位置として、特徴点までの距離を求める。いずれの三角形とも交差しない特徴点については、最近傍の計測点を特徴点の３次元位置とする。

次に、図６を参照して、コントローラ２０の処理の流れの一例について説明する。図６の処理は、ステレオカメラ１１，１２でステレオ画像が撮像される度に実行される。

ステップＳ１０１では、各ステレオカメラ１１，１２で撮像した時系列画像が補正される。ステップＳ１０２では、時系列画像から特徴点が検出され、特徴点のオプティカルフローが算出される。ステップＳ１０３では、自車両から特徴点までの距離が算出される。ステップＳ１０４では、自車運動が推定される。

ステップＳ１０５では、時系列画像から物体が存在する画像領域が検出される。ステップＳ１０６では、ステップＳ１０３で検出された画像領域のそれぞれに対して追跡中の物体が対応付けられる。ステップＳ１０７では、ステップＳ１０６で追跡中の物体と対応付けられなかった画像領域が判定される。ステップＳ１０８では、追跡中の物体と対応付けられなかった画像領域内に存在する物体の初期の物体モデルが生成される。ステップＳ１０８の後は、ステップＳ１１０が実行される。

ステップＳ１０９では、追跡中の物体の物体モデルを用いて物体の現在の状態が推定される。ステップＳ１１０では、オプティカルフローを用いて推定した特徴点の現在の画像上での座標とステップＳ１０９で推定した特徴点を画像上に投影した座標とのずれが最小となるような物体の運動が推定されて、物体モデルが更新される。ステップＳ１１１では、物体モデルの収束が判定される。ステップＳ１０９からステップＳ１１１は、物体モデルのそれぞれについて実行される。

ステップＳ１１２では、物体モデルを用いて物体の状態が予測される。

以上説明したように、本実施形態の物体運動推定装置によれば、以下の効果が得られる。

自車両に搭載されたステレオカメラ１１，１２は、自車両の周囲の時系列画像を取得する。オプティカルフロー算出部２０３は、時系列画像から特徴点を検出し、特徴点のオプティカルフローを算出する。距離算出部２０５は、時系列画像から特徴点までの距離を算出する。物体検出部２０４は、時系列画像から物体が存在する画像領域を検出する。現在状態推定部２０９は、物体の状態と特徴点の情報を含む物体モデルに基づいて特徴点の現在位置を予測する。モデル更新部２１０は、オプティカルフローから特徴点の画像上での現在の第１座標を求めるとともに、物体モデルに基づいて予測した特徴点の現在位置を画像上に投影した第２座標を求め、第１座標と第２座標のずれを画像上で最小化するように物体モデルを更新する。状態予測部２１２は、更新後の物体モデルを用いて物体の状態を予測する。これにより、物体運動推定装置は、距離誤差の影響を抑えて物体の運動を推定することができる。初期モデル推定部２０８は、画像領域内の特徴点のオプティカルフローおよび距離に基づいて物体の初期の物体モデルを生成することにより、新たに検出した物体の運動の推定が可能になる。

初期モデル推定部２０８は、物体検出部２０４の検出した１つの物体に対して、異なる状態を持つ複数の物体モデルを生成することにより、遠方で物体の状態が不明確であっても、より適切に物体の追跡と状態の推定を行うことができる。

物体の状態は、速度、加速度、およびヨーレートを含み、モデル更新部２１０は、複数の特徴点の動きから物体の運動を推定することにより、速度だけでなく、加速度およびヨーレートも推定でき、物体の状態の予測精度をさらに向上できる。

１１，１２…ステレオカメラ
１３…単眼カメラ
１４…ＬＩＤＡＲ
２０…コントローラ
２０１，２０２…画像補正部
２０３…オプティカルフロー算出部
２０４…物体検出部
２０５…距離算出部
２０６…自車運動推定部
２０７…物体追跡部
２０８…初期モデル推定部
２０９…現在状態推定部
２１０…モデル更新部
２１１…収束判定部
２１２…状態予測部

Claims (17)

1. 自車両に搭載されたカメラを用いて前記自車両の周囲の時系列画像を取得し、
   前記時系列画像から特徴点を検出し、
   前記時系列画像から前記特徴点のオプティカルフローを算出し、
   前記時系列画像から物体が存在する画像領域を検出し、
   前記画像領域内の前記特徴点の情報を含む物体モデルに基づいて前記画像領域内の前記特徴点の現在位置を予測し、
   前記オプティカルフローから算出した前記画像領域内の前記特徴点の画像上での現在の第１座標と前記物体モデルに基づいて予測した前記画像領域内の前記特徴点の現在位置を前記画像上に投影した第２座標とのずれを前記画像上で最小化するように前記物体モデルを更新して、更新後の物体モデルを生成し、
   前記更新後の物体モデルを用いて前記物体の状態を予測する
   ことを特徴とする物体運動推定方法。
2. 前記自車両から前記特徴点までの距離を算出し、
   検出された前記画像領域内の前記特徴点の前記オプティカルフローおよび前記距離に基づいて当該画像領域に含まれる物体の前記物体モデルを生成する
   ことを特徴とする請求項１に記載の物体運動推定方法。
3. 物体の状態に応じて異なる複数の前記物体モデルを生成する
   ことを特徴とする請求項２に記載の物体運動推定方法。
4. 前記物体までの距離に基づいて生成する前記物体モデルの数を決定する
   ことを特徴とする請求項３に記載の物体運動推定方法。
5. 前記画像領域内の前記特徴点のオプティカルフローの長さに基づいて生成する前記物体モデルの数を決定する
   ことを特徴とする請求項３に記載の物体運動推定方法。
6. 前記画像領域内の前記特徴点のオプティカルフローの長さが所定の閾値よりも短い場合、静止物体を想定した前記物体モデルを追加する
   ことを特徴とする請求項３乃至５のいずれかに記載の物体運動推定方法。
7. 異なる種類の運動を想定した複数の前記物体モデルを生成する
   ことを特徴とする請求項２乃至６のいずれかに記載の物体運動推定方法。
8. 前記物体モデルは複数の前記特徴点の情報を含み、前記物体の状態として速度、加速度、およびヨーレートを含む
   ことを特徴とする請求項１乃至７のいずれかに記載の物体運動推定方法。
9. 前記時系列画像から検出できなくなった前記特徴点を前記物体モデルから削除する
   ことを特徴とする請求項１乃至８のいずれかに記載の物体運動推定方法。
10. 前記第１座標と前記第２座標とのずれが閾値以上となった前記特徴点を前記物体モデルから削除する
    ことを特徴とする請求項１乃至９のいずれかに記載の物体運動推定方法。
11. 前記特徴点のオプティカルフローと前記物体モデルに基づく前記特徴点の動きを画像上に投影したベクトルのなす角度が閾値以上となった前記特徴点を前記物体モデルから削除する
    ことを特徴とする請求項１乃至１０のいずれかに記載の物体運動推定方法。
12. 新たに検出された特徴点を前記物体モデルに追加する
    ことを特徴とする請求項１乃至１１のいずれかに記載の物体運動推定方法。
13. 前記第１座標と前記第２座標とのずれが閾値以下であった場合に、前記物体モデルの推定が収束したと判定する
    ことを特徴とする請求項１乃至１２のいずれかに記載の物体運動推定方法。
14. 所定の時間以上収束しない前記物体モデルを削除する
    ことを特徴とする請求項１３に記載の物体運動推定方法。
15. 前記第１座標と前記第２座標とのずれの平均が閾値以上の場合、当該物体に対応する前記物体モデルを削除する
    ことを特徴とする請求項１３または１４に記載の物体運動推定方法。
16. 前記特徴点のオプティカルフローと前記物体モデルに基づく前記特徴点の動きを画像上に投影したベクトルとのなす角度の平均が閾値以上の場合、前記物体モデルを削除する
    ことを特徴とする請求項１３乃至１５のいずれかに記載の物体運動推定方法。
17. 自車両に搭載されたカメラを用いて前記自車両の周囲の時系列画像を取得する撮像部と、
    制御部とを備え、
    前記制御部は、
    前記時系列画像から特徴点を検出し、
    前記時系列画像から前記特徴点のオプティカルフローを算出し、
    前記時系列画像から物体が存在する画像領域を検出し、
    前記画像領域内の前記特徴点の情報を含む物体モデルに基づいて前記特徴点の現在位置を予測し、
    前記オプティカルフローから算出した前記画像領域内の前記特徴点の画像上での現在の第１座標と前記物体モデルに基づいて予測した前記画像領域内の前記特徴点の現在位置を前記画像上に投影した第２座標とのずれを前記画像上で最小化するように前記物体モデルを更新して、
    更新後の前記物体モデルを用いて前記物体の状態を予測する
    ことを特徴とする物体運動推定装置。

Images