JP7236352B2 - 姿勢推定装置、および、姿勢推定方法 - Google Patents

Description

本発明は、姿勢推定装置および姿勢推定方法に関する。

従来、車載カメラの取付け位置や取付け角度などの外部パラメータを自動的に校正する車載カメラのキャリブレーション装置が知られる（例えば、特許文献１参照）。

特許文献１に開示されるキャリブレーション装置は、車両状態判定部と、カメラ毎処理部と、動作制御部とを備える。車両状態判定部は、外部から入力される車両情報から車両状態を判定する。カメラ毎処理部は、カメラのそれぞれに対して配置されており、カメラのそれぞれからの入力情報を処理する。動作制御部は、車両状態判定部からの判定結果と、カメラ毎処理部からの出力から、各カメラの動作モードを決定し、どのカメラの校正を優先するかの判断を行う。カメラ毎処理部は、カメラが撮影した画像から特徴点の現れ方を判断し動作制御部に伝える。

特開２０１８－１７７００４号公報

例えば走行する路面の状態等により、複数のカメラ間で取得することができる特徴点の数に偏りが生じることがある。このような場合、複数のカメラ間でカメラの取付け状態（姿勢）の把握に要する時間に大きな差が生じる可能性がある。

ところで、例えば自動駐車時等には、通常、複数のカメラが同時に使用される。このために、複数のカメラのそれぞれは、自動駐車等の開始時点で、カメラの姿勢が把握されていることが望まれる。これにより、使用予定の全カメラを用いて安全に自動駐車等の自動運転を行うことができる。すなわち、同時使用される複数のカメラがある場合、同時使用される全てのカメラ間でカメラの姿勢の把握に要する時間の差を小さくすることが望まれる。

本発明は、上記の課題に鑑み、移動体に搭載される複数のカメラ間でカメラの姿勢の把握に要する時間の差を小さくすることができる技術を提供することを目的とする。

上記目的を達成するために本発明の姿勢推定装置は、移動体に搭載される複数のカメラのそれぞれから撮影画像を取得する取得部と、前記カメラの姿勢を推定する推定処理を、前記撮影画像に基づいて行う推定部と、前記カメラ毎の前記推定処理の優先度を、前記カメラ毎に行われる前記推定処理により獲得される推定結果の獲得数に基づいて設定する設定部と、を備える構成（第１の構成）になっている。

また、上記第１の構成の姿勢推定装置において、前記設定部は、前記カメラ毎の前記獲得数の累積値の比較結果に基づいて前記優先度を設定する構成（第２の構成）であることが好ましい。

また、上記第１又は第２の構成の姿勢推定装置は、前記獲得数の累積値が所定の複数回数以上に到達した前記カメラについて、複数の前記推定結果に基づいて前記姿勢の推定を確定させる確定部を更に備える構成（第３の構成）であることが好ましい。

また、上記第３の構成の姿勢推定装置において、前記設定部は、前記姿勢の推定が確定された前記カメラが発生すると、前記優先度を変更する構成（第４の構成）であることが好ましい。

また、上記第１から第４のいずれかの構成の姿勢推定装置において、前記設定部は、前記カメラ毎に得られる前記獲得数の累積値の、最大数と最小数との差が所定閾値以上になると前記優先度を変更する構成（第５の構成）であることが好ましい。

また、上記第５の構成の姿勢推定装置において、前記設定部は、前記最大数と前記最小数との差が前記所定閾値以上になった後に前記所定閾値より小さくなった場合に前記優先度を変更する構成（第６の構成）であることが好ましい。

また、上記第１から第４のいずれかの構成の姿勢推定装置は、前記複数のカメラの中に、前記獲得数以外に基づく優先条件を有するカメラが存在するか否かを判断する判断部を更に備え、前記設定部は、前記優先条件を有するカメラが存在する場合に、前記優先条件に基づいて前記優先度を設定する構成（第７の構成）であってよい。

また、上記第１から第７のいずれかの構成の姿勢推定装置において、前記設定部は、所定のタイミングで前記優先度の変更を行うか否かを確認し、前記所定のタイミングは、前記推定処理の順番が前記複数のカメラの全てに１回ずつ与えられる毎に発生し、前記複数のカメラの中に前記優先度の設定により前記順番が飛ばされるカメラがある場合には、当該カメラに前記順番が与えられたとみなして前記所定のタイミングが判断される構成（第８の構成）であってよい。

また、上記目的を達成するために本発明の姿勢推定方法は、移動体に搭載される複数のカメラのそれぞれから撮影画像を取得する取得工程と、前記カメラの姿勢を推定する推定処理を、前記撮影画像に基づいて行う推定工程と、前記カメラ毎の前記推定処理の優先度を、前記カメラ毎に行われる前記推定処理により獲得される推定結果の獲得数に基づいて設定する設定工程と、を備える構成（第９の構成）になっている。

本発明によれば、移動体に搭載される複数のカメラ間でカメラの姿勢の把握に要する時間の差を小さくすることができる。

第１実施形態に係る姿勢推定装置の構成を説明するための図 第１実施形態の姿勢推定装置において、４つの車載カメラの姿勢の推定を行う場合に実行される処理の一例を示すフローチャート 第１実施形態の姿勢推定装置による姿勢の推定処理の一例を示すフローチャート 特徴点の抽出について説明するための図 オプティカルフローの導出について説明するための図 オプティカルフローから仮想的に形成される四角形を示す図 所定の平面との交線が互いに平行になる面の組を２組特定する手法を説明するための図 特定した面の組の一方に基づき、面同士の交線の方向を求める手法を説明するための図 特定した面の組の他方に基づき、面同士の交線の方向を求める手法を説明するための図 第１実施形態の姿勢推定装置における優先度変更の判定処理の一例を示すフローチャート 第１実施形態の姿勢推定装置における優先度の設定について説明するための図 第２実施形態に係る姿勢推定装置の構成を説明するための図 第２実施形態の姿勢推定装置において、４つの車載カメラの姿勢の推定を行う場合に実行される処理の一例を示すフローチャート 第２実施形態の姿勢推定装置における優先度変更の判定処理の一例を示すフローチャート 第２実施形態の姿勢推定装置における優先度の設定について説明するための図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、移動体として車両を例にとり説明するが、移動体は車両に限定されない。車両には、例えば自動車、電車、無人搬送車等の車輪のついた乗り物が広く含まれる。車両以外の移動体として、例えば船舶や航空機等が挙げられる。

また以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。

＜１．第１実施形態＞
図１は、第１実施形態に係る姿勢推定装置１の構成を説明するための図である。図１には、姿勢推定装置１に情報を入力する撮影部２および舵角センサ３も示されている。姿勢推定装置１は、撮影部２が搭載される車両ごとに備えられる。以下、姿勢推定装置１が備えられる車両のことを自車両と表現することがある。

撮影部２は、車両周辺の状況を監視する目的で車両に設けられる。撮影部２は、複数のカメラ２１～２４を備える。複数のカメラ２１～２４は、車載カメラである。各車載カメラ２１～２４は、車両に固定配置される。４つの車載カメラ２１～２４は、それぞれ、姿勢推定装置１に有線又は無線により接続され、撮影画像を姿勢推定装置１に出力する。なお、各車載カメラ２１～２４は、例えば経年劣化や外部からの衝撃等によって取付け位置や角度がずれることがある。姿勢推定装置１は、このような取付け状態の変化を監視することができる。

詳細には、撮影部２は、フロントカメラ２１と、バックカメラ２２と、左サイドカメラ２３と、右サイドカメラ２４と、を備える。フロントカメラ２１は、車両の前方を撮影するカメラである。バックカメラ２２は、車両の後方を撮影するカメラである。左サイドカメラ２３は、車両の左方を撮影するカメラである。右サイドカメラ２４は、車両の右方を撮影するカメラである。各車載カメラ２１～２４は、例えば魚眼レンズを用いて構成され、水平方向の画角θは１８０度以上である。このため、４つの車載カメラ２１～２４によって、車両の水平方向における全周囲を撮影することができる。

なお、撮影部２が備えるカメラの数は、４つ以外の複数であってよい。例えば、バックでの駐車することを支援する目的で車載カメラが搭載されている場合には、撮影部２は、バックカメラ２２、左サイドカメラ２３、右サイドカメラ２４の３つの車載カメラを備える構成であってよい。

舵角センサ３は、姿勢推定装置１および撮影部２が搭載される車両に備えられ、当該車両のステアリングホイール（ハンドル）の回転角を検出する。舵角センサ３の出力は、ＣＡＮ（Controller Area Network）バス等の通信バスＢ１を介して姿勢推定装置１に入力される。

図１に示すように、姿勢推定装置１は、取得部１１と、制御部１２と、記憶部１３と、を備える。

取得部１１は、複数の車載カメラ２１～２４のそれぞれから撮影画像を取得する。取得部１１は、車載カメラ２１～２４からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。すなわち、取得部１１によって取得される撮影画像の集合体が車載カメラ２１～２４で撮影された動画像である。そして、取得した撮影画像がアナログの場合には、取得部１１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。取得部１１は、取得した撮影画像、或いは、取得及び変換した撮影画像を制御部１２に出力する。取得部１１から出力される１つの撮影画像が１つのフレーム画像となる。

制御部１２は、例えばマイクロコンピュータであり、姿勢推定装置１の全体を統括的に制御する。制御部１２は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。記憶部１３は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１３は、ファームウェアとしてのプログラムや各種のデータを記憶する。

図１に示す推定部１２１、確定部１２２、および、設定部１２３は、制御部１２のＣＰＵが記憶部１３に記憶されるプログラムに従って演算処理を実行することにより実現される制御部１２の機能である。言い換えると、姿勢推定装置１は、推定部１２１と、確定部１２２と、設定部１２３とを備える。

なお、制御部１２の推定部１２１、確定部１２２、および、設定部１２３の少なくともいずれか一つは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、推定部１２１、確定部１２２、および、設定部１２３は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてよい。また、取得部１１は、制御部１２のＣＰＵがプログラムに従って演算処理を行うことによって実現される構成でもよい。

推定部１２１は、車載カメラ２１～２４の姿勢を推定する推定処理を、撮影画像に基づいて行う。詳細には、推定部１２１は、各車載カメラ２１～２４毎に姿勢の推定処理を行う。複数の車載カメラ２１～２４の姿勢の推定処理は順番に行われる。姿勢の推定処理を行う順番については後述する。推定部１２１は、４つの車載カメラ２１～２４のいずれか１つの姿勢の推定を行う場合、姿勢の推定を行うカメラから取得した撮影画像に基づいて推定処理を行う。例えば、推定部１２１は、フロントカメラ２１の姿勢の推定を行う場合、フロントカメラ２１から得られる撮影画像に基づいて推定処理を行う。

なお、姿勢の推定は、例えば、車載カメラ２１～２４の取付け角度等、取付け状態に関する値の推定値を求める構成であってよい。ただし、姿勢の推定は、取付け状態に関する具体的な推定値を求めるのではなく、姿勢が所定の状態から変化したか否かだけを推定する構成等であってもよい。本実施形態の姿勢の推定処理の詳細については後述する。

確定部１２２は、姿勢の推定処理により獲得される推定結果の獲得数の累積値が所定の複数回数に到達したカメラについて、複数の推定結果に基づいて姿勢の推定を確定させる。すなわち、本実施形態においては、各車載カメラ２１～２４について、姿勢の推定結果が１つ得られただけでは、姿勢の推定は確定されない。本実施形態においては、各車載カメラ２１～２４について、姿勢の推定結果が所定の複数回数以上得られた場合に、獲得された複数の推定結果に基づいて姿勢の推定を確定させる。これによれば、姿勢推定装置１から誤った推定姿勢が出力される可能性を低減することができる。

なお、姿勢の推定結果は、例えば姿勢の推定値等、姿勢状態に関する推定情報を含む。換言すると、姿勢状態に関する推定情報が得られなかった場合には、姿勢の推定結果が獲得されたとみなさない。

また、姿勢の推定を確定させるために用いられる複数の推定結果の数は、所定の複数回数と同じでもよいが、異なってもよい。また、所定の複数回数は、例えば実験結果等に基づいて適宜設定されればよい。所定の複数回数は、姿勢推定の確定結果をできるだけ正確としつつ、姿勢推定の確定結果が得られるまでの時間が長くなりすぎないように設定されることが好ましい。また、本実施形態では、所定の複数回数は、全ての車載カメラ２１～２４で同じとされている。ただし、所定の複数回数は、各車載カメラ２１～２４毎に別々に設定されてもよい。すなわち、所定の複数回数は、複数の車載カメラ２１～２４間で、互いに異なる数であってもよい。

設定部１２３は、車載カメラ２１～２４毎の姿勢の推定処理の優先度を、車載カメラ２１～２４毎に行われる姿勢の推定処理により獲得される推定結果の獲得数に基づいて設定する。詳細には、設定部１２３は、車載カメラ２１～２４毎の、推定結果の獲得数の累積値の比較結果に基づいて、車載カメラ２１～２４毎の推定処理の優先度を設定する。設定には、初期の設定、および、その後に行われる変更設定が含まれてよい。

本実施形態によれば、例えば、複数の車載カメラ２１～２４間において、姿勢の推定結果の獲得数が他に比べて極端に多かったり、少なかったりするカメラが生じた場合に、優先度を調整して推定結果の獲得数の差が大きくなり過ぎることを抑制できる。本実施形態によれば、姿勢推定の確定結果を得られるタイミングを複数の車載カメラ２１～２４間でできるだけ近づけることができる。例えば、自車両が複数の車載カメラ２１～２４を用いて自動運転が行われる設定となっている場合、本実施形態の姿勢推定装置１を用いれば、全ての車載カメラ２１～２４の姿勢が把握できた安全な状態で自動運転を開始できる可能性を高めることができる。

本実施形態では、優先度が上げられると、姿勢の推定処理を実行する頻度が多くされる。また、優先度が下げられると、姿勢の推定処理を実行する頻度が少なくされる。優先度の設定に関する処理の詳細については後述する。

設定部１２３は、所定のタイミングで優先度の変更を行うか否かを確認する。本実施形態では、所定のタイミングは、姿勢の推定処理の順番が複数（具体的には４つ）の車載カメラ２１～２４の全てに１回ずつ与えられる毎に発生する。ただし、複数の車載カメラ２１～２４の中に優先度の設定により順番が飛ばされるカメラがある場合には、当該カメラに順番が与えられたとみなして所定のタイミングは判断される。このように構成することにより、優先度の変更を適切なタイミングで行うことができる。

図２は、第１実施形態の姿勢推定装置１において、４つの車載カメラ２１～２４の姿勢の推定を行う場合に実行される処理の一例を示すフローチャートである。図２の処理の開始時においては、姿勢の推定結果の獲得数は、４つの車載カメラ２１～２４のいずれもゼロであり、４つの車載カメラ２１～２４の間で差がない。このために、４つの車載カメラ２１～２４毎の姿勢の推定処理の優先度は同じとしている。すなわち、図２の処理の開始時において、４つの車載カメラ２１～２４の姿勢の推定処理の頻度には差がない。図２の処理の開始時において、４つの車載カメラ２１～２４に対して等しく順番が与えられる。４つの車載カメラ２１～２４に対して、予め決められた順番で、姿勢の推定処理が行われる。

ステップＳ１では、推定部１２１により、フロントカメラ２１の姿勢の推定処理が行われる。フロントカメラ２１の姿勢の推定処理が終わると、ステップＳ２に処理が進められる。ステップＳ２では、推定部１２１により、バックカメラ２２の姿勢の推定処理が行われる。バックカメラ２２の姿勢の推定処理が終わると、ステップＳ３に処理が進められる。ステップＳ３では、推定部１２１により、左サイドカメラ２３の姿勢の推定処理が行われる。左サイドカメラ２３の姿勢の推定処理が終わると、ステップＳ４に処理が進められる。ステップＳ４では、推定部１２１により、右サイドカメラ２４の姿勢の推定処理が行われる。右サイドカメラ２４の姿勢の推定処理が終わると、ステップＳ４に処理が進められる。

なお、本例では、フロントカメラ２１、バックカメラ２２、左サイドカメラ２３、右サイドカメラ２４の順番で姿勢の推定処理が行われる構成としているが、これは例示である。他の順番で姿勢の推定処理が行われてもよい。

ここで、車載カメラ２１～２４の姿勢の推定処理について詳細に説明する。図３は、第１実施形態の姿勢推定装置１による姿勢の推定処理の一例を示すフローチャートである。図３は、図２のステップＳ１からステップＳ４における姿勢の推定処理の詳細を示す図である。姿勢の推定処理は、各車載カメラ２１～２４で同様であるために、以下、フロントカメラ２１の場合を例に姿勢の推定処理について説明する。

図３に示すように、まず、推定部１２１は、フロントカメラ２１を搭載する自車両が直進しているか否かを監視する（ステップＳ１１）。自車両が直進しているか否かは、例えば、舵角センサ３から得られるステアリングホイールの回転角情報に基づいて判断することができる。例えば、ステアリングホイールの回転角がゼロのときに自車両が完全にまっすぐに進むとした場合に、回転角がゼロの場合だけでなく、回転角がプラス方向とマイナス方向の一定範囲内の値である場合を含めて、自車両が直進していると判断してよい。なお、直進には、前方方向の直進と、後退方向の直進との両方が含まれる。

推定部１２１は、自車両の直進を検出するまで、ステップＳ１１の監視を繰り返す。言い換えると、推定部１２１は、自車両が直進しない限り、姿勢の推定処理を進めない。これによれば、直進移動中における特徴点（詳細は後述する）の位置変化を用いて姿勢の推定が行われることになり、自車両の進行方向が曲がっている場合の情報を用いて姿勢の推定が行われないので、姿勢の推定処理が複雑になることを避けることができる。ただし、自車両の進行方向が曲がっているときの特徴点の位置変化を用いて、姿勢の推定処理が進められる構成としてもよい。

本実施形態では、自車両が直進していると判断される場合（ステップＳ１１でＹｅｓ）、推定部１２１は、取得部１１を介してフロントカメラ２１から所定フレーム数の撮影画像を取得する（ステップＳ１２）。推定部１２１は、例えば数フレームから数十フレームの撮影画像を取得する。

次に、推定部１２１は、各フレーム画像に対して特徴点の抽出を行う（ステップＳ１３）。特徴点は、撮影画像中のエッジの交点など、撮影画像において際立って検出できる点である。特徴点は、例えば路面に描かれた白線のエッジ、路面上のひび、路面上のしみ、路面上の砂利などである。本実施形態では、好ましい形態として、コーナーらしさを示すコーナー度が高い特徴点を抽出する。コーナーとは２つのエッジが交わる部分である。コーナー度は、例えばＨａｒｒｉｓオペレータやＫＬＴ（Kanade-Lucas-Tomasi）トラッカーなどの公知の検出手法を用いて求めることができる。本実施形態では、４つの車載カメラ２１～２４間で、特徴点の抽出条件は同じである。ただし、４つの車載カメラ２１～２４間で、特徴点の抽出条件は異なってよい。

図４は、推定部１２１による特徴点の抽出について説明するための図である。図４は、フロントカメラ２１で撮影された撮影画像Ｐを模式的に示している。撮影画像Ｐは、自車両のボディが映り込む領域ＢＯを含む。図４に示す例では、路面ＲＳに描かれている制限速度を示す数字の部分にコーナー度が高い第１特徴点ＦＰ１及び第２特徴点ＦＰ２が存在する。このために、推定部１２１は、路面ＲＳ上に存在する第１特徴点ＦＰ１及び第２特徴点ＦＰ２を抽出する。

なお、図４では、便宜的に２つの特徴点ＦＰ１、ＦＰ２のみが示されているが、コーナー度が所定の特徴点閾値を超える特徴点が存在すれば、これ以外にも特徴点は抽出される。逆に、コーナー度が所定の特徴点閾値を超える特徴点が存在しない場合には、特徴点は抽出されない。各フレーム画像において、特徴点が１つも抽出されないこともあり得る。

図３に戻って、推定部１２１は、全てのフレーム画像に対する特徴点の抽出処理が完了すると、オプティカルフローの導出を行う（ステップＳ１４）。オプティカルフローは、異なる時刻で撮影された２つの撮影画像間における特徴点の動きを示す動きベクトルである。本例では、異なる時刻の間隔は、取得部１１のフレーム周期と同一である。ただし、これに限らず、異なる時刻の間隔は、例えば、取得部１１のフレーム周期の複数倍であってもよい。

図５は、推定部１２１によるオプティカルフローの導出について説明するための図である。図５は、図４と同様に便宜的に示された模式図である。図５は、図４に示す撮影画像Ｐ（便宜的に前フレームＰとする）の撮影後、１フレーム周期経過した後にフロントカメラ２１で撮影された撮影画像Ｐ’（便宜的に現フレームＰ’とする）である。図４に示す撮影画像Ｐの撮影後、１フレーム周期の間、自車両は前方に直進している。図５に示す丸印ＦＰ１Ｐは、図４に示す前フレームＰの撮影時点における第１特徴点ＦＰ１の位置を示す。図５に示す丸印ＦＰ２Ｐは、図４に示す前フレームＰの撮影時点における第２特徴点ＦＰ２の位置を示す。

図５に示すように、自車両が前方に直進すると、自車両の前方に存在する第１特徴点ＦＰ１及び第２特徴点ＦＰ２は自車両に近づく。すなわち、第１特徴点ＦＰ１及び第２特徴点ＦＰ２は、現フレームＰ’と前フレームＰとで異なる位置に現れる。推定部１２１は、現フレームＰ’の第１特徴点ＦＰ１と前フレームＰの第１特徴点ＦＰ１とを、その近傍の画素値に基づいて対応付け、対応付けた第１特徴点ＦＰ１のそれぞれの位置に基づいて、第１特徴点ＦＰ１のオプティカルフローＯＦ１を導出する。同様に、推定部１２１は、現フレームＰ’の第２特徴点ＦＰ２と前フレームＰの第２特徴点ＦＰ２とを、その近傍の画素値に基づいて対応付け、対応付けた第２特徴点ＦＰ２のそれぞれの位置に基づいて、第２特徴点ＦＰ２のオプティカルフローＯＦ２を導出する。

なお、推定部１２１は、取得した複数のフレーム画像のそれぞれについて上述のようにしてオプティカルフローの導出を行う。また、各フレーム画像において２つより多くのオプティカルフローが得られる場合がある。このために、推定部１２１は、姿勢の推定に使うためのオプティカルフローの候補を複数得る場合がある。逆に、推定部１２１は、姿勢の推定に使うためのオプティカルフローの候補を得られない場合もある。

図３に戻って、推定部１２１は、オプティカルフローの導出を行うと、以後に行われる処理に使用するオプティカルフローを所定の選択条件にしたがって選択する（ステップＳ１５）。所定の選択条件は、以後に行われる姿勢の推定に適した、２つのオプティカルフローで構成される組が選択されるように設定される。所定の選択条件を満たす組が複数存在する場合には、所定の選択条件を満たす全ての組が選択される。所定の選択条件を満たす組の数は、撮影画像から抽出される特徴点の数等によって変動する。なお、所定の選択条件を満たす組が存在しない場合には、以後の処理を行うことができない。このために、姿勢の推定処理は終了される。この段階で姿勢の推定処理が終了された場合には、姿勢の推定結果は獲得されないことになる。本実施形態では、４つの車載カメラ２１～２４間において、使用するオプティカルフローの選択条件は同じである。ただし、当該選択条件は、４つの車載カメラ２１～２４間で異なってもよい。

ここで、ステップＳ１５で選択された使用オプティカルフローの組に、図５に示す第１オプティカルフローＯＦ１と第２オプティカルフローＯＦ２との組が含まれるものして、ステップＳ１６以降の処理について説明する。

推定部１２１は、第１特徴点ＦＰ１のオプティカルフローＯＦ１と第２特徴点ＦＰ２のオプティカルフローＯＦ２を用いた処理を進める。推定部１２１は、特徴点に対し、記憶部１３に記憶されているフロントカメラ２１の内部パラメータを用いて座標変換を行う。座標変換では、フロントカメラ２１の収差補正と、歪補正とが行われる。収差補正は、フロントカメラ２１の光学系の収差による歪みを補正するために行われる。具体的には樽型歪みや糸巻歪みなど歪曲収差の補正である。歪み補正は、フロントカメラ２１の光学系そのものの歪みを補正するために行われる。具体的には魚眼補正などである。座標変換により、特徴点の座標は、被写体が透視投影によって撮影された場合に二次元画像上で得られる座標に変換される。

特徴点の座標変換が行われると、推定部１２１は、図６に示すように、第１特徴点ＦＰ１のオプティカルフローＯＦ１の始点を頂点ＳＰ１、第１特徴点ＦＰ１のオプティカルフローＯＦ１の終点を頂点ＥＰ１、第２特徴点ＦＰ１のオプティカルフローＯＦ２の始点を頂点ＳＰ２、及び第２特徴点ＦＰ２のオプティカルフローＯＦ２の終点を頂点ＥＰとする四角形ＱＬを仮想的に形成する（ステップＳ１６）。以降、説明のために四角形や、該四角形の辺などの幾何的要素を仮想的に形成して用いる。しかし、実際の処理では、特徴点の座標や直線の方向などのベクトル演算に基づき、同等の作用を持つ幾何的要素に基づかない処理としてもよい。

四角形ＱＬが仮想的に形成されると、推定部１２１は、四角形ＱＬと、記憶部１３に記憶されているフロントカメラ２１の内部パラメータとを用いて、三次元空間におけるフロントカメラ２１の投影面ＩＭＧ（図７参照）上に四角形ＱＬを移動させ、投影面ＩＭＧ上での四角形ＱＬ１を仮想的に生成する（ステップＳ１７）。

なお説明のため、以下のように辺を定義する。四角形ＱＬ１の第１辺ＳＤ１は、四角形ＱＬにおいて、頂点ＳＰ１および頂点ＳＰ２を結んだ辺に対応する。つまり、前フレームＰにおける第１特徴点ＦＰ１と第２特徴点ＦＰ２を結んだ辺に相当する。同様に、四角形ＱＬ１の第２辺ＳＤ２は、四角形ＱＬにおいて、頂点ＳＰ２および頂点ＥＰ２を結んだ辺に対応する。つまり、第２特徴点ＦＰ２のオプティカルフローＯＦ２に相当する。同様に、四角形ＱＬ１の第３辺ＳＤ３は、四角形ＱＬにおいて、頂点ＥＰ１および頂点ＥＰ２を結んだ辺に対応する。つまり、現フレームＰ’における第１特徴点ＦＰ１と第２特徴点ＦＰ２とを結んだ辺に相当する。同様に、四角形ＱＬ１の第４辺ＳＤ４は、四角形ＱＬにおいて、頂点ＳＰ１および頂点ＥＰ１を結んだ辺に対応する。つまり、第１特徴点ＦＰ１のオプティカルフローＯＦ１に相当する。

また、以下のように面を定義する（図７参照）。四角形ＱＬ１の第１辺ＳＤ１とフロントカメラ２１の光学中心ＯＣとが含まれる面を第１面Ｆ１とする。同様に、四角形ＱＬ１の第２辺ＳＤ２とフロントカメラ２１の光学中心ＯＣとが含まれる面を第２面Ｆ２とする。同様に、四角形ＱＬ１の第３辺ＳＤ３とフロントカメラ２１の光学中心ＯＣとが含まれる面を第３面Ｆ３とする。同様に、四角形ＱＬ１の第４辺ＳＤ４とフロントカメラ２１の光学中心ＯＣとが含まれる面を第４面Ｆ４とする。

次に、推定部１２１は、所定の平面との交線が互いに平行になる面の組を２組特定する（ステップＳ１８）。所定の平面とはあらかじめ平面の法線が分かっている面である。具体的には車両が移動を行っている平面であり、つまり路面である。所定の平面は、厳密な平面でなくてもよく、推定部１２１が所定の平面との交線が互いに平行になる面の組を２組特定する際に平面とみなすことができるものであればよい。

本実施形態では、姿勢推定装置１は、自車両が直進している場合に、異なる時刻に撮影された２つの画像から特徴点を抽出し、該特徴点のオプティカルフローを算出する。また、該特徴点は路面などの所定の平面上に位置している静止物から抽出される。したがって、算出されるオプティカルフローは実世界上では、自車両に対する静止物の相対的な位置変化を表す。つまり向きが逆となった自車両の移動ベクトルである。

四角形ＱＬ１の第２辺ＳＤ２と第４辺ＳＤ４とは、共に特徴点のオプティカルフローに対応するので、共に実世界上では自車両の移動ベクトルに相当する。したがって、路面上では互いに平行となると想定される。

また、四角形ＱＬ１の第１辺ＳＤ１と第３辺ＳＤ３とは、共に特徴点同士の位置関係なので、実世界上では自車両の移動に伴う静止物同士の位置関係に相当する。移動前の位置関係が第１辺ＳＤ１に相当し、移動後の位置関係が第３辺ＳＤ３に相当する。このとき静止物の位置は変わらないため、移動前後で位置関係は変わらない。したがって、路面上ではこれも互いに平行となると想定される。

したがって、推定部１２１は、路面との交線が平行な面として、第２面Ｆ２と第４面Ｆ４との組と、第１面Ｆ１と第３面Ｆ３との組と、の２つの組を特定する。つまり、推定部１２１は、オプティカルフローを含む面同士を１つの組とし、同時刻に撮影された特徴点を含む面同士を他の組として、計２つの組を特定する。

なお、図７において四角形ＱＬ２は、現フレームＰ’の撮影時点での第１特徴点ＦＰ１の３次元空間（実世界）上の位置、現フレームＰ’の撮影時点での第２特徴点ＦＰ２の３次元空間上の位置、前フレームＰの撮影時点での第１特徴点ＦＰ１の３次元空間上の位置、及び前フレームＰの撮影時点での第２特徴点ＦＰ２の３次元空間上の位置を頂点とする四角形である。第１面Ｆ１は、四角形ＱＬ２の第１辺ＳＤ１１を含む。同様に、第２面Ｆ２は四角形ＱＬ２の第２辺ＳＤ１２を含み、第３面Ｆ３は四角形ＱＬ２の第３辺ＳＤ１３を含み、第４面Ｆ４は四角形ＱＬ２の第４辺ＳＤ１４を含む。このとき、上記のように四角形ＱＬ２は路面上に形成される平行四辺形であると想定される。

次に、推定部１２１は、路面の法線を算出する（ステップＳ１９）。まず、推定部１２１は、先に特定した面の組の一方である第１面Ｆ１と第３面Ｆ３とに基づき、面同士の交線の方向を求める。詳細には、第１面Ｆ１と第３面Ｆ３との交線ＣＬ１の向きを求める（図８参照）。交線ＣＬ１の方向ベクトルＶ１は、第１面Ｆ１の法線ベクトル及び第３面Ｆ３の法線ベクトルそれぞれと垂直なベクトルである。したがって、推定部１２１は、第１面Ｆ１の法線ベクトルと第３面Ｆ３の法線ベクトルとの外積により、交線ＣＬ１の方向ベクトルＶ１を求める。第１面Ｆ１と第３面Ｆ３は、路面との交線が平行となるため、方向ベクトルＶ１は路面と平行になる。

同様に、推定部１２１は、先に特定した面の組の他方である第２面Ｆ２と第４面Ｆ４との交線の方向を求める。詳細には第２面Ｆ２と第４面Ｆ４との交線ＣＬ２の向きを求める（図９参照）。交線ＣＬ２の方向ベクトルＶ２は、第２面Ｆ２の法線ベクトル及び第４面Ｆ４の法線ベクトルそれぞれと垂直なベクトルである。したがって、推定部１２１は、第２面Ｆ２の法線ベクトルと第４面Ｆ４の法線ベクトルとの外積により、交線ＣＬ２の方向ベクトルＶ２を求める。第２面Ｆ２と第４面Ｆ４も同様に、路面との交線が平行となるため、方向ベクトルＶ２は路面と平行になる。

推定部１２１は、方向ベクトルＶ１と方向ベクトルＶ２との外積により、四角形ＱＬ２の面の法線、すなわち路面の法線を算出する。推定部１２１が算出した路面の法線はフロントカメラ２１のカメラ座標系で算出されるため、実際の路面の法線である垂直方向との違いから３次元空間の座標系を求め、路面に対するフロントカメラ２１の姿勢を推定することができる。その推定結果から推定部１２１は自車両に対するフロントカメラ２１の姿勢を推定する（ステップＳ２０）。なお、ステップＳ１９の算出処理は、例えば公知のARToolkitを利用して実行することができる。

ステップＳ２０における姿勢推定が終了すると、推定部１２１は、ステップＳ１５で選択した全てのオプティカルフローの組について、姿勢の推定が完了したか否かを確認する（ステップＳ２１）。全ての組に対して姿勢の推定が完了している場合には（ステップＳ２１でＹｅｓ）、図３に示すフローが終了する。一方、全ての組に対して姿勢の推定が完了していない場合には（ステップＳ２１でＮｏ）、ステップＳ１６に戻ってステップＳ１６以降の処理が繰り返される。

姿勢推定装置１は、自車両の移動を利用して、自律的に所定の平面との交線が互いに平行になる面の組を２組特定することで、特徴点の抽出誤差のみが推定精度に影響するカメラの姿勢推定を行うことができる。すなわち、姿勢推定装置１は、誤差要因が少ないカメラの姿勢推定を行うことができる。したがって、姿勢推定装置１は、カメラの姿勢を精度良く推定することができる。

なお、上記の説明ではフロントカメラ２１の光学中心ＯＣと、四角形ＱＬ１の１つの辺を含む平面を特定するとしたがこの限りではない。当該平面の法線方向の特定をもって平面を特定するとしてもよい。例えば光学中心ＯＣから各頂点への方向ベクトルの外積により平面の法線方向を求め、該法線方向によって面を特定するとしてもよい。この場合、第１面Ｆ１の法線方向と第３面Ｆ３の法線方向とを１つの組とし、第２面Ｆ２の法線方向と第４面Ｆ４の法線方向とを他の組として２つの組を特定するとよい。

また、面は平行移動させてもよい。例えば第１面Ｆ１の代わりに、第１面Ｆ１を平行移動させた面を第３面Ｆ３と組としてもよい。平行移動しても所定の平面との交線の向きは変わらないからである。

図２に戻って、ステップＳ５では、確定部１２２が所定の条件に従って姿勢の推定を確定させる処理を行う。具体的には、確定部１２２は、４つの車載カメラ２１～２４のそれぞれについて姿勢の推定結果の獲得数の累積値を求める。第１回目の姿勢の推定処理後においては、得られた獲得数が、そのまま累積値になる。第２回目以降においては、前回得られた累積値に、今回得られた獲得数を加算して獲得数の累積値が得られる。

確定部１２２は、４つの車載カメラ２１～２４のそれぞれについて、獲得数の累積値を所定の複数回数と比較する。獲得数の累積値が所定の複数回数以上に到達したカメラについて、確定部１２２は、その時点で得られている複数の推定結果に基づき姿勢の推定を確定させる。確定部１２２は、例えば、複数の推定結果の平均値、複数の推定結果から作成されるヒストグラムの中央値やピーク値等を姿勢推定の確定値とする。獲得数の累積値が所定の複数回数以上に到達しないカメラについては、姿勢の推定を確定させないと判断され、姿勢推定は確定されない。確定部１２２は、推定確定処理が完了すると、次のステップＳ６に処理を進める。

ステップＳ６では、確定部１２２は、全ての車載カメラ２１～２４について姿勢の推定が確定されたか否かを確認する。全ての車載カメラ２１～２４について姿勢の推定が確定されている場合には（ステップＳ６でＹｅｓ）、図２に示す処理が終了する。この場合は、全ての車載カメラ２１～２４について姿勢の推定が確定されており、姿勢推定の確定結果が姿勢推定装置１から出力可能になる。なお、姿勢推定が確定したカメラが発生するたびに、姿勢推定の確定結果が外部に出力されてよい。姿勢推定の確定結果に基づいて、例えば、車載カメラ２１～２４の取付けのずれが生じた状態であるか否かが判定される。車載カメラ２１～２４の取付けのずれが生じた状態であると判定された場合、例えば、当該異常事態が自車両のユーザに報知される。これにより、自車両のユーザはディーラによるカメラの取付調整を依頼する等の対策をとることが可能となる。

また、各車載カメラ２１～２４の姿勢推定の確定結果は、各車載カメラ２１～２４のパラメータの補正に利用されてよい。これにより、車載カメラ２１～２４の取付けのずれが生じても、そのずれに応じたカメラのキャリブレーションが実行されることになり、車載カメラ２１～２４の取付けのずれが撮影画像に及ぼす悪影響を抑制することができる。また、姿勢の推定結果は、複数の車両とネットワークにより通信可能に設けられるセンターに撮影画像を送信する場合に、撮影画像とセットにしてセンターに送信されてもよい。これにより、センターでの撮影情報の取り扱いを適切に行うことができる。

姿勢の推定が確定されていない車載カメラ２１～２４が存在する場合には（ステップＳ６でＮｏ）、ステップＳ７に処理が進められる。

ステップＳ７では、設定部１２３により、車載カメラ２１～２４毎の優先度を変更する必要があるか否かが判定される。図１０は、第１実施形態の姿勢推定装置１における優先度変更の判定処理の一例を示すフローチャートである。図１０は、図２におけるステップＳ７の処理の詳細を示すフローチャートである。

図１０に示すように、まず、設定部１２３は、姿勢の推定が確定した車載カメラ２１～２４があるか否かを確認する（ステップＳ７１）。詳細には、設定部１２３は、直前に行われた推定確定処理で新たに姿勢の推定が確定したカメラが発生した場合、姿勢の推定が確定した車載カメラ２１～２４があると判断する。そして、設定部１２３は、姿勢の推定が確定した車載カメラ２１～２４がある場合（ステップＳ７１でＹｅｓ）、優先度の変更が必要と判定する（ステップＳ７２）。

すなわち、本実施形態では、設定部１２３は、姿勢の推定が確定されたカメラが発生すると、優先度を変更する。これによると、姿勢の推定を確定させるためにデータの蓄積が必要なカメラに対して優先的に姿勢の推定処理を行うことができる。

一方、設定部１２３は、直前に行われた推定確定処理で新たに姿勢の推定が確定したカメラが発生しなかった場合、姿勢の推定が確定した車載カメラ２１～２４がないと判断して（ステップＳ７１でＮｏ）、次の処理を行う。詳細には、設定部１２３は、４つの車載カメラ２１～２４のそれぞれについて得られた推定結果の獲得数の累積値の中から、最大数と最小数を抽出する。そして、設定部１２３は、最大数と最小数と差が所定閾値以上になったか否かを確認する（ステップＳ７３）。

設定部１２３は、最大数と最小数と差が所定閾値以上になった場合（ステップＳ７３でＹｅｓ）、ステップＳ７２に処理を進める。すなわち、本実施形態では、カメラ２１～２４毎に得られる獲得数の累積値の最大数と最小数との差が所定閾値以上になると、優先度を変更する。これによると、複数のカメラ２１～２４間において、推定結果の獲得数の累積値に偏りが発生することを抑制できる。

一方、設定部１２３は、最大数と最小数と差が所定閾値以上に到達していない場合（ステップＳ７３でＮｏ）、前回の優先度変更の判定処理の際に、最大数と最小数との差が所定閾値以上であったか否かを確認する（ステップＳ７４）。設定部１２３は、前回の優先度変更の判定処理の際に、最大数と最小数との差が所定閾値以上であった場合（ステップＳ７４でＹｅｓ）、ステップＳ７２に処理を進める。

すなわち、本実施形態では、設定部１２３は、最大数と最小数との差が所定閾値以上になった後に所定閾値より小さくなった場合に優先度を変更する。これによると、優先度の設定を適切に見直して推定結果の獲得数の累積値に偏りが発生することを抑制できる。

設定部１２３は、前回の優先度変更の判定処理の際に、最大数と最小数との差が所定閾値より小さかった場合（ステップＳ７４でＮｏ）、優先度の変更が不要と判定する（ステップＳ７５）。

図２に戻って、ステップＳ７において、優先度の変更を行うと判定されると（ステップＳ７でＹｅｓ）、ステップＳ８に処理が進められる。ステップＳ７において、優先度の変更が不要と判定されると（ステップＳ７でＮｏ）、ステップＳ１０に処理が進められる。

ステップＳ８では、設定部１２３が優先度の設定を変更する。設定部１２３は、姿勢の推定が確定した車載カメラ２１～２４がある場合には、当該カメラの優先度を下げる。設定部１２３は、車載カメラ２１～２４毎に得られる推定結果の獲得数の累積値の、最大数と最小数との差が所定閾値以上になっている場合、推定結果の獲得数の累積値が多いカメラの優先度を下げる。設定部１２３は、最大数と最小数との差が所定閾値以上になった後に所定閾値より小さくなったカメラが存在する場合、先の回で下げた優先度を元に戻す。本実施形態では、優先度が下げられると、姿勢の推定処理の順番が飛ばされる。優先度の低いカメラの順番を飛ばすことにより、優先度の高いカメラの処理を時間的に優先して進めることができる。設定部１２３による優先度の設定が行われると、次のステップＳ９に処理が進められる。

ステップＳ９では、設定部１２３は、設定変更された優先度にしたがって、推定処理の対象となるカメラについて、順に姿勢の推定処理を行う。推定処理の対象とされた全てのカメラに対して推定処理を終わると、ステップＳ５の処理に戻る。

ステップＳ１０では、設定部１２３は、先の回と同じ優先度を維持して、推定対象となるカメラについて、順に姿勢の推定処理を行う。推定処理の対象とされた全てのカメラに対して推定処理を終わると、ステップＳ５の処理に戻る。

図１１は、第１実施形態の姿勢推定装置１における優先度の設定について説明するための図である。図１１に示す具体例に基づいて、姿勢推定装置１における優先度の設定について更に説明する。図１１に示す例では、デフォルトにおいて４つの車載カメラ２１～２４に優先度の差はない。デフォルトにおいて、各車載カメラ２１～２４に対して１回ずつ姿勢の推定処理の順番が与えられる。図１１において、実施は姿勢の推定処理が実行されることを指し、未実施は姿勢の推定処理が実行されないことを指す。図１１に示す累積値は、姿勢の推定結果の獲得数の累積値である。図１１に示す例では、累積値が８０（＝所定の複数回）以上に到達すると姿勢の推定が確定される。累積値の最大数と最小数との差を判定する所定閾値は２０である。

第１回目においては、推定処理の優先度に差がなく、フロントカメラ２１、バックカメラ２２、左サイドカメラ２３、右サイドカメラ２４の順に推定処理が行われる。推定処理後の各車載カメラ２１～２４の累積値はいずれも１０であり、いずれのカメラにおいても姿勢の推定は確定されない。また、累積値の最大数と最小数の差はゼロであり、所定閾値（＝２０）より小さい。更に、初回のために、先の回のデータはなく、前回に累積値の最大数と最小数の差が所定閾値以上であったという事実もない。したがって、４つの車載カメラ２１～２４の推定処理後に行われる優先度変更の判定処理において、優先度の設定変更不要と判定される。

第２回目においては、第１回目と同様に、フロントカメラ２１、バックカメラ２２、左サイドカメラ２３、右サイドカメラ２４の順に推定処理が行われる。推定処理後の各車載カメラ２１～２４の累積値はいずれも８０以上に到達しておらず、いずれのカメラにおいても姿勢の推定は確定されない。一方、累積値の最大数（＝５０）と最小数（＝２０）の差は３０であり、所定閾値（＝２０）より大きい。このために、４つの車載カメラ２１～２４の推定処理後に行われる優先度変更の判定処理において、優先度の設定変更必要と判定される。この例では、累積値が最小数に対して２０以上（この設定は適宜変更されてよい）大きくなっているカメラについて、優先度が下げられる。すなわち、フロントカメラ２１とバックカメラ２２とは優先度が下げられ、次回（第３回目）の順番が飛ばされる。

第３回目においては、左サイドカメラ２３、右サイドカメラ２４の順に推定処理が行われる。推定処理後の各車載カメラ２１～２４の累積値はいずれも８０以上に到達しておらず、いずれのカメラにおいても姿勢の推定は確定されない。累積値の最大数（＝５０）と最小数（＝４０）の差は所定数（＝２０）より小さい。ただし、前回確認時において、累積値の最大数と最小数の差は所定閾値より大きかったので、最大数と最小数との差が所定閾値以上になった後に所定閾値より小さくなった場合に該当する。このために、２つの車載カメラ２３、２４の推定処理後に行われる優先度変更の判定処理において、優先度の設定変更必要と判定される。具体的には、前回優先度が下げられたフロントカメラ２１とバックカメラ２２との優先度の設定が元に戻される。すなわち、４つの車載カメラ２１～２４の推定処理の優先度に差がなくなり、次回（第４回目）は、４つの車載カメラ２１～２４の推定処理が行われる。

第４回目においては、フロントカメラ２１、バックカメラ２２、左サイドカメラ２３、右サイドカメラ２４の順に推定処理が行われる。推定処理後において、フロントカメラ２１について、累積値が８０以上に到達しており、姿勢の推定が確定される。このために、４つの車載カメラ２１～２４の推定処理後に行われる優先度変更の判定処理において、優先度の設定変更必要と判定される。具体的には、姿勢の推定が確定されたフロントカメラ２１の優先度の設定が下げられ、次回（第５回目）の順番が飛ばされる。

なお、本例では、第４回目において、累積値の最大数は８０、最小数は６５となる。このために、最大数と最小数との差は所定閾値（＝２０）より小さく、この観点に基づいて優先度の設定は変更されない。ただし、右サイドカメラ２４の累積値が５０であったとする。この場合には、最大数（＝８０）と最小数（＝５０）との差が所定閾値（＝２０）以上となるために、最大数と最小数との差を考慮して優先度の設定が行われる。例えば、最小数より累積値が所定数（本例では２０）以上となるバックカメラ２２と左サイドカメラ２３も優先度が下げられる。

第５回目においては、バックカメラ２２、左サイドカメラ２３、右サイドカメラ２４の順に推定処理が行われる。推定処理を行った３つのカメラ２２～２４の全てについて、累積値が８０以上に到達しており、これらのカメラ２２～２４について、姿勢の推定が確定される。この場合、４つの車載カメラ２１～２４の全てについて姿勢の推定が確定されたことになるために、一連の姿勢の推定処理は一旦終了される。

なお、以上においては、累積値の最大数と最小数を判断するに際して、常に、４つの車載カメラ２１～２４の全てを使う構成としているが、このような構成でなくてもよい。例えば、姿勢の推定が確定したカメラが発生した場合には、当該カメラを除外して、累積値の最大数と最小数との比較が行われる構成としてもよい。すなわち、姿勢の推定処理が確定していないカメラにのみ注目して累積値の最大数と最小数との比較が行われる構成としてもよい。

＜２．第２実施形態＞
次に、第２実施形態の姿勢推定装置について説明する。第２実施形態の説明にあたっては、第１実施形態と重複する内容については、特に説明の必要がない場合には説明を省略する。

図１２は、第２実施形態に係る姿勢推定装置１Ａの構成を説明するための図である。図１２に示すように、第２実施形態においては、制御部１２ＡのＣＰＵが記憶部１３に記憶されるプログラムに従って演算処理を実行することにより実現される機能に判断部１２４が含まれる。すなわち、姿勢推定装置１Ａが判断部１２４を備える。この点が、第１実施形態と異なる。

判断部１２４は、複数の車載カメラ２１～２４の中に、推定結果の獲得数以外に基づく優先条件を有するカメラが存在するか否かを判断する。推定結果の獲得数以外に基づく優先条件は、例えば、運転者の視界に基づく優先条件、自車両の操作状況に基づく優先条件、ナビゲーション装置からの情報に基づく優先条件等であってよい。

運転者の視界に基づく優先条件は、例えば、予め記憶部１３に記憶されている。例えば、運転者の視界が確保し易い方向を撮影するフロントカメラ２１や右サイドカメラ２４（運転席が右側を想定）は、運転者の視界が確保し難い方向を撮影するバックカメラ２２や左サイドカメラ２３に比べて、推定処理の優先度が下げられる。

自車両の操作状況に基づく優先条件は、例えば、通信バスＢ１を介して舵角センサ３から得られる情報や、不図示のシフトセンサから得られる情報等に基づいて判断部１２４が設定してもよいし、外部から入力されてもよい。例えば、シフトセンサが後退である場合には、バックカメラ２２の推定処理の優先度が上げられる。

ナビゲーション装置からの情報に基づく優先条件は、姿勢推定装置１Ａに接続される不図示のナビゲーション装置から得られる情報に基づいて判断部１２４が設定してもよいし、外部から入力されてもよい。例えば、ナビゲーション装置において設定された経路からこの先において右折や左折が想定される場合には、当該曲がる方向に対応したカメラの推定処理の優先度が上げられる。

設定部１２３は、優先条件を有する車載カメラ２１～２４が存在する場合に、当該優先条件に基づいて推定処理の優先度を設定する。これによれば、車両の運転シーン等に合わせて推定処理の優先度の設定の仕方を変更することができ、運転シーンに適したカメラの姿勢推定を行うことができる。

図１３は、第２実施形態の姿勢推定装置１Ａにおいて、４つの車載カメラ２１～２４の姿勢の推定を行う場合に実行される処理の一例を示すフローチャートである。図１３の処理の開始時においては、４つの車載カメラ２１～２４毎の姿勢の推定処理の優先度は同じとされる。すなわち、図１３の処理の開始時において、４つの車載カメラ２１～２４の姿勢の推定処理の頻度には差がない。なお、本例では、新しい優先条件が発生すると、古い優先条件は更新される。また、優先条件にしたがって、優先対象のカメラの姿勢の推定が確定した場合、新たに優先条件が発生しない限り、優先条件はないものとして扱う。ただし、この優先条件の扱いは例示にすぎず、適宜変更されてよい。

ステップＳ３１では、判断部１２４は、推定処理の獲得数以外に基づく優先条件（以下、単に優先条件と記載することがある）を有するカメラが存在するか否かを確認する。判断部１２４は、記憶部１３に記憶される情報、通信バスＢ１を利用して得られるＣＡＮ情報、ナビゲーション装置から得られるルート情報等を確認することにより、優先条件を有するカメラが存在するか否かを判断する。判断部１２４により優先条件を有するカメラがあると判断された場合（ステップＳ３１でＹｅｓ）、ステップＳ３２に処理が進められる。一方、判断部１２４により優先条件を有するカメラがないと判断された場合（ステップＳ３１でＮｏ）、ステップＳ３４に処理が進められる。

ステップＳ３２では、設定部１２３は、優先条件に従って各車載カメラ２１～２４の優先度を設定する。これにより、優先度の設定が処理の開始時の設定から変更される。設定部１２３により優先度が設定されると、ステップＳ３３に処理が進められる。

ステップＳ３３では、変更設定された優先度にしたがって、姿勢の推定処理の対象となるカメラについて、推定処理が順に行われる。なお、姿勢の推定対象となるカメラは、複数のことも単数のこともあり得る。推定対象の対象とされた全てのカメラに対して推定処理が終わると、ステップＳ３５に処理が進められる。

ステップＳ３４では、優先条件を有するカメラがないために優先度が変更されず、処理の開始時に設定された優先度（全てのカメラ２１～２４で同じ）で、推定処理の対象となるカメラの推定処理が順に行われる。本例では、フロントカメラ２１、バックカメラ２２、左サイドカメラ２３、右サイドカメラ２４の順に姿勢の推定処理が行われる。４つの車載カメラ２１～２４の全てについて姿勢の推定処理が終わると、ステップＳ３５に処理が進められる。

ステップＳ３５では、確定部１２２が所定の条件に従って姿勢の推定を確定させる処理を行う。当該処理は、先に説明した図２のステップＳ５と同じために説明を省略する。確定部１２２は、推定確定処理が完了すると、次のステップＳ３６に処理を進める。

ステップＳ３６では、確定部１２２は、全ての車載カメラ２１～２４について姿勢の推定が確定されたか否かを確認する。全ての車載カメラ２１～２４について姿勢の推定が確定されている場合には（ステップＳ３６でＹｅｓ）、図１３に示す処理が終了する。姿勢の推定が確定されていない車載カメラ２１～２４が存在する場合には（ステップＳ３６でＮｏ）、ステップＳ３７に処理が進められる。

ステップＳ３７では、設定部１２３により、車載カメラ２１～２４毎の優先度を変更する必要があるか否かが判定される。図１４は、第２実施形態の姿勢推定装置１Ａにおける優先度変更の判定処理の一例を示すフローチャートである。図１４は、図１３におけるステップＳ３７の処理の詳細を示す図である。

設定部１２３は、まず、新たな優先条件が発生したか否かを確認する（ステップＳ３７１）。新たな優先条件は、その時点で設定されているカメラ２１～２４毎の優先度において加味されていない優先条件である。新たな優先条件が発生した場合には（ステップＳ３７１でＹｅｓ）、設定部１２３は、優先度の変更が必要と判定する（ステップＳ３７２）。

新たな優先条件が発生していない場合には（ステップＳ３７１でＮｏ）、設定部１２３は、姿勢の推定が確定した車載カメラ２１～２４があるか否かを確認する（ステップＳ３７３）。当該確認処理は、図１０のステップＳ７１と同様である。設定部１２３は、姿勢の推定が確定した車載カメラ２１～２４がある場合（ステップＳ３７３でＹｅｓ）、優先度の変更が必要と判定する（ステップＳ３７２）。

姿勢の推定が確定した車載カメラ２１～２４がない場合（ステップＳ３７３でＮｏ）、設定部１２３は、現在の優先度が優先条件に従って設定されたものか否かを確認する（ステップＳ３７４）。現在の優先度が優先条件に従って設定されたものである場合（ステップＳ３７４でＹｅｓ）、優先度の設定変更不要と判定する（ステップＳ３７７）。

現在の優先度が優先条件に従って設定されたものでない場合（ステップＳ３７４でＮｏ）、設定部１２３は、累積値の最大数と最小数と差が所定閾値以上になったか否かを確認する（ステップＳ３７５）。当該処理は、図１０に示すステップＳ７３と同じである。この後に行われるステップＳ３７６は、図１０に示すステップＳ７４と同様である。このため、これらの説明は省略する。

図１３に戻って、ステップＳ３７において、優先度の変更を行うと判定されると（ステップＳ３７でＹｅｓ）、ステップＳ３８に処理が進められる。ステップＳ３７において、優先度の変更が不要と判定されると（ステップＳ３７でＮｏ）、ステップＳ４０に処理が進められる。

ステップＳ３８～ステップＳ４０の処理は、図２に示すステップ８～ステップＳ１０の処理と同様である。このために説明を省略する。なお、優先度の設定変更を行う場合において、新たな優先条件が発生している場合には、先の優先条件を破棄して新たな優先条件で優先度の設定を行う点は、第１実施形態と異なる。

図１５は、第２実施形態の姿勢推定装置１Ａにおける優先度の設定について説明するための図である。図１５に示す具体例に基づいて、姿勢推定装置１Ａにおける優先度の設定について更に説明する。図１５に示す例では、記憶部１３にバックカメラ２２および左サイドカメラ２３の推定処理を優先するように優先条件が記憶されている。図１５において、実施は姿勢の推定処理が実行されることを指し、未実施は姿勢の推定処理が実行されないことを指す。図１５に示す累積値は、姿勢の推定結果の獲得数の累積値である。図１５に示す例では、累積値が８０（＝所定の複数回）以上に到達すると姿勢の推定が確定される。

第１回目においては、記憶部１３に記憶される優先条件により、バックカメラ２２および左サイドカメラ２３の姿勢の推定処理の優先度が上げられる。この結果、第１回目においては、フロントカメラ２１および右サイドカメラ２４の順番が飛ばされ、バックカメラ２２、左サイドカメラ２３の順に推定処理が行われる。推定処理後のバックカメラ２２おの累積値（＝３０）および左サイドカメラ２３の累積値（＝１０）はいずれも８０以上に到達しておらず、いずれのカメラにおいても姿勢の推定は確定されない。また、現在の優先度の設定は優先条件にしたがったものである。したがって、バックカメラ２２および左サイドカメラ２３の推定処理後に行われる優先度変更の判定処理において、新たな優先条件の発生が認められない場合には、優先度の設定変更不要と判定される。本例では、この段階では新たな優先条件は発生しておらず、優先度の設定は変更されない。

なお、本例では、第１回目終了の時点で、バックカメラ２２と左サイドカメラ２３との間で、累積値の差が大きくなっている。この差をなくすために、第２回目においては、左サイドカメラ２３の推定処理が優先される（バックカメラ２２の順番が飛ばされる）構成としてもよい。すなわち、優先処理対象とされるカメラ毎に得られる推定結果の獲得数の累積値の、最大数と最小数との差が所定閾値以上になると優先度を変更してもよい。

第２回目においては、第１回目と同様に、バックカメラ２２、左サイドカメラ２３の順に推定処理が行われる。ここでも、推定処理後のバックカメラ２２および左サイドカメラ２３の累積値はいずれも８０以上に到達しておらず、いずれのカメラにおいても姿勢の推定は確定されない。また、現在の優先度の設定は優先条件にしたがったものである。したがって、バックカメラ２２および左サイドカメラ２３の推定処理後に行われる優先度変更の判定処理において、新たな優先条件の発生が認められない場合には、優先度の設定変更不要と判定される。本例では、この段階で新たな優先条件が発生する。このために、優先度の設定変更必要と判定される。新たな優先条件は、ナビゲーション装置からこの先に左折予定があるとの情報が得られたことにより発生した条件であり、具体的には、左サイドカメラ２３の推定処理を優先するという条件である。新たな優先条件の発生により、優先度の設定が変更される。これにより、次回（第３回目）においては左サイドカメラ２３の推定処理のみが行われる。

第３回目においては、左サイドカメラ２３のみ、推定処理が行われる。推定処理後の左サイドカメラ２３の累積値は８０以上に到達しておらず、姿勢の推定は確定されない。また、現在の優先度の設定は優先条件にしたがったものである。したがって、左サイドカメラ２３の推定処理後に行われる優先度変更の判定処理において、新たな優先条件の発生が認められない場合には、優先度の設定変更不要と判定される。本例では、この段階では新たな優先条件は発生しておらず、優先度の設定は変更されない。

第４回目においては、左サイドカメラ２３のみ、推定処理が行われる。推定処理後の左サイドカメラ２３について、累積値が８０以上に到達しており、姿勢の推定が確定される。このために、左サイドカメラ２３の推定処理後に行われる優先度変更の判定処理において、優先度の設定変更必要と判定される。姿勢の推定が確定された左サイドカメラ２３は、優先度の設定が下げられ、次回（第５回目）の順番が飛ばされる。また、左サイドカメラ２３の姿勢推定の確定により、優先条件は存在しないことになる。この結果、車載カメラ２１～２４毎に得られる累積値の最大数（＝８５）と最小数（＝０）との差が所定閾値以上であるか否かの結果が参酌され、これに基づいて優先度が決められる。これにより、累積値が大きいバックカメラ２２の優先度が下げられ、次回の順番が飛ばされる。

第５回目においては、フロントカメラ２１、右サイドカメラ２４の順に推定処理が行われる。推定処理後のフロントカメラ２１および右サイドカメラ２４の累積値はいずれも８０以上に到達しておらず、先に確定した左サイドカメラ２３を除き、姿勢の推定が確定していない。このために、この後も、姿勢推定の確定のための推定処理が、上述した図１３等に示すフローチャートにしたがって続けられる。

＜３．留意事項＞
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。

以上におけるカメラの姿勢の推定処理の方法は例示にすぎない。カメラの姿勢の推定処理の方法は、適宜変更されてよい。カメラの姿勢の推定処理は、例えば、撮影画像から抽出される特徴点の動きと、自車両の移動情報（移動量や速度）とを比較して求める構成等であってもよい。

本発明は、自動駐車等の移動体の運転支援を行うカメラの姿勢推定を行うために利用することができる。また、本発明は、ドライブレコーダ等の運転情報を記録するカメラの姿勢推定を行うために利用することができる。また、本発明は、カメラの姿勢の推定情報を利用して撮影画像を補正する補正装置等に利用することができる。また、本発明は、複数の移動体とネットワークにより通信可能に設けられるセンターと連携して動作する装置等に利用することができる。当該装置は、例えば、センターに撮影画像を送信する場合に、カメラの姿勢の推定情報を撮影画像とセットにして送信する構成であってよい。そして、センターでは、カメラの姿勢の推定情報を用いて、各種画像処理（カメラの姿勢も考慮した画像の視点・視方向を変更する処理、例えば車両の車体前方方向の画像に視点・視方向変換した画像を生成する等）、画像を用いた計測処理におけるカメラの姿勢に対する補正処理、カメラ姿勢の経年変化を統計処理（多くの車両のデータ）、等を行いユーザへの有用な提供データを生成する等する。

１、１Ａ 姿勢推定装置
２１～２４ 車載カメラ
１１ 取得部
１２１ 推定部
１２２ 確定部
１２３ 設定部
１２４ 判断部

Claims (9)

1. 移動体に搭載される複数のカメラのそれぞれから撮影画像を取得する取得部と、
   前記カメラの姿勢を推定する推定処理を、前記撮影画像に基づいて行う推定部と、
   前記カメラ毎の前記推定処理の優先度を、前記カメラ毎に行われる前記推定処理により獲得される推定結果の獲得数に基づいて設定する設定部と、
   を備える、姿勢推定装置。
2. 前記設定部は、前記カメラ毎の前記獲得数の累積値の比較結果に基づいて前記優先度を設定する、請求項１に記載の姿勢推定装置。
3. 前記獲得数の累積値が所定の複数回数以上に到達した前記カメラについて、複数の前記推定結果に基づいて前記姿勢の推定を確定させる確定部を更に備える、請求項１又は２に記載の姿勢推定装置。
4. 前記設定部は、前記姿勢の推定が確定された前記カメラが発生すると、前記優先度を変更する、請求項３に記載の姿勢推定装置。
5. 前記設定部は、前記カメラ毎に得られる前記獲得数の累積値の、最大数と最小数との差が所定閾値以上になると前記優先度を変更する、請求項１から４のいずれか１項に記載の姿勢推定装置。
6. 前記設定部は、前記最大数と前記最小数との差が前記所定閾値以上になった後に前記所定閾値より小さくなった場合に前記優先度を変更する、請求項５に記載の姿勢推定装置。
7. 前記複数のカメラの中に、前記獲得数以外に基づく優先条件を有するカメラが存在するか否かを判断する判断部を更に備え、
   前記設定部は、前記優先条件を有するカメラが存在する場合に、前記優先条件に基づいて前記優先度を設定する、請求項１から４のいずれか１項に記載の姿勢推定装置。
8. 前記設定部は、所定のタイミングで前記優先度の変更を行うか否かを確認し、
   前記所定のタイミングは、前記推定処理の順番が前記複数のカメラの全てに１回ずつ与えられる毎に発生し、
   前記複数のカメラの中に前記優先度の設定により前記順番が飛ばされるカメラがある場合には、当該カメラに前記順番が与えられたとみなして前記所定のタイミングが判断される、請求項１から７のいずれか１項に記載の姿勢推定装置。
9. 移動体に搭載される複数のカメラのそれぞれから撮影画像を取得する取得工程と、
   前記カメラの姿勢を推定する推定処理を、前記撮影画像に基づいて行う推定工程と、
   前記カメラ毎の前記推定処理の優先度を、前記カメラ毎に行われる前記推定処理により獲得される推定結果の獲得数に基づいて設定する設定工程と、
   を備える、姿勢推定方法。

Images