JP7358933B2 - カメラキャリブレーション装置 - Google Patents

Description

本発明の実施形態は、カメラキャリブレーション装置に関する。

車両等の移動体に搭載される複数のカメラによって当該移動体の周囲を撮像した画像から、２つの区画線が交差する２つの特徴点、および当該２つの区画線の方向を検出し、その検出結果に基づいて、移動体およびその周囲の俯瞰画像を生成し、当該俯瞰画像において、２つの特徴点が水平または垂直の位置関係となり、かつ２つの区画線が直角に交わるように、カメラのキャリブレーションを実行する技術が開発されている。

特許第５４９１２３５号公報

しかしながら、上記の技術では、移動体が走行する路面が平坦であり、かつ当該路面に区画線が存在しなければ、カメラのキャリブレーションを実行することが困難である。

そこで、実施形態の課題の一つは、移動体が走行する路面が平坦でない場合や、当該路面に区画線が存在しない場合でも、カメラのキャリブレーションを実行可能となるカメラキャリブレーション装置を提供することである。

実施形態のカメラキャリブレーション装置は、一例として、移動体に搭載される、第１撮像部および当該第１撮像部とは異なる第２撮像部によって当該移動体の周囲を撮像したフレームを取得する画像取得部と、前記第１撮像部および前記第２撮像部のそれぞれによって撮像される前記フレームのうち所定タイミングの前記フレームである第１キーフレームを選択するＫＦ選択部と、前記第１キーフレームに基づいて、前記第１撮像部および前記第２撮像部のそれぞれの位置および姿勢を示す位置姿勢情報を推定するカメラ位置姿勢推定部と、前記フレーム内に存在する特徴点を抽出し、当該特徴点に基づいて、前記第１撮像部および前記第２撮像部のそれぞれの周囲の地図でありかつ前記位置姿勢情報を含む周囲地図を作成する地図作成部と、前記第１撮像部の前記周囲地図と、前記第２撮像部の前記周囲地図と、を統合した統合地図を作成する地図統合部と、前記統合地図における、前記第１撮像部の前記位置姿勢情報と、前記第２撮像部の前記位置姿勢情報と、に基づいて、前記第１撮像部と前記第２撮像部間の位置および姿勢の関係を示すカメラパラメータを算出するカメラパラメータ算出部と、を備える。よって、一例として、平坦な路面や区画線等の特定の物体が存在しない場合でも、第１，２撮像部間の位置姿勢情報の関係を算出することができる。

また、実施形態のカメラキャリブレーション装置は、一例として、前記所定タイミングは、１つ前の前記第１キーフレームが撮像されてから所定時間経過するタイミング、または１つ前の前記第１キーフレームが撮像されてから前記移動体が所定距離移動するタイミングである。よって、一例として、複数の撮像部の位置姿勢情報の関係の算出精度を向上させることができる。

また、実施形態のカメラキャリブレーション装置は、一例として、前記第１撮像部の前記フレームと、前記第２撮像部の前記フレームと、の類似箇所を検索するシーン検索部をさらに備え、前記地図統合部は、前記第１撮像部の前記フレームと前記第２撮像部の前記フレーム間の前記類似箇所の対応関係、および前記第１撮像部および前記第２撮像部のそれぞれの前記周囲地図の特徴点と前記類似箇所との対応関係に基づいて、前記統合地図を作成する。よって、一例として、高精度な統合地図が作成可能となる。

また、実施形態のカメラキャリブレーションン装置は、一例として、前記地図作成部は、所定フレームの特徴点と、当該所定フレームより前の前記フレームの特徴点と、が一致する数または割合が所定値以下となる場合に、前記所定フレームを第２キーフレームとして選択し、前記第２キーフレーム内に存在する前記特徴点に基づいて、前記周囲地図を作成する。よって、一例として、周囲地図の精度を向上させることができる。

また、実施形態のカメラキャリブレーションン装置は、一例として、前記統合地図を全体最適化する全体最適化部をさらに備え、前記カメラパラメータ算出部は、全体最適化された前記統合地図における、前記第１撮像部の前記位置姿勢情報と、前記第２撮像部の前記位置姿勢情報と、に基づいて、前記カメラパラメータを算出する。よって、一例として、第１，２撮像部間における位置姿勢情報の関係をより高精度に求めることができる。

また、実施形態のカメラキャリブレーション装置は、一例として、前記移動体は、車両であり、前記シーン検索部は、前記車両の駐車時における、前記第１撮像部の前記フレームと、前記第２撮像部の前記フレームと、の前記類似箇所を検索する。

また、実施形態のカメラキャリブレーションン装置は、一例として、前記シーン検索部は、前記車両の切り返し前の前記第１撮像部の前記フレームと、前記車両の切り返し後の前記第２撮像部の前記フレームと、の前記類似箇所を検索する。よって、一例として、類似箇所の検索による処理負荷を軽減することができる。

また、実施形態のカメラキャリブレーションン装置は、一例として、前記シーン検索部は、前記車両の駐車開始位置と切り返し位置との間の中間領域における前記第１撮像部の前記フレームと、および前記車両の切り返し位置から駐車目標位置までの中間領域における前記第２撮像部の前記フレームと、の前記類似箇所を検索する。よって、一例として、類似箇所の検索による処理負荷をより軽減することができる。

図１は、本実施形態にかかるカメラキャリブレーション装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、本実施形態にかかる車両の一例の平面図である。 図３は、本実施形態にかかる車両の機能構成の一例を示すブロック図である。 図４は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。 図５は、本実施形態にかかる車両が有するＥＣＵによる周辺地図の作成処理の一例を説明するための図である。 図６は、本実施形態にかかる車両が有するＥＣＵによる統合地図の作成処理の一例を説明するための図である。 図７は、本実施形態にかかる車両が有するＥＣＵによるカメラパラメータの算出処理の流れの一例を示すフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

本実施形態にかかるカメラキャリブレーション装置を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。

図１は、本実施形態にかかるカメラキャリブレーション装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１と、を備える。車体２は、乗員が乗車する車室２ａを有する。車室２ａ内には、乗員としての運転手が座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転手の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転手の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。

モニタ装置１１は、例えば、ダッシュボード２４の車幅方向（すなわち、左右方向）の中央部に設けられる。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有していても良い。モニタ装置１１は、表示装置８、音声出力装置９、および操作入力部１０を有する。また、モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、および押しボタン等の各種の操作入力部を有しても良い。

表示装置８は、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electroluminescent Display）等で構成され、画像データに基づいて各種画像を表示可能である。音声出力装置９は、スピーカ等で構成され、音声データに基づいて各種音声を出力する。音声出力装置９は、車室２ａ内において、モニタ装置１１以外の異なる位置に設けられていても良い。

操作入力部１０は、タッチパネル等で構成され、乗員による各種情報の入力を可能とする。また、操作入力部１０は、表示装置８の表示画面に設けられ、表示装置８に表示される画像を透過可能である。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることを可能とする。操作入力部１０は、表示装置８の表示画面上における乗員のタッチ操作を検出することによって、乗員による各種情報の入力を受け付ける。

図２は、本実施形態にかかる車両の一例の平面図である。図１および図２に示すように、車両１は、四輪自動車等であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有する。４つの車輪３の全てまたは一部が、転舵可能である。

車両１は、複数の撮像部１５（車載カメラ）を搭載する。本実施形態では、車両１は、例えば、４つの撮像部１５ａ～１５ｄを搭載する。撮像部１５は、ＣＣＤ（Charge Coupled Device）またはＣＩＳ（CMOS Image Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像を出力する。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、１４０°～２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。

具体的には、撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置し、リアハッチのドア２ｈのリアウィンドウの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置し、右側のドアミラー２ｇに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両の側方の領域を撮像可能である。撮像部１５ｃは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部２ｃに位置し、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｄは、例えば、車体２の左側、すなわち、車幅方向の左側の端部２ｄに位置し、左側のドアミラー２ｇに設けられている。そして、撮像部１５ｄは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。

図３は、本実施形態にかかる車両の機能構成の一例を示すブロック図である。次に、図３を用いて、本実施形態にかかる車両１の機能構成の一例について説明する。

図３に示すように、車両１は、操舵システム１３と、ブレーキシステム１８と、舵角センサ１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、車内ネットワーク２３と、ＥＣＵ（Electronic Control Unit）１４と、を備える。

モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、およびＥＣＵ１４は、電気通信回線である車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、ＣＡＮ（Controller Area Network）等により構成される。

操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。

ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake By Wire）を含む。

ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。

舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。

アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。

シフトセンサ２１は、変速操作部７の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。

車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。

ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、およびＳＳＤ（Solid State Drive）１４ｆを備える。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、およびＲＡＭ１４ｃは、同一の回路基板内に設けられていても良い。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムに従って各種の演算処理を実行する。例えば、ＣＰＵ１４ａは、表示装置８に表示させる画像データに対する画像処理、駐車位置等の目標位置までの目標経路に従った車両１の走行の制御、撮像部１５のキャリブレーションに関わる処理等を実行する。

ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。

表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５から取得してＣＰＵ１４ａへ出力する画像データに対する画像処理、ＣＰＵ１４ａから取得した画像データを表示装置８に表示させる表示用の画像データへの変換等を実行する。

音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、ＣＰＵ１４ａから取得して音声出力装置９に出力させる音声の処理を実行する。

ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを記憶し続ける。

図４は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。

次に、図４を用いて、本実施形態にかかる車両１が有するＥＣＵ１４の機能構成の一例について説明する。

図４に示すように、ＥＣＵ１４は、画像取得部４０１、カメラ位置姿勢推定部４０２、地図作成部４０３、完了判定部４０４、ＫＦ選択部４０５、シーン検索部４０６、地図統合部４０７、全体最適化部４０８、およびカメラパラメータ算出部４０９を備える。

例えば、回路基板に搭載されたＣＰＵ１４ａ等のプロセッサが、ＲＯＭ１４ｂまたはＳＳＤ１４ｆ等の記憶媒体内に格納されたカメラキャリブレーションプログラムを実行することにより、ＥＣＵ１４は、画像取得部４０１、カメラ位置姿勢推定部４０２、地図作成部４０３、完了判定部４０４、ＫＦ選択部４０５、シーン検索部４０６、地図統合部４０７、全体最適化部４０８、およびカメラパラメータ算出部４０９の機能を実現する。画像取得部４０１、カメラ位置姿勢推定部４０２、地図作成部４０３、完了判定部４０４、ＫＦ選択部４０５、シーン検索部４０６、地図統合部４０７、全体最適化部４０８、およびカメラパラメータ算出部４０９の一部または全部を回路等のハードウェアによって構成しても良い。

画像取得部４０１は、撮像部１５によって車両１（移動体の一例）の周囲を撮像して得られる撮像画像（フレーム）を取得する。本実施形態では、画像取得部４０１は、車両１の駐車時に、撮像部１５から、フレームを取得する。これにより、複数の撮像部１５によって同一の領域を撮像して得られるフレームを用いて、複数の撮像部１５間の位置および姿勢の関係を示すカメラパラメータを算出することができるので、カメラパラメータの算出精度を向上させることができる。例えば、画像取得部４０１は、操作入力部１０を介して、車両１の自動駐車が指示されてから、車両１の駐車が完了するまでの間、撮像部１５から、フレームを取得する。

ＫＦ選択部４０５は、複数の撮像部１５のそれぞれによって撮像されるフレームのうち所定タイミングのフレームである第１キーフレームを選択するＫＦ選択部の一例である。ここで、所定タイミングは、１つ前の第１キーフレームが撮像されてから所定時間経過するタイミング、または、１つ前の第１キーフレームが撮像されてから車両１が所定距離移動するタイミングである。なお、所定時間は、予め設定された時間であり、一定時間であっても良いし、一定時間でなくても良い。また、所定距離は、予め設定された距離であり、一定距離であっても良いし、一定距離でなくても良い。また、複数の撮像部１５間において、所定タイミングは、同じタイミングであって良いし、その差分が予め設定された閾値以下のタイミングであっても良い。

これにより、同一のタイミングに撮像されたフレームに基づいて推定される位置姿勢情報を用いて、複数の撮像部１５間の位置姿勢情報の関係を求めることができる。その結果、複数の撮像部１５の位置姿勢情報の関係の算出精度を向上させることができる。

カメラ位置姿勢推定部４０２は、ＫＦ選択部４０５によって選択される第１キーフレームに基づいて、各撮像部１５の位置姿勢情報を推定する推定部の一例である。ここで、位置姿勢情報は、撮像部１５の位置（以下、自己位置と言う）および姿勢を示す情報である。例えば、カメラ位置姿勢推定部４０２は、ＳＦＭ（Structure from Motion）やVisual Slam等によって、第１キーフレームに基づいて、撮像部１５の位置姿勢情報を推定する。本実施形態では、カメラ位置姿勢推定部４０２は、第１キーフレームに基づいて、各撮像部１５の位置姿勢情報を推定しているが、後述する第２キーフレームに基づいても、各撮像部１５の位置姿勢情報を推定しても良い。

地図作成部４０３は、撮像部１５により撮像したフレーム内に存在する特徴点を抽出し、当該特徴点に基づいて、各撮像部１５の地図（以下、周囲地図と言う）を作成する作成部の一例である。ここで、周囲地図は、車両１の周囲の地図（例えば、三次元の地図）である。また、周囲地図は、撮像部１５の自己位置および撮像部１５の姿勢（すなわち、位置姿勢情報）を含む。

例えば、地図作成部４０３は、Ｖｉｓｕａｌ ＳＬＡＭ（Simultaneous Localization And Mapping）やＳＦＭ等によって、周囲地図を作成する。具体的には、地図作成部４０３は、撮像部１５により撮像したフレームから特徴点を抽出する。次いで、地図作成部４０３は、撮像部１５の位置姿勢情報、および抽出した特徴点に基づいて、三角測量によって、撮像部１５と当該特徴点間の距離を求めることにより、周囲地図を作成する。

本実施形態では、地図作成部４０３は、撮像部１５により撮像されるフレームから、第２キーフレームを選択する。ここで、第２キーフレームは、撮像部１５により撮像したフレームのうち、後述する地図作成部４０３による周囲地図の作成において、重要な位置において撮像されたフレームである。例えば、地図作成部４０３は、所定フレームの特徴点と、当該所定フレームよりも前のフレームの特徴点と、が一致する数または割合が所定値以下となる場合に、当該所定フレームを第２キーフレームとして選択する。ここで、第１キーフレームとして選択されるフレームが第２キーフレームとして選択されても良い。そして、地図作成部４０３は、撮像部１５により撮像したフレームのうち、当該選択した第２キーフレーム内に存在する特徴点に基づいて、周囲地図を作成する。

これにより、周囲地図の作成に用いるフレームの間隔が長くなり過ぎて、高精度な周囲地図の作成に十分な特徴点が得られなくなることを防止できるので、周囲地図の精度を向上させることができる。また、周囲地図の作成に用いるフレームの数が多くなり、当該フレームから抽出される特徴点の数が多くなり過ぎることを防止できるので、周囲地図の作成による処理負荷を軽減することができる。

また、本実施形態では、地図作成部４０３は、車輪速センサ２２により検出される車輪３の回転数や、図示しないＩＭＵ（Inertial Measurement Unit）によって検出される車両１に作用する角速度や加速度等に基づいて、撮像部１５の位置姿勢情報を補正すること等によって、周囲地図に含まれるスケールドリフトの影響を軽減する。

完了判定部４０４は、撮像部１５の移動が停止して、地図作成部４０３による周囲地図の作成が完了したか否かを判定する。本実施形態では、完了判定部４０４は、車輪速センサ２２により検出される車輪３の回転数や、図示しないＩＭＵによって検出される車両１に作用する角速度や加速度等に基づいて、撮像部１５の移動が停止したか否かを判定する。そして、完了判定部４０４は、撮像部１５の移動が停止したと判定した場合、地図作成部４０３による周囲地図の作成が完了したと判定する。

シーン検索部４０６は、複数の撮像部１５のうちいずれかの撮像部（以下、第１撮像部と言う）１５のフレームと、複数の撮像部１５のうち第１撮像部１５とは異なる撮像部（以下、第２撮像部と言う）１５のフレームと、の類似する箇所（例えば、特徴点。以下、類似箇所と言う。）を検索する検索部の一例である。本実施形態では、シーン検索部４０６は、第１，２撮像部１５のそれぞれの周囲地図の作成に用いたフレームから類似箇所を検索する。これにより、第１，２撮像部１５のフレーム間の類似箇所の検索精度を高めることができるので、後述する地図統合部４０７によって高精度な統合地図を作成可能となる。

例えば、シーン検索部４０６は、Bag-Of-Visual Wordsや、Fisher Vectors、Deep Learning等によって、第１，２撮像部１５のそれぞれのフレームを特徴量で表現したり、第１，２撮像部１５のそれぞれのフレーム間の局所特徴量の類似性を求めたりする。これにより、シーン検索部４０６は、第１，２撮像部１５のそれぞれのフレームに含まれる特徴点のうち、同一領域を撮像した特徴点を、類似箇所として検索する。

本実施形態では、シーン検索部４０６は、完了判定部４０４によって、地図作成部４０３による周囲地図の作成が完了したと判定された場合に、第１，２撮像部１５のそれぞれのフレームの類似箇所を検索するものとする。

地図統合部４０７は、第１撮像部１５の周囲地図と、第２撮像部１５の周囲地図と、を統合した地図（以下、統合地図と言う）を作成する統合部の一例である。具体的には、地図統合部４０７は、第１，２撮像部１５のそれぞれのフレーム間における類似箇所の対応関係、および第１，２撮像部１５のそれぞれの周囲地図に含まれる特徴点（以下、地図点群と言う）と類似箇所との対応関係に基づいて、第１，２撮像部１５のそれぞれの周囲地図に対して、回転、並進、拡縮等を実行する。これにより、地図統合部４０７は、第１撮像部１５の周囲地図と、第２撮像部１５の周囲地図と、を統合した統合地図を作成する。

本実施形態では、地図統合部４０７は、第１，２撮像部１５のそれぞれの周囲地図に対して、拡縮を実行しているが、車輪速センサ２２により検出される車輪３の回転数や、図示しないＩＭＵによって検出される車両１に作用する角速度や加速度等を用いて、絶対的なスケールが求められている場合には、第１，２撮像部１５のそれぞれの周囲地図に対して、回転および並進のみを実行して、統合地図を作成しても良い。

全体最適化部４０８は、地図統合部４０７により作成される統合地図の全体最適化を実行する。具体的には、全体最適化部４０８は、第１，２撮像部１５のそれぞれのフレーム（本実施形態では、第１キーフレームおよび第２キーフレーム）の特徴点のうち、シーン検索部４０６により検索した類似箇所以外の特徴点に対応する周囲地図の地図点群が、第１，２撮像部１５のそれぞれの周囲地図間において一致するように、統合地図を調整する。これにより、より高精度な統合地図が作成されるので、第１，２撮像部１５間における位置姿勢情報の関係をより高精度に求めることができる。

カメラパラメータ算出部４０９は、統合地図の所定タイミングにおける第１，２撮像部１５のそれぞれの位置姿勢情報に基づいて、第１，２撮像部１５間の位置姿勢情報の関係を示すカメラパラメータを算出する。これにより、平坦な路面や区画線等の特定の物体を用いずに統合地図を作成することができるので、平坦な路面や区画線等の特定の物体が存在しない場合でも、第１，２撮像部１５間の位置姿勢情報の関係を算出することができる。

本実施形態では、カメラパラメータ算出部４０９は、全体最適化部４０８によって全体最適化された統合地図の所定タイミングにおける第１，２撮像部１５のそれぞれの位置姿勢情報に基づいて、カメラパラメータを算出する。これにより、より高精度な統合地図を用いてカメラパラメータを算出することができるので、第１，２撮像部１５間の位置姿勢情報の関係の算出精度を向上させることができる。

本実施形態では、カメラパラメータ算出部４０９は、撮像部１５毎に、当該撮像部１５とは異なる撮像部１５とのカメラパラメータを算出する。そして、カメラパラメータ算出部４０９は、複数の撮像部１５のそれぞれについて算出したカメラパラメータに基づいて、各撮像部１５について算出したカメラパラメータを、複数の撮像部１５のうちいずれか１つの撮像部１５の位置姿勢情報を基準とするカメラパラメータに補正する。

図５は、本実施形態にかかる車両が有するＥＣＵによる周辺地図の作成処理の一例を説明するための図である。

次に、図５を用いて、本実施形態にかかるＥＣＵ１４による周囲地図の作成処理の一例について説明する。

ここでは、図５に示すように、車両１を、駐車開始位置Ｓから、切り返し位置Ｔを経由して、駐車目標位置Ｅに横列駐車する場合における、撮像部１５ｂ，１５ｃの周囲地図Ｍ１，Ｍ２の作成処理について説明する。なお、他の撮像部１５ａ，１５ｄについても、同様にして周囲地図を作成するものとする。

車両１を駐車目標位置Ｅに対して横列駐車させる場合、地図作成部４０３は、例えば、図５に示すように、車両１の前方を撮像可能な撮像部１５ｃの第２キーフレーム、および当該撮像部１５ｃの第１キーフレームに基づいて推定される位置姿勢情報Ｉ１－１～Ｉ１－７に基づいて、周囲地図Ｍ１を作成する。ここで、周囲地図Ｍ１には、図５に示すように、位置姿勢情報Ｉ１－１～Ｉ１－７、および撮像部１５ｃの第２キーフレームに含まれる特徴点に対応する地図点群Ｐ１～Ｐ８が含まれる。

また、地図作成部４０３は、例えば、図５に示すように、車両１の右側方を撮像可能な撮像部１５ｂの第２キーフレーム、および当該撮像部１５ｂの第１キーフレームに基づいて推定した位置姿勢情報Ｉ２－１～Ｉ２－７に基づいて、周囲地図Ｍ２を作成する。周囲地図Ｍ２には、図５に示すように、位置姿勢情報Ｉ２－１～Ｉ２－７、および撮像部１５ｂの第２キーフレームに含まれる特徴点に対応する地図点群Ｐ１～Ｐ８が含まれる。

さらに、地図作成部４０３は、図５に示すように、撮像部１５ｃの第２キーフレームに基づいて推定される位置姿勢情報Ｉ１´－１～Ｉ１´－７を、周囲地図Ｍ１に含める。同様にして、地図作成部４０３は、図５に示すように、撮像部１５ｂの第２キーフレームに基づいて推定される位置姿勢情報Ｉ２´－１～Ｉ２´－７を、周囲地図Ｍ２に含める。

ここで、位置姿勢情報Ｉ１－１～Ｉ１－７，Ｉ１´－１～Ｉ１´－７，Ｉ２－１～Ｉ２－７，Ｉ２´－１～Ｉ２´－７は、図５に示すように、三角錐や四角錐等の錐体により表される。そして、周囲地図Ｍ１，Ｍ２における錐体の位置が、第１キーフレームまたは第２キーフレームが撮像された撮像部１５ｃ，１５ｂの自己位置を表す。また、錐体の底面ＢＡの向きが、撮像部１５ｃ，１５ｂの姿勢を表している。

図６は、本実施形態にかかる車両が有するＥＣＵによる統合地図の作成処理の一例を説明するための図である。

次に、図５および図６を用いて、本実施形態にかかる車両１が有するＥＣＵ１４による統合地図の作成処理の一例について説明する。ここでは、撮像部１５ｃの周囲地図Ｍ１と撮像部１５ｂの周囲地図Ｍ２を統合した統合地図Ｍを作成する例、および当該統合地図Ｍを用いて撮像部１５ｃと撮像部１５とのカメラパラメータを算出する例について説明するが、他の撮像部１５間についても、同様にして、統合地図の作成およびカメラパラメータの算出を実行するものとする。

完了判定部４０４によって、地図作成部４０３による各撮像部１５ａ～１５ｄの周囲地図の作成が完了したと判定された場合（図５参照）、シーン検索部４０６は、第１撮像部１５の一例である撮像部１５ｃのフレーム（本実施形態では、第２キーフレーム）と、第２撮像部１５の一例である撮像部１５ｂのフレーム（本実施形態では、第２キーフレーム）と、の類似箇所を検索する。

すなわち、シーン検索部４０６は、車両１の駐車時における、第１撮像部１５ｃのフレームと、第２撮像部１５ｂのフレームと、の類似箇所を検索する。これにより、同一の領域を撮像したフレームから類似箇所を検索できる可能性が高まるので、類似箇所の検索精度を高めることができる。

本実施形態では、シーン検索部４０６は、車両１の切り返し前の第１撮像部１５ｃの第２キーフレームと、車両１の切り返し後の第２撮像部１５ｂの第２キーフレームと、の類似箇所を検索する。これにより、複数の撮像部１５ａ～１５ｄの第２キーフレームの中から類似箇所を検索する際に、複数の撮像部１５ａ～１５ｄの第２キーフレームのうち一部の第２キーフレームの中から類似箇所を検索すれば良いので、類似箇所の検索による処理負荷を軽減することができる。

その際、シーン検索部４０６は、図５に示すように、車両１の駐車開始位置Ｓから切り返し位置Ｔまでの中間領域Ｒ１における第１撮像部１５ｃの第２キーフレームと、切り返し位置Ｔから駐車目標位置Ｅまでの中間領域Ｒ２における第２撮像部１５ｂの第２キーフレームと、の類似箇所を検索することが好ましい。

これにより、複数の撮像部１５ａ～１５ｄの第２キーフレームの中から類似箇所を検索する際に、類似箇所を検索する第２キーフレームを減少させることができるので、類似箇所の検索による処理負荷をより軽減することができる。

次いで、地図統合部４０７は、図６に示すように、上述したように、第１，２撮像部１５ｃ，１５ｂのそれぞれの第２キーフレーム間における類似箇所の対応関係、および周囲地図Ｍ１，Ｍ２に含まれる地図点群Ｐ１～Ｐ８と類似箇所との対応関係に基づいて、周囲地図Ｍ１，Ｍ２に対して、回転、並進、拡縮等を実行する。図５に示す例においては、地図統合部４０７は、周囲地図Ｍ２を時計回りに９０度回転させた後、周囲地図Ｍ１，Ｍ２のそれぞれに含まれる地図点群Ｐ１～Ｐ８が一致するように、周囲地図Ｍ１，Ｍ２を並進および拡縮させる。これにより、地図統合部４０７は、図６に示すように、周囲地図Ｍ１，Ｍ２を統合した統合地図Ｍを作成する。

統合地図Ｍが作成されると、カメラパラメータ算出部４０９は、図６に示すように、第１撮像部１５ｃの位置姿勢情報Ｉ１－１～Ｉ１－７，Ｉ１´－１～Ｉ１´－７から、予め設定されるタイミング（例えば、所定タイミング）における位置姿勢情報（例えば、位置姿勢情報Ｉ１´－７）を抽出する。さらに、カメラパラメータ算出部４０９は、図６に示すように、第２撮像部１５ｂの位置姿勢情報Ｉ２－１～Ｉ２－７，Ｉ２´－１～Ｉ２´－７から、所定タイミングにおける位置姿勢情報（例えば、位置姿勢情報Ｉ２´－７）を抽出する。そして、カメラパラメータ算出部４０９は、位置姿勢情報Ｉ１´－７と、位置姿勢情報Ｉ２´－７と、に基づいて、第１，２撮像部１５ｃ，１５ｂ間の位置姿勢情報の関係を示すカメラパラメータを算出する。

図７は、本実施形態にかかる車両が有するＥＣＵによるカメラパラメータの算出処理の流れの一例を示すフローチャートである。

次に、図７を用いて、本実施形態にかかる車両１が有するＥＣＵ１４によるカメラパラメータの算出処理の流れの一例について説明する。

操作入力部１０を介して、車両１の自動駐車が指示されると、画像取得部４０１によってフレームが取得される度に、地図作成部４０３は、撮像部１５毎に、当該撮像部１５の位置姿勢情報および当該撮像部１５により撮像した第２キーフレームに基づいて、Ｖｉｓｕａｌ ＳＬＡＭやＳＦＭ等によって、周囲地図を作成する（ステップＳ７０１）。

ＫＦ選択部４０５は、複数の撮像部１５のそれぞれのフレームから、第１キーフレームを選択する（ステップＳ７０２）。そして、地図作成部４０３は、第１キーフレームに基づいて推定された位置姿勢情報を、撮像部１５のそれぞれの周囲地図に含める。

次いで、完了判定部４０４は、撮像部１５の移動が停止して、複数の撮像部１５のそれぞれの周囲地図の作成が完了したか否かを判断する（ステップＳ７０３）。複数の撮像部１５のそれぞれの周囲地図の作成が完了していない場合（ステップＳ７０３：Ｎｏ）、ステップＳ７０１に戻り、地図作成部４０３は、周囲地図を作成し続ける。

一方、複数の撮像部１５のそれぞれの周囲地図の作成が完了した場合（ステップＳ７０３：Ｙｅｓ）、シーン検索部４０６は、複数の撮像部１５のうち第１撮像部１５の第２キーフレームと、複数の撮像部１５のうち第２撮像部１５の第２キーフレームと、の類似箇所を検索する（ステップＳ７０４）。

そして、地図統合部４０７は、シーン検索部４０６により検索される類似箇所に基づいて、第１撮像部１５の周囲地図と、第２撮像部１５の周囲地図と、を統合して、統合地図を作成する（ステップＳ７０５）。さらに、全体最適化部４０８は、作成した統合地図の全体最適化を実行する（ステップＳ７０６）。

次いで、カメラパラメータ算出部４０９は、全体最適化された統合地図における、所定タイミングの第１撮像部１５および第２撮像部１５のそれぞれの位置姿勢情報に基づいて、第１撮像部１５と第２撮像部１５間の位置姿勢情報の関係を示すカメラパラメータを算出する（ステップＳ７０７）。

このように、本実施形態にかかる車両１によれば、平坦な路面や区画線等の特定の物体を用いずに統合地図を作成することができるので、平坦な路面や区画線等の特定の物体が存在しない場合でも、第１，２撮像部１５間の位置姿勢情報の関係を算出することができる。

１…車両、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｆ…ＳＳＤ、１５…撮像部、４０１…画像取得部、４０２…カメラ位置姿勢推定部、４０３…地図作成部、４０４…完了判定部、４０５…ＫＦ選択部、４０６…シーン検索部、４０７…地図統合部、４０８…全体最適化部、４０９…カメラパラメータ算出部。

Claims (8)

1. 移動体に搭載される、第１撮像部および当該第１撮像部とは異なる第２撮像部によって当該移動体の周囲を撮像したフレームを取得する画像取得部と、
   前記第１撮像部および前記第２撮像部のそれぞれによって撮像される前記フレームのうち所定タイミングの前記フレームである第１キーフレームを選択するＫＦ選択部と、
   前記第１キーフレームに基づいて、前記第１撮像部および前記第２撮像部のそれぞれの位置および姿勢を示す位置姿勢情報を推定するカメラ位置姿勢推定部と、
   前記フレーム内に存在する特徴点を抽出し、当該特徴点に基づいて、前記第１撮像部および前記第２撮像部のそれぞれの周囲の地図でありかつ前記位置姿勢情報を含む周囲地図を作成する地図作成部と、
   前記第１撮像部の前記周囲地図と、前記第２撮像部の前記周囲地図と、を統合した統合地図を作成する地図統合部と、
   前記統合地図における、前記第１撮像部の前記位置姿勢情報と、前記第２撮像部の前記位置姿勢情報と、に基づいて、前記第１撮像部と前記第２撮像部間の位置および姿勢の関係を示すカメラパラメータを算出するカメラパラメータ算出部と、
   を備えるカメラキャリブレーション装置。
2. 前記所定タイミングは、１つ前の前記第１キーフレームが撮像されてから所定時間経過するタイミング、または１つ前の前記第１キーフレームが撮像されてから前記移動体が所定距離移動するタイミングである請求項１に記載のカメラキャリブレーション装置。
3. 前記第１撮像部の前記フレームと、前記第２撮像部の前記フレームと、の類似箇所を検索するシーン検索部をさらに備え、
   前記地図統合部は、前記第１撮像部の前記フレームと前記第２撮像部の前記フレーム間の前記類似箇所の対応関係、および前記第１撮像部および前記第２撮像部のそれぞれの前記周囲地図の特徴点と前記類似箇所との対応関係に基づいて、前記統合地図を作成する請求項１または２に記載のカメラキャリブレーション装置。
4. 前記地図作成部は、所定フレームの特徴点と、当該所定フレームより前の前記フレームの特徴点と、が一致する数または割合が所定値以下となる場合に、前記所定フレームを第２キーフレームとして選択し、前記第２キーフレーム内に存在する前記特徴点に基づいて、前記周囲地図を作成する請求項１から３のいずれか一に記載のカメラキャリブレーション装置。
5. 前記統合地図を全体最適化する全体最適化部をさらに備え、
   前記カメラパラメータ算出部は、全体最適化された前記統合地図における、前記第１撮像部の前記位置姿勢情報と、前記第２撮像部の前記位置姿勢情報と、に基づいて、前記カメラパラメータを算出する請求項１から４のいずれか一に記載のカメラキャリブレーション装置。
6. 前記移動体は、車両であり、
   前記シーン検索部は、前記車両の駐車時における、前記第１撮像部の前記フレームと、前記第２撮像部の前記フレームと、の前記類似箇所を検索する請求項３に記載のカメラキャリブレーション装置。
7. 前記シーン検索部は、前記車両の切り返し前の前記第１撮像部の前記フレームと、前記車両の切り返し後の前記第２撮像部の前記フレームと、の前記類似箇所を検索する請求項６に記載のカメラキャリブレーション装置。
8. 前記シーン検索部は、前記車両の駐車開始位置と切り返し位置との間の中間領域における前記第１撮像部の前記フレームと、および前記車両の切り返し位置から駐車目標位置までの中間領域における前記第２撮像部の前記フレームと、の前記類似箇所を検索する請求項７に記載のカメラキャリブレーション装置。

Images