JP6458577B2

JP6458577B2 - 画像測距装置

Info

Publication number: JP6458577B2
Application number: JP2015055610A
Authority: JP
Inventors: エドガル芳男モラレス寺岡; 信田中; 慶介秦
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2015-03-19
Filing date: 2015-03-19
Publication date: 2019-01-30
Anticipated expiration: 2035-03-19
Also published as: JP2016176736A

Description

本発明は、画像測距装置に関する。

車両の走行制御に利用されるパラメータとして、自車両と、自車両の周囲に存在する対象物との間の距離がある。例えば、特許文献１には、自車両の車載カメラの撮像した画像を利用して、自車両から対象物までの距離を算出する距離計測装置が記載されている。この装置は、２台のカメラにより同じタイミングでそれぞれ取得された２枚の画像を利用して、ステレオ処理によって対象物までの距離を算出する。画像内における対象物の領域である物体領域から算出可能な全ての点に対応する視差を演算すると、演算負荷が高く処理時間が掛かることから、この距離計測装置は、物体領域に対して予め設定された注目点に対応する視差のみを算出する。

一方で、注目点の設定密度を一定にすると、画像に占める物体領域の面積が小さい場合に算出される視差の数が少なくなり、これらの視差から算出される当該物体領域の代表視差の精度が低下する。そこで、この距離計測装置は、画像に占める物体領域の面積が小さい場合には、画像に占める物体領域の面積が大きい場合よりも注目点の設定密度を高く設定する。

特開２００９−１８０６６１号公報

ところで、画像を利用した測距の方法として、画像内の座標位置と三次元距離とを関連付けた情報を利用して、画像内における対象物に対して設定した基準点の座標位置を自車両から対象物までの距離（三次元距離）に換算する方法がある。この方法によれば、従来の距離計測装置のように複雑なステレオ処理を行うことが避けられる。しかしながら、従来の距離計測装置においても問題となったように、画像内における対象物の面積が小さい場合には、自車両から対象物までの距離の精度が低下してしまう。

そこで、本発明の画像測距装置は、画像内の座標位置と三次元距離とを関連付けた情報を利用する自車両から対象物までの距離の算出において、測距精度の向上を図ることを目的とする。

本発明の一形態は、自車両に搭載されたレーダの検出結果又は自車両に搭載された車載カメラの撮像した画像を利用して、自車両の周囲の対象物を検出する対象物検出部と、自車両に搭載された車載カメラを利用して、対象物を含む画像を取得する画像取得部と、対象物検出部の検出結果を利用して、画像内における対象物の領域である対象物領域を認識する対象物領域認識部と、対象物領域認識部の認識結果を利用して、画像内において対象物領域と接する領域であって画像内における対象物の影の領域である影領域を認識する影領域認識部と、対象物領域認識部の認識結果及び影領域認識部の認識結果を利用して、対象物領域と影領域との境界上に基準点を設定する基準点設定部と、画像内の座標位置と三次元距離と関連付けた情報を記憶した記憶部と、画像内における基準点の座標位置と記憶部の記憶した情報とを利用して、自車両から対象物までの距離を算出する距離算出部と、を備える。

本発明の画像測距装置によれば、画像内の座標位置と三次元距離とを関連付けた情報を利用する自車両から対象物までの距離の算出において、測距精度の向上を図ることができる。

本発明の一形態に係る画像測距装置を示すブロック図である。（ａ）は自車両と対象物との関係を示す図であり、（ｂ）は画像取得部において取得された画像の一例である。画像測距装置の動作を示すフローチャートである。（ａ）は画像取得部において取得された画像の一例であり、（ｂ）は対象物領域を認識した結果を示す画像の一例であり、（ｃ）は影領域を認識した結果を示す画像の一例であり、（ｄ）は基準点を設定した結果を示す画像の一例である。画像取得部において取得された画像の別の例を示す図である。

以下、添付図面を参照しながら本発明を実施するための形態を詳細に説明する。図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１は、画像測距装置１を示すブロック図である。画像測距装置１は、例えば、自動車などの車両に搭載され、画像測距装置１が搭載された自車両と当該自車両の周囲に存在する対象物との間の距離を測定する。対象物とは、例えば、歩行者、自転車、動物、他車両などである。自車両の周囲には、例えば、自車両の前方領域、自車両の後方領域及び側方領域が含まれる。画像測距装置１が測定した自車両と対象物との距離は、例えば、自車両の運転を支援する運転支援装置において利用される。運転支援装置では、例えば、自車両と対象物との距離を自車両と対象物との衝突回避支援などに利用する。

画像測距装置１は、画像を利用した測距に関する処理を行うＥＣＵ[Engine Control Unit]２を備える。ＥＣＵ２は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などからなる電子制御ユニットである。ＥＣＵ２では、ＲＯＭに記憶されたプログラムをＲＡＭにロードし、ＣＰＵで実行することで、測距に関する処理を実行する。ＥＣＵ２は、複数の電子制御ユニットから構成されていてもよい。ＥＣＵ２は、車両外部情報取得部３と、表示部５と、音声発生部６と、アクチュエータ７とに接続されている。

車両外部情報取得部３は、自車両周囲の外部に関する情報を取得する機能を有する。具体的には、車両外部情報取得部３は、自車両周囲で死角領域を形成する構造物、他車両や歩行者や自転車などの移動する物体などの各種情報（物体情報）を取得する機能を有する。車両外部情報取得部３は、例えば、ステレオカメラや単眼カメラなどの車載カメラ３ａ、及び、ミリ波レーダなどのレーダ３ｂによって構成される。車両外部情報取得部３は、レーダ３ｂによって、他車両といった測距の対象物の有無を検出する。また、車両外部情報取得部３は、レーダ３ｂによって検出された対象物を含む画像を取得する。本実施形態において、車載カメラ３ａによって撮像される範囲は、レーダ３ｂの探知範囲に含まれる。

表示部５は、例えばモニタやヘッドアップディスプレイなどによって構成され、運転支援のための情報を表示する機能を有する。音声発生部６は、スピーカーやブザーなどによって構成され、運転支援のための音声やブザー音を発する機能を有する。アクチュエータ７は、例えば、ブレーキアクチュエータと操舵アクチュエータ（電動パワーステアリングシステムアクチュエータ）とを有する。ブレーキアクチュエータは、自車両のブレーキ力をコントロールするアクチュエータであり、ＥＣＵ２からの制御信号に応じてブレーキ力が制御される。操舵アクチュエータは、自車両の操舵トルクをコントロールする操舵アクチュエータであり、ＥＣＵ２からの制御信号に応じて操舵トルクが制御される。

次に、ＥＣＵ２の機能的構成について説明を行う。ＥＣＵ２は、対象物検出部１０と、画像取得部１１と、対象物領域認識部１２と、影領域認識部１３と、基準点設定部１４と、記憶部１５と、距離算出部１６と、を有する。以下に説明するＥＣＵ２の機能の一部は、自車両と通信可能な情報管理センターなどの施設のコンピュータ又は携帯情報端末において実行されてもよい。

対象物検出部１０は、自車両Ｎの前方に存在する対象物Ｍを検出する（図２（ａ）参照）。ここで、以下の説明では、自転車Ｍｂ及び当該自転車Ｍｂに乗車する人Ｍａが対象物Ｍであるとする。対象物検出部１０は、例えば、車載カメラ３ａの撮像した画像、或いは、車両外部情報取得部３が有するレーダ３ｂの検出結果を利用して対象物Ｍの有無を検出する。

画像取得部１１は、車載カメラ３ａを利用して、対象物検出部１０において検出された対象物Ｍが含まれた画像１７（図２（ｂ）参照）を取得する。

対象物領域認識部１２は、対象物検出部１０の検出結果と周知の画像処理とを利用して、対象物領域Ａ１（図２（ｂ）参照）を認識する。ここで、対象物領域Ａ１とは画像取得部１１において取得された画像１７内において対象物Ｍが占める領域をいう。対象物領域認識部１２は、例えば、画像１７に対してエッジ抽出処理及びパターン認識といった周知の画像処理を行うことによって、画像１７に含まれた立体物が占めると仮定される複数の候補領域を抽出する。そして、対象物検出部１０の検出結果を利用して、抽出された複数の候補領域から、測距対象である対象物Ｍの領域を対象物領域Ａ１として認識する。

影領域認識部１３は、対象物領域認識部１２の認識結果を利用して、影領域Ａ２（図２（ｂ）参照）を認識する。ここで影領域Ａ２とは、画像１７内において対象物領域Ａ１と接する領域であって画像１７内における対象物Ｍの影Ｋの領域をいう。影領域認識部１３は、画像１７を構成する各ピクセルが有する輝度や色度を利用して、画像１７における複数の影候補領域を認識する。そして、影領域認識部１３は、対象物領域認識部１２の認識結果を利用して、複数の影候補領域から対象物Ｍの影領域Ａ２を認識する。例えば、影領域認識部１３は、対象物領域認識部１２の近傍に存在する影領域を、対象物Ｍの影領域Ａ２として選択してもよい。また、影領域認識部１３は、太陽や街路灯などの光源の位置を利用して、対象物領域認識部１２の近傍であって、光源の位置から予想される範囲に存在する影領域を対象物Ｍの影領域Ａ２として選択してもよい。影領域認識部１３は、例えば、周知の画像処理によって光源の位置を認識する。

基準点設定部１４は、対象物領域認識部１２の認識結果及び影領域認識部１３の認識結果を利用して、対象物領域Ａ１と影領域Ａ２との境界Ｌ上に基準点Ｐ１（図２（ｂ）参照）を設定する。ここで、基準点Ｐ１とは、対象物Ｍまでの距離を得るための基準となる点である。

基準点設定部１４は、対象物領域認識部１２の認識結果及び影領域認識部１３の認識結果を利用して、対象物領域Ａ１と影領域Ａ２の境界Ｌを認識する。境界Ｌは、例えば、対象物領域Ａ１と影領域Ａ２の複数の接点を通る直線である。境界Ｌは、対象物領域Ａ１と影領域Ａ２の接点が三箇所以上ある場合、各接点との距離が最小となる直線としてもよい。そして、基準点設定部１４は、この境界Ｌ上における任意の位置に基準点Ｐ１を設定する。

記憶部１５は、画像１７内の座標位置と三次元距離とを関連付けた情報を記憶する。ここで座標位置とは、画像１７内において、２次元座標系に基づいて特定される位置を示す情報をいう。例えば、画像１７内の位置は、画像１７の横方向をＸ軸方向とし、画像の縦方向をＹ軸方向とすると共に、画像１７の左辺の最下点を原点ＯＰと設定した場合、ｘ座標及びｙ座標によって示される。また、三次元距離とは、三次元空間（３次元座標系）における自車両Ｎ（車載カメラ３ａ）からの距離をいう。ここで、図２（ａ）に示す距離Ｄは、自車両Ｎの車載カメラ３ａから対象物Ｍと路面Ｒが接触する点Ｐ１ａまでの自車両Ｎの進行方向に沿った三次元距離である。点Ｐ１ａは、三次元空間における路面Ｒ上の点であって、対象物Ｍと路面Ｒが接触する点のうち最も自車両Ｎに近い点である。

座標位置と三次元距離とを関連付けた情報とは、座標位置を三次元距離に換算するための情報をいう。換言すると、路面Ｒ上に設定された基準点Ｐ１の座標位置は、記憶部１５に記録された情報によって、対象物Ｍが接触している路面Ｒ上の点Ｐ１ａまでの路面Ｒに沿った三次元距離と対応付けられている。ここで、座標位置と三次元距離との関係について説明する。図２に示されるように、車載カメラ３ａは、自車両Ｎに対して固定され、自車両Ｎの走行中において、路面Ｒを基準とした車載カメラ３ａの高さと車載カメラ３ａの画角とが維持される。そうすると、例えば、自車両Ｎと対象物Ｍとの相対位置が変化しない場合には、対象物Ｍは画像１７中の同じ位置に存在する。従って、画像１７における座標位置と自車両Ｎからの距離Ｄとの関係を実測又は設計により予め得ておけば、画像１７における座標位置を利用して、自車両Ｎから対象物Ｍまでの距離Ｄを算出することが可能になる。座標位置と三次元距離とを関連付けた情報は、例えば、座標位置を独立変数とし、三次元距離を従属変数とした関数であってもよい。また、座標位置と三次元距離とを関連付けた情報は、例えば、座標位置に対応する三次元距離が組み合わされた変換テーブル等のデータベースであってもよい。

距離算出部１６は、画像１７内における基準点Ｐ１の座標位置と記憶部１５の記憶した情報とを利用して、自車両Ｎから対象物Ｍまでの距離Ｄを算出する。距離算出部１６は、基準点設定部１４において設定された基準点Ｐ１の位置座標を取得する。次に、距離算出部１６は、記憶部１５を参照して、基準点Ｐ１の位置座標を三次元距離に変換する関数又は変換テーブルを取得する。そして、距離算出部１６は、関数又は変換テーブルを利用して、位置座標から距離Ｄを算出する。

次に、画像測距装置１の動作について図３を参照しつつ説明する。図３は、一実施形態に係る画像測距装置１の動作を示すフローチャートである。図３に示されたフローチャートは、例えば、自車両Ｎの走行中に繰り返し実行される。また、運転者が自車両Ｎの運転を終了した場合には、図３に示されたフローチャートを終了する。

画像測距装置１は、ステップＳ１において、車両外部情報取得部３により自車両Ｎの周囲の車両外部情報を取得する。次に、ＥＣＵ２は、ステップＳ２において、車両外部情報を利用して、対象物検出部１０により対象物Ｍの検出を行う。具体的には、対象物検出部１０は、車両外部情報取得部３において取得された車両外部情報を利用して、対象物Ｍが検出されないと判定した場合（Ｓ２：ＮＯ）には、ステップＳ１，Ｓ２を再び実施する。対象物検出部１０は、対象物Ｍが検出されたと判定した場合（Ｓ２：ＹＥＳ）には、次のステップＳ３に移行する。

画像測距装置１のＥＣＵ２は、ステップＳ３において、画像取得部１１により画像１７の取得を行う（図４（ａ）参照）。続いて、ＥＣＵ２は、ステップＳ４において、対象物領域認識部１２により対象物領域Ａ１の認識を行う（図４（ｂ）参照）。具体的には、対象物領域認識部１２は、車両外部情報を利用して、画像１７における対象物領域Ａ１を認識する。

画像測距装置１のＥＣＵ２は、ステップＳ５において影領域認識部１３により影領域Ａ２の認識を行う（図４（ｃ）参照）。具体的には、影領域認識部１３は、対象物領域Ａ１の認識結果を利用して、画像１７における対象物Ｍの影領域Ａ２の認識処理を実行する。そして、影領域認識部１３が画像１７における影領域Ａ２を認識できた場合（Ｓ５：ＹＥＳ）には、次のステップＳ８に移行する。一方、影領域認識部１３が画像１７における影領域Ａ２を認識できなかった場合（Ｓ５：ＮＯ）には、別の次のステップＳ６に移行する。

まず、ステップＳ５の結果がＮＯであった場合、画像測距装置１のＥＣＵ２は、ステップＳ６において、画像１７内にて路面が占める路面領域を認識する。路面領域の認識は、例えば、周知の画像処理によって行うことができる。続いて、ＥＣＵ２は、ステップＳ７において、基準点を設定する。具体的には、ＥＣＵ２は、対象物領域Ａ１と、路面領域とを利用して、周知の画像処理によって対象物領域Ａ１と路面との境界を認識する。続いて、ＥＣＵ２は、境界において、最も自車両Ｎに近い点（すなわち、境界線において画像１７の下端に最も近い点）を基準点に設定する。

一方、ステップＳ５の結果がＹＥＳであった場合、画像測距装置１のＥＣＵ２は、ステップＳ８において、基準点設定部１４により対象物領域Ａ１と影領域Ａ２との境界Ｌ上に基準点Ｐ１を設定する。具体的には、基準点設定部１４は、対象物領域Ａ１と、影領域Ａ２とを利用して、対象物領域Ａ１と影領域Ａ２との境界Ｌを認識する。続いて、ＥＣＵ２は、境界Ｌにおいて、最も自車両Ｎに近い点（すなわち、境界線において画像１７の下端に最も近い点）を基準点Ｐ１に設定する。画像測距装置１のＥＣＵ２は、ステップＳ９において、距離算出部１６により基準点Ｐ１の座標位置を取得する。なお、ステップＳ９では、基準点設定部１４により基準点Ｐ１の座標位置を取得してもよい。

画像測距装置１のＥＣＵ２は、ステップＳ１０において、距離算出部１６により自車両Ｎから対象物Ｍまでの距離Ｄを算出する。距離算出部１６は、記憶部１５に記録されている座標位置と三次元距離とを関連付けた情報を利用して、基準点Ｐ１の位置座標を三次元距離に変換することにより、自車両Ｎから対象物Ｍまでの距離Ｄを算出する。

上述した画像測距装置１では、距離算出部１６が画像１７内の座標位置と三次元距離とを関連付けた情報を利用して、基準点Ｐ１の座標位置を自車両Ｎ（車載カメラ３ａ）から対象物Ｍまでの距離Ｄに換算する。基準点Ｐ１は、画像１７内における対象物領域Ａ１及び影領域Ａ２の境界Ｌ上に設定される。この境界Ｌは路面Ｒ上に形成されるので、基準点Ｐ１は路面Ｒ上に設定されているといえる。これにより、画像測距装置１では、路面Ｒ上に設定された基準点Ｐ１を利用することで、従来の測距方法により自転車Ｍｂに乗った人Ｍａの背中（対象物Ｍのうちカメラが認識しやすい広さの部位）に設定された基準点を利用するような場合、すなわち路面Ｒから離れて宙に浮いた基準点を利用する場合と比べて、自車両Ｎから対象物Ｍまでの距離Ｄを算出する精度を向上させることができる。従って、画像測距装置１によれば、画像１７内の座標位置と三次元距離とを関連付けた情報を利用する自車両Ｎから対象物Ｍまでの距離の算出において、測距精度の向上を図ることができる。

また、対象物の測距処理において、対象物が細い棒状の立体物や、比較的柔らかい立体物である場合には、ミリ波レーダなどのレーダでは、充分な測距精度が得られない場合があり得る。上述した画像測距装置１によれば、画像を利用して対象物までの測距を行うので、細い棒状の立体物や、比較的柔らかい立体物であっても測距精度の向上を図ることができる。例えば、図５に示されるように、細い脚と柔らかい胴体とを有する鹿などの動物１９であっても、動物１９が占める対象物領域１９ａと、動物１９の影１９ｂが占める影領域１９ｃとを認識し、対象物領域１９ａと影領域１９ｃとの境界に基準点Ｐ２を設定することにより、動物１９までの測距精度の向上を図ることができる。

また、前述した特許文献１に示される従来の距離計測装置のように、画像に占める対象物の面積が小さい場合に注目点及び対応点の設定密度を高く設定するためには解像度の高い画像が要求される。解像度の高い画像を得るため構成及び当該画像を処理する構成は、高い性能が要求されるためコスト面において不利である。一方、画像測距装置１によれば、特許文献１の距離計測装置に要求されるような構成及び性能を必要としないので、製造コストの増加を抑制することができる。

本発明は、前述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々の変形が可能である。

例えば、上記画像測距装置１では、レーダ３ｂを利用して対象物Ｍの有無を検出していたが、対象物Ｍの有無は、車載カメラ３ａによって撮像された画像を利用して検出してもよい。また、対象物Ｍを検出するための画像を取得するカメラと、対象物領域Ａ１及び影領域Ａ２を認識するための画像を取得するカメラとは、同一のカメラであってもよいし、別のカメラであってもよい。

１…画像測距装置、２…ＥＣＵ、３…車両外部情報取得部、３ａ…車載カメラ、３ｂ…レーダ、１０…対象物検出部、１１…画像取得部、１２…対象物領域認識部、１３…影領域認識部、１４…基準点設定部、１５…記憶部、１６…距離算出部、Ｎ…自車両、Ｍ…対象物、Ａ１…対象物領域、Ａ２…影領域、Ｐ１，Ｐ２…基準点。

Claims

自車両に搭載されたレーダの検出結果又は前記自車両に搭載された車載カメラの撮像した画像を利用して、前記自車両の周囲の対象物を検出する対象物検出部と、
前記自車両に搭載された車載カメラを利用して、前記対象物を含む画像を取得する画像取得部と、
前記対象物検出部の検出結果を利用して、前記画像内における前記対象物の領域である対象物領域を認識する対象物領域認識部と、
前記対象物領域認識部の認識結果を利用して、前記画像内において前記対象物領域と接する領域であって前記画像内における前記対象物の影の領域である影領域を認識する影領域認識部と、
前記対象物領域認識部の認識結果及び前記影領域認識部の認識結果を利用して、前記対象物領域と前記影領域との境界上に基準点を設定する基準点設定部と、
前記画像内の座標位置と三次元距離と関連付けた情報を記憶した記憶部と、
前記画像内における前記基準点の座標位置と前記記憶部の記憶した前記情報とを利用して、前記自車両から前記対象物までの距離を算出する距離算出部と、
を備える、画像測距装置。