JP6281289B2 - 周辺監視装置、及びプログラム - Google Patents

Description

本発明の実施形態は、周辺監視装置、及びプログラムに関する。

従来、車両の駐車を支援する技術として、車両に設置された複数のカメラで、車両の周辺環境として撮像された画像データを運転者に提供する技術がある。その際に表示される画像に、車両から所定距離離れた位置に前後方向マークや左右方向マークを重畳表示して参照させることで、自車と周辺環境との位置関係を認識させやすくして、狭い場所の走行や駐停車の走行支援を行う技術が提案されている。

特開２００３−２５９３５６号公報

しかしながら、複数のカメラで撮影された画像が表示される場合で一部撮影範囲が重複する場合、カメラの配置位置によって画像の見え方や印象が異なる場合がある。そのため、仮に複数の画像に同じ対象（物体、前後方向マーク、左右方向マーク等）が表示されていても、画像間の関連性が理解し難くなる場合がある。この場合、車両周辺の状況を複数の画像で表示しても、それらの画像を十分に活用できなかったり、場合によっては混乱を与えてしまうという問題があった。

本発明は、上記に鑑みてなされたものであり、複数のカメラで撮影された画像が表示される場合に、表示される画像間の関連性の理解を容易にする周辺監視装置を提供することを目的の１つとする。

本発明の実施形態に係る周辺監視装置は、車両に設けられ当該車両の進行方向を第１撮像領域として撮影する第１撮像部から出力された第１撮像画像データと、前記車両に設けられ当該車両の車幅方向を第２撮像領域として撮影する第２撮像部から出力される第２撮像画像データと、を取得する取得部と、前記第１撮像画像データに基づく画像を表示する第１表示領域と前記第２撮像画像データに基づく画像を表示する第２表示領域の少なくとも一方の表示領域に、前記車両に対する所定領域を示す指標を重畳表示するとともに、他方の表示領域に前記指標の重畳領域が含まれる場合、前記一方の表示領域に表示する前記指標と対応する表示態様で前記指標を前記他方の表示領域に重畳表示する出力部と、を備え、前記出力部は、前記指標として、前記車両のフロントバンパから予め定められた距離離れた第１参考線を前記第１表示領域に表示し、前記車両の左右のいずれかの側方から予め定められた距離離れた第２参考線を前記第２表示領域に表示するとともに、前記第１参考線の一部を前記第２表示領域に表示し、前記第２参考線の一部を前記第１表示領域に表示する。この態様によれば、一例として、一方の表示領域と他方の表示領域とで同じ指標が重畳表示される場合、それぞれの指標は対応する表示態様で表示されるので、表示画像間の関連性が視覚的に認識し易くなるという効果を奏する。また、車両を走行させる場合の車両と周辺物体との距離感が視覚的に認識し易くなるという効果を奏する。

また、実施形態に係る周辺監視装置の前記出力部は、前記第１表示領域と前記第２表示領域とで対応する表示態様で表示される前記指標を実質的に同じ表示色で表示するようにしてもよい。この態様によれば、一例として、一方の表示領域と他方の表示領域に表示される指標が同じであることが視覚的に認識し易くなるという効果を奏する。

また、実施形態に係る周辺監視装置の前記出力部は、前記出力部は、前記第１参考線と、前記第２参考線とを異なる表示態様で表示するようにしてもよい。この態様によれば、同一の表示領域に第１参照線と第２参照線が表示されても、その識別が視覚的に容易になるという効果を奏する。

また、実施形態に係る周辺監視装置の前記出力部は、前記第１参考線と前記第２参考線の少なくとも一方に対して、その対象となる参考線に沿って際だち処理を施して際だたせてもよい。この態様によれば、撮影領域上の物体と指標である第１参考線や第２参照線との識別性が向上して、画像間の関連性の理解が視覚的に容易になるという効果を奏する。

また、実施形態に係る周辺監視装置の前記出力部は、前記際だち処理として前記第１参考線と前記第２参考線の少なくとも一方に前記車両側と遠方側とのいずれか一方に陰影を付加するようにしてもよい。この態様によれば、撮影領域上の物体と第１参考線や第２参照線との識別性を容易な画像処理で向上させることができるという効果を奏する。

また、実施形態に係る周辺監視装置の前記出力部は、車両の進行推定方向を示す進路指標を前記表示領域に重畳表示するようにしてもよい。この態様によれば、進路指標を第１参考線または第２参考線と併せて表示することで、第１参考線または第２参考線と進行方向の関係性を把握させ易くすることができるという効果を奏する。

また、実施形態に係るプログラムは、車両に設けられ当該車両の進行方向を第１撮像領域として撮影する第１撮像部から出力された第１撮像画像データと、前記車両に設けられ当該車両の車幅方向を第２撮像領域として撮影する第２撮像部から出力される第２撮像画像データと、を取得する取得ステップと、前記第１撮像画像データに基づく画像を表示する第１表示領域と前記第２撮像画像データに基づく画像を表示する第２表示領域の少なくとも一方の表示領域に、前記車両に対する所定領域を示す指標を重畳表示するとともに、他方の表示領域に前記指標の重畳領域が含まれる場合、前記一方の表示領域に表示する前記指標と対応する表示態様で前記指標を前記他方の表示領域に重畳表示する出力ステップと、を含み、前記出力ステップは、前記指標として、前記車両のフロントバンパから予め定められた距離離れた第１参考線を前記第１表示領域に表示し、前記車両の左右のいずれかの側方から予め定められた距離離れた第２参考線を前記第２表示領域に表示するとともに、前記第１参考線の一部を前記第２表示領域に表示し、前記第２参考線の一部を前記第１表示領域に表示する処理をコンピュータに実行させる。この態様によれば、一例として、一方の表示領域と他方の表示領域とで同じ指標が重畳表示される場合、それぞれの指標は対応する表示態様で表示されるので、表示画像間の関連性が視覚的に認識し易くなるという効果を奏する。

図１は、実施形態に係る周辺監視装置を搭載する車両であって、車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態に係る周辺監視装置を搭載する車両の一例が示された平面図（俯瞰図）である。 図３は、実施形態に係る周辺監視装置のシステム構成の一例が示されたブロック図である。 図４は、実施形態に係る周辺監視装置の撮像部が撮影する撮像領域と、表示領域に重畳表示する参考線と車両との関係を説明する図であり、（ａ）は車両側方を撮像領域とする図であり、（ｂ）は、車両前方を撮像領域とする図である。 図５は、実施形態に係る周辺監視装置により表示装置に表示される周辺画像の一例を示す図である。 図６は、実施形態に係る周辺監視装置により際だち処理された参考線（指標）の一例を示す図である。 図７は、実施形態に係る周辺監視装置の周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。 図８は、実施形態に係る周辺監視装置における表示処理の手順を示すフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成によって得られる種々の効果（派生的な効果も含む）を得ることが可能である。

実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１に示されるように、車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。

また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けてもよい。また、音声出力装置９の他に、ブザー等の音声出力部から、警報音等が出力されるように構成することができる。

また、図１，２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。そして、例えば前輪３Ｆのタイヤ角が操舵部４（ステアリングホイール）の操作に対応して変化（転舵）する。操舵システム１２は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１２は、アクチュエータ１２ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補って、車輪３Ｆを操舵する。なお、別の実施例において、操舵システム１２は、図３に示すように、前輪と後輪が独立または関連して操舵されるように構成してもよい。この場合、前輪操舵システム１２と後輪操舵システム１３で構成される。そして、一例として、二つの前輪３Ｆは、互いに同相（同位相、同転舵方向、同回動方向）で略平行に転舵され、二つの後輪３Ｒは、互いに同相で略平行に転舵される。なお、駆動輪は種々に設定可能である。

また、本実施形態では、一例として、図２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として四つ）の撮像部１６（１６ａ〜１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には例えば１４０°〜２２０°の範囲（視野角）を撮影することができる。また、撮像部１６の光軸は下方（例えば、鉛直方向や斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面を含む車体２の周辺の外部の環境を撮影する。

本実施形態では、一例として、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントバンパ等に設けられている。撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。したがって、一例として、撮像部１６ａで取得した前方画像と、撮像部１６ｂで撮影した左側方画像および撮像部１６ｄで撮影した右側方画像を表示装置８に同時に表示することができる。同様に、撮像部１６ｃで取得した後方画像と、撮像部１６ｂで撮影した左側方画像および撮像部１６ｄで撮影した右側方画像を表示装置８に同時に表示することができる。なお、後方画像を表示する場合は、左右の側方画像の表示を省略してもよい。

また、本実施形態では、一例として、図３に示されるように、周辺監視システム（周辺監視装置）１００では、周辺監視ＥＣＵ１４（electronic control unit）や、モニタ装置１１等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、一例としては、ＣＡＮ（controller area network）として構成されている。周辺監視ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、ブレーキシステム１８等を制御することができる。また、周辺監視ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、ブレーキセンサ１８ｂ、舵角センサ１９（前輪３Ｆ用）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果、ならびに、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。

本実施形態では、車両１に２個の加速度センサ２６（２６ａ、２６ｂ）が設けられているものとする。なお、本実施形態は、車両１をＥＳＣ（electronic stability control）搭載車両とする。そして、ＥＳＣ搭載車両に従来から搭載されている加速度センサ２６（２６ａ、２６ｂ）を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであればよい。本実施形態では、前後方向の加速度及び左右方向の加速度を導出する。

周辺監視ＥＣＵ１４は、一例として、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、周辺監視ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては画像合成）等を実行する。また、音声制御部１４ｅは、周辺監視ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、周辺監視ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、周辺監視ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、周辺監視ＥＣＵ１４とは別に設けられてもよい。

図４（ａ）、図４（ｂ）は、周辺監視システム（周辺監視装置）１００の撮像部１６が撮影する撮像領域Ａ，Ｂが示されている。さらに、本実施形態の周辺監視システム１００は、撮像領域Ａを撮影した第１撮像画像データに基づく画像を表示装置８に表示するとき、車両１に対する所定領域を示す指標を重畳表示する。同様に、撮像領域Ｂを撮影した第２撮像画像データに基づく画像を表示装置８に表示するとき、車両１に対する所定領域を示す指標を重畳表示する。したがって、図４（ａ）、図４（ｂ）は、表示装置８に重畳表示する指標と車両１との関係を示している。

図４（ａ）の場合、車体２の左側のドアミラー２ｇに配置された撮像部１６ｂ（第２撮像部）の撮像領域Ａ（矢印Ａで示す一点鎖線より左側の第２撮像領域）を示している。撮像部１６ｂは、光軸を車体２の車幅左方向の路面に向けて、車両左側の周辺画像（第２撮像画像データ）を取得する。前述したように、撮像部１６ｂは、広角レンズを有し、光軸を挟んで、例えば左右それぞれ１００°（全体で２００°）の視野角を有している。つまり、車体２の左側の端部２ｄ（ドア面等）も撮像範囲に含むようにしている。そして、撮像領域Ａ（第２撮影領域）を撮影した周辺画像（第２撮像画像データ）に重畳する指標（第２参考線、第２指標）として、車両１の中心を車両前後方向に通る仮想線ＧＬと実質的に平行で、かつ車両１を基準に外方向（車幅方向）へ所定距離だけ離間した位置に、車体２の端部２ｄからの距離目安を示す参考線Ｐａが示されている。例えば、参考線Ｐａは、仮想線ＧＬに対して、（車幅＋０．７＝Ｗａ）／２ｍの位置に表示されている。つまり、参考線Ｐａは、車体２の左側の端部２ｄから０．３５ｍの位置を示している。したがって、撮像領域Ａを撮影した周辺画像に他車や人、壁面等の物体が写り込んだ場合に、運転者（利用者、乗員）は、その物体と車体２の端部２ｄとの距離を参考線Ｐａを参照することで容易に推定することができる。また、物体（障害物）が参考線Ｐａを超えて車体２側に近づかないように車体２を移動（操縦）すれば、少なくとも物体と車体２が接触することが回避できる。

図４（ａ）に示すように、撮像領域Ａ（第２撮影領域）を撮影した周辺画像（第２撮像画像データ）には、参考線Ｐａに加え、当該参考線Ｐａと平行な指標として、補助線Ｐｂおよび車幅線Ｐｃを表示するようにしてもよい。補助線Ｐｂは、仮想線ＧＬに対して、例えば（車幅＋２．０＝Ｗｂ）／２ｍの位置に表示され、車幅線Ｐｃは、仮想線ＧＬに対して、例えば（車幅＋０．２＝Ｗｃ）／２ｍの位置に表示されるようにしてもよい。このように、複数の指標を表示することにより車体２の左側の距離感覚をさらに向上させることができる。なお、複数の指標が表示される場合、主となる指標（例えば参考線Ｐａ）を明確に表示して、他の補助的な指標（例えば補助線Ｐｂ、車幅線Ｐｃ）と容易に識別できるようにすることが望ましい。一例として、参考線Ｐａの線種を太線にする。一方、補助線Ｐｂ、車幅線Ｐｃは、線種を細線や破線にすることが望ましい。

なお、車体２の右側のドアミラー２ｇに配置された撮像部１６ｄも同様に、光軸を車体２の車幅右方向の路面に向けて、撮像領域Ａ（第２撮像領域）とする車両右側の周辺画像（第２撮像画像データ）を取得する。周辺監視システム１００は、その撮像領域Ａを撮影した周辺画像に参考線Ｐａおよび必要に応じて補助線Ｐｂや車幅線Ｐｃを重畳表示することで、左側と同様な効果を得ることができる。なお、運転席側（例えば右側）は、運転者により周囲環境の目視確認が容易なので、指標の表示数を減らしてもよい。例えば参考線Ｐａのみを表示するようにしてもよい。なお、参考線ＰａにホイールベースＬＨを示すマーク（参考線Ｐａ上の例えば突起マーク）を付加するようにしてもよい。この場合、表示画面上における自車の長さ感覚をより正確に運転者に認識させることができる。

図４（ｂ）の場合、車体２のフロントバンパの略中央に配置された撮像部１６ａ（第１撮像部）の撮像領域Ｂ（矢印Ｂで示す一点鎖線より車両前方側）を示している。撮像部１６ａは、光軸を車体２の前方やや下方向に向けて、車両前方の周辺画像（第１撮像画像データ）を取得する。前述したように、撮像部１６ａは、広角レンズを有し、光軸を挟んで、例えば左右それぞれ１００°（全体で２００°）の視野角を有している。つまり、車体２の前側の端部２ｃ（フロントバンパ）も撮像範囲に含むようにしている。そして、撮像領域Ｂ（第１撮像領域）を撮影した周辺画像（第１撮像画像データ）に重畳する指標（第１参考線、第１指標）として、車両１の中心を車幅方向に通る仮想線ＧＷと実質的に平行で、かつ車両１を基準に外方向（車両前方）へ所定距離だけ離間した位置に、車体２の端部２ｃからの距離目安を示す参考線Ｑａが示されている。例えば、参考線Ｑａは、フロントバンパの最突部（例えば中央）からＬａ＝０．５ｍの位置に表示されている。したがって、撮像領域Ｂを撮影した周辺画像に壁面等の物体が写り込んだ場合に、運転者（利用者、乗員）は、その物体と、車体２の端部２ｃとの距離を参考線Ｑａを参照することで容易に推定することができる。また、物体（障害物）が参考線Ｑａを超えて車体２側に近づかないように車体２を移動（操縦）すれば、少なくとも物体と車体２が接触することを回避できる。

図４（ｂ）に示すように、撮像領域Ｂ（第１撮像領域）を撮影した周辺画像（第１撮像画像データ）には、参考線Ｑａに加え、当該参考線Ｑａと平行な指標として、補助線Ｑｂ，Ｑｃ，Ｑｄを表示するようにしてもよい。補助線Ｑｂは、フロントバンパの最突部から例えばＬｂ＝１．０ｍの位置、補助線Ｑｃは、フロントバンパの最突部から例えばＬｃ＝２．０ｍの位置、補助線Ｑｄはフロントバンパの最突部から例えばＬｄ＝２．７ｍの位置に表示するようにしてもよい。このように、複数の指標を表示することにより車体２の前方の距離感覚をさらに向上させることができる。なお、複数の指標が表示される場合、主となる指標（例えば参考線Ｑａ）を明確に表示して、他の補助的な指標（例えば補助線Ｑｂ，Ｑｃ，Ｑｄ）と容易に識別できるようにすることが望ましい。一例として、参考線Ｑａの線種を太線にする。一方、補助線Ｑｂ，Ｑｃ，Ｑｄは、線種を細線や破線にすることが望ましい。

なお、車体２のリヤトランクのドア２ｈの下方の壁部に設けられている撮像部１６ｃ（図１、図２参照）も同様に、光軸を車体２の後方のやや下方向に向けて、撮像領域Ｂとする車両後方側の周辺画像を取得する。周辺監視システム１００は、その撮像領域Ｂを撮影した周辺画像に参考線Ｑａおよび必要に応じて補助線Ｑｂ〜Ｑｄを重畳表示することで、前方側と同様な効果を得ることができる。

ところで、図４（ａ）、図４（ｂ）に示されるように、一方の撮像領域（例えば、撮像領域Ａ）に対応する周辺画像に表示した指標（例えば、参考線Ｐａ）の重畳領域が、他方の撮像領域（例えば、撮像領域Ｂ）に対応する周辺画像に含まれる場合がある。つまり、車両の側方の周辺画像に含まれる参考線Ｐａが車両の前方の周辺画像にも現れることがある。同様に、車両の前方の周辺画像に含まれる参考線Ｑａが車両の側方の周辺画像にも現れることがある。ところで、前方の周辺画像を表示する場合は、併せて左右側方の周辺画像を表示画面上に並べて表示した方が、車両周囲の全体状況を把握させやすいと考えられる。その一方で、前述したような指標（参考線Ｐａ，Ｑａや補助線Ｐｂ，Ｑｂ等）が各周辺画像に相互に表示された場合、表示が煩雑になり指標（参考線等）の示す内容の把握が難しくなってしまう場合がある。そのため、各周辺画像に相互に表示される指標の対応関係の把握が難しくならないように配慮する必要がある。

図４（ａ）、図４（ｂ）の場合、説明の簡略化のために車両１の上面視図を用いて、撮像領域Ａ，Ｂや参考線Ｐａや参考線Ｑａ等を示している。この場合、参考線Ｐａや参考線Ｑａ等は、車両１の中心を通る仮想線（直線）と平行な直線で示されるので、各周辺画像に相互に表示された指標の対応は比較的容易に把握できる。しかしながら、前述したように、車両１の周辺画像を取得する場合、視野角の広い広角レンズが利用される。この場合、表示される周辺画像は湾曲した画像になるため、指標となる参考線Ｐａや参考線Ｑａもそれに応じて湾曲してしまう。そのため、各周辺画像に相互に表示された指標の対応の把握が難しくなることがある。

そこで、本実施形態の周辺監視システム１００の周辺監視ＥＣＵ１４は、周辺画像を表示する場合、撮像領域Ａ（第２撮影領域）に対応する画像を表示する第２表示領域と撮像領域Ｂ（第１撮影領域）に対応する第１表示領域の少なくとも一方の表示領域に車両１に対する所定領域を示す指標を重畳表示する。その際に、他方の表示領域に指標の重畳領域が含まれる場合、言い換えれば他方の表示領域に指標が表示される場合、一方の表示領域に表示する指標と対応する表示態様で他方の表示領域に指標を重畳表示する。例えば、撮像部１６ｂの撮像領域Ａに対応する左側方の周辺画像の表示領域に、指標として参考線Ｐａが表示される場合で、撮像部１６ａの撮像領域Ｂに対応する前方の周辺画像の表示領域に、指標として参考線Ｐａが表示される場合を考える。この場合、撮像領域Ａに対応する周辺画像に表示される参考線Ｐａの表示態様が、例えば青色表示態様の場合、撮像領域Ｂに対応する周辺画像に表示される参考線Ｐａの表示態様も対応する青色表示態様とする。同様に、例えば、撮像部１６ａの撮像領域Ｂに対応する前方の周辺画像の表示領域に、指標として参考線Ｑａが表示される場合で、撮像領域Ｂに対応する左右側方の周辺画像の表示領域に、指標として参考線Ｑａが表示される場合を考える。この場合、撮像領域Ｂに対応する周辺画像に表示される参考線Ｑａの表示態様が、例えば赤色表示態様の場合、撮像領域Ａに対応する周辺画像に表示される参考線Ｑａの表示態様も対応する赤色表示態様とする。

図５は、表示装置８に表示される周辺画像の表示例である。図５に示す例の場合、中央上段に短辺を下側にした台形形状の前方表示領域ＦＶに撮像部１６ａが撮像領域Ｂで撮影した周辺画像が表示されている。前方表示領域ＦＶを短辺を下側にした台形形状で表示することで、前方表示領域ＦＶを奥行き感のある起立画面のように見せる表示が可能となり、実際に利用者（運転者、乗員）が視認する周囲状況に近い表示が可能になる。また、前方表示領域ＦＶの左側の略長方形の左側表示領域ＳＶＬには、撮像部１６ｂが左側方を撮像領域Ａで撮影した周辺画像が表示される。同様に、前方表示領域ＦＶの右側の略長方形の右側表示領域ＳＶＲには、撮像部１６ｄが右側方を撮像領域Ａで撮影した周辺画像が表示されている。

図５において、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲには、車両１の側方の周辺画像とともに、車両１の側面から所定距離離れていることを示す参考線Ｐａが重畳表示されている。その一方で、前方表示領域ＦＶの左端および右端には、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲに表示された参考線Ｐａの一部が表示されている。つまり、前方表示領域ＦＶに、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲの指標の重畳領域が含まれている。このような場合、周辺監視ＥＣＵ１４は、左側表示領域ＳＶＬ、右側表示領域ＳＶＲ、前方表示領域ＦＶに示される参考線Ｐａを同じ表示態様、例えば実質的に同じ表示色で表示する。この場合、左側表示領域ＳＶＬ、右側表示領域ＳＶＲ、前方表示領域ＦＶの表示画面の内容と同化し難い色、例えば、路面の色と同化し難い色で参考線Ｐａを表示する。一例として、参考線Ｐａを「青色」で表示するようにしてもよい。

同様に、前方表示領域ＦＶには、車両１の前方の周辺画像とともに、車両１のフロントバンパから所定距離離れていることを示す参考線Ｑａが重畳表示されている。その一方で、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲの先端側（図中上方）には、前方表示領域ＦＶに表示された参考線Ｑａの一部が表示されている。つまり、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲに、前方表示領域ＦＶの指標の重畳領域が含まれている。このような場合、周辺監視ＥＣＵ１４は、前方表示領域ＦＶ、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲに示される参考線Ｑａを同じ表示態様、例えば実質的に同じ表示色で表示する。この場合、前方表示領域ＦＶ、左側表示領域ＳＶＬ、右側表示領域ＳＶＲの表示画面の内容と同化し難い色、例えば、路面の色と同化し難い色で参考線Ｑａを表示する。ただし、前方表示領域ＦＶ、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲには、参考線Ｐａも重畳表示されているので、参考線Ｑａと参考線Ｐａとを混同しないように参考線Ｐａとは異なる表示態様で参考線Ｑａを表示することが望ましい。一例として、参考線Ｑａを「赤色」で表示するようにしてもよい。

前述したように、撮像部１６ａ、撮像部１６ｂ、撮像部１６ｄは広角レンズを用いているので、画面端部が歪む傾向がある。例えば、参考線Ｐａは、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲにおいて実質的に直線であるが、前方表示領域ＦＶでは曲線で表示される。また、参考線Ｑａは、前方表示領域ＦＶにおいては、前方に向かって凹状に湾曲しているが、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲにおいては、前方に向かって凸状に湾曲している。したがって、前方表示領域ＦＶと、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲで同じ指標である参考線Ｐａ（参考線Ｑａ）を表示しても、異なる形状の異なる意味を示す指標のように見えてしまい、利用者（運転者、乗員等）に混乱を与えやすい。

本実施形態の周辺監視ＥＣＵ１４は、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲに表示する参考線Ｐａ（参考線Ｑａ）と、前方表示領域ＦＶに表示する参考線Ｐａ（参考線Ｑａ）を対応する表示態様、例えば同じ表示色で表示するようにすることで、異なる表示領域に表示された指標が同じ意味を持つもの、例えば、車側から０．３５ｍの位置にある参考線Ｐａであるということを直感的に利用者（運転者、乗員等）に理解させることができる。また、参考線Ｐａの表示態様と参考線Ｑａの表示態様を異ならせることにより、参考線Ｐａと参考線Ｑａとが異なる意味を持つものであることも利用者に直感的に理解させることができる。

このように、本実施形態によれば、複数の表示領域に一見関連性がないように見える指標が表示される場合でも、同じ指標同士の表示形態を対応させることで関連性の存在を利用者（運転者、乗員等）に容易に認識させることができる。その結果、複数の表示映像で提供される車両１の周囲状況を迅速に認識させて、車両のスムーズな運転を容易に行えるような運転支援を提供することができる。

なお、図５に示す例では、周辺監視ＥＣＵ１４は、操舵部４（ステアリングホイール）の操作状態を舵角センサ１９の出力データに基づき取得し、前輪３Ｆの向きを推定して、車両１の進行推定方向を示す進路指標Ｒを前方表示領域ＦＶに重畳表示している。進路指標Ｒを前方表示領域ＦＶに表示することにより、車両１がこれから進もうとしている方向と、参考線Ｐａおよび参考線Ｑａとの関係が把握し易くなる。その結果、参考線Ｐａや参考線Ｑａを効果的に利用して、例えば、スムーズに障害物を回避する運転を容易に行えるような運転支援を提供することができる。なお、前方表示領域ＦＶに重畳表示させる進路指標Ｒ（タイヤ軌跡）にパース処理（遠い側が細くなるような描画処理）を施してもよい。この場合、参考線Ｐａと進路指標Ｒとの区別が容易になり、参考線Ｐａが路面上に示された線であるということを強調し易くなる。その結果、台形形状の前方表示領域ＦＶに重畳された参考線Ｐａと、左側表示領域ＳＶＬ及び右側表示領域ＳＶＲに重畳された参考線Ｐａとが同一の線（参考線）であることを認識させ易くすることができる。

また、図５において、前方表示領域ＦＶの下方に傾斜計表示領域３０が形成され、車両１を後方から見た状態のシンボル３２が示されている。傾斜計表示領域３０に表示されるシンボル３２の姿勢が車両１のロール角やピッチ角に相当する。その結果、車両１の傾斜状態を客観的に把握させ易くできる。

なお、前方表示領域ＦＶ、左側表示領域ＳＶＬ、右側表示領域ＳＶＲ等に表示される周辺画像には様々な状態の路面が含まれる。そのため、指標として参考線Ｐａ、補助線Ｐｂ、参考線Ｑａ、補助線Ｑｂ等を重畳表示する場合、路面色に対して識別力の高い表示色を用いても識別力が十分に得られない場合が考えられる。そこで、本実施形態の周辺監視ＥＣＵ１４は、例えば、参考線Ｐａ（Ｑａ）を表示する際に、当該参考線Ｐａ（Ｑａ）に沿って際だち処理を施してもよい。例えば、図６に示すように、参考線Ｐａ、参考線Ｑａに対して、際だち処理として当該参考線Ｐａ、参考線Ｑａの線側の車両１側に陰影ＢＬを付加するようにしてもよい。陰影ＢＬを付加することで、指標としての識別力の向上に寄与できる。なお、図５に示す進路指標Ｒについても同様に陰影ＢＬを付加して識別力の向上を図ってもよい。なお、際立ち処理は、参考線Ｐａ（Ｑａ）の強調ができればよく、例えば参考線Ｐａ（Ｑａ）に沿って車両１に遠い側に施してもよい。したがって、際立ち処理は、車両側または遠方側のいずれか一方に施しても両方に施してもよい。

際だち処理は、陰影ＢＬの付加に限らず、例えば、参考線Ｐａや参考線Ｐａ等を点滅表示にしたり、３Ｄ処理を施してもよい。また、これらの処理を陰影ＢＬと組み合わせてもよい。

図７は、本実施形態に係る周辺監視装置の周辺監視ＥＣＵ１４内に実現される周辺監視部５００の構成を示すブロック図である。図７に示す周辺監視部５００内の各構成は、図３の周辺監視ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたソフトウェアを実行することで実現される。

周辺監視部５００は、ＲＯＭ１４ｂ（コンピュータ読み取り可能な記録媒体）内に格納されたソフトウェアを実行することで、取得部５０２と、角度算出部５０４と、指標取得部５０６と、操舵角取得部５０８と、画像合成部５１０と、出力部５１２と、を実現する。なお、ソフトウェア（プログラム）は、コンピュータ読み取り可能な他の記録媒体を介して提供されてもよい。

そして、本実施形態にかかる周辺監視部５００は、車両１のイグニッションスイッチや電源スイッチ、表示開始スイッチ等がＯＮ状態、すなわち、車両１が駆動可能な状態、または利用者による表示要求がなされた場合に、撮像部１６から入力された撮像画像データ、および加速度センサ２６、舵角センサ１９等から取得した各種データに基づいて、車両１の周辺の状況を認識できる画像データ及びそれに関連する補助情報を表示して、運転者の運転を支援する。

取得部５０２は、車両１に設けられ当該車両１の周辺を撮像する撮像部１６ａ〜１６ｄから出力された撮像画像データを取得する。取得部５０２は、取得した撮像画像データを画像合成部５１０に出力する。

角度算出部５０４は、加速度センサ２６ａ，２６ｂが取得した加速度データに基づいて、車両１の傾斜角度（ピッチ角及びロール角）を所定周期で算出する。なお、ピッチ角は、車両１の左右軸周りの傾きを示した角度とする。水平な面（地面、路面）上に車両１が存在する場合に、ピッチ角が０度となる。また、ロール角とは、車両１の前後軸周りの傾きを示した角度とする。水平な面（地面、路面）上に車両１が存在する場合に、ロール角が０度となる。傾斜角度の算出は、既知の方法が利用可能なので、ここではその説明を省略する。また、傾斜角度は、上述した加速度センサ２６を用いて算出する方法以外で取得してもよく、傾斜角センサ等を用いてもよい。角度算出部５０４は算出した傾斜角度を画像合成部５１０に出力する。

指標取得部５０６は、ＲＯＭ１４ｂまたはＳＳＤ１４ｆに記憶された複数の指標データ（参考線Ｐａ用データ、補助線Ｐｂ用データ、参考線Ｑａ用データ、補助線Ｑｂ用データ、進路指標Ｒ用データ等）から表示対象となる指標を選択取得して、画像合成部５１０に出力する。

操舵角取得部５０８は、舵角センサ１９から出力される操舵角データを所定周期で取得して、画像合成部５１０に出力する。

画像合成部５１０は、取得部５０２から提供された撮像画像データに指標取得部５０６から提供された指標データを重畳する合成処理を実行する。この場合、前方表示領域ＦＶには、前面表示用の参考線Ｑａ用データ、参考線Ｐａ用データ等を図５に示すように重畳する。同様に、左側表示領域ＳＶＬ、右側表示領域ＳＶＲにも側面表示用のＱａ用データ、参考線Ｐａ用データ等を図５に示すように重畳する。さらに、画像合成部５１０は、指標取得部５０６から提供される進路指標Ｒ用データを前方表示領域ＦＶに重畳する。この場合、進路指標Ｒは、前輪３Ｆの操舵角方向によって、進路方向が変化するので、操舵角取得部５０８から提供される操舵角に基づいて進路指標Ｒ用データを補正して重畳する。さらに、画像合成部５１０は、指標取得部５０６から提供される傾斜角度に基づいて、傾斜計表示領域３０に表示するシンボル３２の姿勢を決定する。

画像合成部５１０は、前方表示領域ＦＶ、左側表示領域ＳＶＬ、右側表示領域ＳＶＲ、傾斜計表示領域３０に表示するべきデータ合成が完了すると出力部５１２に所定周期で出力する。出力部５１２は、取得した合成済みデータを各種運転支援情報として表示装置８に表示する。

図８は、画像合成部５１０における表示処理の手順を示すフローチャートである。画像合成部５１０は、取得部５０２から所定周期で撮像画像データを取得する（Ｓ１００）。また、画像合成部５１０は、操舵角取得部５０８から操舵角を取得し（Ｓ１０２）、その操舵角に基づき現在の前輪３Ｆのタイヤ角を算出する。続いて、画像合成部５１０は、取得した撮像画像データに重畳すべき指標データを指標取得部５０６を介して取得する（Ｓ１０４）。

画像合成部５１０は、主画像、つまり前方表示領域ＦＶに表示すべき、撮像部１６ａが取得した前方画像に、指標として前面表示用の参考線Ｑａ用データ、参考線Ｐａ用データ、進路指標Ｒを重畳する（Ｓ１０６）。また、副画像、つまり左側表示領域ＳＶＬ、右側表示領域ＳＶＲに表示すべき、撮像部１６ｂ、１６ｄが取得した左側方画像、右側方画像に、指標として側方表示用の参考線Ｐａ用データ、参考線Ｑａ用データを重畳する（Ｓ１０８）。そして、画像合成部５１０は、各重畳画像を出力部５１２に提供し、出力部５１２は、表示装置８に図５に示すように車両１の周辺画像を表示させる（Ｓ１１０）。

このように、本実施形態の周辺監視システム１００は、撮像部１６で撮影した複数方向の周辺画像とそれに関連する指標を表示するだけでなく、各表示画像に表示される指標を、その指標同士の関連性が理解し易い表示態様で表示することにより、表示画像間の関連性が視覚的に認識し易くなる。

なお、上述した実施形態では、周辺監視部５００が表示装置８に前方表示領域ＦＶと左側表示領域ＳＶＬおよび右側表示領域ＳＶＲを表示する前進表示モードを一例として示した。他の実施形態として、例えば、シフトセンサ２１からの検出情報に基づいて、車両１が後進しようとしていることが確認できた場合、周辺監視部５００は、撮像部１６ａに代えて撮像部１６ｃが取得した後方画像に対して各種指標を重畳して、前方表示領域ＦＶに代えて後方画像を表示するようにしてもよい。なお、本実施形態の車両１は、後進する際は、舵角センサ１９に基づき後進時の後輪３Ｒの進路指標Ｒを後方画像に重畳するようにしてもよい。このような後進表示モードで周辺画像と指標を表示する場合も、指標同士の関連性が理解し易い表示態様で表示することが可能になり、表示画像間の関連性が視覚的に認識し易くなるという効果を得ることができる。

また、本実施形態では、指標として、車両側面や前面からの距離を示す参考線Ｐａや参考線Ｑａを用いる例を示したが、周辺画像における車両１の位置を認識し易くする指標であればよく、例えば、シンボルやマーク、対応を示す領域の表示等でもよい。この場合も前方表示領域ＦＶと左側表示領域ＳＶＬおよび右側表示領域ＳＶＲ間で同じ指標が重畳表示される場合、それぞれの指標を対応する表示態様で表示するようにする。その結果、表示画像間の関連性が視覚的に認識し易くなるという同様の効果を得ることができる。

また、図４に示しように、本実施形態では、参考線Ｐａ、参考線Ｑａに加え補助線Ｐｂや補助線Ｑｂも表示可能である。この場合、参考線Ｐａ、参考線Ｑａを識別しやすい色付き表示にしたり、際だち表示を行ったりする一方、補助線Ｐｂや補助線Ｑｂは、通常表示、例えば白線表示等により補助的な表示とする例を示した。別の実施形態では、利用者の選択により、識別しやすく指標を切り替えるようにしてもよい。例えば、注目する指標に対して、車幅方向にもっと余裕を持ちたい場合には、補助線Ｐｂを色付き表示や際だち表示にして、参考線Ｐａを白線表示等にしてもよい。同様に、前方表示領域ＦＶに表示する参考線Ｑａについても、補助線Ｑｂ等を識別しやすい指標としてもよい。このように、識別し易い指標を利用者が選択できるようにすることで、利用者の運転技量に応じた指標表示が可能になり、運転支援効果を向上させることができる。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、１４…周辺監視ＥＣＵ、１６…撮像部、Ａ，Ｂ…撮像領域、ＧＬ…仮想線、Ｐａ…参考線、Ｑａ…参考線、Ｒ…進路指標、１００…周辺監視システム、５００…周辺監視部、ＢＬ…陰影、５０２…取得部、５１０…画像合成部、５１２…出力部、ＦＶ…前方表示領域、ＳＶＬ…左側表示領域、ＳＶＲ…右側表示領域。

Claims (7)

1. 車両に設けられ当該車両の進行方向を第１撮像領域として撮影する第１撮像部から出力された第１撮像画像データと、前記車両に設けられ当該車両の車幅方向を第２撮像領域として撮影する第２撮像部から出力される第２撮像画像データと、を取得する取得部と、
   前記第１撮像画像データに基づく画像を表示する第１表示領域と前記第２撮像画像データに基づく画像を表示する第２表示領域の少なくとも一方の表示領域に、前記車両に対する所定領域を示す指標を重畳表示するとともに、他方の表示領域に前記指標の重畳領域が含まれる場合、前記一方の表示領域に表示する前記指標と対応する表示態様で前記指標を前記他方の表示領域に重畳表示する出力部と、
   を備え、
   前記出力部は、前記指標として、前記車両のフロントバンパから予め定められた距離離れた第１参考線を前記第１表示領域に表示し、前記車両の左右のいずれかの側方から予め定められた距離離れた第２参考線を前記第２表示領域に表示するとともに、前記第１参考線の一部を前記第２表示領域に表示し、前記第２参考線の一部を前記第１表示領域に表示する周辺監視装置。
2. 前記出力部は、前記第１表示領域と前記第２表示領域とで対応する表示態様で表示される前記指標を実質的に同じ表示色で表示する請求項１記載の周辺監視装置。
3. 前記出力部は、前記第１参考線と、前記第２参考線とを異なる表示態様で表示する請求項１または請求項２に記載の周辺監視装置。
4. 前記出力部は、前記第１参考線と前記第２参考線の少なくとも一方に対して、その対象となる参考線に沿って際だち処理を施して際だたせる請求項１から請求項３のいずれか１項に記載の周辺監視装置。
5. 前記出力部は、前記際だち処理として前記第１参考線と前記第２参考線の少なくとも一方に前記車両側と遠方側とのいずれか一方に陰影を付加する請求項４に記載の周辺監視装置。
6. 前記出力部は、車両の進行推定方向を示す進路指標を前記表示領域に重畳表示する請求項１から請求項５のいずれか１項に記載の周辺監視装置。
7. 車両に設けられ当該車両の進行方向を第１撮像領域として撮影する第１撮像部から出力された第１撮像画像データと、前記車両に設けられ当該車両の車幅方向を第２撮像領域として撮影する第２撮像部から出力される第２撮像画像データと、を取得する取得ステップと、
   前記第１撮像画像データに基づく画像を表示する第１表示領域と前記第２撮像画像データに基づく画像を表示する第２表示領域の少なくとも一方の表示領域に、前記車両に対する所定領域を示す指標を重畳表示するとともに、他方の表示領域に前記指標の重畳領域が含まれる場合、前記一方の表示領域に表示する前記指標と対応する表示態様で前記指標を前記他方の表示領域に重畳表示する出力ステップと、
   を含み、
   前記出力ステップは、前記指標として、前記車両のフロントバンパから予め定められた距離離れた第１参考線を前記第１表示領域に表示し、前記車両の左右のいずれかの側方から予め定められた距離離れた第２参考線を前記第２表示領域に表示するとともに、前記第１参考線の一部を前記第２表示領域に表示し、前記第２参考線の一部を前記第１表示領域に表示する処理をコンピュータに実行させるためのプログラム。

Images