JP6507626B2 - 車両周辺監視装置 - Google Patents

Description

本発明の実施形態は、車両周辺監視装置に関する。

従来、車両の運転操作を支援する技術として、車両に搭載されたカメラ等の撮像装置で車両の周辺環境を撮像し、その撮像結果である撮像画像データを表示することで、運転者の運転操作を支援する技術が提案されている。このような撮像画像を用いて運転支援を行う場合に、撮像装置が車両に固定されている場合、車両が傾斜すれば撮像される画像の撮像範囲も傾く。この場合、表示装置に撮像画像データをそのまま表示すると、表示される画像は傾いた状態で表示されることになり、利用者に違和感を与えてしまう場合がある。そこで、車両が傾斜した状態で画像を取得した場合に、その取得した画像を車両の傾斜角に応じて回転させて表示する技術がある。

特開平９−５２５５５号公報

画像を回転させる修正を行うことにより画像全体としての傾きは解消できるが、画像上の物体は回転中心を中心に移動する。このとき、回転中心から離れるほど回転処理に起因する移動量が大きくなる。表示装置は、表示画像の中央付近が車両の正面になるように設定されている場合が多い。そのため、表示画像の中央付近を回転中心として回転処理を行うと、表示装置の上部領域（遠方領域）や下部領域（近傍領域）、つまり画像の周辺領域での物体の移動量が大きくなってしまう。例えば、実際は車両の遠方正面に存在する物体が正面からずれた位置に存在するように表示されてしまう場合がある。また、その逆もあり得る。車両の近傍に存在する物体についても同様な現象が生じ得る。そのため、表示装置に表示された周囲環境と利用者がフロントガラス越しに見る現実の周囲状態との間に差異が生じ、利用者に違和感を与えてしまうという問題がある。

本発明の実施形態にかかる車両周辺監視装置は、例えば、車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部と、前記車両に設けられて少なくとも当該車両のロール状態を検出する車両状態検出部から出力された車両状態データを取得する状態取得部と、前記撮像画像データに基づく表示画像を表示装置に表示する場合に、前記ロール状態に応じて前記表示画像を回転させるための回転中心を設定する設定部と、設定した前記回転中心を中心に前記表示画像の表示状態を前記ロール状態に応じて回転させる画像調整部と、前記表示画像を前記表示装置に出力する出力部と、を備え、前記設定部は、前記表示画像の表示領域の表示幅方向の中央位置を通る上下軸線上のいずれかの位置に前記回転中心を設定する。この構成によれば、例えば、表示画像上の回転中心の近傍は、画像が回転した場合でも、画像上の物体の移動量は僅かである。つまり、状況に応じて画像の回転中心の位置を変更できる（設定できる）ことにより、回転による影響を受けにくい画像領域を形成することができる。そして、例えば、回転中心が表示領域の表示幅方向の中央位置を通る上下軸線上の上方の位置に設定された場合、画像を回転させても車両の前方で遠方に存在する物体の移動量は低減できる。逆に、回転中心が表示領域の表示幅方向の中央位置を通る上下軸線上の下方の位置に設定された場合、画像を回転させても車両の前方で近傍に存在する物体の移動量は低減できる。つまり、利用者に注目させたい物体（周囲環境）が存在する位置に応じて回転中心の設定（回転中心の位置の設定）を行うことで、画像上の移動量が少ない表示を実現することができる。

また、上記車両周辺監視装置の前記設定部は、例えば、前記車両の車速に応じて前記上下軸線上で前記回転中心を設定するようにしてもよい。この構成によれば、例えば、車速が高い場合、利用者（運転者）は遠方を見ている場合が多い。この場合、回転中心を表示領域の表示幅方向の中央位置を通る上下軸線上の上方の位置に設定する。その結果、利用者が注目していると見なせる遠方の位置での物体（周囲環境）の画像回転による移動量が低減できる。逆に車速が低い場合、利用者（運転者）は車両近傍を見ている場合が多い。この場合、回転中心を表示領域の表示幅方向の中央位置を通る上下軸線上の下方の位置に設定する。その結果、利用者が注目していると見なせる近傍の位置での物体（周囲環境）の画像回転による移動量が低減される。

また、上記車両周辺監視装置の前記設定部は、例えば、前記車両の周囲に存在する障害物までの距離に応じて前記上下軸線上で前記回転中心を設定するようにしてもよい。この構成によれば、例えば、障害物が遠方にある場合、利用者（運転者）は遠方を見ている場合が多い。この場合、回転中心を表示領域の表示幅方向の中央位置を通る上下軸線上の上方の位置に設定する。その結果、利用者が注目していると見なせる遠方の位置での物体（周囲環境）の画像回転による移動量が低減できる。逆に障害物が車両の近傍にある場合、利用者（運転者）は車両近傍を見ている場合が多い。この場合、回転中心を表示領域の表示幅方向の中央位置を通る上下軸線上の下方の位置に設定する。その結果、利用者が注目していると見なせる近傍の位置での物体（周囲環境）の画像回転による移動量が低減される。

また、上記車両周辺監視装置の前記画像調整部は、例えば、前記表示画像を前記表示装置に表示する場合に表示幅方向に伸張調整するようにしてもよい。車両の前方の画像を取得する場合、広範囲の情報を取得することが望ましいので、撮像部は広角レンズを備える場合がある。この画像を表示装置にそのまま表示すると中央部に近づくほど画像が細長くなる傾向がある。表示画像を表示装置に表示する場合に表示幅方向に伸張調整することにより、表示画像を現実の形状に近づけることが可能になり、利用者に違和感を与え難くすることができる。

また、上記車両周辺監視装置の前記状態取得部は、例えば、さらに前記車両のピッチ状態を示す車両状態データを取得し、前記画像調整部は、前記ピッチ状態に応じて前記表示画像を上下方向に移動させてもよい。この構成によれば、例えば、車両が前後方向に傾いていた場合も、その傾きを解消して利用者が注目している位置を表示画面上に表示することができる。

図１は、実施形態にかかる車両周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる車両周辺監視装置を搭載する車両の一例が示された平面図（俯瞰図）である。 図３は、実施形態にかかる車両周辺監視装置を含む画像制御システムの一例が示されたブロック図である。 図４は、実施形態にかかる車両周辺監視装置のＥＣＵ内に実現される画像処理部の構成を示すブロック図である。 図５は、実施形態にかかる車両周辺監視装置における表示画像の一例であり、車両が傾いていない場合の表示状態を示す表示例である。 図６は、実施形態にかかる車両周辺監視装置を搭載する車両が傾いたときに撮像部で撮像される撮像画像の一例である。 図７は、実施形態にかかる車両周辺監視装置における表示画像の一例であり、車両が傾いた状態で撮像した画像を水平になるように回転させた場合の表示状態を示す表示例である。 図８は、撮像した画像を表示領域の表示幅方向の中央位置を通る上下軸線上の略中央位置で回転させる場合の注目点の移動状態を説明する説明図である。 図９は、撮像した画像を表示領域の表示幅方向の中央位置を通る上下軸線上の下方位置で回転させる場合の注目点の移動状態を説明する説明図である。 図１０は、撮像した画像を表示装置の表示幅方向の中央位置を通る上下軸線上の上方位置で回転させる場合の注目点の移動状態を説明する説明図である。 図１１は、実施形態にかかる車両周辺監視装置の設定部が参照する設定マップの一例である。 図１２は、実施形態にかかる車両周辺監視装置の表示領域の変換を説明する図であり、（ａ）は、撮像元画像データに対応する元表示領域（撮像領域）を示す図であり、（ｂ）は、変換後の修正表示領域の形状を示す図である。 図１３は、実施形態にかかる車両周辺監視装置の画像処理の手順を説明するフローチャートである。

以下、本実施形態の車両周辺監視装置を車両１に搭載した例をあげて説明する。実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良い。また、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１に示されるように、実施形態にかかる車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、例えば、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルである。また、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーである。ただし、これらには限定されない。

また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、本実施形態では、例えば、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、例えば、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、例えば、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、車両周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。

また、図１、図２に示されるように、本実施形態では、例えば、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。そして、例えば前輪３Ｆのタイヤ角が操舵部４（ステアリングホイール）の操作に対応して変化（転舵）する。操舵システム１２（図３参照）は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１２は、図３に示すように、アクチュエータ１２ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補って、前輪３Ｆを操舵する。

また、本実施形態では、例えば、図２に示されるように、車両１（車体２）には、複数（本実施形態では、例えば４つ）の撮像部１６（１６ａ〜１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで撮像画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には例えば１４０°〜２２０°の範囲（視野角）を撮影（撮像）することができる。また、撮像部１６の光軸は下方（例えば、鉛直方向や斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面と当該路面から上方の領域とを含む車体２の周辺の外部の環境を撮像することができる。

本実施形態では、例えば、第１撮像部として機能する撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントグリル等に設けられている。第２撮像部として機能する撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。また、第１撮像部として機能する撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リアトランクのドア２ｈの下方の壁部に設けられている。第２撮像部として機能する撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。なお、本実施形態は、カメラの車載方法を制限するものではなく、車両１に対してフロント方向の撮像画像データ、左右サイド方向の撮像画像データ、リア方向の撮像画像データを取得できるように設置されればよい。

ＥＣＵ１４（Electronic Control Unit；図３参照）は、複数の撮像部１６で得られた撮像画像データに基づいて演算処理や画像処理を実行し、当該画像処理がなされた撮像画像データを表示装置８に表示できる。なお、例えば車両前方を撮影（撮像）する撮像部１６ａが撮像した撮像画像データは、そのまま現在の車両周囲の状況を示す現在画像として利用する。

また、本実施形態では、例えば、図３に示されるように、周辺監視システム（車両周辺監視装置）１００では、ＥＣＵ１４や、モニタ装置１１等の他、障害物センサ１７、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、障害物センサ１７、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果を受け取ることができる。また、ＥＣＵ１４は、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。

本実施形態では、車両１に２個の加速度センサ２６（２６ａ，２６ｂ）が設けられているものとする。なお、本実施形態は、車両１をＥＳＣ（electronic stability control）搭載車両とする。そして、ＥＳＣ搭載車両に従来搭載されている加速度センサ２６（２６ａ，２６ｂ）を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであれば良い。本実施形態では、前後方向の加速度及び左右方向の加速度を導出する。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた撮像画像データを用いた画像処理や、表示装置８で表示される撮像画像データの画像処理（例えば合成等）等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であっても良い。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられても良いし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられても良い。

図４に示されるように、ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される各種モジュールを備える。ＣＰＵ１４ａは、例えば、画像取得部３２、状態取得部３４、速度取得部３６、障害物検出部３８、設定部４０、画像調整部４２、出力部４４等を備える。

画像取得部３２は、撮像部１６が撮像した画像を表示制御部１４ｄを介して取得する。本実施形態の場合は、主として撮像部１６ａで撮像した車両１の前方画像を取得して画像処理を行う例を説明するが、撮像部１６ｂ，１６ｄが撮像する車両１の側方画像や撮像部１６ｃが撮像する車両１の後方画像等を取得し、必要に応じて画像処理を行い表示装置８に表示することができる。画像取得部３２は、取得した撮像画像データを設定部４０及び画像調整部４２に提供する。なお、表示制御部１４ｄは、撮像部１６が撮像した撮像画像データに単純な画像処理を施して表示する場合や、画像処理を施さずに表示する場合、他のデータと重畳表示する場合等は、その処理を表示制御部１４ｄで行い、表示装置８で表示させるようにしてもよい。

状態取得部３４は、車内ネットワーク２３を介して供給される加速度センサ２６ａ，２６ｂが検出した加速度データに基づいて、車両１の傾斜角度（ロール角及びピッチ角）を算出して設定部４０に提供する。つまり、加速度センサ２６は、車両状態データを出力する車両状態検出部として機能する。なお、ロール角とは、車両１の前後軸周りの傾きを示した角度とし、ピッチ角とは、車両１の左右軸周りの傾きを示した角度とする。なお、状態取得部３４は、車両１の姿勢を後述する姿勢シンボルで表示するためにロール角やピッチ角の情報を出力部４４に提供するようにしてもよい。

速度取得部３６は、車内ネットワーク２３を介して供給される車輪速センサ２２が検出した車輪速に基づいて車両１の車速を算出して設定部４０に提供する。なお、速度取得部３６は、車両１の車速が取得できればよく、車輪速センサ２２以外からの情報に基づいて車速を算出してもよい。

障害物検出部３８は、車内ネットワーク２３を介して供給される例えば障害物センサ１７からの情報に基づき車両１の周辺に障害物が存在するか否か、また障害物が存在する場合、その障害物までの距離を算出して設定部４０にその情報を提供する。障害物センサ１７は、例えば、超音波を発射してその反射波を捉えるソナーとすることができる。ソナーは、ソナーセンサ、あるいは超音波探知器ともいう。なお、障害物検出部３８は、画像取得部３２が撮像した撮像画像データを用いて、その画像の中に存在する障害物をパターンマッチング等の技術を用いて抽出したり、画像座標系上の位置を算出したりすることにより、障害物の存在やその障害物までの距離を検出（推定）するようにしてもよい。

設定部４０は、画像取得部３２が取得した撮像画像データに基づく表示画像を表示装置に表示する場合に、車両１のロール状態に応じて表示画像を回転させるために利用する回転中心を設定する。具体的に設定部４０は、状態取得部３４から提供される車両１のロール状態に基づき、撮像画像データの回転処理が必要か否かを判定する。また設定部４０は速度取得部３６から提供される車両１の速度や障害物検出部３８から提供される障害物までの距離に基づき、撮像画像データを回転させる場合の回転中心の位置を決定する。設定部４０による回転中心の設定の具体的な例は後述する。

画像調整部４２は、画像取得部３２から提供される車両１の前方画像の表示状態を設定部４０が設定した回転中心を中心に状態取得部３４が検出した車両１のロール角に対応する角度で回転させる。画像調整部４２は、回転処理を施した車両１の前方画像を出力部４４に提供する。出力部４４は、回転処理が施された車両１の前方画像を順次表示制御部１４ｄに出力する。なお、画像調整部４２における回転処理は、例えば周知に行列を用いた座標変換によって実行できるので、ここでは、回転処理の詳細な説明は省略する。また、出力部４４は、状態取得部３４からの情報、すなわち車両１のロール角やピッチ角を表示制御部１４ｄに出力する。

表示制御部１４ｄは、出力部４４から出力された車両１の前方画像と、撮像部１６ｂ，１６ｄから提供される車両１の側方画像、出力部４４を介して得られた車両１のロール状態（ロール角）やピッチ状態（ピッチ角）に基づく車両１の姿勢シンボルや車両１と周囲の関係を示す補助線等を合成して表示装置８に出力する。なお、ＣＰＵ１４ａ内に実現される各モジュールは、上述したように機能ごとに個別に構成されてよいし、複数の機能をまとめて一つのモジュールで実現してもよい。逆に機能をさらに細分化して実現してもよい。

図５には、表示装置８の表示例が示されている。図５の場合、車両１はロール角及びピッチ角のいずれもが「０°」の状態、すなわち車両１が平坦路に存在する場合を示している。表示装置８は、表示領域として、前方表示領域８ａ、左側方表示領域８ｂ、右側方表示領域８ｃ、姿勢シンボル表示領域８ｄを備える。前方表示領域８ａは、主として撮像部１６ａが撮像した撮像画像データに基づく画像の表示領域で、表示装置８の表示領域の中央を含む上段の広い範囲に設定されている。前方表示領域８ａには、撮像部１６ａが撮像した前方画像に、前輪進路指標４８ａ、車幅参考線４８ｂ、前方参考線４８ｃ等が重畳表示されている。前輪進路指標４８ａは、例えば、舵角センサ１９から取得できる前輪３Ｆの操舵角に基づいて車両１（前輪３Ｆ）の進行推定方向を表示する。車幅参考線４８ｂは、車両１の車幅に基づいて、車両１の車幅より所定の余裕距離、例えば０．５ｍ車両側方にオフセットした位置を示すように重畳表示される。また、前方参考線４８ｃは、車両１の前方の端部２ｃを基準として、重畳される線であり、前方表示領域８ａ上における自車と前方の物体との距離をイメージしやすいように所定距離ごとの複数本表示されている。なお、前方表示領域８ａの表示領域は、後方表示領域としても利用することができる。例えば、変速操作部７（シフトレバー）が「Ｒ；リバース」の位置に移行した場合、撮像部１６ｃが撮像する後方画像に切り替え、車両１が後退する場合の走行支援を行うようにしてもよい。この場合も後輪進路指標や車幅参考線、後方参考線等を重畳表示してもよい。

左側方表示領域８ｂ及び右側方表示領域８ｃには、車両１の側方画像として、前輪３Ｆの周辺を表示するとともに、車幅参考線４８ｂや前方参考線４８ｃ、前輪３Ｆの接地位置を示す接地線４８ｄ等も重畳表示されている。このような前輪進路指標４８ａ、車幅参考線４８ｂ、前方参考線４８ｃ、接地線４８ｄ等の参考線を車両１の画像に重畳表示することにより、車両１の位置や周囲との関係の把握を容易にできるようにしている。

姿勢シンボル表示領域８ｄには、車両１を後方から見た状態を示す姿勢シンボル５０が表示され、状態取得部３４が算出したロール角やピッチ角に対応して姿勢シンボル５０の姿勢が変化するようになっている。その結果、利用者が車両１の姿勢を客観的に容易に理解できるように支援することができる。

ここで、車両１の状態として、車両１の片方の車輪３が石や路面の突起に乗り上げた場合を考える。この場合、車両１は傾き、車両１に固定された撮像部１６も車両１と共に傾く。例えば、車両１の左側の車輪３が突起に乗り上げて、車両１が右方向にロールした場合を考える。この場合、例えば、撮像部１６ａで撮像された撮像画像データは、ＲＡＭ１４ｃ等の記憶部に一時的に記憶されるが、記憶部では絶対座標系を用いて撮像画像データが記憶される。その結果、例えば、図６に示すように、地平線５２が傾いた状態の撮像画像５４が記憶される。つまり、前方表示領域８ａに撮像画像データ（撮像画像５４）をそのまま表示すると、地平線５２が傾いた状態で表示される。さらに、前方表示領域８ａに表示された画像は、実際の車両１の傾き方向とは逆の方向に傾いているように表示されてしまう。そのため、利用者に違和感を与えてしまう場合がある。そこで、車両１が傾いた状態で撮像された撮像画像データを表示装置８に表示する場合は、車両１の傾き状態に応じた回転修正を行って、例えば地平線５２が前方表示領域８ａの水平方向のエッジに沿うようにした上で前方表示領域８ａに表示することが望ましい。図７は、車両１が傾いた場合に撮像された撮像画像データを車両１の傾き状態に応じた回転修正を行った上で前方表示領域８ａに表示した例である。なお、本実施形態の撮像部１６ａの場合、撮像範囲が前方表示領域８ａの表示範囲と対応する範囲としているため、傾いた画像を回転処理して表示する場合、データの存在しない欠落領域５６が存在する。また、撮像部１６ａは例えば広角レンズを使用しているので、地平線５２は、湾曲しているように表示されている。このように、傾いた状態で撮像された撮像画像データでも、車両１の傾き角（ロール角）に基づいて回転修正することによって、利用者がフロントガラス越しに視認する状態と同等の画像を表示装置８に表示することができる。なお、撮像部１６ａの撮像範囲を前方表示領域８ａより大きくして、前方表示領域８ａに表示する場合に、画像の切り出し処理を行うようにすれば、欠落領域５６が生じないようにできる。

ところで、撮像部１６等で撮像した撮像画像データを回転処理する場合、レンズ中心で回転させることが考えられる。図８は、角度θで傾いた第１画像５８を角度θだけ反時計方向に回転処理して第２画像６０に変換した場合の状態推移を説明する図である。つまり、傾いて撮像された画像を表示幅方向の中央位置を通る上下軸線Ｐ上の略中央位置（回転中心Ｏ）で回転させる場合の注目点Ａ１，Ｂ１，Ｃ１，Ｄ１の移動状態を説明する説明図である。図８に示されるように、回転中心Ｏから遠い位置に存在する注目点Ａ１及び注目点Ｄ１は、角度θの回転によって表示点Ａ２及び表示点Ｄ２に移動する。同様に、回転中心Ｏから近い位置に存在する注目点Ｂ１及び注目点Ｃ１は、角度θの回転によって表示点Ｂ２及び表示点Ｃ２に移動する。しかしながら回転処理を施した場合に、回転中心Ｏから遠い注目点Ａ１及び表示点Ｄ２の回転処理に起因する移動量が回転中心Ｏから近い注目点Ｂ１及び注目点Ｃ１に比べて大きい。言い換えれば、表示画像の傾きを修正するために行う回転処理により、車両１から遠方にある物体の画面上の移動量が大きくなる。例えば、実際は車両１の進行方向からずれた位置にある障害物が回転処理によって、車両１の前方位置にあるように表示されてしまう虞がある。この場合、利用者は障害物の位置を誤認識する虞があり、実際には必要ない障害物の回避操作を行ってしまう場合がある。同様に、車両１の近傍にある物体の画面上の移動量が大きくなり、同様に利用者の誤認識の原因になる場合がある。

そこで、本実施形態の周辺監視システム１００は、利用者に注目していると見なせる前方表示領域８ａ上の注目領域を推定して、その注目領域における物体の移動量が少なくなるように撮像画像５４である傾き画像の回転処理を行うようにしている。前方表示領域８ａ上の注目領域の推定は、例えば、車両１の速度に基づいて行うことができる。例えば、車両１が低速で走行している場合、運転者は車両１の周囲の状況に注意を払いながら走行している可能性が高いと見なせる。つまり、前方表示領域８ａ上では、車両１に近い側である前方表示領域８ａの下方の領域に注目領域が存在すると見なすことができる。

このような場合、設定部４０は、速度取得部３６から得た車速に基づき、表示領域の表示幅方向の中央位置を通る上下軸線上の下方に近い位置に回転中心を設定する。図９は、表示領域の表示幅方向の中央位置を通る上下軸線上の下方に近い位置に回転中心を設定した場合に、注目領域である表示領域の下側、つまり車両１の前方の近い位置を表示する領域において、表示画像の回転処理を施しても物体の移動量が低減されることを示す図である。図９に示すように、表示領域の表示幅方向の中央位置を通る上下軸線Ｐ上の下方、例えば、最下端位置Ｇに回転中心Ｏを設定する。なお、最下端位置Ｇに回転中心Ｏを設定するのは、例えば「車速＝０ｋｍ／ｈ」のときとする。そして、回転中心Ｏを中心に例えば、角度θ°だけ回転処理することにより、傾いた第１画像５８は、水平の第２画像６０に修正できる。このとき、注目領域に存在する注目点Ｄ１は、表示点Ｄ２に移動するが、その移動量はごく僅かである。つまり、実際に前方表示領域８ａに表示する撮像画像データを傾き角度（ロール角）に応じて回転処理を行う場合でも、車両１の車速が低い（低速の）場合は前方表示領域８ａの上下軸線Ｐ上の下方の位置に回転中心Ｏを設定する。その結果、図７に示すように地平線５２が前方表示領域８ａの水平方向のエッジに沿うように回転処理しても車両１の前方手前側の注目領域における物体の移動量は僅かであり、利用者の前述したような誤認識が抑制できる。

逆に、車両１がある程度の速度、例えば２０ｋｍ／ｈ以上で走行している場合、運転者は車両１の遠方に視線を置いて走行している可能性が高いと見なせる。つまり、前方表示領域８ａ上では、車両１に遠い側である前方表示領域８ａの上方の領域に注目領域が存在すると見なすことができる。

このような場合、設定部４０は、速度取得部３６から得た車速に基づき、表示領域の表示幅方向の中央位置を通る上下軸線上の上方に近い位置に回転中心を設定する。図１０は、表示領域の表示幅方向の中央位置を通る上下軸線上の上方に近い位置に回転中心を設定した場合に、注目領域である表示領域の上側、つまり車両１の前方の遠い位置を表示する領域において、表示画像の回転処理を施しても物体の移動量が低減されることを示す図である。図１０に示すように、表示領域の表示幅方向の中央位置を通る上下軸線Ｐ上の上方、例えば、最上端位置Ｔに回転中心Ｏを設定する。そして、回転中心Ｏを中心に例えば、角度θ°だけ回転処理することにより、傾いた第１画像５８は、水平の第２画像６０に修正できる。このとき、注目領域に存在する注目点Ａ１は、表示点Ａ２に移動するが、その移動量はごく僅かである。つまり、実際に前方表示領域８ａに表示する撮像画像データを傾き角度（ロール角）に応じて回転処理を行う場合でも、車両１の車速がある程度で出ている場合（ある速度以上の場合）は前方表示領域８ａの上下軸線Ｐ上の上方の位置に回転中心Ｏを設定する。その結果、図７に示すように地平線５２が前方表示領域８ａの水平方向のエッジに沿うように回転処理しても車両１の前遠方の注目領域における物体の移動量は僅かであり、利用者の前述したような誤認識が抑制できる。

なお、設定部４０により回転中心Ｏの設定位置は、例えば、図１１に示すような、車速と上下軸線Ｐ上の回転中心Ｏの位置との関係を定めた「速度基準の設定マップ」によって一義的に決めることができる。例えば、上下軸線Ｐの最下端位置Ｇを「車速＝０ｋｍ／ｈ」とする。また、上下軸線Ｐの略中央部を例えば「車速＝２０ｋｍ／ｈ」として、上下軸線Ｐの中央部より下の回転中心Ｏの位置を「０ｋｍ／ｈ〜２０ｋｍ／ｈ」の間で割り当てる。また、上下軸線Ｐの最上端位置Ｔを例えば「車速＝４０ｋｍ／ｈ」とする。つまり、車速４０ｋｍ／ｈを超えた場合の回転中心Ｏは、一定で最上端位置Ｔとする。そして、上下軸線Ｐの中央部以上の回転中心Ｏの位置を「２０ｋｍ／ｈ〜４０ｋｍ／ｈ」の間で割り当てる。このように設定部４０が設定マップを参照して回転中心Ｏの位置を設定することにより迅速な表示画像の回転処置が実現できる。なお、図１１に示す例では、例えば「０ｋｍ／ｈ〜４０ｋｍ／ｈ」の範囲は、車速の増加と共に回転中心Ｏの位置が直線的に増加する例を示したが、速度基準の設定マップの態様は適宜設定可能であり、上に凸の曲線や下に凸の曲線によって増加するようにしてもよい。また、階段状に断続的に増加するようにしてもよい。また、速度２０ｋｍ／ｈ以下の場合は、最下端位置Ｇとし、速度２０ｋｍ／ｈの場合は、最上端位置Ｔとする、２者選択や数者選択としてもよい。また、速度範囲を「０ｋｍ／ｈ〜４０ｋｍ／ｈ」としたが、適宜変更してもよい。また、設定部４０は、設定マップではなく、車速に基づく演算により回転中心Ｏの位置を算出するようにしてもよい。

設定部４０は、前方表示領域８ａ上の注目領域の推定を車速に代えて、例えば、障害物検出部３８から提供される車両１の前方に存在する障害物に基づいて行うことができる。例えば、車両１の周囲に障害物（例えば、歩行者や他車、自転車等）が存在する場合、運転者は車両１の周囲の状況に注意を払いながら走行している可能性が高いと見なせる。つまり、前方表示領域８ａ上では、車両１に近い側である前方表示領域８ａの下方の領域に注目領域が存在すると見なすことができる。逆に、車両１の周辺に障害物が存在しない場合、または遠方に障害物（例えば、歩行者や他車、自転車等）が存在する場合、運転者は車両１の遠方に注意を払いながら走行している可能性が高いと見なせる。つまり、前方表示領域８ａ上では、車両１に遠い側である前方表示領域８ａの上方の領域に注目領域が存在すると見なすことができる。つまり、車両１を基準にして障害物までの距離に応じて、回転中心Ｏの設定を行うことができる。例えば、回転中心Ｏを車速に応じて設定した場合と同様に、例えば、図９における上下軸線Ｐの最下端位置Ｇを「距離＝０ｍ」とする。また、上下軸線Ｐの略中央部を例えば「距離＝２０ｍ」として、上下軸線Ｐの中央部より下の回転中心Ｏの位置を「０ｍ〜２０ｍ」の間で割り当てる。また、図１０に示すように上下軸線Ｐの最上端位置Ｔを例えば「距離＝４０ｍ」とする。つまり、障害物までの距離が４０ｍを超えた場合の回転中心Ｏは、一定で最上端位置Ｔとする。そして、上下軸線Ｐの中央部以上の回転中心Ｏの位置を「２０ｍ〜４０ｍ」の間で割り当てる。このように設定部４０が設定マップを参照して回転中心Ｏの位置を設定することにより、車速に基づいて設定する場合と同様に、迅速な表示画像の回転処置が実現できる。

なお、障害物の検出は、前述したように障害物検出部３８から提供される情報に基づいて実行してもよいし、画像取得部３２から提供される撮像画像データを用いて行ってもよい。また、その両方を組み合わせて利用してもよい。

なお、図９に示す例の場合、上下軸線Ｐ上の下方の領域に存在する注目点Ｄ１と表示点Ｄ２の位置の移動は小さいが、上下軸線Ｐ上の上方の領域に存在する注目点Ａ１と表示点Ａ２の位置の移動は大きい。しかしながらこの場合、上下軸線Ｐ上の上方の領域は、利用者が注目している注目領域ではないため、物体の移動量が大きい場合でも利用者の誤認識に関する影響は小さい。同様に、図１０に示す例の場合、上下軸線Ｐ上の上方の領域に存在する注目点Ａ１と表示点Ａ２の位置の移動は小さいが、上下軸線Ｐ上の下方の領域に存在する注目点Ｄ１と表示点Ｄ２の位置の移動は大きい。しかしながらこの場合、上下軸線Ｐ上の下方の領域は、利用者が注目している注目領域ではないため、物体の移動量が大きい場合でも利用者の誤認識に関する影響は小さい。

上述したように、設定部４０は回転中心Ｏの位置を設定する場合、車両１の車速または車両１の前方の障害物までの距離のいずれか一方に基づいて決定する例を示したが、両方を用いて回転中心Ｏの位置を設定してもよい。この場合、利用者の注目領域の推定精度を向上することができる。また、設定部４０は、車速と障害物までの距離のいずれに基づいて回転中心Ｏの位置を設定するかを操作入力部１０の操作により利用者が選択できるようにしてもよい。また、設定部４０は、操作入力部１０の操作により利用者が所望する位置に回転中心Ｏを設定できるようにしてもよい。この場合、利用者によるカスタマイズ性が向上する。

ところで、撮像部１６ａは、前述したように広範囲の画像情報を取得できるように広角レンズを備えている。また、撮像部１６ａで撮像される撮像画像データが規定する表示範囲は、図６に示すように矩形となっている場合がある。このように広角レンズで撮像した画像を矩形の表示範囲に表示する場合、表示画像上に存在する物体は横幅方向に細く表示されてしまう場合がある。そこで、本実施形態の画像調整部４２は、表示装置８に表示画像を表示する場合に表示幅方向に伸張調整する機能を備える。例えば、図１２（ａ）に示すように、矩形の元表示領域６２の表示幅Ｗ０を、図１２（ｂ）に示すように例えば表示領域の上方を拡張して表示幅Ｗ１の台形形状の修正表示領域６４に修正する。その結果、広角レンズによる撮像のために細く表示されていた物体を実物に近い状態にして表示することができる。このような表示修正を行うことにより、車両１の姿勢に対応して修正した表示画像を利用者がフロントガラス越しに実際に視認している車両周囲の風景に近い状態で表示することができる。つまり、表示品質の向上に寄与することができる。なお、図１２（ｂ）の場合、一例として上底が長い台形形状としたが、表示幅方向に伸張調整すればよく、例えば、修正表示領域６４が長方形となるように伸張調整してもよい。また、設定部４０が推定して注目領域の位置に対応して伸張調整の位置を決定するようにしてもよい。

このように構成される周辺監視システム１００の画像処理の手順の一例を図１３のフローチャートを用いて説明する。なお、図１３のフローチャートに示す処理は、前方表示領域８ａを表示する場合、所定周期で繰り返し実行されるものとする。また、前方表示領域８ａを表示する場合、少なくとも撮像部１６ａ、加速度センサ２６、車輪速センサ２２、障害物センサ１７等は、所定の制御周期で継続的に検出データをＥＣＵ１４に提供しているものとする。また、少なくとも撮像部１６ａは前方表示領域８ａより所定量、大きな領域を撮影可能であるとする。

ＥＣＵ１４は、前方表示領域８ａを含む表示装置８の表示が要求された場合、画像取得部３２に、表示制御部１４ｄを介して車両１の前方の撮像画像データを取得させる（Ｓ１００）。続いて、画像調整部４２は、状態取得部３４から提供される情報に基づいて、車両１の姿勢にピッチ角が存在する（車両１が前後方向に傾いている）と判定した場合（Ｓ１０２のＹｅｓ）、前方表示領域８ａに表示する撮像画像データに関してピッチ角の修正を行う（Ｓ１０４）。つまり、車両１の前端が上側に傾いたり、下側に傾いたりしたために、前方表示領域８ａに表示される表示画像の上下方向の中心がずれて標準位置からずれた場合、そのずれを修正する。

続いて、設定部４０は、状態取得部３４から提供される情報に基づいて車両１の姿勢にロール角が存在する（車両１が車幅方向に傾いている）と判定した場合で（Ｓ１０６のＹｅｓ）、速度取得部３６を介して車速を確認する（Ｓ１０８）。設定部４０は、速度取得部３６からの情報に基づいて、例えば、図１１に示すような車速に関する速度基準の設定マップを参照して（Ｓ１１０）、回転処理を実行する場合の速度基準の回転中心Ｏの位置を仮決定する。また、設定部４０は、障害物検出部３８からの情報に基づいて車両１の前方の障害物及び障害物がある場合には障害物までの距離を確認する（Ｓ１１２）。そして設定部４０は、例えば、図１１と類似する障害物に関する障害物基準の設定マップを参照して（Ｓ１１４）、回転処理を実行する場合の障害物基準の回転中心Ｏの位置を仮決定する。そして、設定部４０は、仮決定した速度基準の回転中心Ｏの位置と障害物基準の回転中心Ｏの位置とに基づいて、回転処理に利用する回転中心Ｏの位置を設定する（Ｓ１１６）。

設定部４０により設定された回転中心Ｏは、画像調整部４２に提供される。また、画像調整部４２には、画像取得部３２から撮像部１６ａの撮像画像データ及び状態取得部３４から車両１のロール角が提供される。そして、画像調整部４２は、画像取得部３２から提供された撮像画像データを設定部４０が設定した回転中心Ｏを中心に、状態取得部３４が検出したロール角θ°だけ回転処理する。つまり、表示装置８に表示する表示画像の回転を行う（Ｓ１１８）。そして、画像調整部４２は、出力部４４を介して回転処理の結果を表示制御部１４ｄに出力する。また、出力部４４は、状態取得部３４の検出したロール角やピッチ角を表示制御部１４ｄに回転出力する。表示制御部１４ｄでは、回転処理の結果に基づいて前方表示領域８ａの表示出力を行うと共に、撮像部１６ｂ，１６ｄが撮像した側方画像の表示出力を行う。また、車両１のロール角やピッチ角に基づいて姿勢シンボル表示領域８ｄに姿勢シンボル５０の表示出力を行う。つまり、表示装置８の表示出力を実行する（Ｓ１２０）。

Ｓ１０６において、設定部４０が車両１の姿勢にロール角が存在しないと判定した場合（Ｓ１０６のＮｏ）、Ｓ１０８からＳ１１８までの処理をスキップして、Ｓ１２０の処理を実行する。また、Ｓ１０２において、設定部４０が車両１の姿勢にピッチ角が存在しないと判定した場合（Ｓ１０２のＮｏ）、Ｓ１０４の処理をスキップしてＳ１０６以降の処理を実行する。ＥＣＵ１４は所定周期で図１３のフローを実行することにより、車両１の周囲の画像情報及び車両１の姿勢情報を表示装置８に表示して、利用者の運転支援を行う。なお、図１３に示すフローチャートは、一例であり、表示装置８の表示態様を利用者がフロントガラス越しに視認する状態と同等の画像を表示することができれば、適宜処理内容を変更してもよく、本実施形態と同様の効果を得ることができる。

なお、本実施形態において、障害物の位置に基づいて回転中心を設定するようにしてもよい。例えば、表示画像の上下方向の回転中心を設定するとともに、障害物に応じて回転中心を横方向に移動させて障害物の位置を中心（回転中心）としてもよい。また、撮像画像から障害物を検知して、表示画像内の座標から障害物の位置を特定し、回転中心を設定するようにしてもよく、いずれの場合も上述した実施形態と同様の効果を得ることができる。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、８…表示装置、８ａ…前方表示領域、８ｂ…左側方表示領域、８ｃ…右側方表示領域、８ｄ…姿勢シンボル表示領域、１４…ＥＣＵ、１４ａ…ＣＰＵ、１６，１６ａ…撮像部、１７…障害物センサ、２２…車輪速センサ、２６…加速度センサ，３２…画像取得部、３４…状態取得部、３６…速度取得部、３８…障害物検出部、４０…設定部、４２…画像調整部、４４…出力部、５４…撮像画像、Ｐ…上下軸線、Ｏ…回転中心、１００…周辺監視システム。

Claims (5)

1. 車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部と、
   前記車両に設けられて少なくとも当該車両のロール状態を検出する車両状態検出部から出力された車両状態データを取得する状態取得部と、
   前記撮像画像データに基づく表示画像を表示装置に表示する場合に、前記ロール状態に応じて前記表示画像を回転させるための回転中心を設定する設定部と、
   設定した前記回転中心を中心に前記表示画像の表示状態を前記ロール状態に応じて回転させる画像調整部と、
   前記表示画像を前記表示装置に出力する出力部と、
   を備え、
   前記設定部は、前記表示画像の表示領域の表示幅方向の中央位置を通る上下軸線上のいずれかの位置に前記回転中心を設定する、車両周辺監視装置。
2. 前記設定部は、前記車両の車速に応じて前記上下軸線上で前記回転中心を設定する請求項１に記載の車両周辺監視装置。
3. 前記設定部は、前記車両の周囲に存在する障害物までの距離に応じて前記上下軸線上で前記回転中心を設定する請求項１または請求項２に記載の車両周辺監視装置。
4. 前記画像調整部は、前記表示画像を前記表示装置に表示する場合に表示幅方向に伸張調整する請求項１から請求項３のいずれか１項に記載の車両周辺監視装置。
5. 前記状態取得部は、さらに前記車両のピッチ状態を示す車両状態データを取得し、
   前記画像調整部は、前記ピッチ状態に応じて前記表示画像を上下方向に移動させる請求項１から請求項４のいずれか１項に記載の車両周辺監視装置。

Images