JP6467838B2 - 周辺監視装置、及び周辺監視システム - Google Patents

Description

本発明の実施形態は、周辺監視装置、及び周辺監視システムに関する。

従来、車両の駐車を支援する技術として、車両に設置された複数のカメラで、車両の周辺環境として撮像された画像データを運転者に提供する技術がある。カメラ毎に異なる周辺環境を撮像し、運転席に設けられたディスプレイに組み合わせて表示することで、運転者は、周囲の状況を認識することができる。

ところで、車両の右側に設けられたカメラと、左側に設けられたカメラとでは、左右が対称とはならず取り付け位置に差異が生じていているため、右側に設けられたカメラで撮像された画像データと、左側に設けられたカメラで撮像された画像データと、を単に組み合わせて表示するだけでは画像データ間にずれが生じることになる。そこで、画像データ間のずれを修正する技術が提案されている。

特開２００３−９５０２８号公報

しかしながら、ドアミラー等に設けられたカメラの取り付け位置の差異に基づく画像データの違いは、当該画像データの平面に含まれている方向に限らず、画像データの拡大縮小率にも影響を与える。

本発明は、上記に鑑みてなされたものであって、運転者の視認が容易な画像データを表示可能とする周辺監視装置、及び周辺監視システムを提供することを目的の一つとする。

実施形態の周辺監視装置は、一例として、車体の左側に設けられた第１の撮像部により撮像され、複数の左側基準点として、第１の基準点と、第１の基準点から車体の進行方向に離れた第２の基準点と、第１の基準点から車体の進行方向と垂直方向に離れた第３の基準点と、を撮像範囲に含む第１の画像データと、車体の右側に設けられた第２の撮像部により撮像され、複数の右側基準点として、第４の基準点と、第４の基準点から車体の進行方向に離れた第５の基準点と、第４の基準点から車体の進行方向と垂直方向に離れた第６の基準点と、を撮像範囲に含む第２の画像データと、を取得する取得部と、第１の基準点が、表示装置の表示領域内の第１の位置にくるように設定した上で、第２の基準点及び第３の基準点が表示装置の表示領域の外周にくるような第１の拡大縮小率を算出し、第４の基準点が、表示装置の表示領域内の第２の位置にくるように設定した上で、第５の基準点及び第６の基準点が表示装置の表示領域の外周にくるような第２の拡大縮小率を算出する設定部と、第１の画像データに含まれている複数の左側基準点がそれぞれ予め設定された位置にくるように第１の画像データに対して回転するとともに第１の拡大縮小率で拡大又は縮小して生成された第３の画像データと、第２の画像データに含まれている複数の右側基準点がそれぞれ予め設定された位置にくるように第２の画像データに対して回転するとともに第２の拡大縮小率で拡大又は縮小して生成された第４の画像データと、を組み合わせて出力する出力部と、を備える。よって、一例としては、表示される画像データ間にずれが生じなくなるため、視認性が向上し、運転の負担を軽減できるという効果を奏する。

また、上記周辺監視装置では、一例として、車体の左側に設けられた第１の撮像部の傾きに基づいた第１の画像データを回転させるための左側の角度情報と、車体の右側に設けられた第２の撮像部の傾きに基づいた第２の画像データを回転させるための右側の角度情報と、を記憶する記憶部を、さらに備え、出力部は、第１の画像データに対して左側の角度情報に従って回転、及び拡大又は縮小して生成された第３の画像データと、第２の画像データに対して右側の角度情報に従って回転、及び拡大又は縮小して生成された第４の画像データと、を組み合わせて出力する。よって、一例としては、記憶部に記憶された角度情報に従って回転制御を行うことで、表示される画像データ間にずれが生じなくなるため、視認性が向上し、運転の負担を軽減できるという効果を奏する。

また、上記周辺監視装置では、一例として、車体に設けられた第１の撮像部の位置情報に基づいた第１の画像データを拡大又は縮小させるための第１の範囲指定情報と、車体に設けられた第２の撮像部の位置情報に基づいた第２の画像データを拡大又は縮小させるための第２の範囲指定情報と、を記憶する記憶部を、さらに備え、出力部は、第１の画像データに対して回転、及び第１の範囲指定情報に従って拡大又は縮小して生成された第３の画像データと、第２の画像データに対して回転、及び第２の範囲指定情報に従って拡大又は縮小して生成された第４の画像データと、を組み合わせて出力する。よって、一例としては、記憶部に記憶された範囲指定情報に従って拡大又は縮小制御を行うことで、表示される画像データ間にずれが生じなくなるため、視認性が向上し、運転の負担を軽減できるという効果を奏する。

また、上記周辺監視装置では、一例として、出力部は、さらに、第１の撮像部及び第２の撮像部に設けられた広角レンズの歪みを補正する際、第１の画像データと第２の画像データとの外周領域で、車体から外部の環境を所定の範囲を表示するために歪みを残すよう設定された歪み補正率で歪み補正処理を行って生成された第３の画像データと、第４の画像データと、を出力する。上述した歪み補正率で歪み補正処理を行うことで、外部の環境を広い範囲で表示できるため、視認性が向上して、運転の負担を軽減できる。

実施形態の周辺監視システムは、一例として、車体の左側に設けられ、車体の左側近傍を撮像する第１の撮像部と、車体の右側に設けられ、車体の右側近傍を撮像する第２の撮像部と、第１の撮像部により撮像され、複数の左側基準点として、第１の基準点と、第１の基準点から車体の進行方向に離れた第２の基準点と、第１の基準点から車体の進行方向と垂直方向に離れた第３の基準点と、を撮像範囲に含む第１の画像データと、第２の撮像部により撮像され、複数の右側基準点として、第４の基準点と、第４の基準点から車体の進行方向に離れた第５の基準点と、第４の基準点から車体の進行方向と垂直方向に離れた第６の基準点と、を撮像範囲に含む第２の画像データと、を取得する取得部と、第１の基準点が、表示装置の表示領域内の第１の位置にくるように設定した上で、第２の基準点及び第３の基準点が表示装置の表示領域の外周にくるような第１の拡大縮小率を算出し、第４の基準点が、表示装置の表示領域内の第２の位置にくるように設定した上で、第５の基準点及び第６の基準点が表示装置の表示領域の外周にくるような第２の拡大縮小率を算出する設定部と、第１の画像データに含まれている複数の左側基準点がそれぞれ予め設定された位置にくるように第１の画像データに対して回転するとともに第１の拡大縮小率で拡大又は縮小して生成された第３の画像データと、第２の画像データに含まれている複数の右側基準点がそれぞれ予め設定された位置にくるように第２の画像データに対して回転するとともに第２の拡大縮小率で拡大又は縮小して生成された第４の画像データと、を組み合わせて表示する表示部と、を備える。よって、一例としては、表示される画像データ間にずれが生じなくなるため、視認性が向上し、運転の負担を軽減できるという効果を奏する。

図１は、第１の実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、第１の実施形態にかかる車両の一例が示された平面図（俯瞰図）である。 図３は、第１の実施形態の撮像部の取り付け位置の例を示した図である。 図４は、第１の実施形態にかかる車両の周辺監視システムの一例が示されたブロック図である。 図５は、第１の実施形態にかかる周辺監視ＥＣＵの構成を示すブロック図である。 図６は、出荷前に角度情報を設定するための仮想的な回転用基準点と車両１との位置関係を例示した図である。 図７は、左側のドアミラーの撮像部により撮像された画像データに含まれている仮想的な回転用基準点の例を示した図である。 図８は、回転制御された後の画像データ例を示した図である。 図９は、車両の出荷前に、範囲指定情報を設定するための仮想的な拡縮用基準点と、車両と、の位置関係を例示した図である。 図１０は、画像データに含まれる拡縮用基準点と、撮像部で撮像された画像データの歪みと、を例示した図である。 図１１は、第１の実施形態の表示装置が表示する画面例を示した図である。 図１２は、第１の実施形態の表示装置の表示領域に表示される画像データの位置関係を例示した図である。 図１３は、第１の実施形態の周辺監視ＥＣＵの合成部により合成された画像データを例示した図である。 図１４は、変形例の周辺監視ＥＣＵの合成部により合成された画像データを例示した図である。 図１５は、第１の実施形態の周辺監視ＥＣＵにおける、車両の出荷前に行う処理の手順を示すフローチャートである。 図１６は、第１の実施形態の周辺監視ＥＣＵにおける、表示装置に画像データを表示するための処理の手順を示すフローチャートである。 図１７は、第２の実施形態の車両が走行している状況に応じて、表示される画像データの切替を説明した図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成によって得られる種々の効果（派生的な効果も含む）を得ることが可能である。

後述する実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

（第１の実施形態）
図１に示されるように、第１の実施形態の車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。

また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けてもよい。また、音声出力装置９の他に、ブザー等の音声出力部から、警報音等が出力されるように構成することができる。

また、図１、２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。そして、例えば前輪３Ｆのタイヤ角が操舵部４（ステアリングホイール）の操作に対応して変化（転舵）する。操舵システム１２は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１２は、アクチュエータ１２ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補って、車輪３Ｆを操舵する。なお、操舵システム１２は、前輪と後輪が独立または関連して操舵されるように構成してもよい。

また、本実施形態では、一例として、図２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として四つ）の撮像部１６（１６ａ〜１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には例えば１４０°〜２２０°の範囲（視野角）を撮像することができる。

本実施形態では、一例として、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントグリル等に設けられている。撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。したがって、一例として、撮像部１６ａで取得した前方画像と、撮像部１６ｂで撮像した左側方画像および撮像部１６ｄで撮像した右側方画像を表示装置８に同時に表示することができる。同様に、撮像部１６ｃで取得した後方画像と、撮像部１６ｂで撮像した左側方画像および撮像部１６ｄで撮像した右側方画像を表示装置８に同時に表示することができる。なお、後方画像を表示する場合は、左右の側方画像の表示を省略してもよい。

図３は、本実施形態の撮像部１６ｂの取り付け位置の例を示した図である。図３に示されるように、左側のドアミラー２ｇ（突出部）の底部に撮像部１６ｂが設けられている。図３に示されるように、撮像部１６ｂの光軸３０１は下方（例えば、鉛直方向や斜め下方）に向けて設定されている。撮像部１６ｂは、画角１４０°〜２２０°となる撮像領域３０２を撮像する。これにより、車両１の左側近傍の路面が、車体２の一部を含んだ状況で撮像される。なお、撮像部１６ｄは、右側のドアミラー２ｇ（突出部）の底部に、撮像部１６ｂとほぼ同様に設けられ、車両１の右側近傍の路面を、車体２の一部を含んだ状況で撮像するものとして、説明を省略する。

そして、撮像部１６ｂと撮像部１６ｄとでは、ドアミラーの右側と左側との違い等から、左右対称とはならず、設置位置に差異が生じている。この設置位置の差異は、ドアミラーの左側の撮像部１６ｂと右側の撮像部１６ｄとによる、路面までの高さの違いも含んでいる。撮像部１６には広角レンズを用いているため、地面までの高さのわずかな違いでも、撮像範囲や奥行き感に違いが生じる。そこで、本実施形態では、運転者が視認している画像データに違和感が生じないように、画像データの調整を行うこととした。

また、本実施形態では、一例として、図４に示されるように、周辺監視システム（周辺監視装置）１００では、周辺監視ＥＣＵ１４（electronic control unit）や、モニタ装置１１等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、一例としては、ＣＡＮ（controller area network）として構成されている。周辺監視ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、ブレーキシステム１８等を制御することができる。また、周辺監視ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、ブレーキセンサ１８ｂ、舵角センサ１９（前輪３Ｆ用）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果、ならびに、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。

本実施形態では、車両１に２個の加速度センサ２６（２６ａ、２６ｂ）が設けられているものとする。なお、本実施形態は、車両１をＥＳＣ（electronic stability control）搭載車両とする。そして、ＥＳＣ搭載車両に従来から搭載されている加速度センサ２６（２６ａ、２６ｂ）を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであればよい。本実施形態では、前後方向の加速度及び左右方向の加速度を導出する。

周辺監視ＥＣＵ１４は、一例として、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、周辺監視ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては画像合成）等を実行する。また、音声制御部１４ｅは、周辺監視ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、周辺監視ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、周辺監視ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、周辺監視ＥＣＵ１４とは別に設けられてもよい。

図５は、本実施形態にかかる周辺監視ＥＣＵ１４の構成を示すブロック図である。図５に示すように、周辺監視ＥＣＵ１４は、パラメータ記憶部５０１と、周辺監視部５０２と、で構成される。周辺監視部５０２内の各構成は、図４の周辺監視ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたソフトウェアを実行することで実現される。

周辺監視部５０２は、ＲＯＭ１４ｂ（コンピュータ読み取り可能な記録媒体）内に格納されたソフトウェアを実行することで、設定部５１１と、取得部５１２と、画像処理部５１３と、出力部５１４と、を実現する。なお、ソフトウェア（プログラム）は、コンピュータ読み取り可能な他の記録媒体を介して提供されてもよい。

設定部５１１は、画像データを処理するために用いるパラメータを設定し、車両１のパラメータ記憶部５０１に記憶させる。設定されるパラメータの算出手法はどのような手法を用いても良い。例えば、撮像部１６ｂと撮像部１６ｄとがそれぞれ撮像を行い、設定部５１１は、撮像された画像データに写っている被写体の位置に基づいて、撮像部１６ｂ、１６ｄの位置情報（少なくとも角度を含む）を算出する等が考えられる。そして、設定部５１１は、撮像部１６ｂ、１６ｄの位置情報（少なくとも角度を含む）等に基づいた、画像処理（例えば回転制御や拡大縮小制御）に必要なパラメータをパラメータ記憶部５０１に格納する。なお、本実施形態では、撮像部１６ｂ、１６ｄの位置情報として、少なくとも角度を含む例とするが、その他の情報（例えば路面までの高さ）を含んでも良い。

パラメータ記憶部５０１は、設定部５１１に算出されたパラメータを記憶する。記憶されたパラメータとしては、左側のドアミラー２ｇに設けられた撮像部１６ｂの傾きに基づいて、撮像部１６ｂで車両１の左側を撮像した画像データを回転させるための角度情報と、右側のドアミラー２ｇに設けられた撮像部１６ｄの傾きに基づいて、撮像部１６ｄで車両１の右側を撮像した画像データを回転させるための角度情報と、を記憶している。本実施形態では、角度情報として、画像データを回転させる場合の回転角度を記憶する例について説明するが、当該回転角度を算出するために必要な撮像部１６ｂ、１６ｄの傾きを記憶しても良い。

また、パラメータ記憶部５０１は、車体２に設けられた撮像部１６ｂで撮像された範囲（換言すれば路面からの高さと画角とから導出される情報）に基づいて、路面左側を撮像した画像データを縮小、又は拡大させるための範囲指定情報と、車体に設けられた撮像部１６ｄで撮像された範囲（換言すれば路面からの高さと画角とから導出される情報）に基づいて、路面右側を撮像した画像データを縮小、又は拡大させるための範囲指定情報と、を記憶している。本実施形態では、表示するための画像データの範囲を指定する範囲指定情報として、画像データの拡大縮小率を記憶する例について説明するが、表示する画像データの表示範囲を特定するために必要な情報であればよく、例えば、路面から撮像部１６ｂ、１６ｄまでの高さ及び撮像部の画角等であっても良い。

取得部５１２は、撮像部により撮像された画像データを取得する。車体の左側に設けられた撮像部１６ｂにより撮像された画像データと、車体の右側に設けられた撮像部１６ｄにより撮像された画像データと、を取得する。

画像処理部５１３は、回転制御部５２１と、拡大縮小制御部５２２と、歪み補正部５２４と、合成部５２３と、を備え、取得部５１２が取得した画像データに対して画像処理を行い、表示装置８に表示させるための画像データを生成する。

回転制御部５２１は、パラメータ記憶部５０１に記憶された角度情報に従って、撮像部１６ｂにより撮像された画像データと、車体２の右側に設けられた撮像部１６ｄにより撮像された画像データと、に対して回転制御を行う。

回転制御で回転される角度は、パラメータ記憶部５０１に記憶された角度情報に基づいて行われる。次に、パラメータ記憶部５０１に記憶された角度情報について説明する。

本実施形態では、画像データに含まれている仮想的な基準点（以下、回転用基準点と称す）が、適切な位置に表示されるように、角度情報を設定する。

図６は、出荷前に角度情報を設定するための仮想的な回転用基準点と車両１との位置関係を例示した図である。図６に示される例では、車両１の撮像部１６ｂで撮像された画像データを回転させるための角度情報を求めるために、仮想的な回転用基準点６０１、６０２を基準の位置として用いる。仮想的な第１の回転用基準点６０１は、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）から、車体２の左側横方向の延長線上であり、ドアミラー２ｇより外側近傍とする。仮想的な第２の回転用基準点６０２は、車体２の後側（車両前後方向の後方側）の端部２ｅ（平面視での端部）から、車体２の左側横方向の延長線上であり、ドアミラー２ｇより外側近傍とする。そして、第１の回転用基準点６０１と第２の回転用基準点６０２とを繋げた線は、Ｚ軸に平行、換言すれば車体２の進行方向に平行となる。

図７は、左側のドアミラー２ｇの撮像部１６ｂにより撮像された画像データに含まれている仮想的な回転用基準点６０１、６０２の例を示した図である。図７に示される画像データでは、前輪３Ｆと、後輪３Ｒと、が写っている他に、回転用基準点６０１、６０２も含まれている。図７に示される画像データの中心位置７０１が撮像部１６ｂの光軸と路面の交点となる。なお、中心位置７０１の座標Ｏ（ｕ０、ｖ０）とする。

図７に示される例では、横方向をｕ軸とし、縦方向をｖ軸とする。そして、第１の回転用基準点を表す座標ａ’（ｕ１’、ｖ１’）と、第２の回転用基準点を表す座標ｂ’（ｕ２’、ｖ２’）とする（なお、前輪３Ｆ側の第１の回転用基準点６０１のｘ座標ｕ１’＞後輪３Ｒ側の第２の回転用基準点６０２のｘ座標ｕ２’とする）。

図７に示される例では、第１の回転用基準点６０１と第２の回転用基準点６０２とがｖ軸方向にずれている（傾いている）のが確認できる。つまり、図７に示される画像データをＡ方向にπ／２回転させただけでは、画像データの上方向（ｖ軸方向）と、車両１の進行方向と、の間にずれが生じていることになる。そこで、当該ずれを抑止するために、直線ａ’ｂ’の傾きを補正する必要がある。

そこで、本実施形態のパラメータ記憶部５０１は、この直線ａ’ｂ’の傾きを補正するための角度情報を記憶する。換言すれば、回転制御部５２１が、当該角度情報に基づいて回転制御を行うことで、画像データに含まれている、複数の回転用基準点６０１、６０２が、傾きを補正された位置に移動する（回転用基準点６０１、６０２を結ぶ線が、表示装置８の上下方向と平行になる）。

つまり、回転制御部５２１は、表示装置８に表示するための回転制御を行う際に、π／２回転させた上、撮像部１６ｂの傾きに基づいた傾き補正も行う。換言すれば、回転制御部５２１は、画像データに含まれている、複数の回転用基準点がそれぞれ予め設定された位置にくるように、角度情報に基づいた回転制御を行う。本実施形態では、回転用基準点６０１、６０２を結ぶ線が、表示装置８の表示領域の上方向（高さ方向）の軸と平行になるように、回転後の回転用基準点６０１、６０２の位置を設定する。なお、本実施形態は、回転用基準点６０１、６０２を結ぶ線が、画像データの上下方向と平行になる例について説明するが、平行に限定するものではなく、例えばほぼ平行であっても良い。次に、角度情報について説明する。

上述したように、撮像部１６ｂの傾きにより、直線ａ’ｂ’は、ｕ軸と比べて傾いている。当該傾きδｌは、式（１）で示すことができる。

δ１＝tan^-1（ｖ１’−ｖ２’）／（ｕ１’−ｕ２’）…（１）

同様に、右側のドアミラー２ｇに設けられた撮像部１６ｄで撮像された際に、撮像部１６ｄの傾きにより、回転用基準点間を結ぶ直線ａ’’ｂ’’の傾きδ２は、式（２）で示すことができる。なお、右側に設置された回転用基準点の座標ａ’’（ｕ１’’、ｖ１’’）、座標ｂ’’（ｕ２’’、ｖ２’’）とする。

δ２＝tan^-1（ｖ１’’−ｖ２’’／ｕ１’’−ｕ２’’）…（２）

そして、回転制御部５２１は、撮像部１６ｂ、１６ｄで撮像された画像データを表示装置８に表示する際に、上述した傾きを考慮した上で、回転制御を行う。本実施形態では、表示装置８に表示する際に、ドアミラー２ｇに設けられた撮像部１６ｂ、１６ｄで撮像された画像データは、車両１の進行方向が表示装置８の上方向になるように回転制御が行われる。その際に、撮像部１６ｂ、１６ｄの傾きδ１、δ２に基づいた補正も行う。

そこで、回転制御部５２１は、左側のドアミラー２ｇに設けられた撮像部１６ｂで撮像された画像データについて回転制御を行う場合に、式（３）で示された回転角θ１だけ回転させる。

θ１＝−（π／２＋δ１）…（３）

同様に、回転制御部５２１は、右側のドアミラー２ｇに設けられた撮像部１６ｄで撮像された画像データについて回転制御を行う場合に、式（４）で示された回転角θ２だけ回転させる。

θ２＝（π／２−δ２）…（４）

当該回転制御は、中心位置７０１の座標Ｏ（ｕ０、ｖ０）を基準に、画像データに含まれる各画素に対して行う。具体的には、回転制御部５２１は、回転角θ１だけ回転させる際に、ｘ座標の変換に式（５）を用いて、ｙ座標の変換に式（６）を用いる。なお、回転制御を行う前の各画素の座標を（ｕ、ｖ）とし、回転制御後の各画素の座標を（ｘ、ｙ）とする。なお、式（５）、式（６）は、左側のドアミラー２ｇの撮像部１６ｂで撮像された画像データを回転制御させる場合に用いる式であるが、右側のドアミラー２ｇの撮像部１６ｄで撮像された画像データもθ１をθ２に変えた上で、同様の回転制御を行えば良いため、説明を省略する。

ｘ＝（ｕ−ｕ０）×ｃｏｓθ１−（ｖ―ｖ０）×ｓｉｎθ１…（５）
ｙ＝（ｕ−ｕ０）×ｓｉｎθ１＋（ｖ―ｖ０）×ｃｏｓθ１…（６）

図８は、回転制御された後の画像データ例を示した図である。図８に示されるように、π／２回転させた後、さらに角度δ１だけ回転させることで、仮想的な基準点６０１、６０２を結ぶ線が、Ｙ軸（表示装置８の上下方向）に（略）平行となる。

本実施形態は、パラメータ記憶部５０１が、回転制御を行うための回転角θ１、θ２を角度情報として記憶する例について説明するが、撮像部１６ｂ、１６ｄの傾きを回転制御部５２１で補正可能な情報であればよく、例えば、直線ａ’ｂ’の傾きδ１、δ２を角度情報として記憶しても良い。

拡大縮小制御部５２２は、パラメータ記憶部５０１に記憶された、表示装置８の所定の表示領域に画像データを表示するため（換言すれば、画像データを拡大又は縮小させるため）の範囲指定情報に基づいて、回転制御後の画像データに拡大又は縮小制御を行う。本実施形態では、範囲指定情報として、画像データの拡大縮小率を、パラメータ記憶部５０１に記憶する。そこで、拡大縮小率の算出手法について説明する。

図９は、車両１の出荷前に、範囲指定情報を設定するための仮想的な拡縮用基準点と、車両１と、の位置関係を例示した図である。図９に示される仮想的な第１の拡縮用基準点９０１は、画像データを縮小、拡大する際に基準となる位置に設けられている。図９に示される仮想的な第２の拡縮用基準点９０２は、仮想的な第１の拡縮用基準点９０１を基準として、車体２の進行方向における、表示装置８に表示したい範囲の境界となる位置に設定される。第３の拡縮用基準点９０３は、仮想的な第１の拡縮用基準点９０１を基準として、車体２の進行方向と垂直方向における、表示装置８に表示したい範囲の境界となる位置に設定される。

つまり、取得部５１２は、仮想的な第１の拡縮用基準点と、当該第１の拡縮用基準点から車体２の進行方向に第１の距離だけ離れた第２の拡縮用基準点と、当該第１の拡縮用基準点から車体２の進行方向と垂直方向に第２の距離だけ離れた第３の拡縮用基準点と、を撮像範囲に含む画像データを、左側の撮像部１６ｂから取得している。

そして、設定部５１１は、撮像された画像データに表された第１の拡縮用基準点９０１を、表示装置８の表示領域内の所定の位置にくるように設定した上で、画像データに表された第２の拡縮用基準点９０２、第３の拡縮用基準点９０３が、表示装置８の表示領域の（最）外周にくるような拡大縮小率を算出する。

同様に、取得部５１２は、仮想的な第４の拡縮用基準点と、当該第４の拡縮用基準点から車体２の進行方向に第３の距離だけ離れた第５の拡縮用基準点と、当該第４の拡縮用基準点から車体２の進行方向と垂直方向に第４の距離だけ離れた第６の拡縮用基準点と、を撮像範囲に含む画像データを、右側の撮像部１６ｄから取得している。同様に、設定部５１１が、画像データに表された第５の拡縮用基準点、第６の拡縮用基準点が、表示装置８の表示領域の（最）外周にくるような拡大縮小率を算出する。

ところで、本実施形態では、回転や拡大、縮小処理の他に、広角レンズによる歪み補正も行われる。

図１０は、画像データに含まれる拡縮用基準点と、撮像部１６ｂで撮像された画像データの歪みと、を例示した図である。

撮像部１６ｂ、１６ｄは、撮像する範囲を広くするために焦点距離が小さい広角レンズを搭載している。このような広い画角を撮像する場合、それに応じて画像データの歪みも大きくなる。

そこで、本実施形態においては、歪み補正部５２４が、撮像部１６ｂ、１６ｄにより撮像された画像データの歪み補正を行う。図１０に示される例では、歪み補正部５２４により、歪み補正された後の画像データを示している。歪み補正された後では、境界線１００１が画像データの最外周となる。しかしながら、画像データに対して歪みが全くなくなるように補正すると点線１００２が、画像データの最外周となる。

このように歪みを全て取り除くと、視認性は向上するものの、表示装置８に表示される範囲が狭くなる。そこで、本実施形態の歪み補正部５２４は、広角の歪みをある程度残すように、画像データの歪み補正を行うこととした。この歪み補正により、第２の拡縮用基準点も座標１０２１から座標１０１２に補正される。

つまり、歪み補正部５２４は、撮像部１６ｂ、１６ｄに設けられた広角レンズの歪みを補正する際、撮像された各画像データの外周領域で、車体２から外部の環境を所定の範囲を表示するために歪みを残した上で、車体２近傍はほぼ歪みがなくなるように設定された歪み補正率で歪み補正処理を行う。表示装置８に表示する所定の範囲としては、例えば、車体２の曲がる際に進行方向５ｍが含まれるようにする等が考えられるが、実施の態様に応じて適切な範囲が設定される。

そして、図１０に示されるように、第１の拡縮用基準点が表された座標（ｘ１、ｙ１）１０１１を表示装置８の所定の位置に表示するようにした上で、第２の拡縮用基準点が表された座標（ｘ２、ｙ２）１０１２と、第３の拡縮用基準点が表された座標（ｘ３、ｙ３）１０１３と、が表示領域１０１４の外周に配置されるように、設定部５１１が拡大縮小率を算出し、パラメータ記憶部５０１に、範囲指定情報として記憶する。当該範囲指定情報は、画像データに含まれている、複数の拡縮用基準点が、所定の位置（表示領域の外周、及び所定の座標）にくるように設定された情報となる。また、画像データの表示領域が、表示領域１０１４と同じになるように合成部５２３によりトリミングが行われる。このトリミングするための表示領域のサイズを予め設定しても良い。

そして、拡大縮小制御部５２２が、パラメータ記憶部５０１に記憶された拡大縮小率に従って画像データを縮小、又は拡大制御する。換言すれば、拡大縮小制御部５２２は、画像データに含まれている、複数の拡縮用基準点がそれぞれ予め設定された位置にくるように、縮小、又は拡大制御を行う。その後、合成部５２３が、拡大縮小制御をした後の画像データのうち、表示装置８の表示領域に含まれない範囲を取り除くようトリミングする。

図１１は、本実施形態の表示装置８が表示する画面例を示した図である。図１１に示される画面例では、表示領域１１００のうち、撮像部１６で撮像された複数の画像データが各領域に割り当てられて表示される。左側のドアミラー２ｇに設けられた撮像部１６ｂで撮像された画像データは、表示領域１１０１に表示され、右側のドアミラー２ｇに設けられた撮像部１６ｄで撮像された画像データは、表示領域１１０２に表示される。そして、車体２の前側の端部２ｃに設けられた撮像部１６ａで撮像された画像データは、表示領域１１０３に表示される。

図１２は、本実施形態の表示装置８の表示領域１１０１に表示される画像データの位置関係を例示した図である。図１２に示されるように、表示装置８の表示領域１１０１には、座標１２０１を原点として、撮像部１６ｂで撮像された画像データが表示される。図１２に示されるように、設定部５１１は、第１の拡縮用基準点が、座標（ｐｘ、ｐｙ）１２１１に、第２の拡縮用基準点が座標１２１２に、第３の拡縮用基準点が座標１２１３に表示されるように、拡大縮小率が設定されている。

次に、設定部５１１による、表示装置８に表示されるような画像データの拡大縮小率の算出手法について説明する。

本実施形態では、縦方向（Ｙ方向）の拡大縮小率と、横方向（Ｘ方向）の拡大縮小率と、をそれぞれ分けて算出する。縦方向（Ｙ方向）の拡大縮小率ScaleＹは、設定部５１１が式（７）から算出する。なお、図１０に示される画像データにおいて、第１の拡縮用基準点が表された座標（ｘ１、ｙ１）１０１１、第２の拡縮用基準点が表された座標（ｘ２、ｙ２）１０１２とする。

ScaleＹ＝ｐｙ／（第１の拡縮用基準点と第２の拡縮用基準点との間のＹ方向の距離）＝ｐｙ／｜ｙ１−ｙ２｜…（７）

次に、縦方向（Ｘ方向）の拡大縮小率ScaleＸは、設定部５１１が式（８）から算出する。なお、図１０に示される画像データにおいて、第１の拡縮用基準点が表された座標（ｘ１、ｙ１）１０１１、第３の拡縮用基準点が表された座標（ｘ３、ｙ３）１０１３とする。

ScaleＸ＝ｐｘ／（第１の拡縮用基準点と第３の拡縮用基準点との間のＸ方向の距離）＝ｐｘ／｜ｘ１−ｘ３｜…（８）

そして、拡大縮小制御部５２２は、Ｙ方向の拡大縮小率ScaleＹ、Ｘ方向の拡大縮小率ScaleＸに基づいた拡大縮小制御と、基準となる座標の移動と、を行う。

拡大縮小制御と基準となる座標の移動とに伴う画像データのｘ座標の変換には、式（９）を用い、ｙ座標の変換には、式（１０）を用いて行う。なお、変換前の画像データに含まれる任意の画素の座標（ｘ、ｙ）とし、変換後の座標（ｘ’、ｙ’）とする。

ｘ’＝（ｘ−ｘ１）×ScaleＸ−（−ｐｘ）…（９）
ｙ’＝（ｙ−ｙ１）×ScaleＹ−（−ｐｙ）…（１０）

式（９）、式（１０）で示した変換を、画像データに含まれる画素毎に行うことで、表示装置８に表示する画像データが生成される。

なお、本実施形態では、説明を省略しているが、車体２の前側の端部２ｃに設けられた撮像部１６ａで撮像された画像データについても、表示装置８の表示領域に表示領域１１０３に表示するために、拡大縮小制御や切り取り等の処理が行われているものとする。

合成部５２３は、拡大縮小制御部５２２で処理された画像データ等を合成して、表示装置８に表示するための画像データを生成する。

図１３は、合成部５２３により合成された画像データを例示した図である。図１３に示されるように、合成された後の画像データに含まれる領域１３０１には、左側のドアミラー２ｇに設けられた撮像部１６ｂで撮像された画像データを回転、歪み補正及び拡大縮小した結果が表示される。さらに、領域１３０２には、右側のドアミラー２ｇに設けられた撮像部１６ｄで撮像された画像データを回転、及び拡大縮小した結果が表示される。さらに、領域１３０３には、車体２の前側の端部２ｃに設けられた撮像部１６ａで撮像された画像データを加工処理した結果が表示される。また、領域１３０４には、車体２の傾き等の情報が表示される。

本実施形態の表示装置８には、領域１３０１に表示される画像データと、領域１３０２に表示される画像データと、がそれぞれの撮像部１６ｂ、１６ｄに応じた回転、歪み補正、及び拡大縮小した結果が表示される。

ところで、本実施形態の取得部５１２は、車体２の左側に設けられた撮像部１６ｂにより撮像された画像データであって、左前輪と、左前輪と車体２の進行方向で異なる位置の左後輪と、が撮像範囲に含まれた第１の画像データと、撮像部１６ｄにより撮像された画像データであって、右前輪と、右前輪と車体２の進行方向で異なる位置の右後輪と、が撮像範囲に含まれた第２の画像データと、を取得している。

そして、本実施形態の周辺監視ＥＣＵ１４は、撮像部１６ｂにより撮像された画像データ、及び撮像部１６ｄで撮像された画像データに対して、それぞれに応じた回転、歪み補正、拡大縮小、及びトリミング処理を行っている。これにより、出力部５１４が出力する画面データにおいて、表示領域１３０１に表示されている左前輪１３１１と、表示領域１３０２に表示されている右前輪１３１２と、が、車体２の進行方向に対応する、表示装置８の高さ（上）方向の軸でほぼ同じ座標値（近傍座標）となる。さらには、出力部５１４が出力する画面データにおいて、表示領域１３０１に表示されている左後輪１３１３と、表示領域１３０２に表示されている右後輪１３１４と、が、車体２の進行方向に対応する、表示装置８の高さ（上）方向の軸でほぼ同じ座標値（近傍座標）になる。

つまり、従来において、左側の撮像部と右側の撮像部１６ｄとが左右対称とならず、車体２の高さ方向で差異が生じている場合、左前輪と右前輪とが高さ（上）方向で同じ座標になるよう調整したとしても、左後輪と右後輪とが高さ（上）方向で同じ座標に調整するのが難しかった。これに対して、本実施形態では、撮像部１６ｂと撮像部１６ｄとで撮像された画像データのそれぞれに対して、それぞれの状況に応じた回転、歪み補正、及び拡大縮小処理を行うため、高さ（上）方向で複数の位置を合わせることが可能となる。

なお、図１３に示す例では、左前輪の後側の端部と右前輪の後側の端部、及び左後輪の前側の端部と右後輪の前側の端部を基準位置として、これらが同じ座標値になるように調整した画像データを出力する例について説明した。しかしながら基準位置を、図１３に示す例に制限するものではなく、例えば、前輪及び後輪共に前側の端部を基準位置としても良いし、前輪及び後輪共に後側の端部を基準位置としても良い。さらには、前輪及び後輪の中心、換言すれば車軸を基準位置として、同じ座標になるように調整しても良い。また、基準位置を車輪関係の位置に制限するものではなく、車体２のドアやウィンカー等であっても良い。さらには、車体２の前側の端部と、車体２の後側の端部と、を基準位置として、同じ座標にくるように調整しても良い。

さらに、本実施形態は、車体２の表示領域を図１３に示す例に制限するものではない。図１３に示す例では、車体２の前側の端部と、後輪の前側端部が含まれるように、トリミング処理された画像データを表示する例について説明した。しかしながら、このような表示領域に制限するものではなく、車体２の前側の端部と、車体２の後側の端部と、が含まれるようにトリミング処理された画像データを表示しても良い。その際、上述したような車輪を基準位置としても良いし、車体２の前側の端部と、車体２の後側の端部と、を基準位置としても良い。

なお、本実施形態では、様々な情報と組み合わせて表示する例について説明したが、このような表示態様に制限するものではない。例えば、右側のドアミラー２ｇに設けられた撮像部１６ｄで撮像された画像データを回転、拡大又は縮小した結果、及び左側のドアミラー２ｇに設けられた撮像部１６ｂで撮像された画像データを回転、拡大又は縮小した結果のみを組み合わせて表示しても良い。図１４は、変形例の合成部５２３により合成された画像データを例示した図である。

図１４に示す例でも、領域１４０１、１４０２において、左前輪１３１１と、右前輪１３１２と、が、表示装置８の高さ（上）方向の軸でほぼ同じ座標値（近傍座標）に表示され、左後輪１３１３と、右後輪１３１４と、が、表示装置８の高さ（上）方向の軸でほぼ同じ座標値（近傍座標）に表示される。これにより、運転者は、表示装置８に表示される画面に違和感を覚えることを抑止できるため、利便性を向上させることができる。

本実施形態に戻り、出力部５１４が、合成部５２３の合成により、複数の撮像部１６で撮像された後に、回転、拡大又は縮小された結果が組み合わされた画像データを出力する。

換言すれば、出力部５１４は、撮像画像データに含まれている複数の基準点がそれぞれ予め設定された位置にくるように、当該撮像画像データに対して回転、及び拡大又は縮小して生成された画像データを複数組み合わせたものを出力する。

次に、本実施形態の周辺監視ＥＣＵ１４における、車両１の出荷前に行う処理について説明する。図１５は、本実施形態の周辺監視ＥＣＵ１４における上述した処理の手順を示すフローチャートである。

まず、車両１の撮像部１６が、車両１の近傍領域を撮像する（ステップＳ１５０１）。そして、取得部５１２が、撮像部１６で撮像された画像データを取得する。なお、近傍領域には、撮像部１６の傾きや位置を特定するために基準となるマーク等が含まれていていても良い。

そして、設定部５１１が、撮像された画像データに基づいて、撮像部１６ｂ、１６ｄの傾きを算出した後、さらに、撮像部１６ｂ、１６ｄの傾きに基づいて、撮像部１６ｂ、１６ｄで撮像された画像データの各々に対応する複数の回転角度を算出する（ステップＳ１５０２）。複数の回転角度とは、撮像部１６ｂで撮像された画像データを回転させるための回転角度と、撮像部１６ｄで撮像された画像データを回転させるための回転角度とする。

さらに、設定部５１１が、撮像された画像データに含まれている基準点に基づいて、撮像部１６ｂ、１６ｄで撮像された画像データの各々について、表示装置８に適切な領域を表示するための複数の拡大縮小率を算出する（ステップＳ１５０３）。複数の拡大縮小率とは、撮像部１６ｂで撮像された画像データを拡大、又は縮小させるための拡大縮小率と、撮像部１６ｄで撮像された画像データを拡大、又は縮小させるための拡大縮小率とする。

そして、設定部５１１が、算出した複数の回転角度（換言すれば角度情報）と、複数の拡大縮小率（換言すれば範囲指定情報）と、をパラメータ記憶部５０１に格納させる（ステップＳ１５０４）。

これらのパラメータは、車両１が出荷されても変化することはないため、後述する画像処理で利用することが可能となる。また、本実施形態は、画像データを回転させる回転角度を格納する例について説明したが、画像データを回転させるための回転角度を算出可能な情報であればよく、例えば撮像部１６ｂ、１６ｄの位置情報等であっても良い。

次に、本実施形態の周辺監視ＥＣＵ１４における、表示装置８に画像データを表示するための処理について説明する。図１６は、本実施形態の周辺監視ＥＣＵ１４における上述した処理の手順を示すフローチャートである。

まず、取得部５１２が、撮像部１６で撮像された画像データを取得する（ステップＳ１６０１）。

次に、回転制御部５２１が、取得した画像データのうち、撮像部１６ｂ、１６ｄで撮像された複数の画像データに対して、パラメータ記憶部５０１に記憶された、対応する回転角度に従って回転制御を行う（ステップＳ１６０２）。

そして、歪み補正部５２４が、回転制御した後の複数の画像データに対して、撮像部毎に設定された歪み補正率で、歪み補正を行う（ステップＳ１６０３）。

その後、拡大縮小制御部５２２が、回転制御した後の複数の画像データに対して、パラメータ記憶部５０１に記憶された、対応する拡大縮小率に従って拡大縮小制御を行う（ステップＳ１６０４）。

そして、合成部５２３が、回転制御、及び拡大縮小制御がされた後の複数の画像データについて予め設定された領域に入るようにトリミングした後、当該複数の画像データを組み合わせて、表示装置８に表示するための画像データを生成する（ステップＳ１６０５）。

次に、出力部５１４が、合成部５２３により組み合わされた後の画像データを、表示装置８に出力する（ステップＳ１６０６）。

上述した処理手順により、表示装置８に、ドアミラー２ｇに設けられた複数の撮像部１６ｂ、１６ｄで撮像された複数の画像データが左右にずれがなく表示することができる。

本実施形態においては、ドアミラー２ｇに設けられた撮像部１６ｂ、１６ｄで撮像された複数の画像データに対して、対応する回転角度で回転制御を行うとともに、対応する拡大縮小率で拡大縮小制御した後、これら複数の画像データを組み合わせることで、表示装置８に表示される範囲、及び位置にずれが生じることを抑止できる。これにより、表示された画像データについて違和感を生じるのを抑止し、運転者は、車両１の近傍環境を容易に把握することが可能となる。また、表示される画像データのずれを抑止することで、運転者が、表示装置８を参照する際の視認性を向上させることができる。これにより、運転の負担を軽減できる。

（第２の実施形態）
第１の実施形態では、車両２の走行している状況にかかわらず、撮像部１６ｂ、１６ｄの各々に対して、予め設定された歪み補正率で補正する例について説明した。しかしながら、歪んでいても良いから、より広い範囲を表示したいという状況も考えられる。例えば、車両１がオフロード走行している場合には、オンロード走行している場合と比べて、視界が良くないため、表示装置８には、より広い範囲を表示したいという状況がある。そこで、第２の実施形態では、状況に応じて、表示装置８に表示される範囲を切り替える例とする。なお、本実施形態においては、第１の実施形態と同様の構成を備えているものとして説明を省略する。

図１７は、車両２が走行している状況に応じて、表示される画像データの切替を説明した図である。図１７に示す例では、（Ａ）が車両２のオンロードモードに生成される画像データを説明しており、（Ｂ）が車両２のオフロードモードに生成される画像データを説明している。

車両２のオンロードモード（Ａ）においては、点線１７０１は、画像データに対して歪みが全くなくなるように補正した場合の外周とする。そして、本実施形態の歪み補正部５２４は、オンロードモードには、歪み補正した結果、境界線１７０２が画像データの最外周となる。そして、境界線１７０２で示される画像データのうち、領域１７０３が表示装置８に表示される範囲となる。

車両２のオフロードモード（Ｂ）においても、点線１７０１は、画像データに対して歪みが全くなくなるように補正した場合の外周とする。そして、本実施形態の歪み補正部５２４は、オフロードモードには、歪み補正した結果、境界線１７１１が画像データの最外周となる。このように、オフロードモード（Ｂ）は、オンロードモード（Ａ）と比べて、歪み補正率が低く設定されている。そして、境界線１７１１で示される画像データのうち、領域１７１２が表示装置８に表示される範囲となる。（Ｂ）の領域１７１２は、（Ａ）の領域１７０３と比べて広く設定されている。オフロードモードは、オンロードモードと比べて、歪み補正率が低く、表示される範囲が広いため、表示装置８には、歪みは大きいものの広い範囲が表示される。

これにより、運転者は、オフロードモード（Ｂ）において、表示装置８を参照することで、より広い範囲の状況を認識することができる。なお、オフロードモードとオンロードモードは、運転者の操作に従って切り替わっても良いし、自動的に切り替わっても良い。

つまり、オンロードモードでは、範囲が狭い代わりに歪みが少ない画像データを表示することで視認性を向上させると共に、オフロードモードでは、歪みが大きい代わりに広い範囲を表示するとで、より広い範囲の状況を認識できる。これにより、状況に応じた画像データが表示されるため、操舵負担を軽減できる。

上述した実施形態に関して、付記を開示する。
（付記１）
周辺監視装置は、車体の左側に設けられた第１の撮像部により撮像された画像データであって、第１の基準位置と、当該第１の基準位置と上記車体の進行方向で異なる位置の第２の基準位置と、が撮像範囲に含まれた第１の画像データと、車体の右側に設けられた第２の撮像部により撮像された画像データであって、第３の基準位置と、当該第３の基準位置と上記車体の進行方向で異なる位置の第４の基準位置と、が撮像範囲に含まれた第２の画像データと、を取得する取得部と、上記第１の画像データと第２の画像データとを表示装置に出力する際に、上記表示装置に表示される、上記第１の画像データに含まれている第１の基準位置と、上記表示装置に表示される、上記第２の画像データに含まれている第３の基準位置とが、上記進行方向に対応する、上記表示装置の表示領域内の第１の方向で近傍座標になるとともに、上記第１の画像データに含まれている第２の基準位置と、上記第２の画像データに含まれている第４の基準位置とが、上記第１の方向で近傍座標になるように、上記第１の画像データ及び上記第２の画像データのうちいずれか一つ以上に対して拡大、又は縮小してから出力する出力部と、を備える。これにより、一例としては、表示される左右輪にずれが生じなくなるため、視認性が向上し、運転の負担を軽減できるという効果を奏する。

（付記２）
上述した周辺監視装置において、上記取得部は、車体の左側に設けられた第１の撮像部により撮像された画像データであって、第１の基準位置として上記車体の左前輪と、当該第１の基準位置と上記車体の進行方向で異なる位置の第２の基準位置として上記車体の左後輪と、が撮像範囲に含まれた上記第１の画像データと、車体の右側に設けられた第２の撮像部により撮像された画像データであって、第３の基準位置として上記車体の右前輪と、当該第３の基準位置と上記車体の進行方向で異なる位置の第４の基準位置として上記車体の右後輪と、が撮像範囲に含まれた第２の画像データと、を取得する。一例としては、表示される左右輪にずれが生じなくなるため、視認性が向上し、運転の負担を軽減できるという効果を奏する。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、２ｇ…ドアミラー、１１…モニタ装置、１４…周辺監視ＥＣＵ、１６…撮像部、１００…周辺監視システム、５０１…パラメータ記憶部、５０２…周辺監視部、５１１…設定部、５１２…取得部、５１３…画像処理部、５１４…出力部、５２１…回転制御部、５２２…拡大縮小制御部、５２３…合成部。

Claims (5)

1. 車体の左側に設けられた第１の撮像部により撮像され、複数の左側基準点として、第１の基準点と、当該第１の基準点から前記車体の進行方向に離れた第２の基準点と、当該第１の基準点から前記車体の進行方向と垂直方向に離れた第３の基準点と、を撮像範囲に含む第１の画像データと、車体の右側に設けられた第２の撮像部により撮像され、複数の右側基準点として、第４の基準点と、当該第４の基準点から前記車体の進行方向に離れた第５の基準点と、当該第４の基準点から前記車体の進行方向と垂直方向に離れた第６の基準点と、を撮像範囲に含む第２の画像データと、を取得する取得部と、
   前記第１の基準点が、表示装置の表示領域内の第１の位置にくるように設定した上で、前記第２の基準点及び前記第３の基準点が当該表示装置の表示領域の外周にくるような第１の拡大縮小率を算出し、前記第４の基準点が、前記表示装置の表示領域内の第２の位置にくるように設定した上で、前記第５の基準点及び前記第６の基準点が当該表示装置の表示領域の外周にくるような第２の拡大縮小率を算出する設定部と、
   前記第１の画像データに含まれている複数の左側基準点がそれぞれ予め設定された位置にくるように前記第１の画像データに対して回転するとともに前記第１の拡大縮小率で拡大又は縮小して生成された第３の画像データと、前記第２の画像データに含まれている複数の右側基準点がそれぞれ予め設定された位置にくるように前記第２の画像データに対して回転するとともに前記第２の拡大縮小率で拡大又は縮小して生成された第４の画像データと、を組み合わせて出力する出力部と、
   を備える周辺監視装置。
2. 前記車体の左側に設けられた前記第１の撮像部の傾きに基づいた前記第１の画像データを回転させるための左側の角度情報と、前記車体の右側に設けられた前記第２の撮像部の傾きに基づいた前記第２の画像データを回転させるための右側の角度情報と、を記憶する記憶部を、さらに備え、
   前記出力部は、前記第１の画像データに対して前記左側の角度情報に従って回転、及び拡大又は縮小して生成された第３の画像データと、前記第２の画像データに対して前記右側の角度情報に従って回転、及び拡大又は縮小して生成された第４の画像データと、を組み合わせて出力する、
   請求項１に記載の周辺監視装置。
3. 前記車体に設けられた前記第１の撮像部の位置情報に基づいた前記第１の画像データを拡大又は縮小させるための左側の範囲指定情報と、前記車体に設けられた前記第２の撮像部の位置情報に基づいた前記第２の画像データを拡大又は縮小させるための右側の範囲指定情報と、を記憶する記憶部を、さらに備え、
   前記出力部は、前記第１の画像データに対して回転、及び前記左側の範囲指定情報に従って拡大又は縮小して生成された第３の画像データと、前記第２の画像データに対して回転、及び前記右側の範囲指定情報に従って拡大又は縮小して生成された第４の画像データと、を組み合わせて出力する、
   請求項１に記載の周辺監視装置。
4. 前記出力部は、さらに、前記第１の撮像部及び前記第２の撮像部に設けられた広角レンズの歪みを補正する際、前記第１の画像データと前記第２の画像データとの外周領域で、車体から外部の環境を所定の範囲を表示するために歪みを残すよう設定された歪み補正率で歪み補正処理を行って生成された前記第３の画像データと、前記第４の画像データと、を出力する、
   請求項１乃至３のいずれか一つに記載の周辺監視装置。
5. 車体の左側に設けられ、車体の左側近傍を撮像する第１の撮像部と、
   車体の右側に設けられ、車体の右側近傍を撮像する第２の撮像部と、
   前記第１の撮像部により撮像され、複数の左側基準点として、第１の基準点と、当該第１の基準点から前記車体の進行方向に離れた第２の基準点と、当該第１の基準点から前記車体の進行方向と垂直方向に離れた第３の基準点と、を撮像範囲に含む第１の画像データと、前記第２の撮像部により撮像され、複数の右側基準点として、第４の基準点と、当該第４の基準点から前記車体の進行方向に離れた第５の基準点と、当該第４の基準点から前記車体の進行方向と垂直方向に離れた第６の基準点と、を撮像範囲に含む第２の画像データと、を取得する取得部と、
   前記第１の基準点が、表示装置の表示領域内の第１の位置にくるように設定した上で、前記第２の基準点及び前記第３の基準点が当該表示装置の表示領域の外周にくるような第１の拡大縮小率を算出し、前記第４の基準点が、前記表示装置の表示領域内の第２の位置にくるように設定した上で、前記第５の基準点及び前記第６の基準点が当該表示装置の表示領域の外周にくるような第２の拡大縮小率を算出する設定部と、
   前記第１の画像データに含まれている複数の左側基準点がそれぞれ予め設定された位置にくるように前記第１の画像データに対して回転するとともに前記第１の拡大縮小率で拡大又は縮小して生成された第３の画像データと、前記第２の画像データに含まれている複数の右側基準点がそれぞれ予め設定された位置にくるように前記第２の画像データに対して回転するとともに前記第２の拡大縮小率で拡大又は縮小して生成された第４の画像データと、を組み合わせて表示する表示部と、
   を備える周辺監視システム。

Images