JP4877447B2 - 車両周辺画像表示装置 - Google Patents

Description

この発明は、車両に搭載された画像表示装置に係り、詳しくは、車体周辺の透過画像を表示する車両周辺画像表示装置に関するものである。

従来、自動車の運転者が、車両の周囲を視認する際、車体自体の影となって視覚が遮られ、認識できない死角領域が、車両の周囲に存在する。従来では、運転操作の補助として死角領域をカメラ等の画像取得機器で取得し、画像を車内のモニターに映し出す構成が提案されている。例えば、車両後尾に、車両の後尾に近接した領域を映し出すカメラを設置し、後退時には自動的に車内モニターに後方の撮影画像が映し出される構成などが提案されている。
特開２００２−２６２２８０

特許文献１に代表されるように、画像が映し出されるモニターは、カメラの視点が固定されているので、表示される領域や方法は予め固定されており、使用者が必要とする方向の画像が、必ず得られる訳ではない。
また、カメラを複数設置して、使用するカメラを切り換えてそれぞれの画像を表示する構成とした場合には、画像が切り替わった際に、表示されている画像内容と使用者位置関係とを直感的に理解することが難しかった。

この発明は、任意の方向の車全周囲を表示し、所望の車両周囲情報を直感的に認識させ得る画像情報表示することができる車両周辺画像表示装置を提供することを目的とする。

以上のような問題を解決する本発明は、以下のような構成を有する。
（１）車両に配置され、隣接するカメラの画像が重なる領域がある、魚眼レンズを備えた複数のカメラと、
該複数のカメラにより撮像された画像を組合せて、車両の水平方向の全周囲の画像を取得し得る周辺画像取得装置と、
該周辺画像取得装置により取得された画像を表示するディスプレイと、
該周辺画像取得装置により取得された画像から、画面上で指定された位置座標によって切り出す範囲の画像を指定する指定装置と、
前記指定装置によって指定された画像範囲と、前記カメラの画角に基づいて求められたカメラ切替角度とに応じて、切り出す画像を撮像するカメラを１つ選択する選択手段とを有する車両周辺画像表示装置において、
ユーザにより画像の拡大・縮小の指示する指示手段と、を更に有し、
該指示手段により画像の拡大・縮小の指示があった場合、その指示に従った画角の変更後、該画角の変更に伴うカメラ切替角度を再計算して求めることを特徴とする車両周辺画像表示装置。

（２）前記選択手段は、前記指定装置によって画面上で指定された位置座標を、カメラの光軸を基にした角度位置で示される第１座標上の位置座標に換算する換算手段を備え、
該第１座標上の位置座標と、カメラ切替角度とに応じて、切り出す画像を撮像するカメラを選択する上記（１）に記載の車両周辺画像表示装置。

（３）前記ディスプレイに表示された画像を映し出すカメラの光軸の第１座標位置から前記指定装置によって指定された画像を示す第２座標位置までの移動角度が、カメラ切替角度を超えているか否かにより、切り出す画像を撮像するカメラを選択する上記（２）に記載の車両周辺画像表示装置。

（４）前記指定装置は、ジョイスティック、タッチパネル、トラックボールの内いずれか１つであることを特徴とする上記（１）〜（３）のいずれか１に記載の車両周辺画像表示装置。
（５）前記周辺画像取得装置により取得される画像が、少なくとも車室内の特定の場所から撮像したように撮像画像の視点変換を行う視点変換装置と、
前記指定装置で指定された画像上に、車体の輪郭線を重ね合わせて表示する表示制御装置とを備えた上記（１）〜（４）のいずれか１に記載の車両周辺画像表示装置。

請求項１〜３に記載の発明によれば、車両全周の画像をカメラで取得することができので、指定装置で指定した、車両全周方向における、任意の範囲の水平方向画像 をディスプレイに表示することができる。魚眼レンズを用いたカメラにより画像を取得する場合には、複数のカメラによって重複して得られる画像範囲があるため、そのような画像範囲を指定する場合には、指定された範囲に基づいて、最も有用な画像が得られるカメラを選択することができる。

請求項４に記載の発明によれば、ジョイスティック、タッチパネル、トラックボールなどを用いて、抽出する画像の範囲を指定できるので、画像範囲の指定操作が容易となり、操作に対する負担が軽減される。
請求項５に記載の本発明によれば、ディスプレイに表示される画像が、車室内から周囲を映した場合に得られる画像に近づけられるため、車室内から車両の周囲を視認した場合の画像感覚に近い画像となり、一層外部状況の把握が容易となる。また、車体の輪郭線と重ねて表示されるので、ディスプレイに映し出された映像において、外部状況と車両との相対的 な位置関係を容易に把握することができる。

次にこの発明の車両周辺画像表示装置１の好適実施形態について説明する。図１は、車両周辺画像表示装置１の構成を示すブロック図である。車両周辺画像表示装置１は、車両２に取り付けられ車両の周囲を撮像する撮像手段である複数のカメラ３Ｆ〜３Ｂと、画像処理の演算、座標演算及びそれに基づく制御を行う演算処理装置４と、メモリ５と、使用者が表示したい画像方向を入力する入力装置７や、各種処理の結果合成された画像を表示する画像表示装置８と、これらの装置の通信を媒体するシステムバス１１とを備えている。

カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂは、図２に示されているように、車両１０の外周側面に、外側に向けて設けられている。カメラ３Ｆは、車両１０の前方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｒは、車両１０の右側方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｌは、車両１０の左側方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｂは、車両１０の後方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｆとカメラ３Ｂの光軸は、同一軸線（車両の中心線）上に位置し、カメラ３Ｌとカメラ３Ｒの光軸は、同一軸線上に位置する。そして、こけらの２本の光軸は、車両１０の略中央で直交するように配置されている。換言すると、各カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂの光軸が、同一水平面内に含まれ、該平面内において、直交するように、各カメラは配置されている。車両の移動方向は、路面に沿った方向、即ち水平方向なので、光軸が水平方向に向くように設置されているが、画角内に水平が含まれるように設置されていればよい。

カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂは、例えばＣＣＤ（Charge-Coupled Devices）により、光（画像）信号を電気信号に変換する構成を備えている。それぞれのカメラ３Ｆ、３Ｒ、３Ｌ、３Ｂは、Ａ/Ｄ変換器３１Ｆ、３１Ｒ、３１Ｌ、３１Ｂを介してシステムバス１１に各々接続される。

各カメラ３Ｆ、３Ｂ、３Ｒ、３Ｌは、魚眼レンズを有し、広角（１８０°）であるため、各カメラで取得される画像には、図２に示されているように、隣接するカメラの画像と重なる領域ＰＣＷ１〜４が存在する。従って、この領域ＰＣＷ１〜４では、２つのカメラによって画像を取得することが可能な領域である。

各カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂから出力された画像信号は、Ａ／Ｄ変換器３１Ｆ、３１Ｒ、３１Ｌ、３１Ｂによって、それぞれデジタル信号に変換される。また、接続されたカメラ３Ｆ、３Ｒ、３Ｌ、３Ｂが、デジタル信号出力が可能なものである場合には、Ａ／Ｄ変換器３１Ｆ、３１Ｒ、３１Ｌ、３１Ｂには不要である。なお、本実施形態では、上述のように、撮像手段は、魚眼レンズを用いたカメラ４つを有しているが、車両の周囲３６０°の画像を取得できれば、どのようなカメラを用いても構わない。例えば、５つ以上の複数のカメラを、車両の外側に向けて設置してもよい。また、３６０°の画像を取得できるカメラを１つ用いてもよい。この場合には、カメラを車両の天板上又は車体底部に配置する。

演算処理装置４は、中央処理装置［ＣＰＵ（Central Processing Unit）］４１と、リードオンリーメモリ［ＲＯＭ］４２と、ランダムアクセスメモリ［ＲＡＭ］４３とを備えている。中央処理装置４１は、例えば、後述するポインタの移動量計算、座標の算出などの演算を行い、或は、各カメラから取得された画像から入力された方向の画像を切り取り（抽出し）、また、切り取った画像を使用者の視点位置に視点変換し、切り取った画像に、車両の輪郭を合成する、などの処理及び演算を行う。
ＲＯＭ４２には、例えば、中央処理装置４１が画像処理を行うためのソフトウエア等が格納されており、ＲＡＭ４３は、例えば、各種画像処理等を行う場としてのワーキングエリアとして使用される。

メモリ５Ａは、各カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂが撮影した画像を経時的に連続してそれぞれ記録するカメラ画像バッファ５１Ｆ、５１Ｒ、５１Ｌ、５１Ｂと、描画用画像バッファ５２と、画像処理情報メモリ５３と、車両情報記憶手段である車体データメモリ５４と、ワークメモリ５５とを備えている。
周辺画像取得装置は、カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂとカメラ画像バッファ５１Ｆ、５１Ｒ、５１Ｌ、５１Ｂとから構成される。

描画用画像バッファ５２には、カメラ画像に画像処理を施して生成した画像が保存される。画像処理情報メモリ５３には、視点変換、歪み補正、合成等画像処理を実行するために必要な変数、及びポインタの移動量計算等を実行するために必要な変数や計算式等が保存される。また、初期カメラの選択に応じて決定される第１座標、第２座標を演算する際に使用される重みを決定するためのテーブルなども記憶されている。なお、ＧＵＩで構成されたメニュー画面等を介して設定値の入力や変更は適宜可能となっている。車体データメモリ５４には、表示画像に重ねて、車体透過イメージを作るために必要な輪郭情報が格納されている。輪郭情報には、車体の輪郭やタイヤ位置等を表現した３Ｄモデリングデータまたは３Ｄに見えるように描かれたビットマップデータなどが保存されている。この車体データメモリ５４に保存されるデータには、カメラ画像または画像処理後のカメラ画像と合成するために使用するマスクデータも含まれる。

ワークメモリ５５は、画像の合成、正像変換、視点変換等の処理をするに当たってのワーキングエリアとして機能する。

入力装置７は、ディスプレイ８の表面に設けられたタッチパネルである。タッチパネルは、ディスプレイ８の表面に指等を接触させて場合に、その接触した位置を検出するセンサである。例えば、ディスプレイ８の特定の位置に映し出されたアイコンを指標として、そのアイコンで指示された位置と、タッチパネルにより検出された、指で触れた位置とを照合し、両者が同じ位置である場合には、スイッチングを行うように設定することができる。
このようなタッチパネルの他、ジョイスティック、トラックボール等のようなポインティングディバイスにより入力手段を構成することもできる。このようなポインティングディバイスは、リモコン操作により、画面上のカーソルを所望の位置に移動させ、カーソルが位置している点で、リモコン側入力操作を行うことにより、位置入力を行うものである。

ディスプレイ８は、画像データを表示する。ディスプレイ８は、例えば液晶パネルやＥＬパネル等が用いられる。Ｄ／Ａ変換器８１は、ディスプレイ８がアナログ入力の場合、中央処理装置４１が扱うデジタルデータをアナログデータに変換する。ディスプレイ８がデジタル入力対応であれば不要となる。

以上のように構成された本発明の車両周辺画像表示装置１の作用について、図３に示されているフローチャートに基づき説明する。本システムは、例えば、運転者等の使用者からのスイッチＯＮにより起動される。スイッチがＯＮされると、初期画面が表示装置に表示される（ステップＳ１０１）。図４は、初期画面の状態を示すディスプレイ８の表示画面の図である。中央に車体１０の平面図が表示され、カメラの位置に対応した場所に、三角形の表示アイコン８２Ｆ、８２Ｂ、８２Ｒ、８２Ｌが現れる。また車庫入れする場合など、特に使用者が使用する頻度の多い方向には、予めＸの表示アイコン８２ＦＬ、８２ＢＬが示され、初期位置として指定することができるように構成されている。

これらの複数の表示アイコンのいずれか１つにタッチする（ステップＳ１０３）ことにより、画面上の位置が特定され、その位置に対応して設けられたカメラが選択される（ステップＳ１０５）。カメラの選択は、図５に示されているような、予め記憶されているマップに基づき、表示アイコン８２の位置に応じて定められている。例えば、表示８２Ｆを指定した場合には、カメラ３Ｆが選択され、表示８２Ｂを指定した場合には、カメラ３Ｂが選択され、表示８２Ｌを指定した場合には、カメラ３Ｌが選択され、表示８２Ｒを指定した場合には、カメラ３Ｒが選択され、表示８２ＦＬ、８２ＢＬを選択した場合には、カメラ３Ｌが選択されることとなる。

選択されたカメラに対応した第１座標が決定される（ステップＳ１０７）。この値は、次のように決定される。図６に示されているように、車両１０の平面図を含む平面内において、対向して配置されたカメラ３Ｆと３Ｂ、及びカメラ３Ｒと３Ｌをそれぞれ結ぶ直線の直交点を原点Ｏとして、前方カメラ３Ｆのレンズ光軸線方向を０度、この０度の光軸から左回りに、左のカメラ３Ｌのレンズ光軸線方向を−９０度、後方カメラ３Ｂのレンズ光軸線方向を１８０度、右のカメラ３Ｒのレンズ光軸線方向を９０度に設定し、この角度をＸ座標とする。また、それぞれの位置のＹ座標は、図７に示されているように、図６に示されている各光軸を含む鉛直面において、カメラのレンズの中心を原点として、水平方向を０度、上方へ向けた角度（仰角）を＋、下方へ向けた角度（俯角）を−で表現し、その角度をＹ座標とし、第１座標は、（Ｘ１，Ｙ１）で表現される。図５は、各表示アイコンを指定した場合の、第１座標及び選択されたカメラを示すマップである。

このような第１座標は、例えば表示アイコン８２Ｆを指定すると、第１座標（Ｘ１，Ｙ１）は、（０，０）となる。同様に、表示アイコン８２Ｒを指定すると第１座標（Ｘ１，Ｙ１）は、（９０，０）となる。

このように設定された第１座標から第２座標（Ｘ２，Ｙ２）を決定する（ステップＳ１０９）。図８に示されているように、第２座標は、カメラが取得した魚眼画像ＰＣ１内において表示画像を切り出す範囲ＰＣ２を指定するために用いられる座標であり、第２座標が、切り出す表示画像の中心点Ｐ０となる。第２座標（Ｘ２，Ｙ２）は、第１座標（Ｘ１，Ｙ１）に基づき、以下の式に基づき求められる。

Ｘ２ ＝ Ｘ１ − Ａ
Ｙ２ ＝ Ｙ１
Ａは、カメラ方向による補正値であり、図５に示されているように、表示アイコンで指定された位置に応じて予め決定されている。この際、中心点及び切り出し画角は、ある特定の視点（例えば、運転席や車両の中心、又は４つのカメラの対角線が交差する点（図６中のＯ点））から見た画像表示になるように設定される。この設定値は、画像処理用設定値に記憶されている値を参照する。

なお、図４の表示画面で表示アイコン８２Ｆ、８２Ｌ、８２Ｂ、８２Ｒが指定された場合、ユーザは自車両から少し遠方を表示させたいと判断し、車体に対して水平方向の画角が設定され（Ｙ２（Ｙ１）＝０）、表示アイコン８２ＦＬ、８２ＢＬが指定された場合、ユーザは車体に接触する障害物があるか否かを表示させたいと判断し、例えば車体水平方向から斜め３０度下の画像を取得するようにＹ座標が設定される（Ｙ２（Ｙ１）＝−３０）。
以上のような、ステップＳ１０１〜Ｓ１０５及びディスプレイ８、入力装置７によって、指定装置が構成される。

次に表示画像を左右方向へ移動させた場合における、カメラの切替角度を算出する（ステップＳ１１１）。車両１０の水平面内における全周をカメラの撮像画像から抽出する場合、この実施形態では、複数のカメラを用いて車体全周の画像を取得する構成としているため、表示画像を連続して左右方向へ移動させると、画像を取得するカメラを切り替える必要が生じする。このカメラの切替位置は、撮像画像から表示画像を切り出す画角Ｃに応じて決定される。また、表示画像を切り出す画角Ｃは、表示画像を切り出す際のズーム（倍率）により異なるが、この処理段階では、ディスプレイに表示される前であり、ホームポジションとして記憶されている画角とする。また、画角Ｃは、このシステムが直前に使用された際の倍率を記憶しておき、その倍率に基づいて決められた画角としてもよい。

Ｘｒは、図８の第２座標系において、Ｐ０を＋方向に移動したときの切り替えるＰ０の位置とし、Ｘｌは、図８の第２座標系において、Ｐ０を−方向に移動したときの切り替えるＰ０の位置とする。

具体的な計算式としては、第１座標に対しての値に戻すためのカメラ方向による補正値をＡ，画角をＣとすると求めるカメラの切替角度（Ｘｒ，Ｘｌ）は
Ｘｒ＝Ａ＋９０−Ｃ／２
Ｘｌ＝Ａ−９０＋Ｃ／２
で求められる。

カメラ方向による補正値Ａの設定例はＳ１０９と同様である。画角Ｃが常にデフォルトである場合には、切替角度（Ｘｒ，Ｘｌ）は、毎度計算せずデフォルトの値を記憶しておき読み出すようにしてもよい。
本実施形態では魚眼レンズを用いている為、歪みが生じる。そのため、ステップＳ１０９で決定した画像を切り出し、その画像に歪みを補正する為の正像変換処理を施し、正像画像ＰＣ３を生成する（ステップＳ１１３）。なお、この技術は公知のため、詳しい説明は省略する。

Ｓ１１３で正像変換処理が施された画像に、車体輪郭線を重畳するための車体輪郭線を演算する（ステップＳ１１５）。車体データにメモリされている車体輪郭線は、３次元データとして記憶されており、画像に重畳する二次元画像を決定する為、Ｓ１０７で使用した特定の視点から、Ｓ１０３でユーザから入力された方向に向かって視線方向を一致させた場合に、二次元画像として現れる車体輪郭線を演算する。

ステップＳ１１５で演算された車体輪郭線をＳ１１３で正像変換処理された画像に重畳する（ステップＳ１１７）。Ｓ１１７で作成された画像をディスプレイ８に表示する（ステップＳ１１９）。図９は表示例を示すもので、ディスプレイ８の表示画面の正面図である。ステップＳ１１５〜Ｓ１１９により、表示制御装置が構成される。

右下部分には、ディスプレイ８に表示されている部分を示すための表示方向表示部８３が配置されている。この表示部８３は、車体全体を平面図として表示する車体表示部８３１と、該車体に対して、ディスプレイに表示されている位置を示す画像位置表示部８３２とを有する。画像位置表示部８３２は、車体表示部８３１の輪郭に沿って配置され、抽出される画像の位置が移動すると、その移動に従って画像位置表示部８３２も移動する構成となっている。

これにより、車体表示部８３１と画像位置表示部８３２との相対的な位置関係が示される。図９に示されている例では、自車の左側で丸の位置している箇所が、現在画像を表示している方向であることを示している。

また、右下の虫眼鏡の形をした表示は画角を変更するためのアイコン８４１、８４２であり、画面に表示されている画像の拡大縮小を行う。このアイコン８４１、８４２に触れることにより、画像の拡大縮小操作を行う。つまり、拡大表示した場合には、画角は狭くなり、縮小表示した場合には、画角は広くなる。＋記号が記されているアイコン８４１は、拡大を指示するものであり、−記号が記されているアイコン８４２は、縮小を指示するものである。

さらに、表示画面の４隅並びに上下辺及び左右辺の中央部には、表示限界を示すための限界表示アイコン８７Ｕ、８７Ｄ、８７Ｌ、８７Ｒ、８７ＬＵ、８７ＬＤ、８７ＲＵ、８７ＲＤがそれぞれ設けられている。これらの操作アイコンは、画面の外側へ向けた矢印の形に構成されており、これらのアイコンが表示されている状態では、アイコンの矢印が向いている方向への画面の移動が可能であることを示しており、アイコンの表示が消えている場合には、現在の表示画面が、該アイコンの矢印方向の表示領域が限界であることを示すものである。

つまり、アイコン８７Ｕが表示されている場合には、上方への画面の移動が可能であることを示している。アイコン８７Ｄが表示されている場合には、下方への画面の移動が可能であることを示している。アイコン８７Ｌが表示されている場合には、左方への画面の移動が可能であることを示している。アイコン８７Ｒが表示されている場合には、右方への画面の移動が可能であることを示している。

リターンマーク８５は初期画面に戻る為のカーソル（フローチャートにはその処理の記載なし）である。画面には、輪郭線８６が表示され、外部状況と車両との位置関係が直感的に把握し易く表示される。例えば、後輪が駐車スペース内に納まっているか？などを、一見して感覚的に把握することができるものである。画像の移動に応じて、輪郭線８６もその都度演算され、同様に変更される。

図１０は、図３に示されているフローチャートの続きを表す、処理フローチャートである。次に、終了の指示があるか否かを判断する（ステップＳ１２１）。これはスイッチのＯＦＦがユーザにより入力されたか否かを判断する為のものである。終了の指示なければ次のステップに移り、指示があれば本処理は終了される。

タッチパネルによるユーザからの拡大・縮小の指示があるか否かを判断する（ステップＳ１２３）。即ち、図９に示されるディスプレイ画面において、右下のズーム操作を行うアイコン８４１、８４２が操作されたかを検出し、表示画像の拡大又は縮小の指示があるか判断する。指示がなかった場合には、ステップＳ１２９に移行し、指示があった場合には、画角の変更、カメラ切替角度の再計算等を行い、ステップＳ１２９に移行する。

画角の変更処理（ステップＳ１２５）は、例えば、拡大の指示があった場合（アイコン８４１が１回押された場合）、画角を５度小さくする。縮小の指示があった場合（アイコン８４２が１回押された場合）画角を５度大きくするといった処理である。変更角度の単位（５度）は、この値に限定されない。また、適宜変更可能に設定してもよい。さらに、一定時間以上（例えば２秒以上）連続して押されている場合には、５度単位に連続して画角を変更する構成としてもよい。
次に、カメラ切替角度の再計算を行う（ステップＳ１２７）。つまり、ステップＳ１２５で決定された画角、現在のカメラ方向に応じてカメラ切替画角の計算を行う。計算方法はステップＳ１１１と同様に行う。

ステップＳ１２７の後、切り取り位置の移動の指示があったか判断する（ステップＳ１２９）。切り取り位置の移動の指示は、図９に示されるディスプレイ画面上において、画面中心点より外れた位置に触れることで行われる。或は、そのような位置を、ポインティングディバイスで指定することにより行われる。
移動の指示があった場合には、切り取り座標の計算（ステップＳ１３１）を行い、操作されなかった場合には、ステップＳ１３３を実行する。

図１１は、切り取り座標の計算処理（ステップＳ１３１）を行うサブルーチンを示すスローチャートーである。この処理では、最初に第１座標を演算する（ステップＳ２０１）。
画面の中心を（Ｘｃｐ，Ｙｃｐ）、ステップＳ１２７で入力されたと判断された指示座標を（Ｘｉｐ，Ｙｉｐ）、重みを（ＡＸ，ＡＹ）として算出される。これらの座標は、画面上の位置を示す座標であり、座標表示単位は、ピクセルで現れされる。重み（ＡＸ，ＡＹ）は、ピクセル単位で示される座標を角度単位で示される第１座標に換算する係数である。指示座標（Ｘｉｐ，Ｙｉｐ）は、ディスプレイ画面に指などを触れることにより、画面表面に重ねられているタッチパネルにより、指の接触位置として検出される。

また、現在の第１座標（Ｘ１０，Ｙ１０）とすると、求める移動量(ｄＸ，ｄＹ)及び移動後の第１座標（Ｘ１１，Ｙ１１）は、
ｄＸ＝（Ｘｃｐ−Ｘｉｐ）／ＡＸ
ｄＹ＝（Ｙｃｐ−Ｙｉｐ）／ＡＹ
Ｘ１１＝Ｘ１０＋ｄＸ
Ｙ１１＝Ｙ１０＋ｄＹ
となる。

ここで、重みの値が小さければ小さいほど大幅な切取位置の移動が可能となり、大きければ大きいほど、切取位置移動の微調整が可能となる。
例えば、表示画像が横６４０ピクセル縦４８０ピクセルで、Ｘｉｐ＝２００、Ｙｉｐ＝３００で、重みが５０とすると、ｄＸ≒−９、ｄＹ≒−４となる。

図１２に示されているように、以上のような演算により、魚眼画像ＰＣ１は、画像の中心がＰ０に移動する。

次に、Ｓ２０１で決定された座標がカメラ切替角度（Ｘｌ，Ｘｒ）を超えているかの判断を行う（ステップＳ２０３）。
例えば、カメラが前方に選択されていて、カメラ切替角度を（Ｘｌ，Ｘｒ）、Ｓ２０１で計算された第２座標を（Ｘ２，Ｙ２）とすると、Ｘ２＜Ｘｌまたは、Ｘ２＞Ｘｒとなるかを判断する。Ｘ２＜Ｘｌまたは、Ｘ２＞Ｘｒである場合には、切り出す画像の端が途切れるため、隣接するカメラで取得される画像に切り換える必要がある。Ｘ２＝Ｘｌまたは、Ｘ２＝Ｘｒとなる位置の近傍は、図２に示されている隣接するカメラからの取得画像が重なる領域ＰＣＷ１〜４内に表示画像が含まれているので、カメラを切り換えることが可能であり、これにより、端の欠けない表示画像（切取画像）を取得することができる。

Ｓ２０１で決定された座標がカメラ切替角度（Ｘｌ，Ｘｒ）を超えている場合には、切り換えるカメラを決定する（ステップＳ２０５）。例えば、カメラが前方に選択されていて、カメラ切替角度を（Ｘｌ，Ｘｒ）、Ｓ２０１で計算された第１座標を（Ｘ１１，Ｙ１１）とすると
Ｘ１１ ＜ Ｘｌ の場合は、左側方カメラに切り替える。
Ｘ１１ ＞ Ｘｒ の場合は、右側方カメラに切り替える。

カメラを切り換えた後、Ｓ２０５で決定されたカメラの方向に応じてカメラ切替角度の計算を行う（ステップＳ２０７）。計算方法はＳ１１１で行う方法と同じであるので、説明を省略する。
このように、ステップＳ１１１、Ｓ１２７、Ｓ２０３、Ｓ２０５、Ｓ２０７によって、選択手段が構成される。

次に、第２座標（Ｘ２２，Ｙ２２）を算出する（ステップＳ２０９）。つまり、ステップＳ２０１で計算された第１座標と、ステップＳ２０７で決定されたカメラの方向に基づき、ステップＳ１０９で説明した計算方法により、第２座標が計算される。計算方法は、ステップＳ１０９での計算方法と同様であり、
Ｘ２２ ＝ Ｘ１１ − Ａ
Ｙ２２ ＝ Ｙ１１
で得られる。
Ａの値は、ステップＳ２０７で選択されたカメラと、図５に示されているマップに基づき決定される。

以上の処理を完了させた後、図１０に示されているフローチャートにリターンされ、ステップＳ１３３が実行される。ステップＳ１３３〜Ｓ１３９の処理は、ステップＳ１１３〜Ｓ１１９の処理と同様であるので、説明を省略する。ステップＳ１３９の画面表示処理の後、ステップＳ１２１へリターンされ、処理が繰り返される。

以上説明した構成に加えて、ステップＳ１１９、Ｓ１３９で画像表示する前に、表示画像について視点変換処理を行っても良い。カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂで取得された画像は、カメラ位置から対象物を写したアングルとなっており、運転者が運転席の位置から、該当部分を視認した場合のアングルとは異なっている。そこで、カメラで取得された画像のアングルを、運転者の視点から視認した場合のアングルに変換し、その変換後の画像をディスプレイに表示する。

この画像に対する視点変換処理方法は、例えば第１座標の中心を運転席に設置し、ステップＳ２０１で求まった第１座標と、カメラの設定位置の座標とに基づき、画像の切取り位置及び画角を算出することで実現される。また、この場合、ステップＳ１２３〜１２７は実行されない。さらに、この視点変換を行う場合、側面に設けられたカメラ３Ｒ、３Ｌは、車体の中央部でなく、運転席の側方に設けられていることが好ましい。これは、本装置を使用するのは運転者であることが多いので、カメラ３Ｒ、３Ｌの撮影位置を、使用者（運転者）の視点位置に近づけるためである。この場合、例えば、視点変換処理をする際に、変換処理の負担が軽減されるとともに、変換後の画像の歪みも抑えることができる。

上記説明した構成の他、ステップＳ１２３における切取位置移動の指示は、表示画面の隅に設けられているアイコン８７Ｕ、８７Ｄ、８７Ｌ、８７Ｒ等に触れることにより、画像が矢印の方向に移動する構成としてもよい。

画像取込装置の構成を示すブロック図である。 カメラ取り付け位置を示す、車両の平面図である。 フローチャートである。 表示画像図である。 予め記憶されているカメラと座標位置等の関係を示すマップである。 第１座標のＸ座標系を示す車両の平面図である。 第１座標のＹ座標系を示す車両の側面図である。 カメラ取得画像と表示画像との関係、及び第２座標系を示す図である。 表示画像図である。 フローチャートである。 フローチャートである。 カメラ取得画像と表示画像との関係、及び第２座標系を示す図である。

符号の説明

１ 車両周辺画像表示装置
３Ｆ、３Ｒ、３Ｌ、３Ｂ カメラ
７ 入力装置
８ 表示装置（ディスプレイ）

Claims (5)

1. 車両に配置され、隣接するカメラの画像が重なる領域がある、魚眼レンズを備えた複数のカメラと、
   該複数のカメラにより撮像された画像を組合せて、車両の水平方向の全周囲の画像を取得し得る周辺画像取得装置と、
   該周辺画像取得装置により取得された画像を表示するディスプレイと、
   該周辺画像取得装置により取得された画像から、画面上で指定された位置座標によって切り出す範囲の画像を指定する指定装置と、
   前記指定装置によって指定された画像範囲と、前記カメラの画角に基づいて求められたカメラ切替角度とに応じて、切り出す画像を撮像するカメラを１つ選択する選択手段とを有する車両周辺画像表示装置において、
   ユーザにより画像の拡大・縮小の指示する指示手段と、を更に有し、
   該指示手段により画像の拡大・縮小の指示があった場合、その指示に従った画角の変更後、該画角の変更に伴うカメラ切替角度を再計算して求めることを特徴とする車両周辺画像表示装置。
   
2. 前記選択手段は、前記指定装置によって画面上で指定された位置座標を、カメラの光軸を基にした角度位置で示される第１座標に換算する換算手段を備え、
   該第１座標と、カメラ切替角度とに応じて、切り出す画像を撮像するカメラを選択する請求項１に記載の車両周辺画像表示装置。
   
3. 前記ディスプレイに表示された画像を映し出すカメラの光軸の第１座標位置から前記指定装置によって指定された画像を示す第２座標位置までの移動角度が、カメラ切替角度を超えているか否かにより、切り出す画像を撮像するカメラを選択する請求項２に記載の車両周辺画像表示装置。
   
4. 前記指定装置は、ジョイスティック、タッチパネル、トラックボールの内いずれか１つであることを特徴とする請求項１〜３のいずれか１に記載の車両周辺画像表示装置。
   
5. 前記周辺画像取得装置により取得される画像が、少なくとも車室内の特定の場所から撮像したように撮像画像の視点変換を行う視点変換装置と、
   前記指定装置で指定された画像上に、車体の輪郭線を重ね合わせて表示する表示制御装置とを備えた請求項１〜４のいずれか１に記載の車両周辺画像表示装置。

Images