JP4780385B2

JP4780385B2 - 周辺監視システム

Info

Publication number: JP4780385B2
Application number: JP2005332852A
Authority: JP
Inventors: 一矢渡邊; 功祐佐藤
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2005-11-17
Filing date: 2005-11-17
Publication date: 2011-09-28
Anticipated expiration: 2025-11-17
Also published as: FR2893282B1; DE102006054162B4; FR2893282A1; JP2007142735A; DE102006054162A1; US20070109408A1; US8031225B2

Description

本発明は、車両の異なる位置に搭載された第１撮像面を有する第１カメラと第２撮像面を有する第２カメラ、及び前記第１撮像面からの第１画像と前記第２撮像面からの第２画像とを表示するモニタを備えた周辺監視システムに関する。

自動車を運転する際、走行方向だけでなく車両左右方向も含め車両周囲の状況を確認することが必要である。従来から自動車に搭載されているサイドミラーやバックミラーによる車両周囲を確認では運転者からの死角が生じやすく、特に運転初心者にとって左右に建物が存在する路地の走行や狭い道での対向車とのすれ違い走行は大きなストレスを伴うことになる。このため、死角となりやすい領域を撮影するカメラを車両に搭載し、その撮影画像を車内のモニタに表示することで、車両周囲の確認を容易にする試みがなされている。

例えば、車両前部右側方と左側方とを撮影する右カメラと左カメラを搭載し、この右カメラによる撮影画像と左カメラによる撮影画像とがモニタ画面中央を境にして同時並設状態となるようにモニタ表示することが提案されている（特許文献１参照）。このような周囲監視システムの場合、１つのモニタ画面で車両前部右側方と左側方との両方の状況を確認することができる。しかしながら、この特許文献の図１から明らかなように、左から右に通過する車両はモニタ画面の左半分において左上から右下方向に移動した後、突然モニタ画面の右半分において左下から右上方向に移動するため、周辺対象物としての通過車両の動きが不自然となり、方向感覚や距離感覚のずれが生じることから運転者の周囲認識が難しくなるという問題がある。

この問題を解消するため、車両に設けたカメラを移動させることで車両周囲の状況を撮影し、この撮影画像を撮影範囲に対応して表示画面を曲面に形成した表示装置に撮影方向と表示画面を対応させた状態で連続的に表示させる技術が提案されている（特許文献２）。この周囲監視システムでは、運転者や使用者が直感的に方向や距離を認識することが容易になるが、カメラの移動機構、カメラの移動と曲面画面への表示を同期する画像処理ユニット、曲面モニタといったような費用のかかる構成要素が要求され、製造コストやメンテナンスコストの点で大きな問題がある。

特開２００１−３９２３２号公報（段落番号００２４、図１）特開２００５−１７８５０８号公報（段落番号０００７−０００８、図１、図７）

車両に搭載されたカメラを用いた周辺監視システムは、車両運転座席に座った運転者の死角となる領域を車両の異なる位置に搭載された複数のカメラによる撮像画像を通じて運転者に確認させるものであるが、これらのカメラによる撮影画像の間で方向や距離に関する違和感を低減することが重要である。車両走行における重要な指標となる注目点が各カメラによって撮影できる場合はその注目点の像を画像合成の合成目標として用いることで、互いの撮影画像の間に生じる違和感を抑制することができる。しかしながら、そのような注目点が各カメラによって撮影できるようなカメラ配置は、車両における種々の設置制約を考慮すると非常に困難である。
上記実状に鑑み、本発明の課題は、車両走行における重要な指標となる注目点が全てのカメラによって撮影できない場合であっても、車両の異なる位置に搭載された複数のカメラの各撮像面から得られる画像を適切に合成することで、その合成画像の監視における方向感覚や距離感覚のずれが抑制される、車両のための周辺監視システムを簡単な構成で提供することである。

車両の異なる位置に搭載された第１撮像面を有する第１カメラと第２撮像面を有する第２カメラ、及び前記第１撮像面からの第１画像と前記第２撮像面からの第２画像とを表示するモニタを備えた周辺監視システムにおいて、上記課題を解決するため、本発明では、前記第２撮像面上で結像して前記第１撮像面上で結像しない、前記車両に対して定めた注目点を設定し、かつ前記第１撮像面を含む撮像面であって、前記第１撮像面を前記注目点の座標位置が入るように拡張した撮像面である拡張撮像面における前記注目点の座標位置と、前記第２撮像面での前記注目点の座標位置とが一致するように前記第１画像と前記第２画像が合成され、前記第１画像と前記第２画像にまたがる前記注目点を含む仮想線が前記モニタに重畳表示される。
この特徴構成を持つ周辺監視システムでは、車両走行における重要な指標となる点である注目点が第２カメラによっては撮影されるが第１カメラによっては撮影できないような場合においても、注目点から延ばした仮想線が第１カメラの撮像面である第１撮像面に投影された仮想線の座標位置から得られる方向線を第１撮像面の範囲外の拡張撮像面まで延ばすと、そこでの注目点の座標位置が求まる。この拡張撮像面での前記注目点の座標位置と、注目点を実際に捉えている第２撮像面でのこの注目点の座標位置とが一致するように第１画像と第２画像が合成される。この合成画像はそれぞれのカメラからの撮影画像の間での方向や距離に関するずれが抑制されており、第１カメラと第２カメラの両方で注目点を撮影できた場合に得られるような双方の撮影画像をぴったりとつなぎ合わせた合成画像にほぼ匹敵するものである。

第１撮像面の画像と第２撮像面の画像を第１撮像面の拡張版である拡張撮像面を仲介させて合成させた合成画像では、第１撮像面からの画素及び第２撮像面からの画素と注目点との位置関係は維持されている。これは、第１カメラが第２カメラより車両走行方向に関して前方に位置している場合、車両前方に位置する１つの点は車両の走行にともなって第１撮像面における注目点の仮想線上を通り第２撮像面における注目点を経て第２撮像面を過ぎ去ることを意味する。このことから、本発明の好適な実施形態の１つとして、注目点をバンパーと車幅ラインの交点で決定される車両端点とし、この注目点から延びた仮想線が車両走行における注目点の軌跡とするならば、運転者の死角になっているにもかかわらず車両走行において最も重要な箇所の１つである車両端点の車両走行前軌跡と車両走行後軌跡がスムーズに第１撮像面から第２撮像面に、結果的にはそれらからなる合成画像上で違和感なく移行するため、運転者にとってイメージのしやすい周辺監視画像が提供できる。

さらに、好適な実施形態の１つとして、仮想線が第１画像の仮想線と第２画像の仮想線を有し、これらがモニタ上に重畳表示される場合、両方の仮想線の方向を一致させるため、第１画像と第２画像の少なくとも一方を画像回転させることが提案される。これにより、注目点の車両走行前軌跡と車両走行後軌跡が合成画像上で直線状につながるため、運転者にとって注目点の位置と軌跡がさらにわかりやすいものとなる。

一般的に、最終的にモニタに表示される画像は得られた合成画像からトリミングされている。このため、元々撮影され合成された画像の全体を確認できるように、モニタの画面はスクロール可能にすることが好都合である。とりわけ、運転者は前方を注視しているので、カメラによる車両周辺の監視では、左右方向が重要であることから、モニタ画面も少なくとも左右方向にスクロール可能であることが好適である。

前述したように、車両走行における重要な指標の１つはバンパーと車幅ラインの交点で決定される車両端点であるが、走行環境によっては前輪と地面の接地点なども重要な指標となる。このため、前記車両に対する注目点の位置を選択できるように構成することも好都合である。さらにその際、注目点の選択が車両の走行状態に基づいて自動的に行われるように構成するならば、運転者を良好に支援することができる。

まず、本発明による周辺監視システムの原理を図１に示された模式的な図を用いて説明する。ここでは、乗用車等の車両の異なる位置、フロントグリル中央と前輪より後方のボディ側部のそれぞれに搭載された第１カメラ１と第２カメラ２によって車両の正面前方及び左前輪を含む車両前方がモニタ監視可能となっている。第１カメラ１は光軸中心Ｃ1と撮像面Ａ1で表されており、第２カメラ２は光軸中心Ｃ2と撮像面Ａ2で表されており、その際図面の見やすさのためにそれぞれの撮像面Ａ1とＡ2は対象物側に置く構図を用いている。運転者の死角となっているとともに車両走行における重要な指標となる注目点Ｒは第１カメラ１の後側で第２カメラ２のほぼ正面に定義している。このため、この注目点Ｒは第２撮像面Ａ2では直接捉えられるが、第１撮像面Ａ1では捉えられない。

第２撮像面Ａ2上で結像する注目点Ｒの座標点Ｒ2（第２撮像面Ａ2上の注目点Ｒ2とも称する）の座標位置はよく知られた射影平面幾何学の式で求めることができる。これに対して、注目点Ｒは第１撮像面Ａ1上では結像しないので、その見かけ上の座標点Ｒ1の座標位置を求めるため第１撮像面Ａ1の拡張版である撮像面つまり第１撮像面Ａ1を含む拡張撮像面Ｂを定義しておく。注目点Ｒから所定方向に延びる仮想線Ｌにおいて第１撮像面Ａ1上で結像する任意の２点、第１仮想点Ｓと第２仮想点Ｔをとると、この第１仮想点Ｓと第２仮想点Ｔの第１撮像面Ａ1での座標位置から、仮想線Ｌの第１撮像面Ａ1上の仮想線像Ｌ1が算出できる。この仮想線像Ｌ1の延長上に前述した注目点Ｒ1が位置することになるので、この注目点Ｒ1の座標位置も射影平面幾何学的に求めることができる。第２カメラ側では第２撮像面Ａ2で前記仮想線Ｌを捉えることができるので、簡単に第１仮想点Ｓと第２仮想点Ｔの座標位置、その結果としての仮想線Ｌの第２撮像面Ａ2上の仮想線像Ｌ2が算出できる。

図２に示すように、注目点Ｒに関して、第１撮像面Ａ1の拡張撮像面Ｂでの座標位置と第２撮像面Ａ2での座標位置が算出されると、この注目点Ｒ1とＲ2を一致させるように第１撮像面Ａ1の画像と第２撮像面Ａ2の画像を合成することができる。この合成画像は注目点Ｒを合成基準として合成されたものであることから、合成画像における第１カメラ１による撮影画像部分と第２カメラ２の撮影画像部分が少なくとも注目点Ｒに関して、距離的かつ方向的に違和感ないものとなる。

その際、さらに、第１撮像面Ａ1における注目点Ｒ1からの仮想線の方向を規定している線像Ｌ1と第２撮像面Ａ2における注目点Ｒ2からの仮想線の方向を規定している線像Ｌ2とが一直線上に並ぶように、第１撮像面Ａ1の画像又は第２撮像面Ａ2からの画像あるいはその両方が画像回転され、その後に画像合成されるならば、つまり第１撮像面Ａ1における画像である第１画像の仮想線と第２撮像面Ａ2における画像である第２画像の仮想線の方向が一致するように、第１画像と第２画像の少なくとも一方を画像回転させるならば、さらに距離的かつ方向的に違和感ない注目点を中心とする車両周囲のモニタ監視が実現する。

上述した本発明による周辺監視システムの原理を用いた適用例として、フロントグリル中央に第１カメラ１を取り付け、左ドアミラーに第２カメラ２を取り付け、これらの第１カメラ１からの第１画像と第２カメラ２からの第２画像を合成してモニタ表示する乗用車用の周辺監視システムを実施形態の１つとして以下に説明する。

この乗用車は、図３〜図５に示すように、前車輪３１及び後車輪３２によって支持された車両ボディＢのルーム内に運転座席３３とステアリングハンドル３４を備え、その前部にメータ類を有したパネル３５が配置されている。ステアリングハンドル３４は回転操作力を前車輪３１に伝えるステアリング操作系と連動している。図面には示していないが、車体前部に配置したエンジンからの動力を前車輪３１と後車輪３２との少なくとも一方に伝えるトルクコンバータ等の変速機構をボディＢの中央部近くに配置しており、この変速機構を制御するシフトレバー３６は運転座席３３の側部に配置されている。運転座席３３の近傍のコンソールの上部位置には表示面にタッチパネル１１を形成したモニタ１０が備えられている。ステアリングハンドル３４の操作系にはステアリング操作方向と操作量とを計測するステアリングセンサ４１が備えられ、シフトレバー３６の操作系にはシフト位置を判別するシフト位置センサ４２が備えられている。前記変速機構には駆動系の回転量から車体Ｂの移動量を計測する移動距離センサ４３も備えられている。尚、この移動距離センサ４３として、前車輪３１と後車輪３２との少なくとも一方の回転量を計測するフォトインタラプタ型やピックアップ型のセンサを用いても良い。
フロントグリル中央の第１カメラ１と左ドアミラーの第２カメラ２に加えてこの乗用車にはボディＢの後部にリヤカメラ３も取り付けられている。これらのカメラによって取得された画像を表示するモニタ１０は、バックライトを備えた液晶式のものであるが、プラズマ表示型のものやＣＲＴ型のものであっても良い。また、タッチパネル１１は、感圧式のものや静電式のものが使用され、指等の接触位置をロケイトデータとして出力する。尚、このモニタ１０はＧＰＳ型のナビゲータとして用いるものを兼用しても良い。

各カメラ１、２、３はその撮像面にＣＣＤ型の撮像素子を備え、撮影した情報を動画情報（以下単に画像と称する）として出力する。この実施形態では、前述した注目点Ｒとしてバンパーと車幅ラインの交点で決定される車両端点Ｅが選ばれているので、第１カメラ１はボディＢの前方の地面を主な撮影領域として水平線も含まれる撮影角度に設定され、第２カメラ２はドアミラーから前車輪３１の接地点を含む前方の地面を主な撮影領域として車両端点Ｅがほぼ撮影中心になる撮影角度に設定されている。リヤカメラ３は車体Ｂの後方の地面を主な撮影領域に設定している。尚、それぞれのカメラにはほぼ１８０度に近い画角を有する広角レンズが装着されている。

上述した、タッチパネル１１、第１カメラ１、第２カメラ２、リヤカメラ３、ステアリングセンサ４１、シフト位置センサ４２、移動距離センサ４３等からの信号を入力するとともに処理された信号、例えば画像信号をモニタ１０に出力するコントローラ２０が車内に配置されている。コントローラ２０は、ＣＰＵを中核部材として、車両走行時の運転者支援のための種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図６に示されているように、本発明に特に関係する機能部としては、複数の車載カメラからの画像信号を選択・振り分けするセレクタ２１、セレクタ２１を介して送られてきた第１カメラ１と第２カメラ２の画像を合成する画像合成部２２と、画像合成部２２における画像合成の際の合成基準となる合成基準点、つまり図１を用いて説明された原理における注目点Ｒのそれぞれの画像における座標点を設定している画像合成基準点設定部２３と、注目点Ｒの軌跡線や運転支援のための種々の文字・記号などのグラフィック画像を生成するグラフィック画像生成部２４と、セレクタ２１又は画像合成部２２から出力される画像信号から同期信号を抽出してグラフィック画像生成部２４に供給する同期分離部２５と、セレクタ２１又は画像合成部２２から出力される画像にグラフィック画像生成部２４から出力されるグラフィック画像を重ね合わせるスーパーインポーズ部２６などが挙げられる。

画像合成部２２は、図１を用いて説明した本発明による２つのカメラからの画像を合成する原理をそのまま採用しており、ここでは、注目点Ｒがバンパーと車幅ラインの交点で決定される車両端点Ｅであるので、注目点Ｒが第１カメラ１の後方で第２カメラ２との間に位置している。このため、注目点Ｒである車両端点Ｅは第１カメラ１には直接撮影されず、第２カメラ２によってのみ撮影される。また、グラフィック画像生成部２４は左側の車両端点Ｅのみならず右側の車両端点の車両前進時の軌跡線を生成するように構成されているので、第１カメラ１からの画像に重ね合わせてモニタ１０に表示される。第１カメラ１からの画像に車両端点Ｅの軌跡線を重ね合わせてモニタ１０に表示された例が図７に示されている。この図７から明らかなように、車両端点Ｅの軌跡線はモニタ画面下部のマスク領域の所定の始点から延びているが、このマスク領域が前述した原理説明図における拡張撮像面Ｂに対応するものであり、拡張撮像面Ｂにおける注目点Ｒの座標位置がこの軌跡線の始点となっている。第２カメラ２からの画像がモニタ１０に表示された例が図８に示されている。この図８から明らかなように、モニタ画面のほぼ中央に注目点Ｒとしての左側の車両端点Ｅがボディ側部及び車両側方と前方の路面とともに映し出されている。

画像合成部２２は、画像合成基準点設定部２３からの注目点Ｒの設定情報に基づいて、第１カメラ１からの画像（図７）と第２カメラ２からの画像（図８）を互いの注目点Ｒ（車両端点Ｅ）の像が一致するように合成し、モニタ１０に表示させる。その合成画像が図９に示されている。図９では、周辺監視の意図から、第２カメラ２で撮影されているボディ領域のうち車両端点Ｅの周辺部以外はマスキングされている。図９に示されたモニタ画面から、車両端点Ｅの予定軌跡線と運転者から死角となっている車両端点Ｅの周辺の路面が一つの画面で違和感なく写し出されていることが理解できる。

第１カメラ１と第２カメラ２の両者が広角レンズを装着しており、非常に広い範囲の撮影が可能であることから、実際にモニタ１０に表示される際には、トリミングされた形で表示されている。このため、元々撮影され合成された画像の全体を確認できるように、モニタ１０の画面を、少なくとも左右方向にスクロール可能にする実施形態も好都合である。

図９からも理解できるように、第１カメラ１と第２カメラ２の光学中心軸の違いから、車両走行時の合成画像において地面の流れる方向が第１カメラ１からのう画像領域と第２カメラ２からの画像領域では少し異なっており、地面の流れがその境界で屈曲する形態となる。この問題を避けるためには、画像合成部２２に画像回転部２２ａを実装して、画像合成時に第２カメラ２からの画像を互いの注目点軌跡線が一直線になるように画像回転させるとよい。つまり、第１画像の仮想線と第２画像の仮想線をモニタ上に重畳表示する場合、第１画像の仮想線と第２画像の仮想線の方向を一致させるように、第１画像と第２画像の少なくとも一方を画像回転させるのである。そのような別実施形態における合成画像の一例が図１０に示されている。

モニタ１０には、図７〜図９で示したような表示パターン以外にリヤカメラ３からの画像もセレクタ２１の制御により選択的に表示される。このセレクタ２１の制御はシフト位置センサ４２や車速センサなどの走行情報に基づいて自動的に行う方法のほか、タッチパネル１１を用いたマニュアルによる強制的な方法も可能である。また、このセレクタ２１の機能を用いて、注目点の選択を車両の走行状態に基づいて自動的に行うようにすることも好ましい実施形態の１つとなる。

上述した実施形態の説明では、第１カメラ１からの画像と第２カメラ２からの画像の合成画像のみを取り扱っていたが、第１カメラ２の画像とリヤカメラ３の画像との合成画像を同様な方法で生成して、モニタ１０に表示する実施形態も可能である。第１カメラ１として左ドアミラーに取り付けられたカメラだけではなく右ドアミラーに取り付けられたカメラも含ませ、２つの注目点を定義して、３つの画像を同様な原理に基づいて合成することも本発明の範囲内である。また、第１カメラや第２カメラの配置と注目点の定義は、上述した例に限定されることはない。特に、注目点を予め複数定義しておいて、自由に選択できるような構成も好都合である。

本発明による周辺監視システムの原理を説明する説明図本発明による周辺監視システムにおける別な画像合成を示す説明図本発明による周辺監視システムの第１実施形態を採用した乗用車の部分断面外観図図３による乗用車のフロントグリル部を示す模式図図３による乗用車の運転部を示す模式図コントローラの機能ブロック図第１カメラからの画像を示すモニタ画面図第２カメラからの画像を示すモニタ画面図第１カメラと第２カメラからの画像の合成画像を示すモニタ画面図合成画像の別形態を示すモニタ画面図

符号の説明

１：第１カメラ
２：第２カメラ
１０：モニタ
２０：コントローラ
２２：画像合成部
２２ａ：画像回転部
２３：画像合成基準点設定部
Ａ1：第１撮像面
Ａ1：第１撮像面
Ｂ：拡張撮像面
Ｃ：光学中心
Ｅ：車両端点
Ｒ：注目点

Claims

車両の異なる位置に搭載された第１撮像面を有する第１カメラと第２撮像面を有する第２カメラ、及び前記第１撮像面からの第１画像と前記第２撮像面からの第２画像とを表示するモニタを備えた周辺監視システムにおいて、
前記第２撮像面上で結像して前記第１撮像面上で結像しない、前記車両に対して定めた注目点を設定し、
かつ前記第１撮像面を含む撮像面であって、前記第１撮像面を前記注目点の座標位置が入るように拡張した撮像面である拡張撮像面における前記注目点の座標位置と、前記第２撮像面での前記注目点の座標位置とが一致するように前記第１画像と前記第２画像が合成され、前記第１画像と前記第２画像にまたがる前記注目点を含む仮想線が前記モニタに重畳表示される周辺監視システム。
前記注目点がバンパーと車幅ラインの交点で決定される車両端点であり、前記注目点の仮想線が車両走行における前記注目点の軌跡である請求項１記載の周辺監視システム。
前記仮想線は前記第１画像の仮想線と前記第２画像の仮想線を有し、前記モニタ上に重畳表示される場合、前記両仮想線の方向を一致させるため、前記第１画像と前記第２画像の少なくとも一方を画像回転させる請求項１に記載の周辺監視システム
前記第１画像と前記第２画像との合成画像の一部が前記モニタに表示されており、前記合成画像の全体を順次表示するために前記モニタの画面は少なくとも左右方向にスクロール可能である請求項１から３のいずれか一項に記載の周辺監視システム。
前記車両に対する前記注目点の位置は選択可能である請求項１から４のいずれか一項に記載の周辺監視システム。
前記注目点の選択は、車両の走行状態に基づいて自動的に行われる請求項５に記載の周辺監視システム。