JP4893945B2 - 車両周辺監視装置 - Google Patents

Description

この発明は、車両周辺監視装置に関する。

再公表特許ＷＯ００／６４７１５公報 特開２００３−３１２４１５号公報 特開２００５−５９７８号公報 特開２００２−２３２９４８号公報 特開２００６−１０７５２１号公報 特開２００６−２８２１１１号公報

特許文献１には、自車に搭載された複数のカメラにより当該自車の周囲を種々のアングルにて画像撮影し、それら画像を視点変換しつつ合成して、該自車及びその周囲の俯瞰画像を作成し、表示する装置が開示されている。また、特許文献２〜５には、この技術を応用し、上記俯瞰画像により走行中の自車周囲の他車存在状況をモニタリングするようにした監視装置が開示されている。

上記特許文献２〜５に開示された監視装置では、俯瞰画像作成に使用する撮影装置が自車搭載のカメラだけであり、自車直近の他車存在状況は比較的把握しやすいが、遠方に存在する他車に関しては、撮影視野上での画像寸法が非常に小さくなるため、表示精度が著しく低下する問題がある。特に、遠方から高速で接近してくる他車は、自車まで到達する時間距離で見た場合、比較的短時間のうちに警戒対象となるにも拘わらず、俯瞰画像上で確実に特定できるタイミングが遅れざるを得ない問題がある。

本発明の課題は、遠方に存在する他車も俯瞰画像により直感的に把握しやすい形態で確実に表示することができ、ひいてはより広域的な自車周囲の監視情報を高精度でかつ理解しやすい形で得ることができる車両周辺監視装置を提供することにある。

課題を解決するための手段及び発明の効果

本発明の車両周辺監視装置は、上記の課題を解決するために、
走行中の道路上にて自車の周囲に配置された車外撮影手段から、当該自車の周囲を走行中の他車を含む路上撮影画像を取得する路上撮影画像取得手段と、
車外撮影手段が撮影する撮影視野の異なる複数の路上撮影画像に基づいて、自車の周囲領域を該自車よりも上方に位置する視点から俯瞰した自車周囲俯瞰画像を、路上撮影画像を視点変換しつつ実画像として合成することにより作成する自車周囲俯瞰画像作成手段と、
車室内に設けられ、自車周囲俯瞰画像を自車位置が特定可能な形で表示する自車周囲俯瞰画像表示手段と、を備えたことを特徴とする。

上記本発明の周辺監視装置によると、自車が走行中の道路上にて、該自車の周囲に（自車から分離して）配置された車外撮影手段から、自車の周囲を走行中の他車を含む路上撮影画像を取得し、それに基づいて自車周囲俯瞰画像を作成するようにしたので、撮影手段の配設位置が自車位置に限定されず、遠方に存在する他車であっても当該他車を特定する上で十分な精度を有した画像を容易に取得できる。また、撮影手段の視野設定も自由度が高く、自車搭載の撮影手段では撮影が困難なアングルの画像も取得可能な利点もある。

ただし、自車直近の周囲画像の取得に関しては、自車位置に対しリアルタイムに位置追従する自車搭載の撮影手段を用いること、すなわち、当該自車の周囲を撮影する自車側周囲撮影手段を搭載しておくことが望ましい。この場合、自車周囲俯瞰画像作成手段は、該自車側周囲撮影手段による撮影画像と車外撮影手段による撮影画像との双方に基づいて、自車周囲俯瞰画像を作成するものとされる。これにより、自車側周囲撮影手段による自車直近の周囲画像に対し、車外撮影手段による遠方画像が補われ、自車の近傍と遠方とのいずれにおいても他車の存在を正確に特定することができる。

この場合、車外撮影手段は、自車側周囲撮影手段の撮影視野よりも自車の走行方向前方もしくは後方に離間した遠方視野の撮影画像を撮影するものとすることができる。自車周囲俯瞰画像作成手段は、該自車側周囲撮影手段による撮影画像に対し車外撮影手段の撮影画像を、自車の走行方向前方もしくは後方にて自車からの距離が一定以上離間した位置に補う形で、自車周囲俯瞰画像を作成するものとして構成できる。自車の後方又は前方の遠くを走行する他車は、自車との相対速度によっては遠方の割に短時間で自車周囲の警戒領域内に入り込んでくる可能性がある。しかし、担自車側周囲撮影手段では仮にその視野に写り込んでも像寸法が小さく、正確な特定に支障を来たす場合がある。そこで、上記のごとく、車外撮影手段により、自車の走行方向前方もしくは後方に離間した遠方視野の撮影画像を撮影し、その撮影画像を、自車の走行方向前方もしくは後方にて自車からの距離が一定以上離間した位置に補う形で自車周囲俯瞰画像を作成することで、前方又は離れた位置を走行中の他車の自車との接近状況を、その自車周囲俯瞰画像によりいち早く把握することができる。この場合、自車周囲俯瞰画像作成手段は、自車走行レーン又は該自車走行レーンの隣のレーンにて、自車の車長以上離れて該自車の後方を走行中の他車画像が包含されるように、自車周囲俯瞰画像を作成することが、前方又は後方の遠方車両への注意喚起効果を高める上で好都合である（上限については特に制限はないが、例えば自車車長の１０倍以下の範囲にて定めることができる）。

車外撮影手段は、走行中の道路上に予め定められた間隔にて複数設置された路車間カメラとすることができる。路上撮影画像取得手段は、複数の路車間カメラのうち、走行中の自車位置から予め定められた距離内にあるものの路上撮影画像を、自車周囲俯瞰画像作成用に取得するよう構成できる。道路に沿って所定間隔で配置された路車間カメラ群により、自車及びその周辺及び前後の他車を確実に検出することができる。一方、車外撮影手段は、自車の周囲を走行中の他車に搭載された車上搭載カメラとすることができる。路上撮影画像取得手段は、走行中の自車位置から予め定められた距離内を走行する他車の車上搭載カメラによる路上撮影画像を、自車周囲俯瞰画像作成用に取得するように構成することができる。後者の方式であれば、路車間カメラが存在しない道路区間であっても、他車の車上搭載カメラを用いて自車の遠方の路上撮影画像を取得することができる。

次に、本発明の車両周辺監視装置には、自車周囲俯瞰画像上にて他車画像を特定する他車画像特定手段と、自車の周囲に存在する他車までの距離を特定する他車距離特定手段と、自車周囲俯瞰画像上にて、特定された距離の情報を、対応する他車画像が特定可能な状態で出力する他車距離情報出力手段とを設けることができる。これにより、作成された自車周囲俯瞰画像上に他車画像が存在する場合、当該の他車までの距離を容易に把握することができ、自車走行の参考にすることができる。

上記他車までの距離は、自車周囲俯瞰画像上での自車画像と他車画像との相対距離にて特定してもよいが、他車距離特定手段を、自車周囲俯瞰画像の作成に必要な画像取得手段とは別に自車に設けられた、他車までの距離を測定する距離測定手段とすることで、上記他車までの距離をより正確にかつ迅速に特定することができる。この場合、さらに進んだ構成として、以下のようなものを例示できる。すなわち、他車距離特定手段は、自車と他車との距離情報とともに、自車から見た他車の存在方向情報を取得するものとする。また、上記の距離情報と存在方向情報とに基づいて、自車周囲における他車のマッピング情報を作成する他車マッピング情報作成手段を設ける。他車画像特定手段は、作成された他車のマッピング情報を参照して、自車周囲俯瞰画像上における他車画像の特定結果を補正するものとする。すなわち、他車までの距離及び方向に係る直接的な情報を他車距離特定手段により取得してマッピングすることにより、路上撮影画像上で特定精度の低い他車画像についても、自車周囲俯瞰画像上に表示を表示するか否か、表示する場合は自車との距離及び方向について、より正確な判断を行なうことができる。距離測定手段は例えばレーダー測距装置にて構成することができ、他車までの距離及び方向を高精度にて特定できる。

他車距離情報出力手段は、距離に応じて互いに異なる表示状態となるように、自車周囲俯瞰画像上の対応する他車画像をマーキングする他車画像マーキング手段を備えるものとして構成できる。自車周囲俯瞰画像上の他車画像の視覚的マーキング状態により、当該他車までの距離を直感的に把握することができる。この場合、他車画像マーキング手段は、距離に応じて互いに異なる色彩にて他車画像をマーキングするものとできる。他車画像のマーキングの色彩により、自車への接近状態を極めて容易に把握することができる。他車画像マーキング手段は、例えば、他車画像をその輪郭に沿って縁取りするマーキング枠を、距離に応じて互いに異なる表示状態となるように表示するものとすることができる。縁取りの有無及び種別により、自車と他車（あるいは注意対象となる他車と、そうでない他車）との視覚的識別をより容易に行なうことができ、かつマーキング枠の表示状態により距離の情報も迅速に把握できる。

自車と他車との距離に関しては、他車距離特定手段が特定する距離が予め定められた警告距離未満となった他車が自車周囲俯瞰画像上に存在する場合に、警告情報を出力する警告情報出力手段を設けておくと、警告距離内に接近してきた他車の存在認識を運転者にタイムリーに促すことができる。

また、自車の後方に位置する他車の場合、高速で自車に接近してくるものについてのみ、同一レーンの場合は上記他車への進路の譲り渡し、隣接他レーンの場合は自車の当該レーンへのレーン変更抑制について適切に配慮を促すことが望ましい。この場合、該自車への相対接近速度を特定する相対接近速度特定手段を設け、該相対接近速度が予め定められた正の警告接近速度を超える他車が自車周囲俯瞰画像上に存在する場合に、警告情報を出力する警告情報出力手段を設けておくとよい。このようにすると、相対接近速度が正の警告接近速度を超える他車への認識を運転者に促すための警告を適切に行なうことができる。

後続の他車は、自車と同程度の速度で追随走行してくるものは、多少距離が近くともそれほど危険性はないし、逆に猛スピードで距離を詰めてくる車については、距離が離れていても十分な注意を払わなければならない。このことは、つまるところ、自車に追いつくまでの時間距離の小さい他車ほど警戒の度合いを高めなければならないことを意味し、単純に距離のみあるいは速度のみでは正確な判断ができない場合がある。そこで、他車距離特定手段が特定する距離と、相対接近速度特定手段が特定する相対接近速度とに基づいて、自車の後方に位置する他車が該自車に到達するまでの時間を反映した到達時間距離情報を算出する到達時間距離情報算出手段と、到達時間距離が予め定められた警告時間距離未満となる他車が自車周囲俯瞰画像上に存在する場合に、警告情報を出力する警告情報出力手段とを設けることで、速度と距離との双方を加味した形で他車への警告情報を適切に出力することができるようになる。なお、本明細書において単に「距離」と称する場合、上記の到達時間距離も広義にその概念に含まれるものとする。また、到達時間距離は、他車と自車との相対接近速度を反映したパラメータでもある。

警告情報出力手段は、自車周囲俯瞰画像上の警告対象となる他車画像を、それ以外の他車画像と識別可能となるようにマーキングする他車画像警告マーキング手段を備えるものとすることができる。これにより、自車周囲俯瞰画像上の他車画像のうち、警告対象となるものとそのマーキング状態により迅速かつ容易に識別することができる。他車画像警告マーキング手段は、具体的には、予め定められた警告色（例えば、赤や黄色）にて警告対象となる他車画像をマーキングすることが有効である。

警告情報出力手段は、警告情報を音声出力する警告情報音声出力手段を併用するとより効果的である。すなわち、運転者が前方視界を凝視している場合など、自車周囲俯瞰画像から目を離している状況下で警告対象となる他車が現われた場合、警告情報の音声出力により直ちに注意を促すことができ、運転者に自車周囲俯瞰画像を用いて警告対象他車の走行状況をいち早く把握することが可能となる。

なお、自車周囲俯瞰画像作成手段は、自車周囲俯瞰画像の一部を路上撮影画像に由来しない代用画像として作成することも可能であり、自車周囲俯瞰画像を作成するための実画像処理の負荷を軽減することができる。特に、自車の実画像は俯瞰画像に表示するべき全体画像を、自車搭載の撮影手段では取得しにくい事情があり、これを代用画像とすることは有効である。

以下、本発明の実施の形態を、図面を参照して説明する。
図１は、本発明の車両周辺監視装置の、その電気的構成の一例を示すブロック図である。車両周辺監視装置１の制御主体はＥＣＵであり、本実施形態では互いにネットワーク接続された画像ＥＣＵ５０、危険度推定ＥＣＵ７０及び警告出力制御ＥＣＵ９０にて構成されている。各ＥＣＵ５０，７０，９０は、いずれもＣＰＵと、該ＣＰＵが実行するソフトウェアを格納したＲＯＭ、ワークメモリをなすＲＡＭさらには入出力部などがバス接続された周知のマイコンハードウェアを主体とするものである。

画像ＥＣＵ５０には、車載カメラ群１１が接続されている。また、無線送受信部からなる路車間通信部２０も図示しない通信インターフェースを介して接続されている。さらに、画像ＥＣＵ５０には、レーダー３及び自車位置特定用のＧＰＳ４も各々接続されている。また、画像ＥＣＵ５０には、他車情報マッピング部５２と俯瞰図作成部５１とが、それぞれ対応するソフトウェアによる機能実現手段として構築されている。路車間通信部２０からの画像データ及び位置データと、車載カメラ群１１の画像データは俯瞰図作成部５１に受け渡され、図１１に示すような自車周囲俯瞰画像３０が作成される。また、レーダー３による他車検出データ及びＧＰＳ４による自車位置データとは他車情報マッピング部５２に受け渡される。また、車速センサ７６からの車速データに他車情報マッピング部５２に受け渡される。

次に、危険度推定ＥＣＵ７０には、運転者の顔を撮影する車室内カメラ７３及び運転者の種々の生態情報を取得する生体センサ群（例えば、サーモグラフィー撮影装置、体温センサ、発汗センサ、皮膚抵抗センサ、心拍センサなど）７４が接続されている。また、他車からの画像データや位置データ等を無線取得するための車々間通信部７５も通信インターフェースを介して接続されている。また、危険度推定ＥＣＵ７０、接近度特定エンジン７２と危険度推定エンジン７１とが、それぞれ対応するソフトウェアによる機能実現手段として構築されている。これは運転者の生体状態（例えば、疲労や眠気など）により、危険判定するための他車との閾距離を変更するなど、距離的な要素と、運転者状態の要素との双方を危険度推定に考慮するためである。

そして、前述のレーダー３あるいは車々間通信部７５からの他車の距離、方向及び速度の情報と、車速センサ７６による自車の速度情報とが、接近度特定エンジン７２に受け渡される。また、車室内カメラ７３からの画像データと、生体センサ群７４からの生体状態検出情報とは危険度推定エンジン７１に受け渡される。

次に、警告出力制御ＥＣＵ９０には、画像ドライバ９２、音声ドライバ９３及び振動ドライバ９４がそれぞれ接続されている。また、警告内容決定部９１が対応するソフトウェアによる機能実現手段として構築されている。画像ＥＣＵ５０からの自車周囲俯瞰画像３０はこの警告内容決定部９１に受け渡される。また、危険度推定ＥＣＵ７０からの危険度推定エンジン７１からは、接近他車に対する危険度推定結果も警告内容決定部９１に受け渡される。警告内容決定部９１は、その危険度推定結果を参照し、警告のための他車画像のマーキング処理を行なうとともに、音声出力データないし振動出力の制御データを作成し、画像ドライバ９２、音声ドライバ９３及び振動ドライバ９４にそれぞれ受け渡す。

警告マーキング等の施された自車周囲俯瞰画像３０は、画像ドライバ９２に接続されたモニタ９５に出力される。該モニタ９５は、例えば図１１に示すように、カーナビゲーションシステム２００あるいはＡＶユニットの表示用モニタ（自動車のインパネ中央あるいはセンターコンソール部がその配設位置となる）が流用できるほか、図１４に示すように、走行用メータ３００に組み込むことも可能である。なお、図１１においては、車載カメラ群１１による撮影画像を視点変換せずに組み合わせたバックモニタ画像２１２’も同じ画面上に出力するようにしている。

また、音声出力データによる警告音声は、音声ドライバ９３に接続されたスピーカ９６（ＡＶユニットのスピーカシステムを流用できる）から出力される。また、振動出力の制御データを受け取った振動ドライバ９４は、これに接続されている振動部９７を振動駆動する。振動部９７は、例えばハンドル１００やシート１１０（シートバック部あるいは座部）に組み込まれ、運転者に警告振動を直接伝達することで警告認知あるいは覚醒を促す働きをなす。

次に、車載カメラ群１１は、自車１２の周囲を撮影する自車側周囲撮影手段を構成するものであり、自車周囲直近の路上画像を、該自車周囲に沿って互いに視野が連続する複数台のカメラにて撮影するものである。図２はその搭載例を示すものであり、８台のカメラ１１ａ〜１１ｈを自動車（自車）１２の車体に設けた構成としている。それぞれは、前方右側カメラ１１ａ、前方左側カメラ１１ｂ、後方右側カメラ１１ｃ、後方左側カメラ１１ｄ、右側方前方向カメラ１１ｅ、右側方後ろ方向カメラ１１ｆ、左側方前方向カメラ１１ｇ、左側方後ろ方向カメラ１１ｈである。

例えば、右側方前方向カメラ１１ｅでは、自車１２の車体右側方前方を視野Ｖａとして撮影するように配置されており、右前方を走行する他車１３ａなどを自車１２の車体の一部を含んだ画像として撮影することができる。また、同様に、右側方後ろ方向カメラ１１ｆでは、右後方を視野Ｖｂとして撮影するように配置され、右後方を走行する他車１３ｂなどを自車１２の車体の一部を含んだ画像として撮影することができる。また、残余のカメラにより、同様にして前方を走行する他車１３ｃや左側方を走行する他車１３ｄなども画像として撮影することができる。これら８台のカメラ１１ａ〜１１ｈにより撮影して得られた路上撮影画像は、各々自車１２の上方（例えば真上）に設定された仮想視点からの俯瞰画像となるよう各々３次元変換されるとともに、隣接する路上撮影画像の重なりを考慮して、自車周囲を取り囲むように切れ目なく統合され、自車周囲俯瞰画像３０とされる。その視点変換ないし統合方法に関しては、特許文献１を始めとする多数の文献に詳細に開示されており、周知であるため詳細な説明は省略する。なおカメラ１１の台数は上記より減ずること（例えば前後左右の４台とするなど）ももちろん可能である。

次に、図１のレーダー３は、レーザやミリ波を用いて前方車両との車間距離や前方車両の速度を測定するＡＣＣレーダーとして構成され、上記したカメラ１１ａ〜１１ｄに付随して設けられており、前方右側、前方左側、後方右側、後方左側のそれぞれの方向に対して測定対象物までの距離あるいは速度を測定する。また、車車間通信部７５は、自車の周囲に存在する他車と直接通信を行ない、周囲車両情報（車両サイズ、速度、ブレーキ、アクセル、位置座標、車種、型番）の送受信を行なうように構成されている。

以下、図３を用いて、周囲車両の位置（距離、方向）を求める方法について説明する。まず、周囲車両との距離の測定においては、自車１２の車車間通信部７５の送信電力を定期的に変更し、どの電力レベルで送信が行なえなくなったかを測定することで、対応する距離を概略的に測定することができる。このとき、正確な測定距離を測るために、例えば前方車両と通信を行なう場合は、車車間通信部７５を後方のランプの中央に設置する。このようにすると、レーザ方式のＡＣＣレーダー３の距離測定結果と車車間通信の結果をマッチングさせることが容易になる。ＡＣＣレーダー３と車車間通信部７５とを比較すると、ＡＣＣレーダー３の方が測定可能な距離が長いので、これを利用して、通常はＡＣＣレーダー３で車車間通信を行なう場合の距離と方向を設定して、目標を定めておいて車車間通信を行なうようにする。つまり、車車間通信部７５の送信電力と通信方向を設定することができる。

次に、図４に示すように、走行中の道路２０上には撮影インフラとして、複数の路車間カメラ２１が、該道路２０に沿って予め定められた間隔にて設置されている。図４に示す道路２０は複数のレーン２０ａ，２０ｂ（符号２０ｃ、２０ｄは反対方向レーンである）を有しており、路上撮影画像が個別に撮影できるよう、個々のレーン毎に路車間カメラ２１が設置されている。路車間カメラ２１は、路側フェンスやガードレールなどに取り付けて、走行車両を側方前方から撮影するように構成してもよいし、支柱に取り付けて走行車両を上方から撮影するようにしてもよい。また、路車間カメラ２１には道路側通信部３２１も設けられており、路車間カメラ２１が撮影した路上画像データを、撮影位置を示す情報とともに車両側の路車間通信部２０へ送信するようになっている。

上記複数の路車間カメラ２１は、走行中の道路２０上にて自車１２の周囲に配置された車外撮影手段２１を構成するものであり、当該自車１２の周囲を走行中の他車１３を含む路上撮影画像、具体的には、自車の車載カメラ群１１（自車側周囲撮影手段）の撮影視野よりも自車１２の走行方向前方もしくは後方に離間した遠方視野の撮影画像を撮影するものである。自車１２側では前述のＧＰＳ等により自車位置を随時把握しており、道路側通信部３２１から送信されてくる各路車間カメラ２１の位置情報により、自車の現在位置に対し、前後一定距離内に配置されている路車間カメラ２１を特定して、それらカメラ１２が撮影する路上撮影画像データのフレームを路車間通信部２０により選択的に受信する。受信したそれら路上撮影画像データは、車載カメラ群１１による撮影画像と同様に俯瞰図作成部５１にて視点変換され、図１１に示すように、車載カメラ群１１による撮影画像２５１に対し路車間カメラ２１（車外撮影手段）による撮影画像２５２を、自車１２の走行方向前方ないし後方にて自車１２からの距離が一定以上離間した位置に補う形で、自車周囲俯瞰画像３０に組み込む処理を行なう。自車周囲俯瞰画像３０は、具体的には、自車走行レーン２０ｂ又は該自車走行レーン２０ｂの隣のレーン２０ａにて、自車１２の車長以上離れて、該自車１２の後方（又は前方）を走行中の他車画像２１３が包含されるように作成される。

なお、図４において、自車１２の周囲を走行中の他車１３に搭載された車上搭載カメラ１１’も前述の車載カメラ群１１と同様に構成されてなり、その撮影画像も、自車周囲俯瞰画像３０に組み込むための路上撮影画像として、車々間通信部７５を介して取得可能である。

以下、車両周辺監視装置１の動作について、フローチャートに基づいて説明する。図５は、３つのＥＣＵ５０，７０，９０が連携して実行する主処理の流れを示すものである。Ｓ１は画像ＥＣＵ５０による自車周囲俯瞰画像の作成処理であり、Ｓ２はこれと並列に実行される危険度推定ＥＣＵ７０による危険度推定処理である。そして、Ｓ３及びＳ４は、上記自車周囲俯瞰画像３０上の他車の存在状況と、Ｓ２の危険度推定結果とを受けて実行される、警告出力制御ＥＣＵ９０による警告内容決定処理及び警告出力処理である。この主処理は、処理結果を更新しつつ、所定の時間間隔にて繰り返し実行されるものである。なお、より大規模なＥＣＵが採用できる場合は、上記全体処理を１つのＥＣＵにて統合的に実施することももちろん可能である。

図６は、自車周囲俯瞰画像の作成処理（Ｓ１）の詳細を示すものである。まず、路上撮影画像を取得する前に、他車情報マッピング部５２（図１）での処理により、Ｓ１１にて前述の各レーダー３（他車距離特定手段）による他車の検出情報を取得し、Ｓ１２にてこれを解析することにより、自車１２と他車１３との距離情報と自車１２から見た他車１３の存在方向の情報とを取得する。そして、Ｓ１３では、上記の距離情報と存在方向情報とに基づいて、自車１２周囲における他車１３のマッピング情報を作成する。具体的には、自車位置を原点として路面と平行に定められた座標平面上に、距離情報を動径とし、方向情報を該動径の変位角とする極座標の形で、検出された各他車の位置をプロット（マッピング）することができる。

次に、Ｓ１４に進み、車載カメラ群１１の撮影画像、道路側通信部３２１から送られてくる路車間カメラ２１の撮影画像、さらには、自車１２の周囲を走行中の他車１３から送られてくる、その車上搭載カメラ１１’の撮影画像を取得し、周知の視点変換処理を行なう。そして、Ｓ１５にて、その視点変換された各撮影画像上で他車とおぼしき像を周知の画像解析方法により抽出する。そして、他車画像が存在していれば、Ｓ１６にて、各カメラによる撮影方向及び視野を考慮して、抽出された上記他車画像の自車周囲の存在位置を特定し、前述の他車位置のマッピング結果と照合する。Ｓ１７では、視点変換後の各画像を自車周囲俯瞰画像３０として合成しつつ、上記マッピング結果に一致した他車画像のみを、実際に存在する他車画像として該自車周囲俯瞰画像３０上に表示する。

図７は、路車間カメラ２１を利用する場合の、自車周囲俯瞰画像作成処理の流れの一例を示す。まず、Ｓ５１では、自車１２に搭載された車載カメラ群（車上搭載カメラ）１１との位置合わせ用に、自車１２を含む位置に存在する路車間カメラ（１）の画像を取得し、俯瞰図に視点変換する（この俯瞰図には自車１２の画像が必ず表れる：なお、視点は自車直上（すなわち平面視）とする）。次に、自車１２の前方ないし後方に離間した視野（ただし、路車間カメラ（１）の視野につながるように定める）を撮影する路車間カメラ（２）の撮影画像を取得し、俯瞰図に視点変換する。Ｓ５３では、路車間カメラ（１）（２）の俯瞰図を合成し、合成画像Ａとする。

続いて、Ｓ５４では、車載カメラ群１１の各撮影画像を各々俯瞰図に視点変換して合成し、合成画像Ｂとする。車載カメラ群１１による撮影画像及びその合成画像Ｂには、自車１２の画像が部分的に現れない。そこで、Ｓ５５では、自車１２が写り込んでいる合成画像Ａに対し、合成画像Ｂ上の自車１２の部分画像を位置合わせ（マッチング）し、Ｓ５６で両者を合成・結合するとともに、前述のマッピング結果に一致した他車画像のみを反映させる形で、最終的な自車周囲俯瞰画像３０が完成する（Ｓ５７）。これにより、自車１２の画像も、路車間カメラ（１）の撮影画像により実画像として自車周囲俯瞰画像３０に取り込むことができる。ただし、自車１２の画像は、予め用意されている車両の代用画像として、これを自車周囲俯瞰画像３０にはめ込み合成するようにしてもよい。

図８は、他車の車上搭載カメラ１１’を利用する場合の処理の流れを示すものである。Ｓ６１では、自車１２の車載カメラ群１１の各撮影画像を取得し、Ｓ６２で各々俯瞰図に視点変換する。ついで、Ｓ６３では、レーダ−３にて発見した周辺他車と車々間通信を行ない、その他車１３の車載カメラ群１１の撮影画像を、他車１３側で予め平面視状態に視点変換されたものとして取得する。Ｓ６４では、自車１２の車載カメラ群１１による俯瞰図と、他車１３から取得した俯瞰図とを合成し、合成画像Ｂとする。その合成画像Ｂ上に、前述のマッピング結果に一致した他車画像のみを反映させ、最終的な自車周囲俯瞰画像３０が完成する（Ｓ６６）。

次に、図９は、危険度推定処理（Ｓ２）の流れを示すものである。Ｓ２１では、レーダー３により、既に説明した方法により他車検出処理を行なう。Ｓ２２では、検出された他車までの距離と速度の情報を取得し、自車速度との差分から他車の自車に対する相対接近速度を算出する。そして、Ｓ２３では、その相対接近速度が正であれば、上記の他車までの距離（狭義には空間距離）と該相対接近速度とから、対象となる他車が自車に追いつくまでの推定時間（到達時間距離）を計算する。

続いて、Ｓ２４では、生体センサ群７４からの運転者の生体状態検出情報を取得する。この生体状態の検出結果からドライバの状態を推定する方法については、例えば特許文献６等により周知であり、以下、概略を説明するに留める。生体センサとして利用できるのは、以下のようなものである。
・赤外線センサ：自動車に乗車した運転者の顔部分からの放射赤外線に基づき、サーモグラフィーを撮影する。体状態検出部である体温測定部として機能する。
・顔カメラ（車室内カメラ７３）：着座した運転者の顔の表情を撮影する。また、視線方向から運転者の注意力レベルを判定することができる。
・マイクロフォン：運転者の声を検出する。
・感圧センサ：自動車のハンドルやシフトレバーの、運転者による把握位置に取り付けられ、運転者の握り力や、握ったり放したりの繰り返し頻度などを検出する。
・脈拍センサ：脈拍を反映した血液流を反射検知する反射式光センサ等で構成され、自動車のハンドルの運転者把握位置に取り付けられる。
・体温センサ：自動車のハンドルの運転者把握位置に取り付けられた温度センサからなる。

例えば、顔カメラにより撮影した顔の全体（又は部分：例えば目や口）の画像を、種々の心理状態あるいは体調状態におけるマスター画像と比較することで、ユーザーが怒っているのか、平静であるのか、機嫌がよい（例えば楽しくウキウキしている）のか、機嫌が悪い（例えば落胆ないし悲嘆している）のか、あるいは不安ないし緊張にさらされているのか、などを判定することができる。また、ユーザーに固有のマスター画像を使用するのではなく、顔の輪郭、目（あるいはアイリス）、口及び鼻の位置や形状を、全てのユーザーに共通の顔面特徴量として抽出し、その特徴量を、種々の心理状態あるいは体調状態において予め測定・記憶されている標準特徴量と比較して、同様の判定を行なうことができる。

体の動作は、顔カメラにより撮影したユーザーの動画像（例えば、小刻みに動いたりする、顔をしかめたりするなど）や、感圧センサの検知状態（例えば頻繁にハンドルから手を離したりする）などの情報に基づき、例えば運転中のユーザーがいらいらしているのか、そうでないのかを判断することができる。

体温は、ハンドルに取り付けた体温センサや、赤外線センサで取得した顔のサーモグラフィーなどの体温検出部により検出・特定できる。気持ちが高揚しているとき、緊張しているとき、興奮あるいは怒っているとき、などは体温が高く表れ、逆に、落ち着いているときは、体温は低めに表れる。また、緊張や興奮は、脈拍センサが検出する心拍数が高くなることで検出できる。

なお、精神状態とは別に、病気のときや疲れている場合、あるいは注意力が散漫になっている場合など、体調状態によっても体温は高く表れる。高体温が精神状態及び体調状態のいずれによるものかを判別するには、顔の表情（顔カメラ）や、体の動き（顔カメラ、感圧センサ）など、体温以外の体状態情報と組み合わせることが有効である。また、体調不良の場合は定常的に体温が高いのに対し、緊張や興奮あるいは感情的になった場合の体温上昇は一時的なものなので、時間に応じた体温変化傾向を分析することで判別できる場合もある。なお、ユーザーの平熱を予め登録しておき、その平熱からの温度シフト（特に高温側）を体温検出部により測定することで、より微妙な体温変化ひいてはそれによる細かい感情の動き等も検出することが可能となる。

本実施形態では、体調及び精神の両状態の検出結果から、運転者の状態を複数段階、ここでは、図１３のように通常、やや低下及び低下の３段階に区分して危険度推定し（Ｓ２５）、それぞれに適合した内容にて警告を行なうようにしている。具体的には、運転者の状態が「通常」であれば表示のみによる警告とし、「やや低下」であれば音声も併用し、「低下」であれば、さらに振動も併用するようにしている。また、他車が追いつくまでの時間（つまり、到達時間距離情報）に関しては、「遠」「中」「近」の３段階に区分して危険度推定に反映させているが、区分の切れ目を与える時間距離の閾値は、運転者状態が悪化するほど（ここでは、「通常」「やや低下」「低下」の順で３段階に）長くなるように、つまり、運転者の反応が鈍くなると予想される場合ほど、より早い段階で警告がなされるようにしてある。

図１０は、警告内容の決定及出力処理（Ｓ３，Ｓ４）の流れを示すものである。ここでは、ドライバがレーン変更する場合を例に取る。まずＳ３１では、レーン変更のためのウィンカー操作を検出する。次に、自車周囲俯瞰画像３０上で他車の存在を確認する。Ｓ３３では、その他車が自車よりも前方に存在するか後方に存在するかを確認する。自車より前方に他車が存在する場合は、Ｓ３４にて自車よりも遅い他車が含まれているかどうかを探索する。含まれていればＳ３５からＳ３６に進み、警告を含む情報提供処理となる。また、Ｓ３３で自車より後方に他車が存在する場合は、Ｓ４１にて自車よりも速い他車が含まれているかどうかを探索する。含まれていればＳ４２からＳ３６に進み、警告を含む情報提供処理となる（一方、遅い他車も速い他車も存在しない場合は、何もせずに終了する）。

以下は、個々の他車に係る前述の到達時間距離の閾値（Ａ秒超＝「遠」（Ｓ３７→Ｓ４３）：警告１、Ｂ秒超Ａ秒以内＝「中」（Ｓ３８→Ｓ４４）：警告２、Ｂ秒以内＝「近」（Ｓ３８→Ｓ３９）：警告３）との比較により、到達時間距離レベルに応じた内容にて個別の警告処理を、自車周囲俯瞰画像３０上の表示にて行なう。図１２は、その例を示すものであり、予め定められた警告色にて警告対象となる他車画像２１３をマーキングする、より具体的には、自車周囲俯瞰画像３０上の他車画像２１３を、その輪郭に沿って縁取りするマーキング枠２１３ｆ，２１３ｂｆを、到達時間距離に応じて互いに異なる状態となるように表示する内容としてある。すなわち、到達時間距離が「遠」の場合は、マーキング枠２１３ｆを黄色で表示し、到達時間距離が「中」の場合は、マーキング枠２１３ｆを赤色で表示する。さらに、到達時間距離が「近」の場合は、その赤色のマーキング枠２１３ｂｆを点滅状態で表示する。

また、運転者状態が低下した場合の音声による警告は、単なるアラーム音としてもよいし、具体的な警告内容を言葉で出力する方式も可能である。例えば、
・「後方に危険車両が存在します」（あるいは、「後方から早い車が近づいてきます。ご注意ください」）；
・「前方に危険車両が存在します」（あるいは、「前方に遅い車がいます。ご注意ください」）；
・「車が近づいてきます。車線変更しないで下さい。」
・「前に車がいます。車線変更しないで下さい。」
などである。

なお、到達時間距離ではなく、単に、他車との空間距離が大きいか小さいかにより警告を行なうようにしてもよいし、また、他車の速度が大きいか小さいかにより警告を行なうようにしてもよい。また、警告ではなく、他車の速度や該他車までの空間距離を数値にて画面上に出力する方法も可能である。

本発明の車両周辺監視装置の電気的構成の一例を示すブロック図。 車上搭載カメラの配置形態の一例を、その視野とともに示す斜視図。 レーダーによる他車検出の事例をいくつか示す図。 路車間カメラの配置形態の一例を示す図。 本発明の車両周辺監視装置の制御に係る主処理の流れを示すフローチャート。 自車周辺俯瞰図作成処理の流れを示すフローチャート。 画像合成の第一例を示すフローチャート。 画像合成の第二例を示すフローチャート。 危険度推定処理の流れを示すフローチャート。 警告内容決定処理の流れを示すフローチャート。 自車周辺俯瞰図の第一表示例を示す図。 同じく他車の警告表示例を示す図。 運転者状態に応じた複合警告形態の設定例を示す図。 自車周辺俯瞰図の第二表示例を示す図。

符号の説明

１ 車両周辺監視装置
１１ 車載カメラ群（自車側周囲撮影手段）
１１’ （他車の）車上搭載カメラ（車外撮影手段）
１２ 自車
１３ 他車
２０ 道路
２１ 路車間カメラ（車外撮影手段）
３０ 自車周囲俯瞰画像
５０ 画像ＥＣＵ（路上撮影画像取得手段）
７０ 危険度推定ＥＣＵ
９０ 警告出力制御ＥＣＵ（他車距離情報出力手段、警告情報出力手段）
２１２ 自車画像
２１３ 他車画像

Claims (19)

1. 自車に搭載され、当該自車の周囲直近を撮影する自車側周囲撮影手段と、
   前記自車側周囲撮影手段の撮影視野よりも前記自車の走行方向前方もしくは後方に離間した遠方視野の撮影画像を撮影する自車の周囲に配置された車外撮影手段から、当該自車の周囲を走行中の他車を含む路上撮影画像を取得する路上撮影画像取得手段と、
   前記車外撮影手段が撮影する撮影視野の異なる複数の路上撮影画像に基づいて、前記自車の周囲領域を該自車よりも上方に位置する視点から俯瞰した自車周囲俯瞰画像を、前記路上撮影画像を視点変換しつつ実画像として合成することにより作成する自車周囲俯瞰画像作成手段と、
   車室内に設けられ、前記自車周囲俯瞰画像を前記自車位置が特定可能な形で表示する自車周囲俯瞰画像表示手段と、を備え、
   前記自車周囲俯瞰画像作成手段は、前記自車側周囲撮影手段による撮影画像に対し、前記車外撮影手段の撮影画像が前記自車の走行方向前方もしくは後方にて前記自車からの距離が一定以上離間した位置に補う形で前記車外撮影手段の撮影画像を組み込む処理を行い、かつ、自車走行レーン又は該自車走行レーンの隣のレーンにて、前記自車の車長以上離れて該自車の前方もしくは後方を走行中の他車画像が包含されるように、前記自車周囲俯瞰画像を作成することを特徴とする車両周辺監視装置。
2. 前記車外撮影手段は、前記走行中の道路上に予め定められた間隔にて複数設置された路車間カメラであり、
   前記路上撮影画像取得手段は、複数の前記路車間カメラのうち、走行中の前記自車位置から予め定められた距離内にあるものの路上撮影画像を、前記自車周囲俯瞰画像作成用に取得するものである請求項１に記載の車両周辺監視装置。
3. 前記路上撮影画像取得手段は、複数の前記路車間カメラのうち、前記自車を含む位置に存在する第１の路車間カメラ及び前記自車の前方ないし後方に離間した視野かつ前記第１の路車間カメラの視野につながる視野の第２の路車間カメラから前記路上撮影画像を取得し、
   前記自車周囲俯瞰画像作成手段は、前記第１の路車間カメラの前記路上撮影画像と前記第２の路車間カメラの前記路上撮影画像とを合成しつつ俯瞰図に変換する第１の俯瞰図変換手段と、
   前記自車側周囲撮影手段が撮影した撮影画像を俯瞰図に変換する第２の俯瞰図変換手段と、を備え、
   前記自車周囲俯瞰画像作成手段は、前記第１の俯瞰図変換手段で変換された第１の俯瞰図に含まれた前記自車の画像と前記第２の俯瞰図変換手段で変換された第２の俯瞰図に含まれた前記自車の画像とを位置合わせしつつ、それら第１の俯瞰図と第２の俯瞰図とを合成することで前記自車周囲俯瞰画像を作成するものである請求項２に記載の車両周辺監視装置。
4. 前記車外撮影手段は、前記自車の周囲を走行中の他車に搭載された車上搭載カメラであり、
   前記路上撮影画像取得手段は、走行中の前記自車位置から予め定められた距離内を走行する他車の前記車上搭載カメラによる路上撮影画像を、前記自車周囲俯瞰画像作成用に取得するものである請求項１に記載の車両周辺監視装置。
5. 前記路上撮影画像取得手段は、他車の前記車上搭載カメラによる路上撮影画像を、他車側で予め俯瞰図に変換されたものとして取得し、
   前記自車周囲俯瞰画像作成手段は、前記自車側周囲撮影手段が撮影した撮影画像を俯瞰図に変換する俯瞰図変換手段を備え、その俯瞰図変換手段で変換された俯瞰図と前記路上撮影画像取得手段が取得した俯瞰図とを合成することで前記自車周囲俯瞰画像を作成するものである請求項４に記載の車両周辺監視装置。
6. 前記路上撮影画像取得手段が取得した路上撮影画像に含まれた他車画像の存在位置を特定する他車画像特定手段と、
   前記自車に設けられ、自車周囲の他車の距離情報及び存在方向情報を特定する他車距離特定手段と、
   前記距離情報と前記存在方向情報とに基づいて、前記自車周囲における前記他車のマッピング情報を作成する他車マッピング情報作成手段と、
   前記他車画像特定手段が特定した前記他車画像の存在位置と前記マッピング情報とを照合する照合手段と、を備え、
   前記自車周囲俯瞰画像作成手段は、前記照合手段による照合ができた前記他車画像のみを前記自車周囲俯瞰画像に反映させる請求項１ないし請求項５のいずれか１項に記載の車両周辺監視装置。
7. 前記自車周囲俯瞰画像上にて、前記距離情報を、対応する他車画像が特定可能な状態で出力する他車距離情報出力手段を備える請求項６に記載の車両周辺監視装置。
8. 前記他車距離特定手段がレーダー測距装置として構成されている請求項６又は請求項７に記載の車両周辺監視装置。
9. 前記他車距離情報出力手段は、前記距離情報に応じて互いに異なる表示状態となるように、前記自車周囲俯瞰画像上の対応する前記他車画像をマーキングする他車画像マーキング手段を備える請求項７に記載の車両周辺監視装置。
10. 前記他車画像マーキング手段は、前記距離情報に応じて互いに異なる色彩にて前記他車画像をマーキングするものである請求項９に記載の車両周辺監視装置。
11. 前記他車画像マーキング手段は、前記他車画像をその輪郭に沿って縁取りするマーキング枠を、前記距離情報に応じて互いに異なる表示状態となるように表示するものである請求項９又は請求項１０に記載の車両周辺監視装置。
12. 前記他車距離特定手段が特定する距離情報が予め定められた警告距離未満となった他車が前記自車周囲俯瞰画像上に存在する場合に、警告情報を出力する警告情報出力手段を備える請求項６ないし請求項１１のいずれか１項に記載の車両周辺監視装置。
13. 前記自車の後方に位置する他車の、該自車への相対接近速度を特定する相対接近速度特定手段を備え、該相対接近速度が予め定められた正の警告接近速度を超える他車が前記自車周囲俯瞰画像上に存在する場合に、警告情報を出力する警告情報出力手段を備える請求項１２記載の車両周辺監視装置。
14. 前記他車距離特定手段が特定する前記距離情報と、前記相対接近速度特定手段特定する前記相対接近速度とに基づいて、前記自車の後方に位置する他車が該自車に到達するまでの時間を反映した到達時間距離情報を算出する到達時間距離情報算出手段を備え、前記到達時間距離が予め定められた警告時間距離未満となる他車が前記自車周囲俯瞰画像上に存在する場合に、警告情報を出力する警告情報出力手段を備える請求項１２又は請求項１３に記載の車両周辺監視装置。
15. 前記警告情報出力手段は、前記自車周囲俯瞰画像上の警告対象となる前記他車画像を、それ以外の他車画像と識別可能となるようにマーキングする他車画像警告マーキン手段を備える請求項１２ないし請求項１４のいずれか１項に記載の車両周辺監視装置。
16. 前記他車画像警告マーキング手段は、予め定められた警告色にて警告対象となる前記他車画像をマーキングするものである請求項１５に記載の車両周辺監視装置。
17. 前記警告情報出力手段は、前記警告情報を音声出力する警告情報音声出力手段を有する請求項１２ないし請求項１６のいずれか１項に記載の車両周辺監視装置。
18. 前記自車周囲俯瞰画像作成手段は、前記自車周囲俯瞰画像の一部を前記路上撮影画像に由来しない代用画像として作成する請求項１ないし請求項１７のいずれか１項に記載の車両周辺監視装置。
19. 前記代用画像は前記自車の画像である請求項１８に記載の車両周辺監視装置。