JP4178433B2 - 監視装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、車両の前方などを監視するための監視装置に関する。
【０００２】
【従来の技術】
夜間、街路照明のない道路を車で走行する場合、たとえヘッドライトをハイビーム状態にしても、前方の障害物、風景、道路の状況（例えば道路がどのように曲がっているか）などを肉眼により認識することは、かなり困難である。このため、夜間の車両の運転は、大きなストレスを受けてしまう。
【０００３】
【発明が解決しようとする課題】
そこで、車両の前方を赤外線ランプにより照明しながら赤外線ビデオカメラにより撮像し、その撮像画面をダッシュボードなどに配置したディスプレイに表示させることが考えられる。つまり、そのようにすれば、ディスプレイを見ることにより前方を監視できることになる。
【０００４】
しかし、実際には、そのようにしても、運転者がうっかり前方の障害物を見落としてしまうこともある。
【０００５】
この発明は、このような問題点を解決できるようにするものである。
【０００６】
【課題を解決するための手段】
この発明においては、
車両の中央に配置される第１のビデオカメラと、
この第１のビデオカメラと光軸が同一の平面内において平行となるように、上記第１のビデオカメラの左側に配置される第２のビデオカメラと、
上記第１のビデオカメラと光軸が上記平面内において平行となるように、上記第１のビデオカメラの右側に配置される第３のビデオカメラと、
上記第１のビデオカメラの出力信号から、この第１のビデオカメラの撮像した画面において基準となる第１の点の基準信号を形成して出力する第１の対応点形成回路と、
上記第２または第３のビデオカメラの一方の出力信号から、そのビデオカメラの撮像した画面において基準となる第２の点の基準信号を形成して出力する第２の対応点形成回路と、
上記第１の対応点形成回路の出力信号と、上記第２のビデオカメラの出力信号とが供給され、上記第１のビデオカメラの撮像した上記第１の点と、上記第２のビデオカメラの撮像した画面のうちの上記第１の点に対応する点との位置を比較する第１の対応点比較回路と、
上記第１の対応点形成回路の出力信号と、上記第３のビデオカメラの出力信号とが供給され、上記第１のビデオカメラの撮像した上記第１の点と、上記第３のビデオカメラの撮像した画面のうちの上記第１の点に対応する点との位置を比較する第２の対応点比較回路と、
上記第２の対応点形成回路の出力信号と、上記第２または第３のビデオカメラの他方の出力信号とが供給され、上記第２または第３のビデオカメラの一方の撮像した上記第２の点と、上記第２または第３のビデオカメラの他方の撮像した画面のうちの上記第２の点に対応する点との位置を比較する第３の対応点比較回路と、
上記第１の対応点形成回路の出力信号と、上記第１の対応点比較回路の出力信号とが供給され、上記第１および第２のビデオカメラの撮像した画面における上記第１の点のずれの方向および大きさを示す第１のデータを出力する第１のずれ量比較回路と、
上記第１の対応点形成回路の出力信号と、上記第２の対応点比較回路の出力信号とが供給され、上記第１および第３のビデオカメラの撮像した画面における上記第１の点のずれの方向および大きさを示す第２のデータを出力する第２のずれ量比較回路と、
上記第２の対応点形成回路の出力信号と、上記第３の対応点比較回路の出力信号とが供給され、上記第２および第３のビデオカメラの撮像した画面における上記第２の点のずれの方向および大きさを示す第３のデータを出力する第３のずれ量比較回路と、
上記第１〜第３のずれ量比較回路から出力される上記第１〜第３のデータの多数決比較を行う多数決比較回路と、
この多数決比較回路から上記第１〜第３の対応点比較回路にフィードバックを行うためのフィードバックラインと、
上記多数決比較回路の出力により、上記第１のビデオカメラの出力信号を３次元画像の信号にする３次元化回路と、
この３次元化回路の出力と、ユーザの設定した距離のデータとを比較する距離比較回路と、
この距離比較回路の出力が供給されるアラームと、
上記第１のビデオカメラの出力信号が供給されるディスプレイ装置と
を有し、
上記第１のビデオカメラの撮像した画面を上記ディスプレイ装置に表示し、
上記多数決比較回路は、上記第１〜第３のずれ量比較回路から供給された上記第１〜第３のデータうちの１つのデータが、他の２つのデータより所定値以上異なるとき、上記第１〜第３の対応点比較回路のうち、その所定値以上異なるデータを出力した対応点比較回路に、上記所定値以上異なるデータが補正されるように、上記フィードバックラインを通 じてフィードバックを行い、
上記３次元画像が上記ユーザの設定した距離よりも近いとき、これを上記アラームから音響を出力して通知する
ようにした監視装置
とするものである。
したがって、ユーザの設定した距離内に障害物が位置すると、これが正確に検出され、音響により通知される。
【０００７】
【発明の実施の形態】
図１において、符号１１、２１、３１は赤外線ビデオカメラを示す。これらビデオカメラ１１、２１、３１は、３組のステレオカメラを構成して車両の前方についての３次元情報を得るためのものであり、このため、車両に対して例えば図２に示すように配置されている。
【０００８】
すなわち、ビデオカメラ１１、２１、３１は、車両の内部からフロントガラス越しに前方の風景を撮影できるように、フロントガラスの上部に前方を向いて設けられている。そして、このとき、ビデオカメラ１１、２１、３１は、それらの光軸が同一水平面内において平行となるように、並んで配置されるとともに、カメラ１１が中央となり、カメラ２１がカメラ１１の左側、カメラ３１がカメラ１１の右側となるように配置されている。
【０００９】
なお、ビデオカメラ１１、２１、３１の画角は、その撮影画面が運転者の見る風景とオーバーラップするように、11°〜12°とされている。また、ビデオカメラ１１、２１、３１は、例えば可視光カットフィルタを装着しないことにより撮像感度が高められている。
【００１０】
さらに、車両の前方を近赤外線により照射するため、例えば図２に示すように、ビデオカメラ１１、２１、３１の間に、２つの近赤外線ランプ８２、８３が配置されている。このとき、ランプ８２、８３が車両の前方を集中して照射するように、ランプ８２、８３の水平方向の配光特性は15°〜20°程度とされている。
【００１１】
したがって、夜間の走行時、車両の前方は、近赤外線および自車のヘッドライトにより照射されることになり、ビデオカメラ１１、２１、３１からは前方の風景を撮像したビデオ信号Ｓ11、Ｓ21、Ｓ31がそれぞれ出力される。
【００１２】
そして、中央のビデオカメラ１１から出力されるビデオ信号Ｓ11がディスプレイ装置７０に供給される。このディスプレイ装置７０は、ヘッドアップ型ディスプレイとされているもので、例えば図２に示すように、表示スクリーンに対応するコンバイナ部７１と、プロジェクタ部７２とを有する。
【００１３】
そして、コンバイナ部７１は、多層光干渉膜やホログラム回折格子などにより、高い反射率と高い透過率とが得られるように構成され、フロントガラスのうち、運転者の前方に位置する部分に設けられる。
【００１４】
また、プロジェクタ部７２は、例えば液晶プロジェクタにより構成されてダッシュボードに設けられ、その投射光がコンバイナ部７１に投射される。なお、ビデオ信号Ｓ11はプロジェクタ部７２に供給される。
【００１５】
そして、図１の装置においては、左側のビデオカメラ２１と中央のビデオカメラ１１とにより第１のステレオカメラが構成され、このステレオカメラにより撮像した２つの画面において対応する点のずれの方向および大きさが検出される。
【００１６】
すなわち、ビデオカメラ１１、２１からのビデオ信号Ｓ11、Ｓ21が、輪郭抽出回路１２、２２に供給されて画像の輪郭を示すビデオ信号Ｓ12、Ｓ22が取り出される。
【００１７】
そして、ビデオ信号Ｓ12が対応点形成回路１３に供給されて対応点のデータの信号Ｓ13が形成され、この信号Ｓ13が対応点比較回路２４に基準信号として供給される。また、ビデオ信号Ｓ22が対応点比較回路２４に比較入力として供給される。こうして、対応点比較回路２４において、カメラ１１、２１の撮像した画面における対応点が比較される。
【００１８】
そして、対応点比較回路２４の比較出力がずれ量比較回路２５に供給されるとともに、信号Ｓ13がずれ量比較回路２５に基準信号として供給され、比較回路２５からは、中央のカメラ１１の撮像した対応点を基準としたときのカメラ２１が撮像した対応点のずれの方向および大きさを示す信号Ｓ25が取り出され、この信号Ｓ25が多数決比較回路５１に供給される。
【００１９】
また、図１の装置においては、中央のビデオカメラ１１と右側のビデオカメラ３１とにより第２のステレオカメラが構成され、このステレオカメラにより撮像した２つの画面における対応する点のずれの方向および大きさが検出される。
【００２０】
すなわち、対応点形成回路１３からの信号Ｓ13が対応点比較回路３４に基準信号として供給される。また、ビデオカメラ３１からのビデオ信号Ｓ31が、輪郭抽出回路３２に供給されて画像の輪郭を示すビデオ信号Ｓ32が取り出され、この信号Ｓ32が対応点比較回路３４に比較入力として供給される。こうして、対応点比較回路３４において、カメラ１１、３１の撮像した画面における対応点が比較される。
【００２１】
そして、対応点比較回路３４の比較出力がずれ量比較回路３５に供給されるとともに、信号Ｓ13がずれ量比較回路３５に基準信号として供給され、比較回路３５からは、中央のカメラ１１の撮像した対応点を基準としたときのカメラ３１が撮像した対応点のずれの方向および大きさを示す信号Ｓ35が取り出され、この信号Ｓ35が多数決比較回路５１に供給される。
【００２２】
さらに、図１の装置においては、左側のビデオカメラ２１と右側のビデオカメラ３１とにより第３のステレオカメラが構成され、このステレオカメラにより撮像した２つの画面において対応する点のずれの方向および大きさが検出される。
【００２３】
すなわち、ビデオ信号Ｓ32が対応点形成回路４３に供給されて対応点のデータの信号Ｓ43が形成され、この信号Ｓ43が対応点比較回路４４に基準信号として供給される。また、ビデオ信号Ｓ22が対応点比較回路４４に比較入力として供給される。こうして、対応点比較回路４４において、カメラ３１、２１の撮像した手段における対応点が比較される。
【００２４】
そして、対応点比較回路４４の比較出力がずれ量比較回路４５に供給されるとともに、信号Ｓ43がずれ量比較回路４５に基準入力として供給され、比較回路４５からは、右側のカメラ３１の撮像した対応点を基準としたときのカメラ２１が撮像した対応点のずれの方向および大きさを示す信号Ｓ45が取り出され、この信号Ｓ45が多数決比較回路５１に供給される。
【００２５】
そして、多数決比較回路５１においては、これに供給された信号Ｓ25、Ｓ35、Ｓ44が多数決比較されて最も確かである信号、すなわち、信号Ｓ25、Ｓ35、Ｓ45のうち、２つあるいは３つが一致する信号が、対応点のずれを正しく示している信号である判断され、その信号が出力信号Ｓ51として取り出される。
【００２６】
なお、このとき、多数決比較回路５１においては、これに供給された信号Ｓ25、Ｓ35、Ｓ45のうちの１つが他の２つから大きく異なるときには、対応点比較回路１４、２４、３４において使用された対応点のどれかに誤りがあると判断され、対応点比較回路１４、２４、３４のうち、該当する対応点比較回路に補正信号がフィードバックされて対応点が補正される。
【００２７】
そして、対応点形成回路１３からの信号Ｓ13が３次元化回路５２に供給されるとともに、多数決比較回路５１の出力信号Ｓ51が３次元化回路５２に供給され、信号Ｓ13は、この信号Ｓ13による画像を３次元化したときのデータの信号Ｓ52に変換される。
【００２８】
続いて、この信号Ｓ52が距離比較回路６１に供給されるとともに、距離設定回路６２にから設定信号Ｓ62が距離比較回路６１に供給される。この場合、設定信号Ｓ62は、何ｍ先の障害物まで検出するか、その距離を示す信号である。こうして、距離比較回路６１においては、信号Ｓ52による３次元画像までの距離と、設定信号Ｓ62の示す距離とが比較される。
【００２９】
そして、信号Ｓ52による３次元画像（前方の風景）に、設定信号Ｓ62の示す距離以内の部分があるとき、これを示す信号Ｓ61が距離比較回路６１から出力され、この信号Ｓ61がアラーム６３に供給される。
【００３０】
このような構成によれば、中央のビデオカメラ１１により撮像されたビデオ信号Ｓ11がプロジェクタ部７２に供給され、その投射光がコンバイナ部７１に投射されるので、運転者は、コンバイナ部７１の向こう側に、ビデオ信号Ｓ11による画面を虚像の状態で見ることができる。つまり、運転者は、ビデオカメラ１１の撮像した赤外線画面をフロントガラス越しに見ることができる。
【００３１】
そして、信号Ｓ52による３次元画像（前方の風景）に、設定信号Ｓ62の示す距離以内の部分があるとき、信号Ｓ61がアラーム６３に供給されるので、設定信号Ｓ62を例えば100 ｍに設定してある場合には、車両の前方100 ｍ以内に障害物が位置したとき、信号Ｓ61によりアラーム６３が鳴る。つまり、前方100 ｍに障害物のあることが音響により警告される。
【００３２】
こうして、上述の装置によれば、赤外線ビデオカメラ１１、２１、３１により車両の前方をステレオ撮像して障害物までの距離を判断し、その距離が運転者の設定した距離内であれば、警告音を鳴らすようにしている。また、ヘッドアップ型ディスプレイ７０により、赤外線により撮像した前方の風景をフロントガラス越しに映している。
【００３３】
したがって、夜間の走行時、運転者がうっかり前方の障害物を見落としても、警告音がなったとき、前方を見れば、フロントガラス越しに映し出されている前方の風景により、障害物の存在を知ることができる。また、運転者に危険を通知するとき、視覚だけでなく、視覚と聴覚とに訴えるようにしているので、危険の通知を確実なものにすることができる。
【００３４】
さらに、対応点のずれを示す信号として３つの信号Ｓ25、Ｓ35、Ｓ45を形成し、これら信号Ｓ25、Ｓ35、Ｓ45の多数決比較から正しいと思われる信号Ｓ51を得るようにしているので、障害物までの距離を正確に測定することができる。
【００３５】
また、ディスプレイ装置７０を、ヘッドアップ型としているので、その表示画面を見る場合と、車両の前方を見る場合とで視線の動きや焦点調整を最小に抑えることができ、運転者の負担を減らすことができる。
【００３６】
なお、上述においては、装置を夜間に使用した場合であるが、昼間も使用することもでき、その場合には、ランプ８２、８３およびディスプレイ装置７０をオフにしておけばよい。
【００３７】
また、上述においては、車両の前方を監視する場合であるが、ビデオカメラ１１、２１、３１を車両の後方に後方を向いて設ければ、車両の後方の状況を知ることができ、例えば駐車場などでバックするときであれば、後方の障害物の有無を音響により知ることができ、高速道路で車線変更をするときであれば、後続車の異常接近の有無を音響により知ることができる。
【００３８】
さらに、上述においては、前方の障害物をアラーム６３から出力される音響により警告する場合であるが、音声合成などによる音声により警告することもできる。また、障害物までの距離に対応してアラーム音を変更することもできる。さらに、上述においては、３台の赤外線ビデオカメラ１１、２１、３１を配置した場合であるが、より多くの赤外線ビデオカメラを配置すれば、信頼性および精度を向上させることができる。
【００３９】
【発明の効果】
フロントガラス越しに前方の障害物は見えているが、運転者はそれをまったく意識していないような場合でも、この発明によれば、視覚と聴覚の両方に訴えるので、どちらかの感覚が意識下にない場合でも、それを補うことができる。
【図面の簡単な説明】
【図１】この発明の一形態を示す系統図である。
【図２】この発明の一形態を示す配置図である。
【符号の説明】
１１…赤外線ビデオカメラ、１２…輪郭抽出回路、１３…対応点形成回路、２１…赤外線ビデオカメラ、２２…輪郭抽出回路、２４…対応点比較回路、２５…ずれ量比較回路、３１…赤外線ビデオカメラ、３２…輪郭抽出回路、３４…対応点比較回路、３５…ずれ量比較回路、４３…対応点形成回路、４４…対応点比較回路、４５…ずれ量比較回路、５１…多数決比較回路、５２…３次元化回路、６１…距離比較回路、６２…距離設定回路、６３…アラーム、７０…ディスプレイ装置

Claims (2)

1. 車両の中央に配置される第１のビデオカメラと、
   この第１のビデオカメラと光軸が同一の平面内において平行となるように、上記第１のビデオカメラの左側に配置される第２のビデオカメラと、
   上記第１のビデオカメラと光軸が上記平面内において平行となるように、上記第１のビデオカメラの右側に配置される第３のビデオカメラと、
   上記第１のビデオカメラの出力信号から、この第１のビデオカメラの撮像した画面において基準となる第１の点の基準信号を形成して出力する第１の対応点形成回路と、
   上記第２または第３のビデオカメラの一方の出力信号から、そのビデオカメラの撮像した画面において基準となる第２の点の基準信号を形成して出力する第２の対応点形成回路と、
   上記第１の対応点形成回路の出力信号と、上記第２のビデオカメラの出力信号とが供給され、上記第１のビデオカメラの撮像した上記第１の点と、上記第２のビデオカメラの撮像した画面のうちの上記第１の点に対応する点との位置を比較する第１の対応点比較回路と、
   上記第１の対応点形成回路の出力信号と、上記第３のビデオカメラの出力信号とが供給され、上記第１のビデオカメラの撮像した上記第１の点と、上記第３のビデオカメラの撮像した画面のうちの上記第１の点に対応する点との位置を比較する第２の対応点比較回路と、
   上記第２の対応点形成回路の出力信号と、上記第２または第３のビデオカメラの他方の出力信号とが供給され、上記第２または第３のビデオカメラの一方の撮像した上記第２の点と、上記第２または第３のビデオカメラの他方の撮像した画面のうちの上記第２の点に対応する点との位置を比較する第３の対応点比較回路と、
   上記第１の対応点形成回路の出力信号と、上記第１の対応点比較回路の出力信号とが供給され、上記第１および第２のビデオカメラの撮像した画面における上記第１の点のずれの方向および大きさを示す第１のデータを出力する第１のずれ量比較回路と、
   上記第１の対応点形成回路の出力信号と、上記第２の対応点比較回路の出力信号とが供給され、上記第１および第３のビデオカメラの撮像した画面における上記第１の点のずれの方向および大きさを示す第２のデータを出力する第２のずれ量比較回路と、
   上記第２の対応点形成回路の出力信号と、上記第３の対応点比較回路の出力信号とが供給され、上記第２および第３のビデオカメラの撮像した画面における上記第２の点のずれの方向および大きさを示す第３のデータを出力する第３のずれ量比較回路と、
   上記第１〜第３のずれ量比較回路から出力される上記第１〜第３のデータの多数決比較を行う多数決比較回路と、
   この多数決比較回路から上記第１〜第３の対応点比較回路にフィードバックを行うためのフィードバックラインと、
   上記多数決比較回路の出力により、上記第１のビデオカメラの出力信号を３次元画像の信号にする３次元化回路と、
   この３次元化回路の出力と、ユーザの設定した距離のデータとを比較する距離比較回路と、
   この距離比較回路の出力が供給されるアラームと、
   上記第１のビデオカメラの出力信号が供給されるディスプレイ装置と
   を有し、
   上記第１のビデオカメラの撮像した画面を上記ディスプレイ装置に表示し、
   上記多数決比較回路は、上記第１〜第３のずれ量比較回路から供給された上記第１〜第３のデータうちの１つのデータが、他の２つのデータより所定値以上異なるとき、上記第１〜第３の対応点比較回路のうち、その所定値以上異なるデータを出力した対応点比較回路に、上記所定値以上異なるデータが補正されるように、上記フィードバックラインを通じてフィードバックを行い、
   上記３次元画像が上記ユーザの設定した距離よりも近いとき、これを上記アラームから音響を出力して通知する
   ようにした監視装置。
2. 請求項１に記載の監視装置において、
   上記第１〜第３のビデオカメラが赤外線ビデオカメラであり、
   上記ディスプレイ装置がヘッドアップ型ディスプレイである
   ようにした監視装置。

Images