JP4178433B2

JP4178433B2 - Monitoring device

Info

Publication number: JP4178433B2
Application number: JP18870699A
Authority: JP
Inventors: 潔中川; 眞也福島; 正義石丸; 武彦上野; 義雄佐々木; 正宏土肥; 高秀川口
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-07-02
Filing date: 1999-07-02
Publication date: 2008-11-12
Anticipated expiration: 2019-07-02
Also published as: JP2001016487A

Description

【０００１】
【発明の属する技術分野】
この発明は、車両の前方などを監視するための監視装置に関する。
【０００２】
【従来の技術】
夜間、街路照明のない道路を車で走行する場合、たとえヘッドライトをハイビーム状態にしても、前方の障害物、風景、道路の状況（例えば道路がどのように曲がっているか）などを肉眼により認識することは、かなり困難である。このため、夜間の車両の運転は、大きなストレスを受けてしまう。
【０００３】
【発明が解決しようとする課題】
そこで、車両の前方を赤外線ランプにより照明しながら赤外線ビデオカメラにより撮像し、その撮像画面をダッシュボードなどに配置したディスプレイに表示させることが考えられる。つまり、そのようにすれば、ディスプレイを見ることにより前方を監視できることになる。
【０００４】
しかし、実際には、そのようにしても、運転者がうっかり前方の障害物を見落としてしまうこともある。
【０００５】
この発明は、このような問題点を解決できるようにするものである。
【０００６】
【課題を解決するための手段】
この発明においては、
車両の中央に配置される第１のビデオカメラと、
この第１のビデオカメラと光軸が同一の平面内において平行となるように、上記第１のビデオカメラの左側に配置される第２のビデオカメラと、
上記第１のビデオカメラと光軸が上記平面内において平行となるように、上記第１のビデオカメラの右側に配置される第３のビデオカメラと、
上記第１のビデオカメラの出力信号から、この第１のビデオカメラの撮像した画面において基準となる第１の点の基準信号を形成して出力する第１の対応点形成回路と、
上記第２または第３のビデオカメラの一方の出力信号から、そのビデオカメラの撮像した画面において基準となる第２の点の基準信号を形成して出力する第２の対応点形成回路と、
上記第１の対応点形成回路の出力信号と、上記第２のビデオカメラの出力信号とが供給され、上記第１のビデオカメラの撮像した上記第１の点と、上記第２のビデオカメラの撮像した画面のうちの上記第１の点に対応する点との位置を比較する第１の対応点比較回路と、
上記第１の対応点形成回路の出力信号と、上記第３のビデオカメラの出力信号とが供給され、上記第１のビデオカメラの撮像した上記第１の点と、上記第３のビデオカメラの撮像した画面のうちの上記第１の点に対応する点との位置を比較する第２の対応点比較回路と、
上記第２の対応点形成回路の出力信号と、上記第２または第３のビデオカメラの他方の出力信号とが供給され、上記第２または第３のビデオカメラの一方の撮像した上記第２の点と、上記第２または第３のビデオカメラの他方の撮像した画面のうちの上記第２の点に対応する点との位置を比較する第３の対応点比較回路と、
上記第１の対応点形成回路の出力信号と、上記第１の対応点比較回路の出力信号とが供給され、上記第１および第２のビデオカメラの撮像した画面における上記第１の点のずれの方向および大きさを示す第１のデータを出力する第１のずれ量比較回路と、
上記第１の対応点形成回路の出力信号と、上記第２の対応点比較回路の出力信号とが供給され、上記第１および第３のビデオカメラの撮像した画面における上記第１の点のずれの方向および大きさを示す第２のデータを出力する第２のずれ量比較回路と、
上記第２の対応点形成回路の出力信号と、上記第３の対応点比較回路の出力信号とが供給され、上記第２および第３のビデオカメラの撮像した画面における上記第２の点のずれの方向および大きさを示す第３のデータを出力する第３のずれ量比較回路と、
上記第１〜第３のずれ量比較回路から出力される上記第１〜第３のデータの多数決比較を行う多数決比較回路と、
この多数決比較回路から上記第１〜第３の対応点比較回路にフィードバックを行うためのフィードバックラインと、
上記多数決比較回路の出力により、上記第１のビデオカメラの出力信号を３次元画像の信号にする３次元化回路と、
この３次元化回路の出力と、ユーザの設定した距離のデータとを比較する距離比較回路と、
この距離比較回路の出力が供給されるアラームと、
上記第１のビデオカメラの出力信号が供給されるディスプレイ装置と
を有し、
上記第１のビデオカメラの撮像した画面を上記ディスプレイ装置に表示し、
上記多数決比較回路は、上記第１〜第３のずれ量比較回路から供給された上記第１〜第３のデータうちの１つのデータが、他の２つのデータより所定値以上異なるとき、上記第１〜第３の対応点比較回路のうち、その所定値以上異なるデータを出力した対応点比較回路に、上記所定値以上異なるデータが補正されるように、上記フィードバックラインを通じてフィードバックを行い、
上記３次元画像が上記ユーザの設定した距離よりも近いとき、これを上記アラームから音響を出力して通知する
ようにした監視装置
とするものである。
したがって、ユーザの設定した距離内に障害物が位置すると、これが正確に検出され、音響により通知される。
【０００７】
【発明の実施の形態】
図１において、符号１１、２１、３１は赤外線ビデオカメラを示す。これらビデオカメラ１１、２１、３１は、３組のステレオカメラを構成して車両の前方についての３次元情報を得るためのものであり、このため、車両に対して例えば図２に示すように配置されている。
【０００８】
すなわち、ビデオカメラ１１、２１、３１は、車両の内部からフロントガラス越しに前方の風景を撮影できるように、フロントガラスの上部に前方を向いて設けられている。そして、このとき、ビデオカメラ１１、２１、３１は、それらの光軸が同一水平面内において平行となるように、並んで配置されるとともに、カメラ１１が中央となり、カメラ２１がカメラ１１の左側、カメラ３１がカメラ１１の右側となるように配置されている。
【０００９】
なお、ビデオカメラ１１、２１、３１の画角は、その撮影画面が運転者の見る風景とオーバーラップするように、11°〜12°とされている。また、ビデオカメラ１１、２１、３１は、例えば可視光カットフィルタを装着しないことにより撮像感度が高められている。
【００１０】
さらに、車両の前方を近赤外線により照射するため、例えば図２に示すように、ビデオカメラ１１、２１、３１の間に、２つの近赤外線ランプ８２、８３が配置されている。このとき、ランプ８２、８３が車両の前方を集中して照射するように、ランプ８２、８３の水平方向の配光特性は15°〜20°程度とされている。
【００１１】
したがって、夜間の走行時、車両の前方は、近赤外線および自車のヘッドライトにより照射されることになり、ビデオカメラ１１、２１、３１からは前方の風景を撮像したビデオ信号Ｓ11、Ｓ21、Ｓ31がそれぞれ出力される。
【００１２】
そして、中央のビデオカメラ１１から出力されるビデオ信号Ｓ11がディスプレイ装置７０に供給される。このディスプレイ装置７０は、ヘッドアップ型ディスプレイとされているもので、例えば図２に示すように、表示スクリーンに対応するコンバイナ部７１と、プロジェクタ部７２とを有する。
【００１３】
そして、コンバイナ部７１は、多層光干渉膜やホログラム回折格子などにより、高い反射率と高い透過率とが得られるように構成され、フロントガラスのうち、運転者の前方に位置する部分に設けられる。
【００１４】
また、プロジェクタ部７２は、例えば液晶プロジェクタにより構成されてダッシュボードに設けられ、その投射光がコンバイナ部７１に投射される。なお、ビデオ信号Ｓ11はプロジェクタ部７２に供給される。
【００１５】
そして、図１の装置においては、左側のビデオカメラ２１と中央のビデオカメラ１１とにより第１のステレオカメラが構成され、このステレオカメラにより撮像した２つの画面において対応する点のずれの方向および大きさが検出される。
【００１６】
すなわち、ビデオカメラ１１、２１からのビデオ信号Ｓ11、Ｓ21が、輪郭抽出回路１２、２２に供給されて画像の輪郭を示すビデオ信号Ｓ12、Ｓ22が取り出される。
【００１７】
そして、ビデオ信号Ｓ12が対応点形成回路１３に供給されて対応点のデータの信号Ｓ13が形成され、この信号Ｓ13が対応点比較回路２４に基準信号として供給される。また、ビデオ信号Ｓ22が対応点比較回路２４に比較入力として供給される。こうして、対応点比較回路２４において、カメラ１１、２１の撮像した画面における対応点が比較される。
【００１８】
そして、対応点比較回路２４の比較出力がずれ量比較回路２５に供給されるとともに、信号Ｓ13がずれ量比較回路２５に基準信号として供給され、比較回路２５からは、中央のカメラ１１の撮像した対応点を基準としたときのカメラ２１が撮像した対応点のずれの方向および大きさを示す信号Ｓ25が取り出され、この信号Ｓ25が多数決比較回路５１に供給される。
【００１９】
また、図１の装置においては、中央のビデオカメラ１１と右側のビデオカメラ３１とにより第２のステレオカメラが構成され、このステレオカメラにより撮像した２つの画面における対応する点のずれの方向および大きさが検出される。
【００２０】
すなわち、対応点形成回路１３からの信号Ｓ13が対応点比較回路３４に基準信号として供給される。また、ビデオカメラ３１からのビデオ信号Ｓ31が、輪郭抽出回路３２に供給されて画像の輪郭を示すビデオ信号Ｓ32が取り出され、この信号Ｓ32が対応点比較回路３４に比較入力として供給される。こうして、対応点比較回路３４において、カメラ１１、３１の撮像した画面における対応点が比較される。
【００２１】
そして、対応点比較回路３４の比較出力がずれ量比較回路３５に供給されるとともに、信号Ｓ13がずれ量比較回路３５に基準信号として供給され、比較回路３５からは、中央のカメラ１１の撮像した対応点を基準としたときのカメラ３１が撮像した対応点のずれの方向および大きさを示す信号Ｓ35が取り出され、この信号Ｓ35が多数決比較回路５１に供給される。
【００２２】
さらに、図１の装置においては、左側のビデオカメラ２１と右側のビデオカメラ３１とにより第３のステレオカメラが構成され、このステレオカメラにより撮像した２つの画面において対応する点のずれの方向および大きさが検出される。
【００２３】
すなわち、ビデオ信号Ｓ32が対応点形成回路４３に供給されて対応点のデータの信号Ｓ43が形成され、この信号Ｓ43が対応点比較回路４４に基準信号として供給される。また、ビデオ信号Ｓ22が対応点比較回路４４に比較入力として供給される。こうして、対応点比較回路４４において、カメラ３１、２１の撮像した手段における対応点が比較される。
【００２４】
そして、対応点比較回路４４の比較出力がずれ量比較回路４５に供給されるとともに、信号Ｓ43がずれ量比較回路４５に基準入力として供給され、比較回路４５からは、右側のカメラ３１の撮像した対応点を基準としたときのカメラ２１が撮像した対応点のずれの方向および大きさを示す信号Ｓ45が取り出され、この信号Ｓ45が多数決比較回路５１に供給される。
【００２５】
そして、多数決比較回路５１においては、これに供給された信号Ｓ25、Ｓ35、Ｓ44が多数決比較されて最も確かである信号、すなわち、信号Ｓ25、Ｓ35、Ｓ45のうち、２つあるいは３つが一致する信号が、対応点のずれを正しく示している信号である判断され、その信号が出力信号Ｓ51として取り出される。
【００２６】
なお、このとき、多数決比較回路５１においては、これに供給された信号Ｓ25、Ｓ35、Ｓ45のうちの１つが他の２つから大きく異なるときには、対応点比較回路１４、２４、３４において使用された対応点のどれかに誤りがあると判断され、対応点比較回路１４、２４、３４のうち、該当する対応点比較回路に補正信号がフィードバックされて対応点が補正される。
【００２７】
そして、対応点形成回路１３からの信号Ｓ13が３次元化回路５２に供給されるとともに、多数決比較回路５１の出力信号Ｓ51が３次元化回路５２に供給され、信号Ｓ13は、この信号Ｓ13による画像を３次元化したときのデータの信号Ｓ52に変換される。
【００２８】
続いて、この信号Ｓ52が距離比較回路６１に供給されるとともに、距離設定回路６２にから設定信号Ｓ62が距離比較回路６１に供給される。この場合、設定信号Ｓ62は、何ｍ先の障害物まで検出するか、その距離を示す信号である。こうして、距離比較回路６１においては、信号Ｓ52による３次元画像までの距離と、設定信号Ｓ62の示す距離とが比較される。
【００２９】
そして、信号Ｓ52による３次元画像（前方の風景）に、設定信号Ｓ62の示す距離以内の部分があるとき、これを示す信号Ｓ61が距離比較回路６１から出力され、この信号Ｓ61がアラーム６３に供給される。
【００３０】
このような構成によれば、中央のビデオカメラ１１により撮像されたビデオ信号Ｓ11がプロジェクタ部７２に供給され、その投射光がコンバイナ部７１に投射されるので、運転者は、コンバイナ部７１の向こう側に、ビデオ信号Ｓ11による画面を虚像の状態で見ることができる。つまり、運転者は、ビデオカメラ１１の撮像した赤外線画面をフロントガラス越しに見ることができる。
【００３１】
そして、信号Ｓ52による３次元画像（前方の風景）に、設定信号Ｓ62の示す距離以内の部分があるとき、信号Ｓ61がアラーム６３に供給されるので、設定信号Ｓ62を例えば100 ｍに設定してある場合には、車両の前方100 ｍ以内に障害物が位置したとき、信号Ｓ61によりアラーム６３が鳴る。つまり、前方100 ｍに障害物のあることが音響により警告される。
【００３２】
こうして、上述の装置によれば、赤外線ビデオカメラ１１、２１、３１により車両の前方をステレオ撮像して障害物までの距離を判断し、その距離が運転者の設定した距離内であれば、警告音を鳴らすようにしている。また、ヘッドアップ型ディスプレイ７０により、赤外線により撮像した前方の風景をフロントガラス越しに映している。
【００３３】
したがって、夜間の走行時、運転者がうっかり前方の障害物を見落としても、警告音がなったとき、前方を見れば、フロントガラス越しに映し出されている前方の風景により、障害物の存在を知ることができる。また、運転者に危険を通知するとき、視覚だけでなく、視覚と聴覚とに訴えるようにしているので、危険の通知を確実なものにすることができる。
【００３４】
さらに、対応点のずれを示す信号として３つの信号Ｓ25、Ｓ35、Ｓ45を形成し、これら信号Ｓ25、Ｓ35、Ｓ45の多数決比較から正しいと思われる信号Ｓ51を得るようにしているので、障害物までの距離を正確に測定することができる。
【００３５】
また、ディスプレイ装置７０を、ヘッドアップ型としているので、その表示画面を見る場合と、車両の前方を見る場合とで視線の動きや焦点調整を最小に抑えることができ、運転者の負担を減らすことができる。
【００３６】
なお、上述においては、装置を夜間に使用した場合であるが、昼間も使用することもでき、その場合には、ランプ８２、８３およびディスプレイ装置７０をオフにしておけばよい。
【００３７】
また、上述においては、車両の前方を監視する場合であるが、ビデオカメラ１１、２１、３１を車両の後方に後方を向いて設ければ、車両の後方の状況を知ることができ、例えば駐車場などでバックするときであれば、後方の障害物の有無を音響により知ることができ、高速道路で車線変更をするときであれば、後続車の異常接近の有無を音響により知ることができる。
【００３８】
さらに、上述においては、前方の障害物をアラーム６３から出力される音響により警告する場合であるが、音声合成などによる音声により警告することもできる。また、障害物までの距離に対応してアラーム音を変更することもできる。さらに、上述においては、３台の赤外線ビデオカメラ１１、２１、３１を配置した場合であるが、より多くの赤外線ビデオカメラを配置すれば、信頼性および精度を向上させることができる。
【００３９】
【発明の効果】
フロントガラス越しに前方の障害物は見えているが、運転者はそれをまったく意識していないような場合でも、この発明によれば、視覚と聴覚の両方に訴えるので、どちらかの感覚が意識下にない場合でも、それを補うことができる。
【図面の簡単な説明】
【図１】この発明の一形態を示す系統図である。
【図２】この発明の一形態を示す配置図である。
【符号の説明】
１１…赤外線ビデオカメラ、１２…輪郭抽出回路、１３…対応点形成回路、２１…赤外線ビデオカメラ、２２…輪郭抽出回路、２４…対応点比較回路、２５…ずれ量比較回路、３１…赤外線ビデオカメラ、３２…輪郭抽出回路、３４…対応点比較回路、３５…ずれ量比較回路、４３…対応点形成回路、４４…対応点比較回路、４５…ずれ量比較回路、５１…多数決比較回路、５２…３次元化回路、６１…距離比較回路、６２…距離設定回路、６３…アラーム、７０…ディスプレイ装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a monitoring device for monitoring the front of a vehicle or the like.
[0002]
[Prior art]
When driving on a road without street lighting at night, even if the headlights are in a high beam state, obstacles ahead, scenery, road conditions (eg how the road is bent), etc. are recognized with the naked eye It is quite difficult to do. For this reason, driving a vehicle at night is subject to great stress.
[0003]
[Problems to be solved by the invention]
Therefore, it is conceivable to take an image with an infrared video camera while illuminating the front of the vehicle with an infrared lamp, and display the image on a display arranged on a dashboard or the like. In other words, by doing so, the front can be monitored by looking at the display.
[0004]
In practice, however, the driver may inadvertently overlook obstacles ahead.
[0005]
The present invention makes it possible to solve such problems.
[0006]
[Means for Solving the Problems]
In this invention,
A first video camera disposed in the center of the vehicle ;
A second video camera disposed on the left side of the first video camera so that the optical axis of the first video camera is parallel to the same plane in the same plane ;
A third video camera disposed on the right side of the first video camera so that the optical axis of the first video camera is parallel to the plane ;
A first corresponding point forming circuit that forms and outputs a reference signal of a first point serving as a reference on a screen imaged by the first video camera from an output signal of the first video camera;
A second corresponding point forming circuit that forms and outputs a reference signal of a second point serving as a reference on the screen imaged by the video camera from one of the output signals of the second or third video camera;
The output signal of the first corresponding point forming circuit and the output signal of the second video camera are supplied, and the first point captured by the first video camera and the second video camera A first corresponding point comparison circuit for comparing a position with a point corresponding to the first point in the imaged screen;
The output signal of the first corresponding point forming circuit and the output signal of the third video camera are supplied, and the first point imaged by the first video camera and the third video camera A second corresponding point comparison circuit for comparing a position with a point corresponding to the first point in the imaged screen;
The output signal of the second corresponding point forming circuit and the other output signal of the second or third video camera are supplied, and the second image captured by one of the second or third video camera is captured. A third corresponding point comparison circuit that compares the position of the point with the point corresponding to the second point in the other imaged screen of the second or third video camera;
The output signal of the first corresponding point forming circuit and the output signal of the first corresponding point comparison circuit are supplied, and the first point shifts on the screens captured by the first and second video cameras. A first shift amount comparison circuit that outputs first data indicating the direction and magnitude of
The output signal of the first corresponding point forming circuit and the output signal of the second corresponding point comparison circuit are supplied, and the shift of the first point on the screen imaged by the first and third video cameras. A second shift amount comparison circuit that outputs second data indicating the direction and magnitude of
An output signal of the second corresponding point forming circuit and an output signal of the third corresponding point comparison circuit are supplied, and the deviation of the second point on the screen imaged by the second and third video cameras is provided. A third shift amount comparison circuit that outputs third data indicating the direction and magnitude of
A majority comparison circuit for comparing the majority of the first to third data output from the first to third deviation amount comparison circuits;
A feedback line for performing feedback from the majority decision comparison circuit to the first to third corresponding point comparison circuits;
A three-dimensional circuit for converting the output signal of the first video camera into a three-dimensional image signal based on the output of the majority comparison circuit;
A distance comparison circuit that compares the output of the three-dimensional circuit with the distance data set by the user;
An alarm to which the output of this distance comparison circuit is supplied;
A display device to which an output signal of the first video camera is supplied ;
Displaying the screen imaged by the first video camera on the display device;
The majority voting comparison circuit is configured such that when one of the first to third data supplied from the first to third deviation amount comparison circuits differs by more than a predetermined value from the other two data, of third corresponding point comparator circuit, the corresponding point comparator circuit outputs the predetermined value or more different data, as the predetermined value or more different data is corrected, performs feedback through the feedback line ,
When the three-dimensional image is closer than the distance set by the user, this is a monitoring device that outputs a sound from the alarm and notifies it.
Therefore, when an obstacle is located within the distance set by the user, this is accurately detected and notified by sound.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
In FIG. 1, reference numerals 11, 21, and 31 denote infrared video cameras. These video cameras 11, 21, and 31 are for obtaining three-dimensional information about the front of the vehicle by configuring three sets of stereo cameras. For this reason, for example, as shown in FIG. Has been.
[0008]
That is, the video cameras 11, 21, and 31 are provided facing the front on the upper part of the windshield so that the front scenery can be taken from the inside of the vehicle through the windshield. At this time, the video cameras 11, 21, and 31 are arranged side by side so that their optical axes are parallel in the same horizontal plane, the camera 11 is in the center, and the camera 21 is on the left side of the camera 11. The camera 31 is disposed on the right side of the camera 11.
[0009]
Note that the angle of view of the video cameras 11, 21, and 31 is set to 11 ° to 12 ° so that the shooting screen overlaps with the scenery seen by the driver. In addition, the video cameras 11, 21, and 31 have improved imaging sensitivity by not attaching a visible light cut filter, for example.
[0010]
Further, in order to irradiate the front of the vehicle with near infrared rays, two near infrared lamps 82 and 83 are disposed between the video cameras 11, 21 and 31, for example, as shown in FIG. 2. At this time, the light distribution characteristics in the horizontal direction of the lamps 82 and 83 are about 15 ° to 20 ° so that the lamps 82 and 83 irradiate the front of the vehicle in a concentrated manner.
[0011]
Therefore, when traveling at night, the front of the vehicle is irradiated with near infrared rays and the headlight of the own vehicle, and the video signals S11, S21, S31 obtained by capturing images of the front landscape from the video cameras 11, 21, 31. Are output respectively.
[0012]
Then, a video signal S 11 output from the central video camera 11 is supplied to the display device 70. The display device 70 is a head-up display, and includes, for example, a combiner unit 71 corresponding to a display screen and a projector unit 72 as shown in FIG.
[0013]
And the combiner part 71 is comprised so that a high reflectance and a high transmittance | permeability can be obtained by a multilayer optical interference film, a hologram diffraction grating, etc., and is provided in the part located ahead of a driver | operator among windshields. .
[0014]
Further, the projector unit 72 is configured by a liquid crystal projector, for example, and is provided on the dashboard, and the projection light is projected onto the combiner unit 71. The video signal S11 is supplied to the projector unit 72.
[0015]
In the apparatus of FIG. 1, the left video camera 21 and the central video camera 11 constitute a first stereo camera, and the direction and magnitude of the shift of corresponding points on the two screens captured by this stereo camera. Is detected.
[0016]
That is, the video signals S11 and S21 from the video cameras 11 and 21 are supplied to the contour extraction circuits 12 and 22, and the video signals S12 and S22 indicating the contour of the image are taken out.
[0017]
Then, the video signal S12 is supplied to the corresponding point forming circuit 13 to form the data S13 of the corresponding point data, and this signal S13 is supplied to the corresponding point comparison circuit 24 as a reference signal. The video signal S22 is supplied to the corresponding point comparison circuit 24 as a comparison input. In this way, the corresponding point comparison circuit 24 compares the corresponding points on the screens captured by the cameras 11 and 21.
[0018]
The comparison output of the corresponding point comparison circuit 24 is supplied to the deviation amount comparison circuit 25, and the signal S13 is supplied as a reference signal to the deviation amount comparison circuit 25. The comparison circuit 25 picks up an image of the central camera 11. A signal S25 indicating the direction and magnitude of the shift of the corresponding point imaged by the camera 21 when the corresponding point is used as a reference is taken out, and this signal S25 is supplied to the majority comparison circuit 51.
[0019]
In the apparatus of FIG. 1, the central video camera 11 and the right video camera 31 constitute a second stereo camera, and the direction and magnitude of the shift of corresponding points on the two screens captured by this stereo camera. Is detected.
[0020]
That is, the signal S13 from the corresponding point forming circuit 13 is supplied to the corresponding point comparing circuit 34 as a reference signal. Also, the video signal S31 from the video camera 31 is supplied to the contour extraction circuit 32 to extract the video signal S32 indicating the contour of the image, and this signal S32 is supplied to the corresponding point comparison circuit 34 as a comparison input. In this way, the corresponding point comparison circuit 34 compares the corresponding points on the screens captured by the cameras 11 and 31.
[0021]
Then, the comparison output of the corresponding point comparison circuit 34 is supplied to the deviation amount comparison circuit 35, and the signal S13 is supplied as a reference signal to the deviation amount comparison circuit 35. The comparison circuit 35 picks up an image of the central camera 11. A signal S35 indicating the direction and magnitude of the shift of the corresponding point imaged by the camera 31 when the corresponding point is used as a reference is taken out, and this signal S35 is supplied to the majority comparison circuit 51.
[0022]
Furthermore, in the apparatus of FIG. 1, the left video camera 21 and the right video camera 31 constitute a third stereo camera, and the direction and magnitude of the shift of corresponding points on the two screens captured by this stereo camera. Is detected.
[0023]
That is, the video signal S32 is supplied to the corresponding point forming circuit 43 to form a signal S43 of the corresponding point data, and this signal S43 is supplied to the corresponding point comparing circuit 44 as a reference signal. The video signal S22 is supplied to the corresponding point comparison circuit 44 as a comparison input. Thus, the corresponding point comparison circuit 44 compares the corresponding points in the means imaged by the cameras 31 and 21.
[0024]
Then, the comparison output of the corresponding point comparison circuit 44 is supplied to the deviation amount comparison circuit 45, and the signal S43 is supplied as a reference input to the deviation amount comparison circuit 45. The comparison circuit 45 picks up an image of the right camera 31. A signal S45 indicating the direction and magnitude of the shift of the corresponding point imaged by the camera 21 when the corresponding point is used as a reference is taken out, and this signal S45 is supplied to the majority comparison circuit 51.
[0025]
In the majority comparison circuit 51 , the signals S25, S35, and S44 supplied thereto are compared with the majority, that is, a signal that matches two or three of the signals S25, S35, and S45. Is a signal that correctly indicates the deviation of the corresponding point, and the signal is extracted as the output signal S51.
[0026]
At this time, in the majority comparison circuit 51 , when one of the signals S25, S35, S45 supplied thereto is greatly different from the other two, it is used in the corresponding point comparison circuits 14, 24, 34. It is determined that there is an error in any of the corresponding points, and a correction signal is fed back to the corresponding corresponding point comparison circuit among the corresponding point comparison circuits 14, 24, 34 to correct the corresponding point.
[0027]
Then, the signal S13 from the corresponding point forming circuit 13 is supplied to the three-dimensional circuit 52, and the output signal S51 of the majority decision comparison circuit 51 is supplied to the three-dimensional circuit 52. The signal S13 is an image generated by the signal S13. Is converted into a signal S52 of data when three-dimensionalized.
[0028]
Subsequently, the signal S 52 is supplied to the distance comparison circuit 61, and the setting signal S 62 is supplied from the distance setting circuit 62 to the distance comparison circuit 61. In this case, the setting signal S62 is a signal indicating how far an obstacle is to be detected or the distance. In this way, the distance comparison circuit 61 compares the distance to the three-dimensional image based on the signal S52 with the distance indicated by the setting signal S62.
[0029]
When there is a portion within the distance indicated by the setting signal S62 in the three-dimensional image (front landscape) based on the signal S52, the signal S61 indicating this is output from the distance comparison circuit 61, and this signal S61 is supplied to the alarm 63. Is done.
[0030]
According to such a configuration, the video signal S11 picked up by the central video camera 11 is supplied to the projector unit 72, and the projection light is projected onto the combiner unit 71. Therefore, the driver goes beyond the combiner unit 71. On the side, the screen by the video signal S11 can be seen in a virtual image state. That is, the driver can view the infrared screen captured by the video camera 11 through the windshield.
[0031]
When the three-dimensional image (scene in front) by the signal S52 has a portion within the distance indicated by the setting signal S62, the signal S61 is supplied to the alarm 63, so the setting signal S62 is set to 100 m, for example. In some cases, when an obstacle is located within 100 m ahead of the vehicle, an alarm 63 is sounded by a signal S61. That is, an acoustic warning is given that there is an obstacle 100 meters ahead.
[0032]
Thus, according to the above-described apparatus, the infrared video cameras 11, 21, and 31 are used for stereo imaging of the front of the vehicle to determine the distance to the obstacle, and if the distance is within the distance set by the driver, a warning is given. A sound is played. In addition, the head-up display 70 projects the front scenery captured by infrared rays through the windshield.
[0033]
Therefore, even if the driver inadvertently overlooks an obstacle in front during night driving, if a warning sound is heard, looking at the front, the presence of the obstacle is confirmed by the scenery in front of the windshield. I can know. Further, when notifying the driver of danger, not only the visual sense but also the visual sense and the auditory sense are used, so the danger notice can be ensured.
[0034]
Further, three signals S25, S35, and S45 are formed as signals indicating the shift of corresponding points, and the signal S51 that seems to be correct is obtained from the majority decision comparison of these signals S25, S35, and S45. Can be measured accurately.
[0035]
Further, since the display device 70 is a head-up type, the movement of the line of sight and the focus adjustment can be suppressed to a minimum when viewing the display screen and when looking in front of the vehicle, thereby reducing the burden on the driver. be able to.
[0036]
In the above description, the device is used at night, but it can also be used during the day. In this case, the lamps 82 and 83 and the display device 70 may be turned off.
[0037]
In the above description, the front of the vehicle is monitored. If the video cameras 11, 21, 31 are provided facing the rear of the vehicle, the situation behind the vehicle can be known. When backing up at a parking lot, etc., it is possible to know the presence of obstacles behind, and when changing lanes on an expressway, it is possible to know whether there is an abnormal approach of the following vehicle. .
[0038]
Further, in the above description, the front obstacle is warned by the sound output from the alarm 63, but it can also be warned by voice by voice synthesis or the like. Also, the alarm sound can be changed according to the distance to the obstacle. Furthermore, in the above description, three infrared video cameras 11, 21, and 31 are arranged. However, if more infrared video cameras are arranged, reliability and accuracy can be improved.
[0039]
【The invention's effect】
Even if you can see the obstacle in front of you through the windshield but the driver is not conscious of it at all, according to the present invention, it appeals to both visual and auditory sense, so either sense is conscious You can make up for it even if it's not below.
[Brief description of the drawings]
FIG. 1 is a system diagram showing an embodiment of the present invention.
FIG. 2 is a layout view showing one embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 ... Infrared video camera, 12 ... Contour extraction circuit, 13 ... Corresponding point formation circuit, 21 ... Infrared video camera, 22 ... Contour extraction circuit, 24 ... Corresponding point comparison circuit, 25 ... Deviation amount comparison circuit, 31 ... Infrared video camera 32 ... Contour extraction circuit 34 ... Corresponding point comparison circuit 35 ... Deviation amount comparison circuit 43 ... Corresponding point formation circuit 44 ... Corresponding point comparison circuit 45 ... Deviation amount comparison circuit 51 ... Majority comparison circuit 52 ... Three-dimensional circuit 61 ... Distance comparison circuit 62 ... Distance setting circuit 63 ... Alarm 70 ... Display device

Claims

A first video camera disposed in the center of the vehicle ;
A second video camera disposed on the left side of the first video camera so that the optical axis of the first video camera is parallel to the same plane in the same plane ;
A third video camera disposed on the right side of the first video camera so that the optical axis of the first video camera is parallel to the plane ;
A first corresponding point forming circuit that forms and outputs a reference signal of a first point serving as a reference on a screen imaged by the first video camera from an output signal of the first video camera;
A second corresponding point forming circuit that forms and outputs a reference signal of a second point serving as a reference on the screen imaged by the video camera from one of the output signals of the second or third video camera;
The output signal of the first corresponding point forming circuit and the output signal of the second video camera are supplied, and the first point captured by the first video camera and the second video camera A first corresponding point comparison circuit for comparing a position with a point corresponding to the first point in the imaged screen;
The output signal of the first corresponding point forming circuit and the output signal of the third video camera are supplied, and the first point imaged by the first video camera and the third video camera A second corresponding point comparison circuit for comparing a position with a point corresponding to the first point in the imaged screen;
The output signal of the second corresponding point forming circuit and the other output signal of the second or third video camera are supplied, and the second image captured by one of the second or third video camera is captured. A third corresponding point comparison circuit that compares the position of the point with the point corresponding to the second point in the other imaged screen of the second or third video camera;
The output signal of the first corresponding point forming circuit and the output signal of the first corresponding point comparison circuit are supplied, and the first point shifts on the screens captured by the first and second video cameras. A first shift amount comparison circuit that outputs first data indicating the direction and magnitude of
The output signal of the first corresponding point forming circuit and the output signal of the second corresponding point comparison circuit are supplied, and the shift of the first point on the screen imaged by the first and third video cameras. A second shift amount comparison circuit that outputs second data indicating the direction and magnitude of
An output signal of the second corresponding point forming circuit and an output signal of the third corresponding point comparison circuit are supplied, and the deviation of the second point on the screen imaged by the second and third video cameras is provided. A third shift amount comparison circuit that outputs third data indicating the direction and magnitude of
A majority comparison circuit for comparing the majority of the first to third data output from the first to third deviation amount comparison circuits;
A feedback line for performing feedback from the majority decision comparison circuit to the first to third corresponding point comparison circuits;
A three-dimensional circuit for converting the output signal of the first video camera into a three-dimensional image signal based on the output of the majority comparison circuit;
A distance comparison circuit that compares the output of the three-dimensional circuit with the distance data set by the user;
An alarm to which the output of this distance comparison circuit is supplied;
A display device to which an output signal of the first video camera is supplied ;
Displaying the screen imaged by the first video camera on the display device;
The majority voting comparison circuit is configured such that when one of the first to third data supplied from the first to third deviation amount comparison circuits differs by more than a predetermined value from the other two data, In the first to third corresponding point comparison circuits, the corresponding point comparison circuit that outputs data different from the predetermined value performs feedback through the feedback line so that the data different from the predetermined value is corrected,
When the three-dimensional image is closer than the distance set by the user, a monitoring device that outputs a sound from the alarm and notifies it.

The monitoring device according to claim 1,
The first to third video cameras are infrared video cameras;
A monitoring device in which the display device is a head-up display .