JP4821685B2

JP4821685B2 - Vehicle driving support device

Info

Publication number: JP4821685B2
Application number: JP2007097793A
Authority: JP
Inventors: 杉浦　　真紀子
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2007-04-03
Filing date: 2007-04-03
Publication date: 2011-11-24
Anticipated expiration: 2027-04-03
Also published as: JP2008257403A

Description

本発明は、車両周囲の情報を表示装置に表示することによって、ドライバーの運転を支援する車両用運転支援装置に関するものである。 The present invention relates to a vehicle driving support device that supports driving of a driver by displaying information around the vehicle on a display device.

従来、車両用運転支援装置の一例として、特許文献１に示す車両用駐車支援装置がある。特許文献１に示す車両用駐車支援装置は、カメラにより把握した自車両の周囲状況の画像情報に障害物や目標軌道等に関する情報を重ね合わせて表示装置に表示する。
特開２００３−３４２０６号公報 Conventionally, as an example of a vehicle driving assistance device, there is a vehicle parking assistance device disclosed in Patent Document 1. The vehicle parking assistance apparatus disclosed in Patent Literature 1 displays information on an obstacle, a target trajectory, and the like on an image information of the surrounding situation of the host vehicle grasped by a camera and displays the information on a display device.
JP 2003-34206 A

しかしながら、特許文献１に示す駐車支援装置においては、雨や雪などが降っている場合、カメラのレンズなどに雨や雪が付着することがある。このようにレンズなどに雨粒や雪が付着したカメラにて撮像した画像を表示装置に表示すると、画像が見にくく、車両周囲の状況が確認しにくいという問題があった。したがって、特許文献１に示す駐車支援装置は、雨や雪などが降っている場合には適切な駐車支援を行うことができない可能性がある。 However, in the parking assistance device disclosed in Patent Document 1, when rain or snow falls, rain or snow may adhere to the lens of the camera. As described above, when an image picked up by a camera with raindrops or snow attached to a lens or the like is displayed on the display device, there is a problem that it is difficult to see the image and it is difficult to check the situation around the vehicle. Therefore, there is a possibility that the parking assistance device disclosed in Patent Document 1 cannot perform appropriate parking assistance when it is raining or snowing.

本発明は、上記問題点に鑑みなされたものであり、天候に係らず適切な運転支援を行うことができる車両用運転支援装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a vehicle driving support device that can perform appropriate driving support regardless of the weather.

上記目的を達成するために請求項１に記載の車両用運転支援装置は、車両の車室内に設けられる表示装置と、車両の周囲の画像を撮像する撮像手段と、車両の位置を検出する位置検出手段と、車両の向きを検出する方向検出手段と、車両の周囲の障害物を検出する障害物検出手段と、天気が所定の条件を満たす場合に撮像した画像と、その画像を撮像した際の車両の位置と、画像を撮像した際の車両の向きとを関連付けて記憶する記憶手段と、天気が所定の条件を満たす場合には、撮像手段にて車両の周囲の画像を撮像しつつ画像を表示装置に表示し、天気が所定の条件を満たさない場合には、記憶手段にて記憶された画像のなかから現在の車両の位置と向きとに対応する過去の画像を抽出して、過去の画像と現在の障害物検出手段の検出結果とを表示装置に表示する前記表示制御手段と、車両が同じ位置に駐車した回数をカウントするカウンタ装置と、を備え、記憶手段は、カウンタ装置によってカウントされた回数が所定回数に達した場合であり、天気が所定の条件を満たす場合に、天気が所定の条件を満たす場合に撮像した画像と、この画像を撮像した際の車両の位置と、この画像を撮像した際の車両の向きとを関連付けて記憶することを特徴とするものである。 In order to achieve the above object, a driving support apparatus for a vehicle according to claim 1 is provided with a display device provided in a vehicle interior of the vehicle, an image pickup means for picking up an image around the vehicle, and a position for detecting the position of the vehicle. Detection means, direction detection means for detecting the direction of the vehicle, obstacle detection means for detecting obstacles around the vehicle, an image taken when the weather satisfies a predetermined condition, and when the image is taken Storage means for associating and storing the position of the vehicle and the orientation of the vehicle when the image was captured, and when the weather satisfies a predetermined condition, the image is captured while the surrounding image of the vehicle is captured by the imaging means. Is displayed on the display device, and if the weather does not satisfy the predetermined condition, the past image corresponding to the current position and orientation of the vehicle is extracted from the images stored in the storage means, and the past Images and current obstacle detection means Said display control means for displaying on the display device the door, a vehicle and a counter device for counting the number of parked in the same position, storage means, when the number counted by the counter device has reached a predetermined number of times Yes, when the weather satisfies a predetermined condition, the image captured when the weather satisfies the predetermined condition, the position of the vehicle when the image is captured, and the direction of the vehicle when the image is captured those characterized that you stored in association.

このように、天気が所定の条件を満たさない場合でも、過去の画像と現在の障害物検出手段の検出結果とを表示装置に表示することによって、天気が所定の条件を満たす場合に撮像した画像を背景画像として現在の車両と障害物との位置関係を車両のユーザーに案内することができるので、天候に係らず適切な運転支援を行うことができる。また、このようにすることによって、自動で画像の記憶を開始することができるので、ユーザーによる操作を省くことができる。 As described above, even when the weather does not satisfy the predetermined condition, the image captured when the weather satisfies the predetermined condition by displaying the past image and the detection result of the current obstacle detection unit on the display device. As a background image, the current positional relationship between the vehicle and the obstacle can be guided to the vehicle user, so that appropriate driving support can be performed regardless of the weather. In addition, by doing this, it is possible to automatically start storing images, so that the operation by the user can be omitted.

また、請求項２に示すように、障害物検出手段は、超音波センサを用いてもよい。 Further, as shown in claim 2, the obstacle detection means may use an ultrasonic sensor.

このようにすることによって、車両の近辺にある障害物を車両のユーザーに案内することができる。 By doing so, obstacles in the vicinity of the vehicle can be guided to the user of the vehicle.

また、請求項３に示すように、超音波センサは、複数の受信部がアレイ化されるようにしてもよい。 According to a third aspect of the present invention, the ultrasonic sensor may have a plurality of receiving units arranged in an array.

このようにすることによって、より一層正確な障害物に関する情報を車両のユーザーに案内することができるので好ましい。 By doing so, it is preferable because more accurate information on the obstacle can be guided to the user of the vehicle.

また、請求項４に示すように、表示制御手段は、記憶手段にて記憶された過去の画像と現在の障害物検出手段の検出結果とを表示装置に表示する場合、過去の画像と現在の障害物検出手段の検出結果とを比較することによって、過去の画像を撮像した際の車両と周囲の障害物との位置関係と、現在の車両と周囲の障害物との位置関係とが対応するように過去の画像を補正して表示装置に表示するようにしてもよい。 According to a fourth aspect of the present invention, when the display control means displays the past image stored in the storage means and the detection result of the current obstacle detection means on the display device, the display image and the current image are displayed. By comparing the detection results of the obstacle detection means, the positional relationship between the vehicle and the surrounding obstacles when a past image is captured corresponds to the positional relationship between the current vehicle and the surrounding obstacles. Thus, past images may be corrected and displayed on the display device.

このようにすることによって、より一層適切な運転支援を行うことができる。 By doing so, more appropriate driving assistance can be performed.

また、請求項５に示すように、記憶手段は、撮像手段にて撮像された画像を記憶する場合、車両の位置、車両の向きに加えて、障害物検出手段の検出結果を関連付けて記憶するものであって、表示制御手段は、記憶手段にて記憶された過去の画像と現在の障害物検出手段の検出結果とを表示装置に表示する場合、過去の画像に関連付けられた障害物検出手段の検出結果と現在の障害物検出手段の検出結果とを比較することによって、過去の画像を撮像した際の車両と周囲の障害物との位置関係と、現在の車両と周囲の障害物との位置関係とが対応するように過去の画像を補正して表示装置に表示するようにしてもよい。 According to a fifth aspect of the present invention, when storing the image captured by the imaging unit, the storage unit stores the detection result of the obstacle detection unit in association with the position of the vehicle and the direction of the vehicle. When the display control means displays the past image stored in the storage means and the detection result of the current obstacle detection means on the display device, the obstacle detection means associated with the past image is displayed. By comparing the detection result of the vehicle and the detection result of the current obstacle detection means, the positional relationship between the vehicle and the surrounding obstacles when the past image was captured, and the current vehicle and the surrounding obstacles are compared. The past image may be corrected and displayed on the display device so as to correspond to the positional relationship.

このように、同じ障害物検出手段の過去の検出結果と現在の検出結果とを比較することによって、処理を容易にすることができると共に、より一層正確にズレを抑制することができる。 Thus, by comparing the past detection result and the current detection result of the same obstacle detection means, the processing can be facilitated, and the deviation can be suppressed more accurately.

また、記憶手段にて記憶された過去の画像と障害物検出手段の検出結果とを表示装置に表示する場合、請求項６に示すように、現在の撮像手段にて撮像された画像にかえて、記憶手段にて記憶された過去の画像と障害物検出手段の検出結果とを表示するようにしてもよいし、請求項７に示すように、現在の撮像手段にて撮像された画像と、記憶手段にて記憶された過去の画像と、障害物検出手段の検出結果とを表示するようにしてもよい。 Moreover, when displaying the past image memorize | stored in the memory | storage means and the detection result of an obstruction detection means on a display apparatus, as shown in Claim 6, it replaces with the image imaged by the present imaging means. The past image stored in the storage unit and the detection result of the obstacle detection unit may be displayed. As shown in claim 7, the image captured by the current imaging unit, You may make it display the past image memorize | stored in the memory | storage means and the detection result of an obstruction detection means.

また、請求項８に示すように、表示制御手段は、記憶手段にて記憶された過去の画像と現在の障害物検出手段の検出結果とを比較して、過去の画像において、現在の障害物検出手段の検出結果と一致しない障害物は消去するようにしてもよい。 According to another aspect of the present invention, the display control means compares the past image stored in the storage means with the detection result of the current obstacle detection means, and determines the current obstacle in the past image. Obstacles that do not match the detection result of the detection means may be deleted.

車両の周囲には、常に同じ障害物が存在するとは限らない。そこで請求項８に示すようにすることによって、現在の車両の周囲に存在する障害物のみを車両のユーザーに案内することができるので好ましい。 The same obstacles are not always present around the vehicle. In view of this, it is preferable to provide the vehicle user with only the obstacles existing around the current vehicle by making the configuration shown in claim 8.

また、請求項９に示すように、天気が所定の条件を満たすか否かを判定するために、降雨雪を検出する降雨雪検出装置を備えるようにしてもよい。 Further, as shown in claim 9, in order to determine whether or not the weather satisfies a predetermined condition, a rain / snow detecting device for detecting rain / snow may be provided.

このようにすることによって、自動で天気が所定の条件を満たすか否かを判定することができる。 In this way, it can be automatically determined whether the weather satisfies a predetermined condition.

以下、本発明の実施の形態を図に基づいて説明する。図１は、本発明の実施の形態における車両用運転支援装置１００の概略構成を示すブロック図である。図２は、本発明の実施の形態における車両用運転支援装置１００を搭載した車両のイメージ図である。図３は、本発明の実施の形態における超音波センサ３０の概略構成を示す平面図である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a vehicle driving support apparatus 100 according to an embodiment of the present invention. FIG. 2 is an image diagram of a vehicle on which the vehicle driving support device 100 according to the embodiment of the present invention is mounted. FIG. 3 is a plan view showing a schematic configuration of the ultrasonic sensor 30 according to the embodiment of the present invention.

図１に示すように、本実施の形態における車両用運転支援装置１００は、ナビゲーション装置１０、制御装置２０、超音波センサ３０、カメラ４０、記憶装置５０などを備える。 As shown in FIG. 1, the vehicle driving support device 100 according to the present embodiment includes a navigation device 10, a control device 20, an ultrasonic sensor 30, a camera 40, a storage device 50, and the like.

ナビゲーション装置１０は、位置検出器１１、地図データ入力器１２、操作デバイス１３、表示装置１４、表示画面１４０、スピーカ１５、及びナビゲーション装置１０全体の制御を行うナビ制御回路（図示省略）などを備える。 The navigation device 10 includes a position detector 11, a map data input device 12, an operation device 13, a display device 14, a display screen 140, a speaker 15, and a navigation control circuit (not shown) that controls the navigation device 10 as a whole. .

位置検出器１１（位置検出手段、方向検出手段）は、車両の現在の位置座標（以下、現在いちとも称する）及び車両の向きを検出するための装置として、例えばＧＰＳ（Global Positioning System）受信機、ジャイロスコープ、距離センサ、地磁気センサなどの各種センサを備える。 The position detector 11 (position detection means, direction detection means) is a device for detecting the current position coordinates of the vehicle (hereinafter also referred to as “currently”) and the direction of the vehicle, for example, a GPS (Global Positioning System) receiver. Various sensors such as a gyroscope, a distance sensor, and a geomagnetic sensor are provided.

地図データ入力器１２は、地図表示や経路案内等に用いる道路データ、目印データ、施設データ、背景データ、駐車スペース位置等の道路系データと目的地検索や周辺施設検索等に用いる施設名や電話番号などの検索データ系などの地図データからなる地図データベースを記憶する記憶媒体である。この記憶媒体としては、データの容量や取扱上の点から、書き換え可能なＨＤＤなどからなる。 The map data input device 12 includes road data used for map display, route guidance, etc., road data such as landmark data, facility data, background data, parking space position, and facility names and telephones used for destination search and neighboring facility search. This is a storage medium for storing a map database composed of map data such as a search data system such as a number. The storage medium is a rewritable HDD or the like from the viewpoint of data capacity or handling.

操作デバイス１３は、ユーザーの操作によって目的地の位置情報などを含む目的地情報などの各種情報、及び現在位置から目的地までの案内経路の設定などのナビゲーション装置１０が実行する機能に対応付けられた操作信号などをナビ制御回路に入力するためのものである。また、操作デバイス１３は、表示装置１４と一体に構成され表示画面上に設定されるタッチスイッチ、表示装置１４の表示画面周囲に設けられたプッシュ型のハードスイッチ、表示装置１４の表示画面に表示されたカーソルを多方向に操作することができるジョイスティックなどである。なお、これらのスイッチは、単独で用いるようにしてもよいし、複数のスイッチを併用するようにしてもよい。 The operation device 13 is associated with various types of information such as destination information including destination position information and functions executed by the navigation device 10 such as setting a guide route from the current position to the destination by a user operation. The operation signal is input to the navigation control circuit. Further, the operation device 13 is configured integrally with the display device 14 and is set on a display screen, a push-type hard switch provided around the display screen of the display device 14, and displayed on the display screen of the display device 14. A joystick that can be operated in multiple directions. These switches may be used alone or in combination with a plurality of switches.

表示装置１４は、インパネに設けられるカラー液晶パネルなどのメインモニタ（表示画面１４０）などを備える。この表示装置１４は、地図データ入力器１２に記憶されている地図データなどによって生成される車両周辺の道路地図、後ほど説明するカメラ４０にて撮像された画像、後ほど説明する記憶装置５０に記憶されている画像などを表示する。スピーカ１５は、経路案内や運転支援などの音声を出力するものである。 The display device 14 includes a main monitor (display screen 140) such as a color liquid crystal panel provided on the instrument panel. The display device 14 is stored in a road map around the vehicle generated by map data stored in the map data input device 12, an image captured by a camera 40 described later, and a storage device 50 described later. The image that is being displayed is displayed. The speaker 15 outputs sound such as route guidance and driving assistance.

なお、ナビ制御回路は、マイクロコンピュータを主体として構成されるもので、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭなどのメモリやインターフェース回路あるいはデータ転送用のバスラインを備えている。そして、ナビ制御回路は、操作デバイス１３からの操作信号、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭなどに記憶されるプログラムによって目的地の設定、案内経路の設定、設定した案内経路に基づく経路案内などを行う。 The navigation control circuit is composed mainly of a microcomputer, and includes a memory such as a ROM, a RAM, and an EEPROM, an interface circuit, or a data transfer bus line. Then, the navigation control circuit performs destination setting, guide route setting, route guidance based on the set guide route, and the like by an operation signal from the operation device 13, a program stored in ROM, RAM, EEPROM, or the like.

制御装置２０（表示制御手段）は、マイクロコンピュータを主体として構成されるもので、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭなどのメモリやインターフェース回路あるいはデータ転送用のバスラインを備えている。そして、制御装置２０は、ナビゲーション装置１０などからの信号に基づいて、カメラ４０で撮像された画像を表示装置１４に表示することによって運転支援などを行うものである。なお、制御装置２０の処理動作に関しては、後ほど詳しく説明する。 The control device 20 (display control means) is composed mainly of a microcomputer, and includes a memory such as a ROM, a RAM, and an EEPROM, an interface circuit, or a bus line for data transfer. And the control apparatus 20 performs a driving assistance etc. by displaying the image imaged with the camera 40 on the display apparatus 14 based on the signal from the navigation apparatus 10 grade | etc.,. The processing operation of the control device 20 will be described in detail later.

超音波センサ３０（障害物検出手段）は、車両の周囲（後方）の障害物を検出するものであり、図２に示すように、車両のリヤバンパーなどに搭載されるものである。また、超音波センサ３０は、図３に示すように、１個の送信素子（送信部）３０１と４個の受信素子（受信部）３０２ａ〜３０２ｄとをアレイ化して同一の半導体基板に集積化されている。 The ultrasonic sensor 30 (obstacle detection means) detects an obstacle around (rearward) the vehicle, and is mounted on a rear bumper of the vehicle as shown in FIG. Further, as shown in FIG. 3, the ultrasonic sensor 30 is formed by integrating one transmission element (transmission unit) 301 and four reception elements (reception units) 302a to 302d on the same semiconductor substrate. Has been.

ここで、図４（ａ）〜（ｃ）により、超音波センサ３０による障害物の検出原理を説明する。尚、図４（ａ）〜（ｃ）では、図３に示す超音波センサ３０の送信素子３０１を地面に対して上側にして、受信素子３０２ａ〜３０２ｄを下側にして、垂直に保持して使用することを想定している。 Here, the principle of obstacle detection by the ultrasonic sensor 30 will be described with reference to FIGS. In FIGS. 4A to 4C, the transmitting element 301 of the ultrasonic sensor 30 shown in FIG. 3 is set on the upper side and the receiving elements 302a to 302d are set on the lower side, and held vertically. It is assumed to be used.

図４（ａ）は、地面に平行なＸ−Ｙ面内において、超音波センサ３０の受信素子３０２ａ，３０２ｂと、障害物２００で反射され受信素子３０２ａ，３０２ｂに入射する超音波の状態を模式的に示した図である。図４（ｂ）は、地面に垂直な面内において、超音波センサ３０の受信素子３０２ａ，３０２ｃと、障害物２００で反射され受信素子３０２ａ，３０２ｃに入射する超音波の状態を模式的に示した図である。図４（ｃ）は、超音波センサ３０の送信素子３０１の発信する超音波の交流パルス信号と４個の受信素子３０２ａ〜３０２ｄの受信する超音波の交流パルス信号のタイムチャートを、模式的に示した図である。 FIG. 4A schematically illustrates a state of ultrasonic waves reflected by the receiving elements 302a and 302b of the ultrasonic sensor 30 and incident on the receiving elements 302a and 302b in the XY plane parallel to the ground. FIG. FIG. 4B schematically shows a state of ultrasonic waves that are reflected by the obstacle 200 and incident on the receiving elements 302a and 302c in the plane perpendicular to the ground. It is a figure. FIG. 4C schematically shows a time chart of an ultrasonic AC pulse signal transmitted from the transmitting element 301 of the ultrasonic sensor 30 and an ultrasonic AC pulse signal received by the four receiving elements 302a to 302d. FIG.

図４（ａ）に示す地面に平行なＸ−Ｙ面内における障害物２００までの距離Ｄｘは、図３に示す上側にある２つの受信素子３０２ａ，３０２ｂを用いて、図４（ｃ）に示す送信素子３０１の送信信号（送信）と受信素子３０２ａ，３０２ｂの受信信号（受信１，受信２）の平均時間値の時間差から演算することができる。 The distance Dx to the obstacle 200 in the XY plane parallel to the ground shown in FIG. 4A is shown in FIG. 4C using the two receiving elements 302a and 302b on the upper side shown in FIG. It can be calculated from the time difference between the average time values of the transmission signal (transmission) of the transmission element 301 shown and the reception signals (reception 1 and reception 2) of the reception elements 302a and 302b.

図４（ａ）に示す地面に平行なＸ−Ｙ面内におけるＸ軸に対する障害物２００の方位角θｘは、図３の上側にある２つの受信素子３０２ａ，３０２ｂを用いて、図４（ｃ）に示す受信素子３０２ａの信号（受信１）と受信素子３０２ｂの信号（受信２）の位相差から演算することができる。 The azimuth angle θx of the obstacle 200 with respect to the X axis in the XY plane parallel to the ground shown in FIG. 4A is obtained by using the two receiving elements 302a and 302b on the upper side of FIG. The phase difference between the signal of the reception element 302a (reception 1) and the signal of the reception element 302b (reception 2) shown in FIG.

同様にして、図４（ｂ）に示す地面に垂直な面内における障害物２００までの距離Ｄｚは、図３の左側にある２つの受信素子３０２ａ，３０２ｃを用いて、図４（ｃ）に示す送信素子３０１の送信信号（送信）と受信素子３０２ａ，３０２ｃの受信信号（受信１，受信３）の平均時間値の時間差から演算することができる。 Similarly, the distance Dz to the obstacle 200 in the plane perpendicular to the ground shown in FIG. 4B is shown in FIG. 4C using the two receiving elements 302a and 302c on the left side of FIG. It can be calculated from the time difference between the average time values of the transmission signal (transmission) of the transmission element 301 shown and the reception signals (reception 1, reception 3) of the reception elements 302a and 302c.

図４（ｂ）に示す地面に平行な垂直な面内における地面に水平な面に対する障害物２００の方位角θｚは、図２に示す左側にある２つの受信素子３０２ａ，３０２ｃを用いて、図４（ｃ）に示す受信素子３０２ａの信号（受信１）と受信素子３０２ｃの信号（受信３）の位相差から演算することができる。 The azimuth angle θz of the obstacle 200 with respect to a plane parallel to the ground in a vertical plane parallel to the ground shown in FIG. 4B is shown by using the two receiving elements 302a and 302c on the left side shown in FIG. It can be calculated from the phase difference between the signal of the receiving element 302a (receiving 1) and the signal of the receiving element 302c (receiving 3) shown in 4 (c).

このように、本実施形態における超音波センサ３０によれば、上記の距離Ｄｘ，Ｄｚと方位θｘ，θｚより、超音波センサ３０に対する障害物２００の距離と方位を定めることができる。 Thus, according to the ultrasonic sensor 30 in the present embodiment, the distance and direction of the obstacle 200 with respect to the ultrasonic sensor 30 can be determined from the distances Dx and Dz and the directions θx and θz.

また、受信素子３０２ａ〜３０２ｄの多アレイ化もしくは車の動きにより障害物２００の形状を認識する。 Further, the shape of the obstacle 200 is recognized by increasing the number of receiving elements 302a to 302d or by moving the vehicle.

なお、本実施の形態においては、車両の周囲（後方）の障害物を検出する検出器として超音波センサ３０を採用する例を用いて説明するが、本発明はこれに限定されるものではない。障害物を検出する検出器としては、上述したセンサ以外に、例えばレーザ光を用いたレーザレーダセンサやミリ波を用いたミリ波センサ等を用いても良い。これらのセンサは、レーザ光やミリ波を放射してから、その放射したレーザ光やミリ波による反射波を受信するまでの時間によって反射物までの距離を検出するものである。さらに、所定の角度範囲を走査するように、複数のレーザ光やミリ波を放射することにより、その照射角度と距離とに基づいて、自車両に対する相対位置関係を求めることができる。 In the present embodiment, an example in which the ultrasonic sensor 30 is employed as a detector for detecting obstacles around (rear) the vehicle will be described, but the present invention is not limited to this. . As a detector for detecting an obstacle, for example, a laser radar sensor using a laser beam, a millimeter wave sensor using a millimeter wave, or the like may be used in addition to the sensor described above. These sensors detect the distance to the reflecting object according to the time from when the laser beam or millimeter wave is emitted to when the reflected laser beam or millimeter wave is received. Furthermore, by emitting a plurality of laser beams and millimeter waves so as to scan a predetermined angle range, the relative positional relationship with respect to the host vehicle can be obtained based on the irradiation angle and distance.

また、近距離を超音波センサにて検出し、遠距離をレーダ手段（レーザ発生素子若しくはミリ波発生素子と、レーザ検出素子若しくはミリ波検出素子）にて検出するようにしてもよい。このようにすると、広い範囲において障害物を検出することができる。 Further, the short distance may be detected by an ultrasonic sensor, and the long distance may be detected by a radar means (laser generation element or millimeter wave generation element and laser detection element or millimeter wave detection element). In this way, obstacles can be detected in a wide range.

カメラ４０（撮像手段）は、カラー画像を撮像し、アナログ／デジタル変換された画像データを生成するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構、ＣＣＤ撮像素子などを備えている。また、カメラ４０は、車両の後方に取り付けられて、車両後方を撮像するものである。より具体的には、カメラ４０は、車両のうち、車幅方向（車両座標系のＹ軸方向）の略中央位置に、光軸を下方に向けて取り付けられている。そして、駐車場などに車両を駐車しようとした際に、このカメラ４０にて撮像された車両後方の画像（障害物などを含む車両周囲の情報）を表示装置１４（表示画面１４０）に表示することによって、ドライバーの運転を支援するものである。 The camera 40 (imaging means) is a digital camera that captures a color image and generates analog / digital converted image data, and includes an optical mechanism including a wide angle lens, a mirror, and the like, a CCD image sensor, and the like. Yes. The camera 40 is attached to the rear of the vehicle and images the rear of the vehicle. More specifically, the camera 40 is attached to a substantially central position in the vehicle width direction (Y-axis direction of the vehicle coordinate system) of the vehicle with the optical axis facing downward. When the vehicle is to be parked in a parking lot or the like, an image behind the vehicle (information about the vehicle including obstacles) captured by the camera 40 is displayed on the display device 14 (display screen 140). By doing so, it helps the driver to drive.

記憶装置５０は、制御装置２０内で取り扱うデータなどを必要に応じて記憶しておくためのもので、例えば、後ほど説明する、天気が所定の条件を満たす場合に撮像した画像と、その画像を撮像した際の車両の位置と、その画像を撮像した際の車両の向きとを関連付けて記憶される。なお、記憶装置５０の記憶媒体としては、例えばハードディスク、ＥＥＰＲＯＭなどの不揮発性メモリユニット、記憶可能なＩＣカードなどを用いる。 The storage device 50 stores data handled in the control device 20 as necessary. For example, an image captured when the weather satisfies a predetermined condition, which will be described later, and the image are stored. The position of the vehicle when the image is taken and the direction of the vehicle when the image is taken are stored in association with each other. As the storage medium of the storage device 50, for example, a hard disk, a nonvolatile memory unit such as an EEPROM, a storable IC card, or the like is used.

ここで、本実施の形態における車両用運転支援装置１００の処理動作に関して説明する。図５は、本発明の実施の形態における車両用運転支援装置１００の記憶処理動作を示すフロー図である。図６は、本発明の実施の形態における車両用運転支援装置１００の表示処理動作を示すフロー図である。図７（ａ）〜（ｃ）は、本発明の実施の形態における表示装置１４（表示画面１４０）の表示例を示すイメージ図である。 Here, the processing operation of the vehicle driving support apparatus 100 in the present embodiment will be described. FIG. 5 is a flowchart showing the storage processing operation of the vehicle driving support apparatus 100 according to the embodiment of the present invention. FIG. 6 is a flowchart showing the display processing operation of the vehicle driving support apparatus 100 according to the embodiment of the present invention. 7A to 7C are image diagrams showing display examples of the display device 14 (display screen 140) according to the embodiment of the present invention.

本実施の形態における車両用運転支援装置１００の特徴的な処理動作は、記憶処理動作と、表示処理動作の二つがある。 There are two characteristic processing operations of the vehicle driving support apparatus 100 in the present embodiment: a storage processing operation and a display processing operation.

まず、図５を用いて車両用運転支援装置１００の記憶処理動作に関して説明する。図５に示すフローは、車両用運転支援装置１００に電源供給がなされるとスタートするものである。 First, the storage processing operation of the vehicle driving support apparatus 100 will be described with reference to FIG. The flow shown in FIG. 5 starts when power is supplied to the vehicle driving support apparatus 100.

図５のステップＳ１０では、制御装置２０は、画像の記憶を開始するか否かを判定し、記憶開始と判定した場合はステップＳ１１へ進み、記憶開始でないと判定した場合はステップＳ１０での処理を繰り返す。 In step S10 of FIG. 5, the control device 20 determines whether or not to start image storage. If it is determined to start storage, the process proceeds to step S11. If it is determined that storage is not started, the process in step S10 is performed. repeat.

車両用運転支援装置１００は、駐車場などに車両をバックで駐車しようとした際に、カメラ４０にて撮像された車両後方の画像を表示装置１４（表示画面１４０）に表示することによって運転支援を行うものである。ところが、天気が所定の条件を満たさない場合（例えば、降雨、降雪時など）は、カメラ４０のレンズもしくはレンズカバーなどに雨や雪などが付着する。このようなときにカメラ４０で撮像された画像を表示装置１４（表示画面１４０）に表示すると、レンズもしくはレンズカバーなどに付着した雨や雪などの影響で画像が見づらいことがある。 The vehicle driving support device 100 displays driving images captured by the camera 40 on the display device 14 (display screen 140) when the vehicle is parked in a parking lot or the like. Is to do. However, when the weather does not satisfy a predetermined condition (for example, during rain or snow), rain or snow adheres to the lens of the camera 40 or the lens cover. When an image captured by the camera 40 at this time is displayed on the display device 14 (display screen 140), the image may be difficult to see due to rain or snow attached to the lens or the lens cover.

そこで、車両用運転支援装置１００は、天気が所定の条件を満たす場合（例えば、晴天時など）に撮像した車両後方の画像を予め記憶しておく。そして、天気が所定の条件を満たさないときに駐車場などに車両をバックで駐車しようとした場合は、その予め記憶しておいた画像（以下、過去の画像とも称する）を表示装置１４（表示画面１４０）に表示するものである。 Therefore, the vehicle driving support apparatus 100 stores in advance an image behind the vehicle that is captured when the weather satisfies a predetermined condition (for example, when the weather is fine). If the vehicle is to be parked back in a parking lot or the like when the weather does not satisfy a predetermined condition, the image stored in advance (hereinafter also referred to as a past image) is displayed on the display device 14 (display). Screen 140).

したがって、ステップＳ１０は、ユーザーへの運転支援を必要とするような場所（例えば、駐車場など）に車両があり、かつ、天気が所定の条件を満たす場合（例えば、晴天時など）の車両後方の画像の記憶を開始するか否かを判定するものである。そこで、制御装置２０は、記憶開始条件に基づいて記憶開始か否かを判定する。 Therefore, step S10 is the rear of the vehicle when there is a vehicle in a place (for example, a parking lot) that requires driving assistance to the user and the weather satisfies a predetermined condition (for example, when the weather is fine). It is determined whether or not to start storing the image. Therefore, the control device 20 determines whether or not to start storage based on the storage start condition.

この記憶開始条件は、例えば、ユーザーからの指示があったことを条件としてもよい。つまり、制御装置２０は、ユーザーによって操作される操作デバイス１３や図示しない記憶開始指示ボタンから記憶開始を示す操作信号が出力された場合は、運転支援が必要であり天気が所定の条件を満たすとみなして記憶開始と判定し、記憶開始を示す操作信号が出力されてない場合は記憶開始でないと判定する。このようにすることによって、ユーザーが適切であると判断したときに車両後方の画像の記憶（撮像）を開始することができる。つまり、ユーザーが適切であると判断したときの車両後方の画像を記憶（撮像）することができる。 The storage start condition may be, for example, a condition that there is an instruction from the user. That is, when an operation signal indicating the start of storage is output from the operation device 13 operated by the user or a storage start instruction button (not shown), the control device 20 requires driving support and the weather satisfies a predetermined condition. Accordingly, it is determined that the storage is started, and when the operation signal indicating the storage start is not output, it is determined that the storage is not started. By doing in this way, when the user judges that it is appropriate, the storage (imaging) of the image behind the vehicle can be started. That is, it is possible to store (capture) an image behind the vehicle when it is determined that the user is appropriate.

また、記憶開始条件の他の例としては、車両が同じ位置に駐車した回数が所定回数以上で、かつ天気が所定の条件を満たすことを条件としてもよい。この場合、車両用運転支援装置１００（制御装置２０）は、車両が同じ位置に駐車した回数をカウントするカウンタと、天気が所定の条件を満たすか否かを判定するための降雨雪を検出する降雨雪検出装置もしくは天気情報を受信可能な通信装置とを備える。つまり、制御装置２０は、カウンタの値（車両が同じ位置に駐車した回数）が所定値以上で、降雨雪検出装置もしくは通信装置からの信号によって天気が所定の条件（例えば、晴天など）を満たすとみなした場合は記憶開始と判定し、そうでない場合は記憶開始でないと判定する。このようにすることによって、自動で車両後方の画像の記憶を開始することができるので、ユーザーによる操作を省くことができる。また、降雨雪を検出する降雨雪検出装置もしくは天気情報を受信可能な通信装置を備えることによって、自動で天気が所定の条件（例えば、晴天など）を満たすか否かを判定することができる。 As another example of the storage start condition, the number of times the vehicle is parked at the same position may be a predetermined number of times or more, and the weather may satisfy a predetermined condition. In this case, the vehicle driving support device 100 (the control device 20) detects a counter that counts the number of times the vehicle is parked at the same position, and rain and snow for determining whether the weather satisfies a predetermined condition. A rain / snow detection device or a communication device capable of receiving weather information. That is, the control device 20 has a counter value (the number of times the vehicle is parked at the same position) that is equal to or greater than a predetermined value, and the weather satisfies a predetermined condition (for example, clear sky) by a signal from the rain / snow detection device or the communication device. Is determined to be the start of storage, otherwise it is determined that the storage is not started. By doing so, it is possible to automatically start storing an image behind the vehicle, so that the operation by the user can be omitted. Further, by providing a rain / snow detecting device for detecting rain / snow or a communication device capable of receiving weather information, it is possible to automatically determine whether or not the weather satisfies a predetermined condition (for example, clear sky).

図５のステップＳ１１では、制御装置２０は、カメラ４０での撮像を開始し、撮像した画像（つまり、天気が所定の条件を満たす場合の画像）と、位置検出器１１によって検出された車両の位置、向きとを関連付けて記憶装置５０に記憶する。この記憶装置５０に記憶する情報のうち車両の位置と向きは、上述のように過去の画像を表示装置１４（表示画面１４０）に表示しようとした場合に、現在の位置に対応する過去の画像を抽出するための検索キーとして記憶するものである。このように車両の位置、向き、画像を関連付けて記憶装置５０に記憶しておくことによって、過去の画像を表示装置１４（表示画面１４０）に表示しようとした場合に、現在の位置に対応する過去の画像を抽出することができる。 In step S11 of FIG. 5, the control device 20 starts imaging with the camera 40, and the captured image (that is, an image when the weather satisfies a predetermined condition) and the vehicle detected by the position detector 11 are displayed. The position and orientation are associated with each other and stored in the storage device 50. Of the information stored in the storage device 50, the position and orientation of the vehicle are the past image corresponding to the current position when the past image is to be displayed on the display device 14 (display screen 140) as described above. Is stored as a search key for extracting. Thus, by storing the vehicle position, orientation, and image in association with each other in the storage device 50, when a past image is to be displayed on the display device 14 (display screen 140), it corresponds to the current position. Past images can be extracted.

そして、図５に示すステップＳ１２では、制御装置２０は、記憶を終了するか否かを判定して、記憶を終了すると判定した場合はステップＳ１０に戻り、記憶を終了しないと判定した場合はステップＳ１２での処理を繰り返す。この記憶を終了するか否かの判定は、ユーザーからの指示があったか否か、もしくは、車両が駐車したか否かなどによって判定するものである。つまり制御装置２０は、ユーザーによって操作される操作デバイス１３や図示しない記憶終了指示ボタンから記憶の終了を示す操作信号が出力された場合は記憶を終了すると判定し、記憶の終了を示す操作信号が出力されない場合は記憶を終了しないと判定する。もしくは、制御装置２０は、図示しないシフトレバーがパーキングの位置になったり、図示しないイグニッションスイッチがＩＧの位置から遷移したりした場合は車両が駐車したとみなして記憶を終了すると判定し、そうでない場合は車両が駐車していないとみなして記憶を終了しないと判定する。 Then, in step S12 shown in FIG. 5, the control device 20 determines whether or not to end the storage. If it is determined that the storage is to be ended, the control device 20 returns to step S10. The process in S12 is repeated. The determination as to whether or not to end the storage is based on whether there is an instruction from the user or whether the vehicle is parked. That is, when an operation signal indicating the end of storage is output from the operation device 13 operated by the user or a storage end instruction button (not shown), the control device 20 determines that the storage is ended, and an operation signal indicating the end of storage is received. If it is not output, it is determined that the storage is not terminated. Alternatively, the control device 20 determines that the vehicle is parked when the shift lever (not shown) is in the parking position, or the ignition switch (not shown) transitions from the IG position, and terminates the storage. In this case, it is determined that the vehicle is not parked and the storage is not terminated.

次に、図６及び図７を用いて車両用運転支援装置１００の表示処理動作に関して説明する。図６に示すフローは、車両用運転支援装置１００に電源供給がなされるとスタートするものである。 Next, the display processing operation of the vehicle driving support apparatus 100 will be described with reference to FIGS. 6 and 7. The flow shown in FIG. 6 starts when power is supplied to the vehicle driving support apparatus 100.

図６に示すステップＳ２０では、制御装置２０は、運転支援を開始するか否かを判定し、運転支援を開始と判定した場合はステップＳ２１へ進み、運転支援を開始しないと判定した場合はステップＳ２０での処理を繰り返す。このとき制御装置２０は、ユーザーによって操作される操作デバイス１３や図示しない支援開始指示ボタンから運転支援の開始を示す操作信号が出力された場合は運転支援を開始と判定し、運転支援の開始を示す操作信号が出力さない場合は運転支援を開始しないと判定する。このようにすることによって、ユーザーが必要とするときに運転支援を行うことができる。 In step S20 illustrated in FIG. 6, the control device 20 determines whether or not to start driving support. When it is determined that driving support is started, the control device 20 proceeds to step S21, and when it is determined that driving support is not started, the control device 20 performs step. The process in S20 is repeated. At this time, if an operation signal indicating the start of driving support is output from the operation device 13 operated by the user or a support start instruction button (not shown), the control device 20 determines that driving support is started and starts driving support. When the indicated operation signal is not output, it is determined that driving assistance is not started. In this way, driving assistance can be performed when the user needs it.

なお、運転支援を開始するか否かの判定は、自動で行ってもよい。つまり、車両用運転支援装置１００は、駐車場などに車両をバックで駐車しようとした際に、カメラ４０にて撮像された車両後方の画像を表示装置１４（表示画面１４０）に表示するか、もしくは、過去の画像を表示装置１４（表示画面１４０）に表示することによって運転支援を行うものである。したがって、制御装置２０は、図示しないシフトレバーの位置がバックになったか否かを検出し、シフトレバーの位置がバックになった場合は運転支援を開始と判定し、そうでない場合は運転支援を開始しないと判定する。このようにすることによって、自動で運転支援を開始することができるので、ユーザーによる操作を省くことができる。 Note that the determination of whether to start driving support may be performed automatically. That is, when the vehicle driving support device 100 tries to park the vehicle behind in a parking lot or the like, the vehicle driving assistance device 100 displays an image of the rear of the vehicle captured by the camera 40 on the display device 14 (display screen 140). Alternatively, driving assistance is performed by displaying past images on the display device 14 (display screen 140). Therefore, the control device 20 detects whether or not the position of the shift lever (not shown) is in the back, and determines that the driving support is started when the position of the shift lever is in the back, and otherwise supports the driving. Determine not to start. By doing so, the driving assistance can be automatically started, so that the operation by the user can be omitted.

図６に示すステップＳ２１では、制御装置２０は、天気が所定の条件を満たすか否かを判定して、天気が所定の条件を満たすと判定した場合はステップＳ２２へ進み、天気が所定の条件を満たさないと判定した場合はステップＳ２４へ進む。これは、カメラ４０で撮像した現在の画像を表示装置１４（表示画面１４０）に表示することによって運転支援を行うか（条件を満たす場合で、例えば晴天時）、もしくは、過去の画像を表示装置１４（表示画面１４０）に表示することによって運転支援を行うか（条件を満たさない場合で、例えば降雨、降雪時など）を判定するためである。 In step S21 shown in FIG. 6, the control device 20 determines whether or not the weather satisfies a predetermined condition, and if it is determined that the weather satisfies the predetermined condition, the process proceeds to step S22. If it is determined that the condition is not satisfied, the process proceeds to step S24. This is because driving assistance is performed by displaying the current image captured by the camera 40 on the display device 14 (display screen 140) (when the condition is satisfied, for example, in fine weather), or past images are displayed on the display device. This is because it is determined whether or not driving assistance is performed by displaying the information on the display 14 (display screen 140) (when the condition is not satisfied, for example, during rain or snow).

このとき制御装置２０は、ユーザーによって操作される操作デバイス１３や図示しない支援開始指示ボタンから過去の画像による運転支援の開始を示す操作信号が出力された場合は天気が所定の条件を満たさないと判定し、過去の画像による運転支援の開始を示す操作信号が出力されない場合は天気が所定の条件を満たすと判定する。このようにすることによって、ユーザーが必要とする運転支援（現在の画像を表示するか、もしくは、過去の画像を表示する）を行うことができる。 At this time, if the operation signal indicating the start of driving assistance based on a past image is output from the operation device 13 operated by the user or the assistance start instruction button (not shown), the control device 20 must determine that the weather does not satisfy a predetermined condition. If the operation signal indicating the start of driving assistance based on past images is not output, it is determined that the weather satisfies a predetermined condition. In this way, it is possible to perform driving assistance (displaying the current image or displaying the past image) required by the user.

なお、天気が所定の条件を満たすか否かを判定する場合、降雨雪を検出する降雨雪検出装置もしくは天気情報を受信可能な通信装置からの信号に基づいて行うようにしてもよい。このようにすることによって、自動で現在の天気に適した運転支援（現在の画像を表示するか、もしくは、過去の画像を表示する）を行うことができる。 When determining whether the weather satisfies a predetermined condition, it may be performed based on a signal from a rain / snow detection device that detects rain / snow or a communication device capable of receiving weather information. By doing so, it is possible to automatically perform driving support suitable for the current weather (display the current image or display the past image).

図６のステップＳ２２では、制御装置２０は、天気が所定の条件を満たす場合の運転支援を行う。つまり、制御装置２０は、カメラ４０にて撮像しつつ、その撮像された現在の画像を表示装置１４（表示画面１４０）に表示することによって運転支援を行う。 In step S22 of FIG. 6, the control device 20 performs driving support when the weather satisfies a predetermined condition. That is, the control device 20 performs driving support by displaying the captured current image on the display device 14 (display screen 140) while capturing the image with the camera 40.

そして、図６のステップＳ２３では、制御装置２０は、運転支援を終了するか否かを判定して、運転支援を終了すると判定した場合はステップＳ２０に戻り、運転支援を終了しないと判定した場合はステップＳ２２での処理を繰り返す。この運転支援を終了するか否かの判定は、ユーザーからの指示があったか否か、もしくは、車両が駐車したか否かなどによって判定するものである。つまり制御装置２０は、ユーザーによって操作される操作デバイス１３や図示しない支援終了指示ボタンから運転支援の終了を示す操作信号が出力された場合は運転支援を終了すると判定し、運転支援の終了を示す操作信号が出力されない場合は運転支援を終了しないと判定する。もしくは、制御装置２０は、図示しないシフトレバーがパーキングの位置になったり、図示しないイグニッションスイッチがＩＧの位置から遷移したりした場合は車両が駐車したとみなして運転支援を終了すると判定し、そうでない場合は車両が駐車していないとみなして運転支援を終了しないと判定する。 Then, in step S23 of FIG. 6, the control device 20 determines whether or not to end the driving support, and returns to step S20 when it is determined that the driving support is ended, and when it is determined not to end the driving support. Repeats the process in step S22. The determination as to whether or not to end the driving support is based on whether or not there is an instruction from the user or whether or not the vehicle is parked. That is, when an operation signal indicating the end of driving support is output from the operation device 13 operated by the user or a support end instruction button (not shown), the control device 20 determines that driving support ends and indicates the end of driving support. When the operation signal is not output, it is determined that the driving support is not finished. Alternatively, when the shift lever (not shown) is in the parking position or the ignition switch (not shown) is shifted from the IG position, the control device 20 determines that the vehicle is parked and ends the driving support. If not, it is determined that the vehicle is not parked and driving assistance is not terminated.

図６のステップＳ２４以降では、制御装置２０は、天気が所定の条件を満たさない場合の運転支援を行う。まず、ステップＳ２４では、制御装置２０は、位置検出器１１によって現在の車両の位置、向きを検出する。そして、ステップＳ２５では、制御装置２０は、記憶装置５０から現在の車両の位置、向きに対応する過去の画像を抽出する。 In step S24 and subsequent steps in FIG. 6, the control device 20 performs driving support when the weather does not satisfy a predetermined condition. First, in step S <b> 24, the control device 20 detects the current position and orientation of the vehicle by the position detector 11. In step S25, the control device 20 extracts a past image corresponding to the current position and orientation of the vehicle from the storage device 50.

ステップＳ２６では、制御装置２０は、超音波センサ３０を作動させる。これは、過去の画像を表示装置１４（表示画面１４０）に表示する際に、過去の画像を撮像した際にはなくて現在の車両の周囲にはある障害物を表示装置１４（表示画面１４０）に表示するためである。さらに、過去の画像を撮像した際の車両と周囲の障害物との位置関係と、現在の車両と周囲の障害物との位置関係とが対応するように過去の画像を補正するためである。換言すると、過去の画像を表示装置１４（表示画面１４０）に表示する際に、現在の車両と周囲の障害物との位置関係に合うように過去の画像を補正するためである。ステップＳ２７では、制御装置２０は、カメラ４０によって撮像を開始する。 In step S <b> 26, the control device 20 activates the ultrasonic sensor 30. This is because when past images are displayed on the display device 14 (display screen 140), obstacles around the current vehicle are displayed on the display device 14 (display screen 140) rather than when past images are captured. ). Furthermore, this is because the past image is corrected so that the positional relationship between the vehicle and the surrounding obstacle when the past image is captured corresponds to the positional relationship between the current vehicle and the surrounding obstacle. In other words, when displaying past images on the display device 14 (display screen 140), the past images are corrected so as to match the positional relationship between the current vehicle and surrounding obstacles. In step S <b> 27, the control device 20 starts imaging with the camera 40.

ステップＳ２８では、制御装置２０は、カメラ４０にて撮像した現在の画像に過去の画像を重ね合わせる。このとき、制御装置２０は、過去の画像に関連付けられた車両の位置、向きと、ステップＳ２４で検出した現在の車両の位置、向きとによって、現在の車両の位置、向きに合うように過去の画像を補正（変換）する。さらに、制御装置２０は、超音波センサ３０によって検出した障害物の形状（検出結果）と、過去の画像を画像処理にすることによって得た障害物の形状とを比較する。そして、制御装置２０は、この比較結果によって同一の障害物（特徴点）と推測される障害物（特徴点）同士のズレ量を算出し、このズレ量に基づいて過去の画像を補正（変換）する。つまり、制御装置２０は、超音波センサ３０で得た障害物（特徴点）の形状と、過去の画像で得た障害物（特徴点）の形状とを重ね合わせるように過去の画像を補正（変換）する。 In step S <b> 28, the control device 20 superimposes the past image on the current image captured by the camera 40. At this time, the control device 20 uses the vehicle position and orientation associated with the past image and the current vehicle position and orientation detected in step S24 to match the past vehicle position and orientation. Correct (convert) the image. Further, the control device 20 compares the shape of the obstacle (detection result) detected by the ultrasonic sensor 30 with the shape of the obstacle obtained by performing image processing on a past image. Then, the control device 20 calculates a deviation amount between obstacles (feature points) that are estimated to be the same obstacle (feature point) based on the comparison result, and corrects (converts) past images based on the deviation amount. ) That is, the control device 20 corrects the past image so that the shape of the obstacle (feature point) obtained by the ultrasonic sensor 30 and the shape of the obstacle (feature point) obtained from the past image are superimposed ( Convert.

換言すると、制御装置２０は、ナビゲーション装置１０から得た情報に基づいて、ある程度現在の車両と周囲の障害物との位置関係に合うように過去の画像を補正（変換）し、さらに、超音波センサ３０の検出結果と過去の画像とによって、より一層正確に現在の車両と周囲の障害物との位置関係に合うように過去の画像を補正（変換）する。 In other words, the control device 20 corrects (converts) past images so as to match the positional relationship between the current vehicle and the surrounding obstacles to some extent based on the information obtained from the navigation device 10, and further, the ultrasonic wave Based on the detection result of the sensor 30 and the past image, the past image is corrected (converted) so as to more accurately match the positional relationship between the current vehicle and the surrounding obstacles.

ステップＳ２９では、制御装置２０は、現在の車両の後方に過去の画像にない障害物があるか否かを判定し、障害物があると判定した場合はステップＳ３０へ進み、障害物がないと判定した場合はステップＳ３２へ進む。つまり、制御装置２０は、ステップＳ２８での超音波センサ３０によって検出した障害物の形状（検出結果）と、過去の画像を画像処理にすることによって得た障害物の形状との比較結果に基づいて、現在の車両の後方に過去の画像にない障害物があるか否かを判定する。 In step S29, the control device 20 determines whether there is an obstacle that is not in the past image behind the current vehicle. If it is determined that there is an obstacle, the process proceeds to step S30, and there is no obstacle. When it determines, it progresses to step S32. That is, the control device 20 is based on the comparison result between the shape (detection result) of the obstacle detected by the ultrasonic sensor 30 in step S28 and the shape of the obstacle obtained by converting the past image into image processing. Then, it is determined whether there is an obstacle that is not in the past image behind the current vehicle.

ステップＳ３０では、制御装置２０は、天気が所定の条件を満たさない場合の運転支援を行う。つまり、制御装置２０は、過去の画像と超音波センサ３０にて検出された障害物とを現在のカメラ４０で撮像した画像に重ねた状態で表示装置１４（表示画面１４０）に表示することによって運転支援を行う。 In step S30, the control device 20 performs driving support when the weather does not satisfy a predetermined condition. That is, the control device 20 displays the past image and the obstacle detected by the ultrasonic sensor 30 on the display device 14 (display screen 140) in a state where the image is captured by the current camera 40. Provide driving assistance.

より具体的に説明すると、図７（ａ）は、天気が所定の条件を満たしているときに撮像した過去の画像を表示装置１４の表示画面１４０に表示した場合のイメージ図である。このように天気が所定の条件をみたしている場合、表示画面１４０に表示される車両の後方にある縁石２１０やポスト２２０などの障害物は見やすい状態である。 More specifically, FIG. 7A is an image diagram when a past image captured when the weather satisfies a predetermined condition is displayed on the display screen 140 of the display device 14. In this way, when the weather meets a predetermined condition, obstacles such as the curb 210 and the post 220 on the rear of the vehicle displayed on the display screen 140 are easy to see.

一方、図７（ｂ）は、同じ場所における天気が所定の条件を満たしていないときにカメラ４０で撮像した画像を表示装置１４の表示画面１４０に表示した場合のイメージ図である。このように天気が所定の条件を満たしていない場合、カメラ４０で撮像されて表示画面１４０に表示される車両の後方にある縁石２１０やポスト２２０などの障害物は、レンズやレンズフードなどに付着した雨や雪によって見づらい状態である。したがって、ドライバーは、車両と周囲の障害物との位置関係が確認しづらいものである。 On the other hand, FIG. 7B is an image diagram when the image captured by the camera 40 is displayed on the display screen 140 of the display device 14 when the weather at the same place does not satisfy the predetermined condition. In this way, when the weather does not satisfy the predetermined condition, obstacles such as the curbstone 210 and the post 220 on the rear side of the vehicle that are captured by the camera 40 and displayed on the display screen 140 adhere to the lens or the lens hood. It is difficult to see due to rain and snow. Therefore, it is difficult for the driver to confirm the positional relationship between the vehicle and the surrounding obstacles.

図７（ｃ）は、過去の画像と超音波センサ３０にて検出された障害物とを表示装置１４の表示画面１４０に表示した場合のイメージ図である。このようにすることによって、車両の周囲の障害物（縁石２１０やポスト２２０などの）を過去の画像を用いて見やすい状態で表示画面１４０に表示しつつ、過去の画像にない現在の車両の周囲の障害物（新たな障害物２３０）を表示画面１４０に表示して運転支援を行うことができる。換言すると、過去の画像を背景画像として、過去の画像にない現在の車両の周囲の障害物（新たな障害物２３０）を表示画面１４０に表示して運転支援を行うことができる。 FIG. 7C is an image diagram when past images and obstacles detected by the ultrasonic sensor 30 are displayed on the display screen 140 of the display device 14. By doing this, obstacles around the vehicle (such as the curbstone 210 and the post 220) are displayed on the display screen 140 in an easy-to-view state using past images, and around the current vehicle that is not in the past images. The obstacle (new obstacle 230) can be displayed on the display screen 140 to provide driving assistance. In other words, using the past image as the background image, the obstacle around the current vehicle (new obstacle 230) that is not in the past image can be displayed on the display screen 140 to provide driving assistance.

ステップＳ３１では、上述のステップＳ２３と同様に運転支援を終了するか否かを判定し、運転支援を終了すると判定した場合はステップＳ２０へ戻り、運転支援を終了しないと判定した場合はステップＳ３０へ戻る。 In step S31, it is determined whether or not the driving support is to be ended in the same manner as in the above-described step S23. If it is determined that the driving support is to be ended, the process returns to step S20. Return.

ステップＳ３２では、制御装置２０は、天気が所定の条件を満たさない場合の運転支援を行う。つまり、制御装置２０は、過去の画像を現在のカメラ４０で撮像した画像に重ねた状態で表示装置１４（表示画面１４０）に表示することによって運転支援を行う。 In step S32, the control device 20 performs driving support when the weather does not satisfy a predetermined condition. That is, the control device 20 performs driving support by displaying a past image on the display device 14 (display screen 140) in a state of being superimposed on an image captured by the current camera 40.

ステップＳ３３では、制御装置２０は、上述のステップＳ２３及びステップＳ３０と同様に運転支援を終了するか否かを判定し、運転支援を終了すると判定した場合はステップＳ２０へ戻り、運転支援を終了しないと判定した場合はステップＳ３２へ戻る。 In step S33, the control device 20 determines whether or not to end driving support in the same manner as in steps S23 and S30 described above. If it is determined to end driving support, the control device 20 returns to step S20 and does not end driving support. If it is determined, the process returns to step S32.

このように、天気が所定の条件を満たさない場合でも、過去の画像と現在の超音波センサ３０の検出結果とを表示装置１４の表示画面１４０に表示することによって、天気が所定の条件を満たす場合に撮像した画像を背景画像として現在の車両と障害物との位置関係を車両のユーザーに案内することができるので、天候に係らず適切な運転支援を行うことができる。 As described above, even when the weather does not satisfy the predetermined condition, the weather satisfies the predetermined condition by displaying the past image and the detection result of the current ultrasonic sensor 30 on the display screen 140 of the display device 14. In this case, the current positional relationship between the vehicle and the obstacle can be guided to the user of the vehicle using the captured image as a background image, so that appropriate driving assistance can be performed regardless of the weather.

なお、本実施の形態においては、カメラ４０によって撮像された現在の画像に過去の画像を重ねて表示装置１４の表示画面１４０に表示する例を採用したが、本発明はこれに限定されるものではない。例えば、カメラ４０によって撮像された現在の画像にかえて、過去の画像を表示装置１４の表示画面１４０に表示するようにしてもよい。 In the present embodiment, an example in which a past image is superimposed on the current image captured by the camera 40 and displayed on the display screen 140 of the display device 14 is employed. However, the present invention is not limited to this. is not. For example, instead of the current image captured by the camera 40, a past image may be displayed on the display screen 140 of the display device 14.

また、過去の画像と現在の超音波センサ３０の検出結果とを比較して、過去の画像において、現在の超音波センサ３０の検出結果と一致しない障害物は消去するようにしてもよい。つまり、過去の画像を撮像した際には存在していたが、現在は存在していない障害物は、過去の画像を画像処理することによって消去して、表示画面１４０に表示しないようにしてもよい。車両の周囲には、常に同じ障害物が存在するとは限らない。したがって、このようにすることによって、現在の車両の周囲に存在する障害物のみを車両のユーザーに案内することができるので好ましい。 Further, the past image and the detection result of the current ultrasonic sensor 30 may be compared, and an obstacle that does not match the detection result of the current ultrasonic sensor 30 in the past image may be deleted. That is, obstacles that existed when a past image was captured but do not currently exist are deleted by image processing of the past image so that they are not displayed on the display screen 140. Good. The same obstacles are not always present around the vehicle. Accordingly, this is preferable because only obstacles existing around the current vehicle can be guided to the user of the vehicle.

また、本実施の形態においては、超音波センサ３０によって検出した障害物の形状（検出結果）と、過去の画像を画像処理にすることによって得た障害物の形状とを比較することによって、過去の画像を補正（変換）する例を用いて説明したが、本発明はこれに限定されるものではない。例えば、超音波センサ３０の検出結果同士を比較することによって、過去の画像を補正（変換）するようにしてもよい。この場合、制御装置２０は、カメラ４０にて撮像された画像を記憶する場合、車両の位置、車両の向きに加えて、超音波センサ３０の検出結果を関連付けて記憶装置５０に記憶する。そして、制御装置２０は、過去の画像に関連付けられた超音波センサ３０の検出結果と現在の超音波センサ３０の検出結果とを比較することによって、過去の画像を補正（変換）するようにしてもよい。このようにすることによって、同じ超音波センサ３０の過去の検出結果と現在の検出結果とを比較して過去の画像を補正（変換）できるので、処理を容易にすることができると共に、より一層正確に過去の画像を補正（変換）することができる。 Further, in the present embodiment, by comparing the shape (detection result) of the obstacle detected by the ultrasonic sensor 30 with the shape of the obstacle obtained by image processing of the past image, the past However, the present invention is not limited to this. For example, past images may be corrected (converted) by comparing the detection results of the ultrasonic sensors 30. In this case, when storing the image captured by the camera 40, the control device 20 stores the detection result of the ultrasonic sensor 30 in association with the position of the vehicle and the direction of the vehicle, and stores them in the storage device 50. Then, the control device 20 corrects (converts) the past image by comparing the detection result of the ultrasonic sensor 30 associated with the past image and the detection result of the current ultrasonic sensor 30. Also good. By doing so, the past detection result of the same ultrasonic sensor 30 and the current detection result can be compared to correct (convert) the past image, thereby facilitating the processing and further. It is possible to correct (convert) past images accurately.

（変形例１）
また、超音波センサ３０及びカメラ４０は、車両の後方のみでなく、車両の側方にも設けるようにしてもよい。図８（ａ）〜（ｃ）は、本発明の変形例１における表示装置１４の表示例を示すイメージ図である。 (Modification 1)
Moreover, you may make it provide the ultrasonic sensor 30 and the camera 40 not only in the back of a vehicle but in the side of a vehicle. FIGS. 8A to 8C are image diagrams showing display examples of the display device 14 in Modification 1 of the present invention.

図８（ａ）は、天気が所定の条件を満たしているときに撮像した過去の画像を表示装置１４の表示画面１４０に表示した場合のイメージ図である。このように天気が所定の条件をみたしている場合、表示画面１４０に表示される車両の側方にある側溝２４０などの障害物は見やすい状態である。 FIG. 8A is an image diagram when a past image captured when the weather satisfies a predetermined condition is displayed on the display screen 140 of the display device 14. In this way, when the weather meets a predetermined condition, obstacles such as the side groove 240 on the side of the vehicle displayed on the display screen 140 are easy to see.

一方、図７（ｂ）は、同じ場所における天気が所定の条件を満たしていないときにカメラ４０で撮像した画像を表示装置１４の表示画面１４０に表示した場合のイメージ図である。このように天気が所定の条件を満たしていない場合、カメラ４０で撮像されて表示画面１４０に表示される車両の側方にある側溝２４０などの障害物は、レンズやレンズフードなどに付着した雨や雪によって見づらい状態である。したがって、ドライバーは、車両と周囲の障害物との位置関係が確認しづらいものである。 On the other hand, FIG. 7B is an image diagram when the image captured by the camera 40 is displayed on the display screen 140 of the display device 14 when the weather at the same place does not satisfy the predetermined condition. In this way, when the weather does not satisfy the predetermined condition, obstacles such as the side groove 240 on the side of the vehicle, which is captured by the camera 40 and displayed on the display screen 140, are attached to the lens or the lens hood. It is hard to see due to snow or snow. Therefore, it is difficult for the driver to confirm the positional relationship between the vehicle and the surrounding obstacles.

図７（ｃ）は、過去の画像と超音波センサ３０にて検出された障害物とを表示装置１４の表示画面１４０に表示した場合のイメージ図である。このようにすることによって、車両の側方にある側溝２４０を過去の画像を用いて見やすい状態で表示画面１４０に表示しつつ、過去の画像にない現在の車両の周囲の障害物（新たな障害物２５０）を表示画面１４０に表示して運転支援を行うことができる。換言すると、過去の画像を背景画像として、過去の画像にない現在の車両の周囲の障害物（新たな障害物２３０）を表示画面１４０に表示して運転支援を行うことができる。 FIG. 7C is an image diagram when past images and obstacles detected by the ultrasonic sensor 30 are displayed on the display screen 140 of the display device 14. In this way, the side groove 240 on the side of the vehicle is displayed on the display screen 140 in an easy-to-view state using a past image, and obstacles (new obstacles) around the current vehicle that are not in the past image. The object 250) can be displayed on the display screen 140 to provide driving assistance. In other words, using the past image as the background image, the obstacle around the current vehicle (new obstacle 230) that is not in the past image can be displayed on the display screen 140 to provide driving assistance.

なお、変形例１において記憶開始を判定するには、上述と同様にユーザーによって操作される操作デバイス１３や図示しない記憶開始指示ボタンから記憶の開始を示す操作信号が出力された場合は記憶を開始と判定し、記憶の開始を示す操作信号が出力さない場合は記憶を開始しないと判定する。又は、車両が同じ位置を所定値以下の速度で通過した回数が所定回数以上で、かつ天気が所定の条件を満たすことを条件としてもよい。この場合、車両用運転支援装置１００は、車両が同じ位置を所定値以下の速度で通過した回数をカウントするカウンタ、天気が所定の条件を満たすか否かを判定するための降雨雪を検出する降雨雪検出装置もしくは天気情報を受信可能な通信装置などを備えることによってなすことができる。つまり、制御装置２０は、カウンタの値（車両が同じ位置を所定値以下の速度で通過した回数）が所定値以上で、降雨雪検出装置もしくは通信装置からの信号によって天気が所定の条件（例えば、晴天など）を満たすとみなした場合は記憶開始と判定し、そうでない場合は記憶開始でないと判定する。このようにすることによっても、自動で画像の記憶を開始することができるので、ユーザーによる操作を省くことができる。 In addition, in the first modification, in order to determine the storage start, storage is started when an operation signal indicating the start of storage is output from the operation device 13 operated by the user or a storage start instruction button (not shown) as described above. If the operation signal indicating the start of storage is not output, it is determined that the storage is not started. Alternatively, the condition may be that the number of times that the vehicle has passed the same position at a speed equal to or less than a predetermined value is equal to or greater than the predetermined number and that the weather satisfies a predetermined condition. In this case, the vehicle driving support device 100 detects a counter that counts the number of times that the vehicle has passed the same position at a speed equal to or lower than a predetermined value, and detects rain and snow for determining whether the weather satisfies a predetermined condition. This can be done by providing a rain / snow detection device or a communication device capable of receiving weather information. That is, the control device 20 determines that the value of the counter (the number of times the vehicle has passed through the same position at a speed equal to or less than the predetermined value) is equal to or greater than the predetermined value, If it is considered that the condition is satisfied, it is determined that the storage is started, and otherwise, it is determined that the storage is not started. Also by doing this, the image storage can be started automatically, and the operation by the user can be omitted.

また、変形例１において運転支援を開始するか否かの判定は、上述と同様にユーザーによって操作される操作デバイス１３や図示しない支援開始指示ボタンから運転支援の開始を示す操作信号が出力された場合は運転支援を開始と判定し、運転支援の開始を示す操作信号が出力さない場合は運転支援を開始しないと判定する。このようにすることによって、ユーザーが必要とするときに運転支援を行うことができる。又は、車両用運転支援装置１００は、車両が同じ位置を所定値以下の速度で通過しようとした際に、カメラ４０にて撮像された車両側方の画像を表示装置１４（表示画面１４０）に表示するか、もしくは、過去の画像を表示装置１４（表示画面１４０）に表示することによって運転支援を行うようにしてもよい。 In the first modification, whether or not to start driving support is determined by outputting an operation signal indicating the start of driving support from the operation device 13 operated by the user or a support start instruction button (not shown) as described above. In this case, it is determined that the driving support is started, and when the operation signal indicating the start of the driving support is not output, it is determined that the driving support is not started. In this way, driving assistance can be performed when the user needs it. Alternatively, the vehicle driving support device 100 displays the vehicle side image captured by the camera 40 on the display device 14 (display screen 140) when the vehicle tries to pass the same position at a speed equal to or lower than a predetermined value. Alternatively, driving assistance may be performed by displaying a past image on the display device 14 (display screen 140).

（変形例２）
また、変形例２として、図９に示す超音波センサ３０ａを採用してもよい。図９は、本発明の変形例２における超音波センサ３０ａの概略構成を示す図面であり、（ａ）は平面図であり、（ｂ）は断面図である。 (Modification 2)
Further, as a second modification, an ultrasonic sensor 30a illustrated in FIG. 9 may be employed. 9A and 9B are diagrams showing a schematic configuration of an ultrasonic sensor 30a according to Modification 2 of the present invention, in which FIG. 9A is a plan view and FIG. 9B is a cross-sectional view.

図９に示すように、超音波センサ３０ａは、複数の超音波検出素子３１ａと、超音波検出素子３１ａが搭載される音響整合層３２ａとが防振材からなるつなぎ部材３３ａを介してケース３５ａの開口部に取り付けられている。また、ケース３５ａ内には、超音波検出素子３１ａとワイヤー（図示省略）などによって電気的に接続される回路基板３４ａが配置される。そして、このように超音波検出素子３１ａや回路基板３４ａが設けられたケース３５ａは、接着剤３６ａを介して車両のバンパー３７ａ（車両の外部に出ているセンサ取付部）に取り付けられる。 As shown in FIG. 9, the ultrasonic sensor 30a includes a case 35a via a connecting member 33a in which a plurality of ultrasonic detection elements 31a and an acoustic matching layer 32a on which the ultrasonic detection elements 31a are mounted are made of vibration-proof materials. It is attached to the opening. A circuit board 34a that is electrically connected to the ultrasonic detection element 31a by a wire (not shown) or the like is disposed in the case 35a. The case 35a on which the ultrasonic detection element 31a and the circuit board 34a are provided in this way is attached to a vehicle bumper 37a (a sensor attachment portion outside the vehicle) via an adhesive 36a.

このように、超音波センサ３０ａとして、音響整合層３２ａを用いることにより耐衝撃性（飛び石等の衝撃）に強いセンサを実現することができる。 As described above, a sensor that is strong in impact resistance (impact of stepping stones, etc.) can be realized by using the acoustic matching layer 32a as the ultrasonic sensor 30a.

本発明の実施の形態における車両用運転支援装置１００の概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of a vehicle driving support apparatus 100 according to an embodiment of the present invention. 本発明の実施の形態における車両用運転支援装置１００を搭載した車両のイメージ図である。It is an image figure of the vehicle carrying the vehicle driving assistance device 100 in the embodiment of the present invention. 本発明の実施の形態における超音波センサ３０の概略構成を示す平面図である。It is a top view which shows schematic structure of the ultrasonic sensor 30 in embodiment of this invention. （ａ）〜（ｃ）は、本発明の実施の形態における超音波センサ３０による障害物の検出原理を説明する説明図である。(A)-(c) is explanatory drawing explaining the detection principle of the obstruction by the ultrasonic sensor 30 in embodiment of this invention. 本発明の実施の形態における車両用運転支援装置１００の記憶処理動作を示すフロー図である。It is a flowchart which shows the memory | storage process operation | movement of the driving assistance device for vehicles 100 in embodiment of this invention. 本発明の実施の形態における車両用運転支援装置１００の表示処理動作を示すフロー図である。It is a flowchart which shows the display processing operation | movement of the vehicle driving assistance device 100 in embodiment of this invention. （ａ）〜（ｃ）は、本発明の実施の形態における表示装置１４の表示例を示すイメージ図である。(A)-(c) is an image figure which shows the example of a display of the display apparatus 14 in embodiment of this invention. （ａ）〜（ｃ）は、本発明の変形例１における表示装置１４の表示例を示すイメージ図である。(A)-(c) is an image figure which shows the example of a display of the display apparatus 14 in the modification 1 of this invention. 本発明の変形例２における超音波センサ３０ａの概略構成を示す図面であり、（ａ）は平面図であり、（ｂ）は断面図である。It is drawing which shows schematic structure of the ultrasonic sensor 30a in the modification 2 of this invention, (a) is a top view, (b) is sectional drawing.

Explanation of symbols

１０ナビゲーション装置、１１位置検出器、１２地図データ入力器、１３操作デバイス、１４表示装置、１４０表示画面、１５スピーカ、２０制御装置、
３０超音波センサ、３１ａ超音波検出素子、３２ａ音響整合層、３３ａつなぎ部材、３４ａ回路基板、３５ａケース、３６ａ接着剤、３７ａバンパー、３００基板、３０１送信素子、３０２ａ〜３０２ｄ受信素子、４０カメラ、５０記憶装置、１００車両用運転支援装置、２００障害物、２１０縁石、２２０ポスト、２３０新たな障害物、２４０側溝、２５０新たな障害物 DESCRIPTION OF SYMBOLS 10 Navigation apparatus, 11 Position detector, 12 Map data input device, 13 Operation device, 14 Display apparatus, 140 Display screen, 15 Speaker, 20 Control apparatus,
30 ultrasonic sensor, 31a ultrasonic detection element, 32a acoustic matching layer, 33a connecting member, 34a circuit board, 35a case, 36a adhesive, 37a bumper, 300 substrate, 301 transmitting element, 302a to 302d receiving element, 40 camera, 50 storage device, 100 driving support device for vehicle, 200 obstacle, 210 curb, 220 post, 230 new obstacle, 240 gutter, 250 new obstacle

Claims

A display device provided in a passenger compartment of the vehicle;
Imaging means for capturing an image of the surroundings of the vehicle;
Position detecting means for detecting the position of the vehicle;
Direction detecting means for detecting the direction of the vehicle;
Obstacle detection means for detecting obstacles around the vehicle;
Storage means for storing an image captured when the weather satisfies a predetermined condition, the position of the vehicle when the image is captured, and the orientation of the vehicle when the image is captured;
When the weather satisfies a predetermined condition, the image capturing means captures an image around the vehicle and displays the image on the display device. When the weather does not satisfy the predetermined condition, the storage means The past image corresponding to the current position and orientation of the vehicle is extracted from the images stored in the above, and the past image and the current detection result of the obstacle detection means are displayed on the display device. The display control means
A counter device that counts the number of times the vehicle is parked at the same position,
The storage means is a case where the number of times counted by the counter device reaches a predetermined number, and when the weather satisfies a predetermined condition, an image captured when the weather satisfies the predetermined condition, and the image A vehicle driving support apparatus, which stores the position of the vehicle when imaged and the direction of the vehicle when the image is captured in association with each other.

The vehicle driving support apparatus according to claim 1, wherein the obstacle detection unit is an ultrasonic sensor.

The vehicle driving support apparatus according to claim 2, wherein the ultrasonic sensor includes a plurality of receiving units arranged in an array.

When the display control means displays the past image stored in the storage means and the current detection result of the obstacle detection means on the display device, the display control means and the current obstacle detection means The positional relationship between the vehicle and the surrounding obstacles when the past image is captured and the positional relationship between the current vehicle and the surrounding obstacles correspond to each other by comparing The vehicular driving support apparatus according to any one of claims 1 to 3, wherein a past image is corrected and displayed on the display device.

In the case where the image captured by the imaging unit is stored, the storage unit stores the detection result of the obstacle detection unit in association with the position of the vehicle and the direction of the vehicle, When the display control unit displays the past image stored in the storage unit and the current detection result of the obstacle detection unit on the display device, the obstacle detection unit associated with the past image is displayed. Is compared with the current detection result of the obstacle detection means, the positional relationship between the vehicle and the surrounding obstacle when the past image is captured, and the current vehicle and the surrounding obstacle. The vehicle driving support device according to any one of claims 1 to 3, wherein the past image is corrected and displayed on the display device so as to correspond to a positional relationship with the vehicle.

When the display control unit displays the past image stored in the storage unit and the detection result of the obstacle detection unit on the display device, the display control unit replaces the current image captured by the imaging unit. The vehicle driving support apparatus according to any one of claims 1 to 5, wherein a past image stored in the storage unit and a detection result of the obstacle detection unit are displayed. .

The display control unit, when displaying the past image stored in the storage unit and the detection result of the obstacle detection unit on the display device, the image captured by the current imaging unit, The vehicular driving support apparatus according to any one of claims 1 to 5, wherein a past image stored in a storage unit and a detection result of the obstacle detection unit are displayed.

The display control unit compares the past image stored in the storage unit with the current detection result of the obstacle detection unit, and the current detection result of the obstacle detection unit in the past image. The vehicle driving support apparatus according to any one of claims 1 to 7, wherein an obstacle that does not coincide with the vehicle is deleted.

The vehicular driving according to any one of claims 1 to 8, further comprising a rain and snow detection device that detects rain and snow in order to determine whether or not the weather satisfies a predetermined condition. Support device.