Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7037926B2 - Driving support system and rear guide image generation method - Google Patents
[go: Go Back, main page]

JP7037926B2 - Driving support system and rear guide image generation method - Google Patents

Driving support system and rear guide image generation method Download PDF

Info

Publication number
JP7037926B2
JP7037926B2 JP2017232405A JP2017232405A JP7037926B2 JP 7037926 B2 JP7037926 B2 JP 7037926B2 JP 2017232405 A JP2017232405 A JP 2017232405A JP 2017232405 A JP2017232405 A JP 2017232405A JP 7037926 B2 JP7037926 B2 JP 7037926B2
Authority
JP
Japan
Prior art keywords
line segment
center
guide image
line
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017232405A
Other languages
Japanese (ja)
Other versions
JP2019102988A (en
Inventor
耕太 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2017232405A priority Critical patent/JP7037926B2/en
Publication of JP2019102988A publication Critical patent/JP2019102988A/en
Application granted granted Critical
Publication of JP7037926B2 publication Critical patent/JP7037926B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Description

本発明は、自動車の後方の路面を撮影した画像上に、路面上の各位置と自動車との位置関係を示す図形を表示する技術に関するものである。 The present invention relates to a technique for displaying a figure showing a positional relationship between each position on the road surface and the automobile on an image of the road surface behind the automobile.

自動車の後方をバックカメラで路面を撮影した画像である撮影画像上に、路面上の各位置と自動車との位置関係を示す図形を表示する技術としては、自動車の後端から自動車の後方に所定距離離れた自動車の左右方向と平行な路面上の仮想の線を撮影画像上で表す図形や、自動車の左端/右端から自動車の左方向/右方向に所定距離離れた自動車の前後方向と平行な路面上の仮想の線を撮影画像上で表す図形を、撮影画像に合成して表示する技術が知られている(たとえば、特許文献1、2)。 As a technique for displaying a figure showing the positional relationship between each position on the road surface and the automobile on the photographed image which is an image of the road surface taken by a back camera behind the automobile, a predetermined method is specified from the rear end of the automobile to the rear of the automobile. A figure showing a virtual line on the road surface parallel to the left-right direction of the car at a distance, or parallel to the front-back direction of the car at a predetermined distance from the left / right end of the car to the left / right direction of the car. A technique is known in which a figure representing a virtual line on a road surface on a captured image is combined with a captured image and displayed (for example, Patent Documents 1 and 2).

特開2010-215027号公報Japanese Unexamined Patent Publication No. 2010-21502 特開2007-076496号公報Japanese Unexamined Patent Publication No. 2007-076496

上述のように、自動車の前後方向と平行な路面上の仮想の線を撮影画像上で表す図形を、自動車後方の路面を撮影した撮影画像に合成して表示する場合において、視認性やデザイン上の観点から、自動車の後端から自動車の後方に相互に異なる距離離れた位置のそれぞれについて設けた、当該位置を通る自動車の前後方向と平行な仮想の線であって、自動車の前後方向に隣接する他の仮想の線との間に隙間が生じるように設けた仮想の線を撮影画像上で表す図形を、撮影画像に合成して表示しようにすると、次のような問題が生じる。 As described above, in terms of visibility and design, when a figure representing a virtual line on a road surface parallel to the front-rear direction of an automobile is combined with a photographed image of the road surface behind the automobile and displayed. From the viewpoint of, it is a virtual line parallel to the front-rear direction of the car passing through the position provided at each position at different distances from the rear end of the car to the rear of the car, and is adjacent to the front-rear direction of the car. When a figure representing a virtual line provided so as to form a gap between the other virtual lines and the captured image is combined with the captured image and displayed, the following problems occur.

すなわち、各仮想の線の長さを実空間上で固定的に定めると、遠方の線ほど表示される仮想の線を表す図形の上下方向の長さが短くなるため、バックカメラの撮影方向の俯角が小さい場合には、表示される遠方の仮想の線を表す図形が良好に視認できないほどに短くなってしまうことがある。 That is, if the length of each virtual line is fixedly determined in the real space, the length of the figure representing the virtual line displayed becomes shorter as the line is farther away, so that the length in the vertical direction of the back camera is shorter. When the depression angle is small, the displayed figure representing a distant virtual line may be too short to be clearly seen.

一方で、各仮想の線を表す撮影画像上の図形の長さを固定的に定めた場合には、バックカメラの撮影方向の俯角によって、表示される仮想の線を表す図形の上下方向の長さと、自動車の前後方向の距離との関係が変化するため、バックカメラの撮影方向の俯角が小さい場合に、遠方の隣接する仮想の線を表す図形間の隙間が無くなってしまうことがあるなど、意図したデザインで仮想の線を表す図形を表示することができなくなる。 On the other hand, when the length of the figure representing each virtual line is fixedly determined, the vertical length of the figure representing the displayed virtual line depends on the depression angle of the shooting direction of the back camera. Since the relationship between the distance and the distance in the front-rear direction of the vehicle changes, when the depression angle in the shooting direction of the back camera is small, there may be no gap between figures representing adjacent virtual lines in the distance. It becomes impossible to display the figure representing the virtual line in the intended design.

そこで、本発明は、自動車の後端から自動車の後方に相互に異なる複数の距離、離れた位置のそれぞれについて設けた、当該位置を通る自動車の前後方向と平行な仮想の線であって、自動車の前後方向に隣接する他の仮想の線との間に隙間が生じるように設けた仮想の線を表す図形を、自動車の後方をバックカメラで路面を撮影した撮影画像上に、バックカメラの撮影方向の俯角によらずに、良好に合成して表示することのできる運転支援システムを提供することを課題とする。 Therefore, the present invention is a virtual line parallel to the front-rear direction of the automobile passing through the position, which is provided at each of a plurality of different distances and distant positions from the rear end of the automobile to the rear of the automobile. A figure representing a virtual line provided so as to create a gap between it and another virtual line adjacent in the front-rear direction of the car is taken by the back camera on the photographed image of the road surface taken by the back camera behind the car. The challenge is to provide a driving support system that can be well synthesized and displayed regardless of the depression angle of the direction.

前記課題達成のために、自動車に搭載される運転支援システムに、ディスプレイと、自動車の後方の路面を撮影するバックカメラと、前記バックカメラが撮影した画像である撮影画像上に、ガイド画像を合成し、前記ディスプレイに表示するガイド画像表示手段とを備えたものである。ここで、前記ガイド画像は、自動車の前後方向と平行な線の相互に異なるn個(但し、nは3以上の整数)の部分のそれぞれを、前記撮影画像上で表すn個の線分を含む。また、前記n個の線分の中心は、撮影画像上において、前記自動車後端からの自動車の前後方向の距離が相互に異なる所定の距離である位置を表し、前記ガイド画像の、上から2番目からn-1番目の各線分の中心から当該線分の両端までの上下方向の長さは、共に、当該線分の中心と当該線分の一つ下の線分の中心との間の上下方向の距離のA%(但し、A>0)と、当該線分の中心と当該線分の一つ上の線分の中心との間の上下方向の距離のB%(但し、B>0、かつ、A+B<100)とうちの小さい方に一致している。 In order to achieve the above task, a guide image is combined with a display, a back camera that captures the road surface behind the vehicle, and a captured image that is an image captured by the back camera in a driving support system mounted on the vehicle. However, it is provided with a guide image display means to be displayed on the display. Here, in the guide image, n line segments representing each of n different parts (where n is an integer of 3 or more) of lines parallel to the front-rear direction of the automobile are represented on the photographed image. include. Further, the center of the n line segments represents a position on the captured image in which the distance in the front-rear direction of the vehicle from the rear end of the vehicle is a predetermined distance different from each other, and is 2 from the top of the guide image. The vertical length from the center of each line segment from the th to the n-1st to both ends of the line segment is between the center of the line segment and the center of the line segment one below the line segment. A% of the vertical distance (however, A> 0) and B% of the vertical distance between the center of the line segment and the center of the line segment one above the line segment (however, B> It is 0 and matches A + B <100), whichever is smaller.

ここで、このような運転支援システムにおいては、前記ガイド画像の、上から1番目の線分の中心から当該線分の両端までの上下方向の長さを、共に、当該線分の中心と当該線分の一つ下の線分の中心との間の上下方向の距離のA%に一致させるようにしてもよい。 Here, in such a driving support system, the length of the guide image in the vertical direction from the center of the first line segment from the top to both ends of the line segment is the center of the line segment and the length of the guide image in the vertical direction. It may be matched with A% of the vertical distance between the center of the line segment one below the line segment.

また、以上の運転支援システムにおいては、前記ガイド画像の、n番目の線分の中心から当該線分の両端までの上下方向の長さを、共に、当該線分の中心の前記撮影画像上の位置と前記撮影画像の下端との間の上下方向の距離のA%と、当該線分の中心と当該線分の一つ上の線分の中心との間の上下方向の距離のB%とうちの小さい方に一致させるようにしてもよい。 Further, in the above driving support system, the length of the guide image in the vertical direction from the center of the nth line segment to both ends of the line segment is both on the captured image at the center of the line segment. A% of the vertical distance between the position and the lower end of the captured image, and B% of the vertical distance between the center of the line segment and the center of the line segment one above the line segment. You may try to match the smaller one.

また、以上の運転支援システムにおいて、前記A%を30%、前記B%を50%としてもよい。
また、以上の運転支援システムにおいて、前記自動車の前後方向と平行な線は、自動車の左右方向についての端部もしくは中心に対して定まる左右方向の位置を通る、前記自動車の前後方向と平行な線であってよい。
Further, in the above driving support system, the A% may be 30% and the B% may be 50%.
Further, in the above driving support system, the line parallel to the front-rear direction of the automobile passes through a position in the left-right direction determined with respect to the end or center of the automobile in the left-right direction, and is a line parallel to the front-rear direction of the automobile. May be.

また、以上の運転支援システムにおいて、前記ガイド画像には、上下方向の位置が前記n個の線分の中心と同じ、左右方向の線分を含めるようにしてもよい。
また、併せて、本発明は、前記課題達成のために、ディスプレイと、自動車の後方の路面を撮影するバックカメラとを備えた、自動車に搭載される運転支援システムにおいて、前記バックカメラが撮影した画像である撮影画像上に合成して前記ディスプレイに表示されるガイド画像を生成するガイド画像生成方法を提供する。ここで、前記ガイド画像は、自動車の前後方向と平行な線の相互に異なるn個(但し、nは3以上の整数)の部分のそれぞれを、前記撮影画像上で表すn個の線分を含むものである。そして、当該ガイド画像生成方法は、前記n個の線分の中心の前記ガイド画像上の位置を、当該中心が、撮影画像上において、前記平行な線上の、前記自動車後端からの自動車の前後方向の距離が相互に異なる所定の距離である位置を表すように定める中心算定ステップと、前記ガイド画像上の上から2番目からn-1番目の各線分の中心から当該線分の両端までの上下方向の長さを、共に、当該線分の中心と当該線分の一つ下の線分の中心との間の上下方向の距離のA%(但し、A>0)と、当該線分の中心と当該線分の一つ上の線分の中心との間の上下方向の距離のB%(但し、B>0、かつ、A+B<100)とうちの小さい方に一致するように定めるとともに、前記ガイド画像上の上から1番目の線分とn番目の線分の中心から当該線分の両端までの上下方向の長さを所定の基準に従って定める上下長算定ステップと、前記n個の各線分を、当該線分について算定した中心を中心として有し、当該線分について算定した中心から両端までの上下方向の長さを有し、前記平行な線の前記撮影画像上の傾きと同じ傾きを有するように前記ガイド画像に描画する描画ステップとを備えている。
Further, in the above driving support system, the guide image may include a line segment in the left-right direction whose position in the vertical direction is the same as the center of the n line segments.
At the same time, in order to achieve the above-mentioned problem, the present invention is taken by the back camera in a driving support system mounted on the automobile, which is provided with a display and a back camera for photographing the road surface behind the automobile. Provided is a guide image generation method for generating a guide image displayed on the display by synthesizing it on a captured image which is an image. Here, in the guide image, n line segments representing each of n different parts (where n is an integer of 3 or more) of lines parallel to the front-rear direction of the automobile are represented on the photographed image. It includes. Then, in the guide image generation method, the position of the center of the n line segments on the guide image is placed in front of and behind the vehicle from the rear end of the vehicle on the parallel line with the center on the captured image. A center calculation step that determines a position where the distances in the directions are predetermined distances different from each other, and from the center of each of the second to n-1th line segments from the top on the guide image to both ends of the line segment. The length in the vertical direction is A% (however, A> 0) of the vertical distance between the center of the line segment and the center of the line segment one level below the line segment, and the line segment. B% (however, B> 0 and A + B <100) of the vertical distance between the center of the line and the center of the line one above the line segment is determined to match the smaller one. In addition, the vertical length calculation step for determining the vertical length from the center of the first line segment and the nth line segment on the guide image to both ends of the line segment according to a predetermined standard, and the n pieces. Each line segment has a center calculated for the line segment as a center, has a length in the vertical direction from the center calculated for the line segment to both ends, and has an inclination of the parallel line on the captured image. It includes a drawing step for drawing on the guide image so as to have the same inclination.

ここで、このような画像生成方法は、前記上下長算定ステップにおいて、前記ガイド画像の、上から1番目の線分の中心から当該線分の両端までの上下方向の長さを、共に、当該線分の中心と当該線分の一つ下の線分の中心との間の上下方向の距離のA%に一致するように定めるように構成してもよい。 Here, in such an image generation method, in the vertical length calculation step, the length of the guide image in the vertical direction from the center of the first line segment from the top to both ends of the line segment is the same. It may be configured to match A% of the vertical distance between the center of the line segment and the center of the line segment one below the line segment.

また、以上のガイド画像生成方法では、前記上下長算定ステップにおいて、前記ガイド画像の、n番目の線分の中心から当該線分の両端までの上下方向の長さを、共に、当該線分の中心の前記撮影画像上の位置と前記撮影画像の下端との間の上下方向の距離のA%と、当該線分の中心と当該線分の一つ上の線分の中心との間の上下方向の距離のB%とうちの小さい方に一致するように定めるように構成してもよい。 Further, in the above guide image generation method, in the vertical length calculation step, the length of the guide image in the vertical direction from the center of the nth line segment to both ends of the line segment is both the length of the line segment. A% of the vertical distance between the center position on the captured image and the lower end of the captured image, and the top and bottom between the center of the line segment and the center of the line segment one above the line segment. It may be configured to match the B% of the line segment in the direction and the smaller of them.

また、以上のガイド画像生成方法において、前記A%を30%であり、前記B%を50%とすることも好ましい。
以上のような運転支援システムがガイド画像生成方法によれば、自動車の前後方向と平行な線の相互に異なるn個(但し、nは3以上の整数)の部分のそれぞれを、前記撮影画像上で表すn個の線分の上下方向の長さを、上下に隣接する線分の中心間の距離に応じて、上下に隣接する線分との間に必ず隙間ができるように設定するので、バックカメラの俯角が小さい場合でも、各線分が隙間無く連続してしまうことが抑止される。
Further, in the above guide image generation method, it is also preferable that the A% is 30% and the B% is 50%.
According to the guide image generation method of the driving support system as described above, each of n different parts (where n is an integer of 3 or more) of lines parallel to the front-rear direction of the automobile is displayed on the photographed image. The length of the n line segments represented by is set in the vertical direction so that there is always a gap between the line segments adjacent to the top and bottom according to the distance between the centers of the line segments adjacent to the top and bottom. Even if the depression angle of the back camera is small, it is prevented that each line segment is continuous without a gap.

また、各線分の上下方向の長さの下限を、上下に隣接する線分の中心間の距離に応じて設定するので、バックカメラの俯角が小さい場合に、線分の長さが線分を視認できなくなってしまうほど過剰に短くなってしまうことを抑制することができる。 In addition, since the lower limit of the vertical length of each line segment is set according to the distance between the centers of the vertically adjacent line segments, the length of the line segment determines the line segment when the depression angle of the back camera is small. It is possible to prevent the product from becoming excessively short so that it cannot be visually recognized.

以上のように、本発明によれば、自動車の後端から自動車の後方に相互に異なる複数の距離、離れた位置のそれぞれについて設けた、当該位置を通る自動車の前後方向と平行な仮想の線であって、自動車の前後方向に隣接する他の仮想の線との間に隙間が生じるように設けた仮想の線を表す図形を、自動車の後方をバックカメラで路面を撮影した撮影画像上に、バックカメラの撮影方向の俯角によらずに、良好に合成して表示することのできる運転支援システムを提供することができる。 As described above, according to the present invention, a virtual line parallel to the front-rear direction of the automobile passing through the position provided at each of a plurality of different distances and distant positions from the rear end of the automobile to the rear of the automobile. A figure representing a virtual line provided so as to create a gap between the vehicle and another virtual line adjacent to the vehicle in the front-rear direction is displayed on a photographed image of the road surface taken with a back camera behind the vehicle. , It is possible to provide a driving support system capable of satisfactorily synthesizing and displaying regardless of the depression angle in the shooting direction of the back camera.

本発明の実施形態に係る運転支援システムの構成を示すブロック図である。It is a block diagram which shows the structure of the driving support system which concerns on embodiment of this invention. 本発明に係る運転支援システムのディスプレイとバックカメラの配置を示す図である。It is a figure which shows the arrangement of the display and the back camera of the driving support system which concerns on this invention. 本発明に係る運転支援システムが表示するガイド画像と実空間との関係を示す図である。It is a figure which shows the relationship between the guide image displayed by the driving support system which concerns on this invention, and a real space. 本発明に係る運転支援システムが表示する後方画像の合成のようすを示す図である。It is a figure which shows the mode of composition of the rear image displayed by the driving support system which concerns on this invention. 本発明に係る運転支援システムにおけるガイド画像の生成の手順を示す図である。It is a figure which shows the procedure of generating the guide image in the driving support system which concerns on this invention. 本発明に係る運転支援システムにおけるガイド画像の生成の手順を示す図である。It is a figure which shows the procedure of generating the guide image in the driving support system which concerns on this invention. 本発明に係る運転支援システムのガイド画像の例を示す図である。It is a figure which shows the example of the guide image of the driving support system which concerns on this invention.

以下、本発明の実施形態について説明する。
図1に、本実施形態に係る運転支援システムの構成を示す。
運転支援システムは自動車に搭載されているシステムであり、図示するように、運転支援システムは、ディスプレイ1、制御装置2、自動車後方を撮影するバックカメラ3、自動車の変速器の状態やシフトレバーの位置等から自動車が後進状態にあるかどうかを検出する後進検出センサ4、入力装置やGPS受信や記憶装置や放送受信器等の、その他の周辺装置5を備えている。
Hereinafter, embodiments of the present invention will be described.
FIG. 1 shows the configuration of the driving support system according to the present embodiment.
The driving support system is a system mounted on a car, and as shown in the figure, the driving support system includes a display 1, a control device 2, a back camera 3 for photographing the rear of the car, a state of a transmission of the car, and a shift lever. It is equipped with a reverse detection sensor 4 that detects whether or not the automobile is in a reverse state from a position or the like, and other peripheral devices 5 such as an input device, a GPS receiver, a storage device, and a broadcast receiver.

また、制御装置2は、ディスプレイ1の表示を制御する表示制御部21、制御装置2の全体の動作を制御する制御部22を備えている。
また、制御装置2は、制御部22の制御下で動作するアプリケーションとして、後方ガイド表示アプリケーション23(後方ガイド表示APP23)、現在位置や経路の案内を行うナビゲーションアプリケーション24(ナビゲーションAPP24)、その他のアプリケーション25(他APP25)を備えており、各アプリケーションは表示制御部21を介してディスプレイ1に、当該アプリケーションの出力画像を表示することができる。
Further, the control device 2 includes a display control unit 21 that controls the display of the display 1 and a control unit 22 that controls the overall operation of the control device 2.
Further, the control device 2 includes a rear guide display application 23 (rear guide display APP23), a navigation application 24 (navigation APP24) that guides the current position and a route, and other applications as applications that operate under the control of the control unit 22. 25 (another APP25) is provided, and each application can display an output image of the application on the display 1 via the display control unit 21.

次に、図2aに示すように、ディスプレイ1は、車内のフロントシート前方の左右方向について中央の位置においてダッシュボード内に設置されている。
また、図2b1、図2b2に示すように、バックカメラ3は、自動車の後部に設置され、後方斜め下方向に、自動車後方の路面を撮影する。ここで、図2b1、図2b2に示すように、バックカメラ3の撮影方向の俯角、すなわち、バックカメラ3の撮影中心方向(視線方向)Sの路面に対して成す角は、本運転システムが適用される自動車毎、または、自動車の車種毎に異なる。
Next, as shown in FIG. 2a, the display 1 is installed in the dashboard at a central position in the left-right direction in front of the front seat in the vehicle.
Further, as shown in FIGS. 2b1 and 2b2, the back camera 3 is installed at the rear of the automobile and photographs the road surface behind the automobile in a diagonally downward direction. Here, as shown in FIGS. 2b1 and 2b2, the driving system applies the depression angle in the shooting direction of the back camera 3, that is, the angle formed with respect to the road surface in the shooting center direction (line-of-sight direction) S of the back camera 3. It differs depending on the vehicle to be used or the model of the vehicle.

以下、このような構成において、後方ガイド表示アプリケーション23が行う後方画像表示処理について説明する。
制御装置2の制御部22は、後進検出センサ4が自動車が後進状態に遷移したことを検出したときや、ユーザによって入力装置を介して後方画像表示開始の指示が入力されたときに、後方ガイド表示アプリケーション23に後方画像表示処理の開始を指示する。また、制御部22は、後進検出センサ4が自動車が後進状態から後進状態でない状態に遷移したことを検出したときや、ユーザによって入力装置を介して後方画像表示解除の指示が入力されたときに、後方ガイド表示アプリケーション23に後方画像表示処理の終了を指示する。
Hereinafter, the rear image display processing performed by the rear guide display application 23 in such a configuration will be described.
The control unit 22 of the control device 2 guides the rear when the reverse detection sensor 4 detects that the vehicle has transitioned to the reverse state, or when the user inputs an instruction to start displaying a rear image via the input device. Instructs the display application 23 to start the rear image display process. Further, the control unit 22 detects when the reverse detection sensor 4 has changed from the reverse state to the non-reverse state, or when the user inputs an instruction to cancel the rear image display via the input device. , Instructs the rear guide display application 23 to end the rear image display process.

そして、後方ガイド表示アプリケーション23は、制御部22から後方画像表示処理の開始を指示されてから、後方画像表示処理の終了を指示されるまで後方画像表示処理を実行する。 Then, the rear guide display application 23 executes the rear image display process after being instructed by the control unit 22 to start the rear image display process until the end of the rear image display process is instructed.

ここで、後方ガイド表示アプリケーション23は、後方画像表示処理において、図3aに示すガイド画像を、図3bに示すバックカメラ3が撮影した後方の路面の画像である撮影画像上に、図3cに示すように合成し、合成した画像を後方画像としてディスプレイ1に表示する処理を行う。 Here, the rear guide display application 23 shows the guide image shown in FIG. 3a on the captured image which is the image of the rear road surface captured by the back camera 3 shown in FIG. 3b in the rear image display processing. The combined image is displayed on the display 1 as a rear image.

図3aに示すように、ガイド画像は、h1からh9までの9個の水平な線分と、t1からt7までの水平でない線分とより構成されている。
そして、図4に示すように、h1は、自動車の後端から後方に0.5m離れた位置にある自動車の左右方向の中心を左右方向の中心とする長さ0.3mの左右に延びる線H1を撮影画像上で表しており、h2は、自動車の後端から後方に1.0m離れた位置にある自動車の左右方向の中心を左右方向の中心とする長さ0.3mの左右に延びる線H2を撮影画像上で表しており、h3は、自動車の後端から後方に2.0m離れた位置にある自動車の左右方向の中心を左右方向の中心とする長さ0.3mの左右に延びる線H3を撮影画像上で表している。
As shown in FIG. 3a, the guide image is composed of nine horizontal line segments from h1 to h9 and non-horizontal line segments from t1 to t7.
Then, as shown in FIG. 4, h1 is a line extending to the left and right with a length of 0.3 m centered on the left-right center of the automobile located 0.5 m rearward from the rear end of the automobile. H1 is represented on the photographed image, and h2 extends to the left and right with a length of 0.3 m centered on the left-right center of the car located at a position 1.0 m rearward from the rear end of the car. The line H2 is shown on the photographed image, and h3 is 0.3 m in length with the center in the left-right direction of the car located 2.0 m behind the rear end of the car as the center in the left-right direction. The extending line H3 is represented on the captured image.

また、h4は、自動車の後端から後方に0.5m離れた位置にある、左右方向について自動車の右端から右に0.25m離れた位置から左方向に延びる長さ0.2mの線H4を撮影画像上で表しており、h5は、自動車の後端から後方に1.0m離れた位置にある、左右方向について自動車の右端から右に0.25m離れた位置から左方向に延びる長さ0.2mの線H5を撮影画像上で表しており、h6は、自動車の後端から後方に2.0m離れた位置にある、左右方向について自動車の右端から右に0.25m離れた位置から左方向に延びる長さ0.2mの線H6を撮影画像上で表している。 Further, h4 is a line H4 having a length of 0.2 m extending to the left from a position 0.25 m to the right from the right end of the vehicle in the left-right direction, which is located 0.5 m behind the rear end of the vehicle. Represented on the captured image, h5 is located 1.0 m rearward from the rear end of the vehicle, and has a length of 0 extending to the left from a position 0.25 m to the right of the right end of the vehicle in the left-right direction. The .2 m line H5 is shown on the captured image, and h6 is located 2.0 m rearward from the rear end of the vehicle, and is 0.25 m left from the right end of the vehicle in the left-right direction. A line H6 having a length of 0.2 m extending in the direction is shown on the captured image.


また、h7は、自動車の後端から後方に0.5m離れた位置にある、左右方向について自動車の左端から左に0.25m離れた位置から右方向に延びる長さ0.2mの線H7を撮影画像上で表しており、h8は、自動車の後端から後方に1.0m離れた位置にある、左右方向について自動車の左端から左に0.25m離れた位置から右方向に延びる長さ0.2mの線H8を撮影画像上で表しており、h9は、自動車の後端から後方に2.0m離れた位置にある、左右方向について自動車の左端から左に0.25m離れた位置から右方向に延びる長さ0.2mの線H9を撮影画像上で表している。
..
Further, h7 is a line H7 having a length of 0.2 m extending to the right from a position 0.25 m to the left from the left end of the vehicle in the left-right direction, which is located 0.5 m behind the rear end of the vehicle. Represented on the captured image, h8 is located 1.0 m rearward from the rear end of the vehicle, and has a length of 0 extending to the right from a position 0.25 m to the left of the left end of the vehicle in the left-right direction. The .2 m line H8 is shown on the captured image, and h9 is located 2.0 m rearward from the rear end of the vehicle, and is 0.25 m to the left and right from the left end of the vehicle in the left-right direction. A line H9 having a length of 0.2 m extending in the direction is shown on the captured image.

そして、t1は、自動車の左右方向の中心を通る前後方向に延びる線であって、自動車の後端から後方に0.5m離れた位置を前後方向の中心とする線T1を撮影画像上で表している。 And t1 is a line extending in the front-rear direction passing through the center in the left-right direction of the automobile, and represents the line T1 having the position 0.5 m rearward from the rear end of the automobile as the center in the front-rear direction on the captured image. ing.

また、t2は、左右方向について自動車の右端から右に0.25m離れた位置を通る前後方向に延びる線であって、自動車の後端から後方に0.5m離れた位置を前後方向の中心とする線T2を撮影画像上で表しており、t3は、左右方向について自動車の右端から右に0.25m離れた位置を通る前後方向に延びる線であって、自動車の後端から後方に1.0m離れた位置を前後方向の中心とする線T3を撮影画像上で表しており、t4は、左右方向について自動車の右端から右に0.25m離れた位置を通る前後方向に延びる線であって、自動車の後端から後方に2.0m離れた位置を前後方向の中心とする線T4を撮影画像上で表している。 Further, t2 is a line extending in the front-rear direction passing through a position 0.25 m to the right from the right end of the vehicle in the left-right direction, and a position 0.5 m rearward from the rear end of the vehicle is defined as the center in the front-rear direction. The line T2 is represented on the photographed image, and t3 is a line extending in the front-rear direction passing through a position 0.25 m to the right from the right end of the automobile in the left-right direction, and 1. The line T3 whose center is in the front-rear direction at a position 0 m away is represented on the photographed image, and t4 is a line extending in the front-rear direction passing through a position 0.25 m away from the right end of the automobile in the left-right direction. , The line T4 whose center is in the front-rear direction at a position 2.0 m rearward from the rear end of the automobile is shown on the photographed image.

また、t5は、左右方向について自動車の左端から左に0.25m離れた位置を通る前後方向に延びる線であって、自動車の後端から後方に0.5m離れた位置を前後方向の中心とする線T5を撮影画像上で表しており、t6は、左右方向について自動車の左端から左に0.25m離れた位置を通る前後方向に延びる線であって、自動車の後端から後方に1.0m離れた位置を前後方向の中心とする線T6を撮影画像上で表しており、t7は、左右方向について自動車の左端から左に0.25m離れた位置を通る前後方向に延びる線であって、自動車の後端から後方に2.0m離れた位置を前後方向の中心とする線T7を撮影画像上で表している。 Further, t5 is a line extending in the front-rear direction passing through a position 0.25 m to the left from the left end of the vehicle in the left-right direction, and a position 0.5 m rearward from the rear end of the vehicle is defined as the center in the front-rear direction. The line T5 is represented on the photographed image, and t6 is a line extending in the front-rear direction passing through a position 0.25 m to the left from the left end of the automobile in the left-right direction, and 1. The line T6 whose center is in the front-rear direction at a position 0 m away is represented on the captured image, and t7 is a line extending in the front-rear direction passing through a position 0.25 m away from the left end of the automobile in the left-right direction. , The line T7 whose center is in the front-rear direction at a position 2.0 m behind the rear end of the automobile is shown on the photographed image.

ここで、h1からh9までの9個の水平な線分の長さとは異なり、t1からt7までの水平でない線分の長さは、各線分が表す実空間上の線の長さによっては定義せず、ガイド画像上において後述のように定める。 Here, unlike the lengths of the nine horizontal line segments h1 to h9, the lengths of the non-horizontal line segments t1 to t7 are defined depending on the length of the lines in the real space represented by each line segment. Instead, it is defined on the guide image as described later.

以下、以上のようなガイド画像の生成の手順について示す。
なお、ガイド画像の生成は、運転支援システムの利用開始前の初期設定作業時や、運転支援システムのメンテナンス時等に行う。
まず、自動車に設置されたバックカメラ3の撮影方向を測定し、バックカメラ3の撮影方向と画角等のバックカメラ3の特性より、自動車後方の水平な路面を撮影したときにおける、各路面上の位置と、当該路面上の位置が投影される撮影画像上の位置との関係を表す関数Gを算定し、後方ガイド表示アプリケーション23に設定する。
The procedure for generating the guide image as described above is described below.
The guide image is generated at the time of initial setting work before the start of use of the driving support system, at the time of maintenance of the driving support system, and the like.
First, the shooting direction of the back camera 3 installed in the car is measured, and based on the characteristics of the back camera 3 such as the shooting direction and the angle of view of the back camera 3, the horizontal road surface behind the car is shot on each road surface. A function G representing the relationship between the position of the above and the position on the captured image on which the position on the road surface is projected is calculated and set in the rear guide display application 23.

次に、後方ガイド表示アプリケーション23は、以下のガイド画像生成処理を行う。
すなわち、後方ガイド表示アプリケーション23は、ガイド画像生成処理において、まず、撮影画像と同サイズの透明なガイド画像を生成する。
次に、図4に示した線H1からH9の各線Hiについて、関数Gを用いて求まる線Hiが現実に存在した場合に撮影されることとなる、撮影画像上の当該線Hiの像の両端の位置を求める。そして、図5に示すように、ガイド画像上の、求めた撮影画像上の両端の位置と同じ位置を両端とする水平な線分hiを描画する。
Next, the rear guide display application 23 performs the following guide image generation processing.
That is, the rear guide display application 23 first generates a transparent guide image having the same size as the captured image in the guide image generation process.
Next, for each of the lines H1 to H9 shown in FIG. 4, both ends of the image of the line Hi on the photographed image will be photographed when the line Hi obtained by using the function G actually exists. Find the position of. Then, as shown in FIG. 5, a horizontal line segment hi having the same positions as both ends on the obtained captured image on the guide image is drawn.

次に、関数Gを用いて、自動車の後端から後方に2.0m離れた位置が投影される撮影画像上の上下方向の位置(線T4、T7の中心が投影される上下方向位置)と、自動車の後端から後方に1.0m離れた位置が投影される撮影画像上の上下方向の位置(線T3、T6の中心が投影される上下方向位置)とを算出し、算出した二つの位置間の上下方向の距離L1を算出し、L1の30%の長さを、線分t4と線分t7の中心から端部までの上下方向の長さd1とする。 Next, using the function G, the vertical position on the captured image (the vertical position where the centers of the lines T4 and T7 are projected) and the position 2.0 m away from the rear end of the automobile are projected. , The vertical position (the vertical position where the center of the lines T3 and T6 is projected) on the captured image where the position 1.0 m away from the rear end of the car is projected is calculated and calculated. The vertical distance L1 between the positions is calculated, and the length of 30% of L1 is defined as the vertical length d1 from the center to the end of the line segment t4 and the line segment t7.

ここで、距離L1は、図6aに示すように、ガイド画像の最も上方に現れる水平な線分h3、h6、h9から、2番目に上方に現れる水平な線分h2、h5、h8までの、ガイド画像上での上下方向の距離としても算出することができる。 Here, as shown in FIG. 6a, the distance L1 is from the horizontal line segments h3, h6, h9 appearing at the uppermost part of the guide image to the horizontal line segments h2, h5, h8 appearing at the second upper part. It can also be calculated as the vertical distance on the guide image.

また、関数Gを用いて、自動車の後端から後方に0.5m離れた位置が投影される撮影画像上の上下方向の位置(線T1、T2、T5の中心が投影される上下方向位置)を算出し、自動車の後端から後方に1.0m離れた位置が投影される撮影画像上の上下方向の位置と自動車の後端から後方に0.5m離れた位置が投影される撮影画像上の上下方向の位置との上下方向の距離L2を算出し、L1の50%の長さとL2の30%の長さのうちのより小さい長さを、線分t3と線分t6の中心から端部までの上下方向の長さd2とする。 Further, using the function G, the vertical position on the captured image where the position 0.5 m away from the rear end of the automobile is projected (the vertical position where the centers of the lines T1, T2, and T5 are projected). Is calculated, and the position in the vertical direction on the captured image where the position 1.0 m away from the rear end of the car is projected and the position 0.5 m away from the rear end of the car are projected on the captured image. Calculate the vertical distance L2 from the vertical position of, and set the smaller length of 50% of L1 and 30% of L2 from the center to the end of line segment t3 and line segment t6. The length in the vertical direction to the portion is d2.

ここで、距離L2は、図6bに示すように、ガイド画像の2番目に上方に現れる水平な線分h2、h5、h8から、一番下に現れる水平な線分h1、h4、h7までの、ガイド画像上での上下方向の距離としても算出することができる。 Here, as shown in FIG. 6b, the distance L2 is from the horizontal line segments h2, h5, h8 appearing at the second upper side of the guide image to the horizontal line segments h1, h4, h7 appearing at the bottom. , It can also be calculated as a vertical distance on the guide image.

また、自動車の後端から後方に0.5m離れた位置が投影される撮影画像上の上下方向の位置とガイド画像の下端までの上下方向の距離L3を算出し、L2の50%の長さとL3の30%の長さのうちのより小さい長さを、線分t1と線分t2と線分t5の中心から端部までの上下方向の長さd3とする。 In addition, the vertical distance L3 between the vertical position on the captured image on which the position 0.5 m away from the rear end of the automobile is projected and the lower end of the guide image is calculated, and the length is 50% of L2. The smaller length of the 30% length of L3 is defined as the vertical length d3 from the center to the end of the line segment t1, the line segment t2, and the line segment t5.

ここで、距離L3は、図6cに示すように、ガイド画像の一番下に現れる水平な線分h1、h4、h7からガイド画像の下端までの距離としても算出することができる。
そして、関数Gを用いて、左右方向について自動車の右端から右に0.25m離れ前後方向について自動車の後端から後方に2.0m離れた位置が投影される撮影画像上の位置を中心位置として求め、左右方向について自動車の右端から右に0.25m離れた位置を通る自動車の前後方向に延びる線が現実に存在する場合に、当該線の像として撮影画像上に現れる線の傾きθ1を求める。そして、図6aに示すように、求めた中心位置と同じガイド画像上の位置を中心c4とし、傾きがθ1の、中心c4から両端までの上下方向の長さが等しくd1となる線分を線分t4としてガイド画像に描画する。
Here, as shown in FIG. 6c, the distance L3 can also be calculated as the distance from the horizontal line segments h1, h4, h7 appearing at the bottom of the guide image to the lower end of the guide image.
Then, using the function G, the position on the captured image is projected at a position 0.25 m to the right from the right end of the vehicle in the left-right direction and 2.0 m away from the rear end of the vehicle in the front-rear direction as the center position. Obtain the slope θ1 of the line that appears on the captured image as an image of the line when there is actually a line extending in the front-rear direction of the car passing through a position 0.25 m to the right from the right end of the car in the left-right direction. .. Then, as shown in FIG. 6a, a line segment having the same position on the guide image as the obtained center position as the center c4 and having an inclination of θ1 and having equal lengths in the vertical direction from the center c4 to both ends is a line segment. It is drawn on the guide image as a line segment t4.

また、関数Gを用いて、左右方向について自動車の、左端から左に0.25m離れ前後方向について自動車の後端から後方に2.0m離れた位置が投影される撮影画像上の位置を中心位置として求め、左右方向について自動車の左端から左に0.25m離れた位置を通る前後方向に延びる線が現実に存在する場合に、当該線の像として撮影画像上に現れる線の傾きθ2を求める。そして、図6aに示すように、求めた中心位置と同じガイド画像上の位置を中心c7とし、傾きがθ2の、中心c7から両端までの上下方向の長さが等しくd1となる線分を線分t7としてガイド画像に描画する。 Further, using the function G, the center position is the position on the photographed image in which the position of the automobile is projected 0.25 m to the left from the left end in the left-right direction and 2.0 m to the rear from the rear end of the automobile in the front-rear direction. When there is actually a line extending in the front-rear direction passing through a position 0.25 m to the left from the left end of the automobile in the left-right direction, the slope θ2 of the line appearing on the captured image as an image of the line is obtained. Then, as shown in FIG. 6a, a line segment having the same position on the guide image as the obtained center position as the center c7 and having an inclination of θ2 and having equal lengths in the vertical direction from the center c7 to both ends is a line segment. It is drawn on the guide image as a minute t7.

また、関数Gを用いて、左右方向について自動車の右端から右に0.25m離れ前後方向について自動車の後端から後方に1.0m離れた位置が投影される撮影画像上の位置を中心位置として求め、図6bに示すように、求めた中心位置と同じガイド画像上の位置を中心c3とし、傾きがθ1の、中心c3から両端までの上下方向の長さが等しくd2となる線分を線分t3としてガイド画像に描画する。 Further, using the function G, the center position is a position on the captured image in which a position 0.25 m away from the right end of the vehicle in the left-right direction and 1.0 m away from the rear end of the vehicle in the front-rear direction is projected. As shown in FIG. 6b, a line segment having the same position on the guide image as the obtained center position as the center c3 and having an inclination of θ1 and having the same vertical length from the center c3 to both ends is a line segment. It is drawn on the guide image as a line segment t3.

また、関数Gを用いて、左右方向について自動車の、左端から左に0.25m離れ前後方向について自動車の後端から後方に1.0m離れた位置が投影される撮影画像上の位置を中心位置として求め、図6bに示すように、求めた中心位置と同じガイド画像上の位置を中心c6とし、傾きがθ2の、中心c6から両端までの上下方向の長さが等しくd2となる線分を線分t6としてガイド画像に描画する。 Further, using the function G, the center position is the position on the captured image in which the position of the vehicle in the left-right direction is 0.25 m away from the left end to the left and 1.0 m away from the rear end of the vehicle in the front-rear direction. As shown in FIG. 6b, a line segment having the same position on the guide image as the obtained center position as the center c6 and having an inclination of θ2 and having the same vertical length from the center c6 to both ends is d2. It is drawn on the guide image as a line segment t6.

また、関数Gを用いて、左右方向について自動車の右端から右に0.25m離れ前後方向について自動車の後端から後方に0.5m離れた位置が投影される撮影画像上の位置を中心位置として求め、図6cに示すように、求めた中心位置と同じガイド画像上の位置を中心c2とし、傾きがθ1の、中心c2から両端までの上下方向の長さが等しくd3となる線分を線分t2としてガイド画像に描画する。 Further, using the function G, the center position is a position on the captured image in which a position 0.25 m away from the right end of the vehicle in the left-right direction and 0.5 m away from the rear end of the vehicle in the front-rear direction is projected. As shown in FIG. 6c, a line segment having the same position on the guide image as the obtained center position as the center c2 and having an inclination of θ1 and having the same vertical length from the center c2 to both ends is a line segment. It is drawn on the guide image as a minute t2.

また、関数Gを用いて、左右方向について自動車の、左端から左に0.25m離れ前後方向について自動車の後端から後方に0.5m離れた位置が投影される撮影画像上の位置を中心位置として求め、図6cに示すように、求めた中心位置と同じガイド画像上の位置を中心c5とし、傾きがθ2の、中心c5から両端までの上下方向の長さが等しくd3となる線分を線分t5としてガイド画像に描画する。 Further, using the function G, the center position is the position on the captured image in which the position of the vehicle in the left-right direction is 0.25 m away from the left end to the left and 0.5 m away from the rear end of the vehicle in the front-rear direction. As shown in FIG. 6c, a line segment having the same position on the guide image as the obtained center position as the center c5 and having an inclination of θ2 and having the same vertical length from the center c5 to both ends is d3. It is drawn on the guide image as a line segment t5.

また、関数Gを用いて、左右方向について自動車の左右方向の中心と同じ位置にあり、前後方向について自動車の後端から後方に0.5m離れた位置が投影される撮影画像上の位置を中心位置として求め、図6cに示すように、求めた中心位置と同じガイド画像上の位置を中心c1とし、中心c1から両端までの上下方向の長さが等しくd3となる、上下方向に延びる線分を線分t1としてガイド画像に描画する。 Further, using the function G, the position on the photographed image is projected at the same position as the center of the vehicle in the left-right direction in the left-right direction and 0.5 m behind the rear end of the vehicle in the front-rear direction. A line segment extending in the vertical direction, which is obtained as a position and, as shown in FIG. 6c, has the same position on the guide image as the obtained center position as the center c1, and the vertical lengths from the center c1 to both ends are equal to d3. Is drawn on the guide image as the line segment t1.

そして、これによりガイド画像が完成したならば、後方ガイド表示アプリケーション23は、完成したガイド画像を保存し、ガイド画像生成処理を終了する。
なお、ここで保存したガイド画像は、上述のように以降の後方画像表示処理において撮影画像に合成され、ディスプレイ1に表示される。
ここで、以上のように本実施形態によれば、ガイド画像中において、自動車の右端から右に0.25m離れた位置を通る前後方向に延びる線の一部を各々表す線分t4、線分t3、線分t2の上下方向の長さは、次のように設定される。
Then, when the guide image is completed by this, the rear guide display application 23 saves the completed guide image and ends the guide image generation process.
The guide image saved here is combined with the captured image in the subsequent rear image display processing as described above, and is displayed on the display 1.
Here, as described above, according to the present embodiment, in the guide image, a line segment t4 and a line segment representing a part of a line extending in the front-rear direction passing through a position 0.25 m to the right from the right end of the automobile, respectively. The vertical lengths of t3 and the line segment t2 are set as follows.

すなわち、まず、最も上の線分t4の中心より下方の部分と上方の部分の上下方向の長さは、共に、線分t4の中心と、線分t4の下の線分t3の中心との間の上下方向の距離の30%に設定される。 That is, first, the vertical lengths of the portion below the center of the uppermost line segment t4 and the length in the vertical direction are both the center of the line segment t4 and the center of the line segment t3 below the line segment t4. It is set to 30% of the vertical distance between them.

そして、このように、線分t4の上限方向長さに下限を設けることにより、バックカメラ3の俯角が小さい場合に、線分t4が視認できなくなってしまうほど過剰に短くなってしまうことを抑制できる。 By setting the lower limit in the upper limit direction length of the line segment t4 in this way, it is possible to prevent the line segment t4 from becoming excessively short when the depression angle of the back camera 3 is small so that the line segment t4 cannot be visually recognized. can.

次に、線分t3の中心より上方の部分と下方の部分の上下方向の長さは、共に、線分t4の中心と線分t3の中心との間の上下方向の距離の50%と、線分t3の中心と、線分t3の下の線分t2の中心との間の上下方向の距離の30%のうちの小さい方の距離と同じ長さに設定される。 Next, the vertical lengths of the portion above and below the center of the line segment t3 are both 50% of the vertical distance between the center of the line segment t4 and the center of the line segment t3. It is set to the same length as the smaller of 30% of the vertical distance between the center of the line segment t3 and the center of the line segment t2 below the line segment t3.

そして、このように、線分t3の上限方向長さに下限を設けることにより、バックカメラ3の俯角が小さい場合に、線分t3が視認できなくなってしまうほど過剰に短くなってしまうことを抑制できる。 By setting the lower limit in the upper limit direction length of the line segment t3 in this way, it is possible to prevent the line segment t3 from becoming excessively short when the depression angle of the back camera 3 is small so that the line segment t3 cannot be visually recognized. can.

また、線分t3の中心より上方の部分の長さは線分t4の中心と線分t3の中心との間の上下方向の距離の50%を超えることがなく、線分t4の中心より下方の部分の長さは、線分t4の中心と線分t3の中心との間の上下方向の距離30%に設定されるので、線分t4と線分t3の間には、上下方向の距離が線分t4の中心と線分t3の中心との間の上下方向の距離の20%以上となる隙間が必ず確保される。 Further, the length of the portion above the center of the line segment t3 does not exceed 50% of the vertical distance between the center of the line segment t4 and the center of the line segment t3, and is below the center of the line segment t4. Since the length of the portion is set to 30% of the vertical distance between the center of the line segment t4 and the center of the line segment t3, the vertical distance between the line segment t4 and the line segment t3. A gap of 20% or more of the vertical distance between the center of the line segment t4 and the center of the line segment t3 is always secured.

よって、バックカメラ3の俯角が小さい場合に、線分t4と線分t3が隙間無く連続してしまうことが抑止される。
次に、線分t2の中心より上方の部分と下方の部分の上下方向の長さは、共に、線分t3の中心と線分t2の中心との間の上下方向の距離の50%と、線分t2の中心と、画像下端との間の上下方向の距離の30%のうちの小さい方の距離と同じ長さに設定される。
Therefore, when the depression angle of the back camera 3 is small, it is prevented that the line segment t4 and the line segment t3 are continuous without a gap.
Next, the vertical lengths of the portion above and below the center of the line segment t2 are both 50% of the vertical distance between the center of the line segment t3 and the center of the line segment t2. The length is set to be the same as the smaller of 30% of the vertical distance between the center of the line segment t2 and the lower end of the image.

そして、このように、線分t2の上限方向長さに下限を設けることにより、バックカメラ3の俯角が小さい場合に、線分t2が視認できなくなってしまうほど過剰に短くなってしまうことを抑制できる。 By setting the lower limit in the upper limit direction length of the line segment t2 in this way, it is possible to prevent the line segment t2 from becoming excessively short when the depression angle of the back camera 3 is small so that the line segment t2 cannot be visually recognized. can.

また、線分t2の中心より上方の部分の長さは線分t3の中心と線分t2の中心との間の上下方向の距離の50%を超えることがなく、線分t3の中心より下方の部分の長さは、線分t3の中心と線分t2の中心との間の上下方向の距離30%を超えないように設定されるので、線分t3と線分t2の間には、上下方向の距離が線分t3の中心と線分t3の中心との間の上下方向の距離の20%以上となる隙間が必ず確保される。 Further, the length of the portion above the center of the line segment t2 does not exceed 50% of the vertical distance between the center of the line segment t3 and the center of the line segment t2, and is below the center of the line segment t3. Since the length of the portion is set so as not to exceed the vertical distance of 30% between the center of the line segment t3 and the center of the line segment t2, the length between the line segment t3 and the line segment t2 is set. A gap having a vertical distance of 20% or more of the vertical distance between the center of the line segment t3 and the center of the line segment t3 is always secured.

よって、バックカメラ3の俯角が小さい場合に、線分t3と線分t2が隙間無く連続してしまうことが抑止される。
また、次に、自動車の左端から左に0.25m離れた位置を通る前後方向に延びる線の一部を各々表す線分t7、線分t6、線分t5の上下方向の長さも、自動車の右端から右に0.25m離れた位置を通る前後方向に延びる線の一部を各々表す線分t7、線分t6、線分t5と同様に設定されるので、線分t7、線分t6、線分t5についても、バックカメラ3の俯角が小さい場合に、視認できなくなってしまうほど過剰に短くなってしまうことを抑制できる。
Therefore, when the depression angle of the back camera 3 is small, it is prevented that the line segment t3 and the line segment t2 are continuous without a gap.
Next, the vertical lengths of the line segment t7, the line segment t6, and the line segment t5, which represent a part of the line extending in the front-rear direction passing through a position 0.25 m to the left from the left end of the automobile, are also the lengths of the automobile. Since it is set in the same manner as the line segment t7, the line segment t6, and the line segment t5 representing a part of the line extending in the front-rear direction passing through the position 0.25 m away from the right end to the right, the line segment t7, the line segment t6, As for the line segment t5, when the depression angle of the back camera 3 is small, it is possible to prevent the line segment t5 from becoming excessively short so that it cannot be visually recognized.

また、線分t7と線分t6の間、線分t6と線分t5の間に隙間を必ず確保することができ、バックカメラ3の俯角が小さい場合に、線分t7と線分t6、線分t6と線分t5が隙間無く連続してしまうことが抑止される。 Further, a gap can always be secured between the line segment t7 and the line segment t6, and between the line segment t6 and the line segment t5, and when the depression angle of the back camera 3 is small, the line segment t7 and the line segment t6, the line segment It is suppressed that the line segment t6 and the line segment t5 are continuous without a gap.

よって、以上のようなガイド画像生成処理によれば、図7a1に、図7a2に示すようにバックカメラ3の俯角が大きい場合に生成されるガイド画像の例を示し、図7b1に、図7b2に示すようにバックカメラ3の俯角が小さい場合に生成されるガイド画像の例を示すように、バックカメラ3の俯角によらずに、線分が過剰に短くなってしまうことが抑制されると共に、線分が隙間無く連続してしまうことが抑止される。 Therefore, according to the guide image generation process as described above, FIG. 7a1 shows an example of a guide image generated when the depression angle of the back camera 3 is large as shown in FIG. 7a2, and FIG. 7b1 shows an example in FIG. 7b2. As shown in the example of the guide image generated when the depression angle of the back camera 3 is small, the line segment is suppressed from being excessively shortened regardless of the depression angle of the back camera 3 and is also suppressed. It is prevented that the line segments are continuous without any gaps.

以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、自動車の前後方向に延びる一つの線に対して、三つの線分(線分t4と線分t3と線分t2、または、線分t7と線分t6と線分t5)をガイド画像に表示するようにしたが、一つの自動車の前後方向に延びる線に対してガイド画像に表示する線分の数は任意であってよい。
The embodiment of the present invention has been described above.
By the way, in the above embodiment, three line segments (line segment t4 and line segment t3 and line segment t2, or line segment t7 and line segment t6 and line segment) are used for one line extending in the front-rear direction of the automobile. Although t5) is displayed on the guide image, the number of line segments displayed on the guide image may be arbitrary with respect to the lines extending in the front-rear direction of one automobile.

また、以上の実施形態で線分t7、線分t6、線分t5、線分t4、線分t3、線分t2、線分t1の上下方向の長さの算定に用いた30%、50%の係数は一例であり、二つの係数に代えて、もしくは、一方の係数に代えて他の係数を用いてもよい。ただし、30%の代わりに用いる係数をA、50%の代わりに用いる係数をBとして、A>0かつB>0かつA+B<100、より望ましくは、A>20%かつB>20%かつA+B<80となるようにする。 Further, in the above embodiment, 30% and 50% used for calculating the vertical lengths of the line segment t7, the line segment t6, the line segment t5, the line segment t4, the line segment t3, the line segment t2, and the line segment t1. The coefficient of is an example, and the other coefficient may be used in place of the two coefficients or in place of one of the coefficients. However, where A is the coefficient used instead of 30% and B is the coefficient used instead of 50%, A> 0 and B> 0 and A + B <100, more preferably A> 20% and B> 20% and A + B. <80.

1…ディスプレイ、2…制御装置、3…バックカメラ、4…後進検出センサ、5…周辺装置、21…表示制御部、22…制御部、23…後方ガイド表示アプリケーション、24…ナビゲーションアプリケーション、25…他アプリケーション。 1 ... Display, 2 ... Control device, 3 ... Back camera, 4 ... Reverse detection sensor, 5 ... Peripheral device, 21 ... Display control unit, 22 ... Control unit, 23 ... Rear guide display application, 24 ... Navigation application, 25 ... Other applications.

Claims (10)

自動車に搭載される運転支援システムであって、
ディスプレイと、
自動車の後方の路面を撮影するバックカメラと、
前記バックカメラが撮影した画像である撮影画像上に、ガイド画像を合成し、前記ディスプレイに表示するガイド画像表示手段とを有し、
前記ガイド画像は、自動車の前後方向と平行な線の相互に異なるn個(但し、nは3以上の整数)の部分のそれぞれを、前記撮影画像上で表すn個の線分を含み、
前記n個の線分の中心は、撮影画像上において、前記自動車後端からの自動車の前後方向の距離が相互に異なる所定の距離である位置を表し、
前記ガイド画像の、上から2番目からn-1番目の各線分の中心から当該線分の両端までの上下方向の長さは、共に、当該線分の中心と当該線分の一つ下の線分の中心との間の上下方向の距離のA%(但し、A>0)と、当該線分の中心と当該線分の一つ上の線分の中心との間の上下方向の距離のB%(但し、B>0、かつ、A+B<100)とうちの小さい方に一致していることを特徴とする運転支援システム。
It is a driving support system installed in automobiles.
With the display
A back camera that shoots the road surface behind the car,
It has a guide image display means for synthesizing a guide image on a captured image which is an image captured by the back camera and displaying the guide image on the display.
The guide image includes n line segments representing each of n different parts (where n is an integer of 3 or more) of lines parallel to the front-rear direction of the automobile on the captured image.
The center of the n line segments represents a position on the photographed image in which the distances in the front-rear direction of the automobile from the rear end of the automobile are predetermined distances different from each other.
The length of the guide image in the vertical direction from the center of each of the second to n-1 line segments from the top to both ends of the line segment is both the center of the line segment and one below the line segment. A% of the vertical distance between the center of the line segment (where A> 0) and the vertical distance between the center of the line segment and the center of the line segment one above the line segment. B% (however, B> 0 and A + B <100), which is the smaller of the two, is the driving support system.
請求項1記載の運転支援システムであって、
前記ガイド画像の、上から1番目の線分の中心から当該線分の両端までの上下方向の長さは、共に、当該線分の中心と当該線分の一つ下の線分の中心との間の上下方向の距離のA%に一致していることを特徴とする運転支援システム。
The driving support system according to claim 1.
The length of the guide image in the vertical direction from the center of the first line segment from the top to both ends of the line segment is the center of the line segment and the center of the line segment one below the line segment. A driving support system characterized in that it matches A% of the vertical distance between the two.
請求項1または2記載の運転支援システムであって、
前記ガイド画像の、n番目の線分の中心から当該線分の両端までの上下方向の長さは、共に、当該線分の中心の前記撮影画像上の位置と前記撮影画像の下端との間の上下方向の距離のA%と、当該線分の中心と当該線分の一つ上の線分の中心との間の上下方向の距離のB%とうちの小さい方に一致していることを特徴とする運転支援システム。
The driving support system according to claim 1 or 2.
The vertical length of the guide image from the center of the nth line segment to both ends of the line segment is both between the position of the center of the line segment on the captured image and the lower end of the captured image. Matches A% of the vertical distance of and B% of the vertical distance between the center of the line segment and the center of the line segment one above the line segment, whichever is smaller. A driving support system featuring.
請求項1、2または3記載の運転支援システムであって、
前記A%は30%であり、前記B%は50%であることを特徴とする運転支援システム。
The driving support system according to claim 1, 2 or 3.
A driving support system characterized in that the A% is 30% and the B% is 50%.
請求項1、2、3または4記載の運転支援システムであって、
前記自動車の前後方向と平行な線は、自動車の左右方向についての端部もしくは中心に対して定まる左右方向の位置を通る、前記自動車の前後方向と平行な線であることを特徴とする運転支援システム。
The driving support system according to claim 1, 2, 3 or 4.
The driving support characterized in that the line parallel to the front-rear direction of the automobile is a line parallel to the front-rear direction of the automobile passing through a position in the left-right direction determined with respect to the end or center of the automobile in the left-right direction. system.
請求項1、2、3、4または5記載の運転支援システムであって、
前記ガイド画像は、上下方向の位置が前記n個の線分の中心と同じ、左右方向の線分を含むことを特徴とする運転支援システム。
The driving support system according to claim 1, 2, 3, 4 or 5.
The guide image is a driving support system characterized in that the position in the vertical direction is the same as the center of the n line segments and includes the line segments in the horizontal direction.
ディスプレイと、自動車の後方の路面を撮影するバックカメラとを備えた、自動車に搭載される運転支援システムにおいて、前記バックカメラが撮影した画像である撮影画像上に合成して前記ディスプレイに表示されるガイド画像を生成するガイド画像生成方法であって、
前記ガイド画像は、自動車の前後方向と平行な線の相互に異なるn個(但し、nは3以上の整数)の部分のそれぞれを、前記撮影画像上で表すn個の線分を含み、
当該ガイド画像生成方法は、
前記n個の線分の中心の前記ガイド画像上の位置を、当該中心が、撮影画像上において、前記平行な線上の、前記自動車後端からの自動車の前後方向の距離が相互に異なる所定の距離である位置を表すように定める中心算定ステップと、
前記ガイド画像上の上から2番目からn-1番目の各線分の中心から当該線分の両端までの上下方向の長さを、共に、当該線分の中心と当該線分の一つ下の線分の中心との間の上下方向の距離のA%(但し、A>0)と、当該線分の中心と当該線分の一つ上の線分の中心との間の上下方向の距離のB%(但し、B>0、かつ、A+B<100)とうちの小さい方に一致するように定めるとともに、前記ガイド画像上の上から1番目の線分とn番目の線分の中心から当該線分の両端までの上下方向の長さを、それぞれ所定の基準に従って定める上下長算定ステップと、
前記n個の各線分を、当該線分について算定した中心を中心として有し、当該線分について算定した中心から両端までの上下方向の長さを有し、前記平行な線の前記撮影画像上の傾きと同じ傾きを有するように前記ガイド画像に描画する描画ステップとを有することを特徴とするガイド画像生成方法。
In a driving support system mounted on an automobile equipped with a display and a back camera for photographing the road surface behind the automobile, the image is combined with a photographed image taken by the back camera and displayed on the display. It is a guide image generation method that generates a guide image.
The guide image includes n line segments representing each of n different parts (where n is an integer of 3 or more) of lines parallel to the front-rear direction of the automobile on the captured image.
The guide image generation method is
A predetermined position on the guide image of the center of the n line segments is such that the center is on the parallel line and the distance in the front-rear direction of the vehicle from the rear end of the vehicle is different from each other. A central calculation step that defines a position that is a distance,
The length in the vertical direction from the center of each of the second to n-1th line segments on the guide image to both ends of the line segment is the center of the line segment and one below the line segment. A% of the vertical distance between the center of the line segment (where A> 0) and the vertical distance between the center of the line segment and the center of the line segment one above the line segment. B% (however, B> 0 and A + B <100) and the smaller of the two are set to match, and from the center of the first line segment and the nth line segment from the top on the guide image. A vertical length calculation step that determines the vertical length to both ends of the line segment according to a predetermined standard, respectively.
Each of the n line segments has a center calculated for the line segment as a center, has a length in the vertical direction from the center calculated for the line segment to both ends, and is on the captured image of the parallel line. A method for generating a guide image, which comprises a drawing step for drawing on the guide image so as to have the same inclination as the inclination of.
請求項7記載のガイド画像生成方法であって、
前記上下長算定ステップにおいて、前記ガイド画像の、上から1番目の線分の中心から当該線分の両端までの上下方向の長さを、共に、当該線分の中心と当該線分の一つ下の線分の中心との間の上下方向の距離のA%に一致するように定めることを特徴とするガイド画像生成方法。
The guide image generation method according to claim 7.
In the vertical length calculation step, the length of the guide image in the vertical direction from the center of the first line segment from the top to both ends of the line segment is both the center of the line segment and one of the line segments. A guide image generation method characterized in that it is determined to match A% of the vertical distance between the center of the lower line segment.
請求項7または8記載のガイド画像生成方法であって、
前記上下長算定ステップにおいて、前記ガイド画像の、n番目の線分の中心から当該線分の両端までの上下方向の長さを、共に、当該線分の中心の前記撮影画像上の位置と前記撮影画像の下端との間の上下方向の距離のA%と、当該線分の中心と当該線分の一つ上の線分の中心との間の上下方向の距離のB%とうちの小さい方に一致するように定めることを特徴とするガイド画像生成方法。
The guide image generation method according to claim 7 or 8.
In the vertical length calculation step, the vertical lengths of the guide image from the center of the nth line segment to both ends of the line segment are both the position of the center of the line segment on the captured image and the above. A% of the vertical distance between the lower end of the captured image and B% of the vertical distance between the center of the line segment and the center of the line segment one above the line segment, which is small. A guide image generation method characterized in that it is determined to match the line segment.
請求項7、8または9記載のガイド画像生成方法であって、
前記A%は30%であり、前記B%は50%であることを特徴とするガイド画像生成方法。
The guide image generation method according to claim 7, 8 or 9 .
A guide image generation method, wherein the A% is 30% and the B% is 50%.
JP2017232405A 2017-12-04 2017-12-04 Driving support system and rear guide image generation method Active JP7037926B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017232405A JP7037926B2 (en) 2017-12-04 2017-12-04 Driving support system and rear guide image generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017232405A JP7037926B2 (en) 2017-12-04 2017-12-04 Driving support system and rear guide image generation method

Publications (2)

Publication Number Publication Date
JP2019102988A JP2019102988A (en) 2019-06-24
JP7037926B2 true JP7037926B2 (en) 2022-03-17

Family

ID=66974371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017232405A Active JP7037926B2 (en) 2017-12-04 2017-12-04 Driving support system and rear guide image generation method

Country Status (1)

Country Link
JP (1) JP7037926B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009292457A (en) 2008-05-08 2009-12-17 Aisin Seiki Co Ltd Vehicle periphery display device
JP2011211432A (en) 2010-03-29 2011-10-20 Kyocera Corp In-vehicle imaging apparatus
WO2016194039A1 (en) 2015-05-29 2016-12-08 日産自動車株式会社 Information presentation system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009292457A (en) 2008-05-08 2009-12-17 Aisin Seiki Co Ltd Vehicle periphery display device
JP2011211432A (en) 2010-03-29 2011-10-20 Kyocera Corp In-vehicle imaging apparatus
WO2016194039A1 (en) 2015-05-29 2016-12-08 日産自動車株式会社 Information presentation system

Also Published As

Publication number Publication date
JP2019102988A (en) 2019-06-24

Similar Documents

Publication Publication Date Title
EP2974909B1 (en) Periphery surveillance apparatus and program
JP5412979B2 (en) Peripheral display device
JP5904093B2 (en) In-vehicle image generator
JP6257978B2 (en) Image generation apparatus, image display system, and image generation method
JP6816436B2 (en) Peripheral monitoring device
JP2016197785A (en) Perimeter monitoring device
JP2018144526A (en) Periphery monitoring device
CN110945558B (en) display controls
JP2016134001A (en) Image generating apparatus, image generating method, and program
WO2018003193A1 (en) Periphery monitoring device
JP6778620B2 (en) Road marking device, road marking system, and road marking method
JP6720729B2 (en) Display controller
JP6151535B2 (en) Parameter acquisition apparatus, parameter acquisition method and program
JP2019054420A (en) Image processing system
JP6555195B2 (en) Image generation device
CN106063258A (en) Vehicle peripheral image display device and method for displaying vehicle peripheral image
JP2019054439A (en) Image processing device
JP6572862B2 (en) Display control device
JP2015171106A (en) Vehicle peripheral image display device and vehicle peripheral image display method
JP7037926B2 (en) Driving support system and rear guide image generation method
JP2016060411A (en) Confirmation assist device and confirmation assist system
JP2018114830A (en) Driving support image display system
JP6781010B2 (en) Image display device and image processing method
JP6708119B2 (en) Display controller
KR20190117213A (en) Apparatus and method for generating bird eye view image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220307

R150 Certificate of patent or registration of utility model

Ref document number: 7037926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150