JP7700019B2

JP7700019B2 - Image processing device, system and program

Info

Publication number: JP7700019B2
Application number: JP2021173167A
Authority: JP
Inventors: 俊也中村; 浩安清水; 一真福地
Original assignee: Murakami Corp
Current assignee: Murakami Corp
Priority date: 2021-10-22
Filing date: 2021-10-22
Publication date: 2025-06-30
Anticipated expiration: 2041-10-22
Also published as: JP2023062956A

Description

本発明は、画像処理装置、システム及びプログラムに関する。 The present invention relates to an image processing device, a system, and a program.

従来、カメラによって車両の後方と左右の後側方とを撮影し、それらを１つの画像に合成して車両内部のディスプレイに表示する運転支援システムが利用されている。視認したときと同様に合成画像を観察できるように、各撮影画像は画像処理されることがある。このとき、撮影画像中の後方車両や歩行者等が合成画像から消失することがある。 Conventionally, driving assistance systems have been used that use cameras to capture images of the rear and left and right rear sides of a vehicle, then combine these images into a single image and display it on a display inside the vehicle. Each captured image may be processed so that the composite image can be viewed in the same way as if it were seen with the naked eye. When this happens, vehicles behind or pedestrians in the captured images may disappear from the composite image.

例えば、各撮影画像中の車線の位置が一致するように、後側方の撮影画像上に後方の撮影画像を重ねる画像処理が行われることがある。この後方の撮影画像が重ねられた領域に、隣の車線を走行する後側方車両が含まれている場合、合成画像から後側方車両が消失する。 For example, image processing may be performed to overlay a rearward captured image on a rearward captured image so that the positions of the lanes match in each captured image. If the area where this rearward captured image is overlaid includes a rearward vehicle traveling in the adjacent lane, the rearward vehicle will disappear from the composite image.

このように合成画像に現れない物体の存在をドライバに警告する技術が提案されている。例えば、特許文献１によれば、合成画像において車両と同じ車線を走行中の後方車両の後ろに隠れた二輪車等の物体に警告マークが重ねられる。 Technology has been proposed to warn drivers of the presence of objects that do not appear in the composite image. For example, according to Patent Document 1, a warning mark is superimposed on an object, such as a motorcycle, that is hidden behind a rear vehicle traveling in the same lane as the vehicle in the composite image.

国際公開第２０１８／０１２２９９号International Publication No. 2018/012299

しかしながら、後方車両の周辺に警告マークが重ねられると、ドライバが後方車両を確認しづらくなる。後方車両に隠れる物体の数が多いと、多くの警告マークが重ねられ、各物体が隠れている位置の把握が難しくなる。また警告マークの数が多いと、そのなかでドライバが特に注目すべき物体、例えばスピードが速い車両や二輪車等を判別することができない。 However, when warning marks are superimposed around the vehicle behind, it becomes difficult for the driver to see the vehicle behind. If there are many objects hidden by the vehicle behind, many warning marks will be superimposed, making it difficult to grasp the location of each object. Furthermore, if there are many warning marks, the driver will not be able to distinguish objects that should be of particular interest to them, such as fast-moving vehicles or motorcycles.

本発明は、後方及び後側方の物体を把握しやすい合成画像を提供することを目的とする。 The present invention aims to provide a composite image that makes it easy to grasp objects behind and to the sides of the vehicle.

本発明は、以下の態様を包含する。
［１］車両後方の複数の撮影画像から１つの合成画像を生成する画像処理装置であって、
前記車両の後方を撮影したリア画像と、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像とを合成し、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から後方車両を含む物体を検出する検出部と、
前記リア画像から前記後方車両が検出された場合、前記サイド画像から検出された前記物体のうち、前記リア画像によって前記合成画像から消失し、かつ危険度が高い死角物体の有無を判定する判定部と、を備え、
前記合成部は、前記死角物体があると判定された場合、前記死角物体の警告情報を前記合成画像上に重ねる
画像処理装置。 The present invention includes the following aspects.
[1] An image processing device that generates a single composite image from multiple captured images of an area behind a vehicle,
a synthesis unit that synthesizes a rear image captured behind the vehicle and two side images captured respectively of the left and right rear sides to generate the synthetic image;
a detection unit that detects objects including a rear vehicle from the rear image and the side image;
a determination unit that, when the rear vehicle is detected from the rear image, determines whether or not there is a blind spot object that disappears from the composite image due to the rear image and has a high degree of danger, among the objects detected from the side image,
The image processing device wherein, when it is determined that the blind spot object is present, the synthesis unit superimposes warning information about the blind spot object on the synthetic image.

上記［１］によれば、警告情報により、ドライバは、リア画像中の後方車両によって合成画像から消失するサイド画像の死角物体の存在を早期に把握することができる。警告情報は、すべての死角物体ではなく、危険度が高い死角物体を警告する。警告対象が絞られるため、ドライバは注意喚起が特に必要な後方及び後側方の物体を容易に把握することができる。 According to [1] above, the warning information allows the driver to quickly recognize the presence of a blind spot object in the side image that disappears from the composite image due to a rear vehicle in the rear image. The warning information warns of blind spot objects that are highly dangerous, rather than all blind spot objects. Since the warning targets are narrowed down, the driver can easily recognize objects in the rear and rear sides that particularly require attention.

［２］前記判定部は、前記死角物体の前記車両への接近レベルを判定し、前記接近レベルに基づいて前記危険度を判定する
上記［１］に記載の画像処理装置。 [2] The image processing device according to the above [1], wherein the determination unit determines a level of approach of the blind spot object to the vehicle and determines the degree of danger based on the level of approach.

上記［２］によれば、車両への接近レベルが高い死角物体を危険度が高いと判定することができる。これにより、車両に接近して衝突する可能性がある死角物体の存在を早期にドライバに知らせることができる。 According to [2] above, blind spot objects that are approaching the vehicle at a high level can be determined to be of high danger. This makes it possible to notify the driver at an early stage of the presence of a blind spot object that may approach the vehicle and cause a collision.

［３］前記合成部は、前記接近レベルに応じて前記警告情報の表示形態を変更する
上記［２］に記載の画像処理装置。 [3] The image processing device according to the above [2], wherein the synthesis unit changes a display form of the warning information according to the approach level.

上記［３］によれば、警告情報の表示形態の違いにより、ドライバは死角物体の車両への接近レベルを容易に把握することができる。 According to [3] above, by changing the display format of the warning information, the driver can easily grasp the level of proximity of the blind spot object to the vehicle.

［４］前記警告情報は、前記死角物体の種別を示す画像を含む
上記［１］～［３］のいずれかに記載の画像処理装置。 [4] The image processing device according to any one of [1] to [3] above, wherein the warning information includes an image indicating a type of the blind spot object.

上記［４］によれば、車両、人等の死角物体の種別をドライバが容易に把握することができる。 According to [4] above, the driver can easily grasp the type of blind spot object, such as a vehicle or person.

［５］前記合成部は、前記警告情報を前記死角物体があると判定された前記サイド画像上に配置する
上記［１］～［４］のいずれかに記載の画像処理装置。 [5] The image processing device according to any one of [1] to [4] above, wherein the synthesis unit arranges the warning information on the side image in which it is determined that the blind spot object is present.

上記［５］によれば、警告情報の位置により、左右のどちらの後側方に死角物体が位置するのかをドライバは容易に把握することができる。 According to [5] above, the position of the warning information allows the driver to easily determine whether the blind spot object is located on the left or right rear side.

［６］前記合成部は、前記警告情報を前記サイド画像の予め決められた領域に配置する
上記［５］に記載の画像処理装置。 [6] The image processing device according to the above [5], wherein the synthesizing unit arranges the warning information in a predetermined area of the side image.

上記［６］によれば、警告情報は常に同じ位置に表示され、確認しやすい。 According to [6] above, warning information is always displayed in the same position, making it easy to check.

［７］前記判定部は、前記リア画像から前記後方車両が検出されず、かつ前記サイド画像から後側方車両が検出されたか否かを判定し、
前記合成部は、前記リア画像から前記後方車両が検出されず、かつ前記サイド画像から後側方車両が検出されたと判定された場合、前記サイド画像上に前記後側方車両の警告情報を重ねる
上記［１］～［６］のいずれかに記載の画像処理装置。 [7] The determination unit determines whether or not the rear vehicle is not detected from the rear image and a rear lateral vehicle is detected from the side image,
The image processing device described in any of the above-mentioned [1] to [6], wherein the synthesis unit, when it is determined that the rear vehicle is not detected from the rear image and a rear vehicle is detected from the side image, overlays warning information of the rear vehicle on the side image.

上記［７］によれば、リア画像中の後方車両により合成画像から消失しない後側方車両についても警告することができる。 According to [7] above, it is possible to warn about vehicles on the rear side that do not disappear from the composite image due to the rear vehicle in the rear image.

［８］前記判定部は、前記車両のウィンカー状態の情報を取得し、前記ウィンカー状態に応じて、前記サイド画像において前記死角物体の有無を判定する範囲を変更する
上記［１］～［７］のいずれかに記載の画像処理装置。 [8] The image processing device described in any one of [1] to [7] above, wherein the determination unit acquires information on the turn signal state of the vehicle, and changes the range in the side image for determining the presence or absence of the blind spot object depending on the turn signal state.

上記［８］によれば、ウィンカーがＯＮ状態にあるサイド画像における判定範囲を広域に変更することができる。これにより、ウィンカーがＯＮ状態にある左又は右の後側方車両を広く警告対象とすることができる。 According to [8] above, the judgment range in the side image where the turn signal is on can be changed to a wider range. This makes it possible to widely target vehicles on the left or right rear side with their turn signals on.

［９］前記判定部は、
前記リア画像から前記後方車両が検出され、かつ前記車両に前記後方車両が接近した場合に、前記死角物体の有無を判定し、
前記リア画像から検出された前記後方車両の端部の位置が、前記リア画像の水平方向又は垂直方向に配置された基準線を超える場合に、前記車両に前記後方車両が接近したと判定する
上記［１］～［８］のいずれかに記載の画像処理装置。 [9] The judgment unit is
When the rear vehicle is detected from the rear image and approaches the vehicle, the presence or absence of an object in the blind spot is determined;
The image processing device according to any one of the above [1] to [8], wherein when the position of the end of the rear vehicle detected from the rear image exceeds a reference line arranged in the horizontal or vertical direction of the rear image, it is determined that the rear vehicle is approaching the vehicle.

上記［９］によれば、基準線との照合によって後方車両の接近を簡易に判定することができる。 According to [9] above, the approach of a rear vehicle can be easily determined by comparing it with the reference line.

［１０］前記検出部は、前記物体の種別を検出し、
前記判定部は、前記後方車両の種別によって前記基準線の位置を移動する
上記［９］に記載の画像処理装置。 [10] The detection unit detects a type of the object,
The image processing device according to the above-mentioned [9], wherein the determination unit moves the position of the reference line depending on the type of the rear vehicle.

上記［１０］によれば、後方車両の種別によって基準線の位置を変更することにより、後方車両が接近したと判定するタイミングを簡易に調整することができる。 According to [10] above, by changing the position of the reference line depending on the type of rear vehicle, it is possible to easily adjust the timing at which it is determined that a rear vehicle is approaching.

［１１］車両後方の撮影画像を提供するシステムであって、
前記車両後方の複数の撮影画像から１つの合成画像を生成する画像処理装置と、
前記合成画像を表示する表示装置と、を備え、
前記画像処理装置は、
前記車両の後方を撮影したリア画像と、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像とを合成し、前記合成画像を生成する合成部と、
前記リア画像及び前記サイド画像から後方車両を含む物体を検出する検出部と、
前記リア画像から前記後方車両が検出された場合、前記サイド画像から検出された前記物体のうち、前記リア画像によって前記合成画像から消失し、かつ危険度が高い死角物体の有無を判定する判定部と、を備え、
前記合成部は、前記死角物体があると判定された場合、前記死角物体の警告情報を前記合成画像上に重ねる
システム。 [11] A system for providing an image of a rear area of a vehicle, comprising:
an image processing device that generates one composite image from a plurality of captured images of the rear of the vehicle;
a display device for displaying the composite image,
The image processing device includes:
a synthesis unit that synthesizes a rear image captured behind the vehicle and two side images captured respectively of the left and right rear sides to generate the synthetic image;
a detection unit that detects objects including a rear vehicle from the rear image and the side image;
a determination unit that, when the rear vehicle is detected from the rear image, determines whether or not there is a blind spot object that disappears from the composite image due to the rear image and has a high degree of danger, among the objects detected from the side image,
The synthesis unit overlays warning information about the blind spot object on the synthetic image when it is determined that the blind spot object is present.

上記［１１］によれば、警告情報により、リア画像中の後方車両によって合成画像から消失するサイド画像の死角物体の存在を、ドライバは早期に把握することができる。警告情報は、すべての死角物体ではなく、危険度が高い死角物体を警告する。警告対象が絞られるため、ドライバは注意喚起が特に必要な後方及び後側方の物体を容易に把握することができる。 According to [11] above, the warning information allows the driver to quickly recognize the presence of a blind spot object in the side image that disappears from the composite image due to a rear vehicle in the rear image. The warning information warns of blind spot objects that are highly dangerous, rather than all blind spot objects. Since the warning targets are narrowed down, the driver can easily recognize objects in the rear and rear sides that particularly require attention.

［１２］コンピュータに、
車両の後方を撮影したリア画像と、左の後側方及び右の後側方をそれぞれ撮影した２つのサイド画像とを合成し、１つの合成画像を生成するステップと、
前記リア画像及び前記サイド画像から後方車両を含む物体を検出するステップと、
前記リア画像から前記後方車両が検出された場合、前記サイド画像から検出された前記物体のうち、前記リア画像によって前記合成画像から消失し、かつ危険度が高い死角物体の有無を判定するステップと、
前記死角物体があると判定された場合、前記死角物体の警告情報を前記合成画像上に重ねるステップと、
を実行させるためのプログラム。 [12] A computer comprising:
A step of synthesizing a rear image captured behind the vehicle and two side images captured respectively of the left and right rear sides to generate one synthetic image;
detecting an object including a rear vehicle from the rear image and the side image;
a step of determining, when the rear vehicle is detected from the rear image, whether or not there is a blind spot object that disappears from the composite image due to the rear image and has a high degree of danger, among the objects detected from the side image;
when it is determined that there is an object in the blind spot, overlaying warning information of the object in the blind spot on the composite image;
A program for executing.

上記［１２］によれば、警告情報により、ドライバは、リア画像中の後方車両によって合成画像から消失するサイド画像の死角物体の存在を早期に把握することができる。警告情報は、すべての死角物体ではなく、危険度が高い死角物体を警告する。警告対象が絞られるため、ドライバは注意喚起が特に必要な後方及び後側方の物体を容易に把握することができる。 According to [12] above, the warning information allows the driver to quickly recognize the presence of a blind spot object in the side image that disappears from the composite image due to a rear vehicle in the rear image. The warning information warns of blind spot objects that are highly dangerous, rather than all blind spot objects. Since the warning targets are narrowed down, the driver can easily recognize objects in the rear and rear sides that particularly require attention.

本発明によれば、後方及び後側方の物体を把握しやすい合成画像を提供することができる。 The present invention can provide a composite image that makes it easy to grasp objects behind and to the sides of the vehicle.

一実施形態の運転支援システムの構成を示すブロック図である。1 is a block diagram showing a configuration of a driving assistance system according to an embodiment; 車内での表示装置の配置例を示す図である。FIG. 1 is a diagram showing an example of the arrangement of display devices in a vehicle; 合成処理を示すフローチャートである。13 is a flowchart showing a synthesis process. 合成方法を説明する図である。FIG. 13 is a diagram illustrating a synthesis method. 合成方法を説明する図である。FIG. 13 is a diagram illustrating a synthesis method. 合成画像からの後側方車両の消失を説明する図である。11A and 11B are diagrams illustrating the disappearance of a rear vehicle from a composite image. 後方車両の接近の判定方法を説明する図である。10A and 10B are diagrams illustrating a method for determining the approach of a rear vehicle. 後方車両の接近の判定方法を説明する図である。10A and 10B are diagrams illustrating a method for determining the approach of a rear vehicle. 第１警告処理を示すフローチャートである。13 is a flowchart showing a first warning process. サイド画像中の物体を判定する範囲を説明する図である。FIG. 13 is a diagram illustrating a range in which an object in a side image is determined. 警告情報の一例を示す図である。FIG. 11 is a diagram illustrating an example of warning information. 警告情報の一例を示す図である。FIG. 11 is a diagram illustrating an example of warning information. 警告情報の一例を示す図である。FIG. 11 is a diagram illustrating an example of warning information. 警告情報の他の例を示す図である。FIG. 11 is a diagram showing another example of warning information. 警告情報の他の例を示す図である。FIG. 11 is a diagram showing another example of warning information. 第２警告処理を示すフローチャートである。13 is a flowchart showing a second warning process. リア画像に後方車両がない場合の警告情報の一例を示す図である。FIG. 13 is a diagram showing an example of warning information when there is no rear vehicle in the rear image.

以下、本発明の画像処理装置、システム及びプログラムの実施の形態について、図面を参照して説明する。 The following describes embodiments of the image processing device, system, and program of the present invention with reference to the drawings.

図１は、一実施形態の運転支援システム１００の構成を示す。
運転支援システム１００は、車両に搭載され、当該車両の後方及び後側方の撮影画像を表示することによって、ドライバの運転を支援する。 FIG. 1 shows a configuration of a driving assistance system 100 according to an embodiment.
The driving assistance system 100 is mounted on a vehicle and assists the driver in driving by displaying captured images of the rear and sides of the vehicle.

図１に示すように、運転支援システム１００は、画像表示システム２５、３つのカメラ３Ｃ、３Ｌ及び３Ｒ、各種センサ４及び計測装置５等を備える。画像表示システム２５は、画像処理装置１０及び表示装置２０を備える。 As shown in FIG. 1, the driving assistance system 100 includes an image display system 25, three cameras 3C, 3L, and 3R, various sensors 4, and a measuring device 5. The image display system 25 includes an image processing device 10 and a display device 20.

カメラ３Ｃ、３Ｌ及び３Ｒは、それぞれ車両の後方、左の後側方及び右の後側方を連続的に撮影し、時系列の撮影画像を順次生成する。以下、後方の撮影画像をリア画像、後側方の撮影画像をサイド画像という。後方を撮影するカメラ３Ｃは、例えばナンバープレート付近に配置される。左右の後側方を撮影するカメラ３Ｌ及び３Ｒは、例えば左右のサイドミラーの位置にそれぞれ設けられる。 Cameras 3C, 3L, and 3R continuously capture images of the rear, left rear side, and right rear side of the vehicle, respectively, and generate sequentially captured images in chronological order. Hereinafter, the captured image of the rear side is referred to as the rear image, and the captured image of the rear side is referred to as the side image. Camera 3C, which captures images of the rear side, is positioned, for example, near the license plate. Cameras 3L and 3R, which capture images of the left and right rear sides, are mounted, for example, at the positions of the left and right side mirrors, respectively.

計測装置５は、車両周辺の物体、例えば車両、人等の位置、方向、物体までの距離、物体の移動速度等を計測する。計測装置５としては、例えば超音波ソナー又はミリ波レーダー等が挙げられる。運転支援システム１００は、これら計測装置５から車両周辺の物体の計測情報を取得することができる。 The measurement device 5 measures the position, direction, distance to the object, and moving speed of the object of the object, such as the vehicle or person, around the vehicle. Examples of the measurement device 5 include ultrasonic sonar and millimeter wave radar. The driving assistance system 100 can obtain measurement information of the object around the vehicle from the measurement device 5.

センサ４は、車両の状態を検出する。センサ４としては、例えば車速センサ、舵角センサ、ウィンカーセンサ等の車両に搭載された各種センサが挙げられる。運転支援システム１００は、これらセンサ４からの検出信号を車両の状態を示す情報として取得することができる。 The sensor 4 detects the state of the vehicle. Examples of the sensor 4 include various sensors mounted on the vehicle, such as a vehicle speed sensor, a steering angle sensor, and a turn signal sensor. The driving assistance system 100 can obtain the detection signals from these sensors 4 as information indicating the state of the vehicle.

（表示装置）
表示装置２０は、画像処理装置１０によって生成された合成画像を表示する。表示装置２０は、一般的な縦横比を有する車載用ディスプレイであってもよいし、縦に対する横の比率が長いルームミラー型のディスプレイであってもよい。 (Display device)
The display device 20 displays the composite image generated by the image processing device 10. The display device 20 may be an in-vehicle display having a general aspect ratio, or a rear-view mirror type display having a long ratio of width to height.

図２は、車両における表示装置２０の配置例を示す。
表示装置２０は、車両の室内のダッシュボード２１上か、又はフロントウインドウ２２の上部中央付近にインナーミラーに代えて設置される。図２において、表示装置２０は、横長の単一の液晶ディスプレイ等により構成され、これに１つの合成画像Ｊが表示される。 FIG. 2 shows an example of the arrangement of the display device 20 in a vehicle.
The display device 20 is installed in place of an inner mirror, either on a dashboard 21 inside the vehicle or near the upper center of a windshield 22. In Fig. 2, the display device 20 is configured with a single horizontally long liquid crystal display or the like, and one composite image J is displayed on it.

カメラ３Ｃ、３Ｌ及び３Ｒにより撮影された画像（映像）は合成され、表示装置２０には１つの合成画像Ｊが表示される。合成画像Ｊにおいて、左側にはカメラ３Ｌの撮影画像ＪＬが表示され、中央にはカメラ３Ｃの撮影画像ＪＣが表示され、右側にはカメラ３Ｒの撮影画像ＪＲが表示される。 The images (video) captured by cameras 3C, 3L, and 3R are combined, and one combined image J is displayed on the display device 20. In combined image J, image JL captured by camera 3L is displayed on the left side, image JC captured by camera 3C is displayed in the center, and image JR captured by camera 3R is displayed on the right side.

なお、表示装置２０は、一列に連結された複数台のディスプレイにより構成されてもよい。この場合、１つの合成画像Ｊが分割され、各分割画像が各ディスプレイの表示領域に表示される。 The display device 20 may be configured with multiple displays connected in a row. In this case, one composite image J is divided, and each divided image is displayed in the display area of each display.

（画像処理装置）
画像処理装置１０は、カメラ３Ｃにより撮影されたリア画像と、カメラ３Ｌ及び３Ｒにより撮影されたサイド画像とを１つの画像に合成する。 (Image Processing Device)
The image processing device 10 combines the rear image captured by the camera 3C and the side images captured by the cameras 3L and 3R into one image.

画像処理装置１０は、補正部１１、検出部１２、判定部１３、合成部１４及び表示制御部１５を備える。画像処理装置１０の各部の機能は、車両に搭載されるＥＣＵ（Electronic Control Unit）、マイクロコンピュータ等のコンピュータによりプログラムを読み取って実行されるソフトウェア処理により実現されてもよい。また画像処理装置１０の各部が、ＦＰＧＡ（field-programmable gate array）のようなハードウェアによって構成されてもよい。 The image processing device 10 includes a correction unit 11, a detection unit 12, a determination unit 13, a synthesis unit 14, and a display control unit 15. The functions of each unit of the image processing device 10 may be realized by software processing that is executed by reading a program by a computer such as an ECU (Electronic Control Unit) or a microcomputer mounted on the vehicle. Each unit of the image processing device 10 may also be configured by hardware such as an FPGA (field-programmable gate array).

補正部１１は、リア画像及びサイド画像に歪み補正、色補正等の補正処理を施す。 The correction unit 11 performs correction processes such as distortion correction and color correction on the rear image and side image.

検出部１２は、補正処理後の各画像に含まれる物体を検出する。検出対象の物体としては、例えば車両、人、動物、ガードレール、又は建物等が挙げられる。検出方法は特に限定されないが、例えば深層学習（ディープラーニング）を用いた検出を行うことができる。 The detection unit 12 detects objects contained in each image after the correction process. Examples of objects to be detected include vehicles, people, animals, guardrails, buildings, etc. The detection method is not particularly limited, but detection can be performed using deep learning, for example.

深層学習では、検出部１２は、車種や遠近感が異なる車両、人等の検出対象を様々な方向から撮影した複数の撮影画像を訓練データとして使用し、検出対象の物体の特徴を学習する。例えば、検出部１２は、バスや乗用車の特徴を学習し、これらと類似する特徴を有する画像部分を車両として検出することができる。車種ごとの特徴を学習することにより、車両の車種も判別することができる。 In deep learning, the detection unit 12 uses multiple captured images of detection targets, such as vehicles of different models and perspectives, people, and the like, taken from various directions as training data, and learns the characteristics of the detection target objects. For example, the detection unit 12 can learn the characteristics of buses and passenger cars, and detect image parts that have similar characteristics as vehicles. By learning the characteristics of each model, it is also possible to distinguish the model of the vehicle.

検出部１２は、検出した物体を囲む検出枠を画像中に設定することができる。本実施形態において、検出枠は四角形状であるが、検出枠のサイズが物体のサイズと略一致するのであれば、形状は四角形状に限られない。例えば、検出枠は物体の輪郭を縁取る形状であってもよいし、水平方向及び垂直方向のサイズが物体と同じ楕円形状等であってもよい。 The detection unit 12 can set a detection frame in the image that surrounds the detected object. In this embodiment, the detection frame is rectangular, but the shape is not limited to a rectangular shape as long as the size of the detection frame approximately matches the size of the object. For example, the detection frame may be a shape that outlines the contour of the object, or may be an ellipse whose horizontal and vertical sizes are the same as those of the object.

判定部１３は、検出部１２によりリア画像から検出された後方車両が、車両に接近したか否かを判定する。判定部１３は、センサ４により検出される車両の状態又は計測装置５により計測された物体の位置や速度等の情報を、判定に使用することができる。 The determination unit 13 determines whether or not a rear vehicle detected from the rear image by the detection unit 12 has approached the vehicle. The determination unit 13 can use information such as the state of the vehicle detected by the sensor 4 or the position and speed of an object measured by the measurement device 5 for the determination.

合成部１４は、補正処理後のリア画像及びサイド画像を合成して、１つの合成画像を生成する。合成部１４は、複数の合成モードを有し、判定部１３の判定結果に応じて合成モードを切り替える。 The synthesis unit 14 synthesizes the rear image and the side image after the correction process to generate one synthetic image. The synthesis unit 14 has multiple synthesis modes and switches the synthesis mode depending on the judgment result of the judgment unit 13.

表示制御部１５は、合成部１４により生成された合成画像を表示装置２０により表示させる。 The display control unit 15 causes the display device 20 to display the composite image generated by the composition unit 14.

図３は、画像処理装置が合成画像を生成する合成処理を示す。この合成処理は、各カメラ３Ｃ、３Ｌ及び３Ｒにより生成された撮影画像が入力されるごとに繰り返される。 Figure 3 shows the synthesis process in which the image processing device generates a composite image. This synthesis process is repeated each time a captured image generated by each of the cameras 3C, 3L, and 3R is input.

各カメラ３Ｃ、３Ｌ及び３Ｒによりリア画像及びサイド画像が撮影されると、画像処理装置１０では、補正部１１が各画像を補正処理する（ステップＳ１）。検出部１２は、補正処理後のリア画像及びサイド画像に含まれる物体及びその種別を検出し、物体の周囲に検出枠を設定する（ステップＳ２）。一方、合成部１４は、補正処理後のリア画像及びサイド画像を用いて合成画像を生成する（ステップＳ３）。 When the rear and side images are captured by the cameras 3C, 3L, and 3R, the correction unit 11 of the image processing device 10 corrects each image (step S1). The detection unit 12 detects objects and their types contained in the rear and side images after the correction process, and sets a detection frame around the object (step S2). Meanwhile, the synthesis unit 14 generates a synthetic image using the rear and side images after the correction process (step S3).

図４Ａ及び図４Ｂは、本実施形態の合成方法を説明する。
図４Ａに示すように、カメラ３Ｃの撮影範囲６１Ｃは、カメラ３Ｌ及び３Ｒの撮影範囲６１Ｌ及び６１Ｒと一部が重複する。合成部１４は、車両５０の後方ｎ（ｍ）（例えば、ｎ＝１５）の合成面Ｌ３においてリア画像ＪＣ、サイド画像ＪＬ及びＪＲがシームレスに合成されるように、リア画像ＪＣ、サイド画像ＪＬ及びＪＲのトリミング範囲６２Ｃ、６２Ｌ及び６２Ｒ、パン、チルト及びロールを調整する。 4A and 4B illustrate the synthesis method of this embodiment.
4A , the shooting range 61C of the camera 3C partially overlaps with the shooting ranges 61L and 61R of the cameras 3L and 3R. The composition unit 14 adjusts the trimming ranges 62C, 62L and 62R, pan, tilt and roll of the rear image JC and the side images JL and JR so that the rear image JC and the side images JL and JR are seamlessly composed on the composition plane L3 at n (m) (e.g., n=15) behind the vehicle 50.

合成部１４は、左右のサイド画像ＪＬ及びＪＲを車両５０側において連結し、その中央にリア画像ＪＣを重ねることにより、レイヤ構造の合成画像Ｊを生成する。合成部１４は、リア画像ＪＣの左右両側の端部Ｃｓを透過処理することにより、合成画像Ｊにおけるリア画像ＪＣの表示範囲６３Ｃを狭めて、サイド画像ＪＬ及びＪＲの表示範囲６３Ｌ及び６３Ｒを広げる。 The synthesis unit 14 connects the left and right side images JL and JR on the vehicle 50 side and overlays the rear image JC in the center to generate a layered synthetic image J. The synthesis unit 14 narrows the display range 63C of the rear image JC in the synthetic image J and expands the display ranges 63L and 63R of the side images JL and JR by performing transparency processing on the left and right end portions Cs of the rear image JC.

図４Ａにおいて、いずれのトリミング範囲６２Ｃ、６２Ｌ及び６２Ｒにもない領域は合成画像Ｊ上の死角となる。リア画像ＪＣ中に検出された後方車両５１が車線変更等によりこの死角に移動すると、後方車両５１が合成画像Ｊから消失する。このような消失を防ぐため、合成部１４は、リア画像ＪＣにおいて透過処理する端部Ｃｓの範囲を、リア画像ＪＣ中の後方車両５１の位置に応じて変更する。 In FIG. 4A, the area that is not in any of the trimming ranges 62C, 62L, and 62R becomes a blind spot on the composite image J. If the rear vehicle 51 detected in the rear image JC moves into this blind spot due to a lane change or the like, the rear vehicle 51 will disappear from the composite image J. To prevent such disappearance, the composition unit 14 changes the range of the end portion Cs to be transparently processed in the rear image JC according to the position of the rear vehicle 51 in the rear image JC.

図４Ｂに示すように、後方車両５１が車両５０側に接近しつつ右の後側方の位置に移動した場合、合成部１４は、リア画像ＪＣから検出された後方車両５１の検出枠がリア画像ＪＣ中に含まれるように、リア画像ＪＣにおいて透過処理する右側の端部Ｃｓの範囲を減らす。これにより、トリミング範囲６２Ｃ、６２Ｌ及び６２Ｒが変わり、合成画像Ｊにおけるリア画像ＪＣの表示範囲６３Ｃが右側に広がって、その分だけ右のサイド画像ＪＲの表示範囲６３Ｒが減る。 As shown in FIG. 4B, when the rear vehicle 51 moves closer to the vehicle 50 and to a position to the right rear side, the synthesis unit 14 reduces the range of the right end Cs to be transparently processed in the rear image JC so that the detection frame of the rear vehicle 51 detected from the rear image JC is included in the rear image JC. This changes the trimming ranges 62C, 62L, and 62R, and the display range 63C of the rear image JC in the synthesis image J expands to the right, and the display range 63R of the right side image JR is reduced accordingly.

このように、リア画像ＪＣの表示範囲６３Ｃを変更し、合成画像Ｊの死角の位置をずらすことにより、後方車両５１の消失を減らすことができる。しかし、サイド画像ＪＬ又はＪＲの表示範囲６３Ｌ又は６３Ｒが減ることにより、サイド画像ＪＬ及びＪＲ中の物体が合成画像Ｊから消失することがある。 In this way, by changing the display range 63C of the rear image JC and shifting the position of the blind spot in the composite image J, the disappearance of the rear vehicle 51 can be reduced. However, by reducing the display range 63L or 63R of the side image JL or JR, objects in the side images JL and JR may disappear from the composite image J.

図５は、合成画像Ｊからの物体の消失を説明する。
図５に示すように、リア画像ＪＣから、車両５０と同一車線を走行中の後方車両５１が検出されている。左のサイド画像ＪＬからは、隣の車線を走行中の後側方車両５２が検出されている。 FIG. 5 illustrates the disappearance of an object from the composite image J.
5, a rear vehicle 51 traveling in the same lane as the vehicle 50 is detected from the rear image JC. A rear vehicle 52 traveling in the adjacent lane is detected from the left side image JL.

後方車両５１が車両５０に接近するほど、後方車両５１の消失を防ぐため、合成時にリア画像ＪＣの表示範囲６３Ｃが広がっていく。つまり、サイド画像ＪＬ及びＪＲに重なるリア画像ＪＣの領域が増えていく。その結果、サイド画像ＪＬ中の後側方車両５２上にリア画像ＪＣの表示範囲６３Ｃが重なると、後側方車両５２が合成画像Ｊから消失する。 As the rear vehicle 51 approaches the vehicle 50, the display range 63C of the rear image JC becomes wider during synthesis to prevent the rear vehicle 51 from disappearing. In other words, the area of the rear image JC that overlaps with the side images JL and JR increases. As a result, when the display range 63C of the rear image JC overlaps with the rear vehicle 52 in the side image JL, the rear vehicle 52 disappears from the synthetic image J.

判定部１３は、上記のようにリア画像ＪＣによって合成画像Ｊから消失する物体の有無を判定する。まず判定部１３は、検出部１２による物体の検出結果に基づいて、リア画像ＪＣ中の後方車両５１の有無を判定する（ステップＳ４）。後方車両５１があると判定された場合（ステップＳ４：ＹＥＳ）、第１警告処理に移行する（ステップＳ５）。後方車両５１がないと判定された場合（ステップＳ４：ＮＯ）、第２警告処理に移行する（ステップＳ６）。 As described above, the determination unit 13 determines whether or not an object disappears from the composite image J using the rear image JC. First, the determination unit 13 determines whether or not a rear vehicle 51 is present in the rear image JC based on the object detection result by the detection unit 12 (step S4). If it is determined that a rear vehicle 51 is present (step S4: YES), the process proceeds to a first warning process (step S5). If it is determined that a rear vehicle 51 is not present (step S4: NO), the process proceeds to a second warning process (step S6).

上述のように、後方車両５１が車両５０に近づくほどリア画像ＪＣの表示範囲６３Ｃが広がり、後側方車両５２が消失しやすい。よって、判定部１３は、リア画像ＪＣにおいて後方車両５１が検出され、かつ後方車両５１が車両５０に接近している場合に、第１警告処理に移行するようにしてもよい。 As described above, the closer the rear vehicle 51 is to the vehicle 50, the wider the display range 63C of the rear image JC becomes, and the more likely it is that the rear vehicle 52 will disappear. Therefore, the determination unit 13 may transition to the first warning process when the rear vehicle 51 is detected in the rear image JC and is approaching the vehicle 50.

図６Ａ及び図６Ｂは、リア画像ＪＣの解析による後方車両５１の接近の判定方法を説明する。
図６Ａに示すように、判定部１３は、垂直方向ｙに平行な２本の基準線Ｌ１１と、水平方向ｘに平行な２本の基準線Ｌ２１とを、リア画像ＪＣ上に配置する。２本の基準線Ｌ１１は、水平方向ｘにおけるリア画像ＪＣの中心線から一定距離離れた左右の位置にそれぞれ配置される。２本の基準線Ｌ２１は、リア画像ＪＣの下端からそれぞれ所定の距離離れた位置に配置される。 6A and 6B explain a method of determining the approach of a rear vehicle 51 by analyzing the rear image JC.
6A, the determination unit 13 places two reference lines L11 parallel to the vertical direction y and two reference lines L21 parallel to the horizontal direction x on the rear image JC. The two reference lines L11 are placed on the left and right positions a certain distance away from the center line of the rear image JC in the horizontal direction x. The two reference lines L21 are placed at positions a predetermined distance away from the bottom end of the rear image JC.

後方車両５１が車両５０に接近するほど、後方車両５１はリア画像ＪＣの下側に位置し、画像中のサイズも大きくなる。よって、判定部１３は、リア画像ＪＣにおいて検出された後方車両５１の端部の位置、例えば後方車両５１に設定された検出枠の４辺の位置がすべての基準線Ｌ１１及びＬ２１を超えてその外側にある場合、後方車両５１が車両５０に接近したと判定することができる。このように、基準線Ｌ１１及びＬ２１との照合によって後方車両５１の接近を簡易に判定することができる。 The closer the rear vehicle 51 is to the vehicle 50, the lower the rear vehicle 51 is located in the rear image JC and the larger its size in the image. Therefore, the determination unit 13 can determine that the rear vehicle 51 has approached the vehicle 50 when the end positions of the rear vehicle 51 detected in the rear image JC, for example, the positions of the four sides of the detection frame set for the rear vehicle 51, are outside all of the reference lines L11 and L21. In this way, the approach of the rear vehicle 51 can be easily determined by comparing with the reference lines L11 and L21.

基準線Ｌ１１及びＬ２１の位置は、あらかじめ計測して決定することができる。例えば車両５０の後方１５ｍの位置まで後方車両５１が接近したときのリア画像ＪＣにおいて、後方車両５１の水平方向ｘの両端と垂直方向ｙの両端の位置を計測し、これを基準線Ｌ１１及びＬ２１の位置として決定することができる。 The positions of the reference lines L11 and L21 can be determined by measuring them in advance. For example, in the rear image JC when the rear vehicle 51 approaches to a position 15 m behind the vehicle 50, the positions of both ends of the rear vehicle 51 in the horizontal direction x and both ends of the vertical direction y can be measured and determined as the positions of the reference lines L11 and L21.

本実施形態のように、基準線Ｌ１１及びＬ２１を用いて水平方向ｘ及び垂直方向ｙの両方で判定することが判定の精度が高く、好ましい。簡易に判定する場合は、基準線Ｌ１１及びＬ２１のいずれかを用いて水平方向ｘ及び垂直方向ｙの一方のみで判定することができる。 As in this embodiment, it is preferable to use reference lines L11 and L21 to make the judgment in both the horizontal direction x and the vertical direction y, as this has high judgment accuracy. For a simple judgment, it is possible to make the judgment in only one of the horizontal direction x and the vertical direction y, using either reference line L11 or L21.

判定部１３は、基準線Ｌ１１及びＬ２１の位置を、後方車両５１の車種によって移動することができる。例えば、トラックやバス等の大型車両は普通車両及び軽車両に比べて車幅が大きい。よって、図６Ｂに示すように、基準線Ｌ１１よりも間隔が狭い基準線Ｌ１２か、又は基準線Ｌ２１よりも上側に位置する基準線Ｌ２２を用いて接近を判定することにより、接近したと判定するタイミングを早めることができる。基準線Ｌ１１及びＬ２１の位置を変更する簡単な操作によって後方車両５１の接近を判定するタイミングを簡易に調整することができる。 The determination unit 13 can move the positions of the reference lines L11 and L21 depending on the type of vehicle 51 behind. For example, large vehicles such as trucks and buses have a larger vehicle width than standard vehicles and light vehicles. Therefore, as shown in FIG. 6B, the timing of determining that an approach has occurred can be advanced by determining that an approach has occurred using the reference line L12, which is narrower than the reference line L11, or the reference line L22, which is located above the reference line L21. The timing of determining that an approach of the rear vehicle 51 has occurred can be easily adjusted by a simple operation of changing the positions of the reference lines L11 and L21.

図７は、第１警告処理を示す。
第１警告処理において、判定部１３は、サイド画像ＪＬ又はＪＲから検出された物体のうち、合成によって消失する可能性がある物体（以下、死角物体という）の有無を判定する（ステップＳ５１）。具体的には、判定部１３は、図５に示すように、サイド画像ＪＬ又はＪＲから検出されたが、リア画像ＪＣからは検出されなかった後側方車両５２等の死角物体の有無を判定する。 FIG. 7 shows the first warning process.
In the first warning process, the determination unit 13 determines whether or not there is an object (hereinafter, referred to as a blind spot object) that may disappear by combining among the objects detected from the side image JL or JR (step S51). Specifically, as shown in Fig. 5, the determination unit 13 determines whether or not there is a blind spot object such as a rear vehicle 52 that was detected from the side image JL or JR but not detected from the rear image JC.

判定部１３は、センサ４からウィンカー状態の情報を取得し、ウィンカーがＯＮの状態にある後側方のサイド画像ＪＬ又はＪＲにおいて、死角物体の有無を判定する範囲を変更することができる。例えば、左のウィンカーがＯＮの状態にある場合、車両５０が左折するか、又は走行する車線を左隣の車線に変更するため、左のサイド画像ＪＬ中の後側方車両５２や人、二輪車等の確認の重要性が高まる。よって、サイド画像ＪＬの判定範囲をより広域に変更することにより、左の後側方に位置する物体の存在を広くドライバに知らせることができる。 The determination unit 13 obtains information on the turn signal status from the sensor 4, and can change the range for determining the presence or absence of a blind spot object in the rear side image JL or JR when the turn signal is ON. For example, when the left turn signal is ON, the vehicle 50 turns left or changes the driving lane to the adjacent lane on the left, so it becomes more important to check the rear vehicle 52, people, motorcycles, etc. in the left side image JL. Therefore, by changing the determination range of the side image JL to a wider range, the presence of an object located on the left rear side can be widely notified to the driver.

図８は、サイド画像ＪＬ又はＪＲ中の物体を判定する範囲の例を示す。
右のウィンカーがＯＦＦの状態にある場合、判定部１３は右の後側方の判定範囲６４Ｒを基準域に設定する。基準域は、画像の下端から例えば車両５０の２０ｍ後方に相当する位置までの範囲に設定される。一方、左のウィンカーがＯＮの状態にある場合、判定部１３は、左の後側方の判定範囲６４Ｌを基準域よりも広域に変更する。例えば、判定範囲６４Ｌは画像の下端から車両５０の４０ｍ後方に相当する位置までの範囲である。これにより、判定範囲６４Ｌの奥行きが広がり、車両５０から遠くに位置する物体も警告対象の候補として挙げることができる。 FIG. 8 shows an example of a range for determining an object in the side image JL or JR.
When the right blinker is OFF, the determination unit 13 sets the right rear lateral determination range 64R as the reference range. The reference range is set to a range from the bottom edge of the image to a position corresponding to, for example, 20 m behind the vehicle 50. On the other hand, when the left blinker is ON, the determination unit 13 changes the left rear lateral determination range 64L to a range wider than the reference range. For example, the determination range 64L is a range from the bottom edge of the image to a position corresponding to 40 m behind the vehicle 50. This increases the depth of the determination range 64L, and objects located far from the vehicle 50 can also be listed as candidates for warning targets.

死角物体があると判定された場合（ステップＳ５１：ＹＥＳ）、判定部１３は死角物体の車両５０への接近レベルによって死角物体の危険度を判定する。接近レベルは、後方車両５１の車両５０からの距離、移動速度、又は車両５０に到達するまでの時間によって判定することができる。距離、移動速度又は到達時間は、計測装置５によって計測することもできるし、判定部１３がリア画像ＪＣ中の後方車両５１の位置やサイズ等から解析することもできる。 If it is determined that there is an object in the blind spot (step S51: YES), the determination unit 13 determines the danger level of the blind spot object based on the approach level of the blind spot object to the vehicle 50. The approach level can be determined based on the distance of the rear vehicle 51 from the vehicle 50, the moving speed, or the time it takes to reach the vehicle 50. The distance, moving speed, or arrival time can be measured by the measuring device 5, or the determination unit 13 can analyze it based on the position, size, etc. of the rear vehicle 51 in the rear image JC.

判定部１３は、上記距離、移動速度又は到達時間を閾値と比較する。そして、閾値に比べて距離が短い、移動速度が速い、又は到達時間が短いと判定された場合、判定部１３は死角物体の危険度が高いと判定し、そうでない場合は危険度が低いと判定する。 The determination unit 13 compares the distance, the moving speed, or the arrival time with a threshold value. If it is determined that the distance is shorter, the moving speed is faster, or the arrival time is shorter than the threshold value, the determination unit 13 determines that the danger of the blind spot object is high, and otherwise determines that the danger is low.

サイド画像ＪＬ又はＪＲ中に死角物体があり（ステップＳ５１：ＹＥＳ）、かつその危険度が高いと判定された場合（ステップＳ５２：ＹＥＳ）、合成部１４は、警告情報を生成し、合成画像Ｊ上に警告情報を重ねる。表示制御部１５は、警告情報を含む合成画像Jを表示装置２０に表示させる（ステップＳ５３）。 If there is a blind spot object in the side image JL or JR (step S51: YES) and the danger level is determined to be high (step S52: YES), the synthesis unit 14 generates warning information and overlays the warning information on the synthetic image J. The display control unit 15 causes the display device 20 to display the synthetic image J including the warning information (step S53).

図９Ａ～図９Ｃは、警告情報の表示例を示す。
図９Ａに示すように、左のサイド画像ＪＬからは後側方車両５２が検出されている。この後側方車両５２は、その上からリア画像ＪＣが重ねられ、合成画像Ｊから消失するため、死角物体である。後側方車両５２の移動速度が速く、危険度が高いと判定された場合、合成画像Ｊ上に警告情報５５が表示される。警告情報５５は、後側方車両５２が検出されたサイド画像ＪＬ上に配置される。 9A to 9C show examples of how warning information is displayed.
9A, a rear vehicle 52 is detected from the left side image JL. This rear vehicle 52 is a blind spot object because the rear image JC is superimposed from above it and it disappears from the composite image J. If it is determined that the rear vehicle 52 is moving fast and is therefore highly dangerous, warning information 55 is displayed on the composite image J. The warning information 55 is arranged on the side image JL in which the rear vehicle 52 is detected.

警告情報５５は、車両５０を表すアイコン画像５５１と後側方車両５２を表すアイコン画像５５２を含む。合成部１４は、警告情報５５の枠のなかでも車両５０側にアイコン画像５５１を配置する。また合成部１４は、判定部１３により判定された接近レベルに応じた位置にアイコン画像５５２を配置する。例えば、合成部１４は、後側方車両５２と車両５０の距離が近いほど、アイコン画像５５２をアイコン画像５５１に近い位置に配置する。図９Ａにおいて、後側方車両５２は、車両５０から例えば３０ｍ以上遠く離れているので、アイコン画像５５１から最も遠い位置にアイコン画像５５２を配置する。 The warning information 55 includes an icon image 551 representing the vehicle 50 and an icon image 552 representing the rear vehicle 52. The synthesis unit 14 places the icon image 551 on the vehicle 50 side within the frame of the warning information 55. The synthesis unit 14 also places the icon image 552 at a position according to the approach level determined by the determination unit 13. For example, the closer the distance between the rear vehicle 52 and the vehicle 50 is, the closer the synthesis unit 14 places the icon image 552 to the icon image 551. In FIG. 9A, the rear vehicle 52 is, for example, 30 m or more away from the vehicle 50, so the icon image 552 is placed at the farthest position from the icon image 551.

図９Ｂに示すように、後側方車両５２が接近し、車両５０との距離が例えば２０ｍを切ると、合成部１４は、アイコン画像５５２をよりアイコン画像５５１に近い位置に配置する。図９Ｃに示すように、後側方車両５２の車両５０との距離が例えば１５ｍを切ると、合成部１４は、アイコン画像５５２をアイコン画像５５１の隣に配置する。合成部１４は、アイコン画像５５２の配置位置だけでなく、距離が短くなるにつれてアイコン画像５５２の色を青、黄、赤の順に変更し、赤の時にはアイコン画像５５２を点滅させる。 As shown in FIG. 9B, when the rear vehicle 52 approaches and the distance to the vehicle 50 falls below, for example, 20 m, the synthesis unit 14 positions the icon image 552 closer to the icon image 551. As shown in FIG. 9C, when the distance between the rear vehicle 52 and the vehicle 50 falls below, for example, 15 m, the synthesis unit 14 positions the icon image 552 next to the icon image 551. The synthesis unit 14 not only changes the position of the icon image 552, but also changes the color of the icon image 552 from blue to yellow to red as the distance decreases, and blinks the icon image 552 when it is red.

このように、合成部１４は、死角物体の車両５０への接近レベルに応じて、警告情報５５の表示形態を異ならせることができる。これにより、ドライバが後側方車両５２の接近状況を容易に把握することができる。なお、変更する表示形態としては、アイコン画像５５２の色又は点滅状態だけでなく、濃度、明るさ、又は大きさ等であってよい。また、合成部１４は、距離ではなく、物体の移動速度又は物体の車両５０への到達時間に応じて、表示形態を異ならせることもできる。 In this way, the synthesis unit 14 can change the display form of the warning information 55 depending on the approach level of the blind spot object to the vehicle 50. This allows the driver to easily grasp the approaching situation of the rear vehicle 52. Note that the display form to be changed may be not only the color or blinking state of the icon image 552, but also the density, brightness, size, etc. Furthermore, the synthesis unit 14 can also change the display form depending on the moving speed of the object or the arrival time of the object to the vehicle 50, rather than the distance.

警告情報５５は上記に限られない。図１０Ａ及び図１０Ｂは、警告情報５５の他の例を示す。
合成部１４は、死角物体を表すアイコン画像５５２を死角物体の種別に応じて変更することができる。具体的には、合成部１４は、死角物体が四輪車である場合は、図９Ａに示すように四輪車を模したアイコン画像５５２を表示し、検出された物体が二輪車である場合は、図１０Ａに示すように二輪車を模したアイコン画像５５２を表示する。物体が人である場合は人を模したアイコン画像であってもよい。これにより、ドライバは後方車両５１の陰に隠れて合成画像Ｊからは確認できない死角物体の種別を容易に把握することができる。 The warning information 55 is not limited to the above.
The synthesis unit 14 can change the icon image 552 representing the blind spot object according to the type of the blind spot object. Specifically, when the blind spot object is a four-wheeled vehicle, the synthesis unit 14 displays an icon image 552 imitating the four-wheeled vehicle as shown in Fig. 9A, and when the detected object is a two-wheeled vehicle, the synthesis unit 14 displays an icon image 552 imitating the two-wheeled vehicle as shown in Fig. 10A. When the object is a person, an icon image imitating a person may be used. This allows the driver to easily grasp the type of the blind spot object that is hidden behind the rear vehicle 51 and cannot be confirmed from the synthesis image J.

図１０Ａに示すように、警告情報５５は、接近レベルを表す矢印のアイコン画像５５３を含むことができる。合成部１４は、３つのアイコン画像５５３を左から右に順番に点灯させて、死角物体が接近するほどその点灯スピードを上げる。 As shown in FIG. 10A, the warning information 55 may include an arrow icon image 553 indicating the approach level. The synthesis unit 14 lights up the three icon images 553 in sequence from left to right, and increases the lighting speed as the blind spot object approaches.

図１０Ｂに示すように、合成部１４は、アイコン画像５５１及び５５２に代えてサイドミラーのアイコン画像５５４を表示させてもよい。合成部１４は、死角物体が接近するほど、表示するアイコン画像５５４の数を増やすことにより、ドライバに対してサイドミラーの確認を促すことができる。 As shown in FIG. 10B, the synthesis unit 14 may display side mirror icon images 554 instead of icon images 551 and 552. The synthesis unit 14 can urge the driver to check the side mirrors by increasing the number of icon images 554 displayed as the blind spot object approaches.

上述した各アイコン画像５５１～５５４の表示形態を組み合わせることができる。例えば、合成部１４は、サイドミラーのアイコン画像５５４のように、死角物体が接近するほど矢印のアイコン画像５５３の数を増やすことができる。また、合成部１４は、矢印のアイコン画像５５３のように、サイドミラーのアイコン画像５５４の数を固定して点灯表示のスピードを上げてもよく、アイコン画像５５４の隣にアイコン画像５５２を配置してもよい。 The display forms of the icon images 551 to 554 described above can be combined. For example, the synthesis unit 14 can increase the number of arrow icon images 553 as the blind spot object approaches, as in the case of side mirror icon image 554. The synthesis unit 14 can also fix the number of side mirror icon images 554 and increase the speed at which they are lit, as in the case of arrow icon image 553, or can place icon image 552 next to icon image 554.

警告情報５５は、死角物体が検出されたサイド画像ＪＬ又はＪＲ上の予め決められた領域に固定的に表示される。図９Ａ～図９Ｃに示す例では、警告情報５５は、水平方向ｘに延びる長方形状であって垂直方向ｙの下端部に配置されるが、上端部に配置されてもよい。上端部又は下端部であれば、警告情報５５が後側方車両５２上に重なりにくく、重なってもすべてを覆うことがないため、警告情報５５による後側方車両５２の消失を減らすことができる。同様の理由から、警告情報５５は、垂直方向ｙに延びる長方形状であってサイド画像ＪＬの左端部又はサイド画像ＪＲの右端部に配置されてもよい。 The warning information 55 is fixedly displayed in a predetermined area on the side image JL or JR where a blind spot object has been detected. In the example shown in Figures 9A to 9C, the warning information 55 is rectangular extending in the horizontal direction x and is arranged at the bottom end in the vertical direction y, but it may also be arranged at the top end. If it is at the top or bottom end, the warning information 55 is less likely to overlap the rear vehicle 52, and even if it does overlap, it will not cover the entire vehicle, so that the disappearance of the rear vehicle 52 due to the warning information 55 can be reduced. For the same reason, the warning information 55 may be rectangular extending in the vertical direction y and arranged at the left end of the side image JL or the right end of the side image JR.

一方、サイド画像ＪＬ又はＪＲに該当する死角物体がない場合（ステップＳ５１：ＮＯ）、また死角物体があってもその危険度が低いと判定された場合（ステップＳ５２：ＮＯ）、合成部１４は上述したような警告情報は生成しない。表示制御部１５は、合成画像Ｊをそのまま表示装置２０に表示させる（ステップＳ５４）。 On the other hand, if there is no blind spot object corresponding to the side image JL or JR (step S51: NO), or if there is a blind spot object but the danger level is determined to be low (step S52: NO), the synthesis unit 14 does not generate the warning information as described above. The display control unit 15 causes the display device 20 to display the synthetic image J as is (step S54).

次に、第２警告処理を説明する。図１１は、第２警告処理を示す。
第２警告処理では、判定部１３は、サイド画像ＪＬ又はＪＲから検出された物体の有無を判定する（ステップＳ６１）。サイド画像ＪＬ又はＪＲから検出された物体がある場合、判定部１３は当該物体が車両５０に接近したか否かを判定する（ステップＳ６２）。判定部１３は、第１警告処理の危険度を判定するときと同様に、物体の車両５０との距離、物体の移動速度又は車両５０への到達時間から、物体の接近を判定することができる。 Next, the second warning process will be described with reference to FIG.
In the second warning process, the determination unit 13 determines whether or not an object is detected from the side image JL or JR (step S61). If an object is detected from the side image JL or JR, the determination unit 13 determines whether or not the object is approaching the vehicle 50 (step S62). The determination unit 13 can determine the approach of an object from the distance of the object to the vehicle 50, the moving speed of the object, or the arrival time of the object to the vehicle 50, similar to when determining the risk level in the first warning process.

サイド画像ＪＬ又はＪＲに物体があり（ステップＳ６１：ＹＥＳ）、かつ当該物体が接近していると判定された場合（ステップＳ６２：ＹＥＳ）、合成部１４は、警告情報を生成し、合成画像J上に重ねる。表示制御部１５は、警告情報を含む合成画像Jを表示装置２０に表示させる（ステップＳ６３）。 If an object is present in the side image JL or JR (step S61: YES) and it is determined that the object is approaching (step S62: YES), the synthesis unit 14 generates warning information and overlays it on the synthetic image J. The display control unit 15 causes the display device 20 to display the synthetic image J including the warning information (step S63).

図１２は、第２警告処理における警告情報の表示例を示す。
図１２に示すように、左のサイド画像ＪＬからは移動速度が速い後側方車両５２が検出されている。一方、リア画像ＪＣからは何も検出されていないため、リア画像ＪＣの表示範囲６３Ｃの拡張はない。後側方車両５２上にリア画像ＪＣが重ねられないため、後側方車両５２は合成画像Ｊから消失しないが、後側方車両５２が接近中であることを注意喚起するための警告情報５６が合成画像Ｊ上に表示される。 FIG. 12 shows an example of how warning information is displayed in the second warning process.
12, a rear vehicle 52 moving at a fast speed is detected from the left side image JL. On the other hand, since nothing is detected from the rear image JC, the display range 63C of the rear image JC is not expanded. Since the rear image JC is not superimposed on the rear vehicle 52, the rear vehicle 52 does not disappear from the composite image J, but warning information 56 is displayed on the composite image J to alert the driver that the rear vehicle 52 is approaching.

警告情報５６は、後側方車両５２を表すアイコン画像５６１のみを含む。アイコン画像５６１は、アイコン画像５５２と同様に物体の種別を表すアイコン画像であってもよい。後側方車両５２は合成画像Ｊから消失する死角物体ではなく、ドライバは合成画像Ｊから左車線を走行中の後側方車両５２を視認できるため、アイコン画像５６１だけでも十分に注意喚起ができる。 The warning information 56 includes only an icon image 561 representing the rear vehicle 52. The icon image 561 may be an icon image representing a type of object, similar to the icon image 552. The rear vehicle 52 is not a blind spot object that disappears from the composite image J, and the driver can see the rear vehicle 52 traveling in the left lane from the composite image J, so the icon image 561 alone is sufficient to alert the driver.

一方、サイド画像ＪＬ又はＪＲに物体がない場合（ステップＳ６１：ＮＯ）、又は物体があっても接近していないと判定された場合（ステップＳ６２：ＮＯ）、合成部１４は上述した警告情報５６は生成しない。よって、表示制御部１５は合成画像Ｊをそのまま表示装置２０に表示させる（ステップＳ６４）。 On the other hand, if there is no object in the side image JL or JR (step S61: NO), or if it is determined that an object is present but not approaching (step S62: NO), the synthesis unit 14 does not generate the above-mentioned warning information 56. Therefore, the display control unit 15 causes the display device 20 to display the synthetic image J as is (step S64).

以上のように、本実施形態によれば、リア画像ＪＣから後方車両５１が検出された場合、サイド画像ＪＬ又はＪＲから検出された物体のうち、リア画像ＪＣによって合成画像Ｊから消失し、かつ危険度が高い死角物体の有無を判定部１３が判定する。合成部１４は、死角物体があると判定された場合、死角物体の警告情報５５を生成して合成画像Ｊ上に重ねる。 As described above, according to this embodiment, when a rear vehicle 51 is detected from the rear image JC, the determination unit 13 determines whether or not there is a blind spot object that is highly dangerous and that disappears from the composite image J due to the rear image JC, among the objects detected from the side image JL or JR. When it is determined that there is a blind spot object, the composition unit 14 generates warning information 55 about the blind spot object and overlays it on the composite image J.

警告情報５５により、ドライバは、リア画像ＪＣ中の後方車両５１によって合成画像Jから消失するサイド画像ＪＬ又はＪＲの死角物体の存在を早期に把握することができる。警告情報５５は、すべての死角物体ではなく、危険度が高い死角物体を警告する。警告対象が絞られるため、ドライバは注意喚起が特に必要な後方車両５１及び後側方の死角物体を容易に把握することができる。 The warning information 55 allows the driver to quickly recognize the presence of a blind spot object in the side image JL or JR that disappears from the composite image J due to the rear vehicle 51 in the rear image JC. The warning information 55 does not warn of all blind spot objects, but only of blind spot objects that pose a high risk of danger. Because the targets of the warning are narrowed down, the driver can easily recognize the rear vehicle 51 and blind spot objects on the rear sides that particularly require attention.

上記実施形態は本発明の好適な一例であり、これに限定されず、適宜変更可能である。
例えば、サイド画像ＪＬ又はＪＲとリア画像ＪＣとが重ねられることによってサイド画像ＪＬ又はＪＲ上の物体が消失する可能性がある合成方法であれば、上述した合成方法以外の合成を行う画像処理装置にも本発明を適用することができる。 The above embodiment is a preferred example of the present invention, and the present invention is not limited to this embodiment and can be modified as appropriate.
For example, the present invention can also be applied to image processing devices that perform synthesis methods other than those described above, as long as the synthesis method involves the possibility of objects on the side image JL or JR disappearing when the side image JL or JR is overlaid with the rear image JC.

１００運転支援システム
２５画像表示システム
１０画像処理装置
１２検出部
１３判定部
１４合成部
１５表示制御部
２０表示装置
３Ｃ、３Ｌ、３Ｒカメラ

100 Driving assistance system 25 Image display system 10 Image processing device 12 Detection unit 13 Determination unit 14 Synthesis unit 15 Display control unit 20 Display device 3C, 3L, 3R Camera

Claims

An image processing device that generates one composite image from a plurality of captured images of an area behind a vehicle,
a synthesis unit that synthesizes a rear image captured behind the vehicle and two side images captured respectively of the left and right rear sides to generate the synthetic image;
a detection unit that detects objects including a rear vehicle from the rear image and the side image;
a determination unit that, when the rear vehicle is detected from the rear image, determines whether or not there is a blind spot object that disappears from the composite image due to the rear image and has a high degree of danger, among the objects detected from the side image,
When it is determined that the blind spot object is present, the synthesis unit superimposes warning information of the blind spot object on the synthetic image ,
The determination unit acquires information on a state of a turn signal of the vehicle, and widens a range in which the presence or absence of the blind spot object is determined in the side image on the side where the turn signal is ON.
Image processing device.

The image processing device according to claim 1 , wherein the determination unit determines a level of approach of the blind spot object to the vehicle, and determines the degree of danger based on the level of approach.

The image processing device according to claim 2 , wherein the synthesizing unit changes a display form of the warning information depending on the approach level.

The image processing device according to claim 1 , wherein the warning information includes an image indicating a type of the blind spot object.

The image processing device according to claim 1 , wherein the synthesizing unit arranges the warning information on the side image in which it is determined that the blind spot object is present.

The image processing device according to claim 5 , wherein the synthesizing unit arranges the warning information in a predetermined area of the side image.

the determination unit determines whether or not the rear vehicle is not detected from the rear image and a rear lateral vehicle is detected from the side image;
The image processing device according to any one of claims 1 to 6, wherein the synthesis unit, when it is determined that the rear vehicle is not detected from the rear image and a rear vehicle is detected from the side image, overlays warning information of the rear vehicle on the side image.

The determination unit is
When the rear vehicle is detected from the rear image and approaches the vehicle, the presence or absence of an object in the blind spot is determined;
The image processing device according to any one of claims 1 to 7, wherein the image processing device determines that the rear vehicle is approaching the vehicle when the position of the end of the rear vehicle detected from the rear image exceeds a reference line arranged in the horizontal or vertical direction of the rear image.

The detection unit detects a type of the object,
the determination unit determines that the rear vehicle has approached the vehicle when the position of the end of the rear vehicle detected from the rear image is outside two reference lines arranged on the rear image, the two reference lines being parallel to the vertical direction and located on the left and right at a certain distance from a center line of the rear image in the horizontal direction, and two reference lines being parallel to the horizontal direction and located at a predetermined distance from a bottom edge of the rear image,
9. The image processing device according to claim 8, wherein the determination unit narrows the distance between the two vertically parallel reference lines or moves the two horizontally parallel reference lines upward when the type of the rear vehicle is large, compared to when the type of the rear vehicle is not large .

A system for providing a captured image of a rear area of a vehicle, comprising:
an image processing device that generates one composite image from a plurality of captured images of the rear of the vehicle;
a display device for displaying the composite image,
The image processing device includes:
a synthesis unit that synthesizes a rear image captured behind the vehicle and two side images captured respectively of the left and right rear sides to generate the synthetic image;
a detection unit that detects objects including a rear vehicle from the rear image and the side image;
a determination unit that, when the rear vehicle is detected from the rear image, determines whether or not there is a blind spot object that disappears from the composite image due to the rear image and has a high degree of danger, among the objects detected from the side image,
When it is determined that the blind spot object is present, the synthesis unit superimposes warning information of the blind spot object on the synthetic image ,
The determination unit acquires information on a state of a turn signal of the vehicle, and widens a range in which the presence or absence of the blind spot object is determined in the side image on the side where the turn signal is ON.
system.

On the computer,
A step of synthesizing a rear image captured behind the vehicle and two side images captured respectively of the left and right rear sides to generate one synthetic image;
detecting an object including a rear vehicle from the rear image and the side image;
a determining step of determining , when the rear vehicle is detected from the rear image, whether or not there is a blind spot object that disappears from the composite image due to the rear image and has a high degree of danger, among the objects detected from the side image;
when it is determined that there is an object in the blind spot, overlaying warning information of the object in the blind spot on the composite image;
Run the command ,
The determining step obtains information on a state of a turn signal of the vehicle, and widens a range in which the presence or absence of the blind spot object is determined in the side image on the side where the turn signal is ON.
program.