JP6909388B2

JP6909388B2 - Display control device, display system, display control method, and program

Info

Publication number: JP6909388B2
Application number: JP2017145430A
Authority: JP
Inventors: 田端　清史; 清史田端
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2017-07-27
Filing date: 2017-07-27
Publication date: 2021-07-28
Anticipated expiration: 2037-07-27
Also published as: JP2019029758A

Description

本発明は、表示制御装置、表示システム、表示制御方法、及び、プログラムに関する。 The present invention relates to a display control device, a display system, a display control method, and a program.

特許文献１は、車両の後方視界画面を撮像する撮像手段と、後方視界画面を表示する表示手段とを用い、ステアリング舵角に応じて変化する予想軌跡線を後方視界画面に重ね合わせて表示させることで、運転者の駐車操作を支援する駐車支援方法を開示している。 Patent Document 1 uses an imaging means for capturing a rear view screen of a vehicle and a display means for displaying a rear view screen, and displays an expected locus line that changes according to a steering steering angle by superimposing it on the rear view screen. By doing so, the parking support method for assisting the driver's parking operation is disclosed.

特開２００６−２９８２０８号公報Japanese Unexamined Patent Publication No. 2006-298208

しかしながら、上記特許文献１の方法では、車両が駐車区画内に深く進入すると、駐車区画を車幅方向で区画する駐車区画線が撮像手段の画角内に収まらなくなる。従って、車両が駐車区画内に深く進入すると、運転者が後方視界画像を通じて駐車区画線を認識し難くなるので、駐車区画に対する車両の向きが適切であるか否か判断するのが困難となる。 However, in the method of Patent Document 1, when the vehicle enters the parking lot deeply, the parking lot line that divides the parking lot in the vehicle width direction does not fit within the angle of view of the imaging means. Therefore, when the vehicle enters the parking lot deeply, it becomes difficult for the driver to recognize the parking lot line through the rear view image, and it becomes difficult to judge whether or not the direction of the vehicle with respect to the parking lot is appropriate.

本発明の目的は、駐車区画に対する車両の向きが適切であるか否か判断することを容易にする技術を提供することにある。 An object of the present invention is to provide a technique for facilitating determining whether or not the orientation of a vehicle with respect to a parking lot is appropriate.

一実施形態に係る表示制御装置は、車両の後方を撮影した映像に対応する主後方映像データ、前記車両の左側後方を撮影した映像に対応する左側後方映像データ、及び、前記車両の右側後方を撮影した映像に対応する右側後方映像データを取得する映像データ取得部と、前記車両の後方において前記車両が進行することが予想される予想軌跡線を生成する予想軌跡線生成部と、前記左側後方映像データ又は前記右側後方映像データのうち少なくとも何れか一方に基づいて、前記車両が向かっている駐車区画を車幅方向で区画する駐車区画線を第一駐車区画線として認識する認識部と、前記車両の前後方向と前記第一駐車区画線の間の傾きを算出する算出部と、前記主後方映像データに前記予想軌跡線を重畳させた重畳映像データを生成する重畳映像データ生成部と、前記重畳映像データを表示装置に出力する表示制御部と、を備え、前記重畳映像データ生成部は、前記重畳映像データに、前記傾きを示す駐車区画線方向指示線を重畳させる。 The display control device according to one embodiment displays main rear image data corresponding to an image of the rear of the vehicle, left rear image data corresponding to an image of the left rear of the vehicle, and right rear of the vehicle. An image data acquisition unit that acquires right rear image data corresponding to the captured image, an expected locus line generation unit that generates an expected locus line that the vehicle is expected to travel behind the vehicle, and a left rear rear unit. Based on at least one of the video data and the right rear video data, the recognition unit that recognizes the parking lot line that divides the parking lot to which the vehicle is heading in the vehicle width direction as the first parking lot line, and the above-mentioned recognition unit. A calculation unit that calculates the inclination between the front-rear direction of the vehicle and the first parking lot line, a superimposed video data generation unit that generates superimposed video data by superimposing the expected locus line on the main rear video data, and the above. A display control unit that outputs superimposed video data to a display device is provided, and the superimposed video data generation unit superimposes a parking lot line direction indicating line indicating the inclination on the superimposed video data.

他の一実施形態に係る表示制御方法は、車両の後方を撮影した映像に対応する主後方映像データ、前記車両の左側後方を撮影した映像に対応する左側後方映像データ、及び、前記車両の右側後方を撮影した映像に対応する右側後方映像データを取得する映像データ取得ステップと、前記車両の後方において前記車両が進行することが予想される予想軌跡線を生成する予想軌跡線生成ステップと、前記左側後方映像データ又は前記右側後方映像データのうち少なくとも何れか一方に基づいて、前記車両が向かっている駐車区画を車幅方向で区画する駐車区画線を第一駐車区画線として認識する認識ステップと、前記車両の前後方向と前記第一駐車区画線の間の傾きを算出する算出ステップと、前記主後方映像データに前記予想軌跡線を重畳させた重畳映像データを生成する重畳映像データ生成ステップと、前記重畳映像データを表示装置に出力する表示制御ステップと、を含み、前記重畳映像データ生成ステップでは、前記重畳映像データに、前記傾きを示す駐車区画線方向指示線を重畳させる。 The display control method according to the other embodiment is the main rear image data corresponding to the image of the rear of the vehicle, the left rear image data corresponding to the image of the left rear of the vehicle, and the right side of the vehicle. The video data acquisition step of acquiring the right rear image data corresponding to the image of the rear image, the expected trajectory line generation step of generating the expected trajectory line in which the vehicle is expected to travel behind the vehicle, and the above. A recognition step of recognizing a parking lot line that divides the parking lot to which the vehicle is heading in the vehicle width direction as a first parking lot line based on at least one of the left rear video data and the right rear video data. , A calculation step for calculating the inclination between the front-rear direction of the vehicle and the first parking lot line, and a superimposed video data generation step for generating superimposed video data in which the expected locus line is superimposed on the main rear video data. In the superposed video data generation step, the superposed video data is superposed on the parking lane marking direction indicating line indicating the inclination.

更に他の一実施形態に係るプログラムは、車両の後方を撮影した映像に対応する主後方映像データ、前記車両の左側後方を撮影した映像に対応する左側後方映像データ、及び、前記車両の右側後方を撮影した映像に対応する右側後方映像データを取得する映像データ取得ステップと、前記車両の後方において前記車両が進行することが予想される予想軌跡線を生成する予想軌跡線生成ステップと、前記左側後方映像データ又は前記右側後方映像データのうち少なくとも何れか一方に基づいて、前記車両が向かっている駐車区画を車幅方向で区画する駐車区画線を第一駐車区画線として認識する認識ステップと、前記車両の前後方向と前記第一駐車区画線の間の傾きを算出する算出ステップと、前記主後方映像データに前記予想軌跡線を重畳させた重畳映像データを生成する重畳映像データ生成ステップと、前記重畳映像データを表示装置に出力する表示制御ステップと、をコンピュータに実行させるプログラムであって、前記重畳映像データ生成ステップでは、前記重畳映像データに、前記傾きを示す駐車区画線方向指示線を重畳させる。 The program according to still another embodiment includes main rear image data corresponding to an image of the rear of the vehicle, left rear image data corresponding to an image of the left rear of the vehicle, and right rear of the vehicle. A video data acquisition step for acquiring the right rear image data corresponding to the captured image, a prediction trajectory generation step for generating an expected trajectory line for which the vehicle is expected to travel behind the vehicle, and the left side. A recognition step of recognizing a parking lot line that divides the parking lot to which the vehicle is heading in the vehicle width direction as a first parking lot line based on at least one of the rear image data and the right rear image data. A calculation step of calculating the inclination between the front-rear direction of the vehicle and the first parking lot line, a superimposed image data generation step of generating superimposed image data by superimposing the expected locus line on the main rear image data, and A program that causes a computer to execute a display control step for outputting the superimposed video data to a display device. In the superimposed video data generation step, a parking lot line direction indicating line indicating the inclination is added to the superimposed video data. Superimpose.

本発明によれば、駐車区画に対する車両の向きが適切であるか否か判断することが容易となる。 According to the present invention, it becomes easy to determine whether or not the orientation of the vehicle with respect to the parking lot is appropriate.

表示システムの機能ブロック図である。（第１実施形態）It is a functional block diagram of a display system. (First Embodiment) 所望の駐車区画に向けて車両を後退させている様子を示す俯瞰図である。（第１実施形態）It is a bird's-eye view which shows the state which the vehicle is retracting toward a desired parking lot. (First Embodiment) 駐車区画内に車両が進入する前の主後方映像データの一例を示す図である。（第１実施形態）It is a figure which shows an example of the main rear image data before a vehicle enters a parking lot. (First Embodiment) 駐車区画内に車両が進入した段階における左側後方映像データの一例を示す図である。（第１実施形態）It is a figure which shows an example of the left rear image data at the stage when a vehicle enters a parking lot. (First Embodiment) 駐車区画内に車両が進入した段階における右側後方映像データの一例を示す図である。（第１実施形態）It is a figure which shows an example of the right rear image data at the stage when a vehicle enters a parking lot. (First Embodiment) 駐車区画内に車両が進入する前の重畳映像データの一例を示す図である。（第１実施形態）It is a figure which shows an example of the superimposition video data before a vehicle enters a parking lot. (First Embodiment) 駐車区画内に車両が進入する前の重畳映像データの一例を示す図である。（第１実施形態）It is a figure which shows an example of the superimposition video data before a vehicle enters a parking lot. (First Embodiment) 駐車区画内に車両が深く進入した段階における重畳映像データの一例を示す図である。（第１実施形態）It is a figure which shows an example of the superimposition video data at the stage when a vehicle deeply enters a parking lot. (First Embodiment) 表示制御装置の制御フローである。（第１実施形態）This is the control flow of the display control device. (First Embodiment) 駐車区画に対する車両の向きが適切になった段階における重畳映像データの一例を示す図である。（第１実施形態）It is a figure which shows an example of the superimposition video data at the stage when the direction of a vehicle with respect to a parking lot becomes appropriate. (First Embodiment) 駐車区画内に車両が深く進入した段階における主後方映像データの一例を示す図である。（第２実施形態）It is a figure which shows an example of the main rear image data at the stage when a vehicle deeply enters a parking lot. (Second Embodiment) 表示制御装置の制御フローである。（第２実施形態）This is the control flow of the display control device. (Second Embodiment) 表示制御装置の制御フローである。（第３実施形態）This is the control flow of the display control device. (Third Embodiment)

（第１実施形態）
以下、図１から図１０を参照して、第１実施形態を説明する。図１は、表示システムの機能ブロック図を示している。図２は、所望の駐車区画に向けて車両を後退させている様子を示す俯瞰図を示している。 (First Embodiment)
Hereinafter, the first embodiment will be described with reference to FIGS. 1 to 10. FIG. 1 shows a functional block diagram of the display system. FIG. 2 shows a bird's-eye view showing how the vehicle is retracted toward the desired parking lot.

＜構成＞
図１に示す表示システム１は、運転者の駐車操作を補助するものである。具体的には、表示システム１は、図２に示すように、運転者が車両２を後退させることにより車両２を所望の駐車区画３に向けて移動させる際の駐車操作を補助する。 <Structure>
The display system 1 shown in FIG. 1 assists the driver in parking operation. Specifically, as shown in FIG. 2, the display system 1 assists the parking operation when the driver moves the vehicle 2 toward the desired parking compartment 3 by reversing the vehicle 2.

図１に示すように、表示システム１は、後方カメラ４と、左側後方カメラ５と、右側後方カメラ６と、表示装置７と、表示制御装置８と、を備えている。 As shown in FIG. 1, the display system 1 includes a rear camera 4, a left rear camera 5, a right rear camera 6, a display device 7, and a display control device 8.

図２に示すように、後方カメラ４は、車両２の後端２ａに配置され、車両２の後端２ａから車両２の後方を撮像するカメラである。後方カメラ４は、撮像した映像に対応する主後方映像データを表示制御装置８に出力する。図３には、主後方映像データの一例を示している。図２には、後方カメラ４の画角４ａを破線で示している。 As shown in FIG. 2, the rear camera 4 is a camera that is arranged at the rear end 2a of the vehicle 2 and images the rear of the vehicle 2 from the rear end 2a of the vehicle 2. The rear camera 4 outputs the main rear image data corresponding to the captured image to the display control device 8. FIG. 3 shows an example of main / rear video data. In FIG. 2, the angle of view 4a of the rear camera 4 is shown by a broken line.

左側後方カメラ５は、車両２の左端２ｂに配置され、車両２の左端２ｂから車両２の左側後方を撮像するカメラである。本実施形態において、左側後方カメラ５は、車両２の左端２ｂに配置されている左サイドミラー９に配置されており、車両２の左サイドミラー９から車両２の左側後方を撮像する。左側後方カメラ５は、撮像した映像に対応する左側後方映像データを表示制御装置８に出力する。図４には、左側後方映像データの一例を示している。図２には、左側後方カメラ５の画角５ａを破線で示している。左側後方カメラ５は、左サイドミラー９を電子的に代替する図示しない左サイドモニタ用のカメラであってもよい。 The left rear camera 5 is a camera that is arranged at the left end 2b of the vehicle 2 and captures the left rear rear of the vehicle 2 from the left end 2b of the vehicle 2. In the present embodiment, the left rear camera 5 is arranged on the left side mirror 9 arranged at the left end 2b of the vehicle 2, and images the left rear of the vehicle 2 from the left side mirror 9 of the vehicle 2. The left rear camera 5 outputs the left rear image data corresponding to the captured image to the display control device 8. FIG. 4 shows an example of left rear video data. In FIG. 2, the angle of view 5a of the left rear camera 5 is shown by a broken line. The left rear camera 5 may be a camera for a left side monitor (not shown) that electronically replaces the left side mirror 9.

右側後方カメラ６は、車両２の右端２ｃに配置され、車両２の右端２ｃから車両２の右側後方を撮像するカメラである。本実施形態において、右側後方カメラ６は、車両２の右端２ｃに配置されている右サイドミラー１０に配置されており、車両２の右サイドミラー１０から車両２の右側後方を撮像する。右側後方カメラ６は、撮像した映像に対応する右側後方映像データを表示制御装置８に出力する。図５には、右側後方映像データの一例を示している。図２には、右側後方カメラ６の画角６ａを破線で示している。右側後方カメラ６は、右サイドミラー１０を電子的に代替する図示しない右サイドモニタ用のカメラであってもよい。 The right rear camera 6 is a camera that is arranged at the right end 2c of the vehicle 2 and captures the right rear side of the vehicle 2 from the right end 2c of the vehicle 2. In the present embodiment, the right rear camera 6 is arranged on the right side mirror 10 arranged at the right end 2c of the vehicle 2, and images the right rear of the vehicle 2 from the right side mirror 10 of the vehicle 2. The right rear camera 6 outputs the right rear image data corresponding to the captured image to the display control device 8. FIG. 5 shows an example of right rear video data. In FIG. 2, the angle of view 6a of the right rear camera 6 is shown by a broken line. The right rear camera 6 may be a camera for a right side monitor (not shown) that electronically replaces the right side mirror 10.

図１に戻り、表示装置７は、例えば、液晶表示装置、有機ＥＬ（有機エレクトロルミネッセンス）表示装置、ヘッドアップディスプレイである。表示装置７は、運転者が駐車操作する際に目視可能な位置に配置される。表示装置７は、表示画面７ａを有する。 Returning to FIG. 1, the display device 7 is, for example, a liquid crystal display device, an organic EL (organic electroluminescence) display device, and a head-up display. The display device 7 is arranged at a position that can be visually recognized when the driver performs a parking operation. The display device 7 has a display screen 7a.

表示制御装置８は、中央演算処理器としてのCPU（Central Processing Unit）と、読み書き自由のRAM（Random Access Memory）、読み出し専用のROM（Read Only Memory）を備えている。そして、CPUがROMに記憶されているプログラムを読み出して実行することで、プログラムは、CPUなどのハードウェアを、車両情報取得部２０、映像データ取得部２１、映像処理部２２、表示制御部２３、として機能させる。 The display control device 8 includes a CPU (Central Processing Unit) as a central processing unit, a read / write free RAM (Random Access Memory), and a read-only ROM (Read Only Memory). Then, the CPU reads and executes the program stored in the ROM, so that the program executes the hardware such as the CPU in the vehicle information acquisition unit 20, the video data acquisition unit 21, the image processing unit 22, and the display control unit 23. To function as ,.

車両情報取得部２０は、CANなどを通じて、車両情報を取得する。CANなどとは、CAN（Controller Area Network）やMOST（Media Oriented Systems Transport）、イーサネット（登録商標）等の車内ネットワークを意味する。車両情報取得部２０は、後退情報取得部２４、及び、舵角情報取得部２５を有する。後退情報取得部２４は、車両２のシフトレバーの操作情報を取得する。舵角情報取得部２５は、車両２のハンドルの舵角情報を取得する。車両情報は、操作情報及び舵角情報を含み得る。車両情報取得部２０は、取得した車両情報を映像処理部２２に出力する。 The vehicle information acquisition unit 20 acquires vehicle information through CAN or the like. CAN and the like mean in-vehicle networks such as CAN (Controller Area Network), MOST (Media Oriented Systems Transport), and Ethernet (registered trademark). The vehicle information acquisition unit 20 includes a reverse information acquisition unit 24 and a steering angle information acquisition unit 25. The reverse information acquisition unit 24 acquires operation information of the shift lever of the vehicle 2. The steering angle information acquisition unit 25 acquires steering angle information of the steering wheel of the vehicle 2. The vehicle information may include operation information and steering angle information. The vehicle information acquisition unit 20 outputs the acquired vehicle information to the video processing unit 22.

映像データ取得部２１は、後方カメラ４から主後方映像データを取得する。映像データ取得部２１は、左側後方カメラ５から左側後方映像データを取得する。映像データ取得部２１は、右側後方カメラ６から右側後方映像データを取得する。映像データ取得部２１は、取得した主後方映像データ及び左側後方映像データ、右側後方映像データを映像処理部２２に出力する。 The video data acquisition unit 21 acquires main rear video data from the rear camera 4. The video data acquisition unit 21 acquires the left rear video data from the left rear camera 5. The video data acquisition unit 21 acquires right rear video data from the right rear camera 6. The video data acquisition unit 21 outputs the acquired main rear video data, left rear video data, and right rear video data to the video processing unit 22.

映像処理部２２は、映像データ取得部２１が取得した主後方映像データ及び左側後方映像データ、右側後方映像データに対し各種処理を行う。映像処理部２２は、各種処理の処理内容に対応して、予想軌跡線生成部２６と、認識部２７と、算出部２８と、重畳映像データ生成部２９と、を有する。 The video processing unit 22 performs various processing on the main rear video data, the left rear video data, and the right rear video data acquired by the video data acquisition unit 21. The video processing unit 22 includes a prediction locus line generation unit 26, a recognition unit 27, a calculation unit 28, and a superposed video data generation unit 29, corresponding to the processing contents of various processes.

予想軌跡線生成部２６は、車両２の後方における予想軌跡線を生成する。予想軌跡線生成部２６は、車両２の後方において車両２が進行することが予想される予想軌跡線を生成する。予想軌跡線は、図６及び図７に示すように、第一予想軌跡線としての舵角非連動線３０と、第二予想軌跡線としての舵角連動線３１と、を含み得る。 The predicted locus line generation unit 26 generates a predicted locus line behind the vehicle 2. The predicted locus line generation unit 26 generates a predicted locus line in which the vehicle 2 is expected to travel behind the vehicle 2. As shown in FIGS. 6 and 7, the predicted locus line may include a rudder angle non-interlocking line 30 as the first predicted locus line and a rudder angle interlocking line 31 as the second predicted locus line.

図６に示すように、舵角非連動線３０は、車両２の前後方向に沿って直線的に延びる前後方向予想線としての２本の縦線３０ａと、２本の縦線３０ａを連結する２本の横線３０ｂと、から構成されている。２本の縦線３０ａの間の間隔は、車両２の車幅に一致している。２本の横線３０ｂは、省略される場合がある。横線３０ｂの本数は２本に限らない。横線３０ｂは、車両２を起点とした車両２の後方の所定距離を示していてもよい。 As shown in FIG. 6, the steering angle non-interlocking line 30 connects two vertical lines 30a as a front-rear direction prediction line extending linearly along the front-rear direction of the vehicle 2 and two vertical lines 30a. It is composed of two horizontal lines 30b. The distance between the two vertical lines 30a corresponds to the width of the vehicle 2. The two horizontal lines 30b may be omitted. The number of horizontal lines 30b is not limited to two. The horizontal line 30b may indicate a predetermined distance behind the vehicle 2 starting from the vehicle 2.

図７に示すように、舵角連動線３１は、舵角情報に基づいて湾曲する２本の縦線３１ａと、２本の縦線３１ａを連結する２本の横線３１ｂと、から構成されている。２本の縦線３１ａの間の間隔は、車両２の車幅に一致している。２本の横線３１ｂは、省略される場合がある。横線３１ｂの本数は２本に限らない。横線３１ｂは、車両２を起点とした車両２の後方の所定距離を示していてもよい。 As shown in FIG. 7, the rudder angle interlocking line 31 is composed of two vertical lines 31a that are curved based on the rudder angle information and two horizontal lines 31b that connect the two vertical lines 31a. There is. The distance between the two vertical lines 31a corresponds to the width of the vehicle 2. The two horizontal lines 31b may be omitted. The number of horizontal lines 31b is not limited to two. The horizontal line 31b may indicate a predetermined distance behind the vehicle 2 starting from the vehicle 2.

認識部２７は、図４に示すように、左側後方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する２つの駐車区画線３５のうち、車両２が駐車区画３内に進入した段階で車両２から見て左側（左サイドミラー９側）となる駐車区画線３５を第一駐車区画線３５ａとして認識する。端的に言えば、認識部２７は、左側後方映像データに基づいて、車両２の駐車区画３の左側（左サイドミラー９側）を区画する駐車区画線３５を第一駐車区画線３５ａとして認識する。しかし、これに代えて、図５に示すように、認識部２７は、右側後方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する２つの駐車区画線３５のうち、車両２が駐車区画３内に進入した段階で車両２から見て右側（右サイドミラー１０側）となる駐車区画線３５を第一駐車区画線３５ａとして認識してもよい。端的に言えば、認識部２７は、右側後方映像データに基づいて、車両２の駐車区画３の右側（右サイドミラー１０側）を区画する駐車区画線３５を第一駐車区画線３５ａとして認識してもよい。 As shown in FIG. 4, the recognition unit 27 has the vehicle 2 out of the two parking lot lines 35 that divide the parking lot 3 to which the vehicle 2 is heading in the vehicle width direction based on the left rear image data. The parking lane marking 35, which is on the left side (left side mirror 9 side) when viewed from the vehicle 2 when entering the inside of 3, is recognized as the first parking lane marking 35a. In short, the recognition unit 27 recognizes the parking lot line 35 that divides the left side (left side mirror 9 side) of the parking lot 3 of the vehicle 2 as the first parking lot line 35a based on the left rear image data. .. However, instead of this, as shown in FIG. 5, the recognition unit 27 has two parking lot lines 35 that divide the parking lot 3 to which the vehicle 2 is heading in the vehicle width direction based on the right rear image data. Of these, the parking lot line 35 on the right side (right side mirror 10 side) of the vehicle 2 when the vehicle 2 enters the parking lot 3 may be recognized as the first parking lot line 35a. In short, the recognition unit 27 recognizes the parking lot line 35 that divides the right side (right side mirror 10 side) of the parking lot 3 of the vehicle 2 as the first parking lot line 35a based on the right rear image data. You may.

算出部２８は、車両２の前後方向と第一駐車区画線３５ａの間の傾きを算出する。ここで、傾きとは、俯瞰的な視点で見たときの傾きを意味する。即ち、傾きとは、俯瞰的な視点で見ることで特定される傾きを意味する。傾きは、車両２の前後方向と第一駐車区画線３５ａとの間の定量的且つ具体的な角度と、車両２の前後方向に対する第一駐車区画線３５ａの傾きの方向と、を含む概念である。図４に示すように、左側後方映像データにおける垂直線３７が車両２の前後方向に対して常時平行となっている場合は、車両２の前後方向と第一駐車区画線３５ａとの間の角度は、図４に示す角度θとして表される。図４の例では、第一駐車区画線３５ａは、車両２の前後方向に対して約４５度、反時計周りに傾いている。 The calculation unit 28 calculates the inclination between the front-rear direction of the vehicle 2 and the first parking lot line 35a. Here, the inclination means an inclination when viewed from a bird's-eye view. That is, the inclination means an inclination specified by looking at it from a bird's-eye view. The inclination is a concept including a quantitative and specific angle between the front-rear direction of the vehicle 2 and the first parking lane 35a, and the direction of the inclination of the first parking lane 35a with respect to the front-rear direction of the vehicle 2. be. As shown in FIG. 4, when the vertical line 37 in the left rear image data is always parallel to the front-rear direction of the vehicle 2, the angle between the front-rear direction of the vehicle 2 and the first parking lot line 35a. Is represented as the angle θ shown in FIG. In the example of FIG. 4, the first parking lot line 35a is tilted counterclockwise by about 45 degrees with respect to the front-rear direction of the vehicle 2.

重畳映像データ生成部２９は、主後方映像データに予想軌跡線を重畳させた重畳映像データを生成する。前述したように、予想軌跡線生成部２６が生成する予想軌跡線は、図６に示す舵角非連動線３０と、図７に示す舵角連動線３１と、を含み得る。従って、重畳映像データ生成部２９は、主後方映像データに舵角非連動線３０のみを重畳させてもよいし、舵角連動線３１のみを重畳させてもよいし、舵角非連動線３０及び舵角連動線３１を重畳させてもよい。本実施形態では、重畳映像データ生成部２９は、図６及び図８に示すように、主後方映像データに対して舵角非連動線３０のみを重畳させ、舵角連動線３１は重畳させないこととする。即ち、重畳映像データ生成部２９は、主後方映像データに舵角非連動線３０を重畳させた重畳映像データを生成する。そして、図８に示すように、重畳映像データ生成部２９は、重畳映像データに、算出部２８が算出した傾きを示す２つの駐車区画線方向指示線４０を重畳させる。換言すれば、重畳映像データ生成部２９は、重畳映像データに、算出部２８が算出した傾きに基づいて２つの駐車区画線方向指示線４０を重畳させる。図８において、紙面右側に見える駐車区画線方向指示線４０は紙面右側に見える駐車区画線３５の傾きに対応したものであり、紙面左側に見える駐車区画線方向指示線４０は紙面左側に見える駐車区画線３５の傾きに対応したものである。このため、紙面右側に見える駐車区画線３５および紙面左側に見える駐車区画線３５が実際には平行線であっても、表示上は遠近法により図８のような向きに表示される。各駐車区画線方向指示線４０は、直線的に延びている。重畳映像データ生成部２９は、各駐車区画線方向指示線４０の車両２側の端部４０ａと、各縦線３０ａの車両２側の端部３０ｃと、が一致するように、重畳映像データに、２つの駐車区画線方向指示線４０を重畳させる。なお、重畳映像データ生成部２９が重畳映像データに２つの駐車区画線方向指示線４０を重畳させることに代えて、１つのみの駐車区画線方向指示線４０を重畳させることとしてもよい。 The superimposed video data generation unit 29 generates superimposed video data in which the expected locus line is superimposed on the main rear video data. As described above, the predicted locus line generated by the predicted locus line generation unit 26 may include the rudder angle non-interlocking line 30 shown in FIG. 6 and the rudder angle interlocking line 31 shown in FIG. 7. Therefore, the superimposed video data generation unit 29 may superimpose only the steering angle non-interlocking line 30 on the main rear video data, may superimpose only the steering angle interlocking line 31, or may superimpose only the steering angle non-interlocking line 30. And the rudder angle interlocking line 31 may be superimposed. In the present embodiment, as shown in FIGS. 6 and 8, the superimposed video data generation unit 29 superimposes only the steering angle non-interlocking line 30 on the main rear video data, and does not superimpose the steering angle interlocking line 31. And. That is, the superposed video data generation unit 29 generates superposed video data in which the steering angle non-interlocking line 30 is superposed on the main rear video data. Then, as shown in FIG. 8, the superposed video data generation unit 29 superimposes the superposed video data with two parking lot marking line direction indicating lines 40 indicating the inclination calculated by the calculation unit 28. In other words, the superposed video data generation unit 29 superimposes the two parking lot line direction indicator lines 40 on the superposed video data based on the inclination calculated by the calculation unit 28. In FIG. 8, the parking marking line direction indicating line 40 seen on the right side of the paper corresponds to the inclination of the parking marking line 35 seen on the right side of the paper, and the parking marking line direction indicating line 40 seen on the left side of the paper corresponds to the parking seen on the left side of the paper. It corresponds to the inclination of the lane marking 35. Therefore, even if the parking lot line 35 seen on the right side of the paper and the parking lot line 35 seen on the left side of the paper are actually parallel lines, they are displayed in the orientation as shown in FIG. 8 by the perspective method. Each parking lot line direction indicator line 40 extends linearly. The superimposed video data generation unit 29 converts the superimposed video data into the superimposed video data so that the end 40a on the vehicle 2 side of each parking lot line direction indicator line 40 and the end 30c on the vehicle 2 side of each vertical line 30a coincide with each other. The two parking lot line direction indicator lines 40 are superimposed. In addition, instead of superimposing the two parking lot line direction instruction lines 40 on the superimposition video data, the superimposition video data generation unit 29 may superimpose only one parking lot line direction instruction line 40.

表示制御部２３は、重畳映像データを表示装置７に出力する。なお、上述した実施形態においては、各駐車区画線方向指示線４０の車両２側の端部４０ａと、各縦線３０ａの車両２側の端部３０ｃとを一致させていたが、一致させずに、２つの駐車区画線方向指示線４０を駐車区画線３５の幅に合わせた位置としてもよい。この場合、主後方映像データまたは左側後方映像データおよび右側後方映像データから認識部２７が認識した駐車区画線３５の位置に基づいて駐車区画線３５の幅を算出する。 The display control unit 23 outputs the superimposed video data to the display device 7. In the above-described embodiment, the end 40a on the vehicle 2 side of each parking lot marking line 40 and the end 30c on the vehicle 2 side of each vertical line 30a are matched, but they are not matched. In addition, the two parking lot line direction indicator lines 40 may be positioned so as to match the width of the parking lot line 35. In this case, the width of the parking lane 35 is calculated based on the position of the parking lane 35 recognized by the recognition unit 27 from the main rear video data, the left rear video data, and the right rear video data.

＜作動＞
次に、図８から図１０を参照して、表示制御装置８の制御フローを説明する。図９は、表示制御装置８の制御フローを示している。図１０は、駐車区画３に対する車両２の向きが適切になったときの重畳映像データの一例を示す図である。 <Operation>
Next, the control flow of the display control device 8 will be described with reference to FIGS. 8 to 10. FIG. 9 shows a control flow of the display control device 8. FIG. 10 is a diagram showing an example of superimposed video data when the orientation of the vehicle 2 with respect to the parking zone 3 is appropriate.

図９に示すように、先ず、表示制御装置８は、シフトレバーがリバースポジションへと切り替わるまで処理を待機させる（S100：NO）。 As shown in FIG. 9, first, the display control device 8 waits for processing until the shift lever is switched to the reverse position (S100: NO).

シフトレバーがリバースポジションへと切り替わったら（S100:YES）、映像データ取得部２１が、主後方映像データ及び左側後方映像データ、右側後方映像データを取得する（S110）。 When the shift lever is switched to the reverse position (S100: YES), the video data acquisition unit 21 acquires the main rear video data, the left rear video data, and the right rear video data (S110).

次に、予想軌跡線生成部２６が、図６に示す舵角非連動線３０を生成する（S120）。 Next, the expected locus line generation unit 26 generates the rudder angle non-interlocking line 30 shown in FIG. 6 (S120).

次に、認識部２７が、図４に示すように、左側後方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する２つの駐車区画線３５のうち、車両２が駐車区画３内に進入した段階で車両２から見て左側（左サイドミラー９側）となる駐車区画線３５を第一駐車区画線３５ａとして認識する（S130）。なお、第一駐車区画線３５ａを認識する方法としては、例えばエッジ検出などの公知の画像処理方法を採用し得る。 Next, as shown in FIG. 4, the recognition unit 27 has the vehicle 2 out of the two parking lot lines 35 that divide the parking lot 3 to which the vehicle 2 is heading in the vehicle width direction based on the left rear image data. The parking lot line 35, which is on the left side (left side mirror 9 side) when viewed from the vehicle 2 when the vehicle enters the parking lot 3, is recognized as the first parking lot line 35a (S130). As a method of recognizing the first parking lot line 35a, a known image processing method such as edge detection can be adopted.

次に、算出部２８が、車両２の前後方向と第一駐車区画線３５ａの間の傾きを算出する（S140）。 Next, the calculation unit 28 calculates the inclination between the front-rear direction of the vehicle 2 and the first parking lot line 35a (S140).

次に、重畳映像データ生成部２９が、図８に示すように、重畳映像データを生成する（S150）。具体的には、以下の通りである。 Next, the superimposed video data generation unit 29 generates superimposed video data (S150) as shown in FIG. Specifically, it is as follows.

即ち、重畳映像データ生成部２９は、図８に示すように、主後方映像データに舵角非連動線３０を重畳させた重畳映像データを生成する（S151）。 That is, as shown in FIG. 8, the superimposed video data generation unit 29 generates superimposed video data in which the steering angle non-interlocking line 30 is superimposed on the main rear video data (S151).

次に、重畳映像データ生成部２９は、重畳映像データに、算出部２８が算出した傾きを示す２つの駐車区画線方向指示線４０を重畳させる（S154）。ここで、表示装置７の表示画面７ａ上にて、駐車区画線方向指示線４０と舵角非連動線３０の縦線３０ａとを目視で比較して、駐車区画線方向指示線４０が舵角非連動線３０の縦線３０ａに重なるようにハンドルを操作すれば、駐車区画３に対する車両２の向きを適切なものにすることができる。図８の例では、駐車区画線方向指示線４０が舵角非連動線３０の縦線３０ａと比較して反時計周りに傾いているので、現在ハンドルを左に切っている場合は継続してハンドルを左に切ったままとし、或いは、現在ハンドルが中立状態である場合は直ちにハンドルを左に切ることが求められている。 Next, the superposed video data generation unit 29 superimposes the superposed video data with two parking lane marking direction indicating lines 40 indicating the inclination calculated by the calculation unit 28 (S154). Here, on the display screen 7a of the display device 7, the parking lane marking direction indicator line 40 and the vertical line 30a of the steering angle non-interlocking line 30 are visually compared, and the parking lane marking direction indicator line 40 is the steering angle. If the steering wheel is operated so as to overlap the vertical line 30a of the non-interlocking line 30, the direction of the vehicle 2 with respect to the parking lot 3 can be adjusted appropriately. In the example of FIG. 8, the parking lane marking line 40 is tilted counterclockwise as compared with the vertical line 30a of the steering angle non-interlocking line 30, so that if the steering wheel is currently turned to the left, it will continue. It is required to keep the steering wheel turned to the left, or to turn the steering wheel to the left immediately if the steering wheel is currently in the neutral state.

そして、重畳映像データ生成部２９は、算出部２８が算出した傾きに基づいて、車両２の前後方向と第一駐車区画線３５ａが平行となったか否かを判定する（S155）。S155において偽判定となった場合は（S155:NO）、重畳映像データ生成部２９は、通常表示モードを実行する（S156）。一方、S155において真判定となった場合は（S155:YES）、重畳映像データ生成部２９は、強調表示モードを実行する（S157）。重畳映像データ生成部２９は、通常表示モードにおいては、図８に示すように舵角非連動線３０を細い実線で描画し、強調表示モードにおいては、図１０に示すように舵角非連動線３０を太い実線で描画する。図１０においては、説明の便宜上、太い実線をハッチングで表現している。図８及び１０を比較して判るように、強調表示モードにおける舵角非連動線３０の線幅は、通常表示モードにおける舵角非連動線３０の線幅よりも大きい。重畳映像データ生成部２９は、通常表示モードで描画される舵角非連動線３０に対し、強調表示モードで描画される舵角非連動線３０を、より目立つ表示形態として描画してもよい。目立つ表示形態としては、色調を明るくする、輝度を高くする、周辺映像とのコントラストを高くするなどが挙げられる。 Then, the superimposed video data generation unit 29 determines whether or not the front-rear direction of the vehicle 2 and the first parking lane 35a are parallel based on the inclination calculated by the calculation unit 28 (S155). If a false determination is made in S155 (S155: NO), the superimposed video data generation unit 29 executes the normal display mode (S156). On the other hand, when the true determination is made in S155 (S155: YES), the superimposed video data generation unit 29 executes the highlighting mode (S157). In the normal display mode, the superimposed video data generation unit 29 draws the rudder angle non-interlocking line 30 with a thin solid line as shown in FIG. 8, and in the highlighting mode, the rudder angle non-interlocking line 30 is drawn as shown in FIG. Draw 30 with a thick solid line. In FIG. 10, for convenience of explanation, a thick solid line is represented by hatching. As can be seen by comparing FIGS. 8 and 10, the line width of the rudder angle non-interlocking line 30 in the highlighting mode is larger than the line width of the rudder angle non-interlocking line 30 in the normal display mode. The superimposed video data generation unit 29 may draw the rudder angle non-interlocking line 30 drawn in the highlighting mode as a more conspicuous display form with respect to the rudder angle non-interlocking line 30 drawn in the normal display mode. Examples of the conspicuous display form include brightening the color tone, increasing the brightness, and increasing the contrast with the surrounding image.

表示制御部２３は、映像処理部２２が生成した重畳映像データを表示装置７に出力する（S160）。これにより、重畳映像データが表示装置７の表示画面７ａに表示される。 The display control unit 23 outputs the superimposed video data generated by the video processing unit 22 to the display device 7 (S160). As a result, the superimposed video data is displayed on the display screen 7a of the display device 7.

そして、表示制御装置８は、シフトレバーがリバースポジション以外のポジションへ切り替わるまで（S170：YES）、S110からS170のステップを繰り返し、シフトレバーがリバースポジション以外のポジションへ切り替わったら（S170:NO）、処理を終了する。 Then, the display control device 8 repeats the steps from S110 to S170 until the shift lever is switched to a position other than the reverse position (S170: YES), and when the shift lever is switched to a position other than the reverse position (S170: NO), End the process.

上述したように、重畳映像データ生成部２９が、重畳映像データに駐車区画線方向指示線４０を重畳させることで（S154）、表示制御装置８は、車両２が駐車しようとしている駐車区画３に対する車両２の向きを運転者が表示装置７の表示画面７ａ上で容易に確認できるようになる。即ち、図８及び図１０に示すように車両２が駐車区画３に深く進入すると、車両２を車幅方向で挟む２つの駐車区画線３５の、表示装置７の表示画面７ａ上で確認できる長さが極めて短くなるので、運転者にとっては、駐車区画３に対する車両２の向きが適切であるか判断し難くなる。従って、上述した技術は、特に、車両２が駐車区画３に深く進入したときに、駐車区画３に対する車両２の向きが適切であるかを運転者が判断する際に極めて有用である。 As described above, the superposed video data generation unit 29 superimposes the parking lot line direction indicator line 40 on the superposed video data (S154), so that the display control device 8 relates to the parking lot 3 where the vehicle 2 is about to park. The driver can easily confirm the direction of the vehicle 2 on the display screen 7a of the display device 7. That is, as shown in FIGS. 8 and 10, when the vehicle 2 enters the parking lot 3 deeply, the length of the two parking lot lines 35 sandwiching the vehicle 2 in the vehicle width direction can be confirmed on the display screen 7a of the display device 7. Since the distance is extremely short, it is difficult for the driver to determine whether the orientation of the vehicle 2 with respect to the parking lot 3 is appropriate. Therefore, the above-mentioned technique is extremely useful, in particular, when the driver determines whether the orientation of the vehicle 2 with respect to the parking compartment 3 is appropriate when the vehicle 2 enters the parking compartment 3 deeply.

以上、第１実施形態を説明したが、上記第１実施形態は、以下の特徴を有している。 Although the first embodiment has been described above, the first embodiment has the following features.

即ち、表示制御装置８は、車両２の後方を撮影した映像に対応する主後方映像データ、車両２の左側後方を撮影した映像に対応する左側後方映像データ、及び、車両２の右側後方を撮影した映像に対応する右側後方映像データを取得する映像データ取得部２１と、車両２の後方において車両２が進行することが予想される予想軌跡線としての舵角非連動線３０を生成する予想軌跡線生成部２６と、左側後方映像データ又は右側後方映像データのうち少なくとも何れか一方に基づいて、車両２が向かっている駐車区画３を車幅方向で区画する駐車区画線３５を第一駐車区画線３５ａとして認識する認識部２７と、車両２の前後方向と第一駐車区画線３５ａの間の傾きを算出する算出部２８と、主後方映像データに舵角非連動線３０を重畳させた重畳映像データを生成する重畳映像データ生成部２９と、重畳映像データ生成部２９を表示装置７に出力する表示制御部２３と、を備える。重畳映像データ生成部２９は、重畳映像データに、傾きを示す駐車区画線方向指示線４０を重畳させる。以上の構成によれば、駐車区画３に対する車両２の向きが適切であるか判断することが容易となる。更に言えば、以上の構成によれば、車両２が駐車区画３に深く進入した段階でも、運転者が、駐車区画３に対する車両２の向きが適切であるかを判断し易くなる。 That is, the display control device 8 captures the main rear image data corresponding to the image of the rear of the vehicle 2, the left rear image data corresponding to the image of the left rear of the vehicle 2, and the right rear of the vehicle 2. The video data acquisition unit 21 that acquires the right rear video data corresponding to the video, and the predicted locus that generates the steering angle non-interlocking line 30 as the predicted locus line that the vehicle 2 is expected to travel behind the vehicle 2. Based on the line generation unit 26 and at least one of the left rear image data and the right rear image data, the first parking area is the parking area line 35 that divides the parking area 3 to which the vehicle 2 is heading in the vehicle width direction. A recognition unit 27 that recognizes the line 35a, a calculation unit 28 that calculates the inclination between the front-rear direction of the vehicle 2 and the first parking lot line 35a, and a superposition in which the steering angle non-interlocking line 30 is superimposed on the main rear image data. It includes a superposed video data generation unit 29 that generates video data, and a display control unit 23 that outputs the superposed video data generation unit 29 to the display device 7. The superimposed video data generation unit 29 superimposes the parking lane marking direction indicating line 40 indicating the inclination on the superimposed video data. According to the above configuration, it becomes easy to determine whether the orientation of the vehicle 2 with respect to the parking lot 3 is appropriate. Furthermore, according to the above configuration, even when the vehicle 2 has entered the parking lot 3 deeply, it becomes easy for the driver to determine whether the orientation of the vehicle 2 with respect to the parking lot 3 is appropriate.

上記実施形態において、認識部２７は、左側後方映像データに基づいて車両２が向かっている駐車区画３を車幅方向で区画する駐車区画線３５を第一駐車区画線３５ａとして認識することとしたが、これに代えて、右側後方映像データに基づいて車両２が向かっている駐車区画３を車幅方向で区画する駐車区画線３５を第一駐車区画線３５ａとして認識してもよい。なぜなら、左側後方映像データに映る駐車区画線３５と、右側後方映像データに映る駐車区画線３５と、は幾何学的に平行なので、何れを第一駐車区画線３５ａとして認識しようとも、算出部２８によって算出される傾きは同一なものとなるからである。 In the above embodiment, the recognition unit 27 decides to recognize the parking lot line 35 that divides the parking lot 3 to which the vehicle 2 is heading in the vehicle width direction as the first parking lot line 35a based on the left rear image data. However, instead of this, the parking lot line 35 that divides the parking lot 3 to which the vehicle 2 is heading in the vehicle width direction may be recognized as the first parking lot line 35a based on the right rear image data. This is because the parking lane marking 35 reflected in the left rear image data and the parking lane 35 reflected in the right rear image data are geometrically parallel, so no matter which one is recognized as the first parking lane 35a, the calculation unit 28 This is because the slopes calculated by are the same.

また、図８に示すように、舵角非連動線３０は、車両２の前後方向に沿って直線的に延びる前後方向予想線としての縦線３０ａを含む。重畳映像データ生成部２９は、駐車区画線方向指示線４０の車両２側の端部４０ａと、縦線３０ａの車両２側の端部３０ｃと、が一致するように、重畳映像データに駐車区画線方向指示線４０を重畳させる。このように駐車区画線方向指示線４０の車両２側の端部４０ａと、縦線３０ａの車両２側の端部３０ｃと、を一致させることで、駐車区画線３５が車両２の前後方向に対してどちらにどの程度傾いているかを直感的に把握し易くなる。 Further, as shown in FIG. 8, the steering angle non-interlocking line 30 includes a vertical line 30a as a front-rear direction prediction line extending linearly along the front-rear direction of the vehicle 2. The superposed video data generation unit 29 sets the parking lot on the superposed video data so that the end 40a on the vehicle 2 side of the parking lot line direction indicator line 40 and the end 30c on the vehicle 2 side of the vertical line 30a coincide with each other. The line direction indicator line 40 is superimposed. By matching the end 40a on the vehicle 2 side of the parking lane marking line 40 and the end 30c on the vehicle 2 side of the vertical line 30a in this way, the parking lane 35 moves in the front-rear direction of the vehicle 2. On the other hand, it becomes easier to intuitively grasp which direction and how much it is tilted.

また、図８及び図１０に示すように、重畳映像データ生成部２９は、車両２の前後方向と第一駐車区画線３５ａが平行となったら、舵角非連動線３０又は駐車区画線方向指示線４０のうち少なくとも何れか一方の表示形態を変更する。以上の構成によれば、表示制御装置８は、車両２が駐車しようとしている駐車区画３に対する車両２の向きが適切となったことを運転者に知らせることができる。 Further, as shown in FIGS. 8 and 10, when the front-rear direction of the vehicle 2 and the first parking lot line 35a are parallel, the superimposed video data generation unit 29 indicates the steering angle non-interlocking line 30 or the parking lot line direction. The display form of at least one of the lines 40 is changed. According to the above configuration, the display control device 8 can notify the driver that the orientation of the vehicle 2 with respect to the parking zone 3 in which the vehicle 2 is about to park is appropriate.

なお、上記の「平行」とは、車両２の前後方向と第一駐車区画線３５ａが幾何学的な意味での平行となった場合に限らず、車両２の前後方向と第一駐車区画線３５ａとの間の角度の絶対値が所定値未満であることを含む。所定値とは、例えば、３度、５度、７度である。 The above "parallel" is not limited to the case where the front-rear direction of the vehicle 2 and the first parking lane 35a are geometrically parallel, and the front-rear direction of the vehicle 2 and the first parking lane 35a are not limited to the case where the first parking lane 35a is geometrically parallel. Includes that the absolute value of the angle between 35a and 35a is less than a predetermined value. The predetermined values are, for example, 3 degrees, 5 degrees, and 7 degrees.

上記実施形態において、重畳映像データ生成部２９は、車両２の前後方向と第一駐車区画線３５ａが平行となったら、舵角非連動線３０の表示形態を変更することとしたが、これに代えて、重畳映像データ生成部２９は、駐車区画線方向指示線４０の表示形態を変更することとしてもよい。表示形態の変更方法としては、前述したように、色調や輝度、コントラストなどの変更を含み得る。 In the above embodiment, the superimposed video data generation unit 29 has decided to change the display form of the steering angle non-interlocking line 30 when the front-rear direction of the vehicle 2 and the first parking lot line 35a are parallel to each other. Alternatively, the superimposed video data generation unit 29 may change the display form of the parking lot marking line direction indicating line 40. As described above, the method of changing the display form may include changes in color tone, brightness, contrast, and the like.

また、表示システム１は、少なくとも、表示制御装置８を備える。表示システム１は、車両２の後方を撮影する後方カメラ４、車両２の左側後方を撮影する左側後方カメラ５、車両２の右側後方を撮影する右側後方カメラ６、表示装置７の少なくとも何れかを備える。 Further, the display system 1 includes at least a display control device 8. The display system 1 includes at least one of a rear camera 4 that captures the rear of the vehicle 2, a left rear camera 5 that captures the left rear of the vehicle 2, a right rear camera 6 that captures the right rear of the vehicle 2, and a display device 7. Be prepared.

また、図９に示すように、表示制御方法は、車両２の後方を撮影した映像に対応する主後方映像データ、車両２の左側後方を撮影した映像に対応する左側後方映像データ、及び、車両２の右側後方を撮影した映像に対応する右側後方映像データを取得する映像データ取得ステップ（S110）と、車両２の後方において車両２が進行することが予想される舵角非連動線３０を生成する予想軌跡線生成ステップ（S120）と、左側後方映像データ又は右側後方映像データのうち少なくとも何れか一方に基づいて、車両２が向かっている駐車区画３を車幅方向で区画する駐車区画線３５を第一駐車区画線３５ａとして認識する認識ステップ（S130）と、車両２の前後方向と第一駐車区画線３５ａの間の傾きを算出する算出ステップ（S140）と、主後方映像データに舵角非連動線３０を重畳させた重畳映像データを生成する重畳映像データ生成ステップ（S150、S151）と、重畳映像データを表示装置７に出力する表示制御ステップ（S160）と、を含む。重畳映像データ生成ステップ（S150）では、重畳映像データに、傾きを示す駐車区画線方向指示線４０を重畳させる（S154）。以上の方法によれば、駐車区画３に対する車両２の向きが適切であるか判断することが容易となる。更に言えば、以上の方法によれば、車両２が駐車区画３に深く進入した段階でも、運転者が、駐車区画３に対する車両２の向きが適切であるかを判断し易くなる。 Further, as shown in FIG. 9, the display control method includes main rear image data corresponding to an image of the rear of the vehicle 2, left rear image data corresponding to an image of the left rear of the vehicle 2, and vehicle. A video data acquisition step (S110) for acquiring the right rear image data corresponding to the image of the right rear image of 2 and a steering angle non-interlocking line 30 in which the vehicle 2 is expected to travel behind the vehicle 2 are generated. Based on the expected locus line generation step (S120) and at least one of the left rear image data and the right rear image data, the parking area 35 for partitioning the parking area 3 to which the vehicle 2 is heading in the vehicle width direction. Is recognized as the first parking lot line 35a (S130), the calculation step (S140) for calculating the inclination between the front-rear direction of the vehicle 2 and the first parking lot line 35a, and the steering angle in the main rear image data. It includes a superimposed video data generation step (S150, S151) for generating superimposed video data on which the non-interlocking lines 30 are superimposed, and a display control step (S160) for outputting the superimposed video data to the display device 7. In the superimposed video data generation step (S150), the parking lane marking direction indicator line 40 indicating the inclination is superimposed on the superimposed video data (S154). According to the above method, it becomes easy to determine whether the orientation of the vehicle 2 with respect to the parking lot 3 is appropriate. Furthermore, according to the above method, even when the vehicle 2 has entered the parking lot 3 deeply, it becomes easy for the driver to determine whether the direction of the vehicle 2 with respect to the parking lot 3 is appropriate.

（第２実施形態）
以下、図１１及び図１２を参照して、第２実施形態を説明する。以下、本実施形態が上記第１実施形態と相違する点を中心に説明し、重複する説明は省略する。 (Second Embodiment)
Hereinafter, the second embodiment will be described with reference to FIGS. 11 and 12. Hereinafter, the present embodiment will be mainly described as being different from the first embodiment, and duplicated description will be omitted.

＜構成＞
本実施形態において認識部２７は、図１１に示すように、後方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する２つの駐車区画線３５のうち何れか一方を第二駐車区画線３５ｂとして認識する。また、認識部２７は、第二駐車区画線３５ｂの遠端部３６を認識する。遠端部３６とは、第二駐車区画線３５ｂの長手方向における２つの端部のうち、車両２の後退方向側（進行方向側）の端部である。 <Structure>
In the present embodiment, as shown in FIG. 11, the recognition unit 27 is one of two parking lot lines 35 that divides the parking lot 3 to which the vehicle 2 is heading in the vehicle width direction based on the rear image data. Is recognized as the second parking lot line 35b. Further, the recognition unit 27 recognizes the far end portion 36 of the second parking lot line 35b. The far end portion 36 is an end portion of the vehicle 2 on the backward direction side (traveling direction side) of the two end portions in the longitudinal direction of the second parking lot line 35b.

算出部２８は、第二駐車区画線３５ｂの遠端部３６と車両２との間の距離を算出する。ここで、第二駐車区画線３５ｂの遠端部３６と車両２との間の距離とは、車両２の基準点に対する第二駐車区画線３５ｂの遠端部３６の水平離間距離を意味する。車両２の基準点は、車両２のバンパーや後方カメラ４など任意に設定することができる。 The calculation unit 28 calculates the distance between the far end portion 36 of the second parking lot line 35b and the vehicle 2. Here, the distance between the far end portion 36 of the second parking lot marking line 35b and the vehicle 2 means the horizontal separation distance of the far end portion 36 of the second parking lot marking line 35b with respect to the reference point of the vehicle 2. The reference point of the vehicle 2 can be arbitrarily set such as the bumper of the vehicle 2 and the rear camera 4.

重畳映像データ生成部２９は、第二駐車区画線３５ｂの遠端部３６と、車両２と、の間の距離が所定値未満である場合に、重畳映像データに駐車区画線方向指示線４０を重畳させる。 When the distance between the far end portion 36 of the second parking lot line 35b and the vehicle 2 is less than a predetermined value, the superimposed video data generation unit 29 adds a parking marking line direction indicator line 40 to the superimposed video data. Overlay.

＜作動＞
以下、第２実施形態の作動を説明する。本実施形態では、図１２に示すように、傾きを算出するステップ（S140）と、重畳映像データを生成するステップ（S150）と、の間に、認識するステップ（S141）と、算出するステップ（S142）と、が挿入されている。また、重畳映像データを生成するステップ（S150）においては、舵角非連動線３０を重畳するステップ（S151）と、駐車区画線方向指示線４０を重畳するステップ（S154）と、の間に、判定するステップ（S152）が挿入されている。 <Operation>
Hereinafter, the operation of the second embodiment will be described. In the present embodiment, as shown in FIG. 12, a recognition step (S141) and a calculation step (S141) are performed between the step of calculating the inclination (S140) and the step of generating the superimposed video data (S150). S142) and are inserted. Further, in the step of generating the superimposed video data (S150), between the step of superimposing the steering angle non-interlocking line 30 (S151) and the step of superimposing the parking marking line direction indicator line 40 (S154), The determination step (S152) is inserted.

認識するステップ（S130）において、認識部２７は、左側後方映像データに基づいて駐車区画線３５を第一駐車区画線３５ａとして認識することに加えて、主後方映像データに基づいて駐車区画線３５を第二駐車区画線３５ｂとして認識する。 In the recognition step (S130), the recognition unit 27 recognizes the parking lane 35 as the first parking lane 35a based on the left rear image data, and also recognizes the parking lane 35 based on the main rear image data. Is recognized as the second parking lot line 35b.

認識するステップ（S141）において、認識部２７は、第二駐車区画線３５ｂの遠端部３６を認識する。 In the recognition step (S141), the recognition unit 27 recognizes the far end portion 36 of the second parking lot line 35b.

算出するステップ（S142）において、算出部２８は、第二駐車区画線３５ｂの遠端部３６と車両２との間の距離を算出する。 In the calculation step (S142), the calculation unit 28 calculates the distance between the far end portion 36 of the second parking lot line 35b and the vehicle 2.

判定するステップ（S152）において、重畳映像データ生成部２９は、第二駐車区画線３５ｂの遠端部３６と車両２との間の距離が所定値未満となったか否かを判定する。S152における判定に用いる所定値とは、例えば後方映像データの画素値から算出される、第二駐車区画線３５ｂの遠端部３６までの距離が、２ｍ未満となったときなどである。または、距離に換算せずに画素数で判断してもよい。さらには、第二駐車区画線３５ｂの遠端部３６が主後方映像データの下方２分の１の範囲や３分の１の範囲に存在するか否かの判断としてもよい。 In the determination step (S152), the superimposed video data generation unit 29 determines whether or not the distance between the far end portion 36 of the second parking lot line 35b and the vehicle 2 is less than a predetermined value. The predetermined value used for the determination in S152 is, for example, when the distance to the far end portion 36 of the second parking lot line 35b, which is calculated from the pixel value of the rear video data, is less than 2 m. Alternatively, it may be determined by the number of pixels without converting it into a distance. Further, it may be determined whether or not the far end portion 36 of the second parking lot line 35b exists in the lower half range or the lower third range of the main rear video data.

S152において偽判定となった場合は（S152:NO）、処理をS160に進める。一方、S152において真判定となった場合は（S152:YES）処理をS154に進める。この条件分岐の技術的な意義は以下の通りである。 If a false judgment is made in S152 (S152: NO), the process proceeds to S160. On the other hand, if the true judgment is made in S152 (S152: YES), the process proceeds to S154. The technical significance of this conditional branching is as follows.

即ち、車両２が駐車区画３に深く進入する前の段階であれば、表示装置７の表示画面７ａを通じて、運転手は、駐車区画３に対する車両２の向きが適切であるかを容易に判断することができる。しかしながら、車両２が駐車区画３に深く進入すると、車両２を車幅方向で挟む２つの駐車区画線３５の、表示装置７の表示画面７ａ上で確認できる長さが極めて短くなるので、運転者にとっては、駐車区画３に対する車両２の向きが適切であるか判断し難くなる。そこで、本実施形態では、距離を判定するステップ（S152）により車両２が駐車区画３に深く進入したか否かを判定し、車両２が駐車区画３に深く進入した場合に限り、駐車区画線方向指示線４０を重畳するステップ（S154）に進むものとしている。従って、車両２が駐車区画３に深く進入する前の段階では重畳映像データに駐車区画線方向指示線４０を重畳しないので、車両２が駐車区画３に深く進入する前の段階における表示装置７の表示内容を簡素にすることができる。また、以上の構成によれば、運転者が駐車区画３に対する車両２の向きが適切であるか否かを判断し易くなる特徴が、特に、車両２が駐車区画３に深く進入した段階で有用なものとなることが一層明確になる。 That is, if the vehicle 2 is in the stage before deeply entering the parking lot 3, the driver can easily determine whether the direction of the vehicle 2 with respect to the parking lot 3 is appropriate through the display screen 7a of the display device 7. be able to. However, when the vehicle 2 enters the parking lot 3 deeply, the length of the two parking lot lines 35 sandwiching the vehicle 2 in the vehicle width direction, which can be confirmed on the display screen 7a of the display device 7, becomes extremely short, so that the driver For the user, it is difficult to determine whether the orientation of the vehicle 2 with respect to the parking lot 3 is appropriate. Therefore, in the present embodiment, it is determined whether or not the vehicle 2 has entered the parking lot 3 deeply by the step (S152) of determining the distance, and only when the vehicle 2 has entered the parking lot 3 deeply, the parking lot line. It is assumed that the process proceeds to the step (S154) in which the direction indicating line 40 is superimposed. Therefore, since the parking lot line direction indicator line 40 is not superimposed on the superimposed video data in the stage before the vehicle 2 deeply enters the parking lot 3, the display device 7 in the stage before the vehicle 2 deeply enters the parking lot 3 The display contents can be simplified. Further, according to the above configuration, a feature that makes it easier for the driver to determine whether or not the orientation of the vehicle 2 with respect to the parking zone 3 is appropriate is particularly useful when the vehicle 2 has entered the parking zone 3 deeply. It becomes clearer that it will be a vehicle.

以上に、第２実施形態を説明したが、上記第２実施形態は、以下の特徴を有する。 Although the second embodiment has been described above, the second embodiment has the following features.

即ち、認識部２７は、主後方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する駐車区画線３５を第二駐車区画線３５ｂとして認識する。重畳映像データ生成部２９は、第二駐車区画線３５ｂの遠端部３６と、車両２と、の間の距離が所定値未満である場合に、重畳映像データに駐車区画線方向指示線４０を重畳させる。以上の構成によれば、車両２が駐車区画３に深く進入する前の段階では重畳映像データに駐車区画線方向指示線４０を重畳しないので、車両２が駐車区画３に深く進入する前の段階における表示装置７の表示内容を簡素にすることができる。また、以上の構成によれば、運転者が駐車区画３に対する車両２の向きが適切であるか否かを判断し易くなる特徴が、特に、車両２が駐車区画３に深く進入した段階で有用なものとなることが一層明確になる。 That is, the recognition unit 27 recognizes the parking lot line 35 that divides the parking lot 3 to which the vehicle 2 is heading in the vehicle width direction as the second parking lot line 35b based on the main rear image data. When the distance between the far end portion 36 of the second parking lot line 35b and the vehicle 2 is less than a predetermined value, the superimposed video data generation unit 29 adds a parking marking line direction indicator line 40 to the superimposed video data. Overlay. According to the above configuration, the parking lot line direction indicator line 40 is not superimposed on the superimposed video data at the stage before the vehicle 2 deeply enters the parking lot 3, so that the stage before the vehicle 2 deeply enters the parking lot 3 The display content of the display device 7 in the above can be simplified. Further, according to the above configuration, a feature that makes it easier for the driver to determine whether or not the orientation of the vehicle 2 with respect to the parking zone 3 is appropriate is particularly useful when the vehicle 2 has entered the parking zone 3 deeply. It becomes clearer that it will be a vehicle.

（第３実施形態）
以下、図１３を参照して、第３実施形態を説明する。以下、本実施形態が上記第１実施形態と相違する点を中心に説明し、重複する説明は省略する。 (Third Embodiment)
Hereinafter, the third embodiment will be described with reference to FIG. Hereinafter, the present embodiment will be mainly described as being different from the first embodiment, and duplicated description will be omitted.

＜構成＞
本実施形態において算出部２８は、俯瞰的な視点で見たときの、車両２の前後方向と第一駐車区画線３５ａの間の角度を算出する。図４には、車両２の前後方向と第一駐車区画線３５ａの間の角度を角度θで示している。 <Structure>
In the present embodiment, the calculation unit 28 calculates the angle between the front-rear direction of the vehicle 2 and the first parking lane 35a when viewed from a bird's-eye view. FIG. 4 shows the angle between the front-rear direction of the vehicle 2 and the first parking lot line 35a as an angle θ.

重畳映像データ生成部２９は、車両２の前後方向と第一駐車区画線３５ａの間の角度が所定値未満である場合に、重畳映像データに駐車区画線方向指示線４０を重畳させる。ここで、上記所定値は、例えば１０度である。 The superposed video data generation unit 29 superimposes the parking lane marking line 40 on the superposed video data when the angle between the front-rear direction of the vehicle 2 and the first parking lane 35a is less than a predetermined value. Here, the predetermined value is, for example, 10 degrees.

＜作動＞
本実施形態では、図１３に示すように、傾きを算出するステップ（S140）と、重畳映像データを生成するステップ（S150）と、の間に、算出するステップ（S143）が挿入されている。また、重畳映像データを生成するステップ（S150）においては、舵角非連動線３０を重畳するステップ（S151）と、駐車区画線方向指示線４０を重畳するステップ（S154）と、の間に、判定するステップ（S153）が挿入されている。 <Operation>
In the present embodiment, as shown in FIG. 13, a calculation step (S143) is inserted between the step of calculating the inclination (S140) and the step of generating the superimposed video data (S150). Further, in the step of generating the superimposed video data (S150), between the step of superimposing the steering angle non-interlocking line 30 (S151) and the step of superimposing the parking marking line direction indicator line 40 (S154), The determination step (S153) is inserted.

算出するステップ（S143）において、算出部２８は、俯瞰的な視点で見たときの、車両２の前後方向と第一駐車区画線３５ａの間の角度を算出する。 In the calculation step (S143), the calculation unit 28 calculates the angle between the front-rear direction of the vehicle 2 and the first parking lot line 35a when viewed from a bird's-eye view.

判定するステップ（S153）において、重畳映像データ生成部２９は、車両２の前後方向と第一駐車区画線３５ａの間の角度が所定値未満であるか否かを判定する。S152における判定に用いる所定値とは、車両２の前後方向と第一駐車区画線３５ａの間の角度が例えば３０度未満となったときなどである。S153において偽判定となった場合は（S153:NO）、処理をS160に進める。一方、S153において真判定となった場合は（S153:YES）処理をS154に進める。この条件分岐の技術的な意義は以下の通りである。 In the determination step (S153), the superimposed video data generation unit 29 determines whether or not the angle between the front-rear direction of the vehicle 2 and the first parking lot line 35a is less than a predetermined value. The predetermined value used for the determination in S152 is, for example, when the angle between the front-rear direction of the vehicle 2 and the first parking lot line 35a is less than 30 degrees. If a false judgment is made in S153 (S153: NO), the process proceeds to S160. On the other hand, if the true judgment is made in S153 (S153: YES), the process proceeds to S154. The technical significance of this conditional branching is as follows.

即ち、駐車区画３に対する車両２の向きが大きく傾いている段階であれば、表示装置７の表示画面７ａを通じて、運転手は、駐車区画３に対する車両２の向きが適切でないことを容易に判断することができる。しかしながら、駐車区画３に対する車両２の向きが概ね合ってきた段階になると、運転者にとっては、駐車区画３に対する車両２の向きが適切であるか判断し難くなる。そこで、本実施形態では、角度を判定するステップ（S153）により駐車区画３に対する車両２の向きが概ね合ってきた場合に限り、駐車区画線方向指示線４０を重畳するステップ（S154）に進むものとしている。従って、駐車区画３に対する車両２の向きが大きく傾いている段階では重畳映像データに駐車区画線方向指示線４０を重畳しないので、駐車区画３に対する車両２の向きが大きく傾いている段階における表示装置７の表示内容を簡素にすることができる。また、以上の構成によれば、運転者が駐車区画３に対する車両２の向きが適切であるか否かを判断し易くなる特徴が、特に、駐車区画３に対する車両２の向きが概ね合ってきた段階で有用なものとなることが一層明確になる。 That is, at the stage where the direction of the vehicle 2 with respect to the parking lot 3 is greatly tilted, the driver can easily determine through the display screen 7a of the display device 7 that the direction of the vehicle 2 with respect to the parking lot 3 is not appropriate. be able to. However, when the orientation of the vehicle 2 with respect to the parking zone 3 is approximately the same, it becomes difficult for the driver to determine whether the orientation of the vehicle 2 with respect to the parking zone 3 is appropriate. Therefore, in the present embodiment, only when the direction of the vehicle 2 with respect to the parking lot 3 is substantially matched by the step of determining the angle (S153), the process proceeds to the step (S154) of superimposing the parking lot line direction indicator line 40. It is supposed to be. Therefore, since the parking lot line direction indicator line 40 is not superimposed on the superimposed video data at the stage where the direction of the vehicle 2 with respect to the parking lot 3 is greatly tilted, the display device at the stage where the direction of the vehicle 2 with respect to the parking lot 3 is greatly tilted. The display content of 7 can be simplified. Further, according to the above configuration, the feature that makes it easier for the driver to determine whether or not the orientation of the vehicle 2 with respect to the parking compartment 3 is appropriate, in particular, the orientation of the vehicle 2 with respect to the parking compartment 3 has generally matched. It becomes even clearer that it will be useful in the stages.

以上に、第３実施形態を説明したが、上記第３実施形態は、以下の特徴を有する。 Although the third embodiment has been described above, the third embodiment has the following features.

即ち、重畳映像データ生成部２９は、車両２の前後方向と第一駐車区画線３５ａの間の角度が所定値未満である場合に、重畳映像データに駐車区画線方向指示線４０を重畳させる。以上の構成によれば、駐車区画３に対する車両２の向きが大きく傾いている段階では重畳映像データに駐車区画線方向指示線４０を重畳しないので、駐車区画３に対する車両２の向きが大きく傾いている段階における表示装置７の表示内容を簡素にすることができる。また、以上の構成によれば、運転者が駐車区画３に対する車両２の向きが適切であるか否かを判断し易くなる特徴が、特に、駐車区画３に対する車両２の向きが概ね合ってきた段階で有用なものとなることが一層明確になる。 That is, the superposed video data generation unit 29 superimposes the parking lane marking line 40 on the superposed video data when the angle between the front-rear direction of the vehicle 2 and the first parking lane 35a is less than a predetermined value. According to the above configuration, the parking lot line direction indicator line 40 is not superimposed on the superimposed video data at the stage where the direction of the vehicle 2 with respect to the parking lot 3 is greatly tilted, so that the direction of the vehicle 2 with respect to the parking lot 3 is greatly tilted. It is possible to simplify the display contents of the display device 7 at the stage where the display device 7 is installed. Further, according to the above configuration, the feature that makes it easier for the driver to determine whether or not the orientation of the vehicle 2 with respect to the parking compartment 3 is appropriate, in particular, the orientation of the vehicle 2 with respect to the parking compartment 3 has generally matched. It becomes even clearer that it will be useful in the stages.

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 In the above example, the program can be stored and supplied to a computer using various types of non-transitory computer readable medium. Non-transitory computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, It includes a CD-R / W and a semiconductor memory (for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (random access memory)). The program may also be supplied to the computer by various types of transient computer readable medium. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

また、第１実施形態、第２実施形態、第３実施形態は、相互に組み合わせて実施することができる。 In addition, the first embodiment, the second embodiment, and the third embodiment can be implemented in combination with each other.

１表示システム
２車両
２ａ後端
２ｂ左端
２ｃ右端
３駐車区画
４後方カメラ
４ａ画角
５左側後方カメラ
５ａ画角
６右側後方カメラ
６ａ画角
７表示装置
７ａ表示画面
８表示制御装置
９左サイドミラー
１０右サイドミラー
２０車両情報取得部
２１映像データ取得部
２２映像処理部
２３表示制御部
２４後退情報取得部
２５舵角情報取得部
２６予想軌跡線生成部
２７認識部
２８算出部
２９重畳映像データ生成部
３０舵角非連動線
３０ａ縦線
３０ｂ横線
３０ｃ端部
３１舵角連動線
３１ａ縦線
３１ｂ横線
３５駐車区画線
３５ａ第一駐車区画線
３５ｂ第二駐車区画線
３６遠端部
３７垂直線
４０駐車区画線方向指示線
４０ａ端部
θ 角度 1 Display system 2 Vehicle 2a Rear end 2b Left end 2c Right end 3 Parking lot 4 Rear camera 4a Angle of view 5 Left rear camera 5a Angle of view 6 Right rear camera 6a Angle of view 7 Display device 7a Display screen 8 Display control device 9 Left side mirror 10 Right side mirror 20 Vehicle information acquisition unit 21 Video data acquisition unit 22 Video processing unit 23 Display control unit 24 Backward information acquisition unit 25 Steering angle information acquisition unit 26 Expected trajectory line generation unit 27 Recognition unit 28 Calculation unit 29 Superimposed video data generation unit 30 Steering angle non-interlocking line 30a Vertical line 30b Horizontal line 30c End 31 Steering angle interlocking line 31a Vertical line 31b Horizontal line 35 Parking lot line 35a First parking lot line 35b Second parking lot line 36 Far end 37 Vertical line 40 Parking lot Line direction indicator line 40a end θ angle

Claims

Main rear image data corresponding to the image of the rear of the vehicle, left rear image data corresponding to the image of the left rear of the vehicle, and right rear image data corresponding to the image of the right rear of the vehicle. And the video data acquisition unit to acquire
An expected locus line generator that generates an expected locus line on which the vehicle is expected to travel behind the vehicle,
A recognition unit that recognizes a parking lot line that divides the parking lot to which the vehicle is heading in the vehicle width direction as a first parking lot based on at least one of the left rear image data and the right rear image data. When,
A calculation unit that calculates the inclination between the front-rear direction of the vehicle and the first parking lot line,
A superposed video data generation unit that generates superposed video data by superimposing the expected locus line on the main rear video data, and
A display control unit that outputs the superimposed video data to the display device,
With
The superimposed video data generation unit superimposes the parking lane marking direction indicating line indicating the inclination on the superimposed video data .
Based on the main rear image data, the recognition unit recognizes the parking lot line that divides the parking lot to which the vehicle is heading in the vehicle width direction as the second parking lot line.
When the distance between the far end portion of the second parking lot line and the vehicle is less than a predetermined value, the superposed video data generation unit adds the parking marking line direction indicating line to the superposed video data. Overlay,
A display control device characterized by the fact that.

Main rear image data corresponding to the image of the rear of the vehicle, left rear image data corresponding to the image of the left rear of the vehicle, and right rear image data corresponding to the image of the right rear of the vehicle. And the video data acquisition unit to acquire
An expected locus line generator that generates an expected locus line on which the vehicle is expected to travel behind the vehicle,
A recognition unit that recognizes a parking lot line that divides the parking lot to which the vehicle is heading in the vehicle width direction as a first parking lot based on at least one of the left rear image data and the right rear image data. When,
A calculation unit that calculates the inclination between the front-rear direction of the vehicle and the first parking lot line,
A superposed video data generation unit that generates superposed video data by superimposing the expected locus line on the main rear video data, and
A display control unit that outputs the superimposed video data to the display device,
With
The superimposed video data generation unit superimposes the parking lane marking direction indicating line indicating the inclination on the superimposed video data.
When the angle between the front-rear direction of the vehicle and the first parking lane marking is less than a predetermined value, the superimposed video data generation unit superimposes the parking lane marking direction on the superimposed video data.
A display control device characterized by the fact that.

Main rear image data corresponding to the image of the rear of the vehicle, left rear image data corresponding to the image of the left rear of the vehicle, and right rear image data corresponding to the image of the right rear of the vehicle. And the video data acquisition unit to acquire
An expected locus line generator that generates an expected locus line on which the vehicle is expected to travel behind the vehicle,
A recognition unit that recognizes a parking lot line that divides the parking lot to which the vehicle is heading in the vehicle width direction as a first parking lot based on at least one of the left rear image data and the right rear image data. When,
A calculation unit that calculates the inclination between the front-rear direction of the vehicle and the first parking lot line,
A superposed video data generation unit that generates superposed video data by superimposing the expected locus line on the main rear video data, and
A display control unit that outputs the superimposed video data to the display device,
With
The superimposed video data generation unit superimposes the parking lane marking direction indicating line indicating the inclination on the superimposed video data.
The predicted locus line includes a front-rear direction prediction line extending linearly along the front-rear direction of the vehicle.
The superimposed video data generation unit is described in the superimposed video data so that the end of the parking lot line direction indicator line on the vehicle side and the end of the front-rear direction prediction line on the vehicle side coincide with each other. Overlay the parking lot line direction indicator line,
A display control device characterized by the fact that.

The predicted locus line includes a front-rear direction prediction line extending linearly along the front-rear direction of the vehicle.
The superimposed video data generation unit is described in the superimposed video data so that the end of the parking lot line direction indicator line on the vehicle side and the end of the front-rear direction prediction line on the vehicle side coincide with each other. Overlay the parking lot line direction indicator line,
The display control device according to claim 1 or 2.

When the front-rear direction of the vehicle and the first parking lane marking line are parallel to each other, the superimposed video data generation unit changes the display form of at least one of the expected locus line and the parking lane marking direction indicating line. ,
The display control device according to any one of claims 1 to 4.

The display control device according to any one of claims 1 to 5.
A rear camera that captures the rear of the vehicle, a left rear camera that captures the left rear of the vehicle, a right rear camera that captures the right rear of the vehicle, and at least one of the display devices.
Display system with.

Main rear image data corresponding to the image of the rear of the vehicle, left rear image data corresponding to the image of the left rear of the vehicle, and right rear image data corresponding to the image of the right rear of the vehicle. And the video data acquisition step to acquire
A step of generating an expected locus line that generates an expected locus line in which the vehicle is expected to travel behind the vehicle, and a step of generating an expected locus line.
A recognition step of recognizing a parking lot line that divides the parking lot to which the vehicle is heading in the vehicle width direction as a first parking lot line based on at least one of the left rear image data and the right rear image data. When,
A calculation step for calculating the inclination between the front-rear direction of the vehicle and the first parking lot line, and
A superimposed video data generation step of generating superimposed video data in which the expected locus line is superimposed on the main rear video data, and
A display control step for outputting the superimposed video data to the display device, and
Including
In the superimposed video data generation step, the parking lane marking direction indicating line indicating the inclination is superimposed on the superimposed video data .
In the recognition step, based on the main rear image data, the parking lot line that divides the parking lot to which the vehicle is heading in the vehicle width direction is recognized as the second parking lot line.
In the superimposed video data generation step, when the distance between the far end portion of the second parking lane marking line and the vehicle is less than a predetermined value, the parking lane marking direction indicator line is added to the superimposed video data. Overlay,
A display control method characterized by that.

Main rear image data corresponding to the image of the rear of the vehicle, left rear image data corresponding to the image of the left rear of the vehicle, and right rear image data corresponding to the image of the right rear of the vehicle. And the video data acquisition step to acquire
A step of generating an expected locus line that generates an expected locus line in which the vehicle is expected to travel behind the vehicle, and a step of generating an expected locus line.
A recognition step of recognizing a parking lot line that divides the parking lot to which the vehicle is heading in the vehicle width direction as a first parking lot line based on at least one of the left rear image data and the right rear image data. When,
A calculation step for calculating the inclination between the front-rear direction of the vehicle and the first parking lot line, and
A superimposed video data generation step of generating superimposed video data in which the expected locus line is superimposed on the main rear video data, and
A display control step for outputting the superimposed video data to the display device, and
Is a program that causes a computer to execute
In the superimposed video data generation step, the parking lane marking direction indicating line indicating the inclination is superimposed on the superimposed video data .
In the recognition step, based on the main rear image data, the parking lot line that divides the parking lot to which the vehicle is heading in the vehicle width direction is recognized as the second parking lot line.
In the superimposed video data generation step, when the distance between the far end portion of the second parking lane marking line and the vehicle is less than a predetermined value, the parking lane marking direction indicator line is added to the superimposed video data. Overlay,
A program characterized by that.