Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7302205B2 - Display control device, display system, display control method and program - Google Patents
[go: Go Back, main page]

JP7302205B2 - Display control device, display system, display control method and program - Google Patents

Display control device, display system, display control method and program Download PDF

Info

Publication number
JP7302205B2
JP7302205B2 JP2019042998A JP2019042998A JP7302205B2 JP 7302205 B2 JP7302205 B2 JP 7302205B2 JP 2019042998 A JP2019042998 A JP 2019042998A JP 2019042998 A JP2019042998 A JP 2019042998A JP 7302205 B2 JP7302205 B2 JP 7302205B2
Authority
JP
Japan
Prior art keywords
bird
display
vehicle
eye view
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019042998A
Other languages
Japanese (ja)
Other versions
JP2020145658A (en
Inventor
壮大 一ノ瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2019042998A priority Critical patent/JP7302205B2/en
Publication of JP2020145658A publication Critical patent/JP2020145658A/en
Application granted granted Critical
Publication of JP7302205B2 publication Critical patent/JP7302205B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、表示制御装置、表示システム、表示制御方法およびプログラムに関する。 The present invention relates to a display control device, a display system, a display control method and a program.

車両が後退する場合など、車両の周囲を確認する必要がある場合に、車両の周囲の俯瞰映像を表示する技術が知られている。また、第1俯瞰画像と、第1俯瞰画像より拡大率の小さい第2俯瞰画像とを並べて合成した合成画像を生成する技術が知られている(例えば、特許文献1参照)。 2. Description of the Related Art A technology is known that displays a bird's-eye view image of the surroundings of a vehicle when it is necessary to check the surroundings of the vehicle, such as when the vehicle is backing up. Also, there is known a technique for generating a composite image by arranging and synthesizing a first bird's-eye view image and a second bird's-eye view image having a smaller magnification ratio than the first bird's-eye view image (see, for example, Patent Literature 1).

特開2017-069621号公報JP 2017-069621 A

例えば、車両の周辺環境が降雨、降雪、強風および寒波などのように、他車両および歩行者などの周囲の状況確認が困難となる場合がある。車両の周囲の状況確認が不十分であると、近接してきた他車両に気付くのが遅れるおそれがある。 For example, when the surrounding environment of the vehicle is raining, snowing, strong wind, cold wave, etc., it may be difficult to check the surrounding conditions such as other vehicles and pedestrians. If the situation around the vehicle is not sufficiently checked, there is a risk that the driver will be late in noticing another vehicle approaching.

本発明は、上記に鑑みてなされたものであって、車両の周囲の環境に応じて適切に俯瞰映像を表示させることを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to appropriately display a bird's-eye view image according to the environment around the vehicle.

上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、車両の周辺を撮影する複数の撮影部が撮影した周辺映像データを取得する映像データ取得部と、前記車両の周囲の環境情報を取得する環境情報取得部と、前記映像データ取得部が取得した周辺映像データに視点変換処理および合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成部と、前記環境情報取得部が取得した環境情報に基づき、前記俯瞰映像生成部が生成した俯瞰映像の表示範囲を変更して表示部に表示させる表示制御部とを備えることを特徴とする。 In order to solve the above-described problems and achieve the object, a display control device according to the present invention includes an image data acquisition unit for acquiring surrounding image data captured by a plurality of image capturing units for capturing images of the surroundings of a vehicle; and an environment information acquisition unit that acquires environment information around the vehicle, and perform viewpoint conversion processing and synthesis processing on the peripheral image data acquired by the image data acquisition unit to generate a bird's-eye view image that displays a predetermined display range from the vehicle. A bird's-eye view image generation unit, and a display control unit for changing a display range of the bird's-eye image generated by the bird's-eye image generation unit and displaying it on a display unit based on the environment information acquired by the environment information acquisition unit. and

本発明に係る表示システムは、上記の表示制御装置と、前記映像データ取得部が周辺映像データを取得する複数の撮影部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともいずれかとを備える。 A display system according to the present invention includes at least one of the display control device described above, a plurality of shooting units in which the image data acquisition unit acquires peripheral image data, and a display unit in which the display control unit displays an overhead image. .

本発明に係る表示制御方法は、車両の周辺を撮影する複数の撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、前記車両の周囲の環境情報を取得する環境情報取得ステップと、前記映像データ取得ステップにおいて取得した周辺映像データに視点変換処理および合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成ステップと、前記環境情報取得ステップにおいて取得した環境情報に基づき、前記俯瞰映像生成ステップで生成した俯瞰映像の表示範囲を変更して表示部に表示させる表示制御ステップとを含む。 A display control method according to the present invention includes a video data acquisition step of acquiring peripheral video data captured by a plurality of shooting units that shoot the surroundings of a vehicle; an environment information acquisition step of acquiring environment information around the vehicle; a bird's-eye view image generation step of performing viewpoint conversion processing and synthesis processing on the peripheral image data acquired in the image data acquisition step to generate an overhead image displaying a predetermined display range from the vehicle; and a display control step of changing a display range of the bird's-eye view image generated in the bird's-eye view image generation step based on the environment information and displaying the bird's-eye view image on a display unit.

本発明に係るプログラムは、車両の周辺を撮影する複数の撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、前記車両の周囲の環境情報を取得する環境情報取得ステップと、前記映像データ取得ステップにおいて取得した周辺映像データに視点変換処理および合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成ステップと、前記環境情報取得ステップにおいて取得した環境情報に基づき、前記俯瞰映像生成ステップで生成した俯瞰映像の表示範囲を変更して表示部に表示させる表示制御ステップとを表示制御装置として動作するコンピュータに実行させる。 A program according to the present invention includes a video data acquisition step of acquiring peripheral video data captured by a plurality of shooting units that shoot the periphery of a vehicle, an environment information acquisition step of acquiring environmental information around the vehicle, and the image a bird's-eye view image generation step of performing viewpoint conversion processing and composition processing on the peripheral image data acquired in the data acquisition step to generate a bird's-eye view image displaying a predetermined display range from the vehicle; and the environment information acquired in the environment information acquisition step. and a display control step of changing the display range of the bird's-eye view video generated in the bird's-eye view video generation step and displaying the bird's-eye view video on the display unit, based on the above, by a computer operating as a display control device.

本発明によれば、車両の周囲の環境に応じて適切に俯瞰映像を表示させることができるという効果を奏する。 ADVANTAGE OF THE INVENTION According to this invention, it is effective in the ability to display a bird's-eye view image|video appropriately according to the environment around a vehicle.

図1は、第一実施形態に係る表示システムの構成例を示すブロック図である。FIG. 1 is a block diagram showing a configuration example of a display system according to the first embodiment. 図2は、第一実施形態に係る表示システムの表示制御装置で生成した俯瞰映像の一例を示す図である。FIG. 2 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display system according to the first embodiment. 図3は、第一実施形態に係る表示システムの表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 3 is a flow chart showing an example of the flow of processing in the display control device of the display system according to the first embodiment. 図4は、第一実施形態に係る表示システムの表示制御装置で生成した俯瞰映像の他の例を示す図である。FIG. 4 is a diagram showing another example of a bird's-eye view image generated by the display control device of the display system according to the first embodiment. 図5は、第二実施形態に係る表示システムの表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 5 is a flow chart showing an example of the flow of processing in the display control device of the display system according to the second embodiment. 図6は、第二実施形態に係る表示システムの表示制御装置で生成した俯瞰映像の一例を示す図である。FIG. 6 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display system according to the second embodiment. 図7は、第二実施形態に係る表示システムの表示制御装置で生成した俯瞰映像の他の例を示す図である。FIG. 7 is a diagram showing another example of a bird's-eye view image generated by the display control device of the display system according to the second embodiment.

以下に添付図面を参照して、本発明に係る表示制御装置50、表示システム1、表示制御方法及びプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。 Exemplary embodiments of a display control device 50, a display system 1, a display control method, and a program according to the present invention will be described below in detail with reference to the accompanying drawings. In addition, the present invention is not limited by the following embodiments.

[第一実施形態]
図1は、第一実施形態に係る表示システムの構成例を示すブロック図である。表示システム1は、例えば、車両の周囲の環境情報に基づき、俯瞰映像100(図2参照)の表示範囲を変更して表示させる。表示システム1は、車両に搭載されている。表示システム1は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。
[First embodiment]
FIG. 1 is a block diagram showing a configuration example of a display system according to the first embodiment. The display system 1 changes the display range of the bird's-eye view image 100 (see FIG. 2) and displays it, for example, based on environmental information around the vehicle. A display system 1 is mounted on a vehicle. The display system 1 may be portable and available in the vehicle, in addition to being mounted on the vehicle.

表示システム1は、前俯瞰映像用カメラ(撮影部)11と、後俯瞰映像用カメラ(撮影部)12と、左俯瞰映像用カメラ(撮影部)13と、右俯瞰映像用カメラ(撮影部)14と、表示部21と、インターフェース部31と、表示制御装置50とを有する。 The display system 1 includes a front bird's-eye video camera (photographing unit) 11, a rear bird's-eye video camera (photographing unit) 12, a left bird's-eye video camera (photographing unit) 13, and a right bird's-eye video camera (photographing unit). 14 , a display unit 21 , an interface unit 31 , and a display control device 50 .

前俯瞰映像用カメラ11は、俯瞰映像用カメラである。前俯瞰映像用カメラ11は、車両の前方に配置され、車両の前方を中心とした周辺を撮影する。前俯瞰映像用カメラ11は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両の前方に広い範囲を含む。前俯瞰映像用カメラ11は、撮影した周辺映像データを表示制御装置50の映像データ取得部51へ出力する。 The front bird's-eye video camera 11 is a bird's-eye video camera. The front bird's-eye view video camera 11 is arranged in front of the vehicle and captures an image of the surroundings centering on the front of the vehicle. The front bird's-eye view video camera 11 captures an imaging range of, for example, about 180°. The imaging range includes a wider range in front of the vehicle than the display range of the bird's-eye view image 100 . The front bird's-eye view video camera 11 outputs captured peripheral video data to the video data acquisition unit 51 of the display control device 50 .

後俯瞰映像用カメラ12は、俯瞰映像用カメラである。後俯瞰映像用カメラ12は、車両の後方に配置され、車両の後方を中心とした周辺を撮影する。後俯瞰映像用カメラ12は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両の後方に広い範囲を含む。後俯瞰映像用カメラ12は、撮影した周辺映像データを表示制御装置50の映像データ取得部51へ出力する。 The rear bird's-eye video camera 12 is a bird's-eye video camera. The rear bird's-eye view video camera 12 is arranged at the rear of the vehicle and captures an image of the surroundings centering on the rear of the vehicle. The rear bird's-eye view video camera 12 captures an imaging range of about 180°, for example. The imaging range includes a wider range behind the vehicle than the display range of the bird's-eye view image 100 . The rear bird's-eye view video camera 12 outputs captured peripheral video data to the video data acquisition unit 51 of the display control device 50 .

左俯瞰映像用カメラ13は、俯瞰映像用カメラである。左俯瞰映像用カメラ13は、車両の左側方に配置され、車両の左側方を中心とした周辺を撮影する。左俯瞰映像用カメラ13は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両の左側方に広い範囲を含む。左俯瞰映像用カメラ13は、撮影した周辺映像データを表示制御装置50の映像データ取得部51へ出力する。 The left bird's-eye video camera 13 is a bird's-eye video camera. The left bird's-eye video camera 13 is arranged on the left side of the vehicle and captures an image of the surroundings centered on the left side of the vehicle. The left bird's-eye video camera 13 captures an imaging range of about 180°, for example. The imaging range includes a wider range on the left side of the vehicle than the display range of the bird's-eye view image 100 . The left bird's-eye video camera 13 outputs captured peripheral video data to the video data acquisition unit 51 of the display control device 50 .

右俯瞰映像用カメラ14は、俯瞰映像用カメラである。右俯瞰映像用カメラ14は、車両の右側方に配置され、車両の右側方を中心とした周辺を撮影する。右俯瞰映像用カメラ14は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両の右側方に広い範囲を含む。右俯瞰映像用カメラ14は、撮影した周辺映像データを表示制御装置50の映像データ取得部51へ出力する。 The right bird's-eye video camera 14 is a bird's-eye video camera. The right bird's-eye video camera 14 is arranged on the right side of the vehicle and captures an image of the surroundings centered on the right side of the vehicle. The right bird's-eye view video camera 14 shoots a shooting range of about 180°, for example. The imaging range includes a wider range on the right side of the vehicle than the display range of the bird's-eye view image 100 . The right overhead video camera 14 outputs captured peripheral video data to the video data acquisition unit 51 of the display control device 50 .

前俯瞰映像用カメラ11と後俯瞰映像用カメラ12と左俯瞰映像用カメラ13と右俯瞰映像用カメラ14とで、車両の全方位を撮影する。 A front bird's-eye video camera 11, a rear bird's-eye video camera 12, a left bird's-eye video camera 13, and a right bird's-eye video camera 14 photograph all directions of a vehicle.

表示部21は、一例としてはナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部21は、必要なタイミングで、車両の周囲を確認するためのモニタである。表示部21は、車両の周囲を確認することができれば、様々な形態をとりうることがでる。表示パネルの一例としては、電子ルームミラーを用いたり、インストルメントパネルの機能とすることも可能である。表示部21は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro-Luminescence)ディスプレイなどを含むディスプレイである。表示部21は、運転者から視認容易な位置に配置されている。本実施形態では、表示部21は、車両の運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。表示部21は、表示制御装置50の表示制御部55から出力された映像信号に基づき、車両の俯瞰映像100を表示する。 The display unit 21 is, for example, a display device shared with other systems including a navigation system. The display unit 21 is a monitor for checking the surroundings of the vehicle at necessary timing. The display unit 21 can take various forms as long as the surroundings of the vehicle can be confirmed. As an example of the display panel, it is possible to use an electronic rearview mirror or to function as an instrument panel. The display unit 21 is a display including, for example, a liquid crystal display (LCD) or an organic EL (Organic Electro-Luminescence) display. The display unit 21 is arranged at a position where it can be easily viewed by the driver. In this embodiment, the display unit 21 is arranged on the dashboard, instrument panel, center console, etc. in front of the driver of the vehicle. The display unit 21 displays a bird's-eye view image 100 of the vehicle based on the image signal output from the display control unit 55 of the display control device 50 .

インターフェース部31は、環境情報取得部52が車両の周辺の環境情報を取得するための情報源に接続するインターフェースである。インターフェース部31は、例えば、Wi-Fi(登録商標)や電話等の通信回線などに接続し、外部の情報源であるサーバ等から、車両の現在位置に該当する環境情報を取得する。 The interface unit 31 is an interface that connects to an information source for the environment information acquisition unit 52 to acquire environment information around the vehicle. The interface unit 31 is connected to, for example, a communication line such as Wi-Fi (registered trademark) or a telephone, and acquires environment information corresponding to the current position of the vehicle from an external information source such as a server.

表示制御装置50は、車両の周囲を確認するための俯瞰映像100を提供する。より詳しくは、表示制御装置50は、例えば、車両の周囲の環境情報に基づき、俯瞰映像100の表示範囲を変更して表示させるように制御する。 The display control device 50 provides a bird's-eye view image 100 for checking the surroundings of the vehicle. More specifically, the display control device 50 performs control to change the display range of the bird's-eye view image 100 and display it, for example, based on environmental information around the vehicle.

表示制御装置50は、例えば、CPU(Central Processing Unit)や映像処理用プロセッサなどで構成された演算処理装置(制御部)である。表示制御装置50は、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。表示制御装置50は、映像データ取得部51と、環境情報取得部52と、車両情報取得部53と、俯瞰映像生成部54と、表示制御部55と、内部メモリである記憶部とが含まれる。表示制御装置50は、一または複数の装置で構成されていてもよい。 The display control device 50 is, for example, an arithmetic processing device (control unit) including a CPU (Central Processing Unit), a video processing processor, and the like. The display control device 50 loads a program stored in a storage unit (not shown) into the memory and executes instructions included in the program. The display control device 50 includes a video data acquisition unit 51, an environment information acquisition unit 52, a vehicle information acquisition unit 53, an overhead video generation unit 54, a display control unit 55, and a storage unit which is an internal memory. . The display control device 50 may be composed of one or more devices.

映像データ取得部51は、車両の周辺を撮影した周辺映像データを取得する。より詳しくは、映像データ取得部51は、前俯瞰映像用カメラ11と後俯瞰映像用カメラ12と左俯瞰映像用カメラ13と右俯瞰映像用カメラ14とが出力した周辺映像データを取得する。映像データ取得部51は、取得した周辺映像データを俯瞰映像生成部54に出力する。 The image data acquisition unit 51 acquires surrounding image data obtained by photographing the surroundings of the vehicle. More specifically, the video data acquisition unit 51 acquires peripheral video data output from the front bird's-eye video camera 11 , the rear bird's-eye video camera 12 , the left bird's-eye video camera 13 , and the right bird's-eye video camera 14 . The image data acquisition unit 51 outputs the acquired peripheral image data to the overhead image generation unit 54 .

車両情報取得部53は、車両のギア操作情報など、駐車支援表示トリガである駐車開始トリガまたは駐車終了トリガとなる車両情報を、CAN(Controller Area Network)や車両の状態をセンシングする各種センサなどから取得する。車両情報取得部53は、車両情報として、CANや各種センサなどから取得した車両の進行方向の情報を取得する。車両情報取得部53は、取得した車両情報を表示制御部55に出力する。 The vehicle information acquisition unit 53 acquires vehicle information that serves as a parking start trigger or a parking end trigger that is a parking assistance display trigger, such as vehicle gear operation information, from a CAN (Controller Area Network) or various sensors that sense the state of the vehicle. get. The vehicle information acquisition unit 53 acquires, as vehicle information, information on the traveling direction of the vehicle acquired from CAN, various sensors, or the like. The vehicle information acquisition section 53 outputs the acquired vehicle information to the display control section 55 .

環境情報取得部52は、インターフェース部31を介して取得した、車両の周囲の環境情報を示す環境情報を取得する。本実施形態では、環境情報取得部52は、車両の周囲の気象に関する情報を取得する。環境情報取得部52は、取得した環境情報を表示制御部55に出力する。 The environment information acquisition unit 52 acquires the environment information indicating the environment information around the vehicle acquired via the interface unit 31 . In this embodiment, the environment information acquisition unit 52 acquires information about the weather around the vehicle. The environment information acquisition portion 52 outputs the acquired environment information to the display control portion 55 .

俯瞰映像生成部54は、映像データ取得部51で取得した周辺映像データに視点変換処理および合成処理を行い、車両から所定の表示範囲を表示する俯瞰映像100を生成する。俯瞰映像生成部54は、生成した俯瞰映像100を表示制御部55に出力する。俯瞰映像生成部54は、視点変換処理部541と、切出処理部542と、合成処理部543とを有する。 The bird's-eye view image generation unit 54 performs viewpoint conversion processing and synthesis processing on the peripheral image data acquired by the image data acquisition unit 51, and generates the bird's-eye view image 100 displaying a predetermined display range from the vehicle. The bird's-eye view image generator 54 outputs the generated bird's-eye view image 100 to the display controller 55 . The bird's-eye view image generation unit 54 has a viewpoint conversion processing unit 541 , a clipping processing unit 542 , and a synthesis processing unit 543 .

視点変換処理部541は、映像データ取得部51で取得した周辺映像データに対して、車両を上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部541は、前俯瞰映像用カメラ11と後俯瞰映像用カメラ12と左俯瞰映像用カメラ13と右俯瞰映像用カメラ14とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部541は、視点変換処理を行った周辺映像データを切出処理部542に出力する。 The viewpoint conversion processing unit 541 performs viewpoint conversion processing on the surrounding image data acquired by the image data acquisition unit 51 so as to look down on the vehicle from above. More specifically, the viewpoint conversion processing unit 541 converts the viewpoint based on peripheral video data captured by the front bird's-eye video camera 11, the rear bird's-eye video camera 12, the left bird's-eye video camera 13, and the right bird's-eye video camera 14. Generates video that has undergone conversion processing. A viewpoint conversion processing method may be any known method, and is not limited. The viewpoint conversion processing unit 541 outputs the peripheral video data that has been subjected to the viewpoint conversion processing to the clipping processing unit 542 .

切出処理部542は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。切出処理部542は、切出処理を行った映像の映像データを合成処理部543に出力する。 The clipping processing unit 542 performs clipping processing of clipping an image of a predetermined range from the peripheral image data subjected to the viewpoint conversion processing. Which range is set as the extraction range is registered and stored in advance. The clipping processing unit 542 outputs video data of the clipped video to the combining processing unit 543 .

合成処理部543は、切出処理を行った映像データを合成する合成処理を行う。合成処理部543は、合成した映像に車両アイコン110を表示した俯瞰映像100を生成する。 The synthesizing unit 543 performs synthesizing processing for synthesizing the video data that has undergone the clipping processing. Synthesis processing unit 543 generates bird's-eye view image 100 in which vehicle icon 110 is displayed in the synthesized image.

図2を用いて、俯瞰映像100について説明する。図2は、第一実施形態に係る表示システムの表示制御装置で生成した俯瞰映像の一例を示す図である。図2に示す俯瞰映像100を、通常の俯瞰映像100という。俯瞰映像100は、車両から2m程度の範囲を表示する。俯瞰映像100は、前方映像101と後方映像102と左側方映像103と右側方映像104とで囲まれた中央部に位置する車両アイコン110とを含む。車両アイコン110は、車両の位置と向きとを示す。車両アイコン110は、前後方向を俯瞰映像100の前後方向と平行にして、中央部に配置されている。 The bird's-eye view image 100 will be described with reference to FIG. FIG. 2 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display system according to the first embodiment. The bird's-eye view image 100 shown in FIG. 2 is called a normal bird's-eye view image 100 . The bird's-eye view image 100 displays a range of about 2 m from the vehicle. A bird's-eye view image 100 includes a vehicle icon 110 located in the center surrounded by a front image 101 , a rear image 102 , a left image 103 and a right image 104 . Vehicle icon 110 indicates the position and orientation of the vehicle. The vehicle icon 110 is arranged in the central portion with its front-back direction parallel to the front-back direction of the bird's-eye view image 100 .

表示制御部55は、俯瞰映像生成部54が生成する俯瞰映像100を表示部21に表示させる。表示制御部55は、環境情報取得部52が取得した環境情報に基づき、俯瞰映像生成部54が生成した俯瞰映像100の表示範囲を変更して表示部21に表示させる。 The display control unit 55 causes the display unit 21 to display the bird's-eye view image 100 generated by the bird's-eye image generation unit 54 . The display control unit 55 changes the display range of the bird's-eye view image 100 generated by the bird's-eye image generation unit 54 based on the environment information acquired by the environment information acquisition unit 52 and causes the display unit 21 to display the image.

表示範囲を変更するとは、表示範囲を広くすること、狭くすること、および、表示範囲をいずれかの方向にずらすことを含む。表示範囲を広くすると、俯瞰映像100には、車両の周囲の広い範囲が表示される。表示範囲を狭くすると、俯瞰映像100には、車両の周囲の狭い範囲が拡大されて表示される。表示範囲をずらすと、俯瞰映像100には、ずらした方向の広い範囲が表示される。本実施形態では、表示範囲を広くするものとして説明する。 Changing the display range includes widening the display range, narrowing the display range, and shifting the display range in any direction. When the display range is widened, a wide range around the vehicle is displayed in the bird's-eye view image 100 . When the display range is narrowed, the narrow range around the vehicle is enlarged and displayed in the bird's-eye view image 100 . When the display range is shifted, a wider range in the shifted direction is displayed in the bird's-eye view image 100 . This embodiment will be described assuming that the display range is widened.

俯瞰映像生成部54は、図2に示される通常の俯瞰映像100より広い範囲の俯瞰映像を生成する。図2に示される通常の俯瞰映像100は、表示制御部55によって、俯瞰映像生成部54が生成した俯瞰映像から、車両の周囲の確認に必要な範囲であり、視点変換処理による映像の歪みが少ない範囲が表示されている。 The bird's-eye view image generator 54 generates a bird's-eye view image having a wider range than the normal bird's-eye view image 100 shown in FIG. A normal bird's-eye view image 100 shown in FIG. A small range is shown.

表示制御部55は、車両の周囲の気象に関する情報が荒天を示している場合、俯瞰映像生成部54が生成した俯瞰映像100の表示範囲を広く変更して表示部21に表示させる。表示制御部55は、環境情報取得部52が取得した気象に関する情報が、降雨、降雪、強風および寒波の少なくともいずれかを示している場合、荒天を示していると判断してもよい。降雨、降雪、強風および寒波に限定するものではなく、車両の周囲の視界が悪くなる他の気象状態を含む。 When the information about the weather around the vehicle indicates stormy weather, the display control unit 55 widens the display range of the bird's-eye view image 100 generated by the bird's-eye view image generation unit 54 and causes the display unit 21 to display the bird's-eye view image 100 . The display control unit 55 may determine that the weather information acquired by the environment information acquisition unit 52 indicates stormy weather when it indicates at least one of rainfall, snowfall, strong wind, and cold snap. It includes, but is not limited to, rain, snow, high winds and cold weather, and other weather conditions that reduce visibility around the vehicle.

次に、図3を用いて、表示システム1の表示制御装置50における処理の流れについて説明する。図3は、第一実施形態に係る表示システムの表示制御装置における処理の流れの一例を示すフローチャートである。 Next, the flow of processing in the display control device 50 of the display system 1 will be described using FIG. FIG. 3 is a flow chart showing an example of the flow of processing in the display control device of the display system according to the first embodiment.

表示システム1が起動されると、表示制御装置50は、映像データ取得部51で周辺映像データを取得する。表示制御装置50は、車両情報取得部53で車両情報を取得する。 When the display system 1 is activated, the display control device 50 acquires peripheral image data with the image data acquisition unit 51 . The display control device 50 acquires vehicle information with a vehicle information acquisition unit 53 .

表示制御装置50は、俯瞰映像表示を開始するか否かを判定する(ステップS101)。例えば、表示制御装置50は、車両情報取得部53で取得した車両情報に基づいて、シフトポジションが「リバース」とされたこと、または、車両の進行方向が後方になった場合、俯瞰映像表示を開始すると判定する。例えば、表示制御装置50は、車両情報取得部53で取得した車両情報に基づいて、ユーザの操作に基づく俯瞰映像100の表示指示が検出された場合、俯瞰映像表示を開始すると判定してもよい。表示制御装置50は、俯瞰映像表示を開始すると判定した場合(ステップS101でYes)、ステップS102へ進む。表示制御装置50は、俯瞰映像表示を開始すると判定しない場合(ステップS101でNo)、ステップS101の処理を再度実行する。 The display control device 50 determines whether or not to start bird's-eye view image display (step S101). For example, based on the vehicle information acquired by the vehicle information acquisition unit 53, the display control device 50 displays the bird's-eye view image when the shift position is set to "reverse" or when the traveling direction of the vehicle is backward. Determine to start. For example, based on the vehicle information acquired by the vehicle information acquisition unit 53, the display control device 50 may determine to start the overhead view image display when an instruction to display the overhead view image 100 based on the user's operation is detected. . When the display control device 50 determines to start the bird's-eye view image display (Yes in step S101), the process proceeds to step S102. When the display control device 50 does not determine to start the bird's-eye view image display (No in step S101), the process of step S101 is executed again.

俯瞰映像表示を開始すると判定した場合(ステップS101でYes)、表示制御装置50は、環境情報取得部52によって、環境情報を取得する(ステップS102)。表示制御装置50は、ステップS103へ進む。 When it is determined to start bird's-eye view image display (Yes in step S101), the display control device 50 acquires environment information by the environment information acquisition unit 52 (step S102). The display control device 50 proceeds to step S103.

表示制御装置50は、俯瞰映像100を生成する(ステップS103)。より詳しくは、表示制御装置50は、俯瞰映像生成部54によって、俯瞰映像100を生成する。表示制御装置50は、ステップS104へ進む。 The display control device 50 generates the bird's-eye view image 100 (step S103). More specifically, the display control device 50 generates the bird's-eye view image 100 using the bird's-eye image generation unit 54 . The display control device 50 proceeds to step S104.

表示制御装置50は、環境情報が荒天を示すか否かを判定する(ステップS104)。より詳しくは、表示制御装置50は、環境情報取得部52で取得した環境情報に基づいて、例えば、降雨、降雪、強風および寒波の少なくともいずれかであることを示す場合、環境情報が荒天を示すと判定する。表示制御装置50は、環境情報が荒天を示すと判定した場合(ステップS104でYes)、ステップS105へ進む。表示制御装置50は、環境情報が荒天を示すと判定しない場合(ステップS104でNo)、ステップS106へ進む。 The display control device 50 determines whether or not the environment information indicates stormy weather (step S104). More specifically, based on the environmental information acquired by the environmental information acquiring unit 52, the display control device 50 determines that the environmental information indicates stormy weather when it indicates at least one of rainfall, snowfall, strong wind, and cold weather. I judge. When the display control device 50 determines that the environment information indicates stormy weather (Yes in step S104), the process proceeds to step S105. When the display control device 50 does not determine that the environment information indicates stormy weather (No in step S104), the process proceeds to step S106.

環境情報が荒天を示すと判定した場合(ステップS104でYes)、表示制御装置50は、通常より広い表示範囲の俯瞰映像100を表示する(ステップS105)。より詳しくは、図4に示すように、表示制御装置50は、俯瞰映像生成部54で生成した俯瞰映像100を、通常より広い表示範囲で表示部21に表示させる映像信号を出力する。図4は、第一実施形態に係る表示システムの表示制御装置で生成した俯瞰映像の他の例を示す図である。図4に示す俯瞰映像100は、車両アイコン110を中心にして、前方映像101と後方映像102と左側方映像103と右側方映像104とが、図2に示す通常の俯瞰映像100より広く表示されている。図4に示す俯瞰映像100は、図2に示す通常の俯瞰映像100に比べて、車両アイコン110が小さくなっている。表示制御装置50は、ステップS107へ進む。 When it is determined that the environmental information indicates stormy weather (Yes in step S104), the display control device 50 displays the bird's-eye view image 100 with a wider display range than usual (step S105). More specifically, as shown in FIG. 4, the display control device 50 outputs a video signal that causes the display unit 21 to display the bird's-eye view image 100 generated by the bird's-eye image generation unit 54 in a wider display range than usual. FIG. 4 is a diagram showing another example of a bird's-eye view image generated by the display control device of the display system according to the first embodiment. In the bird's-eye view image 100 shown in FIG. 4, the front image 101, the rear image 102, the left side image 103, and the right side image 104 are displayed wider than the normal bird's-eye view image 100 shown in FIG. ing. The bird's-eye view image 100 shown in FIG. 4 has a smaller vehicle icon 110 than the normal bird's-eye view image 100 shown in FIG. The display control device 50 proceeds to step S107.

環境情報が荒天を示すと判定しない場合(ステップS104でNo)、表示制御装置50は、通常の表示範囲の俯瞰映像100を表示する(ステップS106)。より詳しくは、表示制御装置50は、図2に示すような、俯瞰映像生成部54で生成した俯瞰映像100を通常の表示範囲で表示部21に表示させる映像信号を出力する。表示制御装置50は、ステップS107へ進む。 If it is not determined that the environmental information indicates stormy weather (No in step S104), the display control device 50 displays the bird's-eye view image 100 in the normal display range (step S106). More specifically, the display control device 50 outputs a video signal that causes the display unit 21 to display the bird's-eye view image 100 generated by the bird's-eye image generation unit 54 as shown in FIG. 2 in the normal display range. The display control device 50 proceeds to step S107.

表示制御装置50は、俯瞰映像表示を終了するか否かを判定する(ステップS107)。より詳しくは、表示制御装置50は、車両情報取得部53で取得した車両情報に基づいて、シフトポジションが「リバース」から「ドライブ」などにされたこと、または、車両の進行方向が前方になった場合、俯瞰映像表示を終了すると判定する。例えば、表示制御装置50は、車両情報取得部53で取得した車両情報に基づいて、ユーザの操作に基づく俯瞰映像100の表示終了指示が検出された場合、俯瞰映像表示を終了すると判定してもよい。表示制御装置50は、俯瞰映像表示を終了すると判定した場合(ステップS107でYes)、処理を終了する。表示制御装置50は、俯瞰映像表示を終了すると判定しない場合(ステップS107でNo)、ステップS107の処理を再度実行する。 The display control device 50 determines whether or not to end the bird's-eye view image display (step S107). More specifically, based on the vehicle information acquired by the vehicle information acquisition unit 53, the display control device 50 detects that the shift position has been changed from "reverse" to "drive" or that the traveling direction of the vehicle has changed to the front. If so, it is determined to end the bird's-eye view image display. For example, based on the vehicle information acquired by the vehicle information acquisition unit 53, the display control device 50 may determine to end the overhead view video display when an instruction to end the display of the overhead view video 100 based on the user's operation is detected. good. When the display control device 50 determines to end the bird's-eye view image display (Yes in step S107), the process ends. When the display control device 50 does not determine to end the bird's-eye view image display (No in step S107), the process of step S107 is executed again.

このように、車両の周囲の環境情報に基づき、俯瞰映像100の表示範囲を変更して表示させる。 In this manner, the display range of the bird's-eye view image 100 is changed and displayed based on the environmental information around the vehicle.

上述したように、本実施形態によれば、車両の周囲の環境に応じて適切に俯瞰映像100を表示させることができる。実施形態は、車両の周囲の気象に関する情報が、例えば、降雨、降雪、強風および寒波のような荒天を示している場合、俯瞰映像100の表示範囲を広く変更して表示させることができる。これにより、本実施形態は、運転者が、他車両および歩行者などの周囲の目視での状況確認が困難となる場合に、俯瞰映像100の表示範囲を広く変更して表示することによって、周囲の状況確認を支援することができる。また、本実施形態は、俯瞰映像100の表示範囲を広く変更して表示することによって、車両の周囲の見通しが悪い場合でも、近接してきた他車両を発見しやすくすることができる。 As described above, according to the present embodiment, the bird's-eye view image 100 can be appropriately displayed according to the environment around the vehicle. The embodiment can change the display range of the bird's-eye view image 100 widely and display it when the information about the weather around the vehicle indicates, for example, stormy weather such as rainfall, snowfall, strong wind, and cold weather. As a result, in the present embodiment, when it is difficult for the driver to visually confirm the surroundings such as other vehicles and pedestrians, the bird's-eye view image 100 is displayed by widening the display range. can assist in confirming the status of Further, in this embodiment, by widening the display range of the bird's-eye view image 100 and displaying it, it is possible to make it easier to find other vehicles approaching even when visibility around the vehicle is poor.

[第二実施形態]
図5ないし図7を参照しながら、本実施形態に係る表示システム1について説明する。図5は、第二実施形態に係る表示システムの表示制御装置における処理の流れの一例を示すフローチャートである。図6は、第二実施形態に係る表示システムの表示制御装置で生成した俯瞰映像の一例を示す図である。図7は、第二実施形態に係る表示システムの表示制御装置で生成した俯瞰映像の他の例を示す図である。表示システム1は、基本的な構成は第一実施形態の表示システム1と同様である。表示システム1は、車両情報取得部53と表示制御部55における処理が第一実施形態と異なる。
[Second embodiment]
A display system 1 according to the present embodiment will be described with reference to FIGS. 5 to 7. FIG. FIG. 5 is a flow chart showing an example of the flow of processing in the display control device of the display system according to the second embodiment. FIG. 6 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display system according to the second embodiment. FIG. 7 is a diagram showing another example of a bird's-eye view image generated by the display control device of the display system according to the second embodiment. The display system 1 has the same basic configuration as the display system 1 of the first embodiment. The display system 1 differs from the first embodiment in the processing in the vehicle information acquisition section 53 and the display control section 55 .

車両情報取得部53は、車両情報として、車両の進行方向の情報を取得する。 The vehicle information acquisition unit 53 acquires information on the traveling direction of the vehicle as vehicle information.

表示制御部55は、車両の周囲の気象に関する情報が荒天を示している場合、俯瞰映像生成部54が生成した俯瞰映像100の進行方向における表示範囲を広く変更して表示部21に表示させる。より詳しくは、表示制御部55は、車両の周囲の気象に関する情報が荒天を示している場合、俯瞰映像100の進行方向における表示範囲を他の方向より広く変更して表示部21に表示させる。または、表示制御部55は、車両の周囲の気象に関する情報が荒天を示している場合、通常の俯瞰映像100より広い表示範囲として、かつ、進行方向における表示範囲を他の方向より広く変更して表示部21に表示させてもよい。 When the information about the weather around the vehicle indicates stormy weather, the display control unit 55 widens the display range of the bird's-eye view image 100 generated by the bird's-eye view image generation unit 54 in the traveling direction and causes the display unit 21 to display the image. More specifically, when the information about the weather around the vehicle indicates stormy weather, the display control unit 55 causes the display unit 21 to display the bird's-eye view image 100 by changing the display range in the traveling direction to be wider than in other directions. Alternatively, when the information about the weather around the vehicle indicates stormy weather, the display control unit 55 changes the display range to be wider than the normal bird's-eye view image 100 and the display range in the traveling direction to be wider than the other directions. It may be displayed on the display unit 21 .

例えば、車両が前進している場合、表示制御部55は、俯瞰映像100における前方の表示範囲を広く変更する。例えば、車両が後退している場合、表示制御部55は、俯瞰映像100における後方の表示範囲を広く変更する。例えば、車両が前進しながら右方向に旋回している場合、表示制御部55は、俯瞰映像100における右前方の表示範囲を広く変更する。例えば、車両が前進しながら左方向に旋回している場合、表示制御部55は、俯瞰映像100における左前方の表示範囲を広く変更する。 For example, when the vehicle is moving forward, the display control unit 55 widens the front display range in the bird's-eye view image 100 . For example, when the vehicle is moving backward, the display control unit 55 widens the rear display range in the bird's-eye view image 100 . For example, when the vehicle is turning right while moving forward, the display control unit 55 widens the display range of the right front in the bird's-eye view image 100 . For example, when the vehicle is moving forward and turning leftward, the display control unit 55 widens the left front display range in the bird's-eye view image 100 .

次に、図5を用いて、表示システム1の表示制御装置50における処理の流れについて説明する。ステップS111ないしステップS114、ステップS116、ステップS117の処理は、図3に示すフローチャートのステップS101ないしステップS104、ステップS106、ステップS107と同様の処理を行う。 Next, the flow of processing in the display control device 50 of the display system 1 will be described using FIG. The processing of steps S111 through S114, step S116, and step S117 is similar to that of steps S101 through S104, step S106, and step S107 in the flowchart shown in FIG.

表示制御装置50は、通常より進行方向に広い表示範囲の俯瞰映像100を表示する(ステップS115)。より詳しくは、表示制御装置50は、俯瞰映像生成部54で生成した俯瞰映像100が、通常より広い進行方向に表示範囲で表示部21に表示させる映像信号を出力する。表示制御装置50は、ステップS117へ進む。 The display control device 50 displays the bird's-eye view image 100 with a wider display range in the traveling direction than usual (step S115). More specifically, the display control device 50 outputs a video signal that causes the display unit 21 to display the bird's-eye view image 100 generated by the bird's-eye image generation unit 54 in a display range wider than usual in the traveling direction. The display control device 50 proceeds to step S117.

図6、図7を用いて、ステップS115で生成される俯瞰映像100について説明する。車両は後退しているものとする。図6に示す俯瞰映像100は、後方映像102の表示範囲が広くなるように、表示範囲が変更されている。図6に示す俯瞰映像100は、図2に示す通常の俯瞰映像100に比べて、車両アイコン110が前側にずれている。図7に示す俯瞰映像100は、図2に示す通常の俯瞰映像100より表示範囲が広く、かつ、後方映像102の表示範囲が広く変更されている。図7に示す俯瞰映像100は、図2に示す通常の俯瞰映像100に比べて、車両アイコン110が小さくなっている。 The bird's-eye view image 100 generated in step S115 will be described with reference to FIGS. 6 and 7. FIG. Assume that the vehicle is moving backwards. The bird's-eye view image 100 shown in FIG. 6 has its display range changed so that the display range of the rear image 102 is widened. In the bird's-eye view image 100 shown in FIG. 6, the vehicle icon 110 is shifted forward compared to the normal bird's-eye view image 100 shown in FIG. The bird's-eye view image 100 shown in FIG. 7 has a wider display range than the normal bird's-eye view image 100 shown in FIG. The bird's-eye view image 100 shown in FIG. 7 has a smaller vehicle icon 110 than the normal bird's-eye view image 100 shown in FIG.

このように、車両の周囲の気象に関する情報が荒天を示している場合、俯瞰映像100の進行方向における表示範囲を広く変更して表示させる。 In this way, when the information about the weather around the vehicle indicates stormy weather, the bird's-eye view image 100 is displayed with a wider display range in the traveling direction.

上述したように、本実施形態によれば、車両の周囲の気象に関する情報が荒天を示している場合、俯瞰映像100の進行方向における表示範囲を広く変更して表示させることができる。これにより、本実施形態は、周囲の状況確認をより適切に支援することができる。 As described above, according to the present embodiment, when the information about the weather around the vehicle indicates stormy weather, the bird's-eye view image 100 can be displayed with a wider display range in the traveling direction. As a result, the present embodiment can more appropriately support confirmation of the surrounding situation.

図示した表示システム1の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。 Each component of the illustrated display system 1 is functionally conceptual and does not necessarily have to be physically configured as illustrated. In other words, the specific form of each device is not limited to the illustrated one, and all or part of it may be functionally or physically distributed or integrated in arbitrary units according to the processing load and usage conditions of each device. may

表示システム1の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。 The configuration of the display system 1 is realized by, for example, a program loaded into a memory as software. In the above embodiments, functional blocks realized by cooperation of these hardware or software have been described. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。 The components described above include those that can be easily assumed by those skilled in the art and those that are substantially the same. Furthermore, the configurations described above can be combined as appropriate. Also, various omissions, substitutions, or modifications of the configuration are possible without departing from the gist of the present invention.

1 表示システム
11 前俯瞰映像用カメラ(撮影部)
12 後俯瞰映像用カメラ(撮影部)
13 左俯瞰映像用カメラ(撮影部)
14 右俯瞰映像用カメラ(撮影部)
21 表示部
50 表示制御装置
51 映像データ取得部
52 環境情報取得部
53 車両情報取得部
54 俯瞰映像生成部
55 表示制御部
100 俯瞰映像
1 display system 11 front bird's-eye view camera (shooting unit)
12 Camera for rear bird's-eye view video (shooting unit)
13 Camera for left bird's-eye view video (shooting unit)
14 Camera for right bird's-eye view video (shooting unit)
21 display unit 50 display control device 51 image data acquisition unit 52 environment information acquisition unit 53 vehicle information acquisition unit 54 bird's eye image generation unit 55 display control unit 100 bird's eye image

Claims (7)

車両の周辺を撮影する複数の撮影部が撮影した周辺映像データを取得する映像データ取得部と、
前記車両の進行方向の情報を取得する車両情報取得部と、
前記車両の周囲の環境情報を取得する環境情報取得部と、
前記映像データ取得部が取得した周辺映像データに視点変換処理および合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成部と、
前記車両情報取得部が取得した車両情報に基づき、前記俯瞰映像生成部が生成した俯瞰映像を表示するか否かを判定し、前記俯瞰映像生成部が生成した俯瞰映像を表示すると判定された場合に、前記環境情報取得部が環境情報を取得し、前記環境情報取得部が取得した環境情報に基づき、前記俯瞰映像生成部が生成した俯瞰映像の表示範囲を変更して、通常の表示範囲の俯瞰映像、または、通常よりも広い表示範囲の俯瞰映像を表示部に表示させる表示制御部と、
を備える表示制御装置。
a video data acquisition unit that acquires peripheral video data captured by a plurality of imaging units that capture the surroundings of the vehicle;
a vehicle information acquisition unit that acquires information on the traveling direction of the vehicle;
an environment information acquisition unit that acquires environment information around the vehicle;
a bird's-eye view image generation unit that performs viewpoint conversion processing and composition processing on the peripheral image data acquired by the image data acquisition unit and generates a bird's-eye image displaying a predetermined display range from the vehicle;
When it is determined whether or not to display the bird's-eye image generated by the bird's-eye image generation unit based on the vehicle information acquired by the vehicle information acquisition unit, and it is determined to display the bird's-eye image generated by the bird's-eye image generation unit the environment information acquisition unit acquires the environment information, and based on the environment information acquired by the environment information acquisition unit, the display range of the bird's-eye view image generated by the bird's-eye image generation unit is changed so that the normal display range is changed. a display control unit that displays a bird's-eye view image or a bird's-eye view image with a wider display range than usual on a display unit;
A display controller comprising:
前記環境情報取得部は、前記車両の周囲の気象に関する情報を取得し、
前記表示制御部は、前記車両の周囲の気象に関する情報が荒天を示している場合、前記俯瞰映像生成部が生成した俯瞰映像の表示範囲を広く変更して表示部に表示させる、
請求項1に記載の表示制御装置。
The environmental information acquisition unit acquires information about the weather around the vehicle,
When the information about the weather around the vehicle indicates stormy weather, the display control unit widens the display range of the bird's-eye view image generated by the bird's-eye image generation unit and causes the display unit to display the image.
The display control device according to claim 1.
記表示制御部は、前記車両の周囲の気象に関する情報が荒天を示している場合、前記俯瞰映像生成部が生成した俯瞰映像の進行方向における表示範囲を広く変更して表示部に表示させる、
請求項1または2に記載の表示制御装置。
When the information about the weather around the vehicle indicates stormy weather, the display control unit widens the display range in the traveling direction of the bird's-eye view image generated by the bird's-eye image generation unit and causes the display unit to display the image.
The display control device according to claim 1 or 2.
前記表示制御部は、前記環境情報取得部が取得した気象に関する情報が、降雨、降雪、強風および寒波の少なくともいずれかを示している場合、荒天を示していると判断する、
請求項2または3に記載の表示制御装置。
The display control unit determines that the weather information acquired by the environmental information acquisition unit indicates stormy weather when it indicates at least one of rainfall, snowfall, strong winds, and cold waves.
The display control device according to claim 2 or 3.
請求項1から4のいずれか一項に記載の表示制御装置と、
前記映像データ取得部が周辺映像データを取得する複数の撮影部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともいずれかと、
を備えることを特徴とする表示システム。
A display control device according to any one of claims 1 to 4;
at least one of a plurality of shooting units in which the image data acquisition unit acquires peripheral image data, and a display unit in which the display control unit displays an overhead image;
A display system comprising:
車両の周辺を撮影する複数の撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、
前記車両の進行方向の情報を取得する車両情報取得ステップと、
前記車両の周囲の環境情報を取得する環境情報取得ステップと、
前記映像データ取得ステップにおいて取得した周辺映像データに視点変換処理および合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両情報取得ステップで取得した車両情報に基づき、前記俯瞰映像生成ステップで生成した俯瞰映像を表示するか否かを判定し、前記俯瞰映像生成ステップで生成した俯瞰映像を表示すると判定された場合に、前記環境情報取得ステップで環境情報を取得し、前記環境情報取得ステップにおいて取得した環境情報に基づき、前記俯瞰映像生成ステップで生成した俯瞰映像の表示範囲を変更して、通常の表示範囲の俯瞰映像、または、通常よりも広い表示範囲の俯瞰映像を表示部に表示させる表示制御ステップと、
を含む表示制御方法。
a video data acquisition step of acquiring peripheral video data captured by a plurality of imaging units that capture the surroundings of the vehicle;
a vehicle information acquisition step of acquiring information on the traveling direction of the vehicle;
an environment information acquisition step of acquiring environment information around the vehicle;
a bird's-eye view image generation step of performing viewpoint conversion processing and synthesis processing on the peripheral image data acquired in the image data acquisition step to generate an bird's-eye image displaying a predetermined display range from the vehicle;
Based on the vehicle information acquired in the vehicle information acquisition step, it is determined whether or not to display the bird's-eye image generated in the bird's-eye image generation step, and when it is determined to display the bird's-eye image generated in the bird's-eye image generation step. the environment information is acquired in the environment information acquisition step, and based on the environment information acquired in the environment information acquisition step, the display range of the bird's-eye view image generated in the bird's-eye image generation step is changed so that the normal display range is changed. a display control step of displaying a bird's-eye view image or a bird's-eye view image having a wider display range than usual on a display unit;
display control methods, including
車両の周辺を撮影する複数の撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、
前記車両の進行方向の情報を取得する車両情報取得ステップと、
前記車両の周囲の環境情報を取得する環境情報取得ステップと、
前記映像データ取得ステップにおいて取得した周辺映像データに視点変換処理および合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両情報取得ステップで取得した車両情報に基づき、前記俯瞰映像生成ステップで生成した俯瞰映像を表示するか否かを判定し、前記俯瞰映像生成ステップで生成した俯瞰映像を表示すると判定された場合に、前記環境情報取得ステップで環境情報を取得し、前記環境情報取得ステップにおいて取得した環境情報に基づき、前記俯瞰映像生成ステップで生成した俯瞰映像の表示範囲を変更して、通常の表示範囲の俯瞰映像、または、通常よりも広い表示範囲の俯瞰映像を表示部に表示させる表示制御ステップと、
を、表示制御装置として動作するコンピュータに実行させるプログラム。
a video data acquisition step of acquiring peripheral video data captured by a plurality of imaging units that capture the surroundings of the vehicle;
a vehicle information acquisition step of acquiring information on the traveling direction of the vehicle;
an environment information acquisition step of acquiring environment information around the vehicle;
a bird's-eye view image generation step of performing viewpoint conversion processing and synthesis processing on the peripheral image data acquired in the image data acquisition step to generate an bird's-eye image displaying a predetermined display range from the vehicle;
Based on the vehicle information acquired in the vehicle information acquisition step, it is determined whether or not to display the bird's-eye image generated in the bird's-eye image generation step, and when it is determined to display the bird's-eye image generated in the bird's-eye image generation step. the environment information is acquired in the environment information acquisition step, and based on the environment information acquired in the environment information acquisition step, the display range of the bird's-eye view image generated in the bird's-eye image generation step is changed so that the normal display range is changed. a display control step of displaying a bird's-eye view image or a bird's-eye view image having a wider display range than usual on a display unit;
is executed by a computer operating as a display control device.
JP2019042998A 2019-03-08 2019-03-08 Display control device, display system, display control method and program Active JP7302205B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019042998A JP7302205B2 (en) 2019-03-08 2019-03-08 Display control device, display system, display control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019042998A JP7302205B2 (en) 2019-03-08 2019-03-08 Display control device, display system, display control method and program

Publications (2)

Publication Number Publication Date
JP2020145658A JP2020145658A (en) 2020-09-10
JP7302205B2 true JP7302205B2 (en) 2023-07-04

Family

ID=72354622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019042998A Active JP7302205B2 (en) 2019-03-08 2019-03-08 Display control device, display system, display control method and program

Country Status (1)

Country Link
JP (1) JP7302205B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7537314B2 (en) * 2021-03-01 2024-08-21 トヨタ自動車株式会社 Vehicle surroundings monitoring device and vehicle surroundings monitoring system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019029865A (en) 2017-07-31 2019-02-21 株式会社Jvcケンウッド Display control apparatus, display control system, display control method, and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019029865A (en) 2017-07-31 2019-02-21 株式会社Jvcケンウッド Display control apparatus, display control system, display control method, and program

Also Published As

Publication number Publication date
JP2020145658A (en) 2020-09-10

Similar Documents

Publication Publication Date Title
US11052823B2 (en) Vehicle rear monitoring system
WO2014068856A1 (en) Image generation device and image generation program product
JP2010130646A (en) Vehicle periphery checking system
US20120105642A1 (en) Vehicle-mounted video display device
US10723266B2 (en) On-vehicle display controller, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
JP5581253B2 (en) Rear camera display device
JP2009284023A (en) Display device for vehicle
EP3487173B1 (en) Image generation device, image generation system, image generation method and program
WO2019026348A1 (en) Display control device, display control system, display control method, and program
JP2019185119A (en) Display control device for vehicle, display system for vehicle, display control method for vehicle, and program
JP6730606B2 (en) Overhead video generation device, overhead video generation system, overhead video generation method and program
JP2018148314A (en) Overhead video generation device, overhead video generation system, overhead video generation method, and program
CN111726544A (en) Method and apparatus for enhancing video display
US11200804B2 (en) Method, device, computer program and computer program product for operating a display unit in a vehicle
JP7302205B2 (en) Display control device, display system, display control method and program
JP2018195988A (en) Display control device and display control method
CN106458105A (en) In-vehicle display device, in-vehicle display device control method, and program
JP7120274B2 (en) Bird's-eye view video generation device, bird's-eye view video generation method and program
JP6763358B2 (en) Display control device, display control system, display control method and program
JP2018203090A (en) Parking support device, parking support system, parking support method and program
JP2007081932A (en) Vehicle periphery visual recognition device
JP2007329611A (en) Vehicle periphery monitoring device, vehicle periphery monitoring system, and vehicle periphery monitoring method
JP3947117B2 (en) Vehicle periphery image processing system
CN109278645B (en) Video output method and system
JP2019024176A (en) Vehicle surrounding monitoring apparatus and display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230605

R150 Certificate of patent or registration of utility model

Ref document number: 7302205

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150