JP7302205B2 - Display control device, display system, display control method and program - Google Patents
Display control device, display system, display control method and program Download PDFInfo
- Publication number
- JP7302205B2 JP7302205B2 JP2019042998A JP2019042998A JP7302205B2 JP 7302205 B2 JP7302205 B2 JP 7302205B2 JP 2019042998 A JP2019042998 A JP 2019042998A JP 2019042998 A JP2019042998 A JP 2019042998A JP 7302205 B2 JP7302205 B2 JP 7302205B2
- Authority
- JP
- Japan
- Prior art keywords
- bird
- display
- vehicle
- eye view
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、表示制御装置、表示システム、表示制御方法およびプログラムに関する。 The present invention relates to a display control device, a display system, a display control method and a program.
車両が後退する場合など、車両の周囲を確認する必要がある場合に、車両の周囲の俯瞰映像を表示する技術が知られている。また、第1俯瞰画像と、第1俯瞰画像より拡大率の小さい第2俯瞰画像とを並べて合成した合成画像を生成する技術が知られている(例えば、特許文献1参照)。 2. Description of the Related Art A technology is known that displays a bird's-eye view image of the surroundings of a vehicle when it is necessary to check the surroundings of the vehicle, such as when the vehicle is backing up. Also, there is known a technique for generating a composite image by arranging and synthesizing a first bird's-eye view image and a second bird's-eye view image having a smaller magnification ratio than the first bird's-eye view image (see, for example, Patent Literature 1).
例えば、車両の周辺環境が降雨、降雪、強風および寒波などのように、他車両および歩行者などの周囲の状況確認が困難となる場合がある。車両の周囲の状況確認が不十分であると、近接してきた他車両に気付くのが遅れるおそれがある。 For example, when the surrounding environment of the vehicle is raining, snowing, strong wind, cold wave, etc., it may be difficult to check the surrounding conditions such as other vehicles and pedestrians. If the situation around the vehicle is not sufficiently checked, there is a risk that the driver will be late in noticing another vehicle approaching.
本発明は、上記に鑑みてなされたものであって、車両の周囲の環境に応じて適切に俯瞰映像を表示させることを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to appropriately display a bird's-eye view image according to the environment around the vehicle.
上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、車両の周辺を撮影する複数の撮影部が撮影した周辺映像データを取得する映像データ取得部と、前記車両の周囲の環境情報を取得する環境情報取得部と、前記映像データ取得部が取得した周辺映像データに視点変換処理および合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成部と、前記環境情報取得部が取得した環境情報に基づき、前記俯瞰映像生成部が生成した俯瞰映像の表示範囲を変更して表示部に表示させる表示制御部とを備えることを特徴とする。 In order to solve the above-described problems and achieve the object, a display control device according to the present invention includes an image data acquisition unit for acquiring surrounding image data captured by a plurality of image capturing units for capturing images of the surroundings of a vehicle; and an environment information acquisition unit that acquires environment information around the vehicle, and perform viewpoint conversion processing and synthesis processing on the peripheral image data acquired by the image data acquisition unit to generate a bird's-eye view image that displays a predetermined display range from the vehicle. A bird's-eye view image generation unit, and a display control unit for changing a display range of the bird's-eye image generated by the bird's-eye image generation unit and displaying it on a display unit based on the environment information acquired by the environment information acquisition unit. and
本発明に係る表示システムは、上記の表示制御装置と、前記映像データ取得部が周辺映像データを取得する複数の撮影部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともいずれかとを備える。 A display system according to the present invention includes at least one of the display control device described above, a plurality of shooting units in which the image data acquisition unit acquires peripheral image data, and a display unit in which the display control unit displays an overhead image. .
本発明に係る表示制御方法は、車両の周辺を撮影する複数の撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、前記車両の周囲の環境情報を取得する環境情報取得ステップと、前記映像データ取得ステップにおいて取得した周辺映像データに視点変換処理および合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成ステップと、前記環境情報取得ステップにおいて取得した環境情報に基づき、前記俯瞰映像生成ステップで生成した俯瞰映像の表示範囲を変更して表示部に表示させる表示制御ステップとを含む。 A display control method according to the present invention includes a video data acquisition step of acquiring peripheral video data captured by a plurality of shooting units that shoot the surroundings of a vehicle; an environment information acquisition step of acquiring environment information around the vehicle; a bird's-eye view image generation step of performing viewpoint conversion processing and synthesis processing on the peripheral image data acquired in the image data acquisition step to generate an overhead image displaying a predetermined display range from the vehicle; and a display control step of changing a display range of the bird's-eye view image generated in the bird's-eye view image generation step based on the environment information and displaying the bird's-eye view image on a display unit.
本発明に係るプログラムは、車両の周辺を撮影する複数の撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、前記車両の周囲の環境情報を取得する環境情報取得ステップと、前記映像データ取得ステップにおいて取得した周辺映像データに視点変換処理および合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成ステップと、前記環境情報取得ステップにおいて取得した環境情報に基づき、前記俯瞰映像生成ステップで生成した俯瞰映像の表示範囲を変更して表示部に表示させる表示制御ステップとを表示制御装置として動作するコンピュータに実行させる。 A program according to the present invention includes a video data acquisition step of acquiring peripheral video data captured by a plurality of shooting units that shoot the periphery of a vehicle, an environment information acquisition step of acquiring environmental information around the vehicle, and the image a bird's-eye view image generation step of performing viewpoint conversion processing and composition processing on the peripheral image data acquired in the data acquisition step to generate a bird's-eye view image displaying a predetermined display range from the vehicle; and the environment information acquired in the environment information acquisition step. and a display control step of changing the display range of the bird's-eye view video generated in the bird's-eye view video generation step and displaying the bird's-eye view video on the display unit, based on the above, by a computer operating as a display control device.
本発明によれば、車両の周囲の環境に応じて適切に俯瞰映像を表示させることができるという効果を奏する。 ADVANTAGE OF THE INVENTION According to this invention, it is effective in the ability to display a bird's-eye view image|video appropriately according to the environment around a vehicle.
以下に添付図面を参照して、本発明に係る表示制御装置50、表示システム1、表示制御方法及びプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
Exemplary embodiments of a
[第一実施形態]
図1は、第一実施形態に係る表示システムの構成例を示すブロック図である。表示システム1は、例えば、車両の周囲の環境情報に基づき、俯瞰映像100(図2参照)の表示範囲を変更して表示させる。表示システム1は、車両に搭載されている。表示システム1は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。
[First embodiment]
FIG. 1 is a block diagram showing a configuration example of a display system according to the first embodiment. The display system 1 changes the display range of the bird's-eye view image 100 (see FIG. 2) and displays it, for example, based on environmental information around the vehicle. A display system 1 is mounted on a vehicle. The display system 1 may be portable and available in the vehicle, in addition to being mounted on the vehicle.
表示システム1は、前俯瞰映像用カメラ(撮影部)11と、後俯瞰映像用カメラ(撮影部)12と、左俯瞰映像用カメラ(撮影部)13と、右俯瞰映像用カメラ(撮影部)14と、表示部21と、インターフェース部31と、表示制御装置50とを有する。
The display system 1 includes a front bird's-eye video camera (photographing unit) 11, a rear bird's-eye video camera (photographing unit) 12, a left bird's-eye video camera (photographing unit) 13, and a right bird's-eye video camera (photographing unit). 14 , a display unit 21 , an interface unit 31 , and a
前俯瞰映像用カメラ11は、俯瞰映像用カメラである。前俯瞰映像用カメラ11は、車両の前方に配置され、車両の前方を中心とした周辺を撮影する。前俯瞰映像用カメラ11は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両の前方に広い範囲を含む。前俯瞰映像用カメラ11は、撮影した周辺映像データを表示制御装置50の映像データ取得部51へ出力する。
The front bird's-
後俯瞰映像用カメラ12は、俯瞰映像用カメラである。後俯瞰映像用カメラ12は、車両の後方に配置され、車両の後方を中心とした周辺を撮影する。後俯瞰映像用カメラ12は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両の後方に広い範囲を含む。後俯瞰映像用カメラ12は、撮影した周辺映像データを表示制御装置50の映像データ取得部51へ出力する。
The rear bird's-eye video camera 12 is a bird's-eye video camera. The rear bird's-eye view video camera 12 is arranged at the rear of the vehicle and captures an image of the surroundings centering on the rear of the vehicle. The rear bird's-eye view video camera 12 captures an imaging range of about 180°, for example. The imaging range includes a wider range behind the vehicle than the display range of the bird's-
左俯瞰映像用カメラ13は、俯瞰映像用カメラである。左俯瞰映像用カメラ13は、車両の左側方に配置され、車両の左側方を中心とした周辺を撮影する。左俯瞰映像用カメラ13は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両の左側方に広い範囲を含む。左俯瞰映像用カメラ13は、撮影した周辺映像データを表示制御装置50の映像データ取得部51へ出力する。
The left bird's-eye video camera 13 is a bird's-eye video camera. The left bird's-eye video camera 13 is arranged on the left side of the vehicle and captures an image of the surroundings centered on the left side of the vehicle. The left bird's-eye video camera 13 captures an imaging range of about 180°, for example. The imaging range includes a wider range on the left side of the vehicle than the display range of the bird's-
右俯瞰映像用カメラ14は、俯瞰映像用カメラである。右俯瞰映像用カメラ14は、車両の右側方に配置され、車両の右側方を中心とした周辺を撮影する。右俯瞰映像用カメラ14は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両の右側方に広い範囲を含む。右俯瞰映像用カメラ14は、撮影した周辺映像データを表示制御装置50の映像データ取得部51へ出力する。
The right bird's-eye video camera 14 is a bird's-eye video camera. The right bird's-eye video camera 14 is arranged on the right side of the vehicle and captures an image of the surroundings centered on the right side of the vehicle. The right bird's-eye view video camera 14 shoots a shooting range of about 180°, for example. The imaging range includes a wider range on the right side of the vehicle than the display range of the bird's-
前俯瞰映像用カメラ11と後俯瞰映像用カメラ12と左俯瞰映像用カメラ13と右俯瞰映像用カメラ14とで、車両の全方位を撮影する。
A front bird's-
表示部21は、一例としてはナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部21は、必要なタイミングで、車両の周囲を確認するためのモニタである。表示部21は、車両の周囲を確認することができれば、様々な形態をとりうることがでる。表示パネルの一例としては、電子ルームミラーを用いたり、インストルメントパネルの機能とすることも可能である。表示部21は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro-Luminescence)ディスプレイなどを含むディスプレイである。表示部21は、運転者から視認容易な位置に配置されている。本実施形態では、表示部21は、車両の運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。表示部21は、表示制御装置50の表示制御部55から出力された映像信号に基づき、車両の俯瞰映像100を表示する。
The display unit 21 is, for example, a display device shared with other systems including a navigation system. The display unit 21 is a monitor for checking the surroundings of the vehicle at necessary timing. The display unit 21 can take various forms as long as the surroundings of the vehicle can be confirmed. As an example of the display panel, it is possible to use an electronic rearview mirror or to function as an instrument panel. The display unit 21 is a display including, for example, a liquid crystal display (LCD) or an organic EL (Organic Electro-Luminescence) display. The display unit 21 is arranged at a position where it can be easily viewed by the driver. In this embodiment, the display unit 21 is arranged on the dashboard, instrument panel, center console, etc. in front of the driver of the vehicle. The display unit 21 displays a bird's-
インターフェース部31は、環境情報取得部52が車両の周辺の環境情報を取得するための情報源に接続するインターフェースである。インターフェース部31は、例えば、Wi-Fi(登録商標)や電話等の通信回線などに接続し、外部の情報源であるサーバ等から、車両の現在位置に該当する環境情報を取得する。
The interface unit 31 is an interface that connects to an information source for the environment
表示制御装置50は、車両の周囲を確認するための俯瞰映像100を提供する。より詳しくは、表示制御装置50は、例えば、車両の周囲の環境情報に基づき、俯瞰映像100の表示範囲を変更して表示させるように制御する。
The
表示制御装置50は、例えば、CPU(Central Processing Unit)や映像処理用プロセッサなどで構成された演算処理装置(制御部)である。表示制御装置50は、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。表示制御装置50は、映像データ取得部51と、環境情報取得部52と、車両情報取得部53と、俯瞰映像生成部54と、表示制御部55と、内部メモリである記憶部とが含まれる。表示制御装置50は、一または複数の装置で構成されていてもよい。
The
映像データ取得部51は、車両の周辺を撮影した周辺映像データを取得する。より詳しくは、映像データ取得部51は、前俯瞰映像用カメラ11と後俯瞰映像用カメラ12と左俯瞰映像用カメラ13と右俯瞰映像用カメラ14とが出力した周辺映像データを取得する。映像データ取得部51は、取得した周辺映像データを俯瞰映像生成部54に出力する。
The image
車両情報取得部53は、車両のギア操作情報など、駐車支援表示トリガである駐車開始トリガまたは駐車終了トリガとなる車両情報を、CAN(Controller Area Network)や車両の状態をセンシングする各種センサなどから取得する。車両情報取得部53は、車両情報として、CANや各種センサなどから取得した車両の進行方向の情報を取得する。車両情報取得部53は、取得した車両情報を表示制御部55に出力する。
The vehicle
環境情報取得部52は、インターフェース部31を介して取得した、車両の周囲の環境情報を示す環境情報を取得する。本実施形態では、環境情報取得部52は、車両の周囲の気象に関する情報を取得する。環境情報取得部52は、取得した環境情報を表示制御部55に出力する。
The environment
俯瞰映像生成部54は、映像データ取得部51で取得した周辺映像データに視点変換処理および合成処理を行い、車両から所定の表示範囲を表示する俯瞰映像100を生成する。俯瞰映像生成部54は、生成した俯瞰映像100を表示制御部55に出力する。俯瞰映像生成部54は、視点変換処理部541と、切出処理部542と、合成処理部543とを有する。
The bird's-eye view
視点変換処理部541は、映像データ取得部51で取得した周辺映像データに対して、車両を上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部541は、前俯瞰映像用カメラ11と後俯瞰映像用カメラ12と左俯瞰映像用カメラ13と右俯瞰映像用カメラ14とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部541は、視点変換処理を行った周辺映像データを切出処理部542に出力する。
The viewpoint
切出処理部542は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。切出処理部542は、切出処理を行った映像の映像データを合成処理部543に出力する。
The
合成処理部543は、切出処理を行った映像データを合成する合成処理を行う。合成処理部543は、合成した映像に車両アイコン110を表示した俯瞰映像100を生成する。
The synthesizing
図2を用いて、俯瞰映像100について説明する。図2は、第一実施形態に係る表示システムの表示制御装置で生成した俯瞰映像の一例を示す図である。図2に示す俯瞰映像100を、通常の俯瞰映像100という。俯瞰映像100は、車両から2m程度の範囲を表示する。俯瞰映像100は、前方映像101と後方映像102と左側方映像103と右側方映像104とで囲まれた中央部に位置する車両アイコン110とを含む。車両アイコン110は、車両の位置と向きとを示す。車両アイコン110は、前後方向を俯瞰映像100の前後方向と平行にして、中央部に配置されている。
The bird's-
表示制御部55は、俯瞰映像生成部54が生成する俯瞰映像100を表示部21に表示させる。表示制御部55は、環境情報取得部52が取得した環境情報に基づき、俯瞰映像生成部54が生成した俯瞰映像100の表示範囲を変更して表示部21に表示させる。
The
表示範囲を変更するとは、表示範囲を広くすること、狭くすること、および、表示範囲をいずれかの方向にずらすことを含む。表示範囲を広くすると、俯瞰映像100には、車両の周囲の広い範囲が表示される。表示範囲を狭くすると、俯瞰映像100には、車両の周囲の狭い範囲が拡大されて表示される。表示範囲をずらすと、俯瞰映像100には、ずらした方向の広い範囲が表示される。本実施形態では、表示範囲を広くするものとして説明する。
Changing the display range includes widening the display range, narrowing the display range, and shifting the display range in any direction. When the display range is widened, a wide range around the vehicle is displayed in the bird's-
俯瞰映像生成部54は、図2に示される通常の俯瞰映像100より広い範囲の俯瞰映像を生成する。図2に示される通常の俯瞰映像100は、表示制御部55によって、俯瞰映像生成部54が生成した俯瞰映像から、車両の周囲の確認に必要な範囲であり、視点変換処理による映像の歪みが少ない範囲が表示されている。
The bird's-eye
表示制御部55は、車両の周囲の気象に関する情報が荒天を示している場合、俯瞰映像生成部54が生成した俯瞰映像100の表示範囲を広く変更して表示部21に表示させる。表示制御部55は、環境情報取得部52が取得した気象に関する情報が、降雨、降雪、強風および寒波の少なくともいずれかを示している場合、荒天を示していると判断してもよい。降雨、降雪、強風および寒波に限定するものではなく、車両の周囲の視界が悪くなる他の気象状態を含む。
When the information about the weather around the vehicle indicates stormy weather, the
次に、図3を用いて、表示システム1の表示制御装置50における処理の流れについて説明する。図3は、第一実施形態に係る表示システムの表示制御装置における処理の流れの一例を示すフローチャートである。
Next, the flow of processing in the
表示システム1が起動されると、表示制御装置50は、映像データ取得部51で周辺映像データを取得する。表示制御装置50は、車両情報取得部53で車両情報を取得する。
When the display system 1 is activated, the
表示制御装置50は、俯瞰映像表示を開始するか否かを判定する(ステップS101)。例えば、表示制御装置50は、車両情報取得部53で取得した車両情報に基づいて、シフトポジションが「リバース」とされたこと、または、車両の進行方向が後方になった場合、俯瞰映像表示を開始すると判定する。例えば、表示制御装置50は、車両情報取得部53で取得した車両情報に基づいて、ユーザの操作に基づく俯瞰映像100の表示指示が検出された場合、俯瞰映像表示を開始すると判定してもよい。表示制御装置50は、俯瞰映像表示を開始すると判定した場合(ステップS101でYes)、ステップS102へ進む。表示制御装置50は、俯瞰映像表示を開始すると判定しない場合(ステップS101でNo)、ステップS101の処理を再度実行する。
The
俯瞰映像表示を開始すると判定した場合(ステップS101でYes)、表示制御装置50は、環境情報取得部52によって、環境情報を取得する(ステップS102)。表示制御装置50は、ステップS103へ進む。
When it is determined to start bird's-eye view image display (Yes in step S101), the
表示制御装置50は、俯瞰映像100を生成する(ステップS103)。より詳しくは、表示制御装置50は、俯瞰映像生成部54によって、俯瞰映像100を生成する。表示制御装置50は、ステップS104へ進む。
The
表示制御装置50は、環境情報が荒天を示すか否かを判定する(ステップS104)。より詳しくは、表示制御装置50は、環境情報取得部52で取得した環境情報に基づいて、例えば、降雨、降雪、強風および寒波の少なくともいずれかであることを示す場合、環境情報が荒天を示すと判定する。表示制御装置50は、環境情報が荒天を示すと判定した場合(ステップS104でYes)、ステップS105へ進む。表示制御装置50は、環境情報が荒天を示すと判定しない場合(ステップS104でNo)、ステップS106へ進む。
The
環境情報が荒天を示すと判定した場合(ステップS104でYes)、表示制御装置50は、通常より広い表示範囲の俯瞰映像100を表示する(ステップS105)。より詳しくは、図4に示すように、表示制御装置50は、俯瞰映像生成部54で生成した俯瞰映像100を、通常より広い表示範囲で表示部21に表示させる映像信号を出力する。図4は、第一実施形態に係る表示システムの表示制御装置で生成した俯瞰映像の他の例を示す図である。図4に示す俯瞰映像100は、車両アイコン110を中心にして、前方映像101と後方映像102と左側方映像103と右側方映像104とが、図2に示す通常の俯瞰映像100より広く表示されている。図4に示す俯瞰映像100は、図2に示す通常の俯瞰映像100に比べて、車両アイコン110が小さくなっている。表示制御装置50は、ステップS107へ進む。
When it is determined that the environmental information indicates stormy weather (Yes in step S104), the
環境情報が荒天を示すと判定しない場合(ステップS104でNo)、表示制御装置50は、通常の表示範囲の俯瞰映像100を表示する(ステップS106)。より詳しくは、表示制御装置50は、図2に示すような、俯瞰映像生成部54で生成した俯瞰映像100を通常の表示範囲で表示部21に表示させる映像信号を出力する。表示制御装置50は、ステップS107へ進む。
If it is not determined that the environmental information indicates stormy weather (No in step S104), the
表示制御装置50は、俯瞰映像表示を終了するか否かを判定する(ステップS107)。より詳しくは、表示制御装置50は、車両情報取得部53で取得した車両情報に基づいて、シフトポジションが「リバース」から「ドライブ」などにされたこと、または、車両の進行方向が前方になった場合、俯瞰映像表示を終了すると判定する。例えば、表示制御装置50は、車両情報取得部53で取得した車両情報に基づいて、ユーザの操作に基づく俯瞰映像100の表示終了指示が検出された場合、俯瞰映像表示を終了すると判定してもよい。表示制御装置50は、俯瞰映像表示を終了すると判定した場合(ステップS107でYes)、処理を終了する。表示制御装置50は、俯瞰映像表示を終了すると判定しない場合(ステップS107でNo)、ステップS107の処理を再度実行する。
The
このように、車両の周囲の環境情報に基づき、俯瞰映像100の表示範囲を変更して表示させる。
In this manner, the display range of the bird's-
上述したように、本実施形態によれば、車両の周囲の環境に応じて適切に俯瞰映像100を表示させることができる。実施形態は、車両の周囲の気象に関する情報が、例えば、降雨、降雪、強風および寒波のような荒天を示している場合、俯瞰映像100の表示範囲を広く変更して表示させることができる。これにより、本実施形態は、運転者が、他車両および歩行者などの周囲の目視での状況確認が困難となる場合に、俯瞰映像100の表示範囲を広く変更して表示することによって、周囲の状況確認を支援することができる。また、本実施形態は、俯瞰映像100の表示範囲を広く変更して表示することによって、車両の周囲の見通しが悪い場合でも、近接してきた他車両を発見しやすくすることができる。
As described above, according to the present embodiment, the bird's-
[第二実施形態]
図5ないし図7を参照しながら、本実施形態に係る表示システム1について説明する。図5は、第二実施形態に係る表示システムの表示制御装置における処理の流れの一例を示すフローチャートである。図6は、第二実施形態に係る表示システムの表示制御装置で生成した俯瞰映像の一例を示す図である。図7は、第二実施形態に係る表示システムの表示制御装置で生成した俯瞰映像の他の例を示す図である。表示システム1は、基本的な構成は第一実施形態の表示システム1と同様である。表示システム1は、車両情報取得部53と表示制御部55における処理が第一実施形態と異なる。
[Second embodiment]
A display system 1 according to the present embodiment will be described with reference to FIGS. 5 to 7. FIG. FIG. 5 is a flow chart showing an example of the flow of processing in the display control device of the display system according to the second embodiment. FIG. 6 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display system according to the second embodiment. FIG. 7 is a diagram showing another example of a bird's-eye view image generated by the display control device of the display system according to the second embodiment. The display system 1 has the same basic configuration as the display system 1 of the first embodiment. The display system 1 differs from the first embodiment in the processing in the vehicle
車両情報取得部53は、車両情報として、車両の進行方向の情報を取得する。
The vehicle
表示制御部55は、車両の周囲の気象に関する情報が荒天を示している場合、俯瞰映像生成部54が生成した俯瞰映像100の進行方向における表示範囲を広く変更して表示部21に表示させる。より詳しくは、表示制御部55は、車両の周囲の気象に関する情報が荒天を示している場合、俯瞰映像100の進行方向における表示範囲を他の方向より広く変更して表示部21に表示させる。または、表示制御部55は、車両の周囲の気象に関する情報が荒天を示している場合、通常の俯瞰映像100より広い表示範囲として、かつ、進行方向における表示範囲を他の方向より広く変更して表示部21に表示させてもよい。
When the information about the weather around the vehicle indicates stormy weather, the
例えば、車両が前進している場合、表示制御部55は、俯瞰映像100における前方の表示範囲を広く変更する。例えば、車両が後退している場合、表示制御部55は、俯瞰映像100における後方の表示範囲を広く変更する。例えば、車両が前進しながら右方向に旋回している場合、表示制御部55は、俯瞰映像100における右前方の表示範囲を広く変更する。例えば、車両が前進しながら左方向に旋回している場合、表示制御部55は、俯瞰映像100における左前方の表示範囲を広く変更する。
For example, when the vehicle is moving forward, the
次に、図5を用いて、表示システム1の表示制御装置50における処理の流れについて説明する。ステップS111ないしステップS114、ステップS116、ステップS117の処理は、図3に示すフローチャートのステップS101ないしステップS104、ステップS106、ステップS107と同様の処理を行う。
Next, the flow of processing in the
表示制御装置50は、通常より進行方向に広い表示範囲の俯瞰映像100を表示する(ステップS115)。より詳しくは、表示制御装置50は、俯瞰映像生成部54で生成した俯瞰映像100が、通常より広い進行方向に表示範囲で表示部21に表示させる映像信号を出力する。表示制御装置50は、ステップS117へ進む。
The
図6、図7を用いて、ステップS115で生成される俯瞰映像100について説明する。車両は後退しているものとする。図6に示す俯瞰映像100は、後方映像102の表示範囲が広くなるように、表示範囲が変更されている。図6に示す俯瞰映像100は、図2に示す通常の俯瞰映像100に比べて、車両アイコン110が前側にずれている。図7に示す俯瞰映像100は、図2に示す通常の俯瞰映像100より表示範囲が広く、かつ、後方映像102の表示範囲が広く変更されている。図7に示す俯瞰映像100は、図2に示す通常の俯瞰映像100に比べて、車両アイコン110が小さくなっている。
The bird's-
このように、車両の周囲の気象に関する情報が荒天を示している場合、俯瞰映像100の進行方向における表示範囲を広く変更して表示させる。
In this way, when the information about the weather around the vehicle indicates stormy weather, the bird's-
上述したように、本実施形態によれば、車両の周囲の気象に関する情報が荒天を示している場合、俯瞰映像100の進行方向における表示範囲を広く変更して表示させることができる。これにより、本実施形態は、周囲の状況確認をより適切に支援することができる。
As described above, according to the present embodiment, when the information about the weather around the vehicle indicates stormy weather, the bird's-
図示した表示システム1の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。 Each component of the illustrated display system 1 is functionally conceptual and does not necessarily have to be physically configured as illustrated. In other words, the specific form of each device is not limited to the illustrated one, and all or part of it may be functionally or physically distributed or integrated in arbitrary units according to the processing load and usage conditions of each device. may
表示システム1の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。 The configuration of the display system 1 is realized by, for example, a program loaded into a memory as software. In the above embodiments, functional blocks realized by cooperation of these hardware or software have been described. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。 The components described above include those that can be easily assumed by those skilled in the art and those that are substantially the same. Furthermore, the configurations described above can be combined as appropriate. Also, various omissions, substitutions, or modifications of the configuration are possible without departing from the gist of the present invention.
1 表示システム
11 前俯瞰映像用カメラ(撮影部)
12 後俯瞰映像用カメラ(撮影部)
13 左俯瞰映像用カメラ(撮影部)
14 右俯瞰映像用カメラ(撮影部)
21 表示部
50 表示制御装置
51 映像データ取得部
52 環境情報取得部
53 車両情報取得部
54 俯瞰映像生成部
55 表示制御部
100 俯瞰映像
1
12 Camera for rear bird's-eye view video (shooting unit)
13 Camera for left bird's-eye view video (shooting unit)
14 Camera for right bird's-eye view video (shooting unit)
21
Claims (7)
前記車両の進行方向の情報を取得する車両情報取得部と、
前記車両の周囲の環境情報を取得する環境情報取得部と、
前記映像データ取得部が取得した周辺映像データに視点変換処理および合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成部と、
前記車両情報取得部が取得した車両情報に基づき、前記俯瞰映像生成部が生成した俯瞰映像を表示するか否かを判定し、前記俯瞰映像生成部が生成した俯瞰映像を表示すると判定された場合に、前記環境情報取得部が環境情報を取得し、前記環境情報取得部が取得した環境情報に基づき、前記俯瞰映像生成部が生成した俯瞰映像の表示範囲を変更して、通常の表示範囲の俯瞰映像、または、通常よりも広い表示範囲の俯瞰映像を表示部に表示させる表示制御部と、
を備える表示制御装置。 a video data acquisition unit that acquires peripheral video data captured by a plurality of imaging units that capture the surroundings of the vehicle;
a vehicle information acquisition unit that acquires information on the traveling direction of the vehicle;
an environment information acquisition unit that acquires environment information around the vehicle;
a bird's-eye view image generation unit that performs viewpoint conversion processing and composition processing on the peripheral image data acquired by the image data acquisition unit and generates a bird's-eye image displaying a predetermined display range from the vehicle;
When it is determined whether or not to display the bird's-eye image generated by the bird's-eye image generation unit based on the vehicle information acquired by the vehicle information acquisition unit, and it is determined to display the bird's-eye image generated by the bird's-eye image generation unit the environment information acquisition unit acquires the environment information, and based on the environment information acquired by the environment information acquisition unit, the display range of the bird's-eye view image generated by the bird's-eye image generation unit is changed so that the normal display range is changed. a display control unit that displays a bird's-eye view image or a bird's-eye view image with a wider display range than usual on a display unit;
A display controller comprising:
前記表示制御部は、前記車両の周囲の気象に関する情報が荒天を示している場合、前記俯瞰映像生成部が生成した俯瞰映像の表示範囲を広く変更して表示部に表示させる、
請求項1に記載の表示制御装置。 The environmental information acquisition unit acquires information about the weather around the vehicle,
When the information about the weather around the vehicle indicates stormy weather, the display control unit widens the display range of the bird's-eye view image generated by the bird's-eye image generation unit and causes the display unit to display the image.
The display control device according to claim 1.
請求項1または2に記載の表示制御装置。 When the information about the weather around the vehicle indicates stormy weather, the display control unit widens the display range in the traveling direction of the bird's-eye view image generated by the bird's-eye image generation unit and causes the display unit to display the image.
The display control device according to claim 1 or 2.
請求項2または3に記載の表示制御装置。 The display control unit determines that the weather information acquired by the environmental information acquisition unit indicates stormy weather when it indicates at least one of rainfall, snowfall, strong winds, and cold waves.
The display control device according to claim 2 or 3.
前記映像データ取得部が周辺映像データを取得する複数の撮影部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともいずれかと、
を備えることを特徴とする表示システム。 A display control device according to any one of claims 1 to 4;
at least one of a plurality of shooting units in which the image data acquisition unit acquires peripheral image data, and a display unit in which the display control unit displays an overhead image;
A display system comprising:
前記車両の進行方向の情報を取得する車両情報取得ステップと、
前記車両の周囲の環境情報を取得する環境情報取得ステップと、
前記映像データ取得ステップにおいて取得した周辺映像データに視点変換処理および合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両情報取得ステップで取得した車両情報に基づき、前記俯瞰映像生成ステップで生成した俯瞰映像を表示するか否かを判定し、前記俯瞰映像生成ステップで生成した俯瞰映像を表示すると判定された場合に、前記環境情報取得ステップで環境情報を取得し、前記環境情報取得ステップにおいて取得した環境情報に基づき、前記俯瞰映像生成ステップで生成した俯瞰映像の表示範囲を変更して、通常の表示範囲の俯瞰映像、または、通常よりも広い表示範囲の俯瞰映像を表示部に表示させる表示制御ステップと、
を含む表示制御方法。 a video data acquisition step of acquiring peripheral video data captured by a plurality of imaging units that capture the surroundings of the vehicle;
a vehicle information acquisition step of acquiring information on the traveling direction of the vehicle;
an environment information acquisition step of acquiring environment information around the vehicle;
a bird's-eye view image generation step of performing viewpoint conversion processing and synthesis processing on the peripheral image data acquired in the image data acquisition step to generate an bird's-eye image displaying a predetermined display range from the vehicle;
Based on the vehicle information acquired in the vehicle information acquisition step, it is determined whether or not to display the bird's-eye image generated in the bird's-eye image generation step, and when it is determined to display the bird's-eye image generated in the bird's-eye image generation step. the environment information is acquired in the environment information acquisition step, and based on the environment information acquired in the environment information acquisition step, the display range of the bird's-eye view image generated in the bird's-eye image generation step is changed so that the normal display range is changed. a display control step of displaying a bird's-eye view image or a bird's-eye view image having a wider display range than usual on a display unit;
display control methods, including
前記車両の進行方向の情報を取得する車両情報取得ステップと、
前記車両の周囲の環境情報を取得する環境情報取得ステップと、
前記映像データ取得ステップにおいて取得した周辺映像データに視点変換処理および合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両情報取得ステップで取得した車両情報に基づき、前記俯瞰映像生成ステップで生成した俯瞰映像を表示するか否かを判定し、前記俯瞰映像生成ステップで生成した俯瞰映像を表示すると判定された場合に、前記環境情報取得ステップで環境情報を取得し、前記環境情報取得ステップにおいて取得した環境情報に基づき、前記俯瞰映像生成ステップで生成した俯瞰映像の表示範囲を変更して、通常の表示範囲の俯瞰映像、または、通常よりも広い表示範囲の俯瞰映像を表示部に表示させる表示制御ステップと、
を、表示制御装置として動作するコンピュータに実行させるプログラム。 a video data acquisition step of acquiring peripheral video data captured by a plurality of imaging units that capture the surroundings of the vehicle;
a vehicle information acquisition step of acquiring information on the traveling direction of the vehicle;
an environment information acquisition step of acquiring environment information around the vehicle;
a bird's-eye view image generation step of performing viewpoint conversion processing and synthesis processing on the peripheral image data acquired in the image data acquisition step to generate an bird's-eye image displaying a predetermined display range from the vehicle;
Based on the vehicle information acquired in the vehicle information acquisition step, it is determined whether or not to display the bird's-eye image generated in the bird's-eye image generation step, and when it is determined to display the bird's-eye image generated in the bird's-eye image generation step. the environment information is acquired in the environment information acquisition step, and based on the environment information acquired in the environment information acquisition step, the display range of the bird's-eye view image generated in the bird's-eye image generation step is changed so that the normal display range is changed. a display control step of displaying a bird's-eye view image or a bird's-eye view image having a wider display range than usual on a display unit;
is executed by a computer operating as a display control device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019042998A JP7302205B2 (en) | 2019-03-08 | 2019-03-08 | Display control device, display system, display control method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019042998A JP7302205B2 (en) | 2019-03-08 | 2019-03-08 | Display control device, display system, display control method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020145658A JP2020145658A (en) | 2020-09-10 |
| JP7302205B2 true JP7302205B2 (en) | 2023-07-04 |
Family
ID=72354622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019042998A Active JP7302205B2 (en) | 2019-03-08 | 2019-03-08 | Display control device, display system, display control method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7302205B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7537314B2 (en) * | 2021-03-01 | 2024-08-21 | トヨタ自動車株式会社 | Vehicle surroundings monitoring device and vehicle surroundings monitoring system |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019029865A (en) | 2017-07-31 | 2019-02-21 | 株式会社Jvcケンウッド | Display control apparatus, display control system, display control method, and program |
-
2019
- 2019-03-08 JP JP2019042998A patent/JP7302205B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019029865A (en) | 2017-07-31 | 2019-02-21 | 株式会社Jvcケンウッド | Display control apparatus, display control system, display control method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020145658A (en) | 2020-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11052823B2 (en) | Vehicle rear monitoring system | |
| WO2014068856A1 (en) | Image generation device and image generation program product | |
| JP2010130646A (en) | Vehicle periphery checking system | |
| US20120105642A1 (en) | Vehicle-mounted video display device | |
| US10723266B2 (en) | On-vehicle display controller, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium | |
| JP5581253B2 (en) | Rear camera display device | |
| JP2009284023A (en) | Display device for vehicle | |
| EP3487173B1 (en) | Image generation device, image generation system, image generation method and program | |
| WO2019026348A1 (en) | Display control device, display control system, display control method, and program | |
| JP2019185119A (en) | Display control device for vehicle, display system for vehicle, display control method for vehicle, and program | |
| JP6730606B2 (en) | Overhead video generation device, overhead video generation system, overhead video generation method and program | |
| JP2018148314A (en) | Overhead video generation device, overhead video generation system, overhead video generation method, and program | |
| CN111726544A (en) | Method and apparatus for enhancing video display | |
| US11200804B2 (en) | Method, device, computer program and computer program product for operating a display unit in a vehicle | |
| JP7302205B2 (en) | Display control device, display system, display control method and program | |
| JP2018195988A (en) | Display control device and display control method | |
| CN106458105A (en) | In-vehicle display device, in-vehicle display device control method, and program | |
| JP7120274B2 (en) | Bird's-eye view video generation device, bird's-eye view video generation method and program | |
| JP6763358B2 (en) | Display control device, display control system, display control method and program | |
| JP2018203090A (en) | Parking support device, parking support system, parking support method and program | |
| JP2007081932A (en) | Vehicle periphery visual recognition device | |
| JP2007329611A (en) | Vehicle periphery monitoring device, vehicle periphery monitoring system, and vehicle periphery monitoring method | |
| JP3947117B2 (en) | Vehicle periphery image processing system | |
| CN109278645B (en) | Video output method and system | |
| JP2019024176A (en) | Vehicle surrounding monitoring apparatus and display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211029 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230605 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7302205 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |