JP3645196B2 - 画像合成装置 - Google Patents
画像合成装置 Download PDFInfo
- Publication number
- JP3645196B2 JP3645196B2 JP2001174415A JP2001174415A JP3645196B2 JP 3645196 B2 JP3645196 B2 JP 3645196B2 JP 2001174415 A JP2001174415 A JP 2001174415A JP 2001174415 A JP2001174415 A JP 2001174415A JP 3645196 B2 JP3645196 B2 JP 3645196B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- trajectory
- line
- host vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
- B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Transportation (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Processing Or Creating Images (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Vehicle Body Suspensions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像合成装置に関し、特に自動車に搭載された複数の撮像装置によって得られた画像を仮想視点からの画像に視点変換して合成し、自動車の周囲の画像を運転者に提示し、駐車時などの運転者の運転を支援する装置に用いて好適な画像合成装置に関するものである。
【０００２】
【従来の技術】
従来、この種の画像表示装置として、「The Principle of virtual viewpoint image synthesis using a road surface model」(第７回ITS 世界会議) により、カメラの実写映像をあたかも仮想視点から撮影したかのような映像に視点変換して、モニタに表示する装置が知られている。また、特許第2610146号により、車両の舵角センサによって検出した舵角に対応した後進予測軌跡を車載カメラ映像に重畳する装置が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の画像表示装置においては、仮想視点で撮影したかのように変換した映像に、後進予測軌跡を重畳してモニタに表示した場合、周囲の立体物までの距離が、モニタの映像では、実際の距離よりも大きいと誤解しやすいという問題があった。
【０００４】
以下、図を用いて説明する。図２７において、モニタ映像中では自車両のイラスト2401と他車両2402との距離は、まだ十分に開いているように見える。しかし、実際には、図２８に示すように自車両2401と他車両2402とは、かなり接近している。これは、仮想視点への変換により、バンパのように地上から離れている物体が変換後の画像では、実際の位置よりもカメラから遠い位置へと投影されることに起因する。
【０００５】
本発明は、前記従来の問題を解決するためになされたもので、仮想視点で撮影したかのように変換した映像に、補助映像を重畳してモニタに表示することにより、周囲の立体物への接近をモニタ映像から容易に類推できるような映像を提示することの可能な画像合成装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像合成装置は、車両に搭載された撮像手段と、前記撮像手段によって撮像された画像を視点変換して画像を合成する視点変換画像合成手段と、前記車両の任意の高さの軌跡線または垂直線の少なくとも一方を生成する車両軌跡線生成手段と、前記視点変換画像合成手段によって合成された画像上に、前記車両軌跡線生成手段によって生成された軌跡線を描画する車両軌跡線描画手段とを具備したものである。この構成により、自車両の任意の高さの軌跡線を生成し、視点変換によって得られた合成画像上に表示することとなるため、前記合成画像上に自車両の立体的な軌跡を描画するが可能となる。したがって、視点変換画像合成を行った場合に生じる周囲の立体物の歪みと同様に自車両の軌跡を歪ませることにより、周囲と自車の予想軌跡との三次元的な位置関係が捉えやすくなり、視認性が向上し、自車両と周囲の立体物との接触判定を容易に行うことが可能となる。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いながら詳細に説明する。
【００１０】
（第１の実施の形態）
図１は、第１の実施の形態の画像合成装置の構成を示すブロック図である。この画像合成装置は、自動車に搭載された撮像手段101と、視点変換画像合成手段102と、車両直進軌跡線生成手段103と、車両軌跡線描画手段104とによって構成されている。
【００１１】
撮像手段101は車両の後部などに搭載された１台以上のカメラから構成されており、車両の後方を向いている。視点変換画像合成手段102は、撮像手段101によって撮像された１枚以上の画像を入力することによって、仮想視点から見た合成画像を出力する。車両直進軌跡線生成手段103は、自車両の大きさおよび形状や視点変換の際のカメラパラメータ、撮像手段101の撮像状況を入力することで、自車両が真っ直ぐに後退した場合の軌跡線を出力する。車両直進軌跡線生成手段103は、路面上の軌跡線算出手段103Aと任意の高さの軌跡線算出手段103Bとを具備しており、自車両の任意の位置の軌跡線を出力することが可能で、例えば道路面上の軌跡や、車両のバンパ端の軌跡などを同時に出力する機能を具備している。車両軌跡線描画手段104は、車両直進軌跡線生成手段103によって出力された自車両の軌跡線を視点変換画像合成手段102によって得られた合成画像上に重畳して描画する。なお、車両軌跡線描画手段104の出力は、図示されていない表示装置に与えられ、表示される。
【００１２】
図２は、撮像手段101によって得られた画像を視点変換画像合成手段102によって自車両の後方から自車両の置かれている路面に対して垂直に見下ろした画像を合成し、車両軌跡線描画手段104によって得られた自車両204の路面上の軌跡線201と、路面から高さ50cmの位置の自車両の軌跡線202とを車両直進軌跡線生成手段103によって合成画像上に描画した場合の図である。合成画像上で、立体物がどのように投影されているか分かり易くするため、路面上の軌跡線201と高さを持つ軌跡線202とを路面に対して垂直な直線203で結んでいる。ここで、自車両204の後方には第１の他車両205が存在し、側方には第２の他車両206が存在する。
【００１３】
図３は、図１における任意の高さの軌跡線算出手段103Bの構成について説明するためのブロック図である。任意の高さの軌跡線算出手段103Bは、三次元軌跡線生成手段103B-1と、三次元軌跡線道路面投影手段103B-2と、合成画像投影手段103B-3とから構成されている。三次元軌跡線生成手段103B-1は、実空間上での車両の任意の高さの三次元的な軌跡線を生成する機能を具備している。三次元軌跡線道路面投影手段103B-2は、三次元軌跡線生成手段103B-1によって生成された三次元的な軌跡線を、車に取り付けられた撮像手段から道路面上に投影する機能を具備している。合成画像投影手段103B-3は、三次元軌跡線道路面投影手段103B-2によって道路面上に投影された軌跡線を合成画像上に投影する機能を具備している。
【００１４】
図４は、前記任意の高さの軌跡線算出手段103Bの処理の流れを説明するための図である。まず、三次元軌跡線生成手段103B-1によって、三次元空間上に自車両の任意の部分の軌跡線として線分105が生成される。次に、線分105は三次元軌跡線道路面投影手段103B-2によって、車に取り付けられた撮像手段から、道路面上の線分106に投影される。次いで、線分106は合成画像投影手段103B-3によって、合成画像上の線分107に投影される。このようにして得られた線分107が合成画像上での軌跡線である。
【００１５】
図５は、図２の軌跡線を詳しく説明するための図である。図５に示すように、車両の路面上の軌跡上の各点をａからｈ、路面から高さ50cmの軌跡上の各点をＡからＨとする。
【００１６】
直線abは自車両204 の後端の路面上の位置を表す直線、直線cdは自車両204の後方1mの路面上の位置を表す直線、直線efは自車両204の後方2mの路面上の位置を表す直線、ghは自車両204の後方3mの路面上の位置を表す直線である。また、直線ABは自車両204の後端の高さ50cmを表す直線、直線CDは自車両204の後方1mの高さ50cmを表す直線、直線EFは自車両204の後方2mの高さ50cmを表す直線、直線GHは自車両204の後方3mの高さ50cmを表す直線である。したがって、直線Aa、Bb、Cc、Dd、Ee、Ff、Gg、Hhは路面上のそれぞれの位置に長さ50cmの棒が路面に対して垂直に立っている場合の合成画像上での像を表していると考えることができる。
【００１７】
上記のように軌跡線を定めると、例えば、合成画像上で、四角形ABCD内の領域に道路面しか表示されていない場合、少なくとも自車両の幅で後方1mまでは高さ50cm以下の物体は存在しないということが言える。逆に四角形ABCD内に路面以外の立体物が表示されている場合、自車両の幅で後方1mまでに高さ50cm以下の物体が存在する可能性があるということが言える。
【００１８】
ここで、図１の装置は、描画する軌跡線の色を自由に変えることも可能である。例えば、自車両から1mの範囲までを表す線分を赤、1mから2mまでの範囲を表す線分の色を黄色、2mから3mまでの範囲を表す線分の色を青にするといったことが可能である。また、路面上の軌跡acegおよびbdfhを黒くしたり太くしたりすることで自車両のタイヤの軌跡であるということが直感的に分かり易くなるように表示することも可能である。
【００１９】
また、図１の装置は、自車両のバンパの高さの軌跡を描くことも可能である。自車両のバンパの高さの軌跡を描くと、合成画像上で自車両のバンパと周囲の物体との接触判定をすることが容易になるという特徴を持たせることが可能である。
【００２０】
さらに、図２で描かれている軌跡線は、車両の後方3m迄であるが、任意の距離迄の軌跡線を描くことも可能である。
【００２１】
図６は、撮像手段101によって得られた画像から視点変換画像合成手段102によって後方パノラマ画像を合成し、この合成画像上に自車両の道路面上の軌跡401と自車両のバンパ端の軌跡402と自車両の車高の軌跡403とを描いたものである。自車両の車高の軌跡を描くことにより、周囲の車両との距離感などが把握し易いという特徴を有している。
【００２２】
このように、本発明の第１の実施の形態によれば、視点変換合成画像上に自車両の立体的な軌跡を描画することができるので、運転者は自車両と周囲の立体物との接触判定を容易に行うことが可能となる。
【００２３】
また、自車両の路面上の軌跡線と任意の高さの軌跡線とを直線または曲線によって補間することで、路面に対して垂直な線や、自車両の軌跡線上の断面図を合成画像上に表示することも可能である。
【００２４】
例えば、自車に装備された荷台連結器（ヒッチ）を用いての荷台車との連結というシーンを想定した場合、荷台車が自車から離れている初期状態、すなわち自車を荷台車に近づける際においては、表示される自車の予想軌跡により、対象となる荷台車にどう近づけていけば良いか方針が立てやすく、また、荷台車を連結する直前においては、視点変換によりあたかも真上から見たような映像（平面投影）を提供することにより、互いのヒッチの位置関係を正確に捉えることが可能となり、以上の動作と使い方により、容易に荷台と自車との連結が可能となる。
【００２５】
また、限られた駐車スペースへの駐車の際、あるいは、複数車線での後方車両の位置関係の把握の際にも、運転者に理解しやすい映像を提供できるという同様の利点が生じることはいうまでもない。
【００２６】
さらに、上記の例のように、あらかじめヒッチの高さやバンパの高さ等一番クリティカルな部分の高さがわかっているのであれば、その高さの軌跡線を運転者の指示により描画しても良い。
【００２７】
そして、バンパ端の軌跡線を描画することで、バンパ端の接触判定を可能にしたり、車高の軌跡線を合成画像上に描画することで、直感的に理解しやすい軌跡線を描画したりすることも可能である。
【００２８】
また、自車両からの距離に応じて軌跡線の色や太さを変えて描画することで、運転者の注目を自車両の近傍に集中させるなどの効果を得ることもできる。
【００２９】
本発明の第１の実施の形態の画像合成装置は、運転者に対して、後方死角を明瞭に表示する安全性と、上記駐車や連結時の利便性を兼ね備えた優れた運転支援装置としても活用・利用することができる。
【００３０】
（第２の実施の形態）
図７は、第２の実施の形態の画像合成装置の構成を示すブロック図である。この図において、図１と同一の構成要素または対応する構成要素には図１で使用した符号を付した。
【００３１】
この画像合成装置は、図１の画像合成装置において、車両直進軌跡線生成手段103に代えて車両舵角対応軌跡線生成手段502を設け、さらに舵角情報出力手段501を付加し、その出力を車両舵角対応軌跡線生成手段502に入力するように構成したものである。その他の構成要素は図１の装置と同じ構成を有する。
【００３２】
舵角情報出力手段501は、自車両のハンドル舵角を出力する装置であり、車両舵角対応軌跡線生成手段502はハンドル舵角を入力として、そのハンドル舵角に応じた軌跡線を出力する装置である。車両舵角対応軌跡線生成手段502は、路面上の軌跡線の算出手段502Aと任意の高さの軌跡線の算出手段502Bとを具備しており、ハンドル舵角と自車両の大きさおよび形状と視点変換の際のカメラパラメータと撮像手段101の撮像状況とを入力することで、自車両が後退した場合の自車両の任意の位置の舵角に対応した軌跡線を出力する機能を具備している。
【００３３】
図８は、図７における任意の高さの軌跡線の算出手段502Bの構成について説明するためのブロック図である。任意の高さの軌跡線の算出手段502Bは、三次元形状記憶手段502B-1と、三次元軌跡領域生成手段502B-2と、道路面投影手段502B-3、合成画像投影手段502B-4とから構成されている。三次元形状記憶手段502B-1は、自車両の形状や自車両が内接する直方体や自車両の一部、例えばバンパや車輪などの形状を記憶することが可能である。三次元軌跡領域生成手段502B-2は、三次元形状記憶手段502B-1によって記憶されている自車両の形状が自車両が動いたときに通過する実空間上での領域を生成する機能を具備し、道路面投影手段502B-3は、三次元軌跡領域生成手段502B-2によって生成された三次元領域を道路面上に投影する機能を具備し、合成画像投影手段502B-4は、道路面投影手段502B-3によって生成された三次元領域を合成画像上に投影する機能を具備する。なお、三次元形状記憶手段502B-1によって記憶されている形状が自車両のある部分の一点であることも可能なため、三次元軌跡領域生成手段502B-2によって生成される領域を三次元的な線分にすることも可能である。
【００３４】
図９は、視点変換画像合成された合成画像上に、舵角情報に応じた軌跡線を描いたものである。ここで、車両舵角対応軌跡線生成手段502における三次元形状記憶手段502B-1は、自車両の後方のコーナーに位置する道路面から高さ50cmの点の三次元位置を記憶している。この図に示すように、路面上の舵角対応軌跡線601と、高さ50cmの舵角対応軌跡線602とが表示されている。このように表示することで、どれだけ車両のハンドルを回せば周囲の立体物と接触するかの判定を容易に行うことができるようになり、駐車時などに周囲の立体物との接触の回避が容易になるという特徴を有している。
【００３５】
図１０は、図７の装置を後方パノラマ画像に応用したものである。ここでは、自車両の後方に２台の他車両と、路面上の舵角対応軌跡線701と、バンパの高さの舵角対応軌跡線702と、車高の舵角対応軌跡線703とが表示されている。
【００３６】
図１１は、自車両が後退した時の自車両のタイヤやバンパなどを路面に投影したものを合成画像上に描画したものである。ここでは、三次元形状記憶手段502B-1は、自車両のバンパと車輪の形状を記憶しており、車両舵角対応軌跡線生成手段502によって、自車両204の車輪の投影像801と、バンパ端の投影像802とを投影している。この投影像は、ある周期で自車両204の後端から後方へ時間的に動く。これにより、自車両204が動いたときに、周囲の物体との位置関係を直感的に掴み易くすることが可能である。特にハンドルを切った時、タイヤの軌跡とバンパの軌跡は回転半径の差により異なるため、図８のように自車両の立体モデルを合成画像上に描画することは有効である。
【００３７】
このように、本発明の第２の実施の形態によれば、舵角に応じた自車両の立体的な軌跡を描画することにより、どれだけ車両のハンドルを回せば周囲の立体物と接触するかの判定を容易に行うことができるようになり、駐車時などに周囲の立体物との接触の回避が容易になる。
【００３８】
また、自車両の断面や立体モデルを自車両の後端から遠ざかるように軌跡線に沿って時間的に動かしたものを画像上に描画することにより、立体物との接触判定をより容易にすることができる。
【００３９】
（第３の実施の形態）
図１２は、第３の実施の形態の画像合成装置の構成を示すブロック図である。この図において、図７と同一の構成要素または対応する構成要素には図７で使用した符号を付した。
【００４０】
この画像合成装置は、図７の装置に障害物衝突予測手段901と、障害物衝突強調表示手段902とを加えたもので、その他の構成要素は図７の装置の同様の構成を有する。
【００４１】
障害物衝突予測手段901 は、自車両の周囲に存在する車両などの障害物を検出する装置である。また車両軌跡線描画手段104は、障害物衝突予測手段901によって検出された障害物の位置と自車両の軌跡線とが衝突すると判定された場合、その先の軌跡線を描画しないようにする機能を具備している。障害物衝突強調表示手段902は、自車両の軌跡線と障害物とが衝突すると判定された場合、衝突する箇所を合成画像上で強調表示する機能を具備している。
【００４２】
このように構成することで、図１２の装置では、予想軌跡線上に障害物がある場合、障害物上に軌跡が描画されるという不自然さがなくなり、より理解のしやすい予想軌跡線を表示することが可能となる。
【００４３】
図１３は、図１２の装置によって得られたパノラマ画像と軌跡線である。図１３において、障害物より先に存在する軌跡線の点線の部分1001は画像上に描画されない。また衝突する箇所を1002のように強調表示させることで、運転者の注意を衝突箇所に集中させることが可能となる。
【００４４】
このように、本発明の第３の実施の形態によれば、自車両の周囲の障害物上に軌跡線を描画しないようにすることで、本来は進むことの出来ない進路上に軌跡を描画するといった不自然な現象を防ぐことが可能となり、より周囲の状況を理解しやすい軌跡線の描画が可能となる。
【００４５】
また、自車両と障害物の衝突が予測された場合、衝突箇所を強調して表示することで、運転者の注意をひくことも可能である。
【００４６】
（第４の実施の形態）
図１４は、第４の実施の形態の画像合成装置の構成を示すブロック図である。この図において、図７と同一の構成要素または対応する構成要素には図７で使用した符号を付した。
【００４７】
この画像合成装置は、図７の画像合成装置に、多画面生成手段1101を付加したものであって、その他の構成要素は図７の装置と同様な構成を有する。ただし、撮像手段101は、多画面生成のための映像を取得するために、車両の後部と両側部に搭載されている。
【００４８】
図１５は、車両の後部に搭載されたカメラと、車両の両側部に搭載されたカメラからの画像をもとに図１４の画像合成装置によって得た合成画像と、車両軌跡線とを示す図である。車両の後部に搭載されたカメラの画像を表示領域の上から２／３程度を用いて表示し、車両の両側部に搭載されたカメラからの画像を表示領域の下１／３程度を用いて表示する。そして、各画面に対して、自車両の後方の軌跡線1201を描く。また自車両の側方を向いているカメラの画像上には自車両の前方のコーナーの軌跡1202も描くことが可能である。ここで、異なる画面間で同じ位置を表す軌跡線あるいは自車両枠を同じ色で表示することにより、異なる画面でも自車両の同じ位置の軌跡の対応を取ることを容易にすることが好適である。
【００４９】
このように、本発明の第４の実施の形態によれば、自車両後方の軌跡を二つ以上の異なる位置のカメラから得られた画像の上に描くので、軌跡線の３次元的な位置が理解し易くなり、周囲の障害物との接触判定が容易になる。
【００５０】
また、異なる画面間で同じ位置を表す軌跡線あるいは自車両枠を同じ色で表示することで、異なる画面でも自車両の同じ位置の軌跡の対応を取ることが容易になる。
【００５１】
なお自車両の枠1203を時間的に移動させる機能を図１４の装置に持たせることも可能である。
【００５２】
（第５の実施の形態）
図１６は、第５の実施の形態の画像合成装置の構成を示すブロック図である。この図において、図１と同一の構成要素または対応する構成要素には図１で使用した符号を付した。
【００５３】
この画像合成装置は、図１の画像合成装置に多画面生成手段1101を加え、さらに軌跡線生成手段103を補助線生成手段1301に、車両軌跡線描画手段104を補助線描画手段1302に置き換えたもので、その他の構成要素は図１の装置と同じ構成を有する。
【００５４】
補助線生成手段1301は、合成画像上に、例えば自車両から10m後方と20m後方の位置などの線を生成する装置である。そして、補助線描画手段1302は、補助線生成手段1301によって出力された補助線を多画面生成手段1101によって得られた合成画像上に重畳して描画する。
【００５５】
図１７は、図１６の画像合成装置によって得られた合成画像である。ここでは、自車両から後方10mの補助線1401と、自車両の後方20mの補助線1402とが表示されている。補助線1401および1402によって、後方から接近する車両との距離を把握するのが容易になる。また、自車両の後端の線を路面に垂直に投影した補助線1403のようにを描くことも可能である。補助線1403によって、自車両を追い越そうとする他の車両などが自車両の後端より後ろを走行しているのか、自車両の側方を走行しているかの判断が容易になり、車線変更時などの際の側方の車両の確認が円滑に行えるという特徴を有している。さらに、補助線1401、1402、1403上での一般的な車両の車幅を表す補助線1404を表示することもできる。これにより、後方から接近する車両があるスケール線に近づき、その車両の幅が補助線1403とほぼ同じになったら、その車両はその補助線上付近を走行しているということが分かる。
【００５６】
このように、本発明の第５の実施の形態によれば、合成画像上に距離の目安となる補助線を引くことで、走行時などに運転者が後方から接近してくる車両との距離を把握し易くなる。
【００５７】
また、自車両の側面を撮像した画像、あるいは前記画像の合成画像上に、自車両の後端の位置を示す補助線を生成することで、側方の車両の前端が自車両の後端より後方にあるか、前方にあるか理解し易くなり、車線変更などの際に有効である。
【００５８】
さらに、これらの補助線上に、一般的な車両の車幅を示す補助線を描画することで、より周囲の車両との距離の把握を容易にさせることも可能である。
【００５９】
（第６の実施の形態）
図１８は、第６の実施の形態の画像合成・表示装置の構成を示すブロック図である。この画像合成・表示装置は、自動車に搭載される第１の撮像部1501および第２の撮像部1502と、画像変換・合成部1503と、描画部1504と、メモリ1505と、表示部1506とから構成されている。ここで、第１の撮像部1501および第２の撮像部1502は、図１の撮像手段101 に対応し、画像変換・合成部1503は視点変換画像合成手段102に対応する。
【００６０】
第１の撮像部1501および第２の撮像部1502は車両の後方を撮影する。第１の撮像部1501および第２の撮像部1502で取得された映像は、画像変換・合成部1503で仮想視点から撮像したような映像に変換される。描画部1504は、メモリ1505に格納されているデータを基に、出力画像に重畳すべきイラスト、補助線等を描画する。この描画部1504で描画された映像は表示部1506に表示される。なお、図１８では、撮像部は２台としているが、画像変換・合成部1503が対応できれば何台でも構わない。図１９に示すように、第１の撮像部1501および第２の撮像部1502は、自車両204のバンパならびに後部の車体の一部をその視野内に収めるように自車両204の後部に搭載されている。
【００６１】
以上のように構成さた画像合成・表示装置について、図２０を用いてその画面構成を説明する。この図は、あたかも車両後端から2m程度離れた地点の上空に撮像部を設置したかのような映像に変換した時の表示例である。
【００６２】
ここには、自車両204 、後方に位置する第１の他車両205、後側方に位置する第２の他車両206、および道路面1701が表示されている。網掛が付された部分1702は撮像部の視野外の路面である。
【００６３】
また、自車両204の後部のナンバープレート204A、バンパ204B、およびストップランプ204Cが表示されている。さらに、バンパの後端ならびにボディーの後縁位置に補助線1703を重畳して自車両の後縁を強調している。このとき、実際の後縁よりも外側に補助線を引いたり、補助線を太くするなどして、接触の危険性を低減することも可能である。
【００６４】
また、バンパ204Bの後端から一定の距離だけ後方に、バンパ204Bと水平にミラー確認線1704を引いている。このミラー確認線1704は、表示画像を自車両と同じ領域の危険領域、ならびに、自車両とは異なる領域の安全領域との２つの領域に分離する補助線であり、ミラーにより運転者に周囲の物体との衝突確認を促す機能を具備している。つまり、運転中に車両周囲に表示される物体がこのミラー確認線1704に接した時点でミラーを確認することで、運転者は周囲の物体との衝突可能性を最適なタイミングで確認できる。なお、ミラー確認線1704は、画像中に映るボディーの後縁、ならびにバンパの後端から一定距離だけ外側に引いたり、車両の後縁を囲むような曲線としたりしても良い。
【００６５】
このように、本発明の第６の実施の形態によれば、自車両のバンパならびに後部の車体の一部をその視野内に収めるように撮像部を設置し、自車両の映像を含めて視点変換・合成することにより、自車両と車両周辺の立体物との接触判定を容易にすることができる。
【００６６】
また、バンパの後端ならびに自車両の後縁位置に補助線を重畳して、それらの位置を強調表示した画像を提供することで、自車両の後縁を容易に判別することが可能となり、接触判定がより容易になる。
【００６７】
さらに、自車両のバンパの後端から一定距離だけ後方にバンパと水平にミラー確認線を表示した画像を提示することで、最適なタイミングにより運転者にミラーによる周囲の安全確認を促すことが可能となる。
【００６８】
（第７の実施の形態）
第７の実施の形態の画像合成・表示装置の構成は図１８と同じである。図２１は第７の実施の形態の画面構成図である。
【００６９】
図２１には、自車両の３次元的なイラスト1801が表示されている。このイラスト1801は、あたかも車両後端から2m程度離れた地点の上空に設置された仮想視点から見た映像に変換したかのように作成されており、表示画像の自車両に相当する領域に重畳される。
【００７０】
また、補助線1802はバンパ領域を表す。この領域には、実際に撮像部で撮影した画像を変換した画像を表示しても良い。これにより、実際の画像を見ているという安心感を運転者に与えることができる。このとき、実際の車両位置よりもバンパ領域のイラストを大きく描くことで、接触の危険性を低減することも可能である。
【００７１】
さらに、補助線1803は、自車両が直線的に後退した場合に、そのボディー端が通過する位置を路面上に投影した位置を示す路面上通過軌跡である。また、補助線1804は、自車両が直線的に後退した場合にバンパ端が通過する位置を示すバンパ通過軌跡である。そして、補助線1805A〜Cは、自車両から一定距離にある路面上通過軌跡上の点とバンパ端通過軌跡上の点とを繋ぐ立体補助線である。なお、自車両のバンパ端だけではなく、自車両とは異なる高さのバンパを持つ適当な他車のバンパの高さに相当する自車両のボディー端の通過軌跡を表示することも可能である。
【００７２】
このように、本発明の第７の実施の形態によれば、自車両をあたかも実際に設置した撮像部で撮影して変換・合成したかのような３次元的なイラストを表示画像に重畳して自車両を立体的に表示した画像を提供することで、自車両を立体的に捕らえることが可能となり、自車両と車両周辺の立体物との位置関係を３次元的に把握し易くなる。その結果、接触判定が容易になる。
【００７３】
また、イラストのバンパに相当する領域に実写画像を変形・合成した画像を表示することで、実際の画像を見ているという安心感を運転者に与えることができる。
【００７４】
さらに、自車両が後退した場合に、ボディー端が通過する位置を路面上に投影した位置を示す路面通過軌跡、ならびに、バンパ端が通過する位置を示すバンパ端通過軌跡、および、それらを繋いで立体感を生成する立体補助線を表示した画像を提示することで、２本の通過軌跡の位置関係を立体的に把握し易くすることができる。
【００７５】
（第８の実施の形態）
第８の実施の形態の画像合成・表示装置の構成は図１８と同じである。図２２は第８の実施の形態の画面構成図である。
【００７６】
図２２において、イラスト1901は自車両のタイヤが路面に接触している位置が確認できるように、自車両をスケルトンで表現すると共にタイヤも表現した３次元的なイラストである。このイラスト1901は、あたかも車両後端から2m程度離れた地点の上空に設置された仮想視点から見た映像に変換したかのように作成されており、表示画像の自車両に相当する領域に重畳される。なお、自車両を、ワイヤーフレームで表現するなどしても良い。
【００７７】
また、補助線1902はバンパ領域を表す。この領域領域には、実際に撮像部で撮影した画像を変換した画像を表示しても良い。そして、補助線1903は、イラスト1901内のタイヤから引いた路面通過軌跡である。これにより、路面上通過軌跡の意味を直感的に把握し易くなる。
【００７８】
このように、本発明の第８の実施の形態によれば、自車両のイラストをスケルトンあるいはワイヤーフレームなどで表現し、タイヤ位置を明示的に表示した画像を提示することで、より自車両の立体感を強調できるとともに、路面上でのタイヤ位置を直感的に理解できるため、自車両と車両あたかも車両後端から2m程度離れた地点の上空に設置された仮想視点から見た映像に変換したかのように周辺の立体物との位置関係を３次元的に把握し易くなり、接触判定が容易になる。
【００７９】
（第９の実施の形態）
第９の実施の形態の画像合成・表示装置の構成は図１８と同じである。図２３は第９の実施の形態の画面構成図である。
【００８０】
図２３において、第１の壁面2001は自車両の後端位置に路面に垂直に置かれた車両幅と同じ幅の壁面のイラストである。この壁面2001は、あたかも車両後端から2m程度離れた地点の上空に設置された仮想視点から見た映像に変換したかのように作成されており、表示画像の自車両の後端位置に相当する領域に重畳される。また、第２の壁面2002は、第１の壁面2001よりも自車両の内側に置かれた自車両幅と同じ幅の壁面のイラストである。第２の壁面2002は、第１の壁面2001と同様に作成されており、表示画像内の適当な位置に重畳される。ここで、第２の壁面2002は、路面と接触しているところが見えるように描かれている。
【００８１】
なお、第１の壁面2001に車両後部のようなイラストを描いたり、第２の壁面2002が路面と接触する部分にタイヤのイラストを描くことも可能である。
【００８２】
このように、本発明の第９の実施の形態によれば、自車両の後端位置、ならびに、その位置よりも自車両の内側に、道路面と垂直に置かれた自車両の幅と同じ幅の２枚の壁面のイラストを表示画像に重畳して自車両を立体的な物体で比喩的に表現した画像を提示することで、自車両を立体的に捕らえることが可能となるため、自車両と車両周辺の立体物との位置関係を３次元的に把握し易くなり、接触判定が容易になる。
【００８３】
（第１０の実施の形態）
図２４は、第１０の実施の形態の画像合成・表示装置の構成を示すブロック図である。この図において、図１８と同一の構成要素または対応する構成要素には図１８で使用した符号を付した。
【００８４】
図２４において、軌跡算出部2101は、外部から入力される自車両のハンドルの舵角信号を基に、現在の舵角のまま後退した場合に自車両が通過する軌跡を算出する。描画部1504は、メモリ1505に格納されているデータ、ならびに、軌跡算出部2101から入力される自車両の通過予測軌跡を基に、出力画像に重畳すべきイラスト、補助線等を描画する。
【００８５】
第１０の実施の形態の画面構成は、図２１の画面における補助線1803、1804、1805A〜Cを図９の補助線601、602のように舵角に応じて曲げたものとなる。
【００８６】
このように、本発明の第１０の実施の形態によれば、自車両の操舵角に応じて自車両のボディー端が通過する位置を路面上に投影した位置を示す路面上通過軌跡、自車両のバンパ端が通過する位置を示すバンパ端通過軌跡、および、それらを繋いで立体感を生み出す立体補助線を表示した画像を提示することで、後退する場合に、自車両の操舵角に応じて実際の通過予測軌跡を立体的に把握し易く表示することが可能となり、運転者が表示画面を参考にして最適にハンドルを操作することが可能となる。
【００８７】
なお、これらの補助線を第６〜第９の実施の形態（図２０〜２３）に示す自車両の実画あるいはイラストと同時に表示したり、路面上通過軌跡をタイヤ跡のように表示したり、バンパ端通過軌跡を自車両の実画あるいはイラストのバンパ端と繋いで表示したりしても良い。適当な高さのホディー端の通過軌跡を表示する際には、その高さに相当する自車両位置に繋ぐ。
【００８８】
また、自車両をスケルトンあるいはワイヤーフレームで表現しても良い。この場合、路面上通過軌跡1903をイラスト内のタイヤから引くようにする。これにより、路面上通過軌跡の意味を直感的に把握し易くできる。
【００８９】
さらに、これらの補助線を自車両の実画あるいはイラストと同時に表示したり、路面上通過軌跡をタイヤ跡のように表示したり、バンパ端通過軌跡を自車両の実画あるいはイラストのバンパ端と繋いで表示したりすることで、２本の通過軌跡と自車両との関係を直感的に把握し易くしても良い。
【００９０】
また、ミラー確認線も同時に表示することで、最適なタイミングで、かつ、どの辺りを確認すればよいかを運転者が直感的に把握できるようにしても良い。
【００９１】
（第１１の実施の形態）
第１１の実施の形態の画像合成・表示装置の構成は図１８と同じである。図２５は第１１の実施の形態の画面構成図である。以下、自車両がセダンとして説明する。
【００９２】
図２５において、補助線2201は、自車両が直線的に後退した場合に自車両のボディー端が通過する位置を路面上に投影した位置を示す路面上通過軌跡である。補助線2202は、自車両が直線的に後退した場合にバンパ端が通過する位置を示すバンパ端通過軌跡である。補助線2203は、自車両が直線的に後退した場合にバンパ位置が自車両のバンパ位置よりも高いＳＵＶ等のバンパ位置に相当する自車両の車体端が通過する位置を示す通過軌跡である。イラスト2204A〜Cは、自車両の後部の車体面を模したイラストであり、それぞれの位置に自車両の車体後部が位置する際に実際に画像に写る様子をイラストとして示したものである。なお、イラストとして表示している高さは補助線2203と同じ高さとしているが、必ずしも同じ高さとしなくても良く、補助線2203の高さも任意に決定して良い。
【００９３】
このように、本発明の第１１の実施の形態によれば、直線的に後退した場合の自車両の路面通過軌跡、自車両のバンパ端通過軌跡、ＳＵＶなどのバンパ端通過軌跡、および自車両の後部の車体を模したイラストを同時に表示することにより、自車両の進行方向と自車両の周囲に存在する物体との位置関係を直感的に把握することができる。
【００９４】
なお、第７〜第８の実施の形態のように、自車両のイラストと組合わせて、このイラストを移動あるいは画面にあわせて変形して自車の後部の車体面を模したイラストとして使用し、路面上通過軌跡をタイヤ跡のように表示することで、より直感的に自車両の進行方向と自車両の周囲に存在する物体との位置関係を把握できるように構成しても良い。
【００９５】
また、第６の実施の形態におけるミラー確認線も同時に表示したり、第１０の実施の形態のように、自車両の操舵角に応じて、これらの補助線を移動し、実際に後退した際に通過する軌跡を表示したりすることも可能である。なお、補助線の位置のみ正確に表示し、自車両の後部を模したイラストは予め定めた数種類から選択して適当な位置に重畳しても良い。
【００９６】
（第１２の実施の形態）
第１２の実施の形態の画像合成・表示装置の構成は図１８と同じである。図２６は第１２の実施の形態の画面構成図である。以下、自車両がセダンとして説明する。
【００９７】
図２６において、補助線2301は、自車両が直線的に後退した場合のボディ端が通過する位置を路面上に投影した位置を示す路面上通過軌跡である。補助線2302は、自車両が直線的に後退した場合にバンパの下面の端が通過する位置を示すバンパ下面端通過軌跡である。補助線2303は、自車両が直線的に後退した場合にバンパの上面の端が通過する位置を示すバンパ上面通過軌跡である。イラスト2304A 〜C は、バンパを模したイラストであり、それぞれの位置にバンパのみがある場合に実際に画像として表示される様子をイラストとして示したものである。
【００９８】
このように、本発明の第１２の実施の形態によれば、自車両が直線的に後退した場合の路面通過軌跡、バンパ上面端通過軌跡、バンパ下面通過軌跡、および自車両のバンパを模したイラストとを同時に表示することにより、直感的に自車両の進行方向と自車の周囲に存在する物体との位置関係を把握することができる。
【００９９】
なお、第７〜第８の実施の形態のように、自車両のイラストと組合わせて、このイラストを移動あるいは画面にあわせて変形して自車両の後部の車体面を模したイラストとして使用し、路面上通過軌跡をタイヤ跡のように表示することで、より直感的に自車の進行方向と自車の周囲に存在する物体との位置関係を把握できるように構成しても良い。
【０１００】
また、第６の実施の形態におけるミラー確認線も同時に表示したり、実施の形態１０のように自車両の操舵角に応じて、これらの補助線を移動し、実際に後退した際に通過する軌跡を表示したりすることも可能である。
【０１０１】
【発明の効果】
以上のように本発明は、仮想視点からの擬似映像中に適当なイラスト、補助線、軌跡線等を重畳することで、運転者が自車両と周囲の立体物との３次元的な位置関係を直感的に把握でき、その結果、適切な接触判定をすることが容易になるという優れた効果を有する画像合成装置を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の画像合成装置の構成を示すブロック図、
【図２】図１の画像合成装置によって得られた上方から垂直に見下ろした場合の合成画像と軌跡線を説明するための図、
【図３】図１における任意の高さの軌跡線算出手段103Bの構成について説明するためのブロック図、
【図４】図１における任意の高さの軌跡線算出手段103Bの処理の流れを説明するための図、
【図５】図２の軌跡線の詳細を説明するための図、
【図６】図１の画像合成装置によって得られた後方パノラマ合成画像と軌跡線の説明をするための図、
【図７】本発明の第２の実施の形態の画像合成装置の構成を示すブロック図、
【図８】図７における任意の高さの軌跡線の算出手段502Bの構成について説明するためのブロック図、
【図９】図７の画像合成装置によって得られた上方から垂直に見下ろした場合の合成画像と軌跡線の説明をするための図、
【図１０】図７の画像合成装置によって得られた上方から垂直に見下ろした場合の合成画像と軌跡線の説明をするための図、
【図１１】図７の画像合成装置によって得られた上方から垂直に見下ろした場合の合成画像と軌跡線と時間的に動く自車両の立体表示を説明するための図、
【図１２】本発明の第３の実施の形態の画像合成装置の構成を示すブロック図、
【図１３】図１２の画像合成装置によって得られた後方パノラマ合成画像と軌跡線と衝突箇所の強調表示を説明するための図、
【図１４】本発明の第４の実施の形態の画像合成装置の構成を示すブロック図、
【図１５】図１４の画像合成装置によって得られた多画面表示画像と軌跡線を説明するための図
【図１６】本発明の第５の実施の形態の画像合成装置の構成を示すブロック図、
【図１７】図１６の画像合成装置によって得られた多画面表示画像と補助線を説明するための図、
【図１８】本発明の第６の実施の形態の画像合成・表示装置の構成を示すブロック図、
【図１９】本発明の第６の実施の形態の画像合成・表示装置の撮像部設置図、
【図２０】本発明の第６の実施の形態の画像合成・表示装置の画面構成図、
【図２１】本発明の第７の実施の形態の画像合成・表示装置の画面構成図、
【図２２】本発明の第８の実施の形態の画像合成・表示装置の画面構成図、
【図２３】本発明の第９の実施の形態の画像合成・表示装置の画面構成図、
【図２４】本発明の第１０の実施の形態の画像合成・表示装置の構成を示すブロック図、
【図２５】本発明の第１１の実施の形態の画像合成・表示装置の画面構成図、
【図２６】本発明の第１２の実施の形態の画像合成・表示装置の画面構成図、
【図２７】従来の後方視界表示装置の画面構成図、
【図２８】従来の後方視界表示装置の課題を説明するための車両の位置関係図である。
【符号の説明】
101 撮像手段
102 視点変換画像合成手段
103 車両直進軌跡線生成手段
103A 路面上の軌跡線の算出手段
103B 任意の高さの軌跡線の算出手段
104 車両軌跡線描画手段
201 路面上の軌跡線
202 高さ50cmの軌跡線
203 路面に対して垂直な線
204 自車両
401 路面上の軌跡線
402 バンパ端の軌跡線
403 自車両の高さの軌跡線
501 舵角情報出力手段
502 車両舵角対応軌跡線生成手段
601 路面上の舵角対応軌跡線
602 高さ50cmの舵角対応軌跡線
701 路面上の舵角対応軌跡線
702 バンパ端の舵角対応軌跡線
703 車高の舵角対応軌跡線
801 自車両の車輪
802 自車両のバンパ端
901 障害物衝突予測手段
902 障害物衝突強調表示手段
1001 描画されない軌跡線
1002 衝突箇所の強調表示
1101 多画面生成手段
1201 舵角対応軌跡線
1202 車両前方端の舵角対応軌跡線
1203 時間的に移動する自車両枠
1301 補助線生成手段
1302 補助線描画手段
1401 自車両の後方10m を示す補助線
1402 自車両の後方20m を示す補助線
1403 自車両の後端を示す補助線
1404 各補助線上での一般的な車両の車幅を示す補助線
1501 撮像部
1502 撮像部
1503 画像変換・合成部
1504 描画部
1505 メモリ
1506 表示部
1701 道路面
1702 撮像部の視野外の路面
1703 パンパー後端ならびに自車両の後縁
1704 ミラー確認線
1801 自車両イラスト
1802 バンパ領域
1902 バンパ領域
1803 路面上通過軌跡
2201 路面上通過軌跡
2301 路面上通過軌跡
1804 バンパ端通過軌跡
1805A 立体補助線
1805B 立体補助線
1805C 立体補助線
1901 自車両イラスト( スケルトン)
2001 壁面イラスト
2002 壁面イラスト
2101 軌跡算出部
2202 バンパ通過軌跡
2203 バンパ通過軌跡
2204A 車体後部のイラスト
2204B 車体後部のイラスト
2204C 車体後部のイラスト
2302 バンパ下面端通過軌跡
2303 バンパ上面通過軌跡
2304A バンパの立体イラスト
2304B バンパの立体イラスト
2304C バンパの立体イラスト
【発明の属する技術分野】
本発明は、画像合成装置に関し、特に自動車に搭載された複数の撮像装置によって得られた画像を仮想視点からの画像に視点変換して合成し、自動車の周囲の画像を運転者に提示し、駐車時などの運転者の運転を支援する装置に用いて好適な画像合成装置に関するものである。
【０００２】
【従来の技術】
従来、この種の画像表示装置として、「The Principle of virtual viewpoint image synthesis using a road surface model」(第７回ITS 世界会議) により、カメラの実写映像をあたかも仮想視点から撮影したかのような映像に視点変換して、モニタに表示する装置が知られている。また、特許第2610146号により、車両の舵角センサによって検出した舵角に対応した後進予測軌跡を車載カメラ映像に重畳する装置が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の画像表示装置においては、仮想視点で撮影したかのように変換した映像に、後進予測軌跡を重畳してモニタに表示した場合、周囲の立体物までの距離が、モニタの映像では、実際の距離よりも大きいと誤解しやすいという問題があった。
【０００４】
以下、図を用いて説明する。図２７において、モニタ映像中では自車両のイラスト2401と他車両2402との距離は、まだ十分に開いているように見える。しかし、実際には、図２８に示すように自車両2401と他車両2402とは、かなり接近している。これは、仮想視点への変換により、バンパのように地上から離れている物体が変換後の画像では、実際の位置よりもカメラから遠い位置へと投影されることに起因する。
【０００５】
本発明は、前記従来の問題を解決するためになされたもので、仮想視点で撮影したかのように変換した映像に、補助映像を重畳してモニタに表示することにより、周囲の立体物への接近をモニタ映像から容易に類推できるような映像を提示することの可能な画像合成装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像合成装置は、車両に搭載された撮像手段と、前記撮像手段によって撮像された画像を視点変換して画像を合成する視点変換画像合成手段と、前記車両の任意の高さの軌跡線または垂直線の少なくとも一方を生成する車両軌跡線生成手段と、前記視点変換画像合成手段によって合成された画像上に、前記車両軌跡線生成手段によって生成された軌跡線を描画する車両軌跡線描画手段とを具備したものである。この構成により、自車両の任意の高さの軌跡線を生成し、視点変換によって得られた合成画像上に表示することとなるため、前記合成画像上に自車両の立体的な軌跡を描画するが可能となる。したがって、視点変換画像合成を行った場合に生じる周囲の立体物の歪みと同様に自車両の軌跡を歪ませることにより、周囲と自車の予想軌跡との三次元的な位置関係が捉えやすくなり、視認性が向上し、自車両と周囲の立体物との接触判定を容易に行うことが可能となる。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いながら詳細に説明する。
【００１０】
（第１の実施の形態）
図１は、第１の実施の形態の画像合成装置の構成を示すブロック図である。この画像合成装置は、自動車に搭載された撮像手段101と、視点変換画像合成手段102と、車両直進軌跡線生成手段103と、車両軌跡線描画手段104とによって構成されている。
【００１１】
撮像手段101は車両の後部などに搭載された１台以上のカメラから構成されており、車両の後方を向いている。視点変換画像合成手段102は、撮像手段101によって撮像された１枚以上の画像を入力することによって、仮想視点から見た合成画像を出力する。車両直進軌跡線生成手段103は、自車両の大きさおよび形状や視点変換の際のカメラパラメータ、撮像手段101の撮像状況を入力することで、自車両が真っ直ぐに後退した場合の軌跡線を出力する。車両直進軌跡線生成手段103は、路面上の軌跡線算出手段103Aと任意の高さの軌跡線算出手段103Bとを具備しており、自車両の任意の位置の軌跡線を出力することが可能で、例えば道路面上の軌跡や、車両のバンパ端の軌跡などを同時に出力する機能を具備している。車両軌跡線描画手段104は、車両直進軌跡線生成手段103によって出力された自車両の軌跡線を視点変換画像合成手段102によって得られた合成画像上に重畳して描画する。なお、車両軌跡線描画手段104の出力は、図示されていない表示装置に与えられ、表示される。
【００１２】
図２は、撮像手段101によって得られた画像を視点変換画像合成手段102によって自車両の後方から自車両の置かれている路面に対して垂直に見下ろした画像を合成し、車両軌跡線描画手段104によって得られた自車両204の路面上の軌跡線201と、路面から高さ50cmの位置の自車両の軌跡線202とを車両直進軌跡線生成手段103によって合成画像上に描画した場合の図である。合成画像上で、立体物がどのように投影されているか分かり易くするため、路面上の軌跡線201と高さを持つ軌跡線202とを路面に対して垂直な直線203で結んでいる。ここで、自車両204の後方には第１の他車両205が存在し、側方には第２の他車両206が存在する。
【００１３】
図３は、図１における任意の高さの軌跡線算出手段103Bの構成について説明するためのブロック図である。任意の高さの軌跡線算出手段103Bは、三次元軌跡線生成手段103B-1と、三次元軌跡線道路面投影手段103B-2と、合成画像投影手段103B-3とから構成されている。三次元軌跡線生成手段103B-1は、実空間上での車両の任意の高さの三次元的な軌跡線を生成する機能を具備している。三次元軌跡線道路面投影手段103B-2は、三次元軌跡線生成手段103B-1によって生成された三次元的な軌跡線を、車に取り付けられた撮像手段から道路面上に投影する機能を具備している。合成画像投影手段103B-3は、三次元軌跡線道路面投影手段103B-2によって道路面上に投影された軌跡線を合成画像上に投影する機能を具備している。
【００１４】
図４は、前記任意の高さの軌跡線算出手段103Bの処理の流れを説明するための図である。まず、三次元軌跡線生成手段103B-1によって、三次元空間上に自車両の任意の部分の軌跡線として線分105が生成される。次に、線分105は三次元軌跡線道路面投影手段103B-2によって、車に取り付けられた撮像手段から、道路面上の線分106に投影される。次いで、線分106は合成画像投影手段103B-3によって、合成画像上の線分107に投影される。このようにして得られた線分107が合成画像上での軌跡線である。
【００１５】
図５は、図２の軌跡線を詳しく説明するための図である。図５に示すように、車両の路面上の軌跡上の各点をａからｈ、路面から高さ50cmの軌跡上の各点をＡからＨとする。
【００１６】
直線abは自車両204 の後端の路面上の位置を表す直線、直線cdは自車両204の後方1mの路面上の位置を表す直線、直線efは自車両204の後方2mの路面上の位置を表す直線、ghは自車両204の後方3mの路面上の位置を表す直線である。また、直線ABは自車両204の後端の高さ50cmを表す直線、直線CDは自車両204の後方1mの高さ50cmを表す直線、直線EFは自車両204の後方2mの高さ50cmを表す直線、直線GHは自車両204の後方3mの高さ50cmを表す直線である。したがって、直線Aa、Bb、Cc、Dd、Ee、Ff、Gg、Hhは路面上のそれぞれの位置に長さ50cmの棒が路面に対して垂直に立っている場合の合成画像上での像を表していると考えることができる。
【００１７】
上記のように軌跡線を定めると、例えば、合成画像上で、四角形ABCD内の領域に道路面しか表示されていない場合、少なくとも自車両の幅で後方1mまでは高さ50cm以下の物体は存在しないということが言える。逆に四角形ABCD内に路面以外の立体物が表示されている場合、自車両の幅で後方1mまでに高さ50cm以下の物体が存在する可能性があるということが言える。
【００１８】
ここで、図１の装置は、描画する軌跡線の色を自由に変えることも可能である。例えば、自車両から1mの範囲までを表す線分を赤、1mから2mまでの範囲を表す線分の色を黄色、2mから3mまでの範囲を表す線分の色を青にするといったことが可能である。また、路面上の軌跡acegおよびbdfhを黒くしたり太くしたりすることで自車両のタイヤの軌跡であるということが直感的に分かり易くなるように表示することも可能である。
【００１９】
また、図１の装置は、自車両のバンパの高さの軌跡を描くことも可能である。自車両のバンパの高さの軌跡を描くと、合成画像上で自車両のバンパと周囲の物体との接触判定をすることが容易になるという特徴を持たせることが可能である。
【００２０】
さらに、図２で描かれている軌跡線は、車両の後方3m迄であるが、任意の距離迄の軌跡線を描くことも可能である。
【００２１】
図６は、撮像手段101によって得られた画像から視点変換画像合成手段102によって後方パノラマ画像を合成し、この合成画像上に自車両の道路面上の軌跡401と自車両のバンパ端の軌跡402と自車両の車高の軌跡403とを描いたものである。自車両の車高の軌跡を描くことにより、周囲の車両との距離感などが把握し易いという特徴を有している。
【００２２】
このように、本発明の第１の実施の形態によれば、視点変換合成画像上に自車両の立体的な軌跡を描画することができるので、運転者は自車両と周囲の立体物との接触判定を容易に行うことが可能となる。
【００２３】
また、自車両の路面上の軌跡線と任意の高さの軌跡線とを直線または曲線によって補間することで、路面に対して垂直な線や、自車両の軌跡線上の断面図を合成画像上に表示することも可能である。
【００２４】
例えば、自車に装備された荷台連結器（ヒッチ）を用いての荷台車との連結というシーンを想定した場合、荷台車が自車から離れている初期状態、すなわち自車を荷台車に近づける際においては、表示される自車の予想軌跡により、対象となる荷台車にどう近づけていけば良いか方針が立てやすく、また、荷台車を連結する直前においては、視点変換によりあたかも真上から見たような映像（平面投影）を提供することにより、互いのヒッチの位置関係を正確に捉えることが可能となり、以上の動作と使い方により、容易に荷台と自車との連結が可能となる。
【００２５】
また、限られた駐車スペースへの駐車の際、あるいは、複数車線での後方車両の位置関係の把握の際にも、運転者に理解しやすい映像を提供できるという同様の利点が生じることはいうまでもない。
【００２６】
さらに、上記の例のように、あらかじめヒッチの高さやバンパの高さ等一番クリティカルな部分の高さがわかっているのであれば、その高さの軌跡線を運転者の指示により描画しても良い。
【００２７】
そして、バンパ端の軌跡線を描画することで、バンパ端の接触判定を可能にしたり、車高の軌跡線を合成画像上に描画することで、直感的に理解しやすい軌跡線を描画したりすることも可能である。
【００２８】
また、自車両からの距離に応じて軌跡線の色や太さを変えて描画することで、運転者の注目を自車両の近傍に集中させるなどの効果を得ることもできる。
【００２９】
本発明の第１の実施の形態の画像合成装置は、運転者に対して、後方死角を明瞭に表示する安全性と、上記駐車や連結時の利便性を兼ね備えた優れた運転支援装置としても活用・利用することができる。
【００３０】
（第２の実施の形態）
図７は、第２の実施の形態の画像合成装置の構成を示すブロック図である。この図において、図１と同一の構成要素または対応する構成要素には図１で使用した符号を付した。
【００３１】
この画像合成装置は、図１の画像合成装置において、車両直進軌跡線生成手段103に代えて車両舵角対応軌跡線生成手段502を設け、さらに舵角情報出力手段501を付加し、その出力を車両舵角対応軌跡線生成手段502に入力するように構成したものである。その他の構成要素は図１の装置と同じ構成を有する。
【００３２】
舵角情報出力手段501は、自車両のハンドル舵角を出力する装置であり、車両舵角対応軌跡線生成手段502はハンドル舵角を入力として、そのハンドル舵角に応じた軌跡線を出力する装置である。車両舵角対応軌跡線生成手段502は、路面上の軌跡線の算出手段502Aと任意の高さの軌跡線の算出手段502Bとを具備しており、ハンドル舵角と自車両の大きさおよび形状と視点変換の際のカメラパラメータと撮像手段101の撮像状況とを入力することで、自車両が後退した場合の自車両の任意の位置の舵角に対応した軌跡線を出力する機能を具備している。
【００３３】
図８は、図７における任意の高さの軌跡線の算出手段502Bの構成について説明するためのブロック図である。任意の高さの軌跡線の算出手段502Bは、三次元形状記憶手段502B-1と、三次元軌跡領域生成手段502B-2と、道路面投影手段502B-3、合成画像投影手段502B-4とから構成されている。三次元形状記憶手段502B-1は、自車両の形状や自車両が内接する直方体や自車両の一部、例えばバンパや車輪などの形状を記憶することが可能である。三次元軌跡領域生成手段502B-2は、三次元形状記憶手段502B-1によって記憶されている自車両の形状が自車両が動いたときに通過する実空間上での領域を生成する機能を具備し、道路面投影手段502B-3は、三次元軌跡領域生成手段502B-2によって生成された三次元領域を道路面上に投影する機能を具備し、合成画像投影手段502B-4は、道路面投影手段502B-3によって生成された三次元領域を合成画像上に投影する機能を具備する。なお、三次元形状記憶手段502B-1によって記憶されている形状が自車両のある部分の一点であることも可能なため、三次元軌跡領域生成手段502B-2によって生成される領域を三次元的な線分にすることも可能である。
【００３４】
図９は、視点変換画像合成された合成画像上に、舵角情報に応じた軌跡線を描いたものである。ここで、車両舵角対応軌跡線生成手段502における三次元形状記憶手段502B-1は、自車両の後方のコーナーに位置する道路面から高さ50cmの点の三次元位置を記憶している。この図に示すように、路面上の舵角対応軌跡線601と、高さ50cmの舵角対応軌跡線602とが表示されている。このように表示することで、どれだけ車両のハンドルを回せば周囲の立体物と接触するかの判定を容易に行うことができるようになり、駐車時などに周囲の立体物との接触の回避が容易になるという特徴を有している。
【００３５】
図１０は、図７の装置を後方パノラマ画像に応用したものである。ここでは、自車両の後方に２台の他車両と、路面上の舵角対応軌跡線701と、バンパの高さの舵角対応軌跡線702と、車高の舵角対応軌跡線703とが表示されている。
【００３６】
図１１は、自車両が後退した時の自車両のタイヤやバンパなどを路面に投影したものを合成画像上に描画したものである。ここでは、三次元形状記憶手段502B-1は、自車両のバンパと車輪の形状を記憶しており、車両舵角対応軌跡線生成手段502によって、自車両204の車輪の投影像801と、バンパ端の投影像802とを投影している。この投影像は、ある周期で自車両204の後端から後方へ時間的に動く。これにより、自車両204が動いたときに、周囲の物体との位置関係を直感的に掴み易くすることが可能である。特にハンドルを切った時、タイヤの軌跡とバンパの軌跡は回転半径の差により異なるため、図８のように自車両の立体モデルを合成画像上に描画することは有効である。
【００３７】
このように、本発明の第２の実施の形態によれば、舵角に応じた自車両の立体的な軌跡を描画することにより、どれだけ車両のハンドルを回せば周囲の立体物と接触するかの判定を容易に行うことができるようになり、駐車時などに周囲の立体物との接触の回避が容易になる。
【００３８】
また、自車両の断面や立体モデルを自車両の後端から遠ざかるように軌跡線に沿って時間的に動かしたものを画像上に描画することにより、立体物との接触判定をより容易にすることができる。
【００３９】
（第３の実施の形態）
図１２は、第３の実施の形態の画像合成装置の構成を示すブロック図である。この図において、図７と同一の構成要素または対応する構成要素には図７で使用した符号を付した。
【００４０】
この画像合成装置は、図７の装置に障害物衝突予測手段901と、障害物衝突強調表示手段902とを加えたもので、その他の構成要素は図７の装置の同様の構成を有する。
【００４１】
障害物衝突予測手段901 は、自車両の周囲に存在する車両などの障害物を検出する装置である。また車両軌跡線描画手段104は、障害物衝突予測手段901によって検出された障害物の位置と自車両の軌跡線とが衝突すると判定された場合、その先の軌跡線を描画しないようにする機能を具備している。障害物衝突強調表示手段902は、自車両の軌跡線と障害物とが衝突すると判定された場合、衝突する箇所を合成画像上で強調表示する機能を具備している。
【００４２】
このように構成することで、図１２の装置では、予想軌跡線上に障害物がある場合、障害物上に軌跡が描画されるという不自然さがなくなり、より理解のしやすい予想軌跡線を表示することが可能となる。
【００４３】
図１３は、図１２の装置によって得られたパノラマ画像と軌跡線である。図１３において、障害物より先に存在する軌跡線の点線の部分1001は画像上に描画されない。また衝突する箇所を1002のように強調表示させることで、運転者の注意を衝突箇所に集中させることが可能となる。
【００４４】
このように、本発明の第３の実施の形態によれば、自車両の周囲の障害物上に軌跡線を描画しないようにすることで、本来は進むことの出来ない進路上に軌跡を描画するといった不自然な現象を防ぐことが可能となり、より周囲の状況を理解しやすい軌跡線の描画が可能となる。
【００４５】
また、自車両と障害物の衝突が予測された場合、衝突箇所を強調して表示することで、運転者の注意をひくことも可能である。
【００４６】
（第４の実施の形態）
図１４は、第４の実施の形態の画像合成装置の構成を示すブロック図である。この図において、図７と同一の構成要素または対応する構成要素には図７で使用した符号を付した。
【００４７】
この画像合成装置は、図７の画像合成装置に、多画面生成手段1101を付加したものであって、その他の構成要素は図７の装置と同様な構成を有する。ただし、撮像手段101は、多画面生成のための映像を取得するために、車両の後部と両側部に搭載されている。
【００４８】
図１５は、車両の後部に搭載されたカメラと、車両の両側部に搭載されたカメラからの画像をもとに図１４の画像合成装置によって得た合成画像と、車両軌跡線とを示す図である。車両の後部に搭載されたカメラの画像を表示領域の上から２／３程度を用いて表示し、車両の両側部に搭載されたカメラからの画像を表示領域の下１／３程度を用いて表示する。そして、各画面に対して、自車両の後方の軌跡線1201を描く。また自車両の側方を向いているカメラの画像上には自車両の前方のコーナーの軌跡1202も描くことが可能である。ここで、異なる画面間で同じ位置を表す軌跡線あるいは自車両枠を同じ色で表示することにより、異なる画面でも自車両の同じ位置の軌跡の対応を取ることを容易にすることが好適である。
【００４９】
このように、本発明の第４の実施の形態によれば、自車両後方の軌跡を二つ以上の異なる位置のカメラから得られた画像の上に描くので、軌跡線の３次元的な位置が理解し易くなり、周囲の障害物との接触判定が容易になる。
【００５０】
また、異なる画面間で同じ位置を表す軌跡線あるいは自車両枠を同じ色で表示することで、異なる画面でも自車両の同じ位置の軌跡の対応を取ることが容易になる。
【００５１】
なお自車両の枠1203を時間的に移動させる機能を図１４の装置に持たせることも可能である。
【００５２】
（第５の実施の形態）
図１６は、第５の実施の形態の画像合成装置の構成を示すブロック図である。この図において、図１と同一の構成要素または対応する構成要素には図１で使用した符号を付した。
【００５３】
この画像合成装置は、図１の画像合成装置に多画面生成手段1101を加え、さらに軌跡線生成手段103を補助線生成手段1301に、車両軌跡線描画手段104を補助線描画手段1302に置き換えたもので、その他の構成要素は図１の装置と同じ構成を有する。
【００５４】
補助線生成手段1301は、合成画像上に、例えば自車両から10m後方と20m後方の位置などの線を生成する装置である。そして、補助線描画手段1302は、補助線生成手段1301によって出力された補助線を多画面生成手段1101によって得られた合成画像上に重畳して描画する。
【００５５】
図１７は、図１６の画像合成装置によって得られた合成画像である。ここでは、自車両から後方10mの補助線1401と、自車両の後方20mの補助線1402とが表示されている。補助線1401および1402によって、後方から接近する車両との距離を把握するのが容易になる。また、自車両の後端の線を路面に垂直に投影した補助線1403のようにを描くことも可能である。補助線1403によって、自車両を追い越そうとする他の車両などが自車両の後端より後ろを走行しているのか、自車両の側方を走行しているかの判断が容易になり、車線変更時などの際の側方の車両の確認が円滑に行えるという特徴を有している。さらに、補助線1401、1402、1403上での一般的な車両の車幅を表す補助線1404を表示することもできる。これにより、後方から接近する車両があるスケール線に近づき、その車両の幅が補助線1403とほぼ同じになったら、その車両はその補助線上付近を走行しているということが分かる。
【００５６】
このように、本発明の第５の実施の形態によれば、合成画像上に距離の目安となる補助線を引くことで、走行時などに運転者が後方から接近してくる車両との距離を把握し易くなる。
【００５７】
また、自車両の側面を撮像した画像、あるいは前記画像の合成画像上に、自車両の後端の位置を示す補助線を生成することで、側方の車両の前端が自車両の後端より後方にあるか、前方にあるか理解し易くなり、車線変更などの際に有効である。
【００５８】
さらに、これらの補助線上に、一般的な車両の車幅を示す補助線を描画することで、より周囲の車両との距離の把握を容易にさせることも可能である。
【００５９】
（第６の実施の形態）
図１８は、第６の実施の形態の画像合成・表示装置の構成を示すブロック図である。この画像合成・表示装置は、自動車に搭載される第１の撮像部1501および第２の撮像部1502と、画像変換・合成部1503と、描画部1504と、メモリ1505と、表示部1506とから構成されている。ここで、第１の撮像部1501および第２の撮像部1502は、図１の撮像手段101 に対応し、画像変換・合成部1503は視点変換画像合成手段102に対応する。
【００６０】
第１の撮像部1501および第２の撮像部1502は車両の後方を撮影する。第１の撮像部1501および第２の撮像部1502で取得された映像は、画像変換・合成部1503で仮想視点から撮像したような映像に変換される。描画部1504は、メモリ1505に格納されているデータを基に、出力画像に重畳すべきイラスト、補助線等を描画する。この描画部1504で描画された映像は表示部1506に表示される。なお、図１８では、撮像部は２台としているが、画像変換・合成部1503が対応できれば何台でも構わない。図１９に示すように、第１の撮像部1501および第２の撮像部1502は、自車両204のバンパならびに後部の車体の一部をその視野内に収めるように自車両204の後部に搭載されている。
【００６１】
以上のように構成さた画像合成・表示装置について、図２０を用いてその画面構成を説明する。この図は、あたかも車両後端から2m程度離れた地点の上空に撮像部を設置したかのような映像に変換した時の表示例である。
【００６２】
ここには、自車両204 、後方に位置する第１の他車両205、後側方に位置する第２の他車両206、および道路面1701が表示されている。網掛が付された部分1702は撮像部の視野外の路面である。
【００６３】
また、自車両204の後部のナンバープレート204A、バンパ204B、およびストップランプ204Cが表示されている。さらに、バンパの後端ならびにボディーの後縁位置に補助線1703を重畳して自車両の後縁を強調している。このとき、実際の後縁よりも外側に補助線を引いたり、補助線を太くするなどして、接触の危険性を低減することも可能である。
【００６４】
また、バンパ204Bの後端から一定の距離だけ後方に、バンパ204Bと水平にミラー確認線1704を引いている。このミラー確認線1704は、表示画像を自車両と同じ領域の危険領域、ならびに、自車両とは異なる領域の安全領域との２つの領域に分離する補助線であり、ミラーにより運転者に周囲の物体との衝突確認を促す機能を具備している。つまり、運転中に車両周囲に表示される物体がこのミラー確認線1704に接した時点でミラーを確認することで、運転者は周囲の物体との衝突可能性を最適なタイミングで確認できる。なお、ミラー確認線1704は、画像中に映るボディーの後縁、ならびにバンパの後端から一定距離だけ外側に引いたり、車両の後縁を囲むような曲線としたりしても良い。
【００６５】
このように、本発明の第６の実施の形態によれば、自車両のバンパならびに後部の車体の一部をその視野内に収めるように撮像部を設置し、自車両の映像を含めて視点変換・合成することにより、自車両と車両周辺の立体物との接触判定を容易にすることができる。
【００６６】
また、バンパの後端ならびに自車両の後縁位置に補助線を重畳して、それらの位置を強調表示した画像を提供することで、自車両の後縁を容易に判別することが可能となり、接触判定がより容易になる。
【００６７】
さらに、自車両のバンパの後端から一定距離だけ後方にバンパと水平にミラー確認線を表示した画像を提示することで、最適なタイミングにより運転者にミラーによる周囲の安全確認を促すことが可能となる。
【００６８】
（第７の実施の形態）
第７の実施の形態の画像合成・表示装置の構成は図１８と同じである。図２１は第７の実施の形態の画面構成図である。
【００６９】
図２１には、自車両の３次元的なイラスト1801が表示されている。このイラスト1801は、あたかも車両後端から2m程度離れた地点の上空に設置された仮想視点から見た映像に変換したかのように作成されており、表示画像の自車両に相当する領域に重畳される。
【００７０】
また、補助線1802はバンパ領域を表す。この領域には、実際に撮像部で撮影した画像を変換した画像を表示しても良い。これにより、実際の画像を見ているという安心感を運転者に与えることができる。このとき、実際の車両位置よりもバンパ領域のイラストを大きく描くことで、接触の危険性を低減することも可能である。
【００７１】
さらに、補助線1803は、自車両が直線的に後退した場合に、そのボディー端が通過する位置を路面上に投影した位置を示す路面上通過軌跡である。また、補助線1804は、自車両が直線的に後退した場合にバンパ端が通過する位置を示すバンパ通過軌跡である。そして、補助線1805A〜Cは、自車両から一定距離にある路面上通過軌跡上の点とバンパ端通過軌跡上の点とを繋ぐ立体補助線である。なお、自車両のバンパ端だけではなく、自車両とは異なる高さのバンパを持つ適当な他車のバンパの高さに相当する自車両のボディー端の通過軌跡を表示することも可能である。
【００７２】
このように、本発明の第７の実施の形態によれば、自車両をあたかも実際に設置した撮像部で撮影して変換・合成したかのような３次元的なイラストを表示画像に重畳して自車両を立体的に表示した画像を提供することで、自車両を立体的に捕らえることが可能となり、自車両と車両周辺の立体物との位置関係を３次元的に把握し易くなる。その結果、接触判定が容易になる。
【００７３】
また、イラストのバンパに相当する領域に実写画像を変形・合成した画像を表示することで、実際の画像を見ているという安心感を運転者に与えることができる。
【００７４】
さらに、自車両が後退した場合に、ボディー端が通過する位置を路面上に投影した位置を示す路面通過軌跡、ならびに、バンパ端が通過する位置を示すバンパ端通過軌跡、および、それらを繋いで立体感を生成する立体補助線を表示した画像を提示することで、２本の通過軌跡の位置関係を立体的に把握し易くすることができる。
【００７５】
（第８の実施の形態）
第８の実施の形態の画像合成・表示装置の構成は図１８と同じである。図２２は第８の実施の形態の画面構成図である。
【００７６】
図２２において、イラスト1901は自車両のタイヤが路面に接触している位置が確認できるように、自車両をスケルトンで表現すると共にタイヤも表現した３次元的なイラストである。このイラスト1901は、あたかも車両後端から2m程度離れた地点の上空に設置された仮想視点から見た映像に変換したかのように作成されており、表示画像の自車両に相当する領域に重畳される。なお、自車両を、ワイヤーフレームで表現するなどしても良い。
【００７７】
また、補助線1902はバンパ領域を表す。この領域領域には、実際に撮像部で撮影した画像を変換した画像を表示しても良い。そして、補助線1903は、イラスト1901内のタイヤから引いた路面通過軌跡である。これにより、路面上通過軌跡の意味を直感的に把握し易くなる。
【００７８】
このように、本発明の第８の実施の形態によれば、自車両のイラストをスケルトンあるいはワイヤーフレームなどで表現し、タイヤ位置を明示的に表示した画像を提示することで、より自車両の立体感を強調できるとともに、路面上でのタイヤ位置を直感的に理解できるため、自車両と車両あたかも車両後端から2m程度離れた地点の上空に設置された仮想視点から見た映像に変換したかのように周辺の立体物との位置関係を３次元的に把握し易くなり、接触判定が容易になる。
【００７９】
（第９の実施の形態）
第９の実施の形態の画像合成・表示装置の構成は図１８と同じである。図２３は第９の実施の形態の画面構成図である。
【００８０】
図２３において、第１の壁面2001は自車両の後端位置に路面に垂直に置かれた車両幅と同じ幅の壁面のイラストである。この壁面2001は、あたかも車両後端から2m程度離れた地点の上空に設置された仮想視点から見た映像に変換したかのように作成されており、表示画像の自車両の後端位置に相当する領域に重畳される。また、第２の壁面2002は、第１の壁面2001よりも自車両の内側に置かれた自車両幅と同じ幅の壁面のイラストである。第２の壁面2002は、第１の壁面2001と同様に作成されており、表示画像内の適当な位置に重畳される。ここで、第２の壁面2002は、路面と接触しているところが見えるように描かれている。
【００８１】
なお、第１の壁面2001に車両後部のようなイラストを描いたり、第２の壁面2002が路面と接触する部分にタイヤのイラストを描くことも可能である。
【００８２】
このように、本発明の第９の実施の形態によれば、自車両の後端位置、ならびに、その位置よりも自車両の内側に、道路面と垂直に置かれた自車両の幅と同じ幅の２枚の壁面のイラストを表示画像に重畳して自車両を立体的な物体で比喩的に表現した画像を提示することで、自車両を立体的に捕らえることが可能となるため、自車両と車両周辺の立体物との位置関係を３次元的に把握し易くなり、接触判定が容易になる。
【００８３】
（第１０の実施の形態）
図２４は、第１０の実施の形態の画像合成・表示装置の構成を示すブロック図である。この図において、図１８と同一の構成要素または対応する構成要素には図１８で使用した符号を付した。
【００８４】
図２４において、軌跡算出部2101は、外部から入力される自車両のハンドルの舵角信号を基に、現在の舵角のまま後退した場合に自車両が通過する軌跡を算出する。描画部1504は、メモリ1505に格納されているデータ、ならびに、軌跡算出部2101から入力される自車両の通過予測軌跡を基に、出力画像に重畳すべきイラスト、補助線等を描画する。
【００８５】
第１０の実施の形態の画面構成は、図２１の画面における補助線1803、1804、1805A〜Cを図９の補助線601、602のように舵角に応じて曲げたものとなる。
【００８６】
このように、本発明の第１０の実施の形態によれば、自車両の操舵角に応じて自車両のボディー端が通過する位置を路面上に投影した位置を示す路面上通過軌跡、自車両のバンパ端が通過する位置を示すバンパ端通過軌跡、および、それらを繋いで立体感を生み出す立体補助線を表示した画像を提示することで、後退する場合に、自車両の操舵角に応じて実際の通過予測軌跡を立体的に把握し易く表示することが可能となり、運転者が表示画面を参考にして最適にハンドルを操作することが可能となる。
【００８７】
なお、これらの補助線を第６〜第９の実施の形態（図２０〜２３）に示す自車両の実画あるいはイラストと同時に表示したり、路面上通過軌跡をタイヤ跡のように表示したり、バンパ端通過軌跡を自車両の実画あるいはイラストのバンパ端と繋いで表示したりしても良い。適当な高さのホディー端の通過軌跡を表示する際には、その高さに相当する自車両位置に繋ぐ。
【００８８】
また、自車両をスケルトンあるいはワイヤーフレームで表現しても良い。この場合、路面上通過軌跡1903をイラスト内のタイヤから引くようにする。これにより、路面上通過軌跡の意味を直感的に把握し易くできる。
【００８９】
さらに、これらの補助線を自車両の実画あるいはイラストと同時に表示したり、路面上通過軌跡をタイヤ跡のように表示したり、バンパ端通過軌跡を自車両の実画あるいはイラストのバンパ端と繋いで表示したりすることで、２本の通過軌跡と自車両との関係を直感的に把握し易くしても良い。
【００９０】
また、ミラー確認線も同時に表示することで、最適なタイミングで、かつ、どの辺りを確認すればよいかを運転者が直感的に把握できるようにしても良い。
【００９１】
（第１１の実施の形態）
第１１の実施の形態の画像合成・表示装置の構成は図１８と同じである。図２５は第１１の実施の形態の画面構成図である。以下、自車両がセダンとして説明する。
【００９２】
図２５において、補助線2201は、自車両が直線的に後退した場合に自車両のボディー端が通過する位置を路面上に投影した位置を示す路面上通過軌跡である。補助線2202は、自車両が直線的に後退した場合にバンパ端が通過する位置を示すバンパ端通過軌跡である。補助線2203は、自車両が直線的に後退した場合にバンパ位置が自車両のバンパ位置よりも高いＳＵＶ等のバンパ位置に相当する自車両の車体端が通過する位置を示す通過軌跡である。イラスト2204A〜Cは、自車両の後部の車体面を模したイラストであり、それぞれの位置に自車両の車体後部が位置する際に実際に画像に写る様子をイラストとして示したものである。なお、イラストとして表示している高さは補助線2203と同じ高さとしているが、必ずしも同じ高さとしなくても良く、補助線2203の高さも任意に決定して良い。
【００９３】
このように、本発明の第１１の実施の形態によれば、直線的に後退した場合の自車両の路面通過軌跡、自車両のバンパ端通過軌跡、ＳＵＶなどのバンパ端通過軌跡、および自車両の後部の車体を模したイラストを同時に表示することにより、自車両の進行方向と自車両の周囲に存在する物体との位置関係を直感的に把握することができる。
【００９４】
なお、第７〜第８の実施の形態のように、自車両のイラストと組合わせて、このイラストを移動あるいは画面にあわせて変形して自車の後部の車体面を模したイラストとして使用し、路面上通過軌跡をタイヤ跡のように表示することで、より直感的に自車両の進行方向と自車両の周囲に存在する物体との位置関係を把握できるように構成しても良い。
【００９５】
また、第６の実施の形態におけるミラー確認線も同時に表示したり、第１０の実施の形態のように、自車両の操舵角に応じて、これらの補助線を移動し、実際に後退した際に通過する軌跡を表示したりすることも可能である。なお、補助線の位置のみ正確に表示し、自車両の後部を模したイラストは予め定めた数種類から選択して適当な位置に重畳しても良い。
【００９６】
（第１２の実施の形態）
第１２の実施の形態の画像合成・表示装置の構成は図１８と同じである。図２６は第１２の実施の形態の画面構成図である。以下、自車両がセダンとして説明する。
【００９７】
図２６において、補助線2301は、自車両が直線的に後退した場合のボディ端が通過する位置を路面上に投影した位置を示す路面上通過軌跡である。補助線2302は、自車両が直線的に後退した場合にバンパの下面の端が通過する位置を示すバンパ下面端通過軌跡である。補助線2303は、自車両が直線的に後退した場合にバンパの上面の端が通過する位置を示すバンパ上面通過軌跡である。イラスト2304A 〜C は、バンパを模したイラストであり、それぞれの位置にバンパのみがある場合に実際に画像として表示される様子をイラストとして示したものである。
【００９８】
このように、本発明の第１２の実施の形態によれば、自車両が直線的に後退した場合の路面通過軌跡、バンパ上面端通過軌跡、バンパ下面通過軌跡、および自車両のバンパを模したイラストとを同時に表示することにより、直感的に自車両の進行方向と自車の周囲に存在する物体との位置関係を把握することができる。
【００９９】
なお、第７〜第８の実施の形態のように、自車両のイラストと組合わせて、このイラストを移動あるいは画面にあわせて変形して自車両の後部の車体面を模したイラストとして使用し、路面上通過軌跡をタイヤ跡のように表示することで、より直感的に自車の進行方向と自車の周囲に存在する物体との位置関係を把握できるように構成しても良い。
【０１００】
また、第６の実施の形態におけるミラー確認線も同時に表示したり、実施の形態１０のように自車両の操舵角に応じて、これらの補助線を移動し、実際に後退した際に通過する軌跡を表示したりすることも可能である。
【０１０１】
【発明の効果】
以上のように本発明は、仮想視点からの擬似映像中に適当なイラスト、補助線、軌跡線等を重畳することで、運転者が自車両と周囲の立体物との３次元的な位置関係を直感的に把握でき、その結果、適切な接触判定をすることが容易になるという優れた効果を有する画像合成装置を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の画像合成装置の構成を示すブロック図、
【図２】図１の画像合成装置によって得られた上方から垂直に見下ろした場合の合成画像と軌跡線を説明するための図、
【図３】図１における任意の高さの軌跡線算出手段103Bの構成について説明するためのブロック図、
【図４】図１における任意の高さの軌跡線算出手段103Bの処理の流れを説明するための図、
【図５】図２の軌跡線の詳細を説明するための図、
【図６】図１の画像合成装置によって得られた後方パノラマ合成画像と軌跡線の説明をするための図、
【図７】本発明の第２の実施の形態の画像合成装置の構成を示すブロック図、
【図８】図７における任意の高さの軌跡線の算出手段502Bの構成について説明するためのブロック図、
【図９】図７の画像合成装置によって得られた上方から垂直に見下ろした場合の合成画像と軌跡線の説明をするための図、
【図１０】図７の画像合成装置によって得られた上方から垂直に見下ろした場合の合成画像と軌跡線の説明をするための図、
【図１１】図７の画像合成装置によって得られた上方から垂直に見下ろした場合の合成画像と軌跡線と時間的に動く自車両の立体表示を説明するための図、
【図１２】本発明の第３の実施の形態の画像合成装置の構成を示すブロック図、
【図１３】図１２の画像合成装置によって得られた後方パノラマ合成画像と軌跡線と衝突箇所の強調表示を説明するための図、
【図１４】本発明の第４の実施の形態の画像合成装置の構成を示すブロック図、
【図１５】図１４の画像合成装置によって得られた多画面表示画像と軌跡線を説明するための図
【図１６】本発明の第５の実施の形態の画像合成装置の構成を示すブロック図、
【図１７】図１６の画像合成装置によって得られた多画面表示画像と補助線を説明するための図、
【図１８】本発明の第６の実施の形態の画像合成・表示装置の構成を示すブロック図、
【図１９】本発明の第６の実施の形態の画像合成・表示装置の撮像部設置図、
【図２０】本発明の第６の実施の形態の画像合成・表示装置の画面構成図、
【図２１】本発明の第７の実施の形態の画像合成・表示装置の画面構成図、
【図２２】本発明の第８の実施の形態の画像合成・表示装置の画面構成図、
【図２３】本発明の第９の実施の形態の画像合成・表示装置の画面構成図、
【図２４】本発明の第１０の実施の形態の画像合成・表示装置の構成を示すブロック図、
【図２５】本発明の第１１の実施の形態の画像合成・表示装置の画面構成図、
【図２６】本発明の第１２の実施の形態の画像合成・表示装置の画面構成図、
【図２７】従来の後方視界表示装置の画面構成図、
【図２８】従来の後方視界表示装置の課題を説明するための車両の位置関係図である。
【符号の説明】
101 撮像手段
102 視点変換画像合成手段
103 車両直進軌跡線生成手段
103A 路面上の軌跡線の算出手段
103B 任意の高さの軌跡線の算出手段
104 車両軌跡線描画手段
201 路面上の軌跡線
202 高さ50cmの軌跡線
203 路面に対して垂直な線
204 自車両
401 路面上の軌跡線
402 バンパ端の軌跡線
403 自車両の高さの軌跡線
501 舵角情報出力手段
502 車両舵角対応軌跡線生成手段
601 路面上の舵角対応軌跡線
602 高さ50cmの舵角対応軌跡線
701 路面上の舵角対応軌跡線
702 バンパ端の舵角対応軌跡線
703 車高の舵角対応軌跡線
801 自車両の車輪
802 自車両のバンパ端
901 障害物衝突予測手段
902 障害物衝突強調表示手段
1001 描画されない軌跡線
1002 衝突箇所の強調表示
1101 多画面生成手段
1201 舵角対応軌跡線
1202 車両前方端の舵角対応軌跡線
1203 時間的に移動する自車両枠
1301 補助線生成手段
1302 補助線描画手段
1401 自車両の後方10m を示す補助線
1402 自車両の後方20m を示す補助線
1403 自車両の後端を示す補助線
1404 各補助線上での一般的な車両の車幅を示す補助線
1501 撮像部
1502 撮像部
1503 画像変換・合成部
1504 描画部
1505 メモリ
1506 表示部
1701 道路面
1702 撮像部の視野外の路面
1703 パンパー後端ならびに自車両の後縁
1704 ミラー確認線
1801 自車両イラスト
1802 バンパ領域
1902 バンパ領域
1803 路面上通過軌跡
2201 路面上通過軌跡
2301 路面上通過軌跡
1804 バンパ端通過軌跡
1805A 立体補助線
1805B 立体補助線
1805C 立体補助線
1901 自車両イラスト( スケルトン)
2001 壁面イラスト
2002 壁面イラスト
2101 軌跡算出部
2202 バンパ通過軌跡
2203 バンパ通過軌跡
2204A 車体後部のイラスト
2204B 車体後部のイラスト
2204C 車体後部のイラスト
2302 バンパ下面端通過軌跡
2303 バンパ上面通過軌跡
2304A バンパの立体イラスト
2304B バンパの立体イラスト
2304C バンパの立体イラスト
Claims (3)
- 車両に搭載された撮像手段と、前記撮像手段によって撮像された画像を視点変換して画像を合成する視点変換画像合成手段と、前記車両の任意の高さの軌跡線または垂直線の少なくとも一方を生成する車両軌跡線生成手段と、前記視点変換画像合成手段によって合成された画像上に、前記車両軌跡線生成手段によって生成された軌跡線を描画する車両軌跡線描画手段とを備える画像合成装置であって、前記車両軌跡線生成手段は、三次元軌跡線生成手段と、道路面投影手段と、合成画像投影手段とを含み、前記車両軌跡線描画手段は、前記視点変換画像合成手段によって合成された画像に生じる立体物の歪みに基づいた歪んだ自車両の立体的な軌跡を描画すること特徴とする画像合成装置。
- 前記車両軌跡線描画手段は、車両の路面上の軌跡線と任意の高さの軌跡線とを曲線によって補間することで、路面に対して垂直な線を合成画像上に描画する請求項１記載の画像合成装置。
- 前記車両軌跡線描画手段は、車両のバンパ端の軌跡線を合成画像上に描画する請求項１記載の画像合成装置。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001174415A JP3645196B2 (ja) | 2001-02-09 | 2001-06-08 | 画像合成装置 |
| EP02002896A EP1231110B1 (en) | 2001-02-09 | 2002-02-08 | Picture synthesizing apparatus |
| AT02002896T ATE376507T1 (de) | 2001-02-09 | 2002-02-08 | Gerät zur bildsynthetisierung |
| CNB021030774A CN1295656C (zh) | 2001-02-09 | 2002-02-08 | 图像合成装置 |
| DE60223095T DE60223095T2 (de) | 2001-02-09 | 2002-02-08 | Gerät zur Bildsynthetisierung |
| KR10-2002-0007402A KR100481248B1 (ko) | 2001-02-09 | 2002-02-08 | 주변화상을 운전자에게 제시하기 위한 화상 합성 장치 및 그를 이용한 표시 장치, 경고 장치 및 위치 인식 장치 |
| US10/067,745 US7058207B2 (en) | 2001-02-09 | 2002-02-08 | Picture synthesizing apparatus |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-34093 | 2001-02-09 | ||
| JP2001034093 | 2001-02-09 | ||
| JP2001174415A JP3645196B2 (ja) | 2001-02-09 | 2001-06-08 | 画像合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002314991A JP2002314991A (ja) | 2002-10-25 |
| JP3645196B2 true JP3645196B2 (ja) | 2005-05-11 |
Family
ID=26609226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001174415A Expired - Lifetime JP3645196B2 (ja) | 2001-02-09 | 2001-06-08 | 画像合成装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7058207B2 (ja) |
| EP (1) | EP1231110B1 (ja) |
| JP (1) | JP3645196B2 (ja) |
| KR (1) | KR100481248B1 (ja) |
| CN (1) | CN1295656C (ja) |
| AT (1) | ATE376507T1 (ja) |
| DE (1) | DE60223095T2 (ja) |
Families Citing this family (141)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3483143B2 (ja) * | 2001-04-09 | 2004-01-06 | 松下電器産業株式会社 | 運転支援装置 |
| JP3759429B2 (ja) * | 2001-05-23 | 2006-03-22 | 株式会社東芝 | 障害物検出装置及びその方法 |
| JP4021685B2 (ja) * | 2002-03-04 | 2007-12-12 | 松下電器産業株式会社 | 画像合成変換装置 |
| JP2004345554A (ja) * | 2003-05-23 | 2004-12-09 | Clarion Co Ltd | 車両後方モニタ装置及び車両後方モニタシステム |
| JP3916240B2 (ja) * | 2003-08-07 | 2007-05-16 | 松下電器産業株式会社 | 運転支援装置及び運転支援方法 |
| JP4457664B2 (ja) * | 2003-12-25 | 2010-04-28 | 株式会社エクォス・リサーチ | 駐車支援装置 |
| DE102004009924A1 (de) * | 2004-02-23 | 2005-09-01 | Valeo Schalter Und Sensoren Gmbh | Verfahren und Warnvorrichtung zum grafischen Aufbereiten eines Bildes einer Kamera |
| JP2005268847A (ja) * | 2004-03-16 | 2005-09-29 | Olympus Corp | 画像生成装置、画像生成方法、および画像生成プログラム |
| DE102005015088B4 (de) * | 2004-04-02 | 2015-06-18 | Denso Corporation | Fahrzeugumgebungsüberwachungssystem |
| JP2006054504A (ja) * | 2004-08-09 | 2006-02-23 | Olympus Corp | 画像生成方法および装置 |
| JP4639753B2 (ja) | 2004-10-25 | 2011-02-23 | 日産自動車株式会社 | 運転支援装置 |
| JP4569285B2 (ja) * | 2004-12-13 | 2010-10-27 | 日産自動車株式会社 | 画像処理装置 |
| JP4604703B2 (ja) * | 2004-12-21 | 2011-01-05 | アイシン精機株式会社 | 駐車補助装置 |
| EP1696669B1 (en) | 2005-02-24 | 2013-07-03 | Aisin Seiki Kabushiki Kaisha | Vehicle surrounding monitoring device |
| JP4645254B2 (ja) * | 2005-03-24 | 2011-03-09 | アイシン・エィ・ダブリュ株式会社 | 車両周辺視認装置 |
| US8130269B2 (en) | 2005-03-23 | 2012-03-06 | Aisin Aw Co., Ltd. | Visual recognition apparatus, methods, and programs for vehicles |
| JP2006272990A (ja) * | 2005-03-28 | 2006-10-12 | Clarion Co Ltd | 車両後退運転補助装置 |
| DE102005018408A1 (de) * | 2005-04-20 | 2006-10-26 | Valeo Schalter Und Sensoren Gmbh | Verfahren und Vorrichtung zur Auswertung von Abstandsmessdaten eines Abstandsmesssystems eines Kraftfahrzeugs |
| JP4677820B2 (ja) * | 2005-04-21 | 2011-04-27 | 日産自動車株式会社 | 予測進路表示装置および予測進路表示方法 |
| US20080094471A1 (en) * | 2005-05-20 | 2008-04-24 | Toyota Jidosha Kabushiki Kaisha | Image Processor for Vehicles |
| JP2006341641A (ja) * | 2005-06-07 | 2006-12-21 | Nissan Motor Co Ltd | 映像表示装置及び映像表示方法 |
| EP1897033A4 (en) | 2005-06-16 | 2015-06-24 | Strider Labs Inc | SYSTEM AND METHOD FOR RECOGNIZING 2D IMAGES USING 3D CLASS MODELS |
| JP4772409B2 (ja) * | 2005-07-20 | 2011-09-14 | 株式会社オートネットワーク技術研究所 | 画像表示システム |
| WO2007015446A1 (ja) * | 2005-08-02 | 2007-02-08 | Nissan Motor Co., Ltd. | 車両周囲監視装置及び車両周囲監視方法 |
| FR2891934B1 (fr) * | 2005-10-12 | 2008-01-18 | Valeo Electronique Sys Liaison | Dispositif de traitement de donnees video pour un vehicule automobile |
| DE102005052634B4 (de) * | 2005-11-04 | 2021-02-18 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Fahrerunterstützung vor und/oder bei Durchfahren einer Engstelle |
| JP4579145B2 (ja) * | 2005-11-30 | 2010-11-10 | アルパイン株式会社 | 車両周辺画像表示装置 |
| DE102005062151B4 (de) * | 2005-12-22 | 2007-09-13 | Daimlerchrysler Ag | Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen |
| JP4557302B2 (ja) * | 2006-01-26 | 2010-10-06 | アルパイン株式会社 | 車両運転支援装置 |
| TW200729934A (en) * | 2006-01-27 | 2007-08-01 | Asustek Comp Inc | Method, video display system and automobile video display system |
| CN101075376B (zh) * | 2006-05-19 | 2010-11-03 | 无锡易斯科电子技术有限公司 | 基于多视点的智能视频交通监控系统及方法 |
| JP4656005B2 (ja) * | 2006-06-02 | 2011-03-23 | 日産自動車株式会社 | 画像処理システム及び画像処理方法 |
| US20090128630A1 (en) * | 2006-07-06 | 2009-05-21 | Nissan Motor Co., Ltd. | Vehicle image display system and image display method |
| JP4254887B2 (ja) * | 2006-07-06 | 2009-04-15 | 日産自動車株式会社 | 車両用画像表示システム |
| ATE479980T1 (de) | 2006-08-24 | 2010-09-15 | Valeo Vision | Verfahren zur bestimmung der durchfahrt eines fahrzeugs durch eine engen durchlass |
| DE102006041651A1 (de) * | 2006-08-24 | 2008-03-13 | Valeo Schalter Und Sensoren Gmbh | Verfahren zur Ermittlung der Passierfähigkeit eines Fahrzeugs durch einen Fahrbahnengpass und Fahrerassistenzsystem hierfür |
| JP4605400B2 (ja) * | 2006-12-01 | 2011-01-05 | 富士フイルム株式会社 | 画像出力システム、画像生成装置および画像生成方法 |
| JP4927514B2 (ja) * | 2006-12-12 | 2012-05-09 | クラリオン株式会社 | 運転支援装置 |
| US8888121B2 (en) * | 2007-01-25 | 2014-11-18 | Target Hitch Llc | Towing vehicle guidance for trailer hitch connection |
| US8888120B2 (en) * | 2007-01-25 | 2014-11-18 | Target Hitch Llc | Towing vehicle guidance for trailer hitch connection |
| JP4356763B2 (ja) * | 2007-01-30 | 2009-11-04 | トヨタ自動車株式会社 | 操作装置 |
| JP4286294B2 (ja) * | 2007-02-21 | 2009-06-24 | 三洋電機株式会社 | 運転支援システム |
| DE102007012181A1 (de) * | 2007-03-14 | 2008-09-18 | Lochmüller, Roland | System und Verfahren zur Verkehrssteuerung und Unfallverhütung aus Positionsmeldungen von Satelliten-Navigationssystemen |
| JP4793307B2 (ja) * | 2007-04-03 | 2011-10-12 | 株式会社デンソー | 車両周辺監視装置 |
| JP2008312004A (ja) | 2007-06-15 | 2008-12-25 | Sanyo Electric Co Ltd | カメラシステム及び機械装置 |
| JP4955471B2 (ja) * | 2007-07-02 | 2012-06-20 | 株式会社デンソー | 画像表示装置及び車載用画像表示装置 |
| JP4489800B2 (ja) * | 2007-08-30 | 2010-06-23 | 株式会社スクウェア・エニックス | 画像生成装置及び方法、並びにプログラム及び記録媒体 |
| KR101326966B1 (ko) | 2007-09-07 | 2013-11-13 | 현대자동차주식회사 | 차량용 전방향 영상 제공 시스템 |
| JP5347257B2 (ja) | 2007-09-26 | 2013-11-20 | 日産自動車株式会社 | 車両用周辺監視装置および映像表示方法 |
| JP5194679B2 (ja) | 2007-09-26 | 2013-05-08 | 日産自動車株式会社 | 車両用周辺監視装置および映像表示方法 |
| JP2009087228A (ja) * | 2007-10-02 | 2009-04-23 | Denso Corp | 画像表示装置 |
| JP5090126B2 (ja) * | 2007-10-23 | 2012-12-05 | アルパイン株式会社 | 車載用撮像装置 |
| JP5132249B2 (ja) * | 2007-10-23 | 2013-01-30 | アルパイン株式会社 | 車載用撮像装置 |
| JP5577023B2 (ja) * | 2008-02-22 | 2014-08-20 | 日立コンシューマエレクトロニクス株式会社 | 表示装置 |
| US7777615B2 (en) | 2008-03-20 | 2010-08-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | System for assisting the attachment of a trailer to a vehicle |
| JP5636609B2 (ja) * | 2008-05-08 | 2014-12-10 | アイシン精機株式会社 | 車両周辺表示装置 |
| JP4623393B2 (ja) * | 2008-05-08 | 2011-02-02 | アイシン精機株式会社 | 車両周辺表示装置 |
| US20090289937A1 (en) * | 2008-05-22 | 2009-11-26 | Microsoft Corporation | Multi-scale navigational visualtization |
| JP2010016805A (ja) | 2008-06-04 | 2010-01-21 | Sanyo Electric Co Ltd | 画像処理装置、運転支援システム、及び画像処理方法 |
| JP5136256B2 (ja) * | 2008-07-18 | 2013-02-06 | 日産自動車株式会社 | 駐車支援装置および画像表示方法 |
| DE102008034594B4 (de) * | 2008-07-25 | 2021-06-24 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges |
| KR101417110B1 (ko) * | 2008-09-29 | 2014-07-08 | 현대자동차주식회사 | 차량의 입체 안내선 표시된 영상 제공 시스템 |
| DE102009050368A1 (de) | 2008-10-24 | 2010-05-27 | Magna Electronics Europe Gmbh & Co.Kg | Verfahren zum automatischen Kalibrieren einer virtuellen Kamera |
| JP5067632B2 (ja) * | 2008-11-28 | 2012-11-07 | アイシン精機株式会社 | 鳥瞰画像生成装置 |
| JP2010136289A (ja) * | 2008-12-08 | 2010-06-17 | Denso It Laboratory Inc | 運転支援装置及び運転支援方法 |
| US20100201508A1 (en) * | 2009-02-12 | 2010-08-12 | Gm Global Technology Operations, Inc. | Cross traffic alert system for a vehicle, and related alert display method |
| JP5316805B2 (ja) * | 2009-03-16 | 2013-10-16 | 株式会社リコー | 車載カメラ装置の画像調整装置及び車載カメラ装置 |
| US8350724B2 (en) * | 2009-04-02 | 2013-01-08 | GM Global Technology Operations LLC | Rear parking assist on full rear-window head-up display |
| US8629903B2 (en) | 2009-04-02 | 2014-01-14 | GM Global Technology Operations LLC | Enhanced vision system full-windshield HUD |
| US8416300B2 (en) * | 2009-05-20 | 2013-04-09 | International Business Machines Corporation | Traffic system for enhancing driver visibility |
| JP5284206B2 (ja) * | 2009-07-10 | 2013-09-11 | 三菱電機株式会社 | 運転支援装置およびナビゲーション装置 |
| JP2011091527A (ja) * | 2009-10-21 | 2011-05-06 | Panasonic Corp | 映像変換装置及び撮像装置 |
| CN102059978B (zh) * | 2009-11-16 | 2014-09-10 | 财团法人工业技术研究院 | 驾驶辅助方法与系统 |
| US8633810B2 (en) | 2009-11-19 | 2014-01-21 | Robert Bosch Gmbh | Rear-view multi-functional camera system |
| JP5071743B2 (ja) * | 2010-01-19 | 2012-11-14 | アイシン精機株式会社 | 車両周辺監視装置 |
| DE102010001922A1 (de) * | 2010-02-15 | 2011-08-18 | Robert Bosch GmbH, 70469 | Verfahren und Vorrichtung zum Parken eines Kraftfahrzeugs |
| JP2013091331A (ja) * | 2010-02-26 | 2013-05-16 | Panasonic Corp | 運転支援装置 |
| JP5035643B2 (ja) * | 2010-03-18 | 2012-09-26 | アイシン精機株式会社 | 画像表示装置 |
| JP5113881B2 (ja) * | 2010-06-03 | 2013-01-09 | 株式会社デンソー | 車両周辺監視装置 |
| US8665116B2 (en) | 2010-07-18 | 2014-03-04 | Ford Global Technologies | Parking assist overlay with variable brightness intensity |
| PH12013500314A1 (en) | 2010-08-19 | 2019-02-20 | Nissan Motor | Three-dimensional object detection device and three-dimensional object detection method |
| JP5251947B2 (ja) * | 2010-09-17 | 2013-07-31 | 日産自動車株式会社 | 車両用画像表示装置 |
| DE112010005977B4 (de) * | 2010-11-04 | 2015-08-06 | Toyota Jidosha Kabushiki Kaisha | Strassenformschätzvorrichtung |
| DE102010056406A1 (de) * | 2010-12-23 | 2012-06-28 | Jenoptik Robot Gmbh | Verfahren zur sicheren Identifikation eines durch einen Strahlungssensor erfassten Fahrzeuges in einer Bildaufnahme |
| WO2012115009A1 (ja) * | 2011-02-21 | 2012-08-30 | 日産自動車株式会社 | 周期的静止物検出装置及び周期的静止物検出方法 |
| KR20120103232A (ko) * | 2011-03-10 | 2012-09-19 | 현대모비스 주식회사 | 장애물 충돌 방지를 위한 주차 보조 장치 및 그 방법 |
| CN103582907B (zh) * | 2011-06-13 | 2016-07-20 | 日产自动车株式会社 | 车载用图像识别装置及车道识别方法 |
| DE102011105884B4 (de) * | 2011-06-28 | 2019-02-21 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Einparken eines Fahrzeugs |
| EP2581268B2 (en) * | 2011-10-13 | 2019-09-11 | Harman Becker Automotive Systems GmbH | Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system |
| JP5888956B2 (ja) * | 2011-12-13 | 2016-03-22 | 住友建機株式会社 | ショベル及び該ショベルの周囲画像表示方法 |
| US20130155305A1 (en) * | 2011-12-19 | 2013-06-20 | Sony Corporation | Orientation of illustration in electronic display device according to image of actual object being illustrated |
| JP5888087B2 (ja) * | 2012-04-25 | 2016-03-16 | ソニー株式会社 | 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置 |
| US20150116494A1 (en) * | 2012-05-08 | 2015-04-30 | Toyota Jidosha Kabushiki Kaisha | Overhead view image display device |
| JP2013239015A (ja) * | 2012-05-15 | 2013-11-28 | Sharp Corp | 駐車支援装置、駐車支援方法およびプログラム |
| BR112015002997A2 (pt) * | 2012-08-17 | 2017-07-04 | Honda Motor Co Ltd | dispositivo de assistência á condução |
| TW201416997A (zh) * | 2012-10-19 | 2014-05-01 | Nanoplus Technology Inc | 行車影像辨識裝置及其方法 |
| JP5904093B2 (ja) * | 2012-10-30 | 2016-04-13 | 株式会社デンソー | 車載画像生成装置 |
| GB2513392B (en) | 2013-04-26 | 2016-06-08 | Jaguar Land Rover Ltd | System for a towing vehicle |
| GB2513393B (en) | 2013-04-26 | 2016-02-03 | Jaguar Land Rover Ltd | Vehicle hitch assistance system |
| CN103434448B (zh) * | 2013-08-07 | 2016-01-27 | 燕山大学 | 一种消除车柱盲区系统及其使用方法 |
| US20150042799A1 (en) * | 2013-08-07 | 2015-02-12 | GM Global Technology Operations LLC | Object highlighting and sensing in vehicle image display systems |
| CN103442179B (zh) * | 2013-08-16 | 2016-10-26 | 北京智谷睿拓技术服务有限公司 | 照明方法和照明系统 |
| JP6281289B2 (ja) | 2014-01-10 | 2018-02-21 | アイシン精機株式会社 | 周辺監視装置、及びプログラム |
| CN104802708A (zh) * | 2014-01-23 | 2015-07-29 | 致伸科技股份有限公司 | 行车影像辅助系统 |
| JP2015184874A (ja) * | 2014-03-24 | 2015-10-22 | 株式会社東芝 | 移動体操作支援装置、移動体操作支援方法、および移動体操作支援プログラム |
| KR101670847B1 (ko) * | 2014-04-04 | 2016-11-09 | 주식회사 와이즈오토모티브 | 차량 주변 이미지 생성 장치 및 방법 |
| JP2015226146A (ja) * | 2014-05-27 | 2015-12-14 | 学校法人関東学院 | ３次元モニタ装置 |
| KR102289477B1 (ko) * | 2015-01-30 | 2021-08-13 | 현대모비스 주식회사 | 주차 지원 장치 |
| GB2533983A (en) * | 2015-06-04 | 2016-07-13 | Ford Global Tech Llc | Parking assist method and system |
| JP6464952B2 (ja) * | 2015-08-04 | 2019-02-06 | 株式会社デンソー | 表示制御装置、表示制御プログラム及び表示制御方法 |
| CN105128760B (zh) * | 2015-08-27 | 2018-10-16 | 惠州华阳通用电子有限公司 | 倒车轨迹描绘方法及装置 |
| JP6589468B2 (ja) | 2015-09-01 | 2019-10-16 | 株式会社タダノ | 移動式クレーンの周囲表示装置 |
| KR101953128B1 (ko) * | 2015-10-22 | 2019-05-31 | 현대자동차주식회사 | 차량 및 차량의 제어 방법 |
| WO2017099047A1 (ja) * | 2015-12-09 | 2017-06-15 | 一 笠原 | 位置情報特定方法、位置情報特定装置、及び、位置情報特定プログラム |
| JP2017147505A (ja) * | 2016-02-15 | 2017-08-24 | トヨタ自動車株式会社 | 車両用周囲画像表示装置 |
| JP6595401B2 (ja) * | 2016-04-26 | 2019-10-23 | 株式会社Ｓｏｋｅｎ | 表示制御装置 |
| CN105933680A (zh) * | 2016-07-07 | 2016-09-07 | 广州勘帝德电子科技有限公司 | 无can_bus智能车辆动态轨迹线后视影像系统 |
| CN107640147B (zh) * | 2016-07-18 | 2020-12-04 | 奥迪股份公司 | 泊车辅助方法和系统 |
| JP6658392B2 (ja) * | 2016-08-09 | 2020-03-04 | 株式会社Ｊｖｃケンウッド | 表示制御装置、表示制御方法及びプログラム |
| JP6774605B2 (ja) * | 2017-03-14 | 2020-10-28 | 株式会社Ｊｖｃケンウッド | 表示制御装置、表示装置、表示制御方法及びプログラム |
| WO2018029927A1 (ja) * | 2016-08-09 | 2018-02-15 | 株式会社Ｊｖｃケンウッド | 表示制御装置、表示装置、表示制御方法及びプログラム |
| WO2018105417A1 (ja) * | 2016-12-09 | 2018-06-14 | 京セラ株式会社 | 撮像装置、画像処理装置、表示システム、および車両 |
| JP6639379B2 (ja) * | 2016-12-21 | 2020-02-05 | トヨタ自動車株式会社 | 車両周辺監視装置 |
| US10268907B2 (en) * | 2017-01-11 | 2019-04-23 | GM Global Technology Operations LLC | Methods and systems for providing notifications on camera displays for vehicles |
| CN106985751A (zh) * | 2017-04-07 | 2017-07-28 | 深圳市歌美迪电子技术发展有限公司 | 后视显示方法、装置及设备 |
| JP6271068B1 (ja) * | 2017-06-22 | 2018-01-31 | 株式会社ショーワ | 障害物検知装置、車両、および、障害物検知システム |
| JP6962036B2 (ja) * | 2017-07-07 | 2021-11-05 | 株式会社アイシン | 周辺監視装置 |
| JP7000822B2 (ja) * | 2017-12-06 | 2022-01-19 | 株式会社アイシン | 周辺監視装置 |
| TWI688502B (zh) * | 2018-02-14 | 2020-03-21 | 先進光電科技股份有限公司 | 用於警告車輛障礙物的設備 |
| TWI668146B (zh) * | 2018-03-30 | 2019-08-11 | 帷享科技股份有限公司 | Vehicle side safety distance display system |
| CN109087485B (zh) * | 2018-08-30 | 2021-06-08 | Oppo广东移动通信有限公司 | 驾驶提醒方法、装置、智能眼镜及存储介质 |
| JP7088807B2 (ja) * | 2018-10-29 | 2022-06-21 | 京セラ株式会社 | 画像処理装置、カメラ、移動体および画像処理方法 |
| DE102019209813B4 (de) * | 2019-07-04 | 2022-06-30 | Zf Friedrichshafen Ag | Vorrichtung zum Navigieren eines Ist-Fahrzeugs durch zumindest einen Abschnitt einer Soll-Trajektorie, Verfahren und Verwendung |
| JP7331511B2 (ja) * | 2019-07-16 | 2023-08-23 | 株式会社アイシン | 車両周辺表示装置 |
| CN110458884A (zh) * | 2019-08-16 | 2019-11-15 | 北京茵沃汽车科技有限公司 | 在全景图中生成车辆运行动态轨迹线的方法、装置、介质 |
| JP6825731B2 (ja) * | 2020-02-04 | 2021-02-03 | 株式会社Ｊｖｃケンウッド | 表示制御装置、表示制御方法及びプログラム |
| CN111586304B (zh) * | 2020-05-25 | 2021-09-14 | 重庆忽米网络科技有限公司 | 一种基于5g及vr技术的全景摄像系统及方法 |
| JP7696252B2 (ja) * | 2021-08-19 | 2025-06-20 | フォルシアクラリオン・エレクトロニクス株式会社 | 障害物表示装置 |
| KR20240066751A (ko) | 2022-11-08 | 2024-05-16 | 현대자동차주식회사 | 차량 및 차량위치산출방법 |
| JP7477015B1 (ja) | 2023-05-29 | 2024-05-01 | いすゞ自動車株式会社 | 表示制御装置及び表示制御方法 |
| FR3155195A1 (fr) * | 2023-11-15 | 2025-05-16 | Stellantis Auto Sas | Système d’affichage en réalité augmentée de places de parking pour personne à mobilité réduite |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US2736885A (en) * | 1955-03-14 | 1956-02-28 | Thompson William Lester | Trailer and towing vehicle aligning indicator |
| JP2610146B2 (ja) | 1987-12-04 | 1997-05-14 | 本田技研工業株式会社 | 車両の後方視界表示装置 |
| JPH01168538A (ja) * | 1987-12-23 | 1989-07-04 | Honda Motor Co Ltd | 車両の後方視界表示装置 |
| US5109213A (en) * | 1991-07-05 | 1992-04-28 | Williams John J | Tire pressure monitor |
| JPH0717328A (ja) * | 1993-06-30 | 1995-01-20 | Mitsubishi Motors Corp | 車両用周辺認識補助装置 |
| JPH07195978A (ja) * | 1993-12-30 | 1995-08-01 | Nissan Motor Co Ltd | 車両周囲表示装置 |
| US5574443A (en) * | 1994-06-22 | 1996-11-12 | Hsieh; Chi-Sheng | Vehicle monitoring apparatus with broadly and reliably rearward viewing |
| JP3468487B2 (ja) * | 1996-03-29 | 2003-11-17 | 生物系特定産業技術研究推進機構 | 作業車両の遠隔操作装置 |
| JPH09323590A (ja) * | 1996-06-07 | 1997-12-16 | Nec Corp | 車載監視装置 |
| JP3866349B2 (ja) * | 1996-12-27 | 2007-01-10 | 富士重工業株式会社 | 車両の衝突防止装置 |
| JP3787218B2 (ja) * | 1997-05-14 | 2006-06-21 | クラリオン株式会社 | 車輌後方監視装置 |
| CN1087118C (zh) * | 1997-11-26 | 2002-07-03 | 倚天资讯股份有限公司 | 多频道射频模组的通讯装置 |
| JP3511892B2 (ja) * | 1998-05-25 | 2004-03-29 | 日産自動車株式会社 | 車両用周囲モニタ装置 |
| EP2267656A3 (en) * | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Image displaying apparatus und image displaying method |
| JP3562335B2 (ja) * | 1998-08-31 | 2004-09-08 | アイシン精機株式会社 | 駐車補助装置 |
| JP2000161915A (ja) * | 1998-11-26 | 2000-06-16 | Matsushita Electric Ind Co Ltd | 車両用単カメラ立体視システム |
| JP4061757B2 (ja) * | 1998-12-03 | 2008-03-19 | アイシン・エィ・ダブリュ株式会社 | 駐車支援装置 |
| JP4114292B2 (ja) * | 1998-12-03 | 2008-07-09 | アイシン・エィ・ダブリュ株式会社 | 運転支援装置 |
| AUPP744998A0 (en) | 1998-12-03 | 1998-12-24 | Altamura, Ralph Paul | Continents soccer match |
| JP3183284B2 (ja) * | 1999-01-19 | 2001-07-09 | 株式会社豊田自動織機製作所 | 車両の後退時の操舵支援装置 |
| EP1179958B1 (en) * | 1999-04-16 | 2012-08-08 | Panasonic Corporation | Image processing device and monitoring system |
| US7366595B1 (en) | 1999-06-25 | 2008-04-29 | Seiko Epson Corporation | Vehicle drive assist system |
| JP4723703B2 (ja) * | 1999-06-25 | 2011-07-13 | 富士通テン株式会社 | 車両の運転支援装置 |
| JP4312883B2 (ja) * | 1999-06-29 | 2009-08-12 | 富士通テン株式会社 | 車両の駐車支援装置 |
| JP4350838B2 (ja) * | 1999-06-29 | 2009-10-21 | 富士通テン株式会社 | 車両の運転支援装置 |
| WO2001012472A1 (en) * | 1999-08-12 | 2001-02-22 | Kabushiki Kaisha Toyoda Jidoshokki Seisakusho | Steering assist device |
-
2001
- 2001-06-08 JP JP2001174415A patent/JP3645196B2/ja not_active Expired - Lifetime
-
2002
- 2002-02-08 AT AT02002896T patent/ATE376507T1/de not_active IP Right Cessation
- 2002-02-08 CN CNB021030774A patent/CN1295656C/zh not_active Expired - Lifetime
- 2002-02-08 EP EP02002896A patent/EP1231110B1/en not_active Expired - Lifetime
- 2002-02-08 DE DE60223095T patent/DE60223095T2/de not_active Expired - Lifetime
- 2002-02-08 KR KR10-2002-0007402A patent/KR100481248B1/ko not_active Expired - Lifetime
- 2002-02-08 US US10/067,745 patent/US7058207B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| KR100481248B1 (ko) | 2005-04-08 |
| EP1231110A2 (en) | 2002-08-14 |
| DE60223095D1 (de) | 2007-12-06 |
| ATE376507T1 (de) | 2007-11-15 |
| EP1231110B1 (en) | 2007-10-24 |
| EP1231110A3 (en) | 2004-09-08 |
| CN1295656C (zh) | 2007-01-17 |
| US7058207B2 (en) | 2006-06-06 |
| KR20020066214A (ko) | 2002-08-14 |
| CN1371079A (zh) | 2002-09-25 |
| US20020110262A1 (en) | 2002-08-15 |
| JP2002314991A (ja) | 2002-10-25 |
| DE60223095T2 (de) | 2008-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3645196B2 (ja) | 画像合成装置 | |
| US8694195B2 (en) | Motor vehicle having a wheel-view camera and method for controlling a wheel-view camera system | |
| JP3947375B2 (ja) | 駐車補助装置 | |
| JP5031801B2 (ja) | 車載用画像表示装置 | |
| JP3695319B2 (ja) | 車両周辺モニタ装置 | |
| JP5132249B2 (ja) | 車載用撮像装置 | |
| US8885045B2 (en) | Device and method for monitoring vehicle surroundings | |
| US20090022423A1 (en) | Method for combining several images to a full image in the bird's eye view | |
| US20150042799A1 (en) | Object highlighting and sensing in vehicle image display systems | |
| US20190174060A1 (en) | Image processing apparatus, image processing method, and program | |
| US11601621B2 (en) | Vehicular display system | |
| JP3753681B2 (ja) | 監視システム | |
| JP7327171B2 (ja) | 車両用電子ミラーシステム | |
| JP2006252389A (ja) | 周辺監視装置 | |
| WO2017154787A1 (ja) | 駐車領域表示システム及びそれを用いた自動駐車システム | |
| JP2010028803A (ja) | 駐車補助のための画像表示方法 | |
| JP5226621B2 (ja) | 車両用画像表示装置 | |
| JP5271186B2 (ja) | 車両用画像表示装置 | |
| CN218839315U (zh) | 一种多功能安全车载影像盲区检测系统 | |
| JP2008114691A (ja) | 車両周辺監視装置および車両周辺監視映像表示方法 | |
| JP4545485B2 (ja) | 停車位置検出装置 | |
| JP2007087236A (ja) | 車両周囲監視方法及び装置 | |
| JP2006224927A (ja) | 車両周辺視認装置 | |
| JP2007096496A (ja) | 車両周囲表示システム | |
| US20260097650A1 (en) | Driving assistance device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040629 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040706 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040830 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3645196 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |