Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3300340B2 - 運転支援装置 - Google Patents
[go: Go Back, main page]

JP3300340B2 - 運転支援装置 - Google Patents

運転支援装置

Info

Publication number
JP3300340B2
JP3300340B2 JP2001524839A JP2001524839A JP3300340B2 JP 3300340 B2 JP3300340 B2 JP 3300340B2 JP 2001524839 A JP2001524839 A JP 2001524839A JP 2001524839 A JP2001524839 A JP 2001524839A JP 3300340 B2 JP3300340 B2 JP 3300340B2
Authority
JP
Japan
Prior art keywords
image
imaging
moving body
unit
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001524839A
Other languages
English (en)
Other versions
JPWO2001021446A1 (ja
Inventor
浩史 石井
森村　　淳
雅通 中川
修作 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP3300340B2 publication Critical patent/JP3300340B2/ja
Publication of JPWO2001021446A1 publication Critical patent/JPWO2001021446A1/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Air Bags (AREA)
  • Automotive Seat Belt Assembly (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

【発明の詳細な説明】
【０００１】−技術分野− 本発明は、車両等の移動体の運転に際し、その移動体周
辺の状況をカメラで撮像し、その撮像画像を処理するこ
とによって、運転を支援する運転支援装置に関するもの
である。
【０００２】−背景技術− 従来のカメラを用いた運転支援装置に関し、障害物や接
近車両の検出については、例えば日本国特許公開公報
特開平９−２４０３９７号公報および特開平７−９３６
９３号公報に記載されている。
【０００３】特開平９−２４０３９７号公報（以下「第
１の従来例」という）では、後側方車両の報知装置が開
示されている。これは自車両の後側方領域の撮像画像か
ら、隣接車線内に存在する移動物体を検出する一方、該
移動物体の検出における白線の有無を検出し、これらの
検出結果を統合することによって、他車両を検出する。
そして他車両と自車両との接近状態を判定し、接近度が
過大となる可能性があるときに運転者に報知するという
ものである。
【０００４】また、特開平７−９３６９３号公報（以下
「第２の従来例」という）では、車両用物体検出装置が
開示されている。これは、道路の文字や模様と車両等の
物体との相違を正しく識別してその物体を精度良く検出
できる車両用物体検出装置であり、その構成は、見かけ
移動速度計測手段によつて画像中の物体のエツジ点の動
きを、あたかも路面上での３次元的動きとして計測し、
物体判定手段においてその計測された動き量と車速とを
比較して物体の弁別を行うことを特徴とするものであ
る。
【０００５】−解決課題− しかしながら、従来の技術には次のような問題がある。
【０００６】まず第２の従来例の場合、撮像画像の動き
解析によって障害物を検出する方法は、一般にモーショ
ンステレオと呼ばれる方法であり、移動による視点の変
化に対応した画像の変化を解析することによって、撮像
画像内の３次元情報を得るものである。しかしこの方法
には、移動する方向の画像については、視点の変化に対
応した画像の変化が小さくなるという欠点があり、例え
ば車両に応用する場合、進路方向の前方や後方の正面に
なるほど、検出の感度が下がる、といった問題がある。
【０００７】また、動き解析の手法は、画面上の対象物
の動きを求めるものであるため、撮像装置が車両に設置
されている場合、車両自身の振動による画面のゆれによ
り、その動きが正確には求められないという問題があ
る。
【０００８】さらに、接近物を検出した後、それを運転
者にどのように伝えるかは重要な問題である。警報音な
どによって伝えた場合、警報音により運転者が驚き、逆
に運転操作を誤るといったことも考えられる。また接近
物の誤検出により、かえって運転者の安全な運転を妨げ
ることも考えられる。このように、接近物の状態を運転
者にどのように伝えるかは重要な課題である。運転者へ
の警報については、第１の従来例では、接近過大の場合
は運転者に報知するとしか述べられていない。また第２
の従来例では、検出された障害物の運転者への報知方法
については述べられていない。
【０００９】−発明の開示− 本発明は、このような従来の運動支援装置または移動体
画像表示システムが有する問題を考慮し、運転者が、接
近物や障害物の周囲状況を直接的に確認でき、運転者の
負担を軽減することができる運転支援装置を提供するこ
とを目的とする。
【００１０】具体的には、本発明は、移動体の運転を支
援する装置として、当該移動体に設置され、移動体後方
を撮像する複数の撮像手段と、前記複数の撮像手段の撮
像画像から、移動体後方の物体の動きを検出する検出手
段とを備え、前記複数の撮像手段は、一の撮像手段と他
の撮像手段の撮像領域がオーバーラップした領域を有
し、かつ、その撮像画像上で、前記オーバーラップ領域
に消失点近傍を含み、前記検出手段は、前記オーバーラ
ップ領域において、前記一の撮像手段と前記他の撮像手
段とのステレオ視差を求め、求めたステレオ視差を基に
して、当該物体までの距離を求め、前記一の撮像手段
の、前記オーバーラップ領域以外の撮像領域について、
画像の時間的な動きを示すフローを検出し、検出したフ
ローを基にして、移動体後方の物体の動きを検出するも
のである。
【００１１】
【００１２】また、前記本発明に係る運転支援装置は、
前記複数の撮像手段の撮像画像を用いて画像合成を行
い、移動体後方を表す画像を生成する画像合成手段を備
えているのが好ましい。
【００１３】また、前記本発明に係る運動支援装置は、
前記検出手段から出力された情報を受けて、移動体後方
からの接近物が当該移動体に衝突する可能性を判定し、
この可能性が高いと判断したとき指示信号を出力する危
険度判定手段と、前記危険度判定手段から指示信号が出
力されたとき、移動体後方に向けて警報を発する車外警
報手段とを備えているのが好ましい。あるいは、前記検
出手段から出力された情報を受けて、移動体後方からの
接近物が当該移動体に衝突する可能性を判定し、この可
能性が高いと判断したとき指示信号を出力する危険度判
定手段と、前記危険度判定手段から指示信号が出力され
たとき、当該移動体の乗員を保護する措置を行う乗員保
護手段とを備えているのが好ましい。
【００１４】
【００１５】
【００１６】
【００１７】
【００１８】−発明を実施するための最良の形態− 以下、本発明の実施の形態について、図面を参照しなが
ら説明する。
【００１９】（第１の実施の形態） 図１は本発明の第１の実施形態に係る運転支援装置（移
動体画像表示システム）の構成を示すブロック図であ
る。図１において、１０１は移動体に設置された撮像手
段、１０２は階層画像化手段、１０３はＬＰＦ（ローパ
スフィルタ）、１０４はブロックサンプリング手段、１
０５は階層的ブロックマッチング手段、１０６はサブピ
クセル推定・信頼性判定手段、１０７は揺れ成分抽出・
キャンセル手段、１０８は消失点算出手段、１０９は移
動物・接近物検出手段、１１０は画像合成手段、１１１
は表示装置である。構成要素１０２〜１０９によって、
検出手段が構成されている。
【００２０】撮像手段１０１は例えばカメラであって、
車両後方を撮影可能なように、車両後部例えばリアパネ
ル上に設置されている。表示装置１１１としては例えば
本システム専用のディスプレイやカーナビゲーション用
の液晶モニタなどが用いられる。
【００２１】本実施形態に係る移動体画像表示システム
の目的は、主として、運転者が進路変更時に危険となる
後方からの接近物を直接的にわかりやすく警告・表示
し、運転者の負担を軽減することである。本実施形態に
係る移動体画像表示システムの動作について、図２〜図
１３を参照して説明する。
【００２２】まず図２（ａ）に示すように、撮像手段１
０１によって、自車両の後方の画像（ここでは３２０画
素ｘ２４０画素とする）が撮像される。この撮像画像に
は、ビル１１や街路樹１２などの障害物や、後方を走行
する他車両１３，１４などの移動物が含まれる。図２で
はこれらの障害物や移動物を模式的に表現している。こ
の撮像画像は、階層画像化手段１０２および画像合成手
段１１０に入力される。
【００２３】階層画像化手段１０２は、入力された撮像
画像について（２ｘ２）画素毎に加算することによっ
て、１次上位画像（１６０ｘ１２０画素）を生成する。
さらにこの一次上位画像について同様にして２次上位画
像（８０ｘ６０画素）を生成する。そして、これら３種
類の画像を階層画像としてＬＰＦ１０３に出力する。Ｌ
ＰＦ１０３は、入力された階層画像の各画像について、
（３ｘ３）画素のＬＰＦ処理を行う。
【００２４】ブロックサンプリング手段１０４は階層画
像の各画像について、（８ｘ８）画素のブロックに分割
し、各ブロックについて２画素おきに１６（＝４ｘ４）
個の代表点でサブサンプルする。
【００２５】階層的ブロックマッチング手段１０５は上
位階層の画像から、（５ｘ５）画素の範囲でブロックマ
ッチングによってＳＡＤ（差分絶対値の総和）を求め、
そのＳＡＤが最小となる位置を基にして動きベクトルを
求める。下位階層の画像のブロックは、上位階層の同一
位置のブロックで求められた動きベクトルを中心に、さ
らに（５ｘ５）画素の範囲で動きベクトルを求める。
【００２６】サブピクセル推定・信頼性判定手段１０６
は、最下位階層の画像（撮像画像）において求められた
動きベクトルとＳＡＤを用いて、ＳＡＤの最小位置とそ
の周囲の８点のＳＡＤの値から、１画素以下のサブピク
セルの精度で動きベクトルの推定を行う。これととも
に、そのブロックにおける動きベクトルの信頼性判定を
行う。
【００２７】この階層的ブロックマッチング手段１０５
およびサブピクセル推定・信頼性判定手段１０６によっ
て、図２（ｂ）に示すように、撮像画像の各位置につい
て、前フレームからの動きを示す動きベクトルがフロー
ＦＬとして求められる。
【００２８】撮像画像のフローＦＬに関して、図３を用
いて説明する。図２（ｂ）に示すように、画像のエッジ
の部分には上述したようなフローＦＬが得られる。この
とき、カメラの揺れをキャンセルした後は、図３に示す
車両進行方向の逆方向が、図４（ａ）に示す画面上の消
失点ＶＰとなる。地面に静止した物体は、撮像画面上で
は消失点ＶＰへ向かうフローＦＬをもつ。したがって、
消失点ＶＰへ向かう以外のフローＦＬを持つ画面上の領
域（例えば矩形領域２０２）が、移動物・接近物として
抽出することができる。
【００２９】さらに、揺れ成分抽出・キャンセル手段１
０７は、得られた動きベクトルを統計処理することによ
り、車の振動による画像の揺れ成分の抽出とキャンセル
を行う。本発明では、接近物検出のために求めた動きベ
クトルを用いて画像の揺れ成分を抽出するので、揺れ補
正のために画像全体の揺れ成分を別途検出する必要がな
い。消失点算出手段１０８は車の進行に伴う画像のフロ
ーＦＬの消失点ＶＰを求める。すなわち、図４（ａ）に
示すように、消失点ＶＰを画像像全体の大部分が向かう
点として求めている。
【００３０】移動物・接近物検出手段１０９は、消失点
算出手段１０８によって求められた消失点ＶＰへのフロ
ーＦＬと異なる動きベクトルを持つブロックを、移動物
・接近物候補ブロックとして抽出する。そして、近接す
る移動物・接近物候補ブロックを連結することによっ
て、図４（ｂ）に示すように、移動物・接近物の存在す
る領域を矩形領域２０２にして移動物として抽出する。
【００３１】ここで、図５〜図７を用いて、揺れ成分抽
出・キャンセル手段１０７の具体的動作について説明す
る。図５はその動作を説明するためのフローチャートで
ある。
【００３２】車両は進行方向の動き以外に、道の凹凸な
どの影響によって主に上下方向に振動する。図６に示す
ように、車両の上下方向の振動が撮像手段に与える影響
は、（ａ）に示すような位置の変化と、（ｂ）に示すよ
うな撮像方向の変化となって現れる。
【００３３】図６（ａ）に示す上下位置の変化は、画像
信号のフレーム間隔が非常に短いために、車両の進行方
向の位置の変化に比べて、きわめて小さい。また、撮像
手段の位置の変化は、対象までの距離によってその影響
が大きく異なり、近い物には大きな影響を与える一方、
遠い物にはほとんど影響を与えない。そして、本実施形
態で監視する後方の対象までの距離は、数ｍ〜数１０ｍ
程度と十分に遠い。したがって、ここでは、上下の位置
の変化による影響は考慮せずに、図６（ｂ）に示す撮像
方向の変化のみを考慮するものとする。
【００３４】撮像方向の変化は、対象までの距離によっ
て影響が異なることはなく、またその変化の角度が非常
に小さいときは、画面の各動きベクトルについての、画
面全体で一様な上下方向のオフセットＶｄｙとして仮定
することができる。この場合、移動物以外の静止した背
景における動きベクトル（Ｖｘ，Ｖｙ）は、次式に示す
ように、車両の進行による消失点ＶＰへの動きベクトル
（Ｖ０ｘ，Ｖ０ｙ）と上述したオフセット（０，Ｖｄ
ｙ）との和によって近似することができる。 Ｖｘ＝Ｖ０ｘ Ｖｙ＝Ｖ０ｙ＋Ｖｄｙ
【００３５】図５のフローチャートは、このオフセット
（０，Ｖｄｙ）を揺れ成分として抽出し、検出された動
きベクトル（Ｖｘ，Ｖｙ）からキャンセルすることによ
って、静止した背景の部分について、消失点ＶＰへの動
きベクトル（Ｖ０ｘ，Ｖ０ｙ）を得るものである。
【００３６】まず、画面の各位置（ｘ，ｙ）について動
きベクトル（Ｖｘ，Ｖｙ）を入力する（Ｓ１１）。ただ
しこのとき、空など一様で画像に模様がない部分などに
ついては、動きベクトルの信頼性がないものとして予め
除外され、信頼性のある動きベクトルのみが入力され
る。また、車両が前方直進走行をした場合の仮の消失点
（ｘ０，ｙ０）は、撮像手段１０１の取り付け角度から
画面上の所定の位置に定まるので、予め求めることがで
きる（Ｓ１２）。
【００３７】次に、各動きベクトルについて、オフセッ
トを計算する（Ｓ１３）。位置（ｘ，ｙ）が静止した背
景の部分にある場合、次式の関係が成り立つ。 （ｘ−ｘ０）＊Ｖ０ｙ＝（ｙ−ｙ０）＊Ｖｘ （ｘ−ｘ０）＊（Ｖｙ−Ｖｄｙ）＝（ｙ−ｙ０）＊Ｖｘ これらの式から、Ｖｄｙを求めると、 Ｖｄｙ＝Ｖｙ−（ｙ−ｙ０）＊Ｖｘ／（ｘ−ｘ０） となる。
【００３８】上式に従って、１個の動きベクトルからＶ
ｄｙを求めることができる。しかし、入力される動きベ
クトルの中には、移動物など静止した背景の部分以外の
画像領域に係る動きベクトルも多数含まれている。ま
た、静止した背景の部分に係る動きベクトルにも誤差が
含まれている。そこで、統計処理によって、動きベクト
ルのオフセットＶｄｙを推定するものとする。すなわ
ち、図７に示すように、各動きベクトルについて上式に
従ってＶｄｙをそれぞれ求め、その頻度を計算し、最も
高い頻度をもつＶｄｙを最終的なオフセット推定値とす
る（Ｓ１４，Ｓ１５，Ｓ１６）。
【００３９】まず、１個の動きベクトルについて誤差
（±Ｖｎｘ，±Ｖｎｙ）を仮定し、画面内の位置につい
ても微小誤差（±ｎｘ，±ｎｙ）を仮定する。いま、図
７（ａ）のように、１個の動きベクトルについてオフセ
ットＶｄｙが求められたとする。これについて、動きベ
クトルの誤差（±Ｖｎｘ，±Ｖｎｙ）を考慮すると、図
７（ｂ），（ｃ）のような分布が得られ、画面内位置の
微小誤差（±ｎｘ，±ｎｙ）を考慮すると、図７
（ｄ），（ｅ）のような分布が得られる。図７（ｂ）〜
（ｅ）の分布を畳み込み積分することによって、図７
（ｆ）のような分布が得られる。
【００４０】そして、図７（ｆ）のような分布を、画面
全体の動きベクトルについて積和すると、図７（ｇ）の
ような分布が得られる。この分布において最も頻度が高
いＶｄｙの値を、揺れによるオフセットの推定値とす
る。
【００４１】図１の消失点算出手段１０８は、推定した
オフセットをキャンセルした後、再度実際の消失点を求
める。このとき、例えば移動物が画面を大きく占めた場
合や、車両に上下方向以外の揺れがあった場合、または
カーブ等直進以外の走行をしている場合には、算出した
消失点は、仮の消失点とは大きく異なることになる。こ
のような場合には、以降の移動物・接近物検出処理を中
断し、前フレームの結果を用いて画像合成を行い、表示
する。
【００４２】一方、算出した消失点が、仮の消失点近傍
の所定の範囲にあるときは、正常と判断し、移動物・接
近物検出手段１０９が、以下のような動作を行う。
【００４３】図８は移動物・接近物検出手段１０９の具
体的な動作を示すフローチャートである。まず、揺れ成
分抽出の際と同様に、画面の各位置（ｘ，ｙ）について
の動きベクトル（Ｖｘ，Ｖｙ）と、仮の消失点（ｘ０，
ｙ０）を入力する（Ｓ２１，Ｓ２２）。
【００４４】そして、入力された動きベクトルが、オフ
セットをキャンセルした後に、消失点への動きを表して
いるか否かによって、移動物か否かを判定する（Ｓ２
３）。具体的には図９に示すように、揺れ成分抽出の際
に求めた，動きベクトルの誤差（±Ｖｎｘ，±Ｖｎｙ）
と画面内位置の微小誤差（±ｎｘ，±ｎｙ）を加味した
Ｖｄｙの分布（図７（ｆ））が、オフセット推定値と一
致するか否かによって、判定が行われる。すなわち、図
９（ａ）では、Ｖｄｙの分布とオフセット推定値は一致
しないので、この動きベクトルの位置は移動物であると
判定され、一方、図９（ｂ）では、Ｖｄｙの分布とオフ
セット推定値は一致するので、この動きベクトルの位置
は静止背景であると判定される。
【００４５】図１０（ａ）に示すように、移動物と判定
された動きベクトルＦＬ１は、画面中の移動物の各部に
検出される。そして、図１０（ｂ）に示すように、これ
らの動きベクトルＦＬ１を含む領域をグループ化し、矩
形の移動物領域２０２を生成する（Ｓ２４）。そして、
車両からこの移動物までの距離を、移動物領域２０２の
下端ＵＥの位置において推定する（Ｓ２５）。
【００４６】図１１（ａ）は撮像手段１０１の撮像範囲
のデフォルト距離値を示す図である。ここでは図１１
（ａ）に示すように、撮像画像中の、所定位置よりも下
にある第１の領域ＡＲ１については路面ＲＳ上にあると
仮定し、この所定位置よりも上にある第２の領域ＡＲ２
は撮像手段１０１から所定距離ＤＤ（例えば５０ｍ）に
あると仮定する。すなわち、第１の領域ＡＲ１について
は、路面ＲＳまでの推定距離がデフォルト距離値として
記憶され、第２の領域ＡＲ２については、所定距離ＤＤ
がデフォルト距離値として記憶されている。
【００４７】また図１１（ｂ）に示すように、例えば移
動物領域２０２が画面上で領域ＡＲ１，ＡＲ２にまたが
って存在している場合は、第１の領域ＡＲ１に含まれた
移動物領域２０２の下端ＵＥを基準として、その物体が
下端ＵＥで路面ＲＳに接していると仮定して距離を推定
する。
【００４８】ここで推定した移動物領域までの距離は、
メモリに記憶される。そして次のフレーム画像の処理に
よって、同一位置に移動物領域が検出され、かつ、この
移動物領域までの推定距離が、メモリに記憶された前フ
レームでの推定距離よりも短いときは、その移動物領域
の物体は接近物であると判定される（Ｓ２６）。
【００４９】一方、図１２（ａ）に示すような、静止背
景と判定された動きベクトルＦＬ２は、そのベクトルの
大きさ（オフセットはキャンセルする）から、次式によ
って距離Ｚが計算される（Ｓ２７）。 Ｚ＝ｄＺ＊ｒ／ｄｒ ただし、ｄＺはフレーム間における車両の移動量、ｒは
画面上における消失点ＶＰからの距離、ｄｒは動きベク
トルの大きさである。すなわち、 ｒ ＝sqrt（（ｘ−ｘ０）２＋（ｙ−ｙ０）２） ｄｒ＝sqrt（Ｖｘ２＋（Ｖｙ−Ｖｄｙ）２）
【００５０】そして、ここで求めた距離Ｚを、デフォル
ト距離値として記憶された路面までの距離と比較する
（Ｓ２８）。そして、図１２（ｂ）に示す街路樹ＯＢの
ように路面より高く位置しているものを、障害物と判定
する。また、車両ＭＭのようにほぼ真後ろから接近して
くる物の場合、動きベクトルが消失点近傍で生じるが、
その大きさはきわめて小さい。このため、上述した方法
で距離Ｚを求めた場合、その物体が路面よりも下に位置
することになるような値となる可能性がある。路面より
も下には通常、物体は存在し得ないので、このような場
合の動きベクトルは移動物のものであると判定して、移
動物領域抽出処理Ｓ２４に回すことにする。
【００５１】以上のような処理によって、画面各位置の
動きベクトルから、障害物・移動物・接近物および画像
内の距離が求められ（Ｓ２９）、これらの情報は画像合
成手段１１０に出力される。
【００５２】画像合成手段１１０は、図１３に示すよう
に、撮像手段１０１から入力された撮像画像上に、矩形
領域２０２の枠２０３を赤く点灯するように合成し、こ
れを表示装置１１１に出力する。ただしこのとき、表示
装置１１１は合成画像を、バックミラーと同相になるよ
うに左右反転して表示する。
【００５３】上記の方法によれば、運転者は、図１３に
示す表示画像を見て、赤い枠２０３の点灯によって、接
近物の接近を知ることができる。すなわち、運転者は、
撮像画像を見て周囲の状況を確認するとともに、特に注
意が必要な接近物に対して、警報音などによって驚くこ
となく、自然に注意を向けることが可能となる。
【００５４】また、警報音では困難な、接近物が自車両
に対し、どの方向からどの程度まで接近してきているか
という情報を、直接的に容易に把握することができる。
【００５５】なお、本実施形態では、移動体の接近物の
みを赤い枠で点滅表示するものとしたが、運転者に注意
を喚起する方法としてはこの方法に限られず、例えば他
の色を用いたり、点滅させずに表示したりしてもよい。
また表示装置１１１に表示される接近物の画像が下方に
移動すれば移動体に接近していると理解され、逆に上方
に移動すれば移動体から離れていると理解することがで
きる。
【００５６】さらに、接近物までの距離が求められてい
るので、距離自体を表示したり、距離に応じて表示を変
化させたりすることによって、運転者の状況把握をより
一層助けることが可能になる。例えば、接近物との距離
が、５０ｍ以上のときは緑色、２０ｍ以上５０ｍ未満の
ときは黄色、２０ｍ未満の時は赤色というように、距離
に応じて枠の色を変化させたり、移動物領域の右上に距
離値自体を表示させたりすればよい。
【００５７】（第２の実施の形態） 図１４は本発明の第２の実施形態に係る運転支援装置と
しての移動体画像表示システムの構成を示すブロック図
である。同図中、図１と共通の構成要素には、図１と同
一の符号を付しており、ここではその詳細な説明は省略
する。図１と異なる構成要素は、第１撮像手段１０１と
は別個に設けられた第２撮像手段４０１、階層的ブロッ
クステレオマッチング手段４０５、３Ｄ情報推定・障害
物検出手段４０９および画像合成手段または画像生成手
段としての３Ｄ画像合成手段４１０である。構成要素１
０２〜１０９，４０５，４０９によって検出手段が構成
されている。
【００５８】本実施形態に係る移動体画像表示システム
の目的は、動きベクトル（フロー）が精度良く求まらな
い消失点付近の接近物や障害物の検出を精度置く行うこ
とである。本実施形態に係る移動体画像表示システムの
動作について、図１５〜図２１を参照して説明する。
【００５９】図１５は自車両とその周囲を上から見下ろ
した模式図である。図１５に示すように、本実施形態に
係る運転支援装置では、２台の撮像手段１０１，４０１
が車両後部に水平方向にずらして設置されている。そし
て、一の撮像手段としての第１撮像手段１０１による第
１の撮像範囲ＶＡ１と他の撮像手段としての第２撮像手
段４０１による第２の撮像範囲ＶＡ２とが、オーバーラ
ップする領域ＯＬを有するように、配置されている。
【００６０】図１５に示すような撮像手段の配置は、視
野角が限られた通常のレンズを持つカメラを用いて、車
両後方を広い視野で撮影し監視するためのものである。
このように複数の撮像手段を配置すれば、魚眼レンズな
どの特殊なレンズを用いなくとも、広視野の画像を撮影
することが可能となる。また、複数の撮像手段を用いる
ことによって、得られる画像の解像度を高く保つことも
できる。
【００６１】また、監視を用途とする場合には、得られ
た複数の画像を接合して表示する必要があるが、図１５
のように異なる位置から撮影された画像を接合する場合
は、位置による隠蔽（オクルージョン）の影響などを考
慮して、２個の撮像範囲に重なりを持たせた方がよい。
【００６２】次に処理の詳細について説明する。階層画
像化手段１０２、ＬＰＦ１０３、ブロックサンプリング
手段１０４および階層的ブロックマッチング手段１０５
は、撮像手段１０１，４０１から入力された各撮像画像
に対して、第１の実施形態と同様の処理を行い、フロー
（動きベクトル）を求める。
【００６３】図１６（ａ），（ｂ）はそれぞれ、撮像手
段１０１，４０１によって得られた撮像画像に上記の処
理によって得られたフローを重ねた図である。ＯＬは撮
像画像上におけるオーバーラップ領域を示す。図１６
（ａ），（ｂ）では、ビルや樹など静止した物体に対す
るフローは実線の矢印によって示し、車など動きのある
物体に対するフローは破線の矢印によって示している。
【００６４】静止した物体に対するフローは、自車両の
動きによって、消失点ＶＰへ向かうフローとなる。この
フローの大きさは、自車両の速度と、画面上での消失点
ＶＰまでの距離に比例する。このため、消失点ＶＰ近傍
のフローは、その大きさは小さくなるので、検出が困難
になる。
【００６５】そこで、階層的ブロックステレオマッチン
グ手段４０５は、オーバーラップ領域ＯＬにおいて、図
１６（ａ），（ｂ）に示す２枚の画像のステレオ解析を
行い、ステレオ視差を求める。消失点ＶＰは車両の進行
方向の真後ろに生じるので、撮像手段１０１，４０１
を、オーバーラップ領域ＯＬが撮像画像上で消失点ＶＰ
を含むように設定するのは容易である。
【００６６】図１６（ｃ）は図１６（ａ），（ｂ）に示
す２枚の画像を重ね合わせた図である。同図中、車両画
像のずれＶＤが、求められたステレオ視差である。
【００６７】撮像手段を水平方向に並べて配置した場
合、ステレオ視差ＶＤはほぼ水平方向に生じる。このた
め、上位階層の画像から、水平５ｘ垂直３画素の範囲で
ブロックマッチングによってＳＡＤ（差分絶対値の総
和）を求め、そのＳＡＤの最小点からステレオ視差を求
める。下位階層の画像では、上位階層の画像の同一位置
のブロックにおいて求められたステレオ視差を中心に、
さらに、水平５ｘ垂直３画素の範囲でステレオ視差を求
める。
【００６８】サブピクセル推定・信頼性判定手段１０６
は、最下位階層の画像（撮像画像）において求められた
動きベクトルとＳＡＤを用いて、ＳＡＤの最小位置とそ
の周囲の８点のＳＡＤの値から、１画素以下のサブピク
セルの精度で動きベクトルの推定を行う。これととも
に、そのブロックにおける動きベクトルの信頼性判定を
行う。
【００６９】また、階層的ブロックステレオマッチング
手段４０５によって得られたステレオ視差ＶＤに対し
て、動きベクトルに係る処理を全く同様に適用すること
によって、サブピクセル精度でのステレオ視差の推定
と、ステレオ視差の信頼性判定とを行う。
【００７０】以上の処理によって、撮像画像の各位置に
ついて、前フレームからの時間的な動きを示すフローが
求められるとともに、オーバーラップ領域ＯＬにおいて
ステレオ視差が求められる。
【００７１】一般に、ステレオ視差と、撮像手段の相対
位置関係とが分かれば、三角測量の原理によって、撮像
手段から対象物までの距離が求められる。また、画像の
時間的な動きを表すフローによっても、例えば対象物が
地面に静止していると仮定することによって、車速との
関係で、撮像手段から対象物までの距離を求めることが
できる。
【００７２】このことを利用して、３Ｄ情報推定・障害
物検出手段４０９は、図１７に示すように、２枚の撮像
画像について３次元情報を推定し、さらに、地面から所
定の高さ以上にあると推定される画面上の領域を、障害
物ＯＢとして検出する。
【００７３】また移動物・接近物検出手段１０９は、消
失点ＶＰへ向かうフローとは異なる動きベクトルを持つ
ブロックを、移動物・接近物候補ブロックとして抽出
し、近接する移動物・接近物候補ブロックを連結するこ
とによって、図１７に示すように、移動物ＭＭを抽出す
る。またこれとともに、３Ｄ情報推定・障害物検出手段
４０９から得られる３次元情報から、消失点ＶＰ近傍領
域の障害物の距離が接近していると判断したとき、これ
を図１７に示すように、接近物ＡＰとして抽出する。
【００７４】３Ｄ画像合成手段４１０は図１７に示すよ
うに、３Ｄ情報推定・障害物検出手段４０９から得られ
る３次元情報を利用して、撮像装置１０１，４０１から
入力された２枚の撮像画像を合成する。さらに合成画像
上で、移動物ＭＭと接近物ＡＰの領域を例えば赤い枠で
囲んで点灯表示するとともに、障害物ＯＢを例えば緑色
の枠で囲んで表示し、これを表示装置１１１に出力す
る。ただしこのとき、表示装置１１は合成画像を、バッ
クミラーと同相になるように左右反転して表示する。
【００７５】運転者は、図１７に示す表示画像を見て、
赤い枠の点灯によって、移動物ＭＭや接近物ＡＰの接近
を知ることができ、また、接近物ＡＰが自車両に対し、
どの方向からどの程度まで接近してきているかを、直接
的に容易に把握することができる。さらに運転者は、緑
の枠の表示によって、障害物ＯＢの存在とその位置を直
接的に容易に把握することができる。
【００７６】また、第２の従来例や本発明の第１の実施
形態のように、撮像画像の動き解析によって障害物や接
近物を検出するいわゆる「モーションステレオ」と呼ば
れる方法では、移動による視点の変化に対応した画像の
変化を解析することによって、撮像画像内の３次元情報
を得る。この場合、移動する方向またはその逆方向の画
像の、移動によるフロー（動きベクトル）の消失点の近
傍領域では、視点の変化に対応した画像の変化が小さく
なるという欠点があり、例えば車両に応用する場合、走
行方向の前方や後方の正面における検出感度が下がる、
といった問題があった。
【００７７】ところが、この第２の実施形態によると、
画面上の消失点近傍領域における検出を、２台のカメラ
によるオーバーラップ領域ＯＬによるステレオ解析によ
って補っているので、感度よく検出することができる。
【００７８】３Ｄ画像合成手段４１０は、３Ｄ情報推定
・障害物検出手段４０９から得られた３次元情報を利用
して、接近物や障害物の情報を運転者に的確に伝える。
この方法について、説明する。
【００７９】第１の実施形態では、接近物の情報が合成
された撮像画像を見たとき、画面の奥行き方向の距離
は、合成画像上の物体のみかけの大きさから判断する必
要がある。特に、撮像装置を車両に設置する場合には、
車高以上の位置に設置することはできず、また、ある程
度遠方を視野に入れるためにはその向きをほぼ水平近く
にしなければならないので、この結果、接近物との距離
は、画面の奥行き方向になってしまう。
【００８０】接近物との距離を画面上で把握しやすくす
るための方法として、本願発明者らによる日本国特許出
願 特願平１０−２１７２６１にあるような合成画像の
視点位置を変更する技術がある。この出願の装置の場
合、車両の周囲の複数の撮像画像が３次元的に地面を写
していると仮定して、例えば上空から見下ろしたような
新しい視点からの合成画像を作成している。その場合、
車両と他の物体との距離は、画面上の距離に比例するこ
とになるので、直感的に距離が把握しやすくなる。
【００８１】本実施形態では３Ｄ画像合成手段４１０
は、上述の技術を用いて、撮像手段１０１，４０１によ
って得られた撮像画像を、実際の撮像手段の設置位置よ
りも上方の視点位置から見た合成画像に変換する。遠方
まで視野に入れるためには、真下を見下ろすよりも、斜
め下方向を見下ろすような視点を用いる方がよい。
【００８２】図１８（ａ）はこのような合成画像を得る
ための仮想視点ＶＶＰの位置を示している。仮想視点Ｖ
ＶＰは、撮像手段１０１の上方に位置しており、その向
きは車両後方斜め下方向を見下ろすようになっている。
そして、図１８（ｂ）に示すように、実際の撮像手段１
０１による撮像画像が図１１（ａ）を用いて説明したよ
うなデフォルトの距離にあると仮定すると、実際の撮像
画像から、仮想視点ＶＶＰから見た合成画像を生成する
ことができる。
【００８３】例えば実際の撮像画像が図１９（ａ）に示
すようなものである場合、仮想視点ＶＶＰから見た合成
画像は図１９（ｂ）に示すようになる。図１９から分か
るように、実際にデフォルトの距離値と同じように路面
上に存在する白線４１１等は合成画像上でも正確な位置
に合成され、かつ、上方から見た画像なので、距離感が
把握しやすく強調されたものとなる。しかし、実際には
路面上にない樹木４１２や車両４１３などは、合成画像
上では、長く引き延ばされ不自然に歪んだものになる。
なお、図１９（ｂ）の合成画像は、実際の撮像領域より
も外側の領域４１４を含んでいる。
【００８４】すなわち、従来の画像合成技術をそのまま
適用した場合には、画像変換の際に地面の位置しか仮定
していないので、実際には地面に位置しないもの、例え
ば他の車両や障害物が合成画像上で歪んでしまうという
問題が生じる。
【００８５】そこで本実施形態では、３Ｄ情報推定・障
害物検出手段４０９から得られる３次元情報を利用する
ことによって、上述した合成画像上における車両などの
歪みを、大きく改善する。このことを、図２０および図
２１を用いて説明する。
【００８６】本実施形態では、３Ｄ情報推定・障害物検
出手段４０９から得られる３次元情報を利用して、地面
よりも上にある障害物や接近物を検出している。このた
め、図２０（ａ）に示すように、障害物や接近物の領域
をその３次元情報に従って合成するので、仮想視点ＶＶ
Ｐから見た画像を合成しても、歪みの少ない自然な画像
を合成できる。
【００８７】すなわち、実際には路面上にない樹木４１
２や車両４１３については、撮像手段１０１からの実際
の距離ＲＤが検出されているので、その領域は、合成画
像生成においても実際の距離ＲＤが考慮された位置に、
合成される。したがって、図２０（ｂ）に示すように、
実際には路面上にない樹木４１２や車両４１３等も、デ
フォルトの距離値ではなく実際の距離ＲＤを基にして合
成されるので、合成画像上で長く引き延ばされることは
なく、自然なものとなる。
【００８８】このようにして、合成画像において、実際
にデフォルトの距離値と同じように路面上に存在する白
線等は正確な位置に合成され、かつ、実際には路面上に
ない樹木や車両等についても自然な画像が得られる。さ
らに、合成画像は上方から見た画像であるので、距離感
が把握しやすい画像を、運転者に示すことができる。
【００８９】図２１は２個の撮像手段１０１，４０１の
撮像画像から合成画像を生成する場合を示す図である。
図２１（ａ）に示すように、この場合も実際には路面上
にない樹木４１２や車両４１３については、撮像手段１
０１，４０１からの実際の距離ＲＤが検出されているの
で、その領域は、合成画像生成においても実際の距離Ｒ
Ｄが考慮された位置に、合成される。そして、図２１
（ｂ）に示すような合成画像が得られる。図２１（ｂ）
の合成画像において、ＶＡ１，ＶＡ２はそれぞれ、撮像
手段１０１，４０１の視野範囲に対応する領域、ＯＬは
視野範囲が重なったオーバーラップ領域である。図２０
（ｂ）の例に比べて、視野角の広い画像が合成されてい
る。また、オーバーラップ領域ＯＬよりも外側の領域で
も、消失点から離れているためにフローから距離が求め
られるので、その距離が考慮された位置に例えば樹木４
１５を合成することができる。
【００９０】（第２の実施形態の変形例） 本実施形態の変形例について、図２２および図２３を参
照して説明する。
【００９１】図２２は本変形例に係る撮像手段の配置の
一例を示す図である。上述の実施形態と異なるのは、２
台の撮像手段１０１，４０１が、水平方向ではなく垂直
方向に間隔ｋをおいて設置されている点である。また、
撮像手段の視野範囲については、第２の実施形態と同様
に、撮像手段１０１による第１の撮像領域ＶＡ１と撮像
手段４０１による第２の撮像領域ＶＡ２とが互いに重な
り、オーバーラップ領域ＯＬが生じるようになってい
る。
【００９２】そして図２３（ａ）に示すように、第２の
実施形態と同様に、２つの撮像領域がオーバーラップす
る領域にステレオ解析領域ＳＴを設け、またそれ以外の
部分にも動き解析領域ＭＡ１，ＭＡ２を設けている。
【００９３】本変形例に係るステレオ解析領域ＳＴでの
処理について、説明する。
【００９４】図２３（ｂ）に示すように、この２枚の画
像では、縦方向にステレオ視差ＶＤが生じる。このとき
図２３（ｃ）に示すように、２枚の画像から予め水平エ
ッジＨＥを抽出しておき、この水平エッジＨＥについて
２枚の画像間の対応をとることによって、ステレオ視差
ＶＤは容易に求めることができる。また、本発明が主な
対象とする路面上の車両の画像は、バンパー、ボンネッ
トのラインなどの水平エッジが他のエッジに比べて多く
含まれており、容易に検出することが可能である。この
ステレオ視差ＶＤによって撮像手段からの距離が求まる
ので、上述の実施形態と同様に、接近物や障害物の検出
が可能であり、また、接近物や障害物の画像を立体的に
合成して表示することができる。
【００９５】本変形例では、２個の撮像手段と仮想視点
とが縦方向に並ぶので、合成画像は、縦方向の視差が強
調された画像となる。また、水平方向のエッジが少な
く、このためステレオ視差ＶＤが精度良く求まらない部
分では、合成画像での精度も落ちるが、逆に水平エッジ
が少ないために、位置のずれによる不自然さはほとんど
目立たない。したがって、全体として非常に自然であ
り、かつ、水平エッジのある部分（他の車両が映ってい
る部分など）では、奥行き位置情報が強調された合成画
像を生成することができる。
【００９６】またここで、撮像手段の間隔ｋと、検出可
能な距離との関係について、捕足説明する。説明を簡単
にするために、撮像手段は真後ろを向いているものとす
る。撮像手段の水平方向の画角を約９０度と仮定する
と、距離Ｄが１０ｍのとき、水平方向の画角範囲は約２
０ｍに相当する。また撮像手段の画素の縦横比を３：４
とすると、垂直方向の画角範囲Ｖｈは約１５ｍに相当す
る。すなわち、 Ｖｈ／Ｄ＝１．５ である。また、画面の垂直方向の画素数をＶｐとする
と、撮像手段と同一高さにある後方車両の水平エッジ
が、無限遠の視差０から、１画素相当の視差が生じるま
で接近するときの距離Ｄは、 Ｖｈ／ｋ＝Ｖｐ から、 Ｄ＝ｋ＊Ｖｐ／１．５ となる。垂直方向の画素数Ｖｐを４８０、撮像手段の間
隔ｋを１０ｃｍ（＝０．１ｍ）とすると、 Ｄ＝０．１＊４８０／１．５＝３２（ｍ） と概算される。実際の視差の検知精度は０．３〜１画素
であり、求められる接近物検出距離が３０〜７０ｍ、撮
像手段の画角が６０〜１２０度と仮定すると、撮像手段
の間隔は７〜２０ｃｍ程度でよいことが概算できる。
【００９７】このように、７〜２０ｃｍ程度の間隔で比
較的近くに設置された撮像手段によっても、接近物を検
出することができるので、車両への搭載がより容易にな
る。
【００９８】なお、上述した第１〜第２の実施の形態に
おいては、車両の後方を、主たる監視領域として説明し
たが、本発明はこれに限られるものではなく、例えば車
両前方・側方を監視領域として、車両前方・側方の画像
を生成するとものとしてもかまわない。
【００９９】（第３の実施形態） 図２４は本発明の第３の実施形態に係る運動支援装置の
構成を示すブロック図である。図２４において、図１４
と異なる構成要素は、危険度判定手段５０１、車外警報
手段５０２、乗員保護手段５０３である。
【０１００】第２の実施形態と同様に、複数の撮像手段
１０１，４０１により、オーバーラップする領域を階層
的ステレオマッチング手段４０５によってステレオ解析
することにより、従来検出が困難であった車両真後ろの
接近物を精度よく計測することが可能となる。
【０１０１】従来、車両への接近物の検出装置が、真後
ろからの接近物を対象としていなかったのは、動き検出
だけでは接近物の検出が困難である点と、接近物を検出
した後、衝突などを避けるための方法が少ないというこ
ともあった。例えば第１の従来例においては、自車両の
走行する隣の車線からの接近物を検出した場合、その車
線への自車両の進路変更を行わないように警報するなど
により容易に衝突を避けることが可能となる。一方、自
車両と同じ車線から接近する車両については、速度を上
げて前方へ回避するか、他の車線への進路変更などの積
極的な動きが必要とされる。いずれの場合も、接近物以
外の周囲の車両、物体への衝突という危険が新たに生じ
てしまう。
【０１０２】そこで、本実施形態では、移動物接近物検
出手段１０９が真後ろからの接近物を検出したときは、
危険度判定手段５０１は、衝突までの時間や接近物の速
度変化等からこの接近物が衝突する可能性を判定する。
そして、衝突の可能性が高いと判断したときは指示信号
を出力する。車外警報手段５０２は指示信号を受けて、
自動的にブレーキランプを点滅させるなどのように、後
方に向けて警報を発する。ここでの警報としては、ブレ
ーキランプの点滅以外にも、後方に向けて設置したラン
プの照射や点滅、音による警報、ラジオなどの電波を利
用しての警報などが考えられる。
【０１０３】また、危険度判定手段５０１から指示信号
が出力されると、乗員保護手段５０３は、シートベルト
の巻き取りやエアバックの作動準備などの乗員を保護す
る措置を講じる。エアバックに関しては、予め衝突の可
能性が高いことが分かれば、作動準備や乗員の頭部位置
の検出などの種々の前処理を行うことが可能になり、こ
れにより乗員保護を確実に行うことができる。
【０１０４】なお、本実施形態の接近物の検出手段は、
画像のステレオや動き解析によるものに限定するわけで
なく、例えばレーダー、レーザーなどを用いた他の手段
により実施することも可能である。
【０１０５】また、本発明は、車両以外の移動体、例え
ば船、飛行機、列車などにも容易に適用可能であること
はいうまでもない。
【０１０６】また、複数の撮像手段の設置位置や台数
は、ここで示したものに限られるものではない。
【０１０７】また、本発明に係る運転支援装置の検出手
段や画像生成手段の機能は、その全部または一部を、専
用のハードウェアを用いて実現してもかまわないし、ソ
フトウェアによって実現してもかまわない。また、本発
明に係る運転支援装置の検出手段や画像生成手段の機能
の全部または一部をコンピュータに実行させるためのプ
ログラムを格納した記録媒体や伝送媒体を、利用するこ
とも可能である。
【０１０８】以上説明したところから明らかなように、
本発明によって、車両の振動による揺れに影響されずに
接近物を検出できる。また、複数の撮像装置によるステ
レオ解析を併用することによって、動きの変化の小さい
車両の真後ろの接近物を検出することができる。
【０１０９】これら接近物等の検出結果を画像上で報知
することによって、運転者が、その位置関係と周囲状況
を直接的に確認できる。また、画像を上方からの斜め見
下ろしの視点からの画像に変換することにより、接近物
までの距離をより分かりやすく提示することができる。
【０１１０】また、運転者に報知するだけでなく、接近
する車両に警報することにより、衝突の可能性を低減で
き、衝突の衝撃から乗員を保護する処置をより早くから
開始することができる。
【０１１１】以上述べたように、本発明により、運転者
の負担を軽減することができる運転支援装置を提供する
ことができる。 ［図面の簡単な説明］
【図１】本発明の第１の実施形態に係る運転支援装置の
構成を示すブロック図である。
【図２】（ａ）は撮像画像の一例、（ｂ）は（ａ）の画
像上にフローが示された図である。
【図３】図２の画像が撮像されたときの状態を上方から
見た概念図である。
【図４】（ａ）は消失点とフローとの関係を示す図、
（ｂ）は図２の画像上で移動物領域が抽出された図であ
る。
【図５】揺れ成分抽出の処理の流れを示すフローチャー
トである。
【図６】（ａ），（ｂ）は車両の上下方向の振動が撮像
手段に与える影響を示す図である。
【図７】（ａ）〜（ｇ）は動きベクトルのオフセット推
定値を求める手順を説明するための図である。
【図８】移動物・検出物検出の処理の流れを示すフロー
チャートである。
【図９】（ａ），（ｂ）は移動物か否かを判定する方法
を説明するための図である。
【図１０】（ａ），（ｂ）は動きベクトルを用いた移動
物領域の抽出を表す図である。
【図１１】（ａ）は撮像範囲のデフォルト距離値を示す
図、（ｂ）は移動物領域が領域ＡＲ１，ＡＲ２にまたが
っているときの距離推定を示す図である。
【図１２】（ａ）は静止背景の動きベクトルが示された
画像、（ｂ）は障害物の判定手法を説明するための図で
ある。
【図１３】表示画像の一例を示す図である。
【図１４】本発明の第２の実施形態に係る運転支援装置
の構成を示すブロック図である。
【図１５】本発明の第２の実施形態における撮像手段の
配置の一例を示す模式図である。
【図１６】（ａ），（ｂ）は各撮像画像にフローを示し
た図、（ｃ）は（ａ），（ｂ）に示す２枚の画像を重ね
合わせてステレオ視差を求めた図である。
【図１７】障害物、移動物および接近物が抽出された画
像の例である。
【図１８】（ａ），（ｂ）は移動物が立体表示される合
成画像を得るための仮想視点を示す図である。
【図１９】（ａ）は実際の撮像画像の例、（ｂ）は
（ａ）から生成した合成画像である。
【図２０】（ａ），（ｂ）は検出した距離を考慮した画
像合成を説明するための図である。
【図２１】（ａ），（ｂ）は検出した距離を考慮した画
像合成であって、２台の撮像手段を用いた場合を説明す
るための図である。
【図２２】（ａ），（ｂ）は本発明の第２の実施形態の
変形例に係る撮像手段の配置の一例を示す図である。
【図２３】（ａ），（ｂ），（ｃ）は本発明の第２の実
施形態の変形例におけるステレオ視差の求め方を説明す
るための図である。
【図２４】本発明の第３の実施形態に係る運転支援装置
の構成を示すブロック図である。
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｇ０１Ｃ 3/06 Ｇ０１Ｃ 3/06 Ｚ Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ Ｖ (72)発明者 岡本 修作 日本国大阪府枚方市星丘３−６−10− 215 (56)参考文献 特開 平９−249083（ＪＰ，Ａ) 特開 平９−223227（ＪＰ，Ａ) 特開 平10−38561（ＪＰ，Ａ) 特開 平10−341430（ＪＰ，Ａ) 特開 平11−213295（ＪＰ，Ａ) 特開 平11−42988（ＪＰ，Ａ) 特開 平11−42989（ＪＰ，Ａ) 特開 平11−20546（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) B60R 21/00 B60R 1/00 G01B 11/00 G01C 3/06 G08G 1/16 H04N 7/18

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項１】 移動体の運転を支援する装置であって、 当該移動体に設置され、移動体後方を撮像する複数の撮
    像手段と、 前記複数の撮像手段の撮像画像から、移動体後方の物体
    の動きを検出する検出手段とを備え、 前記複数の撮像手段は、一の撮像手段と他の撮像手段の
    撮像領域がオーバーラップした領域を有し、かつ、その
    撮像画像上で、前記オーバーラップ領域に消失点近傍を
    含み、 前記検出手段は、 前記オーバーラップ領域において、前記一の撮像手段と
    前記他の撮像手段とのステレオ視差を求め、 求めたステレオ視差を基にして、当該物体までの距離を
    求め、 前記一の撮像手段の、前記オーバーラップ領域以外の撮
    像領域について、画像の時間的な動きを示すフローを検
    出し、 検出したフローを基にして、移動体後方の物体の動きを
    検出するものである ことを特徴とする運転支援装置。
  2. 【請求項２】 請求項１記載の運転支援装置において、 前記複数の撮像手段の撮像画像を用いて、画像合成を行
    い、移動体後方を表す画像を生成する画像合成手段を備
    えた ことを特徴とする運転支援装置。
  3. 【請求項３】 請求項１記載の運転支援装置において、 前記検出手段から出力された情報を受けて、移動体後方
    からの接近物が当該移動体に衝突する可能性を判定し、
    この可能性が高いと判断したとき指示信号を出力する危
    険度判定手段と、 前記危険度判定手段から指示信号が出力されたとき、移
    動体後方に向けて警報を発する車外警報手段とを備えた ことを特徴とする運転支援装置。
  4. 【請求項４】 請求項１記載の運転支援装置において、 前記検出手段から出力された情報を受けて、移動体後方
    からの接近物が当該移動体に衝突する可能性を判定し、
    この可能性が高いと判断したとき指示信号を出力する危
    険度判定手段と、 前記危険度判定手段から指示信号が出力されたとき、当
    該移動体の乗員を保護する措置を行う乗員保護手段とを
    備えた ことを特徴とする運転支援装置。
JP2001524839A 1999-09-20 2000-09-20 運転支援装置 Expired - Lifetime JP3300340B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP26562999 1999-09-20
JP11-265629 1999-09-20
PCT/JP2000/006393 WO2001021446A1 (en) 1999-09-20 2000-09-20 Device for assisting automobile driver

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2002046169A Division JP4091775B2 (ja) 1999-09-20 2002-02-22 運転支援装置

Publications (2)

Publication Number Publication Date
JP3300340B2 true JP3300340B2 (ja) 2002-07-08
JPWO2001021446A1 JPWO2001021446A1 (ja) 2003-04-08

Family

ID=17419801

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2001524839A Expired - Lifetime JP3300340B2 (ja) 1999-09-20 2000-09-20 運転支援装置
JP2002046169A Expired - Lifetime JP4091775B2 (ja) 1999-09-20 2002-02-22 運転支援装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2002046169A Expired - Lifetime JP4091775B2 (ja) 1999-09-20 2002-02-22 運転支援装置

Country Status (7)

Country Link
US (1) US6993159B1 (ja)
EP (1) EP1223083B1 (ja)
JP (2) JP3300340B2 (ja)
KR (1) KR100466458B1 (ja)
CN (1) CN1160210C (ja)
DE (1) DE60009114T2 (ja)
WO (1) WO2001021446A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087336A (ja) * 2005-09-26 2007-04-05 Toyota Motor Corp 車輌周囲情報表示装置

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4573977B2 (ja) * 1999-09-22 2010-11-04 富士重工業株式会社 監視システムの距離補正装置、および監視システムの消失点補正装置
JP3620710B2 (ja) * 2000-07-28 2005-02-16 日本ビクター株式会社 撮像装置
DE10131196A1 (de) 2001-06-28 2003-01-16 Bosch Gmbh Robert Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen
JP3739693B2 (ja) * 2001-11-09 2006-01-25 本田技研工業株式会社 画像認識装置
DE10218228A1 (de) * 2002-04-24 2003-11-06 Volkswagen Ag Verfahren und Einrichtung zur Funktionskontrolle einer Videokamera in einem Fahrzeug
JP3904988B2 (ja) * 2002-06-27 2007-04-11 株式会社東芝 画像処理装置およびその方法
JP2004147210A (ja) * 2002-10-25 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
DE10303792A1 (de) * 2003-01-31 2004-08-12 Robert Bosch Gmbh Verfahren zur Anzeige fahrzeugspezifischer Informationssignale
JP2004240480A (ja) * 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
KR20050036179A (ko) * 2003-10-15 2005-04-20 현대자동차주식회사 차량의 전방 감시장치 및 방법
CN1910626A (zh) * 2003-11-11 2007-02-07 特希尼库斯股份公司 用于记录车辆行驶和/或交通状况的装置以及用于评估这些记录的方法
JP4638143B2 (ja) 2003-12-26 2011-02-23 富士重工業株式会社 車両用運転支援装置
JP3980565B2 (ja) * 2004-02-16 2007-09-26 松下電器産業株式会社 運転支援装置
US7406182B2 (en) * 2004-03-31 2008-07-29 Fujifilm Corporation Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program
US8082101B2 (en) 2004-04-08 2011-12-20 Mobileye Technologies Ltd. Collision warning system
JP2005311868A (ja) 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4586416B2 (ja) * 2004-05-20 2010-11-24 日産自動車株式会社 運転支援装置
EP2182730B1 (en) * 2004-06-15 2020-05-20 Panasonic Intellectual Property Management Co., Ltd. Monitor and vehicle periphery monitor
WO2006009257A1 (ja) * 2004-07-23 2006-01-26 Matsushita Electric Industrial Co., Ltd. 画像処理装置および画像処理方法
EP1779061B1 (en) * 2004-08-04 2013-11-06 Intergraph Software Technologies Company Method and computer program product for preparing and comparing composite images with non-uniform resolution
JP2006054662A (ja) * 2004-08-11 2006-02-23 Mitsubishi Electric Corp 運転支援装置
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US7609290B2 (en) * 2005-01-28 2009-10-27 Technology Advancement Group, Inc. Surveillance system and method
KR100782811B1 (ko) * 2005-02-04 2007-12-06 삼성전자주식회사 영상의 주파수 특성에 따라 포맷을 달리하는 스테레오 영상 합성 방법 및 장치와, 그 영상의 송신 및 수신 방법과, 그 영상의 재생 방법 및 장치
WO2006092431A1 (de) * 2005-03-03 2006-09-08 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zum vermeiden einer kollision bei einem spurwechsel eines fahrzeugs
JP4544028B2 (ja) * 2005-05-13 2010-09-15 日産自動車株式会社 車載画像処理装置、および画像処理方法
JP4626400B2 (ja) * 2005-05-25 2011-02-09 日産自動車株式会社 俯瞰画像表示装置及び俯瞰画像表示方法
KR100666276B1 (ko) * 2005-07-13 2007-01-10 현대자동차주식회사 소실점을 이용한 자동차의 차선이탈 경보방법
SE529304C2 (sv) * 2005-09-06 2007-06-26 Gm Global Tech Operations Inc Metod och system för förbättrande av trafiksäkerhet
FR2891934B1 (fr) * 2005-10-12 2008-01-18 Valeo Electronique Sys Liaison Dispositif de traitement de donnees video pour un vehicule automobile
JP2007148835A (ja) * 2005-11-28 2007-06-14 Fujitsu Ten Ltd 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム
JP4757085B2 (ja) * 2006-04-14 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法、画像処理装置、画像処理方法、及びプログラム
JP4846426B2 (ja) * 2006-04-20 2011-12-28 パナソニック株式会社 車両周囲監視装置
JP4847884B2 (ja) * 2007-01-31 2011-12-28 オプトレックス株式会社 障害物検出装置、車両用表示装置及び障害物検出方法
JP5271511B2 (ja) * 2007-06-14 2013-08-21 富士通テン株式会社 運転支援装置および画像表示装置
WO2009092168A1 (en) * 2008-01-22 2009-07-30 Magna International Inc. Use of a single camera for multiple driver assistance services, park aid, hitch aid and liftgate protection
JP5337170B2 (ja) 2008-02-08 2013-11-06 グーグル インコーポレイテッド タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ
JP4513871B2 (ja) * 2008-02-15 2010-07-28 ソニー株式会社 画像処理方法、画像処理プログラムおよび画像処理装置
JP4986069B2 (ja) * 2008-03-19 2012-07-25 マツダ株式会社 車両用周囲監視装置
DE102008060684B4 (de) * 2008-03-28 2019-05-23 Volkswagen Ag Verfahren und Vorrichtung zum automatischen Einparken eines Kraftfahrzeugs
KR100929689B1 (ko) * 2008-09-08 2009-12-03 재단법인대구경북과학기술원 스테레오 영상 정보를 이용한 차량용 사고기록 장치 및 그 제어 방법
KR100971731B1 (ko) 2008-11-07 2010-07-22 주식회사 케이제이몰 차량용 영상 저장 시스템에서의 영상 처리 장치 및 방법
KR100997617B1 (ko) 2008-11-20 2010-12-01 재단법인대구경북과학기술원 교통 수단의 사고 기록 장치, 방법 및 시스템
JP4553072B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 画像統合装置および画像統合方法
JP4733756B2 (ja) * 2009-04-28 2011-07-27 本田技研工業株式会社 車両周辺監視装置
DE102009038406B4 (de) * 2009-08-24 2017-10-05 Volkswagen Ag Verfahren und Vorrichtung zur Vermessung des Umfeldes eines Kraftfahrzeugs
JP5039765B2 (ja) * 2009-09-17 2012-10-03 日立オートモティブシステムズ株式会社 車両制御装置
CN102577372B (zh) * 2009-09-24 2015-06-10 松下电器产业株式会社 驾驶辅助显示装置
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
JP2011118482A (ja) 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
US8751191B2 (en) 2009-12-22 2014-06-10 Panasonic Corporation Action analysis device and action analysis method
CN102275558B (zh) * 2010-06-12 2013-01-23 财团法人车辆研究测试中心 双视觉前车安全警示装置及其方法
JP5609597B2 (ja) * 2010-12-02 2014-10-22 富士通株式会社 接触可能性検知装置、接触可能性検知方法、及びプログラム
JP5695405B2 (ja) * 2010-12-10 2015-04-08 東芝アルパイン・オートモティブテクノロジー株式会社 車両用画像処理装置および車両用画像処理方法
KR101243108B1 (ko) 2010-12-30 2013-03-12 주식회사 와이즈오토모티브 차량의 후방 영상 표시 장치 및 방법
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP5329582B2 (ja) 2011-02-09 2013-10-30 本田技研工業株式会社 車両用周辺監視装置
WO2013042767A1 (ja) * 2011-09-21 2013-03-28 本田技研工業株式会社 車両周辺監視装置
DE102011084554A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
CN103085716A (zh) * 2011-10-31 2013-05-08 鸿富锦精密工业（深圳）有限公司 交通意外防止系统及方法
JP5760999B2 (ja) * 2011-12-02 2015-08-12 トヨタ自動車株式会社 画像処理装置及び画像処理方法
KR101340014B1 (ko) * 2011-12-09 2013-12-10 에스엘 주식회사 위치 정보 제공 장치 및 방법
JP5414947B2 (ja) 2011-12-27 2014-02-12 パナソニック株式会社 ステレオ撮影装置
CN103448652B (zh) * 2012-06-04 2016-06-15 宏达国际电子股份有限公司 行车警示方法及其电子装置
CN103522952A (zh) * 2012-07-06 2014-01-22 昆达电脑科技(昆山)有限公司 驾驶中提示危险的警报装置及其方法
JP5695000B2 (ja) * 2012-08-13 2015-04-01 本田技研工業株式会社 車両周辺監視装置
TWI494234B (zh) * 2012-08-24 2015-08-01 Altek Autotronics Corp 行車輔助系統及其啟用方法
JP6084434B2 (ja) * 2012-10-31 2017-02-22 クラリオン株式会社 画像処理システム及び画像処理方法
CN104118380B (zh) * 2013-04-26 2017-11-24 富泰华工业（深圳）有限公司 行车侦测系统及方法
CN105190694B (zh) 2013-05-16 2019-01-22 索尼公司 图像处理设备、图像处理方法和程序
US10171775B1 (en) 2013-05-31 2019-01-01 Vecna Technologies, Inc. Autonomous vehicle vision system
KR20150051389A (ko) * 2013-11-04 2015-05-13 현대모비스 주식회사 영상 처리 방법 및 이를 위한 장치
EP3085074B1 (en) * 2013-12-19 2020-02-26 Intel Corporation Bowl-shaped imaging system
US9449234B2 (en) * 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
JP6264173B2 (ja) 2014-04-18 2018-01-24 富士通株式会社 撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置
JP6299373B2 (ja) * 2014-04-18 2018-03-28 富士通株式会社 撮像方向の正常性の判定方法、撮像方向の正常性の判定プログラムおよび撮像方向の正常性の判定装置
JP6299371B2 (ja) 2014-04-18 2018-03-28 富士通株式会社 撮像方向の傾き検出方法、撮像方向の傾き検出プログラムおよび撮像方向の傾き検出装置
US9355547B2 (en) 2014-05-22 2016-05-31 International Business Machines Corporation Identifying a change in a home environment
US9613274B2 (en) * 2014-05-22 2017-04-04 International Business Machines Corporation Identifying an obstacle in a route
JP6283105B2 (ja) * 2014-05-28 2018-02-21 京セラ株式会社 ステレオカメラ装置、ステレオカメラ装置を設置した車両及びプログラム
CN104200213B (zh) * 2014-08-12 2018-07-17 合肥工业大学 一种基于多部件的车辆检测方法
JP5949861B2 (ja) * 2014-09-05 2016-07-13 トヨタ自動車株式会社 車両の接近物体検出装置及び車両の接近物体検出方法
JP6356586B2 (ja) * 2014-11-28 2018-07-11 株式会社デンソー 車両の走行制御装置
CN104477126A (zh) * 2014-12-12 2015-04-01 常州博显汽车电子有限公司 用于汽车上的主动式安全带装置
CN107111949B (zh) * 2014-12-26 2020-04-10 横滨橡胶株式会社 防撞系统以及防撞方法
CN107004364B (zh) * 2014-12-26 2020-04-10 横滨橡胶株式会社 防撞系统以及防撞方法
JP6564577B2 (ja) * 2015-02-16 2019-08-21 修一 田山 自動車における近接体警報知装置
KR101639722B1 (ko) * 2015-05-26 2016-07-15 주식회사 피엘케이 테크놀로지 소실점 보정 장치 및 방법
US10489926B2 (en) * 2015-08-31 2019-11-26 Mitsubishi Electric Corporation Image processing device, image processing method, and program
US11648876B2 (en) 2015-09-02 2023-05-16 SMR Patents S.à.r.l. System and method for visibility enhancement
EP3139340B1 (en) 2015-09-02 2019-08-28 SMR Patents S.à.r.l. System and method for visibility enhancement
WO2017099047A1 (ja) * 2015-12-09 2017-06-15 一 笠原 位置情報特定方法、位置情報特定装置、及び、位置情報特定プログラム
KR102565485B1 (ko) * 2016-01-11 2023-08-14 한국전자통신연구원 도시 거리 검색 서비스 제공 서버 및 방법
DE102016104730A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US20170297488A1 (en) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC Surround view camera system for object detection and tracking
KR102529119B1 (ko) 2016-06-27 2023-05-04 삼성전자주식회사 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
US20180374237A1 (en) * 2017-06-23 2018-12-27 Canon Kabushiki Kaisha Method, system and apparatus for determining a pose for an object
KR101849326B1 (ko) * 2017-08-31 2018-04-17 주식회사 핀텔 차량용 카메라 시스템
JP6958147B2 (ja) * 2017-09-07 2021-11-02 トヨタ自動車株式会社 画像表示装置
JP2020086491A (ja) * 2018-11-15 2020-06-04 株式会社リコー 情報処理装置、情報処理システム及び情報処理方法
CN109263557B (zh) * 2018-11-19 2020-10-09 威盛电子股份有限公司 车辆盲区侦测方法
CN110435650A (zh) * 2019-08-22 2019-11-12 爱驰汽车有限公司 车辆后碰撞紧急避让方法、系统、设备及存储介质
CN111813116A (zh) * 2020-07-09 2020-10-23 海南发控智慧环境建设集团有限公司 一种基于三维模型的避障辅助系统
JP7418697B2 (ja) * 2020-09-17 2024-01-22 株式会社Ｊｖｃケンウッド 画像処理装置、及び画像処理プログラム
KR102759176B1 (ko) * 2022-08-17 2025-01-23 한국자동차연구원 무선 카메라 시스템 및 그 작동 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09223227A (ja) * 1996-02-15 1997-08-26 Honda Motor Co Ltd 車両用環境認識装置
JPH09249083A (ja) * 1996-03-15 1997-09-22 Toshiba Corp 移動体識別装置および方法
JPH1038561A (ja) * 1996-07-22 1998-02-13 Fujitsu Ltd 前方車間距離計測装置
JPH10341430A (ja) * 1997-06-06 1998-12-22 Yazaki Corp 前方車両検出方法及び車両前方監視システム
JPH1120546A (ja) * 1997-07-07 1999-01-26 Yazaki Corp 車両用後側方監視方法及び車両用後側方監視装置
JPH1142988A (ja) * 1997-07-25 1999-02-16 Yazaki Corp 車両用後側方監視方法及び車両用後側方監視装置
JPH1142989A (ja) * 1997-07-25 1999-02-16 Yazaki Corp 車両用後側方監視装置
JPH11213295A (ja) * 1998-01-28 1999-08-06 Kansei Corp 車両割り込み検出回路及びそれを用いた追突警報装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4851444A (ja) * 1971-11-02 1973-07-19
DE2215576C3 (de) * 1972-03-30 1988-09-29 Ernst Leitz Wetzlar Gmbh, 6330 Wetzlar Einrichtung zum Messen, Regeln und/ oder Anzeigen der Bewegung von Landfahrzeugen
CH564778A5 (ja) 1972-03-30 1975-07-31 Leitz Ernst Gmbh
DE3637165A1 (de) 1986-10-31 1988-05-05 Rainer Ashauer Verfahren und einrichtung zum verhindern von zusammenstoessen, insbesondere fuer kraftfahrzeuge im strassenverkehr
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP3239521B2 (ja) * 1993-03-30 2001-12-17 トヨタ自動車株式会社 移動体認識装置
JPH06333200A (ja) 1993-05-21 1994-12-02 Toshiba Corp 車載用監視システム
JPH0717328A (ja) 1993-06-30 1995-01-20 Mitsubishi Motors Corp 車両用周辺認識補助装置
JP3063481B2 (ja) 1993-09-21 2000-07-12 日産自動車株式会社 車両用物体検出装置
JP3381351B2 (ja) 1993-12-24 2003-02-24 日産自動車株式会社 車両用周囲状況表示装置
US6118475A (en) * 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
JP3117902B2 (ja) 1995-07-28 2000-12-18 株式会社アイチコーポレーション 高所作業車の作業範囲規制装置
US5886744A (en) * 1995-09-08 1999-03-23 Intel Corporation Method and apparatus for filtering jitter from motion estimation video data
JP3485135B2 (ja) 1995-09-27 2004-01-13 矢崎総業株式会社 車両用後側方監視装置
JPH10222665A (ja) * 1997-01-31 1998-08-21 Fujitsu Ten Ltd 画像認識装置
US6674430B1 (en) * 1998-07-16 2004-01-06 The Research Foundation Of State University Of New York Apparatus and method for real-time volume processing and universal 3D rendering
JP4031122B2 (ja) * 1998-09-30 2008-01-09 本田技研工業株式会社 差分画像を用いた被写体の検出装置
JP3596314B2 (ja) * 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
JP2000207693A (ja) 1999-01-08 2000-07-28 Nissan Motor Co Ltd 車載用障害物検出装置
JP2000242797A (ja) 1999-02-18 2000-09-08 Toyota Motor Corp 画像の運動検出方法及び物体検出装置
JP2000241120A (ja) * 1999-02-23 2000-09-08 Fanuc Ltd 計測装置
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09223227A (ja) * 1996-02-15 1997-08-26 Honda Motor Co Ltd 車両用環境認識装置
JPH09249083A (ja) * 1996-03-15 1997-09-22 Toshiba Corp 移動体識別装置および方法
JPH1038561A (ja) * 1996-07-22 1998-02-13 Fujitsu Ltd 前方車間距離計測装置
JPH10341430A (ja) * 1997-06-06 1998-12-22 Yazaki Corp 前方車両検出方法及び車両前方監視システム
JPH1120546A (ja) * 1997-07-07 1999-01-26 Yazaki Corp 車両用後側方監視方法及び車両用後側方監視装置
JPH1142988A (ja) * 1997-07-25 1999-02-16 Yazaki Corp 車両用後側方監視方法及び車両用後側方監視装置
JPH1142989A (ja) * 1997-07-25 1999-02-16 Yazaki Corp 車両用後側方監視装置
JPH11213295A (ja) * 1998-01-28 1999-08-06 Kansei Corp 車両割り込み検出回路及びそれを用いた追突警報装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087336A (ja) * 2005-09-26 2007-04-05 Toyota Motor Corp 車輌周囲情報表示装置
US7847678B2 (en) 2005-09-26 2010-12-07 Toyota Jidosha Kabushiki Kaisha Vehicle surroundings information output system and method for outputting vehicle surroundings information

Also Published As

Publication number Publication date
KR20020033817A (ko) 2002-05-07
CN1373720A (zh) 2002-10-09
DE60009114T2 (de) 2004-08-05
DE60009114D1 (de) 2004-04-22
KR100466458B1 (ko) 2005-01-14
EP1223083A4 (en) 2003-03-19
US6993159B1 (en) 2006-01-31
JP2002335524A (ja) 2002-11-22
CN1160210C (zh) 2004-08-04
WO2001021446A1 (en) 2001-03-29
EP1223083B1 (en) 2004-03-17
EP1223083A1 (en) 2002-07-17
JP4091775B2 (ja) 2008-05-28

Similar Documents

Publication Publication Date Title
JP3300340B2 (ja) 運転支援装置
JPWO2001021446A1 (ja) 運転支援装置
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
JP3776094B2 (ja) 監視装置、監視方法および監視用プログラム
KR100909741B1 (ko) 감시장치, 감시방법
JP4425495B2 (ja) 車外監視装置
EP2623376B1 (en) Parking assistance device
JP5516998B2 (ja) 画像生成装置
JP4687160B2 (ja) 周辺監視装置
JP7163748B2 (ja) 車両用表示制御装置
EP2720458A1 (en) Image generation device
US20080198226A1 (en) Image Processing Device
JP2012071635A5 (ja)
US20080304705A1 (en) System and method for side vision detection of obstacles for vehicles
CN103609101A (zh) 车辆周边监视装置
JP2004114977A (ja) 移動体周辺監視装置
WO2002080557A1 (en) Drive supporting device
JP2003044996A (ja) 障害物検出装置
CN108973858B (zh) 用于确保行驶路线安全的装置
CN105793909A (zh) 用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备
JP4601505B2 (ja) トップビュー画像生成装置及びトップビュー画像表示方法
JP5271186B2 (ja) 車両用画像表示装置
JP6999239B2 (ja) 画像処理装置および画像処理方法
JP2017117357A (ja) 立体物検知装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020402

R150 Certificate of patent or registration of utility model

Ref document number: 3300340

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080419

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090419

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100419

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110419

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120419

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130419

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130419

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140419

Year of fee payment: 12

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term