JP2551324B2 - 移動車の環境認識方法および装置 - Google Patents
移動車の環境認識方法および装置Info
- Publication number
- JP2551324B2 JP2551324B2 JP5124551A JP12455193A JP2551324B2 JP 2551324 B2 JP2551324 B2 JP 2551324B2 JP 5124551 A JP5124551 A JP 5124551A JP 12455193 A JP12455193 A JP 12455193A JP 2551324 B2 JP2551324 B2 JP 2551324B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- window
- vehicle
- point
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 22
- 239000013598 vector Substances 0.000 claims description 80
- 238000001514 detection method Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
により撮像したが画像から先行車や対向車のように、環
境に対して移動している物体を検出する方法に関し、特
に計算量を少なくし装置を小型化するための移動車の環
境認識方法および装置に関する。
いて移動物体を検出する方法としては、「動画像解析方
法」(特願平3−308623号明細書)がある。そこ
では、カメラが静止環境中を運動したときに画像上に生
じる動ベクトルを計算し、その動ベクトルからカメラの
移動パラメータとカメラから画像上に写っている物体ま
での距離の逆数(逆距離)を最小自乗法で解き、自乗誤
差が大きくなるところをもって移動物体としている。
画像上の動ベクトルからカメラの運動パラメータと逆距
離を求めた後に移動物体を検出していること、そしてそ
のために動ベクトルを精度良く計算しなければならない
ことにより計算コストがかかり、車載装置として大きく
なりすぎてしまうという欠点を持つ。
小型の車載装置で移動体を検出することのできる、移動
車の環境認識方法および装置を提供することにある。
識方法は、車両に搭載したカメラにより撮像された画像
中にウィンドウを設定し、そのウィンドウ中の各点で算
出された動ベクトルから移動体を検出する移動車の環境
認識方法において、画像中にウィンドウを設定して、設
定されたウィンドウ中に移動体が存在しないとしたとき
にウィンドウ中の各点で算出される動ベクトルの分布を
算出し、設定されたウィンドウ内の各点での動ベクトル
を計算し、前記動ベクトルのうち前記分布外にある動ベ
クトルを用いて物体を検出することを特徴とする。
搭載したカメラにより撮像された画像中にウィンドウを
設定し、そのウィンドウ中の各点で算出された動ベクト
ルから物体を検出する移動車の環境認識装置において、
画像中にウィンドウを設定して、設定されたウィンドウ
中に移動体が存在しないとしたときにウィンドウ中の各
点で算出される動ベクトルの分布を算出するウィンドウ
設定手段と、設定されたウィンドウ内の各点での動ベク
トルを計算する動ベクトル演算手段と、前記動ベクトル
のうち、前記ウィンドウ設定手段で求められた分布外に
ある動ベクトルを用いて物体を検出する物体検出手段
と、を備えることを特徴とする。
体が存在しないとしたときにウィンドウ中の各点で算出
される動ベクトルの分布を計算する方法と、ウィンドウ
内の各点で計算された動ベクトルのうち、動ベクトル平
面上の前記分布外にある動ベクトルを用いて物体を検出
する方法について、図2,図3,図4,図5,図6,図
7,図8を参照して述べる。
で表現する。xyz系は車両に固定された座標系であ
り、xy平面は道路面と一致している。カメラのレンズ
中心はz軸上の点Pに固定されていて、XYZがカメラ
座標系である。カメラの光軸はX軸と一致しており、そ
れは水平線から角度θだけ下方を向いている。X軸上の
点Pから距離fのところに、YZ平面と平行になるよう
に画像面があり、画像面上にξη座標系を設定する。道
路面(XY面)上の点Rが画像面上に射影される点をξ
R ,ηR とすると、
点Rのカメラ座標系での座標であり、
Z系が図3のように移動したとする。ただし図3は移動
の様子を上から眺めたものである。すなわち、カメラは
x軸からφp の方向へ距離dp だけ移動し、カメラの光
軸のxy面への投射はx′軸と一致する。移動後の画像
面上における点Rの座標をξ′R ,η′R とすると、
で点Rが移動したことにともなって生じる動ベクトルは
ことができる。車両の運動を図4のbicycleモデ
ルで近似する。前輪の切れ角がφ0 であり、そのときの
回転中心が点Qである。φ0 は左右の車輪の角度の平均
とすれば十分である。後輪と前輪の間隔をl0 とし、後
輪とカメラの間隔をlp とする。回転半径r0 は
角度φp は
0秒の間のカメラの移動量dp は車両のスピードがsk
m/hのとき、
ィンドウaを設定すると、ウィンドウ内の点の座標(ξ
i ,ηi )は式(1),(2)により道路面上の座標
(xi,yi ,0)と1対1に対応する。ゆえに、画像
上のウィンドウaはxy平面(道路面)上の領域bに対
応し、領域b内の点により生じる動ベクトルは式(1)
〜(6)により計算され、その集合は動ベクトル平面上
の領域cとなる。
トルを検出し、その動ベクトルを動ベクトル平面上にプ
ロットしたとき、領域c外にある動ベクトルは道路面の
移動により生じる動ベクトルではないことになり、移動
体を検出することができる。
直哉、「信頼性座標を持つ移動ベクトルの検出」、コン
ピュータビジョン’90、シンポジウム論文集、199
0−8,pp.21−30に記載されている方法を用い
ることができる。また、算出された動ベクトルの方向信
頼度rは、
力画像の位置(ξ,η)における画素値であり、
である。
うに水平線からの角度であるが、通常は0もしくは18
0度が選ばれる。ただしウィンドウ中に道路白線が存在
する場合は、線分sが白線と同じ方向になるように選
ぶ。
にあるように、ウィンドウ内で算出した動ベクトルのう
ち、動ベクトル平面内の領域cの外側に存在する動ベク
トル、または外側に存在してかつ方向信頼度が一定の数
値r0 より大きい動ベクトルが算出された点に1、それ
以外の点に0を代入した画像を考え、これを初期検出画
像とする。この初期検出画像をもって検出結果としても
良いが、時間的な補間を行ってより良い検出を行う方法
が「移動投票法」であり、図8にあるようなルールにし
たがって移動体検出を行う。 1.初期検出画像を得る。 2.投票画像に対して演算する。 ・初期検出画像の画素値1に対応する位置の投票画像の
画素値hを、定数dを足した値h+dに置き換える。た
だし、h+dが特定の数値hmax を超えるときは、h
max で置き換える。 ・初期検出画像の0に対応する位置の投票画像の画素値
を定数eで割る。 3.投票画像をある一定のしきい値Tで二重化(画素値
1が移動体領域)して検出画像が得られ、これを出力す
る。 4.移動体領域の移動量を算出し、その移動量で投票画
像を移動する。 5.1に戻る。
動ベクトルの平均を用いる。
て説明する。
である。図1を参照すると、本発明の実施例は、カメラ
などの画像入力装置1と、本発明による移動車の環境認
識装置2と、ディスプレイ装置等の出力装置3とから構
成される。
ンドウを設定し、車両の移動情報から移動体が存在しな
いとしたときに検出される動ベクトルの分布を算出する
ウィンドウ設定手段21と、ウィンドウ内の各点で動ベ
クトルを算出する動ベクトル演算手段22と、算出され
た動ベクトルの方向信頼度を算出する方向信頼度算出手
段23と、前記分布外にある動ベクトルのうち、方向信
頼度が一定の数値より大きい動ベクトルを用いて移動体
を検出する物体領域検出手段24とを備える。
て、本実施例の動作について説明する。
ウィンドウ設定手段21に供給される。
ように画像中にウィンドウa1とa2を設定する。この
とき、移動体が存在しないとしたときに検出される動ベ
クトルの分布は式(1)から(6)にしたがって計算さ
れる。その際、車両の移動情報を用いて式(7),
(8)により図3におけるカメラの移動パラメータ
φp ,dp を計算し、利用する。求められた移動パラメ
ータには誤差が存在するので、計算された分布を少し大
きめにして動ベクトル平面上に領域c1とc2を設定す
る。
設定手段21で設定されたウィンドウ中の各点で動ベク
トルを算出する。
中の各点での方向信頼度rを式(9)から(11)にし
たがって計算する。角度θ1 は0とする。ただし、ウィ
ンドウ中に道路白線が存在するときには、図6の線分s
が白線の方向と一致するように選ぶ。
算手段22で計算されたウィンドウa1内の各点の動ベ
クトルのうち、動ベクトル平面上の領域c1に含まれ
ず、さらに方向信頼度算出手段23で計算された方向信
頼度rが一定の数値r0 より大きい動ベクトルが存在す
る点を1とし、それ以外の点を0とした初期検出画像1
を作成する。それと同時にウィンドウa2内の各点で検
出された動ベクトルのうち、方向信頼度rが数値r0 よ
り大きい動ベクトルが存在する点を1とし、それ以外の
点を0とした初期検出画像2を作成する。算出された動
ベクトルにも誤差が含まれているので、動ベクトルの選
択においては、a1内で求められた動ベクトルの中で
ベクトルの中で
としては2.0を採用する。それぞれの初期検出画像に
対して、図8に示される「移動投票法」により検出画像
を求め、出力装置3に供給する。パラメータについて
は、 d=10, hmax =200, ,T=1.0, e=
3.0 が典型的な値である。
車の環境認識方法および装置では、移動体が存在しない
ときにウィンドウ内の各点で検出される動ベクトルの分
布を計算することによって、その分布に属さない動ベク
トルから移動体を検出することが可能である。従来法と
比べて計算量コストが少なくて済むので、小型の車載装
置で移動体の検出ができる。
す説明図である。
布をなすことを示す説明図である。
を示す説明図である。
Claims (6)
- 【請求項1】 車両に搭載したカメラにより撮像された
画像中にウィンドウを設定し、そのウィンドウ中の各点
で算出された動ベクトルから移動体を検出する移動車の
環境認識方法において、 画像中にウィンドウを設定して、設定されたウィンドウ
中に移動体が存在しないとしたときにウィンドウ中の各
点で算出される動ベクトルの領域を動ベクトル平面上に
設定し、 設定されたウィンドウ内の各点での動ベクトルを計算
し、 前記動ベクトルのうち前記領域に属さない動ベクトルを
用いて物体を検出することを特徴とする移動車の環境認
識方法。 - 【請求項2】 前記領域を設定する際に車両の走行情報
を用いることを特徴とする請求項1記載の自動車の環境
認識方法。 - 【請求項3】 前記領域に属さない動ベクトルのうちで
一定の方向への方向信頼度が特定の値より大きい動ベク
トルを用いて物体を検出することを特徴とする請求項1
または2記載の移動車の環境認識方法。 - 【請求項4】 車両に搭載したカメラにより撮像された
画像中にウィンドウを設定し、そのウィンドウ中の各点
で算出された動ベクトルから物体を検出する移動車の環
境認識装置において、 画像中にウィンドウを設定して、設定されたウィンドウ
中に移動体が存在しないとしたときにウィンドウ中の各
点で算出される動ベクトルの領域を動ベクトル平面上に
設定するウィンドウ設定手段と、設定されたウィンドウ
内の各点での動ベクトルを計算する動ベクトル演算手段
と、前記動ベクトルのうち、前記ウィンドウ設定手段で
求められた領域に属さない動ベクトルを用いて物体を検
出する物体検出手段と、を備えることを特徴とする移動
車の環境認識装置。 - 【請求項5】 前記ウィンドウ設定手段が車両の走行情
報を用いることを特徴とする請求項4記載の移動車の環
境認識装置。 - 【請求項6】 前記物体検出手段が、前記動ベクトル演
算手段により算出された動ベクトルの特定方向への信頼
度を算出する方向信頼度算出手段と、前記動ベクトル演
算手段により算出された動ベクトルのうちで前記ウィン
ドウ設定手段で 求められた領域に属さず、さらに前記方
向信頼度算出手段により算出された方向信頼度が特定の
値より大きい動ベクトルを用いて物体を検出する物体領
域検出手段と、を備えることを特徴とする請求項4又は
5記載の移動車の環境認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5124551A JP2551324B2 (ja) | 1993-05-27 | 1993-05-27 | 移動車の環境認識方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5124551A JP2551324B2 (ja) | 1993-05-27 | 1993-05-27 | 移動車の環境認識方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06333049A JPH06333049A (ja) | 1994-12-02 |
| JP2551324B2 true JP2551324B2 (ja) | 1996-11-06 |
Family
ID=14888284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5124551A Expired - Fee Related JP2551324B2 (ja) | 1993-05-27 | 1993-05-27 | 移動車の環境認識方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2551324B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4340968B2 (ja) | 2004-05-07 | 2009-10-07 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| EP2482268A4 (en) * | 2010-01-14 | 2013-09-04 | Honda Motor Co Ltd | DEVICE FOR MONITORING THE VEHICLE ENVIRONMENT |
-
1993
- 1993-05-27 JP JP5124551A patent/JP2551324B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06333049A (ja) | 1994-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11816852B2 (en) | Associating LIDAR data and image data | |
| JP4052650B2 (ja) | 障害物検出装置、方法及びプログラム | |
| JP3630100B2 (ja) | 車線検出装置 | |
| JP7675339B2 (ja) | 物体追跡装置 | |
| JP7003972B2 (ja) | 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム | |
| US20140348390A1 (en) | Method and apparatus for detecting traffic monitoring video | |
| CN110073410B (zh) | 跟踪场景中的对象的方法 | |
| US20230273976A1 (en) | Systems and methods for object detection using stereovision information | |
| US12556832B2 (en) | Clipped imaging device, system, and method | |
| JP4967758B2 (ja) | 物体移動の検出方法及び検出装置 | |
| US9827906B2 (en) | Image processing apparatus | |
| JP2551324B2 (ja) | 移動車の環境認識方法および装置 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| JP3951734B2 (ja) | 車両用外界認識装置 | |
| JP5903901B2 (ja) | 車両位置算出装置 | |
| CN115131976B (zh) | 图像处理装置 | |
| JP2015099556A (ja) | 位置特定装置、および前照灯制御システム | |
| JP2002352249A (ja) | 画像処理装置及びその方法 | |
| JP2022147745A (ja) | 移動体の制御装置及び制御方法並びに車両 | |
| JP2989617B2 (ja) | 移動車の環境認識装置 | |
| JPH03282710A (ja) | 移動車の環境認識装置 | |
| JP7732890B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US20250292543A1 (en) | Image recognition device, storage medium, and image recognition method | |
| JP2006107314A (ja) | 画像処理装置、および画像処理方法 | |
| JP4847303B2 (ja) | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19960702 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070822 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090822 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090822 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100822 Year of fee payment: 14 |
|
| LAPS | Cancellation because of no payment of annual fees |