Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP2551324B2 - 移動車の環境認識方法および装置 - Google Patents
[go: Go Back, main page]

JP2551324B2 - 移動車の環境認識方法および装置 - Google Patents

移動車の環境認識方法および装置

Info

Publication number
JP2551324B2
JP2551324B2 JP5124551A JP12455193A JP2551324B2 JP 2551324 B2 JP2551324 B2 JP 2551324B2 JP 5124551 A JP5124551 A JP 5124551A JP 12455193 A JP12455193 A JP 12455193A JP 2551324 B2 JP2551324 B2 JP 2551324B2
Authority
JP
Japan
Prior art keywords
motion vector
window
vehicle
point
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP5124551A
Other languages
English (en)
Other versions
JPH06333049A (ja
Inventor
慎一 大中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
Nippon Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Electric Co Ltd filed Critical Nippon Electric Co Ltd
Priority to JP5124551A priority Critical patent/JP2551324B2/ja
Publication of JPH06333049A publication Critical patent/JPH06333049A/ja
Application granted granted Critical
Publication of JP2551324B2 publication Critical patent/JP2551324B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、車両に搭載したカメラ
により撮像したが画像から先行車や対向車のように、環
境に対して移動している物体を検出する方法に関し、特
に計算量を少なくし装置を小型化するための移動車の環
境認識方法および装置に関する。
【0002】
【従来の技術】移動するカメラから撮像された画像を用
いて移動物体を検出する方法としては、「動画像解析方
法」(特願平3−308623号明細書)がある。そこ
では、カメラが静止環境中を運動したときに画像上に生
じる動ベクトルを計算し、その動ベクトルからカメラの
移動パラメータとカメラから画像上に写っている物体ま
での距離の逆数(逆距離)を最小自乗法で解き、自乗誤
差が大きくなるところをもって移動物体としている。
【0003】
【発明が解決しようとする課題】従来技術においては、
画像上の動ベクトルからカメラの運動パラメータと逆距
離を求めた後に移動物体を検出していること、そしてそ
のために動ベクトルを精度良く計算しなければならない
ことにより計算コストがかかり、車載装置として大きく
なりすぎてしまうという欠点を持つ。
【0004】本発明の目的は、計算コストが少なくより
小型の車載装置で移動体を検出することのできる、移動
車の環境認識方法および装置を提供することにある。
【0005】
【課題を解決するための手段】本発明の移動車の環境認
識方法は、車両に搭載したカメラにより撮像された画像
中にウィンドウを設定し、そのウィンドウ中の各点で算
出された動ベクトルから移動体を検出する移動車の環境
認識方法において、画像中にウィンドウを設定して、設
定されたウィンドウ中に移動体が存在しないとしたとき
にウィンドウ中の各点で算出される動ベクトルの分布を
算出し、設定されたウィンドウ内の各点での動ベクトル
を計算し、前記動ベクトルのうち前記分布外にある動ベ
クトルを用いて物体を検出することを特徴とする。
【0006】本発明の移動車の環境認識装置は、車両に
搭載したカメラにより撮像された画像中にウィンドウを
設定し、そのウィンドウ中の各点で算出された動ベクト
ルから物体を検出する移動車の環境認識装置において、
画像中にウィンドウを設定して、設定されたウィンドウ
中に移動体が存在しないとしたときにウィンドウ中の各
点で算出される動ベクトルの分布を算出するウィンドウ
設定手段と、設定されたウィンドウ内の各点での動ベク
トルを計算する動ベクトル演算手段と、前記動ベクトル
のうち、前記ウィンドウ設定手段で求められた分布外に
ある動ベクトルを用いて物体を検出する物体検出手段
と、を備えることを特徴とする。
【0007】
【作用】本発明における、設定したウィンドウ中に移動
体が存在しないとしたときにウィンドウ中の各点で算出
される動ベクトルの分布を計算する方法と、ウィンドウ
内の各点で計算された動ベクトルのうち、動ベクトル平
面上の前記分布外にある動ベクトルを用いて物体を検出
する方法について、図2,図3,図4,図5,図6,図
7,図8を参照して述べる。
【0008】車両に搭載したカメラによる撮像系を図2
で表現する。xyz系は車両に固定された座標系であ
り、xy平面は道路面と一致している。カメラのレンズ
中心はz軸上の点Pに固定されていて、XYZがカメラ
座標系である。カメラの光軸はX軸と一致しており、そ
れは水平線から角度θだけ下方を向いている。X軸上の
点Pから距離fのところに、YZ平面と平行になるよう
に画像面があり、画像面上にξη座標系を設定する。道
路面(XY面)上の点Rが画像面上に射影される点をξ
R ,ηR とすると、
【0009】
【数1】
【0010】となる。ただし、(XR ,YR ,ZR )は
点Rのカメラ座標系での座標であり、
【0011】
【数2】
【0012】で与えられる。
【0013】いま車両の運動によりxyz系およびXY
Z系が図3のように移動したとする。ただし図3は移動
の様子を上から眺めたものである。すなわち、カメラは
x軸からφp の方向へ距離dp だけ移動し、カメラの光
軸のxy面への投射はx′軸と一致する。移動後の画像
面上における点Rの座標をξ′R ,η′R とすると、
【0014】
【数3】
【0015】となる。よってカメラの運動により画像上
で点Rが移動したことにともなって生じる動ベクトルは
【0016】
【数4】
【0017】である。
【0018】角度φp は車両の前輪の角度から算出する
ことができる。車両の運動を図4のbicycleモデ
ルで近似する。前輪の切れ角がφ0 であり、そのときの
回転中心が点Qである。φ0 は左右の車輪の角度の平均
とすれば十分である。後輪と前輪の間隔をl0 とし、後
輪とカメラの間隔をlp とする。回転半径r0
【0019】
【数5】
【0020】で表されるので、カメラの移動方向を示す
角度φp
【0021】
【数6】
【0022】で与えられる。また、ビデオレート1/3
0秒の間のカメラの移動量dp は車両のスピードがsk
m/hのとき、
【0023】
【数7】
【0024】で与えられる。
【0025】そこで図5の斜線部分で表される領域にウ
ィンドウaを設定すると、ウィンドウ内の点の座標(ξ
i ,ηi )は式(1),(2)により道路面上の座標
(xi,yi ,0)と1対1に対応する。ゆえに、画像
上のウィンドウaはxy平面(道路面)上の領域bに対
応し、領域b内の点により生じる動ベクトルは式(1)
〜(6)により計算され、その集合は動ベクトル平面上
の領域cとなる。
【0026】したがってウィンドウa内の各点で動ベク
トルを検出し、その動ベクトルを動ベクトル平面上にプ
ロットしたとき、領域c外にある動ベクトルは道路面の
移動により生じる動ベクトルではないことになり、移動
体を検出することができる。
【0027】動ベクトルを計算する方法としては、太田
直哉、「信頼性座標を持つ移動ベクトルの検出」、コン
ピュータビジョン’90、シンポジウム論文集、199
0−8,pp.21−30に記載されている方法を用い
ることができる。また、算出された動ベクトルの方向信
頼度rは、
【0028】
【数8】
【0029】で与えられる。ただし、E(ξ,η)は入
力画像の位置(ξ,η)における画素値であり、
【0030】
【外1】
【0031】はそれぞれ画素値のξ,ηに関する偏微分
である。
【0032】ここで現れる角度θ1 は図6に示されるよ
うに水平線からの角度であるが、通常は0もしくは18
0度が選ばれる。ただしウィンドウ中に道路白線が存在
する場合は、線分sが白線と同じ方向になるように選
ぶ。
【0033】次に「移動投票法」について述べる。図7
にあるように、ウィンドウ内で算出した動ベクトルのう
ち、動ベクトル平面内の領域cの外側に存在する動ベク
トル、または外側に存在してかつ方向信頼度が一定の数
値r0 より大きい動ベクトルが算出された点に1、それ
以外の点に0を代入した画像を考え、これを初期検出画
像とする。この初期検出画像をもって検出結果としても
良いが、時間的な補間を行ってより良い検出を行う方法
が「移動投票法」であり、図8にあるようなルールにし
たがって移動体検出を行う。 1.初期検出画像を得る。 2.投票画像に対して演算する。 ・初期検出画像の画素値1に対応する位置の投票画像の
画素値hを、定数dを足した値h+dに置き換える。た
だし、h+dが特定の数値hmax を超えるときは、h
max で置き換える。 ・初期検出画像の0に対応する位置の投票画像の画素値
を定数eで割る。 3.投票画像をある一定のしきい値Tで二重化(画素値
1が移動体領域)して検出画像が得られ、これを出力す
る。 4.移動体領域の移動量を算出し、その移動量で投票画
像を移動する。 5.1に戻る。
【0034】移動量の算出については、移動体領域内の
動ベクトルの平均を用いる。
【0035】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
【0036】図1は、本発明の実施例を示すブロック図
である。図1を参照すると、本発明の実施例は、カメラ
などの画像入力装置1と、本発明による移動車の環境認
識装置2と、ディスプレイ装置等の出力装置3とから構
成される。
【0037】移動車の環境認識装置2は、画像中にウィ
ンドウを設定し、車両の移動情報から移動体が存在しな
いとしたときに検出される動ベクトルの分布を算出する
ウィンドウ設定手段21と、ウィンドウ内の各点で動ベ
クトルを算出する動ベクトル演算手段22と、算出され
た動ベクトルの方向信頼度を算出する方向信頼度算出手
段23と、前記分布外にある動ベクトルのうち、方向信
頼度が一定の数値より大きい動ベクトルを用いて移動体
を検出する物体領域検出手段24とを備える。
【0038】次に、図3,図6,図8,図9を参照し
て、本実施例の動作について説明する。
【0039】画像入力装置1によって取得された画像は
ウィンドウ設定手段21に供給される。
【0040】ウィンドウ設定手段21では、図9にある
ように画像中にウィンドウa1とa2を設定する。この
とき、移動体が存在しないとしたときに検出される動ベ
クトルの分布は式(1)から(6)にしたがって計算さ
れる。その際、車両の移動情報を用いて式(7),
(8)により図3におけるカメラの移動パラメータ
φp ,dp を計算し、利用する。求められた移動パラメ
ータには誤差が存在するので、計算された分布を少し大
きめにして動ベクトル平面上に領域c1とc2を設定す
る。
【0041】動ベクトル演算手段22では、ウィンドウ
設定手段21で設定されたウィンドウ中の各点で動ベク
トルを算出する。
【0042】方向信頼度算出手段23では、ウィンドウ
中の各点での方向信頼度rを式(9)から(11)にし
たがって計算する。角度θ1 は0とする。ただし、ウィ
ンドウ中に道路白線が存在するときには、図6の線分s
が白線の方向と一致するように選ぶ。
【0043】物体領域検出手段24では、動ベクトル演
算手段22で計算されたウィンドウa1内の各点の動ベ
クトルのうち、動ベクトル平面上の領域c1に含まれ
ず、さらに方向信頼度算出手段23で計算された方向信
頼度rが一定の数値r0 より大きい動ベクトルが存在す
る点を1とし、それ以外の点を0とした初期検出画像1
を作成する。それと同時にウィンドウa2内の各点で検
出された動ベクトルのうち、方向信頼度rが数値r0
り大きい動ベクトルが存在する点を1とし、それ以外の
点を0とした初期検出画像2を作成する。算出された動
ベクトルにも誤差が含まれているので、動ベクトルの選
択においては、a1内で求められた動ベクトルの中で
【0044】
【数9】
【0045】であるもの、そしてa2内で求められた動
ベクトルの中で
【0046】
【数10】
【0047】であるものを選択すれば十分である。r0
としては2.0を採用する。それぞれの初期検出画像に
対して、図8に示される「移動投票法」により検出画像
を求め、出力装置3に供給する。パラメータについて
は、 d=10, hmax =200, ,T=1.0, e=
3.0 が典型的な値である。
【0048】
【発明の効果】以上説明したように、本発明による移動
車の環境認識方法および装置では、移動体が存在しない
ときにウィンドウ内の各点で検出される動ベクトルの分
布を計算することによって、その分布に属さない動ベク
トルから移動体を検出することが可能である。従来法と
比べて計算量コストが少なくて済むので、小型の車載装
置で移動体の検出ができる。
【図面の簡単な説明】
【図1】本発明の実施例を示すブロック図である。
【図2】撮像系のモデルを示す説明図である。
【図3】カメラの移動を示す説明図である。
【図4】カメラの移動方向と車両の移動方向の関係を示
す説明図である。
【図5】ウィンドウ内で計算される動ベクトルがある分
布をなすことを示す説明図である。
【図6】方向信頼度の角度を示す説明図である。
【図7】初期検出画像を示す説明図である。
【図8】「移動投票法」を示す説明図である。
【図9】実施例におけるウィンドウと動ベクトルの分布
を示す説明図である。
【符号の説明】
1 画像入力装置 2 移動車の環境認識装置 3 出力装置 21 ウィンドウ設定手段 22 動ベクトル演算手段 23 方向信頼度算出手段 24 物体領域検出手段

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】 車両に搭載したカメラにより撮像された
    画像中にウィンドウを設定し、そのウィンドウ中の各点
    で算出された動ベクトルから移動体を検出する移動車の
    環境認識方法において、 画像中にウィンドウを設定して、設定されたウィンドウ
    中に移動体が存在しないとしたときにウィンドウ中の各
    点で算出される動ベクトルの領域を動ベクトル平面上に
    設定し、 設定されたウィンドウ内の各点での動ベクトルを計算
    し、 前記動ベクトルのうち前記領域に属さない動ベクトルを
    用いて物体を検出することを特徴とする移動車の環境認
    識方法。
  2. 【請求項2】 前記領域を設定する際に車両の走行情報
    を用いることを特徴とする請求項1記載の自動車の環境
    認識方法。
  3. 【請求項3】 前記領域に属さない動ベクトルのうちで
    一定の方向への方向信頼度が特定の値より大きい動ベク
    トルを用いて物体を検出することを特徴とする請求項1
    または2記載の移動車の環境認識方法。
  4. 【請求項4】 車両に搭載したカメラにより撮像された
    画像中にウィンドウを設定し、そのウィンドウ中の各点
    で算出された動ベクトルから物体を検出する移動車の環
    境認識装置において、 画像中にウィンドウを設定して、設定されたウィンドウ
    中に移動体が存在しないとしたときにウィンドウ中の各
    点で算出される動ベクトルの領域を動ベクトル平面上に
    設定するウィンドウ設定手段と、設定されたウィンドウ
    内の各点での動ベクトルを計算する動ベクトル演算手段
    と、前記動ベクトルのうち、前記ウィンドウ設定手段で
    求められた領域に属さない動ベクトルを用いて物体を検
    出する物体検出手段と、を備えることを特徴とする移動
    車の環境認識装置。
  5. 【請求項5】 前記ウィンドウ設定手段が車両の走行情
    報を用いることを特徴とする請求項4記載の移動車の環
    境認識装置。
  6. 【請求項6】 前記物体検出手段が、前記動ベクトル演
    算手段により算出された動ベクトルの特定方向への信頼
    度を算出する方向信頼度算出手段と、前記動ベクトル演
    算手段により算出された動ベクトルのうちで前記ウィン
    ドウ設定手段で 求められた領域に属さず、さらに前記方
    向信頼度算出手段により算出された方向信頼度が特定の
    値より大きい動ベクトルを用いて物体を検出する物体領
    域検出手段と、を備えることを特徴とする請求項4又は
    5記載の移動車の環境認識装置。
JP5124551A 1993-05-27 1993-05-27 移動車の環境認識方法および装置 Expired - Fee Related JP2551324B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5124551A JP2551324B2 (ja) 1993-05-27 1993-05-27 移動車の環境認識方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5124551A JP2551324B2 (ja) 1993-05-27 1993-05-27 移動車の環境認識方法および装置

Publications (2)

Publication Number Publication Date
JPH06333049A JPH06333049A (ja) 1994-12-02
JP2551324B2 true JP2551324B2 (ja) 1996-11-06

Family

ID=14888284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5124551A Expired - Fee Related JP2551324B2 (ja) 1993-05-27 1993-05-27 移動車の環境認識方法および装置

Country Status (1)

Country Link
JP (1) JP2551324B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4340968B2 (ja) 2004-05-07 2009-10-07 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP2482268A4 (en) * 2010-01-14 2013-09-04 Honda Motor Co Ltd DEVICE FOR MONITORING THE VEHICLE ENVIRONMENT

Also Published As

Publication number Publication date
JPH06333049A (ja) 1994-12-02

Similar Documents

Publication Publication Date Title
US11816852B2 (en) Associating LIDAR data and image data
JP4052650B2 (ja) 障害物検出装置、方法及びプログラム
JP3630100B2 (ja) 車線検出装置
JP7675339B2 (ja) 物体追跡装置
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
US20140348390A1 (en) Method and apparatus for detecting traffic monitoring video
CN110073410B (zh) 跟踪场景中的对象的方法
US20230273976A1 (en) Systems and methods for object detection using stereovision information
US12556832B2 (en) Clipped imaging device, system, and method
JP4967758B2 (ja) 物体移動の検出方法及び検出装置
US9827906B2 (en) Image processing apparatus
JP2551324B2 (ja) 移動車の環境認識方法および装置
JP4106163B2 (ja) 障害物検出装置及びその方法
JP3951734B2 (ja) 車両用外界認識装置
JP5903901B2 (ja) 車両位置算出装置
CN115131976B (zh) 图像处理装置
JP2015099556A (ja) 位置特定装置、および前照灯制御システム
JP2002352249A (ja) 画像処理装置及びその方法
JP2022147745A (ja) 移動体の制御装置及び制御方法並びに車両
JP2989617B2 (ja) 移動車の環境認識装置
JPH03282710A (ja) 移動車の環境認識装置
JP7732890B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20250292543A1 (en) Image recognition device, storage medium, and image recognition method
JP2006107314A (ja) 画像処理装置、および画像処理方法
JP4847303B2 (ja) 障害物検出方法、障害物検出プログラムおよび障害物検出装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19960702

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070822

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080822

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080822

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090822

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090822

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100822

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees