JP4155780B2 - 画像処理方法 - Google Patents
画像処理方法 Download PDFInfo
- Publication number
- JP4155780B2 JP4155780B2 JP2002273062A JP2002273062A JP4155780B2 JP 4155780 B2 JP4155780 B2 JP 4155780B2 JP 2002273062 A JP2002273062 A JP 2002273062A JP 2002273062 A JP2002273062 A JP 2002273062A JP 4155780 B2 JP4155780 B2 JP 4155780B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- matrix data
- matrix
- section
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両に取り付けたカメラにより撮像した前方の道路状況、特に前方車両等の認識を適正に行うことのできる画像処理方法に関する。
【０００２】
【従来の技術】
従来、カメラで捉えた画像から、前方車両等の認識、あるいは距離の測定等が行われている。その際、前方車両等の認識をするためエッジ抽出を行い、エッジ画像を得て、前方車両等の物体の距離測定と角度測定を行っている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００１−１０１４２８号公報
エッジとは画像中の濃淡部分が大きい部分、いわゆる輪郭線のことで、影や汚れによって濃淡が変化しても影響が少ないという利点がある。また、エッジを抽出するとき、縦エッジ又は横エッジ、あるいは両方のエッジを抽出することができる。
【０００４】
【発明が解決しようとする課題】
画像処理においてエッジ検出を行うには、例えば、左右にカメラを配置して縦エッジ又は横エッジ、あるいは両方のエッジを検出し、物体の距離測定と角度測定を行うが、カメラのノイズや周囲の状況によって一定の位置にエッジが現れないため所定の時間間隔でエッジを検出する場合、安定した検出ができないことが多い。例えば、前方車両の特定の部分のエッジがある時点で現れなかったり、一定の位置に現れないため、この部分のエッジが安定して検出できないことがある。
【０００５】
そこで、本発明は、このような不安定なエッジの検出を補うことができる画像処理方法を提供するものである。
【０００６】
【課題を解決するための手段】
本発明によれば、ステレオカメラの視野を視差に基づく測距値と該ステレオカメラの一方のカメラの光軸を基準とした角度とによってマトリクス状に複数の区画に区切り、各区画ごとに、エッジが現れる頻度を示すマトリクスデータを、前回までのマトリクスデータと今回の前記ステレオカメラの画像から検出されたエッジとに基づいて導出し、前記複数の区画のうち所定の閾値を超えるマトリクスデータを有する区画をサーチし、該サーチされた区画に前記検出されたエッジが存在する場合、該エッジの位置情報であるエッジデータを物体の位置として採用する。
【０００７】
また、サーチされた区画にエッジが存在しない場合、順次閾値を高め、該高められた閾値を超えるマトリクスデータを有する区画を順次サーチし、該サーチされた区画に、前記順次高められた閾値に対応する過去の時点に検出されたエッジが存在する場合、該エッジのエッジデータを物体の位置として採用する。
【０００８】
【発明の実施の形態】
図１は、本発明の画像処理方法に用いる画像処理装置の構成のブロック図である。画像処理装置１は、前方の画像を撮影する左右一対のカメラＬ及びＲを備えており、このカメラＬとＲから得られる画像によりステレオ距離測定する。即ち、２台のカメラにより前方の対象物、例えば先行車両までの距離を測定し、該車両との距離を一定に保つ車間距離制御等を行う。
【０００９】
カメラＬとＲから得られた画像データは増幅器１１、１２、でそれぞれ増幅され、かつフィルタにより帯域制限され、Ａ／Ｄ変換器１３、１４にそれぞれ入力し、メモリ１５に格納される。格納された各画像データはＣＰＵ１６において処理され、車間距離制御（ＥＣＵ）２によって先行車両との車間距離制御等に用いられる。ＣＰＵ１６では、カメラＬ、Ｒから得られた画像データが処理され、先行車両等の前方に位置する物体との距離、検出角度、高さ、幅等の情報が得られる。
【００１０】
図２はカメラで捕らえた画像を示した図である。図３は、図２に示すカメラで捉えた画像から縦エッジを抽出した図である。図３には、前方車両の縦エッジしか描いていないが、レーンの縦エッジも抽出することができる。
【００１１】
エッジ情報は画像の明暗の変化点を抽出した情報であり、距離情報は複眼カメラで得た画像を比較し、視差を求めて距離情報を得るものである。単眼カメラで捕らえた場合も、エッジ情報を得ることができ、パターン認識ができ、さらにはおよその距離とその物体の位置する角度およびその高さがわかる。
【００１２】
図４は道路標識４が取り付けられた橋３が前方にある場合にカメラで捕らえた画像を示した図である。図５は図４に示された画像の縦エッジを抽出した場合のエッジ画像を示した図である。この図に示されているように、縦エッジを抽出した場合、橋３の橋脚部分と標識４の縦の線のみが現れる。同様に、画像の横エッジを抽出することもできる。図６は図４に示された画像の横エッジを抽出した場合のエッジ画像を示した図である。
【００１３】
図７は、図１に示した画像処理装置において、ステレオ画像を用いてカメラから検出対象までの距離を求める原理を示す図である。左右のカメラＬとＲは、カメラ基板３２Ｌと３２Ｒ上に形成されたセンサチップよりなる撮像素子３３Ｌと３３Ｒ、これに前方の車両Ｖの像を結像するレンズ３１Ｌと３１Ｒを有する。３４Ｌと３４Ｒは互いに平行なカメラＬとＲの光軸であり、Ｄは両カメラ間の距離である。
【００１４】
撮像素子３３Ｌと３３Ｒの面に平行で水平方向をＸ軸、撮像素子３３Ｌと３３Ｒの面に平行で垂直方向をＹ軸、そして光軸と同じ方向をＺ軸とし、検出対象Ｖの位置をｐ（ｘ，ｙ，ｚ）で表すと、カメラから検出対象Ｖまでの距離ｚは以下の式により表すことができる。
【００１５】
ｚ＝ｆ・Ｄ／（ｘL−ｘR）＝ｆ・Ｄ／Ｓ
上記式で、ｆは焦点距離、Ｄは両カメラ間の距離である。ｘL−ｘR＝Ｓは視差であり、（ｘL,ｙL）はカメラＬで撮像した画像ＭLにおいて位置ｐが撮像されている点の位置であり、（ｘR，ｙR）はカメラＲで撮像した画像ＭRにおいて位置ｐが撮像されている点の位置である。視差Ｓは、図７に示されているように、撮像面の水平軸が同じライン上に揃っている場合は、Ｓ＝ｘL−ｘRとなる。焦点距離ｆ、視差Ｓ、及びｘL、ｘRの単位は画素であり、両カメラ間の距離Ｄと距離ｚの単位はｍである。
【００１６】
図８は、本発明に用いるマトリクスを作成するための、視差と測距値の関係を示した図である。測距値Ｒは、Ｒ＝Ｋ／ｎによって求められる。ここで、Ｋはステレオカメラのパラメータで決まる定数であり、ｎは視差である。図８ではＫ＝１４０の場合を示している。視差ｎは物体との距離が近づけば大きくなる。従って、視差が小さくなるに従って測距値は大きくなる。
【００１７】
測距値は視差の値によって変化するが、本発明では視差ｎが整数の場合の測距値を、その前後を含めた所定の範囲の視差の値における測距値とし、測距値が階段状に変化するようにしている。例えば、視差ｎが、２．５＞ｎ≧１．５の測距値を、視差ｎ＝２の測距値７０としている。
【００１８】
図９は本発明で用いるマトリクスを描いた図である。図に示すようにカメラＣＭの視野が放射状に広がっている。この視野の距離方向を、図８に示したように視差ｎが整数である場合の測距値で区切る。例えば、図９において最も遠い区画がｎ＝１の区画であり、その手前の区画がｎ＝２の場合の区画である。
【００１９】
一方、カメラＣＭの視野の角度は所定の角度（例えば、５°）で区切られており、区切られた距離及び角度に基づいてカメラの視野の範囲がマトリクス状に区画され、各区画に座標が与えられている。図９は区画に付与された座標の例を示している。各区画には区切られた角度に基づく番号ｍ（図に示す例では「１−９」）と視差に基づく距離の番号ｎ（図に示す例では「１−６」）によって座標Ｍ（ｍ，ｎ）が与えられている。例えば、角度の番号が「５」で視差に基づく距離の番号が「１」の区画の座標として、Ｍ（５，１）が付与される。
【００２０】
本発明ではこのように座標を付与されたマトリクス区画毎にマトリクスデータを演算して付与し、物体が存在する指標とするものである。
【００２１】
図１０は、カメラの視野の範囲を区切って作成したマトリクス区画毎に、実際にマトリクスデータを付与した例を示した図である。マトリクスデータとは、マトリクス区画毎に物体のエッジが現れる頻度を数値で表したものである。ある時点で物体のエッジがＡの位置に検出された場合、その位置のマトリクス区画にマトリクスデータとして１００を付与し、その上下左右のマトリクス区画にマトリクスデータとしてそれぞれ５０を付与する。また、物体Ａが位置するマトリクス区画の斜め上下のマトリクス区画にマトリクスデータとして３０を付与する。このように、所定の時間間隔で各マトリクス区画にマトリクスデータを付与し、マトリクスデータを積み上げて行く。また、ある時点で物体が検出されなかった場合には、前回までに積み上げたマトリクスデータの合計値から、例えば５０を減ずる。ただし、マトリクスの合計値は最低が０とし、マイナスにならないようにする。そして、マトリクスデータの合計値が一定の値を超えたとき、そのマトリクス区画の位置に物体が存在するものと判断する。
【００２２】
一方、エッジを検出し検出されたエッジの距離と角度（エッジデータ）を算出し、現在及び過去のエッジデータを保存しておき、マトリクスデータの合計値が一定の値を超えたマトリクス区画に存在する、現在又は過去のエッジデータを採用して物体の存在を安定して検出できるようにする。
【００２３】
図１１は、本発明の画像処理方法の実施例の動作を示すフローチャートである。これらの動作は、図１の画像処理装置１のＣＰＵ１６によって制御される。まず、時間ｔにおいて前方を走行する車両のエッジをカメラで検出し、該検出されたエッジの距離Ｒ(t)、及び検出角度θ(t)（エッジデータ）を算出し記憶装置に記憶する（Ｓ１）。検出されるエッジの数は１つとは限らないので、時間ｔにおいて検出された各エッジの距離Ｒx(t)、及び検出角度θx(t)をそれぞれ算出し記憶装置に記憶する。xは検出された各エッジを表す。次に、時間ｔにおいて検出された各エッジの距離Ｒx(t)と角度θx(t)から、その距離及び角度に位置する各マトリクス区画の座標Ｍx(ｍ，ｎ)を求める（Ｓ２）。次に、座標がＭx(ｍ，ｎ）の区画の時間ｔにおけるマトリクスデータＭxd(t)(ｍ，ｎ)を、式
Ｍxd(t)(ｍ，ｎ)＝Ｍxd(t-1)(ｍ，ｎ)＋Ｐ
により演算する（Ｓ３）。上記式で、Ｍxd(t-1)は検出されたエッジが存在するマトリクス区画の前回までの検出で積み上げたマトリクスデータの合計値であり、Ｐは検出されたエッジが存在するマトリクス区画に新たに加算されるマトリクスデータである。Ｐの値として、図１０に示す例に従えば「１００」が加算される。そして、演算の結果得られたマトリクスデータをマトリクス区画にそれぞれ付与する。
【００２４】
次に、上記マトリクス区画の上下左右に位置する区画のマトリクスデータをそれぞれ演算し、演算の結果得られたマトリクスデータを該上下左右に位置するマトリクス区画に付与する（Ｓ４）。
【００２５】
例えば、左側のマトリクス区画のマトリクスデータは以下のように演算する。
【００２６】
（左側）Ｍxd(t)(ｍ-1，ｎ)＝Ｍxd(t-1)(ｍ-1，ｎ)＋(Ｐ/２)
上記式で、Ｍxd(t)(ｍ-1，ｎ)は求めるマトリクスデータであり、Ｍxd(t-1)(ｍ-1，ｎ)は前回までの検出でその区画に付与されたマトリクスデータの値であり、Ｐ/２は新たに加算されるマトリクスデータである。図１０に示す例に従えば、Ｐ/２＝５０となる。
【００２７】
同様に、右側、上側、下側のマトリクス区画のマトリクスデータを、以下のように演算する。
【００２８】
（右側）Ｍxd(t)(ｍ+1，ｎ)＝Ｍxd(t-1)(ｍ+1，ｎ)＋(Ｐ/２)
（上側）Ｍxd(t)(ｍ，ｎ-1)＝Ｍxd(t-1)(ｍ，ｎ-1)＋(Ｐ/２)
（下側）Ｍxd(t)(ｍ，ｎ+1)＝Ｍxd(t-1)(ｍ，ｎ+1)＋(Ｐ/２)
同時に、上記マトリクスの斜め上下に位置するマトリクス区画のマトリクスデータを演算し、演算の結果得られたマトリクスデータを該斜め上下に位置するマトリクス区画にそれぞれ付与する（Ｓ４）。
【００２９】
例えば、斜め左上のマトリクス区画のマトリクスデータは以下のように演算する。
【００３０】
（斜め左上）Ｍxd(t)(ｍ-1，ｎ-1)＝Ｍxd(t-1)(ｍ-1，ｎ-1)＋(Ｐ/３）
図１０に示す例に従えば、Ｐ/３＝３０となる。
【００３１】
同様に、斜め右上、斜め左下、斜め右下のマトリクス区画のマトリクスデータは以下のように演算する。
【００３２】
（斜め右上）Ｍxd(t)(ｍ+1，ｎ-1)＝Ｍxd(t-1)(ｍ+1，ｎ-1)＋(Ｐ/３）
（斜め左下）Ｍxd(t)(ｍ-1，ｎ+1)＝Ｍxd(t-1)(ｍ-1，ｎ+1)＋(Ｐ/３）
（斜め右下）Ｍxd(t)(ｍ+1，ｎ+1)＝Ｍxd(t-1)(ｍ+1，ｎ+1)＋(Ｐ/３）
なお、上記例ではＰ、Ｐ／２、Ｐ／３を加算したが、所定のマトリクスデータＰ１、Ｐ２、Ｐ３（ただし、Ｐ１＞Ｐ２＞Ｐ３）を加算してもよい。また、ある時点で物体が検出されなかった場合には、所定のマトリクスデータを減算する。
【００３３】
次に、各マトリクス区画のマトリクスデータをチェックし、所定の閾値Ｐth0を超えるマトリクスデータを有するマトリクス区画Ｍp0(ｍ，ｎ）をサーチし（Ｓ５）、該区画Ｍp0(ｍ，ｎ)にｔ時点で検出されたエッジが存在するかどうか判断する（Ｓ６）。存在する場合にはそのエッジのエッジデータを物体の位置とする。ここでいうエッジデータとは、Ｓ１で時間ｔにおいて検出され記憶されたエッジの距離Ｒx(t)、及び角度θx(t)のうち、マトリクス区画Ｍp0(ｍ，ｎ)に存在するエッジのエッジデータＲp(t)、θp(t)を意味する。このエッジデータＲp(t)、θp(t)は、Ｓ１において検出されたデータのうち、マトリクスデータが所定の閾値を超える区画にあるエッジのエッジデータであり、従ってその存在が安定して検出されるエッジのデータである。なお、時間ｔで検出されたエッジのエッジデータ以外にも、時間ｔ−１、ｔ−２、--- ｔ−ｎで検出されたエッジのデータも記憶される。
【００３４】
Ｓ６で区画Ｍp0(ｍ，ｎ）にエッジが存在すると判断されれば（Ｙｅｓ）、そのエッジデータＲp(t)、θp(t)を物体の距離、及び角度として採用する。Ｓ６でＮｏであればそのまま終了し、同じフローが繰り返される。
【００３５】
図１２は、本発明の画像処理方法の別の実施例の動作を示すフローチャートである。図１１のＳ６までは同じフローである。Ｓ６でＹｅｓであれば、図１１と同様にＳ７に進む。
【００３６】
図１２の実施例では、所定の閾値Ｐth0を超えるマトリクスデータを有するマトリクス区画Ｍp0(ｍ，ｎ)にｔ時点のエッジデータが存在しない場合（Ｎｏ）、マトリクスデータの閾値を高くし、該高くした閾値を超える区画をサーチし、サーチの結果得た高くした閾値を超える区画に前回検出時（ｔ−１時点）のエッジが存在するかどうかを判断する。存在する場合にはそのエッジのエッジデータを物体の位置、即ち、距離及び角度とする。高くした閾値を超える区画に前回検出時（ｔ−１時点）のエッジが存在しない場合、さらに閾値を高めて前々回検出時（ｔ−２時点）のエッジが存在するかどうか判断する。以下、同様な動作を繰り返す。
【００３７】
以下に、図１２のフローチャートを参照して別の実施例の動作を説明する。Ｓ６でＮｏの場合、図１２に示された実施例では、各マトリクス区画のマトリクスデータをチェックし、所定の閾値Ｐth1（Ｐth1＞Ｐth0）を超えるマトリクスデータを有するマトリクス区画Ｍp1(ｍ，ｎ）をサーチし（Ｓ８）、該区画Ｍp1(ｍ，ｎ)に時間ｔ−１時点のエッジが存在するかどうか判断する（Ｓ９）。時間ｔ−１時点のエッジが存在すると判断されれば（Ｙｅｓ）、そのエッジのエッジデータＲp(t-1)、θp(t-1)を物体の距離、及び角度として採用する（Ｓ１０）。Ｓ９でエッジが存在しない場合（Ｎｏ）、閾値をＰth2（Ｐth2＞Ｐth1）にして同様の動作を行う。そしてエッジが存在しない場合、順次閾値を高めてゆく。Ｓｎでは閾値をＰthn（Ｐthn＞---＞Ｐth1＞Ｐth0）にし、閾値Ｐthnを超えるマトリクスデータを有するマトリクス区画Ｍpn(ｍ，ｎ）をサーチし（Ｓｎ）、該区画Ｍpn(ｍ，ｎ)に時間ｔ−ｎ時点のエッジが存在するかどうか判断する（Ｓｎ＋１）。時間ｔ−ｎ時点のエッジが存在すると判断されれば（Ｙｅｓ）、そのエッジのエッジデータＲp(t-n)、θp(t-n)を物体の距離、及び角度として採用する（Ｓｎ＋２）。Ｓｎ＋１でＮｏであれば、そのまま終了する。
【００３８】
上記実施例では、閾値ＰthをＰth0からＰthnまで設定して繰り返したが、繰り返す回数は適宜設定することができる。
【００３９】
上記説明では一対のカメラを用いて物体の距離と角度を検出しているが、単眼のカメラを用い、画面の上下位置から求められるる物体の距離と、カメラの視野を区切った所定の角度に基づいてマトリクスを作成し、エッジデータに加えてマトリクスデータを用いて、物体の位置（距離、角度）を検出することができる。
【００４０】
上記実施例では、エッジが検出されるとその距離及び角度に位置する各マトリクス区画の座標を求め、演算においてマトリクスデータを加算したが、例えば、
Ｍxd(t)(ｍ，ｎ)＝Ｍxd(t-1)(ｍ，ｎ)×Ｑ
のように、係数Ｑを乗算しマトリクスデータを求めることもできる。
【００４１】
図１３は乗算によってマトリクスデータを用いる場合の、マトリクス区画毎に実際に係数を付与した例を示した図である。ある時点で物体のエッジがＡの位置に検出された場合、その位置のマトリクス区画のマトリクスデータに係数１．５を乗算する。同様に上下左右のマトリクス区画のマトリクスデータにそれぞれ係数１．３を乗算し、斜め上下のマトリクス区画のマトリクスデータにそれぞれ係数１．１を乗算する。なお、この場合は加算ではないので、各マトリクス区画にマトリクスデータの初期値として、例えば「１」を与えておく。そしてエッジが検出された場合には各マトリクス区画のマトリクスデータに、それぞれ図１３に示された係数を乗算する。また、物体が検出されなかった場合には各マトリクスデータに例えば係数０．５を乗算する。しかし、０．５の乗算を繰り返すとマトリクスデータの値が小さくなりすぎてしまい、物体が検出されて１．５を乗算してもマトリクスデータはほとんど増えないので、マトリクスデータが１より小さくなった時には「１」とする。上記のようにマトリクスデータを乗算で求める場合、図１１に示す「所定閾値」を例えば「５」とする。
【００４２】
【発明の効果】
本発明では上記のように、検出されたエッジデータに加えてマトリクスデータを用いたので、確実に物体の位置（距離、角度）を検出することができる。また、一定の位置で検出されていたエッジがある時点で検出できなかった場合でも、マトリクスデータを用いることによって物体の位置（距離、角度）を安定して検出することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の構成のブロック図である。
【図２】カメラで捕らえた画像を示した図である。
【図３】カメラで捕らえた画像から縦エッジを抽出した図である。
【図４】カメラで捕らえた画像を示した図である。
【図５】カメラで捕らえた画像から縦エッジを抽出した図である。
【図６】カメラで捕らえた画像から横エッジを抽出した図である
【図７】図１に示した画像処理装置において、ステレオ画像を用いてカメラから検出対象までの距離を求める原理を示した図である。
【図８】本発明で用いるマトリクスを作成する場合の視差と測距値の関係を示した図である。
【図９】本発明で用いるマトリクスを描いた図である。
【図１０】マトリクス区画毎にマトリクスデータを付与した図である。
【図１１】本発明の実施例を示すフローチャートである。
【図１２】本発明の別の実施例を示すフローチャートである。
【図１３】マトリクス区画毎に係数を付与した図である。
【符号の説明】
１…画像処理装置
１１、１２…増幅器
１３、１４…ＡＤ変換器
１５…メモリ
１６…ＣＰＵ
１７…ＥＣＵ
Ｌ、Ｒ…カメラ
３１Ｌ、３１Ｒ…レンズ
３２Ｌ、３２Ｒ…カメラ基板
３３Ｌ、３３Ｒ…撮像素子
３４Ｌ、３４Ｒ…光軸
Ｖ…検出対象
【発明の属する技術分野】
本発明は、車両に取り付けたカメラにより撮像した前方の道路状況、特に前方車両等の認識を適正に行うことのできる画像処理方法に関する。
【０００２】
【従来の技術】
従来、カメラで捉えた画像から、前方車両等の認識、あるいは距離の測定等が行われている。その際、前方車両等の認識をするためエッジ抽出を行い、エッジ画像を得て、前方車両等の物体の距離測定と角度測定を行っている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００１−１０１４２８号公報
エッジとは画像中の濃淡部分が大きい部分、いわゆる輪郭線のことで、影や汚れによって濃淡が変化しても影響が少ないという利点がある。また、エッジを抽出するとき、縦エッジ又は横エッジ、あるいは両方のエッジを抽出することができる。
【０００４】
【発明が解決しようとする課題】
画像処理においてエッジ検出を行うには、例えば、左右にカメラを配置して縦エッジ又は横エッジ、あるいは両方のエッジを検出し、物体の距離測定と角度測定を行うが、カメラのノイズや周囲の状況によって一定の位置にエッジが現れないため所定の時間間隔でエッジを検出する場合、安定した検出ができないことが多い。例えば、前方車両の特定の部分のエッジがある時点で現れなかったり、一定の位置に現れないため、この部分のエッジが安定して検出できないことがある。
【０００５】
そこで、本発明は、このような不安定なエッジの検出を補うことができる画像処理方法を提供するものである。
【０００６】
【課題を解決するための手段】
本発明によれば、ステレオカメラの視野を視差に基づく測距値と該ステレオカメラの一方のカメラの光軸を基準とした角度とによってマトリクス状に複数の区画に区切り、各区画ごとに、エッジが現れる頻度を示すマトリクスデータを、前回までのマトリクスデータと今回の前記ステレオカメラの画像から検出されたエッジとに基づいて導出し、前記複数の区画のうち所定の閾値を超えるマトリクスデータを有する区画をサーチし、該サーチされた区画に前記検出されたエッジが存在する場合、該エッジの位置情報であるエッジデータを物体の位置として採用する。
【０００７】
また、サーチされた区画にエッジが存在しない場合、順次閾値を高め、該高められた閾値を超えるマトリクスデータを有する区画を順次サーチし、該サーチされた区画に、前記順次高められた閾値に対応する過去の時点に検出されたエッジが存在する場合、該エッジのエッジデータを物体の位置として採用する。
【０００８】
【発明の実施の形態】
図１は、本発明の画像処理方法に用いる画像処理装置の構成のブロック図である。画像処理装置１は、前方の画像を撮影する左右一対のカメラＬ及びＲを備えており、このカメラＬとＲから得られる画像によりステレオ距離測定する。即ち、２台のカメラにより前方の対象物、例えば先行車両までの距離を測定し、該車両との距離を一定に保つ車間距離制御等を行う。
【０００９】
カメラＬとＲから得られた画像データは増幅器１１、１２、でそれぞれ増幅され、かつフィルタにより帯域制限され、Ａ／Ｄ変換器１３、１４にそれぞれ入力し、メモリ１５に格納される。格納された各画像データはＣＰＵ１６において処理され、車間距離制御（ＥＣＵ）２によって先行車両との車間距離制御等に用いられる。ＣＰＵ１６では、カメラＬ、Ｒから得られた画像データが処理され、先行車両等の前方に位置する物体との距離、検出角度、高さ、幅等の情報が得られる。
【００１０】
図２はカメラで捕らえた画像を示した図である。図３は、図２に示すカメラで捉えた画像から縦エッジを抽出した図である。図３には、前方車両の縦エッジしか描いていないが、レーンの縦エッジも抽出することができる。
【００１１】
エッジ情報は画像の明暗の変化点を抽出した情報であり、距離情報は複眼カメラで得た画像を比較し、視差を求めて距離情報を得るものである。単眼カメラで捕らえた場合も、エッジ情報を得ることができ、パターン認識ができ、さらにはおよその距離とその物体の位置する角度およびその高さがわかる。
【００１２】
図４は道路標識４が取り付けられた橋３が前方にある場合にカメラで捕らえた画像を示した図である。図５は図４に示された画像の縦エッジを抽出した場合のエッジ画像を示した図である。この図に示されているように、縦エッジを抽出した場合、橋３の橋脚部分と標識４の縦の線のみが現れる。同様に、画像の横エッジを抽出することもできる。図６は図４に示された画像の横エッジを抽出した場合のエッジ画像を示した図である。
【００１３】
図７は、図１に示した画像処理装置において、ステレオ画像を用いてカメラから検出対象までの距離を求める原理を示す図である。左右のカメラＬとＲは、カメラ基板３２Ｌと３２Ｒ上に形成されたセンサチップよりなる撮像素子３３Ｌと３３Ｒ、これに前方の車両Ｖの像を結像するレンズ３１Ｌと３１Ｒを有する。３４Ｌと３４Ｒは互いに平行なカメラＬとＲの光軸であり、Ｄは両カメラ間の距離である。
【００１４】
撮像素子３３Ｌと３３Ｒの面に平行で水平方向をＸ軸、撮像素子３３Ｌと３３Ｒの面に平行で垂直方向をＹ軸、そして光軸と同じ方向をＺ軸とし、検出対象Ｖの位置をｐ（ｘ，ｙ，ｚ）で表すと、カメラから検出対象Ｖまでの距離ｚは以下の式により表すことができる。
【００１５】
ｚ＝ｆ・Ｄ／（ｘL−ｘR）＝ｆ・Ｄ／Ｓ
上記式で、ｆは焦点距離、Ｄは両カメラ間の距離である。ｘL−ｘR＝Ｓは視差であり、（ｘL,ｙL）はカメラＬで撮像した画像ＭLにおいて位置ｐが撮像されている点の位置であり、（ｘR，ｙR）はカメラＲで撮像した画像ＭRにおいて位置ｐが撮像されている点の位置である。視差Ｓは、図７に示されているように、撮像面の水平軸が同じライン上に揃っている場合は、Ｓ＝ｘL−ｘRとなる。焦点距離ｆ、視差Ｓ、及びｘL、ｘRの単位は画素であり、両カメラ間の距離Ｄと距離ｚの単位はｍである。
【００１６】
図８は、本発明に用いるマトリクスを作成するための、視差と測距値の関係を示した図である。測距値Ｒは、Ｒ＝Ｋ／ｎによって求められる。ここで、Ｋはステレオカメラのパラメータで決まる定数であり、ｎは視差である。図８ではＫ＝１４０の場合を示している。視差ｎは物体との距離が近づけば大きくなる。従って、視差が小さくなるに従って測距値は大きくなる。
【００１７】
測距値は視差の値によって変化するが、本発明では視差ｎが整数の場合の測距値を、その前後を含めた所定の範囲の視差の値における測距値とし、測距値が階段状に変化するようにしている。例えば、視差ｎが、２．５＞ｎ≧１．５の測距値を、視差ｎ＝２の測距値７０としている。
【００１８】
図９は本発明で用いるマトリクスを描いた図である。図に示すようにカメラＣＭの視野が放射状に広がっている。この視野の距離方向を、図８に示したように視差ｎが整数である場合の測距値で区切る。例えば、図９において最も遠い区画がｎ＝１の区画であり、その手前の区画がｎ＝２の場合の区画である。
【００１９】
一方、カメラＣＭの視野の角度は所定の角度（例えば、５°）で区切られており、区切られた距離及び角度に基づいてカメラの視野の範囲がマトリクス状に区画され、各区画に座標が与えられている。図９は区画に付与された座標の例を示している。各区画には区切られた角度に基づく番号ｍ（図に示す例では「１−９」）と視差に基づく距離の番号ｎ（図に示す例では「１−６」）によって座標Ｍ（ｍ，ｎ）が与えられている。例えば、角度の番号が「５」で視差に基づく距離の番号が「１」の区画の座標として、Ｍ（５，１）が付与される。
【００２０】
本発明ではこのように座標を付与されたマトリクス区画毎にマトリクスデータを演算して付与し、物体が存在する指標とするものである。
【００２１】
図１０は、カメラの視野の範囲を区切って作成したマトリクス区画毎に、実際にマトリクスデータを付与した例を示した図である。マトリクスデータとは、マトリクス区画毎に物体のエッジが現れる頻度を数値で表したものである。ある時点で物体のエッジがＡの位置に検出された場合、その位置のマトリクス区画にマトリクスデータとして１００を付与し、その上下左右のマトリクス区画にマトリクスデータとしてそれぞれ５０を付与する。また、物体Ａが位置するマトリクス区画の斜め上下のマトリクス区画にマトリクスデータとして３０を付与する。このように、所定の時間間隔で各マトリクス区画にマトリクスデータを付与し、マトリクスデータを積み上げて行く。また、ある時点で物体が検出されなかった場合には、前回までに積み上げたマトリクスデータの合計値から、例えば５０を減ずる。ただし、マトリクスの合計値は最低が０とし、マイナスにならないようにする。そして、マトリクスデータの合計値が一定の値を超えたとき、そのマトリクス区画の位置に物体が存在するものと判断する。
【００２２】
一方、エッジを検出し検出されたエッジの距離と角度（エッジデータ）を算出し、現在及び過去のエッジデータを保存しておき、マトリクスデータの合計値が一定の値を超えたマトリクス区画に存在する、現在又は過去のエッジデータを採用して物体の存在を安定して検出できるようにする。
【００２３】
図１１は、本発明の画像処理方法の実施例の動作を示すフローチャートである。これらの動作は、図１の画像処理装置１のＣＰＵ１６によって制御される。まず、時間ｔにおいて前方を走行する車両のエッジをカメラで検出し、該検出されたエッジの距離Ｒ(t)、及び検出角度θ(t)（エッジデータ）を算出し記憶装置に記憶する（Ｓ１）。検出されるエッジの数は１つとは限らないので、時間ｔにおいて検出された各エッジの距離Ｒx(t)、及び検出角度θx(t)をそれぞれ算出し記憶装置に記憶する。xは検出された各エッジを表す。次に、時間ｔにおいて検出された各エッジの距離Ｒx(t)と角度θx(t)から、その距離及び角度に位置する各マトリクス区画の座標Ｍx(ｍ，ｎ)を求める（Ｓ２）。次に、座標がＭx(ｍ，ｎ）の区画の時間ｔにおけるマトリクスデータＭxd(t)(ｍ，ｎ)を、式
Ｍxd(t)(ｍ，ｎ)＝Ｍxd(t-1)(ｍ，ｎ)＋Ｐ
により演算する（Ｓ３）。上記式で、Ｍxd(t-1)は検出されたエッジが存在するマトリクス区画の前回までの検出で積み上げたマトリクスデータの合計値であり、Ｐは検出されたエッジが存在するマトリクス区画に新たに加算されるマトリクスデータである。Ｐの値として、図１０に示す例に従えば「１００」が加算される。そして、演算の結果得られたマトリクスデータをマトリクス区画にそれぞれ付与する。
【００２４】
次に、上記マトリクス区画の上下左右に位置する区画のマトリクスデータをそれぞれ演算し、演算の結果得られたマトリクスデータを該上下左右に位置するマトリクス区画に付与する（Ｓ４）。
【００２５】
例えば、左側のマトリクス区画のマトリクスデータは以下のように演算する。
【００２６】
（左側）Ｍxd(t)(ｍ-1，ｎ)＝Ｍxd(t-1)(ｍ-1，ｎ)＋(Ｐ/２)
上記式で、Ｍxd(t)(ｍ-1，ｎ)は求めるマトリクスデータであり、Ｍxd(t-1)(ｍ-1，ｎ)は前回までの検出でその区画に付与されたマトリクスデータの値であり、Ｐ/２は新たに加算されるマトリクスデータである。図１０に示す例に従えば、Ｐ/２＝５０となる。
【００２７】
同様に、右側、上側、下側のマトリクス区画のマトリクスデータを、以下のように演算する。
【００２８】
（右側）Ｍxd(t)(ｍ+1，ｎ)＝Ｍxd(t-1)(ｍ+1，ｎ)＋(Ｐ/２)
（上側）Ｍxd(t)(ｍ，ｎ-1)＝Ｍxd(t-1)(ｍ，ｎ-1)＋(Ｐ/２)
（下側）Ｍxd(t)(ｍ，ｎ+1)＝Ｍxd(t-1)(ｍ，ｎ+1)＋(Ｐ/２)
同時に、上記マトリクスの斜め上下に位置するマトリクス区画のマトリクスデータを演算し、演算の結果得られたマトリクスデータを該斜め上下に位置するマトリクス区画にそれぞれ付与する（Ｓ４）。
【００２９】
例えば、斜め左上のマトリクス区画のマトリクスデータは以下のように演算する。
【００３０】
（斜め左上）Ｍxd(t)(ｍ-1，ｎ-1)＝Ｍxd(t-1)(ｍ-1，ｎ-1)＋(Ｐ/３）
図１０に示す例に従えば、Ｐ/３＝３０となる。
【００３１】
同様に、斜め右上、斜め左下、斜め右下のマトリクス区画のマトリクスデータは以下のように演算する。
【００３２】
（斜め右上）Ｍxd(t)(ｍ+1，ｎ-1)＝Ｍxd(t-1)(ｍ+1，ｎ-1)＋(Ｐ/３）
（斜め左下）Ｍxd(t)(ｍ-1，ｎ+1)＝Ｍxd(t-1)(ｍ-1，ｎ+1)＋(Ｐ/３）
（斜め右下）Ｍxd(t)(ｍ+1，ｎ+1)＝Ｍxd(t-1)(ｍ+1，ｎ+1)＋(Ｐ/３）
なお、上記例ではＰ、Ｐ／２、Ｐ／３を加算したが、所定のマトリクスデータＰ１、Ｐ２、Ｐ３（ただし、Ｐ１＞Ｐ２＞Ｐ３）を加算してもよい。また、ある時点で物体が検出されなかった場合には、所定のマトリクスデータを減算する。
【００３３】
次に、各マトリクス区画のマトリクスデータをチェックし、所定の閾値Ｐth0を超えるマトリクスデータを有するマトリクス区画Ｍp0(ｍ，ｎ）をサーチし（Ｓ５）、該区画Ｍp0(ｍ，ｎ)にｔ時点で検出されたエッジが存在するかどうか判断する（Ｓ６）。存在する場合にはそのエッジのエッジデータを物体の位置とする。ここでいうエッジデータとは、Ｓ１で時間ｔにおいて検出され記憶されたエッジの距離Ｒx(t)、及び角度θx(t)のうち、マトリクス区画Ｍp0(ｍ，ｎ)に存在するエッジのエッジデータＲp(t)、θp(t)を意味する。このエッジデータＲp(t)、θp(t)は、Ｓ１において検出されたデータのうち、マトリクスデータが所定の閾値を超える区画にあるエッジのエッジデータであり、従ってその存在が安定して検出されるエッジのデータである。なお、時間ｔで検出されたエッジのエッジデータ以外にも、時間ｔ−１、ｔ−２、--- ｔ−ｎで検出されたエッジのデータも記憶される。
【００３４】
Ｓ６で区画Ｍp0(ｍ，ｎ）にエッジが存在すると判断されれば（Ｙｅｓ）、そのエッジデータＲp(t)、θp(t)を物体の距離、及び角度として採用する。Ｓ６でＮｏであればそのまま終了し、同じフローが繰り返される。
【００３５】
図１２は、本発明の画像処理方法の別の実施例の動作を示すフローチャートである。図１１のＳ６までは同じフローである。Ｓ６でＹｅｓであれば、図１１と同様にＳ７に進む。
【００３６】
図１２の実施例では、所定の閾値Ｐth0を超えるマトリクスデータを有するマトリクス区画Ｍp0(ｍ，ｎ)にｔ時点のエッジデータが存在しない場合（Ｎｏ）、マトリクスデータの閾値を高くし、該高くした閾値を超える区画をサーチし、サーチの結果得た高くした閾値を超える区画に前回検出時（ｔ−１時点）のエッジが存在するかどうかを判断する。存在する場合にはそのエッジのエッジデータを物体の位置、即ち、距離及び角度とする。高くした閾値を超える区画に前回検出時（ｔ−１時点）のエッジが存在しない場合、さらに閾値を高めて前々回検出時（ｔ−２時点）のエッジが存在するかどうか判断する。以下、同様な動作を繰り返す。
【００３７】
以下に、図１２のフローチャートを参照して別の実施例の動作を説明する。Ｓ６でＮｏの場合、図１２に示された実施例では、各マトリクス区画のマトリクスデータをチェックし、所定の閾値Ｐth1（Ｐth1＞Ｐth0）を超えるマトリクスデータを有するマトリクス区画Ｍp1(ｍ，ｎ）をサーチし（Ｓ８）、該区画Ｍp1(ｍ，ｎ)に時間ｔ−１時点のエッジが存在するかどうか判断する（Ｓ９）。時間ｔ−１時点のエッジが存在すると判断されれば（Ｙｅｓ）、そのエッジのエッジデータＲp(t-1)、θp(t-1)を物体の距離、及び角度として採用する（Ｓ１０）。Ｓ９でエッジが存在しない場合（Ｎｏ）、閾値をＰth2（Ｐth2＞Ｐth1）にして同様の動作を行う。そしてエッジが存在しない場合、順次閾値を高めてゆく。Ｓｎでは閾値をＰthn（Ｐthn＞---＞Ｐth1＞Ｐth0）にし、閾値Ｐthnを超えるマトリクスデータを有するマトリクス区画Ｍpn(ｍ，ｎ）をサーチし（Ｓｎ）、該区画Ｍpn(ｍ，ｎ)に時間ｔ−ｎ時点のエッジが存在するかどうか判断する（Ｓｎ＋１）。時間ｔ−ｎ時点のエッジが存在すると判断されれば（Ｙｅｓ）、そのエッジのエッジデータＲp(t-n)、θp(t-n)を物体の距離、及び角度として採用する（Ｓｎ＋２）。Ｓｎ＋１でＮｏであれば、そのまま終了する。
【００３８】
上記実施例では、閾値ＰthをＰth0からＰthnまで設定して繰り返したが、繰り返す回数は適宜設定することができる。
【００３９】
上記説明では一対のカメラを用いて物体の距離と角度を検出しているが、単眼のカメラを用い、画面の上下位置から求められるる物体の距離と、カメラの視野を区切った所定の角度に基づいてマトリクスを作成し、エッジデータに加えてマトリクスデータを用いて、物体の位置（距離、角度）を検出することができる。
【００４０】
上記実施例では、エッジが検出されるとその距離及び角度に位置する各マトリクス区画の座標を求め、演算においてマトリクスデータを加算したが、例えば、
Ｍxd(t)(ｍ，ｎ)＝Ｍxd(t-1)(ｍ，ｎ)×Ｑ
のように、係数Ｑを乗算しマトリクスデータを求めることもできる。
【００４１】
図１３は乗算によってマトリクスデータを用いる場合の、マトリクス区画毎に実際に係数を付与した例を示した図である。ある時点で物体のエッジがＡの位置に検出された場合、その位置のマトリクス区画のマトリクスデータに係数１．５を乗算する。同様に上下左右のマトリクス区画のマトリクスデータにそれぞれ係数１．３を乗算し、斜め上下のマトリクス区画のマトリクスデータにそれぞれ係数１．１を乗算する。なお、この場合は加算ではないので、各マトリクス区画にマトリクスデータの初期値として、例えば「１」を与えておく。そしてエッジが検出された場合には各マトリクス区画のマトリクスデータに、それぞれ図１３に示された係数を乗算する。また、物体が検出されなかった場合には各マトリクスデータに例えば係数０．５を乗算する。しかし、０．５の乗算を繰り返すとマトリクスデータの値が小さくなりすぎてしまい、物体が検出されて１．５を乗算してもマトリクスデータはほとんど増えないので、マトリクスデータが１より小さくなった時には「１」とする。上記のようにマトリクスデータを乗算で求める場合、図１１に示す「所定閾値」を例えば「５」とする。
【００４２】
【発明の効果】
本発明では上記のように、検出されたエッジデータに加えてマトリクスデータを用いたので、確実に物体の位置（距離、角度）を検出することができる。また、一定の位置で検出されていたエッジがある時点で検出できなかった場合でも、マトリクスデータを用いることによって物体の位置（距離、角度）を安定して検出することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の構成のブロック図である。
【図２】カメラで捕らえた画像を示した図である。
【図３】カメラで捕らえた画像から縦エッジを抽出した図である。
【図４】カメラで捕らえた画像を示した図である。
【図５】カメラで捕らえた画像から縦エッジを抽出した図である。
【図６】カメラで捕らえた画像から横エッジを抽出した図である
【図７】図１に示した画像処理装置において、ステレオ画像を用いてカメラから検出対象までの距離を求める原理を示した図である。
【図８】本発明で用いるマトリクスを作成する場合の視差と測距値の関係を示した図である。
【図９】本発明で用いるマトリクスを描いた図である。
【図１０】マトリクス区画毎にマトリクスデータを付与した図である。
【図１１】本発明の実施例を示すフローチャートである。
【図１２】本発明の別の実施例を示すフローチャートである。
【図１３】マトリクス区画毎に係数を付与した図である。
【符号の説明】
１…画像処理装置
１１、１２…増幅器
１３、１４…ＡＤ変換器
１５…メモリ
１６…ＣＰＵ
１７…ＥＣＵ
Ｌ、Ｒ…カメラ
３１Ｌ、３１Ｒ…レンズ
３２Ｌ、３２Ｒ…カメラ基板
３３Ｌ、３３Ｒ…撮像素子
３４Ｌ、３４Ｒ…光軸
Ｖ…検出対象
Claims (13)
- ステレオカメラの視野を視差に基づく測距値と該ステレオカメラの一方のカメラの光軸を基準とした角度とによってマトリクス状に複数の区画に区切り、
各区画ごとに、エッジが現れる頻度を示すマトリクスデータを、前回までのマトリクスデータと今回の前記ステレオカメラの画像から検出されたエッジとに基づいて導出し、
前記複数の区画のうち所定の閾値を超えるマトリクスデータを有する区画をサーチし、
該サーチされた区画に前記検出されたエッジが存在する場合、該エッジの位置情報であるエッジデータを物体の位置として採用する、画像処理方法。 - ステレオカメラの視野を視差に基づく測距値と該ステレオカメラの一方のカメラの光軸を基準とした角度とによってマトリクス状に複数の区画に区切り、
各区画ごとに、エッジが現れる頻度を示すマトリクスデータを、前回までのマトリクスデータと今回の前記ステレオカメラの画像から検出されたエッジとに基づいて導出し、
前記複数の区画のうち所定の閾値を超えるマトリクスデータを有する区画をサーチし、
該サーチされた区画にエッジが存在しない場合、順次閾値を高め、
該高められた閾値を超えるマトリクスデータを有する区画を順次サーチし、
該サーチされた区画に、前記順次高められた閾値に対応する過去の時点に検出されたエッジが存在する場合、該エッジの位置情報であるエッジデータを物体の位置として採用する、
画像処理方法。 - 前記マトリクス状の区画は、視差が整数の場合の測距値と所定の角度によって区画されている、請求項１又は２に記載の画像処理方法。
- 前記各区画のマトリクスデータは、当該区画の前回までのマトリクスデータに今回のエッジの検出結果に応じた値を加減算して導出する、請求項１又は２に記載の画像処理方法。
- 前記エッジが検出されなかった場合、前記マトリクスデータは、前回までのマトリクスデータから所定値を減算して導出する、請求項４に記載の画像処理方法。
- 前記マトリクスデータを導出する際に、前記エッジが存在する区画において加算される値をＰ１とすると、該区画の上下左右に位置する区画において加算される値をＰ２とし、該区画の斜め上下に位置する区画において加算される値をＰ３とする（ただし、Ｐ１＞Ｐ２＞Ｐ３）、請求項４に記載の画像処理方法。
- 前記各区画のマトリクスデータは、当該区画の前回までのマトリクスデータに今回のエッジの検出結果に応じた係数を乗算して導出する、請求項１又は２に記載の画像処理方法。
- 前記エッジが検出されなかった場合、前記マトリクスデータは、前回までのマトリクスデータに１より小さい係数を乗算して導出する、請求項７に記載の画像処理方法。
- 前記マトリクスデータを導出する際に、前記エッジが存在する区画において乗算される係数をＱ１とすると、該区画の上下左右に位置する区画において乗算される係数をＱ２とし、該区画の斜め上下に位置する区画において乗算される係数をＱ３とする（ただし、Ｑ１＞Ｑ２＞Ｑ３）、請求項７に記載の画像処理方法。
- 前記エッジデータは距離と角度の情報を含む、請求項１又は２に記載の画像処理方法。
- 前記ステレオカメラに代えて単眼カメラを用い、前記マトリクス状の区画は該単眼カメラの視野を画面の上下位置から求めた距離と該単眼カメラの光軸を基準とした角度によって区画されている、請求項１又は２に記載の画像処理方法。
- ステレオカメラの視野を視差に基づく測距値と該ステレオカメラの一方のカメラの光軸を基準とした角度とによってマトリクス状に複数の区画に区切り、
各区画ごとに、エッジが現れる頻度を示すマトリクスデータを、前回までのマトリクスデータと今回の前記ステレオカメラの画像から検出されたエッジとに基づいて導出し、
前記複数の区画のうち所定の閾値を超えるマトリクスデータを有する区画をサーチし、
該サーチされた区画に前記検出されたエッジが存在する場合、該エッジの位置情報であるエッジデータを物体の位置として採用する、画像処理装置。 - ステレオカメラの視野を視差に基づく測距値と該ステレオカメラの一方のカメラの光軸を基準とした角度とによってマトリクス状に複数の区画に区切り、
各区画ごとに、エッジが現れる頻度を示すマトリクスデータを、前回までのマトリクスデータと今回の前記ステレオカメラの画像から検出されたエッジとに基づいて導出し、
前記複数の区画のうち所定の閾値を超えるマトリクスデータを有する区画をサーチし、
該サーチされた区画にエッジが存在しない場合、順次閾値を高め、
該高められた閾値を超えるマトリクスデータを有する区画を順次サーチし、
該サーチされた区画に、前記順次高められた閾値に対応する過去の時点に検出されたエッジが存在する場合、該エッジの位置情報であるエッジデータを物体の位置として採用する、画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002273062A JP4155780B2 (ja) | 2002-09-19 | 2002-09-19 | 画像処理方法 |
| US10/643,794 US7221789B2 (en) | 2002-09-19 | 2003-08-19 | Method for processing an image captured by a camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002273062A JP4155780B2 (ja) | 2002-09-19 | 2002-09-19 | 画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004108980A JP2004108980A (ja) | 2004-04-08 |
| JP4155780B2 true JP4155780B2 (ja) | 2008-09-24 |
Family
ID=31986907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002273062A Expired - Fee Related JP4155780B2 (ja) | 2002-09-19 | 2002-09-19 | 画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7221789B2 (ja) |
| JP (1) | JP4155780B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2816794A2 (en) | 2013-06-19 | 2014-12-24 | Fujitsu Limited | Image processing device and image processing method |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7561720B2 (en) * | 2004-04-30 | 2009-07-14 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
| US7561721B2 (en) * | 2005-02-02 | 2009-07-14 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| JP4586571B2 (ja) * | 2005-02-25 | 2010-11-24 | 株式会社豊田中央研究所 | 対象物判定装置 |
| US7231288B2 (en) * | 2005-03-15 | 2007-06-12 | Visteon Global Technologies, Inc. | System to determine distance to a lead vehicle |
| US20070031008A1 (en) * | 2005-08-02 | 2007-02-08 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US7623681B2 (en) * | 2005-12-07 | 2009-11-24 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US8164628B2 (en) | 2006-01-04 | 2012-04-24 | Mobileye Technologies Ltd. | Estimating distance to an object using a sequence of images recorded by a monocular camera |
| JP2008225785A (ja) * | 2007-03-12 | 2008-09-25 | Toyota Motor Corp | 画像認識装置 |
| US8050459B2 (en) * | 2008-07-25 | 2011-11-01 | GM Global Technology Operations LLC | System and method for detecting pedestrians |
| WO2011078264A1 (ja) * | 2009-12-25 | 2011-06-30 | 本田技研工業株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び移動体 |
| KR20120053713A (ko) * | 2010-11-18 | 2012-05-29 | 에스엘 주식회사 | 차량용 카메라의 제어 장치 및 방법 |
| US10081308B2 (en) * | 2011-07-08 | 2018-09-25 | Bendix Commercial Vehicle Systems Llc | Image-based vehicle detection and distance measuring method and apparatus |
| JP5544047B2 (ja) * | 2011-09-21 | 2014-07-09 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム並びに立体撮像装置、携帯電子機器、プリンタ及び立体画像再生装置 |
| ITVI20120303A1 (it) * | 2012-11-09 | 2014-05-10 | St Microelectronics Srl | Metodo per rilevare una linea retta in un'immagine digitale |
| CN103327294A (zh) * | 2013-03-22 | 2013-09-25 | 张会朋 | 无线网络录像仪 |
| CN106326810B (zh) * | 2015-06-25 | 2019-12-24 | 株式会社理光 | 道路场景识别方法及设备 |
| CN109194920B (zh) * | 2018-09-21 | 2020-06-12 | 深圳市九洲电器有限公司 | 一种基于高清摄像机的智能寻物方法 |
| CN112712011B (zh) * | 2020-12-28 | 2022-05-06 | 华中科技大学 | 基于边界细节补偿和相似特征强化的实时道路检测方法 |
| US12051250B2 (en) * | 2022-09-19 | 2024-07-30 | Vellos Inc. | Situational awareness systems and methods and micromobility platform |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08138053A (ja) * | 1994-11-08 | 1996-05-31 | Canon Inc | 被写体情報処理装置及び遠隔装置 |
| JP3669205B2 (ja) | 1999-05-17 | 2005-07-06 | 日産自動車株式会社 | 障害物認識装置 |
| JP4028135B2 (ja) * | 1999-05-27 | 2007-12-26 | 本田技研工業株式会社 | 物体検出装置 |
| JP2001101428A (ja) | 1999-10-01 | 2001-04-13 | Fujitsu Ten Ltd | 画像処理装置 |
| JP4523095B2 (ja) | 1999-10-21 | 2010-08-11 | 富士通テン株式会社 | 情報処理装置、情報統合装置および情報処理方法 |
-
2002
- 2002-09-19 JP JP2002273062A patent/JP4155780B2/ja not_active Expired - Fee Related
-
2003
- 2003-08-19 US US10/643,794 patent/US7221789B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2816794A2 (en) | 2013-06-19 | 2014-12-24 | Fujitsu Limited | Image processing device and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040057601A1 (en) | 2004-03-25 |
| US7221789B2 (en) | 2007-05-22 |
| JP2004108980A (ja) | 2004-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4155780B2 (ja) | 画像処理方法 | |
| JP4956452B2 (ja) | 車両用環境認識装置 | |
| US10129521B2 (en) | Depth sensing method and system for autonomous vehicles | |
| EP3324152B1 (en) | Own-position estimating device and own-position estimating method | |
| EP2858008B1 (en) | Target detecting method and system | |
| JP4788798B2 (ja) | 物体検出装置 | |
| US10268904B2 (en) | Vehicle vision system with object and lane fusion | |
| US9513108B2 (en) | Sensor system for determining distance information based on stereoscopic images | |
| CN104883553B (zh) | 视差值导出设备及方法、装备控制系统、可移动装置 | |
| JPH10285582A (ja) | 車外監視装置 | |
| JP6416712B2 (ja) | ピッチ角推定装置 | |
| JP6837262B2 (ja) | 走行可能領域検出装置及び走行支援システム | |
| CN111989541B (zh) | 立体摄像机装置 | |
| CN103366155A (zh) | 通畅路径检测中的时间相干性 | |
| JP3961584B2 (ja) | 区画線検出装置 | |
| US20200193184A1 (en) | Image processing device and image processing method | |
| JP2005214914A (ja) | 移動速度検出装置および移動速度検出方法 | |
| JP7445501B2 (ja) | 画像処理装置および画像処理方法 | |
| EP3435286A1 (en) | Imaging control device and imaging control method | |
| CN109522779A (zh) | 图像处理装置 | |
| JP6488226B2 (ja) | 走路パラメータ推定装置及びプログラム | |
| JP2009129318A (ja) | 画像処理装置 | |
| JP6014867B2 (ja) | 画像処理装置 | |
| JP6719328B2 (ja) | 車外監視装置 | |
| JP2004038760A (ja) | 車両用走行路認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050920 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080610 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080708 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140718 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |