JP5111152B2 - 物体認識装置 - Google Patents

Description

この発明は、撮影手段の撮影画像を画像処理によって高解像度化し、画像処理後の撮影画像から遠方の先行車等の障害となる物体を良好に認識し得るようにした物体認識装置に関する。

従来、追従走行や衝突被害の軽減、自動操舵制御等の運転支援を行なうため、自車に撮影手段としてカメラを搭載し、このカメラの撮影画像により自車の前方や後方を監視して先行車、後方からの追い越し車両等の動物体や静止物体を含む路上の障害となる物体を認識する物体認識装置が、種々研究開発され、実用化されつつある。

ところで、前記カメラの撮影画像は例えば５０ｍ以上遠方の物体の解像度が低下する。そのため、カメラの撮影画像（原画像）から遠方の障害となる車両等の物体を認識することは困難である。

そして、カメラの高解像度化には物理的限界や経済的制限があるため、この種の物体認識装置においては、超解像処理と呼ばれる画像処理により撮影画像を高解像度化して遠方の障害となる車両等の物体を認識することが考えられている。

既提案の超解像処理は、カメラの連続する複数フレームの撮影画像について、相関法の画像処理によりフレーム間の物体移動の画素位置を特定し、さらに、移動前後の各画素値を加算平均して移動前の１画素より細かい画素単位で移動後の各画素値を求めて撮影画像を高解像度化するものである（例えば、特許文献１参照）。

そして、超解像処理によって高解像度化した撮影画像からは、後述するエッジヒストグラム法等によって遠方の障害となる物体を検出して認識することが可能になる。
特開２００６−３１８２７２号（段落［０００７］−［００１５］、図１〜図４等）

前記特許文献１に記載の従来提案の超解像処理の場合、高解像度化した１フレームの画像を形成するために複数フレームの撮影画像が必要であり、画像量が多く、処理に時間がかかるだけでなく、処理が煩雑でメモリ消費も多くなり、簡単な画像処理で短時間に容易に撮影画像を高解像度化することができない問題がある。

また、フレーム間の相関の煩雑な演算処理が必要で、演算の誤差等によって高解像度化のミスが生じ、誤認識を招来するおそれもある。

本発明は、従来にない画期的な超解像処理により、自車に搭載した撮影手段の撮影画像を簡単な画像処理で短時間に容易に高解像度化し、画像処理後の高解像度の撮影画像から遠方の障害となる車両等の物体を認識し得るようにすることを目的とする。

上記した目的を達成するために、本発明の物体認識装置は、自車に搭載されて車外を撮影する撮影手段と、前記撮影手段の撮影画像にウェーブレット逆変換を施して前記撮影画像を高解像度化する高解像度化手段と、前記高解像度化手段の高解像度化により得られた高解像度画像内の物体を認識する認識処理手段と、前記撮影画像の略前記物体の輪郭部分について垂直方向、水平方向の少なくともいずれか一方向の高周波成分を抽出する抽出手段とを備え、前記高解像度化手段のウェーブレット逆変換は、前記撮影画像に、前記抽出手段が抽出した前記高周波成分を加えて行ない、前記高周波成分は、前記撮影画像の解像度に対する高解像度画像の解像度の比をＫとして、前記高周波成分の輪郭線の線幅を１／Ｋに狭くして前記高解像度化手段のウェーブレット逆変換に用いられることを特徴としている（請求項１）。

また、本発明の物体認識装置は、自車に搭載されて車外を撮影する撮影手段と、前記撮影手段の撮影画像にウェーブレット逆変換を施して前記撮影画像を高解像度化する高解像度化手段と、前記高解像度化手段の高解像度化により得られた高解像度画像内の物体を認識する認識処理手段と、前記撮影画像の略前記物体の輪郭部分について垂直方向、水平方向の少なくともいずれか一方向の高周波成分を抽出する抽出手段とを備え、前記高解像度化手段のウェーブレット逆変換は、前記撮影画像に、前記抽出手段が抽出した前記高周波成分を加えて行ない、前記抽出手段は、前記撮影手段の前後する２フレームの撮影画像の垂直方向、水平方向の少なくともいずれか一方向の差分を前記高周波成分として抽出するものであってもよい（請求項２）。

請求項１の発明の場合、自車に搭載された撮影手段の毎フレームの撮影画像をウェーブレット変換によって得られた低解像度の画像であるとして、撮影画像に高解像度化手段のウェーブレット逆変換の超解像処理を施し、ウェーブレット逆変換の画像処理によって撮影画像を高解像度化することができる。

この場合、１フレームの撮影画像から高解像度化した１フレームの画像を形成することができ、処理する画像量が少なく、簡単な画像処理で短時間に容易に撮影画像を高解像度化することができる。そして、フレーム間の相関の煩雑な演算は不要であり、認識処理手段は高解像度化された撮影画像内の遠方の車両等の物体を認識することができる。

したがって、ウェーブレット逆変換を行なう従来にない画期的な超解像処理により、自車に搭載したカメラの撮影画像を簡単な画像処理で短時間に高解像度化し、高解像度化した撮影画像から遠方の障害となる車両等の物体を誤りなく検出して認識することができる。

また、前記抽出手段が抽出した高周波成分は、前記撮影画像の解像度に対する高解像度画像の解像度の比をＫとして、輪郭線の線幅を１／Ｋに狭くした画像の高周波成分であるため、前記高解像度化手段のウェーブレット逆変換によって、一層鮮明で実用的な高解像度画像を復元することができる。

請求項２の発明の場合、前記抽出手段による前記高周波成分の具体的な抽出の構成として、撮影手段の前後する２フレームの撮影画像を要するが、前記従来の相関法の画像処理のような複雑な処理ではなく、前記撮影手段の前後する２フレームの撮影画像の垂直方向、水平方向の少なくともいずれか一方向の差分を求める簡単な手法で前記高周波成分を抽出することができる。

つぎに、本発明をより詳細に説明するため、実施形態について、図１〜図２２を参照して詳述する。なお、認識対象の物体は自車の前、後等の走行の障害となる可能性がある遠方の種々の移動物体、静止物体であってよいが、以下の実施形態においては、説明を簡単にする等のため、認識対象の物体を自車前方例えば５０ｍ以遠の同レーンを走行する先行車（前方車両）とする。

（第１の実施形態）
まず、第１の実施形態について、図１〜図１３を参照して説明する。

図１は自車１に搭載された物体認識装置２のブロック構成を示し、図２はその動作説明のフローチャートである。図３は基本的なウェーブレット変換の説明図であり、図４は基本的なウェーブレット逆変換の説明図である。

図５、図６は認識処理手段のエッジヒストグラム法の認識処理の説明図であり、それぞれの（ａ）は撮影画像、（ｂ）はエッジヒストグラム画像、（ｃ）はエッジ画像、（ｄ）は撮影画像を複数個の車両領域に分割した分割画像である。

図７は画像の垂直方向（縦方向）の輪郭成分とそのウェーブレット変換の周波数成分との関係を示し、（ａ）はウェーブレット変換の入力画像例、（ｂ）はその周波数成分例を示す。

図８〜図１１はそれぞれ高解像度化手段のウェーブレット逆変換例の説明図である。図１２は実験例の条件を説明する各画像を示し、（ａ）は基準の高解像度の画像、（ｂ）は解像度が劣化した劣化画像、（ｃ）はウェーブレット逆変換に入力するＨＬ成分の画像である。図１３は実験結果を示し、（ａ）はＨＬ成分を入力してウェーブレット逆変換した結果であり、（ｂ）はＨＬ成分を入力しないでウェーブレット逆変換した結果である。

［構成］
図１に示すように、自車１に搭載された物体認識装置２は、撮影手段３と、その撮影画像を処理する画像処理手段４と、その後段の認識処理手段５によって形成される。

撮影手段３は例えば自車１のルームミラーの基部等に自車１の前方を撮影するように取り付けられた半導体イメージセンサ構成の単眼カメラであり、時間的に連続して撮影可能であり、自車１の走行中に例えば１／３０秒の毎フレームに前方の最新フレームのカラー或いはモノクロの撮影画像（原画像）を画像処理手段４に出力する。

画像処理手段４は認識処理手段５と共にマイクロコンピュータによって形成され、本発明の高解像度化手段を形成する。

そして、高解像度化手段は、撮影手段３の撮影画像にウェーブレット逆変換の画像処理を施し、毎フレームの撮影画像を高解像度化する。

つぎに、高解像度化手段のウェーブレット逆変換の画像処理等について説明する。

一般に、画像はそれより低解像度の画像と複数の周波数成分とに分解できる。このことは、前記低解像度の画像と前記周波数成分とから、高解像度の元の画像を復元できることを意味し、前記画像の分解及び復元は、ウェーブレット変換（ＷＴ）及びウェーブレット逆変換（ＩＷＴ）により実現できる。

ウェーブレット変換は、基本的に、ウェーブレット関数を時間軸上で拡大縮小、平行移動して足し合わせることで、与えられた入力の波形を表現しようとする変換であり、画像のデータ等の離散的なデータに対するウェーブレット変換は、離散ウェーブレット変換と呼ばれる。

そして、画像のデータのウェーブレット変換は二次元の離散ウェーブレット変換であり、この二次元の離散ウェーブレット変換は、ウェーブレット関数とスケーリング関数を使い、入力画像の垂直方向（縦方向）と水平方向（横方向）それぞれに対し、高周波成分を抽出する微分のハイパスフィルタ（ＨＰＦ）処理と、低周波成分を抽出する積分のローパスフィルタ（ＬＰＦ）処理を施して行なわれる。

具体的には、画像のデータの二次元の離散ウェーブレット変換は、入力画像に水平方向のＨＰＦ処理とＬＰＦ処理をそれぞれ施して高低２つの周波数成分（高周波数成分Ｈ、低周波数成分Ｌ）を生成し、さらに、その二つの周波数成分に、垂直方向のＨＰＦ処理とＬＰＦ処理をそれぞれ施して行なわれる。

このようにして、入力画像の垂直方向と水平方向にそれぞれＨＰＦ処理とＬＰＦ処理を施してウェーブレット変換を行なうと、図３に示すように、入力画像（原画像）ＯＧａは、周波数成分ＬＬ、ＨＬ、ＬＨ、ＨＨの４つのデータに分解される。
なお、周波数成分ＬＬ、ＨＬ、ＬＨ、ＨＨは、生成経緯等を考慮して、以降、ＬＬ成分、ＨＬ成分、ＬＨ成分、ＨＨ成分と称する。

そして、ＨＬ成分は入力画像ＯＧａの水平方向にＨＰＦ処理、垂直方向にＬＨＰ処理を施して生成された入力画像ＯＧａの垂直方向の高周波成分であり、同様に、ＬＨ成分は入力画像ＯＧａの水平方向の高周波成分であり、ＨＨ成分は入力画像ＯＧａの垂直方向及び水平方向の高周波成分である。また、ＬＬ成分は、入力画像ＯＧａの半分の解像度で画素値を示した低解像度画像ＳＩの画像データである。

一方、ウェーブレット逆変換は、基本的には、図４に示すように、ＬＬ成分である低解像度画像ＯＧｂと三つの周波数成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）とにより、縦横に倍の高解像度の画像ＥＩを生成する変換である。

そして、ウェーブレット変換は可逆変換である。そのため、ある画像Ｉ（入力画像ＯＧａに相当）をウェーブレット変換して生成された低解像度の画像（低解像度画像ＯＧｂに相当）と三つの周波数成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）のデータを用いてウェーブレット逆変換を行なうと、低解像度画像ＯＧｂが高解像度化されて画像Ｉが復元（生成）される。

すなわち、ウェーブレット変換は、対象とする入力画像ＯＧａを、その半分の低解像度画像ＳＩのＬＬ成分と３つの周波数成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）の合計４つのデータに分解する変換であり、その逆変換であるウェーブレット逆変換は、対象とする入力画像ＯＧｂの解像度を高める超解像処理の変換である。

そして、撮影手段３の撮影画像を低解像度の入力画像ＯＧｂとするウェーブレット逆変換に適当な周波数成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）を入力すると、低解像度の入力画像ＯＧｂから高解像度の画像ＥＩが生成（復元）されて撮影画像が高解像度化される。

このとき、ウェーブレット変換、ウェーブレット逆変換はそれぞれ１フレームの入力画像ＯＧａ、ＯＧｂを用いて行なうことができる。そのため、入力画像ＯＧｂとして１フレームの撮影画像があれば、ウェーブレット逆変換によってその高解像度化の超解像処理が行なえる。

そこで、前記高解像度化手段は、撮影手段が撮影した毎フレームの撮影画像を低解像度の入力画像ＯＧｂとし、この低解像度の入力画像ＯＧｂを、後述する適当な周波数成分を用いたウェーブレット逆変換（ＷＺＰ法）により拡大することで、超解像処理の変換を行って撮影画像を高解像度化した毎フレームの画像ＥＩを生成（復元）する。

ところで、画像処理手段４の後段の認識処理手段５は、ウェーブレット逆変換によって得られた高解像度化手段の高解像度の画像ＥＩから先行車両等の物体を認識する。その手法として、本実施形態においては、画像中の車両の領域に多く含まれる水平・垂直のエッジ成分に着目し、ノイズに対して強く計算時間も短いエッジヒストグラムを使った車両認識手法（エッジヒストグラム法）を採用する。

このエッジヒストグラム法の車両認識を、図５、図６を参照して説明する。

例えば図５、図６の（ａ）はそれぞれ１フレームの撮影画像（実画像）Ｐ１、Ｐ２であり、これらの撮影画像Ｐ１、Ｐ２は前方に先行車α１、α２それぞれが映っている。

そして、エッジヒストグラム法では、撮影画像Ｐ１、Ｐ２の車両の領域に多く含まれる水平・垂直のエッジ成分に着目し、撮影画像Ｐ１、Ｐ２それぞれの各画素輝度を垂直方向、水平方向に空間差分処理して画像エッジを抽出し、抽出した各画像エッジを垂直方向、水平方向に射影して累積し、図５、図６の（ｂ）のヒストグラム画像Ｐ１１、Ｐ１２に示す水平エッジヒストグラムＨｅｇ、垂直エッジヒストグラムＶｅｇを求める。

なお、ヒストグラム画像Ｐ１１、Ｐ１２は撮影画像Ｐ１、Ｐ２それぞれに水平エッジヒストグラムＨｅｇ、垂直エッジヒストグラムＶｅｇを重ねた画像である。また、抽出された水平・垂直エッジの画像は図５、図６の（ｃ）のエッジ画像Ｐ１２、Ｐ２２に示すようになり、先行車α１、α２等の車両の輪郭部分に多数の水平・垂直エッジが存在することがわかる。

そして、水平エッジヒストグラムＨｅｇ、垂直エッジヒストグラムＶｅｇが共に大きくなる水平・垂直エッジの各交点を結び、図５、図６の（ｄ）の分割画像Ｐ１３、Ｐ２３に示すように、撮影画像Ｐ１、Ｐ２中に認識対象の先行車α１、α２の候補領域としての複数の矩形の車両領域βを作成する。

さらに、例えば、赤色、対称性、滑らかさ、形状の４つを、車両を特徴付ける要素の評価関数として各候補領域βの車両らしさを評価し、各車両領域βのうちの前記各評価関数が大きいものを、先行車両α１、α２の領域として選択し、エッジヒストグラム法により先行車両α１、α２を認識する。

ところで、前記撮影画像Ｐ１、Ｐ２は、実際には、高解像度化手段の超解像処理によって生成された画像ＥＩである。

そして、高解像度化手段のウェーブレット逆変換の超解像処理によって撮影画像Ｐ１、Ｐ２が高解像度化されると、先行車α１、α２が例えば自車前方５０ｍ以遠に位置して撮影画像Ｐ１、Ｐ２中の先行車α１、α２の車両領域βが元は低解像度であったとしても、前記超解像処理によってその車両領域βの部分が高解像度化され、先行車α１、α２によって生じる多数の水平、垂直のエッジ成分を検出し、前記エッジヒストグラム法によって先行車α１、α２を認識することができる。

その際、認識対象である先行車α１、α２のような車両は輪郭に縦（垂直）及び横（水平）の多数のエッジ成分を含むので、撮影された画像が垂直方向（縦方向）、水平方向（横方向）の少なくともいずれか一方向に高解像度化されると、縦輪郭、横輪郭の少なくともいずれか一方が拡大強調されて垂直エッジ、水平エッジの少なくともいずれか一方を検出することができ、先行車α１、α２等の車両を認識できる。

そして、先行車α１、α２等の車両の場合、横幅は車種等によらず一定であり、縦輪郭のエッジ（垂直エッジ）、つまり車両側面エッジはエッジ間隔等から検出し易いが、高さは車両毎に異なるので、横輪郭のエッジ（水平エッジ）の検出は容易ではない。また、車両側面エッジは鮮明に出現することが多く、この点からも車両側面エッジは検出し易いが、とくに上部（ルーフ部）の横輪郭のエッジ（水平エッジ）は背景（風景）にまぎれ易く検出困難である。

そのため、遠方の車両の認識は、一般的には垂直エッジを重視して行なうことが好ましく、この場合、高解像度化手段の超解像処理は少なくとも垂直方向に高解像度化する処理であることが望ましい。なお、走行環境等によっては水平エッジを重視して行なうことが好ましい場合もあり、このような場合には、高解像度化手段の超解像処理は少なくとも水平方向に高解像度化する処理であることが好ましい。

そして、高解像度化手段のウェーブレット逆変換によって撮影手段３の撮影画像（入力画像ＯＧｂ）を高解像度化し、画像ＥＩを生成する場合、基本的には前記したように、ＬＬ成分となる入力画像ＯＧｂのデータ（画素データ）と、３つの周波数成分（ＬＨ成分、ＨＬ成分、ＨＨ
成分）のデータとが必要となるが、車両認識に必要とされる車両側面エッジ（垂直エッジ）が垂直方向の高周波成分（ＨＬ成分）に現れるので、垂直エッジを重視する場合は、前記３つの周波数成分（ＬＨ成分、ＨＬ成分、ＨＨ成分）のうち、少なくとも垂直方向の高周波成分ＨであるＨＬ成分を入力してウェーブレット逆変換を行なえばよい。なお、車両側面エッジ（垂直エッジ）がＨＬ成分に現れることは、図７（ａ）のウェーブレット変換の入力画像Ｐ３から抽出した図７（ｂ）のＨＬ成分の輪郭状の画像Ｐ３１からも明らかである。図７（ｂ）のＨＬ成分は、画像Ｐ３１の輪郭上下部分等が暗くなっていることから、横輪郭のエッジ（水平エッジ）は少なく、画像Ｐ３１の輪郭左右部分等が縦方向に明るくなっていることから、縦輪郭のエッジ（垂直エッジ）を多く含んでいる。

また、車両の水平エッジが水平方向の高周波成分（ＬＨ成分）に現れるので、水平エッジを重視したウェーブレット逆変換によって撮影手段３の撮影画像（入力画像ＯＧｂ）を高解像度化する場合は、少なくとも水平方向の高周波成分ＨであるＬＨ成分を入力してウェーブレット逆変換を行なえばよい。

そこで、高解像度化手段の超解像処理においては、撮影画像（入力画像ＯＧｂ）の水平・垂直の両方向を高解像度化するように最適な前記３つの周波数成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）のデータを入力する必要はなく、撮影画像（入力画像ＯＧｂ）を垂直方向、水平方向の少なくともいずれか一方向に高解像度化するように、ＨＬ成分、ＬＨ成分の少なくともいずれか一方のデータを入力してウェーブレット逆変換を行なう。この場合、ウェーブレット逆変換によって撮影画像（入力画像ＯＧｂ）が本来の拡大画像と異なる画像（拡大画像）ＥＩに逆変換されても、画像ＥＩが入力画像ＯＧｂを垂直方向、水平方向の少なくともいずれか一方向に高解像度化した画像になるので、後段の認識処理手段５により、画像ＥＩから遠方の先行車α１、α２等の車両を検出して認識することができる。

高解像度化手段の処理をさらに具体的に説明すると、少なくともＨＬ成分のデータを入力し、垂直エッジを重視したウェーブレット逆変換によって撮影手段３の撮影画像（入力画像ＯＧｂ）を垂直方向に高解像度化する場合、高解像度化手段は、最も簡易には、図８に示すように毎フレームの撮影画像（入力画像ＯＧｂ）からなるＬＬ成分と垂直方向の高周波成分（ＨＬ成分）とによってウェーブレット逆変換を行なう。また、少なくともＬＨ成分のデータを入力し、水平エッジを重視したウェーブレット逆変換によって撮影手段３の撮影画像（入力画像ＯＧｂ）を水平方向に高解像度化する場合、高解像度化手段は、最も簡易には図９に示すように毎フレームの撮影画像（入力画像ＯＧｂ）からなるＬＬ成分と水平方向の高周波成分（ＬＨ成分）とによってウェーブレット逆変換を行なう。これらのウェーブレット逆変換は最も簡単な超解像処理であり、扱うデータ量が極めて少なく、短時間に容易に毎フレームの撮影画像（入力画像ＯＧｂ）の垂直方向、水平方向それぞれを高解像度化することができる。

なお、高解像度化手段のウェーブレット逆変換において、図８、図９のウェーブレット逆変換に代えて、図１０に示すように毎フレームの撮影画像（入力画像ＯＧｂ）からなるＬＬ成分と、垂直方向の高周波成分（ＨＬ成分）と、水平方向の高周波成分（ＬＨ成分）のデータを入力してウェーブレット逆変換を行なってもよく、この場合は、水平・垂直両方向の高解像度化が行なえる。さらに、図１１に示すように毎フレームの撮影画像（入力画像ＯＧｂ）からなるＬＬ成分と三つの周波数成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）のデータを入力してウェーブレット逆変換を行なえば、完全な画像復元が行なえ、水平・垂直両方向の一層良好な高解像度化が行なえるのは勿論である。

つぎに、高解像度化手段のウェーブレット逆変換に必要な周波数成分（少なくともＨＬ成分、ＬＨ成分のいずれか一方）のデータ取得について説明する。

これらの周波数成分のデータは、例えば先行車α１、α２が自車１の比較的近い位置にあり、撮影画像（入力画像ＯＧｂ）の先行車α１、α２の部分が車両認識可能な高解像度になるときに、その高解像度の画像の微分処理やウェーブレット変換を行なって、予め得るようにしてもよいが、簡易的には時々刻々の撮影画像（入力画像ＯＧｂ）に微分処理やウェーブレット変換を施して得た周波数成分のデータであってもよく、この場合にも実用上問題のない高解像度化が行なえることが実験等から判明した。

そのため、本実施形態の場合、高解像度化手段は高解像度化する毎フレームの撮影画像（入力画像ＯＧｂ）に微分処理やウェーブレット変換を施してウェーブレット逆変換に必要な周波数成分のデータ、すなわち、垂直方向、水平方向の少なくともいずれか一方向のＨＬ成分、ＬＨ成分等のデータを得る。

この場合、ウェーブレット逆変換に必要な周波数成分のデータを、毎フレームの撮影画像（入力画像ＯＧｂ）から取得するので、処理が一層簡単になって実用的である。

［動作］
垂直方向の高周波成分Ｈに着目し、高解像度化手段によって毎フレームの撮影画像（入力画像ＯＧｂ）を垂直方向（縦方向）に高解像度化して自車１の前方例えば５０ｍ以遠の先行車α１、α２等の認識対象の遠方の障害となる車両を認識する場合、上述した構成に基づき、物体認識装置２は毎フレームの撮影毎に図２のステップＳ１〜Ｓ３の処理を行なう。

すなわち、図２のステップＳ１により、撮影手段３が新たな１フレームの撮影画像を出力すると、この最新の１フレームの撮影画像（入力画像ＯＧｂ）が画像処理手段４に取り込まれる。

そして、図２のステップＳ２により、画像処理手段４の高解像度化手段は、例えば撮影画像（入力画像ＯＧｂ）をウェーブレット変換する簡便な手法でＨＬ成分を得、撮影画像（入力画像ＯＧｂ）からなるＬＬ成分と、前記ウェーブレット変換によって得たＨＬ成分とに基づき、撮影画像（入力画像ＯＧｂ）に図８のウェーブレット逆変換の超解像処理を施し、撮影画像（入力画像ＯＧｂ）を高解像度化して垂直方向の解像度が撮影画像（入力画像ＯＧｂ）の倍になった高解像度の画像ＥＩを生成する。

さらに、図２のステップＳ３により、認識処理手段５は上述したエッジヒストグラム法で前記高解像度の画像ＥＩの垂直エッジを検出して先行車α１、α２等の認識対象の遠方の車両の車両領域βを選択し、この選択に基づいて前記認識対象の遠方の車両を認識する。

そして、少なくとも自車１の走行中はステップＳ３からステップＳ１に戻り、つぎの１フレームの撮影画像を超解像処理して認識対象の遠方の車両の認識をくり返す。

この場合、ウェーブレット逆変換を用いた従来にない画期的な画像処理により、毎フレームの撮影画像（入力画像ＯＧｉ）を、その１フレームの撮影画像（入力画像ＯＧｉ）から高解像度化することができる。しかも、前記ウェーブレット逆変換を、三つの周波数成分ＬＬ、ＨＬ、ＬＨ、ＨＨのうちのＨＬ成分のみを加える簡便でな手法で行なうため、撮影画像（入力画像ＯＧｉ）を極めて簡単な画像処理で短時間に高解像度化することができ、極めて実用的である。

［実験結果］
つぎに、上記のようにＨＬ成分のみを入力してウェーブレット逆変換を行なった結果について説明する。

本実験においては、まず、図１２（ａ）に示す基準の撮影画像（前方車両画像）Ｐ４を用意する。この撮影画像Ｐ４は、先行車α（先行車α１、α２に対応）が比較的近くに位置して中央に高解像度に撮影された２５６×２５６画素（ｐｉｘｅｌ）、８ビット（ｂｉｔ）／画素（ｐｉｘｅｌ）の画像であり、車両認識の障害となる背景は少なく、そのままエッジヒストグラム処理等を施して安定に先行車αを認識することができる。

また、先行車αが遠方に位置してその縦横の解像度が低下した撮影画像として、実際の車間距離を想定し、先行車αの部分が３２×３２画素（ｐｉｘｅｌ）、８ビット（ｂｉｔ）／画素（ｐｉｘｅｌ）に解像度低下した劣化画像Ｐ４１を用意する。劣化画像Ｐ４１はそのままエッジヒストグラム処理等を施したのでは先行車αの認識が不安定になる画像である。

そして、画像Ｐ４、Ｐ４１にウェーブレット逆変換を施し、その逆変換後の画素値や輪郭部分における復元の度合いを評価した。

なお、ウェーブレット逆変換は図１２（ｃ）に画像Ｐ４２で示したＨＬ成分を加えて行なった。このＨＬ成分は、図１２（ａ）の撮影画像Ｐ４から、劣化画像Ｐ４１の倍の解像度（６４×６４画素（ｐｉｘｅｌ）、８ビット（ｂｉｔ）／画素（ｐｉｘｅｌ））の先行車αの画像を切り出し、それに対してウェーブレット変換を施して得られた成分である。

そして、画像の復元度合いについては平均二乗誤差（ＭＳＥ）を利用して評価し、どれだけ輪郭がはっきりしているかという輪郭強度については、輪郭部分の前後の明るさの高低差を利用して画素単位で数値化して評価した。また、ウェーブレット逆変換後の認識の安定性については、ウェーブレット逆変換後の解像度の増加、周波数との結合による輪郭の強調が可能か否か等から評価した。

上記の条件下、劣化画像Ｐ４１とＨＬ成分とを用いて図８のウェーブレット逆変換を行なったところ、図１３（ａ）の画像Ｐ４３が得られた。なお、図１３（ｂ）は比較のためにＨＬ成分を入力しないで劣化画像Ｐ４１のみでウェーブレット逆変換を行った結果の画像Ｐ４４を示す。

画像Ｐ４３、Ｐ４４の比較から、ＨＬ成分入力の逆変換結果の画像Ｐ４３はＨＬ成分によって縦輪郭が復元されて強調されていることが分かる。また、劣化画像Ｐ４１とＨＬ成分非入力の逆変換結果の画像Ｐ４４との差は、ウェーブレット逆変換の持つ復元精度を示している。また、ＨＬ成分入力の逆変換結果の画像Ｐ４３とＨＬ成分非入力の逆変換結果の画像Ｐ４４との差はＨＬ成分入力による改善効果を示している。

そして、画像Ｐ４、Ｐ４３、Ｐ４４の比較からも明らかなように、ＨＬ成分を入力してウェーブレット逆変換すれば、劣化画像Ｐ４１から撮影画像Ｐ４と同等の高解像度の画像Ｐ４３が得られることが確かめられた。

そして、劣化画像Ｐ４１、ＨＬ成分非入力のウェーブレット逆変換で得られた画像Ｐ４４、ＨＬ成分を入力してウェーブレット逆変換して得られた画像Ｐ４３、前記倍の解像度（６４×６４画素、８ビット／画素）の画像について、画像の復元度合いを示すＭＳＥ、輪郭強調の数値評価を求めたところ、その結果は次の表１に示すようになった。

この表１において、前記倍の解像度の画像の評価結果に近くなる程、認識結果が向上する画像であることが分かる。そして、表１の結果からも、ＨＬ成分のみを入力してウェーブレット逆変換した画像Ｐ４３は、画像全体としての復元精度及び輪郭強度が共に改善し、車両認識に十分な高解像度の画像であることが確かめられた。

以上より、高解像度化手段のウェーブレット逆変換は、ＨＬ成分のみを入力して行なうことで車両縦輪郭が強調され、車両認識精度を向上できることが実験によって確認できた。

なお、水平方向の高周波成分Ｈに着目し、ＬＨ成分のみを入力して図９のウェーブレット逆変換を行なった場合にも同様の結果が得られる。また、ＨＬ成分、ＬＨ成分を入力して図１０のウェーブレット逆変換を行なってもよく、ＨＬ成分、ＬＨ成分、ＨＨ成分を入力して図１１のウェーブレット逆変換を行なってもよい。

（第２の実施形態）
つぎに、第２の実施形態について、図１及び図１４を参照して説明する。

本実施形態においては、図１の画像処理手段４により、さらに本発明の抽出手段を形成する。

すなわち、高解像度化手段のウェーブレット逆変換において、ＨＬ成分、ＬＨ成分等の周波数成分のデータは、逆変換対象の撮影画像全体についてのデータであってもよいが、そのうちの先行車α、α１、α２等の認識対象の車両の略輪郭部分についての垂直方向、水平方向の少なくともいずれか一方向の部分的な高周波成分のデータであってもよい。認識対象の輪郭部分が高解像度化すれは、認識処理手段５の車両認識が問題なく行なえるからである。

そして、ウェーブレット逆変換によって撮影画像を部分的に高解像度化する場合は、データ量が一層少なくなって処理が一層容易かつ迅速に行なえるとともに、認識対象の輪郭部分のみが高解像度化されて鮮明になるので、画像エッジがより明瞭になって先行車α、α１、α２等の車両を認識し易くなる利点がある。

したがって、本実施形態の場合、高解像度化手段によってウェーブレット逆変換の超解像処理を行なう前に、画像処理手段４の抽出手段により、撮影手段３の撮影画像中の先行車α１、α２等の略認識対象の車両の輪郭部分についてのみ垂直方向、水平方向の少なくともいずれか一方の高周波成分（ＨＬ成分、ＬＨ成分）を抽出する。この部分的な高周波成分の抽出はどのようにして行なってもよいが、以下に、いくつかの例を説明する。

例えば、認識対象の先行車α、α１、α２等の認識対象の車両が次第に前方に遠ざかるような場合には、前記抽出手段により、認識対象の車両が近いときの撮影画像（高解像度の画像）から、微分法、エッジヒストグラム法等を用いた周知の画像認識処理により認識対象の車両の輪郭を検出してその車両を捕捉し、認識対象の車両が遠ざかるようになってもその車両を捕捉し続け、認識対象の車両が遠方に位置するようになったときに、撮影手段３の撮影画像の捕捉中の車両の輪郭部分について微分法やウェーブレット変換により垂直方向、水平方向の少なくともいずれか一方向の高周波成分（ＨＬ成分、ＬＨ成分）を抽出して前記の部分的な高周波成分の抽出を行なう。

また、認識対象の車両が遠くから次第に近づくような場合を考慮したときは、前記抽出手段により、毎フレームの撮影手段３の撮影画像につき、その微分画像等から適当な間隔で左右方向に並んだ垂直方向の対のエッジ成分を検出し、そのような垂直方向の対のエッジ成分が認識対象の車両の側面エッジであるとして撮影画像中の略認識対象の車両部分を特定し、撮影手段３の撮影画像の特定した部分について、微分法やウェーブレット変換により垂直方向、水平方向の少なくともいずれか一方向の高周波成分（ＨＬ成分、ＬＨ成分）を抽出して前記の部分的な高周波成分の抽出を行なうことが好ましい。

さらに、自車１に撮影手段３と共にレーダの前方探査手段も搭載する場合は、その探査によって認識対象の車両を捕捉し、前記抽出手段により、撮影手段３の撮影画像中の前記前方探査手段が捕捉している部分について、微分法やウェーブレット変換により垂直方向、水平方向の少なくともいずれか一方向の高周波成分（ＨＬ成分、ＬＨ成分）を抽出して前記の部分的な高周波成分の抽出を行なえばよい。

そして、前記抽出手段により、例えば図１４（ａ）の画像Ｐ５に示す略認識対象の先行車αの左右両側の縦輪郭のみのＨＬ成分を部分的な垂直方向の高周波成分として抽出し、抽出した部分的なＨＬ成分のデータを高解像度化手段の図８のウェーブレット逆変換に入力して毎フレームの撮影画像を高解像度化する。

このようにした場合、ウェーブレット逆変換後の画像ＥＩとして、図１４（ｂ）の画像Ｐ５１が得られた。なお、ＨＬ成分のデータを入力しない場合は、ウェーブレット逆変換後の画像ＥＩとして、図１４（ｃ）の画像Ｐ５２が得られた。

画像Ｐ５１、Ｐ５２を比較すると、画像Ｐ５１は画像Ｐ５２よりも部分的に入力したＨＬ成分によって車両αの縦輪郭部分のみが高解像度化されて強調され、鮮明になっている。

さらに、前記一実施形態において図１２（ｃ）の画像Ｐ４２で示したＨＬ成分のうちの車両αの縦輪郭部分を、前記抽出手段により抽出した部分的なＨＬ成分として、部分的なＨＬ成分を入力した場合と、入力しない場合とについて、同様のウェーブレット逆変換を行ない、ウェーブレット逆変換のＬＬ成分としての入力画像（劣化画像）、ＨＬ成分非入力のウェーブレット逆変換で得られた画像Ｐ５２、ＨＬ成分を入力してウェーブレット逆変換して得られた画像Ｐ５１、前記倍の解像度（６４×６４画素、８ビット／画素）の画像について、画像の復元度合いを示すＭＳＥ、輪郭強調の数値評価を求めたところ、その結果はつぎの表２に示すようになった。

表２からは、ＨＬ成分を部分的に入力するので、画像Ｐ５１、Ｐ５２はＭＳＥに大きな差は生じないが、輪郭強調については、画像Ｐ５１は大幅に改善し、ＨＬ成分によって車両αの縦輪郭部分のみが高解像度化されて強調され、鮮明になっていることが確かめられた。そして、表１の画像Ｐ４３と表２の画像Ｐ５１の輪郭強調の数値評価から、ＨＬ成分を部分入力した画像Ｐ５１の場合にも、全体に入力した画像Ｐ４３の場合と同程度の結果が得られることが判明した。

したがって、本実施形態の場合、画像処理手段４の抽出手段によって撮影画像の認識対象の略車両αの輪郭部分についてのみＨＬ成分を抽出し、この部分的なＨＬ成分を入力した高解像度手段のウェーブレット逆変換により、認識に必要な車両αの輪郭部分のみを高解像度化して鮮明にし、後段の認識処理手段５によって車両αを認識することができる。この場合、ウェーブレット逆変換のデータ量が一実施形態の場合より少なくなり、一層簡単かつ迅速に遠方の車両αを認識することができる。

なお、本実施形態において、水平方向の高周波成分Ｈに着目し、部分的なＬＨ成分のみを入力して図９のウェーブレット逆変換を行なった場合にも同様の結果が得られる。また、部分的にＨＬ成分、ＬＨ成分を入力して図１０のウェーブレット逆変換を行なってもよく、部分的にＨＬ成分、ＬＨ成分、ＨＨ成分を入力して図１１のウェーブレット逆変換を行なってもよい。

（第３の実施形態）
つぎに、請求項１に対応する第３の実施形態について、図１５〜図２０を参照して説明する。

本実施形態の処理の模式図である図１５に示すように、撮影画像（低解像度の入力画像ＯＧｂ）は、高解像度の入力画像（原画像ＯＧａ）にウエーブレット変換（図１５のＷＴ）を施して得られるＬＬ成分の画像であり、その垂直方向、水平方向の解像度は原画像ＯＧａの１／２である。

そして、画像処理手段４が形成する前記抽出手段により、撮影画像にウエーブレット変換を施し、そのＬＬ成分（図１５のＬＬ＊）、ＨＬ成分（図１５のＨＬ＊）、ＬＨ成分（図１５のＬＨ＊）、ＨＨ成分（図１５のＨＨ＊）を得、撮影画像（ＬＬ成分）と、前記ＨＬ＊、ＬＨ＊、ＨＨ＊に基づく前記の部分的なＨＬ成分、ＬＨ成分、ＨＨ成分の少なくともいずれか１つとを入力としてウエーブレット逆変換（図１５の逆ＷＴ）を行えば、前記したように原画像ＯＧａに相当する高解像度の画像ＥＩが復元される。

ところで、ＨＬ、ＬＨ、ＨＨの各高周波成分の抽出状態は画像の解像度に左右される。例えば、縦×横＝２５６×２５６画素、１２８×１２８画素、６４×６４画素の解像度の画像から抽出されたＨＬ成分の一例は、図１６、図１７、図１８の（ａ）に示すようになり、それらを２値化処理すると、図１６、図１７、図１８の（ｂ）に示すようになり、高画素になる程、不要な分散なく良好にＨＬ成分を抽出できることがわかる。

また、前記ＨＬ＊、ＬＨ＊、ＨＨ＊（部分的なＨＬ成分、ＬＨ成分、ＨＨ成分）は、撮影画像の垂直方向、水平方向の解像度が原画像ＯＧａの１／２に低下して輪郭線の線幅が２倍に太くなっている。また、その分輪郭線が不連続になっている。

そこで、本実施形態においては、第一に、前記撮影画像の解像度に対する高解像度画像の解像度（所望の復元解像度）の比をＫ（＝所望の復元解像度／撮影画像の解像度）とすると、前記抽出手段が抽出した前記ＨＬ＊、ＬＨ＊、ＨＨ＊（部分的なＨＬ成分、ＬＨ成分、ＨＨ成分）の輪郭線の線幅を１／Ｋに狭くする。具体的には、Ｋ＝２であるので、前記輪郭線の線幅を１／２に狭くする。第二に、輪郭線の不連続部分については画素を補間して滑らかにする。

すなわち、ＨＬ＊（ＨＬ成分）については垂直方向の線幅を１／２に狭くし、かつ、垂直方向の不連続に対して画素を補間する。ＬＨ＊（ＬＨ成分）については水平方向の線幅を１／２に狭くし、かつ、水平方向の不連続に対して画素を補間する。ＨＨ＊（ＨＨ成分）については垂直・水平方向の線幅を１／２に狭くし、垂直・水平方向の不連続に対して画素を補間する。

そして、例えばＨＬ成分についての線幅の加工及び前記画素の補間を、図１９、図２０を参照して具体的に説明する。図１９は垂直方向の線幅を１／２に狭くし、かつ、垂直方向の不連続に対して画素を補間する処理の一例を示し、（ａ）は処理の過程、（ｂ）は処理後を示す。図２０は処理の前、後のＨＬ成分の輪郭線の例を示す。

前記抽出手段によって抽出された前記ＨＬ＊のＨＬ成分の画像の輪郭線が図１９（ａ）の少なくとも一方向の斜線を施した各画素Ｇによって形成される場合、そのうちの垂直方向の線分が１／２の幅（線幅）に狭く加工され、さらに、同図の○印を付した画素により垂直方向の不連続が補間されることにより、加工後の輪郭線は同図（ｂ）のクロスハッチングの画素Ｇにより形成されることになる。

その結果、図２０に示すように、同図の左側の加工前の前記ＨＬ＊のＨＬ成分に対して、同図の右側の加工後のＨＬ成分は、輪郭線の線幅が縦方向に１／２に狭くなって高解像度になり、また、画素の補間によって滑らかになる。

そして、前記高解像度化手段により、撮影画像のＬＬ成分と、加工後のＨＬ成分とを入力してウエーブレット逆変換（図中の逆ＷＴ）を行えば、一層良好に垂直方向に高解像度化した画像ＥＩを復元できる。

なお、前記高解像度化手段により、撮影画像のＬＬ成分と画素補間の加工後のＬＨ成分とを入力してウエーブレット逆変換を行えば、一層良好に水平方向に高解像度化した画像ＥＩを復元できる。さらに、撮影画像のＬＬ成分と、加工後のＨＬ成分、ＬＨ成分とを入力してウエーブレット逆変換を行った場合及び、撮影画像のＬＬ成分と、加工後のＨＬ成分、ＬＨ成分、ＨＨ成分とを入力してウエーブレット逆変換を行った場合には、更に一層良好に高解像化した画像を復元できる。

（第４の実施形態）
つぎに、請求項２に対応する第４の実施形態について、図２１、図２２を参照して説明する。

本実施形態においては、撮影手段３によって時系列的に連続して撮影された撮影画像（動画像）を用い、その撮影画像にフレーム間でずれ（画素位置の移動）が生じることに着目する。ここで、「ずれ」とは、フレーム中の物体（例えば先行車）が動いたり、撮影手段３の撮影姿勢が変化することにより生じる。なお、図２１、図２２の撮影画像は後から先行車を撮影したものを示す。

そして、本実施形態における前記抽出手段の処理の模式図である図２１に示すように、撮影手段３の時間的に異なる２フレームＦ１、Ｆ２の撮影画像につき、水平方向の輝度の差分をとれば、ＨＬ成分を抽出できる。また、２フレームＦ１、Ｆ２の撮影画像の垂直方向の輝度の差分をとれば、ＬＨ成分を抽出できる。さらに、２フレームＦ１、Ｆ２の撮影画像の水平、垂直両方向の輝度の差分をとって斜め方向の輝度の差分を求めればＨＨ成分を抽出できる。なお、差分をとるための前後する２フレームは、連続する２フレームであってもよいし、一定フレーム数離れて前後する２フレームであってもよい。

このように、本実施形態においては、前記抽出手段により、撮影手段３の前後する２フレームＦ１、Ｆ２の撮影画像の垂直方向、水平方向の少なくともいずれか一方向の差分を高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）として抽出する。

さらに、本実施形態における前記高解像度化手段の処理の模式図である図２２に示すように、撮影画像（ＬＬ成分）と、前記抽出手段により２フレームＦ１、Ｆ２の撮影画像の輝度の差分から抽出したＨＬ成分、ＬＨ成分、ＨＨ成分の少なくとも１つとを入力としてウエーブレット逆変換（図１５の逆ＷＴ）を行って原画像ＯＧａに相当する高解像度の画像ＥＩが復元する。

この場合、２フレームの撮影画像の差分を求める簡単な処理により低解像度の撮影画像から高周波成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）を抽出して高解像度の画像ＥＩを復元することができる。

そして、本発明は上記した各実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、両実施形態の数波数成分（ＨＬ成分、ＬＨ成分、ＨＨ成分）の取得方法はどのようであってもよい。

また、認識対象の物体は先行車α、α１、α２等の前方の車両（対向する車両も含む）に限られるものではなく、自車１の後方等の種々の方向の追い越し車両等の車両であってよく、この場合、認識対処に応じて撮影手段３の撮影方向や範囲を設定等すればよい。

さらに、認識対象の物体は、車両に限るものではなく、自車１の走行の障害となりそうな路上の種々の動物体、静止物体であってよいのも勿論であり、そのような物体は例えば大きさ（主に横幅と高さ）によって予め設定することができる。

つぎに、撮影手段３の構成や認識処理手段５の認識手法等はどのようであってもよいのは勿論である。

また、第４の実施形態において、画素の補間は必ずしも行う必要はなく、場合によっては省いてもよい。

そして、本発明は、車両に搭載された撮影手段の撮影画像からの種々の物体の認識に適用することができる。

本発明の第１の実施形態のブロック図である。 図１の動作説明用の一部のフローチャートである。 基本的なウェーブレット変換の説明図である。 基本的なウェーブレット逆変換の説明図である。 図１の認識処理手段の処理の説明図である。 図１の認識処理手段の処理の他の説明図である。 画像の垂直方向（縦方向）の輪郭成分とそのウェーブレット変換の周波数成分との関係の説明図である。 図１の高解像度化手段のウェーブレット逆変換の一例の説明図である。 図１の高解像度化手段のウェーブレット逆変換の他の例の説明図である。 図１の高解像度化手段のウェーブレット逆変換の更に他の例の説明図である。 図１の高解像度化手段のウェーブレット逆変換の他の例の説明図である。 実験例の条件の説明図である。 実験例結果の説明図である。 本発明の第２の実施形態のウェーブレット逆変換の説明図である。 本発明の第３の実施形態の処理の模式図である。 図１５の高周波成分の画像例の説明図である。 図１５の高周波成分の他の画像例の説明図である。 図１５の高周波成分のさらに他の画像例の説明図である。 図１５の高周波成分の線幅の加工及び画素補間の説明図である。 図１５の高周波成分の加工前、後の線幅の一例の説明図である。 本発明の第４の実施形態の高周波成分抽出の模式図である。 本発明の第４の実施形態のウエーブレット逆変換の説明図である。

符号の説明

１ 自車
２ 物体認識装置
３ 撮影手段
４ 画像処理手段
５ 認識処理手段
α、α１、α２ 認識対象の先行車

Claims (2)

1. 自車に搭載されて車外を撮影する撮影手段と、
   前記撮影手段の撮影画像にウェーブレット逆変換を施して前記撮影画像を高解像度化する高解像度化手段と、
   前記高解像度化手段の高解像度化により得られた高解像度画像内の物体を認識する認識処理手段と、
   前記撮影画像の略前記物体の輪郭部分について垂直方向、水平方向の少なくともいずれか一方向の高周波成分を抽出する抽出手段と
   を備え、
   前記高解像度化手段のウェーブレット逆変換は、前記撮影画像に、前記抽出手段が抽出した前記高周波成分を加えて行ない、
   前記高周波成分は、前記撮影画像の解像度に対する高解像度画像の解像度の比をＫとして、前記高周波成分の輪郭線の線幅を１／Ｋに狭くして前記高解像度化手段のウェーブレット逆変換に用いられることを特徴とする物体認識装置。
2. 自車に搭載されて車外を撮影する撮影手段と、
   前記撮影手段の撮影画像にウェーブレット逆変換を施して前記撮影画像を高解像度化する高解像度化手段と、
   前記高解像度化手段の高解像度化により得られた高解像度画像内の物体を認識する認識処理手段と、
   前記撮影画像の略前記物体の輪郭部分について垂直方向、水平方向の少なくともいずれか一方向の高周波成分を抽出する抽出手段と
   を備え、
   前記高解像度化手段のウェーブレット逆変換は、前記撮影画像に、前記抽出手段が抽出した前記高周波成分を加えて行ない、
   前記抽出手段は、前記撮影手段の前後する２フレームの撮影画像の垂直方向、水平方向の少なくともいずれか一方向の差分を前記高周波成分として抽出することを特徴とする物体認識装置。