JP6014867B2 - 画像処理装置 - Google Patents

Description

本発明は、ステレオ撮像画像に基づき対応点探索法により対応点までの距離を算出し、その結果に基づき得られる距離画像データに基づいて画像内に存在する物体の検出処理を行う画像処理装置に関する。

特許第４７１４１０４号公報

例えば先行車両やその他の障害物の接近を検知して車両を制動させるなどの衝突回避や、オートクルーズ等といった運転者を支援するための運転支援技術が知られている。このような運転支援技術では、車両前方に存在する物体までの距離を検出し、その結果に基づき車両制動やスロットル制御等の車両制御が行われる。

撮像された物体までの距離の情報を得るための手法として、例えば上記特許文献１に記載されるような対応点探索法を用いた手法が知られている。
従来では、対応点探索法により算出した各対応点についての距離の情報を、各対応点の座標（画像平面としての二次元空間上の座標）と対応づけて距離画像として保持し、この距離画像を用いて、画像内に存在する物体の検出処理を実行している。

図１０を参照して従来の物体検出処理の概要を説明する。
先ず、従来の物体検出処理では、上記のようにして得られた距離画像を、図１０Ａに示されるように画像縦方向に沿った分割線によって複数の領域（以下、「縦領域ＶＲ」と表記）に分割する。そして、これら縦領域ＶＲごとに、その縦領域ＶＲ内に存在する距離データから奥行き方向の距離分布を表す距離ヒストグラムを作成し、度数が最大となる位置（対応点）の距離をその縦領域ＶＲ内に存在する物体の代表距離とする。図１０Ｂは、このような縦領域ＶＲごとの処理で求まった代表距離を黒丸によって模式的に表している。

次に、代表距離が得られた度数最大となる各対応点について、近接する各対応点までの距離や方向などの関係性から、同一物体とみなされる画素範囲をグループ化する。図１０Ｃは、図１０Ａに示した画像内に存在する３つの先行車両がそれぞれグループＧ１、Ｇ２、Ｇ３としてグループ化されたことを模式的に表している。

このようにして、撮像画像内に存在する各物体が、その物体までの距離の情報も含めて検出されたことになる。
上記のような物体検出処理は、道路面よりも上側に存在する物体を対象として行うが、車両前方に坂が存在する場合には、該坂も道路面上に存在する物体として検出される場合がある。
この点を加味し、特許文献１に記載の従来手法では、上記の物体検出処理によって検出した物体ごとに、該物体が坂であるか否かを判別するようにしている。

しかしながら上記の従来手法によると、物体検出処理において、縦領域ＶＲごとに求まった距離ヒストグラムの度数が最大となる対応点間の距離や方向などの関係性からグループ化を行うので、坂と坂以外の物体とが近接して存在していると、それらが纏めてグループ化されてしまう虞がある。
そして、このように坂と坂以外の物体とが纏められたグループについて、坂か否かの判別が行われると、坂の部分では距離データの密度が比較的疎となるのに対し、坂以外の物体では距離データが密集するために、正しく坂と判別することができない虞があった。
特に、坂が急である場合には、奥行き方向の距離分布の態様が坂と該坂の近接物とで近似するので、物体検出処理においてそれらが纏めてグループ化されてしまう可能性が高くなり、坂の誤判別の可能性が高まることとなる。

上記のように誤判別が行われ、本来は坂と判別されるべきものを正しく判別できないと、検出物体は障害物として認識されて、制動がかけられてしまい、画像認識に基づく車両制御の誤作動が生じてしまう。

そこで、本発明は坂であるか否かの判別精度の向上を図り、車両制御の誤作動を防止することを目的とする。

本発明の画像処理装置は、ステレオ撮像された一対の画像データ間の対応点をパターンマッチングにより検出し、該検出された対応点間の座標のずれを視差として算出した結果に基づき、実空間上における前記対応点までの距離を画像上に表した距離画像データを生成する距離画像生成部と、前記距離画像データを画像縦方向に沿った分割線により短冊状に分割して得た個々の領域を縦領域としたときに、該縦領域ごとに、その距離分布に基づいて被写体の坂らしさを表す坂指標値を算出し、該坂指標値に基づき、被写体が坂以外であるとみなされる前記縦領域を選択する領域選択部と、前記領域選択部が選択した前記縦領域を検出対象領域として、前記距離画像データに基づき、画像内に存在する物体を検出する物体検出処理部とを備えるものである。
上記本発明によれば、坂と坂以外の物体とが纏めてグループ化されたものについて坂の判別が行われてしまうことがない。

本発明によれば、坂の判別精度を向上することができ、車両制御の誤作動を防止することができる。

車両制御を行うためのシステム構成を模式的に示した図である。 図１に示したシステム構成における、物体検出に係る部分の構成を抽出して示した図である。 距離画像の一例を示した図である。 縦領域の画像縦方向における距離分布についての説明図である。 坂の判別手法についての説明図である。 再判別としての坂判別の説明図である。 領域選択処理を実現するために実行されるべき具体的な処理の手順を示したフローチャートである。 第１の坂指標値に基づく坂判別の変形例についての説明図である。 第２の坂指標値に基づく坂判別の変形例についての説明図である。 従来の物体検出処理の概要を説明するための図である。

＜１．システム全体構成＞
図１は、本発明に係る実施の形態としての画像処理装置を備え、車両１についての車両制御を行うためのシステム構成を模式的に示している。本システムは、車両１に対して設けられた撮像装置２、車外環境認識装置３、車両制御装置４、舵角センサ５、車速センサ６、アクチュエータ７、ディスプレイ８を備えて構成される。
本システムでは、撮像装置２で得られた撮像画像に基づき、車外環境認識装置３が車両前方に存在する物体を認識する。そして本システムでは、車両制御装置４が、車外環境認識装置３で認識された物体との衝突を回避したり、先行車両としての物体との離間距離（車間距離）を安全とされる距離に保つ制御等を実行する。

具体的に、車両制御装置４は、操舵の角度を検出する舵角センサ５や車両１の走行速度を検出する車速センサ６を通じて取得した現在の車両１の走行状態の情報と、車外環境認識装置３で検出された車両１の前方に存在する物体に関する情報とに基づき、先行車両との車間距離を安全とされる距離に保ったり、また物体との衝突が想定される場合には車両１を自動的に制動させるための制御をアクチュエータ７に対して実行する。ここでアクチュエータ７は、車両１を制動するためのブレーキやスロットルバルブ、舵角等を制御するためのアクチュエータを包括的に表したものである。
また、車両制御装置４は、物体との衝突が想定される場合には、運転者の前方に配置されたディスプレイ８にその旨の警告表示が行われるように制御を行う。
なお、車両制御装置４は、車外環境認識装置３と一体に形成することも可能である。

本実施の形態の画像処理装置は、撮像装置２で得られた撮像画像に基づき、画像内に存在する（車両１の前方に存在する）物体についての検出処理を実行し、上記のシステム構成においては、車外環境認識装置３に内在される。

＜２．物体検出に係る構成＞
図２は、図１に示した撮像装置２の内部構成と、車外環境認識装置３の内部構成のうち物体検出に係る要部の構成とを抽出して示している。なお、図中では図１に示した車両制御装置４も併せて示している。
撮像装置２には、第１カメラ部２０-1、第２カメラ部２０-2、Ａ／Ｄ変換器２１-1、Ａ／Ｄ変換器２１-2、画像補正部２２及びインターフェイス部（Ｉ／Ｆ部）２３が設けられている。
第１カメラ部２０-1、第２カメラ部２０-2は、それぞれカメラ光学系と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えて構成され、前記カメラ光学系により前記撮像素子の撮像面に被写体像が結像され、該撮像素子にて受光光量に応じた電気信号が画素単位で得られる。

第１カメラ部２０-1、第２カメラ部２０-2は、いわゆるステレオ法による測距が可能となるように設置される。本例における第１カメラ部２０-1、第２カメラ部２０-2は、車両１のフロントガラスの上部付近において、車幅方向に所定間隔を空けて配置されている。第１カメラ部２０-1、第２カメラ部２０-2の光軸は平行とされている。
また、第１カメラ部２０-1、第２カメラ部２０-2の焦点距離はそれぞれ同値とされ、またフレーム周期は同期しているものとする。フレームレートは、例えば６０ｆｐｓである。

第１カメラ部２０-1の撮像素子で得られた電気信号はＡ／Ｄ変換器２１-1に、第２カメラ部２０-2の撮像素子で得られた電気信号はＡ／Ｄ変換器２１-2に供給され、それぞれＡ／Ｄ変換が行われる。これにより、画素単位で所定階調による輝度値を表すデジタル画像信号（画像データ）が得られる。

画像補正部２２には、Ａ／Ｄ変換器２１-1を介して得られる第１カメラ部２０-1による撮像画像に基づく画像データ（以下、「第１撮像画像データ」と表記）と、Ａ／Ｄ変換器２１-2を介して得られる第２カメラ部２０-2による撮像画像に基づく画像データ（以下、「第２撮像画像データ」と表記）とが入力される。
画像補正部２２は、第１撮像画像データ、第２撮像画像データのそれぞれに対し、第１カメラ部２０-1、第２カメラ部２０-2の取り付け位置の誤差に起因するずれの補正を例えばアフィン変換等を用いて行う。また画像補正部２２は、第１撮像画像データ、第２撮像画像データのそれぞれに対しノイズの除去等を含む輝度値の補正も行う。

インターフェイス部２３は、外部装置との間で各種のデータをやり取りするために設けられている。画像補正部２２によって補正の施された第１撮像画像データ、第２撮像画像データは、インターフェイス部２３を介して車外環境認識装置３に転送される。

車外環境認識装置３には、インターフェイス部３１、バス３２、画像処理部３３及びメモリ部３４が設けられている。インターフェイス部３１、画像処理部３３、メモリ部３４はそれぞれバス３２を介して接続され、バス３２を介しての相互のデータ通信が可能とされる。
インターフェイス部３１は、外部装置との間で各種のデータをやり取りするために設けられている。先のインターフェイス部２３によって撮像装置２側から転送された第１撮像画像データ、第２撮像画像データは、インターフェイス部３１にて受信される。このようにインターフェイス部３１によって受信された第１撮像画像データ、第２撮像画像データは、バス３２を介してメモリ部３４に保持され、画像処理部３３の処理に供される。
また、画像処理部３３が行う後述する物体検出処理の結果は、インターフェイス部３１を介して車両制御装置４に転送される。先の図１の説明からも理解されるように、車両制御装置４は、このように転送された物体検出処理結果に基づき前述した車両制御を実行する。

画像処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びワークエリアとしてのＲＡＭ（Random Access Memory）を備えた半導体集積回路で構成され、ＲＯＭに格納されたプログラムに従った各種の処理を実行する。
特に本実施の形態の場合、画像処理部３３は、インターフェイス部３１を介してメモリ部３４に保持された第１撮像画像データ、第２撮像画像データに基づき、以下の処理を実行する。
先ず、メモリ部３４に保持された第１撮像画像データ、第２撮像画像データに基づき距離画像を生成する距離画像生成処理を実行する。次に、距離画像生成処理で生成した距離画像に基づく領域選択処理を実行し、続いて領域選択処理の結果を用いて前記距離画像について画像内に存在する物体を検出する物体検出処理を実行する。
本例の場合には、距離画像生成処理、領域選択処理、物体検出処理は、ＲＯＭに格納されたプログラムに従ったＣＰＵによるソフトウェア処理で実現される。図２中では便宜的に、これらの処理を実行するハードウェアがそれぞれ存在するものと擬制し、それぞれ距離画像生成処理部３３Ａ、領域選択処理部３３Ｂ、物体検出処理部３３Ｃと表している。

＜３．距離画像生成処理＞
先ず、距離画像生成処理部３３Ａが実行する距離画像生成処理について説明する。距離画像生成処理は、ステレオ撮像された一対の画像データ間の対応点をパターンマッチングにより検出し、検出された対応点間の座標のずれを視差として算出した結果に基づき、実空間上における対応点までの距離を画像上に表した距離画像データを生成する処理である。

以下に、対応点探索法により視差を求めるための手法について、その概要を説明する。
以下の説明では、第１撮像画像データを基準画像Ｔとし、第２撮像画像データを比較画像Ｃとする場合を例示する。
以下の説明においては、基準画像Ｔにおける各画素の位置を座標（ｉ，ｊ）で表す。座標（ｉ，ｊ）は、基準画像Ｔの左下隅を原点とし、水平方向（横方向）をｉ座標軸、垂直方向（縦方向）をｊ座標軸とした場合の画素のｉ座標、ｊ座標を表す。また比較画像Ｃについては、基準画像Ｔの原点に予め対応づけられた画素を原点として同様にｉ座標、ｊ座標を取る。
また、以下の説明では、画素ごとの輝度値を輝度値ｐで表し、基準画像Ｔにおける座標（ｉ，ｊ）で特定される画素の輝度値ｐを輝度値ｐ１ij、比較画像Ｃにおける座標（ｉ，ｊ）で特定される画素の輝度値ｐを輝度値ｐ２ijと表記する。

先ず、距離画像生成処理では、基準画像Ｔを、例えば４・４画素などの所定の複数画素で成る画素ブロック単位で分割し、画素ブロック単位で、比較画像Ｃとのパターンマッチング処理を行って、前記対応点としての、基準画像Ｔと比較画像Ｃとの間で対応している点（同じ被写体が撮像されているとみなされる点）を検出する。

具体的には、比較画像Ｃを水平方向に延在する４画素幅の水平ラインに分割し、基準画像Ｔの１つの画素ブロックを取り出してそれに対応する比較画像Ｃの水平ライン上を１画素単位で順次水平方向（ｉ方向）にシフトさせながら、基準画像Ｔの画素ブロックにおける１６個の画素の輝度値ｐ１ijとそれに対応する比較画像Ｃにおける１６個の画素の輝度値ｐ２ijとを取得する。そして、これら基準画像Ｔの輝度値ｐ１ijと比較画像Ｃの輝度値ｐ２ijとの差の絶対値をそれぞれ合計した下記［式１］で求められるシティブロック距離ＣＢが最小となる水平ライン上の画素ブロックを、基準画像Ｔの画素ブロックに最も近い輝度値特性を有する比較画像Ｃ上の画素ブロック（対応点）として特定する。
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜ ・・・［式１］

このように特定した比較画像Ｃ上の画素ブロックと、もとの基準画像Ｔ上の画素ブロックとの座標のずれ量を算出し、そのずれ量を視差ｄｐとして求める。視差ｄｐの値は、検出された対応点ごとに求まるものであり、距離画像生成処理では、このように得られた視差ｄｐの値を、その視差ｄｐが検出された対応点の位置の情報と対応づけて保持する。

上記のように求めた視差ｄｐは、第１カメラ部２０-1と第２カメラ部２０-2との離間距離に由来する基準画像Ｔと比較画像Ｃとにおける同一物体の写像位置に関する水平方向の相対的なずれ量を表す。このような視差ｄｐの値を用いて、第１カメラ部２０-1と第２カメラ部２０-2との中央位置から対応点としての被写体までの距離（実空間上の距離）を三角測量の原理に基づいて算出する。

対応点としての被写体までの実空間上における距離の算出は、例えば以下のようにして行うことができる。
先ず前提として、第１カメラ部２０-1と第２カメラ部２０-2との中央位置の真下に位置する道路面上の点を原点とし、車両１の車幅方向（水平方向）をＸ軸、車高方向をＹ軸、車長方向（距離方向）をＺ軸とした三次元空間を定義する。
該三次元空間上において、視差ｄｐが求められた対応点としての被写体が存在する位置の座標（Ｘ，Ｙ，Ｚ）は、該視差ｄｐが求められた対応点の画像上の座標を（ｉc，ｊc）とすると、算出された視差ｄｐの値を用いて、下記の［式２］〜［式４］により求まる。
Ｘ＝ＣＤ／２＋Ｚ・ＰＷ・（ｉｃ−ＩＶ） ・・・［式２］
Ｙ＝ＣＨ＋Ｚ・ＰＷ・（ｊｃ−ＪＶ） ・・・［式３］
Ｚ＝ＣＤ／（ＰＷ・（ｄｐ−ＤＰ）） ・・・［式４］
ただし、ＣＤは第１カメラ部２０-1と第２カメラ部２０-2との間隔、ＰＷは１画素当たりの視野角、ＣＨは第１カメラ部２０-1及び第２カメラ部２０-2の取り付け高さ、ＩＶ、ＪＶはそれぞれ車両１の正面における無限遠点の画像上のｉ座標、ｊ座標、ＤＰは消失点視差を表す。
視差ｄｐが算出された対応点としての被写体までの距離（以下、「距離Ｌ」と表記）は、［式４］により、算出された視差ｄｐの値とＣＤ，ＰＷ，ＤＰの値とを用いて算出できる。

このとき、距離画像生成処理では、視差ｄｐの信頼性を向上させる目的から、求めた視差ｄｐについてのフィルタリング処理を施す。例えば、車道の映像のみからなる特徴に乏しい４・４画素の画素ブロックを比較画像Ｃの４画素幅の水平ライン上で走査した場合は、比較画像Ｃの車道が撮像されている部分ではすべて相関が高くなり、対応する画素ブロックが特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。このため、そのような視差ｄｐは前記フィルタリング処理で無効とし、当該画素ブロックの視差ｄｐの値としては０（無効値）を割り当てる。
このようなフィルタリング処理が行われる結果、視差ｄｐは、通常、基準画像Ｔの水平方向に隣り合う画素間で輝度値ｐ１ijの差が大きないわゆるエッジ部分についてのみ有効な値を持つデータとなる。そしてこれに伴い、視差ｄｐの算出結果から得られる距離画像としても、同様にエッジ部分についてのみ有効な値を持つデータとなる。

距離画像生成処理では、対象とする画素ブロックについて、算出した視差ｄｐの値から先の［式４］により距離Ｌを算出し、算出した距離Ｌの値を当該画素ブロックの位置の情報（座標（ｉ，ｊ））と対応づけて保持する。
このように距離Ｌの値を画像上の位置の情報と対応づけた情報は、これをｉ軸とｊ軸による二次元平面上に展開すると、各対応点（各被写体）までの実空間上における距離Ｌを画像上に表すものとなる。この意味で、上記のように距離Ｌの値を画像上の位置の情報と対応づけた情報のことを、以下「距離画像」と表記する。

＜４．領域選択処理＞
［4-1．第１判別処理］
次に、領域選択処理部３３Ｂが実行する領域選択処理について説明する。
図３Ａは、取得された距離画像の一例として、車両１の前方に坂が存在し、該坂の近傍に道路標識Ｉとしての坂以外の物体が存在している場合の距離画像を模式的に表している。
領域選択処理においては、先ず距離画像を画像縦方向に沿った分割線により複数の領域（以下、「縦領域ＶＲ」と表記）に分割する。
図３Ｂは、図３Ａに示す距離画像を複数の縦領域ＶＲに分割した例を示している。図３Ｂから分かるように、距離画像を複数の縦領域ＶＲに分割することによって、坂と坂以外の物体とがそれぞれ異なる縦領域ＶＲ内に含まれるようにできる。図３Ｂの例では、画面左端からｎ番目の縦領域ＶＲを縦領域ＶＲ_nとしたときに、道路標識Ｉが縦領域ＶＲ_nと縦領域ＶＲ_n＋1に含まれ、坂が縦領域ＶＲ_n＋2〜ＶＲ_n＋8に含まれた例を示している。

領域選択処理では、上記のように距離画像を複数の縦領域ＶＲに分割した後に、これら縦領域ＶＲごとに、その距離分布に基づいて被写体の坂らしさを表す坂指標値を算出する。そして、該坂指標値に基づき、被写体が坂以外であるとみなされる縦領域ＶＲを選択する。

図４は、縦領域ＶＲの画像縦方向における距離分布についての説明図であり、図４Ａは、図３Ｂに示した縦領域ＶＲ_n及び縦領域ＶＲ_n＋1としての、道路標識Ｉが含まれた縦領域ＶＲの距離分布を例示し、図４Ｂは、図３Ｂに示した縦領域ＶＲ_n＋2〜ＶＲ_n＋8としての、坂が含まれた縦領域ＶＲの距離分布を例示している。
図４Ａ，図４Ｂを比較すると、被写体が坂である場合と坂以外の物体である場合とで距離分布の態様が全く異なることが確認できる。従って、縦領域ＶＲごとに、その距離分布に基づいて被写体が坂であるか否かの判別が可能であることが分かる。

具体的に、被写体が坂以外である場合には、図４Ａのように或る距離に密集した距離分布を示し、被写体が坂である場合には、図４Ｂのように画像の上側となるほど距離Ｌの値が徐々に大となるような距離分布を示す。このような距離分布の態様の差に基づき、被写体が坂であるか坂以外の物体であるかの判別を行うことができる。
より具体的には、同じ距離が密集する度合いが高ければ、被写体が坂以外の物体であると判別でき、同じ距離が密集する度合いが低ければ、被写体が坂以外の物体ではないと判別できる。この点に鑑み本実施の形態では、同じ距離が密集する度合いを表す指標値を坂指標値（第１の坂指標値）として算出し、該坂指標値と所定の閾値との大小関係に基づき、被写体が坂以外の物体であるか否かの判別を行う。

上記のように同じ距離が密集する度合いを表す第１の坂指標値の具体的な算出手法としては、種々考えることができるが、以下ではその一例を挙げて説明を行う。

図５Ａは、坂の判別手法の具体的な手順を説明するための図である。
先ず、この場合の坂の判別手法では、縦領域ＶＲ内に含まれる距離Ｌのデータ総数をＪ、データ総数Ｊを均等に分割したときの区分の総数をＫ、前記区分ごとのデータ個数をＪ／Ｋとしたとき、縦領域ＶＲごとに、画像下側から順に距離Ｌの数をカウントし、カウントしたＪ／Ｋ個の距離Ｌごとに、その代表距離の値を得ていく。
図５Ａでは、対象とする縦領域ＶＲ内に含まれる距離Ｌのデータ総数Ｊ＝４０個とされ、データ総数Ｊを１２．５％ごとに均等分割したときの各区分を例示している（図中右側）。この場合には、Ｊ／Ｋ＝５個となる。すなわち、上記の各区分の境界値は５の倍数（５〜３５）となる。

この手法では、前述のように画像下側から順に距離Ｌのデータ数をカウントしていき、該カウント値が、上記区分の境界値に至るまでの間に（つまり５の倍数に至るまでの間に）、その区分についての代表距離の値を順次取得していく。代表距離については、その区分の距離Ｌの平均値であっても良いしピーク値であっても良い。或いはその区分について最初に取得（カウント）した距離Ｌの値を用いてもよい。
ここでは、その区分の距離Ｌの平均値を代表距離の値として取得する。
このように画像下側から順に距離Ｌのデータ数をカウントし、区分ごとの代表距離を順次取得していきながら、代表距離が重なる区分の数を、前記の坂指標値（第１の坂指標値）として算出する。そして、該坂指標値が、所定の閾値（「閾値ｔｈ１」とする：第１閾値）以上であるか否かを判別することで、被写体が坂以外であるか否かの切り分けを行う。本例では、閾値ｔｈ１の例として「３」を設定する。

図５Ｂは、被写体が坂以外の物体である場合における区分ごとの代表距離の値を例示し、図５Ｃは、被写体が坂である場合における区分ごとの代表距離の値を例示している。なおこれらの図においても、総数Ｊ＝４０、Ｊ／Ｋ＝５であるとする。
被写体が坂以外の物体の場合は、図４Ａで例示したように、距離の分布としては或る距離に集中するような分布となるので、複数の区分で代表距離が重複することになる。図５Ｂでは、１０〜１５の区分、１５〜２０の区分及び２０〜２５の区分で代表距離の値が同値で重なっており、それ以外の区分では代表距離の値が異なっている例が示されている。
一方、被写体が坂である場合には、図４Ｂで例示した通り、画像の上側となるほど徐々に距離Ｌの値が大となるような距離分布を示すので、複数の区分で代表距離が重複する可能性は非常に低く、図５Ｂの坂以外の物体の場合のように代表距離が３つの区分で重なるということはない。図５Ｃでは、坂の部分（ここでは５〜１０の区分から２５〜３０の区分までの部分）において、各区分の代表距離の値がほぼ０．２ｍ〜０．３ｍ程度の差となっている例が示されている。

本例では、前述のように代表距離が重なる区分の数を坂指標値として算出し、該坂指標値が閾値ｔｈ１（前述のようにこの場合は「３」）以上であるか否かを判別する。そしてその結果、前記坂指標値が閾値ｔｈ１以上であった場合には、被写体が坂以外の物体であるとの判別結果を得る。
従って、図５Ｂに示したように被写体が坂以外の物体である場合に、これを適正に坂以外の物体であると判別することができる。また、図５Ｃに示すように被写体が坂である場合には、これを適正に坂以外の物体ではないと判別することができる。

［4-2．第２判別処理］
次に、図６を参照して第２の判別処理について説明する。
上記のような第１判別処理によっては、坂以外の物体として、例えば道路標識Ｉのように距離の値が全体的に或る一定範囲に集中する物体を確実に坂以外の物体として切り分けることができるが、坂以外の物体としては、例えば図６Ａに示すキャリアカーのように、坂に類似する物体も存在するため、坂に類似する物体を判別するための以下の第２判別処理を行う。第２判別処理は、第１判別処理において坂以外ではない（坂である）と判別された縦領域ＶＲについて、さらに第２の坂指標値を求めて行う再判別処理である。

図６Ｂは、坂の距離分布（◆によるプロット）とキャリアカーの距離分布（□によるプロット）とを対比して示している。
図６Ｂに示されるように、キャリアカーの距離分布には、比較的大きなピークが生じるのに対し、坂の距離分布にはそのような大きなピークは生じない。これは、坂は画像内の或る範囲内でほぼ一様に傾斜する態様であるのに対し、キャリアカーは画面の或る範囲内にて傾斜部分が一部のみに存在していることに起因する。また、坂は路面と連続して傾斜しているのに対し、キャリアカーは、先行車両として走行中である場合には、その後端部は路面と連続していないことにも起因する。
このような距離分布の差に基づき、坂とキャリアカー（坂以外の物体）との切り分けを行うことができる。具体的には、先の第１判別処理において坂以外ではない（坂である）とみなされた縦領域ＶＲについて、さらにその距離分布の平滑度合いを表す値を第２の坂指標値として算出し、第２の坂指標値に基づき、その縦領域ＶＲの被写体が坂以外であるか否かの再判別を行う。

第２の坂指標値の具体的な算出手法については種々考えられるが、本例では、対象とする縦領域ＶＲの距離分布のピークの度数を、第２の坂指標値として用いる。すなわち、対象とする縦領域ＶＲについて、度数が最大となる距離Ｌを検出し、検出したピークの度数を第２の坂指標値とする。

この場合の再判別では、取得した距離分布のピークの度数としての第２の坂指標値が、所定の閾値（「閾値ｔｈ２」とする：第２閾値）以上であるか否かを判別する。該判別により、第２の坂指標値が閾値ｔｈ２以上であるとされた場合には、当該縦領域ＶＲの被写体が坂以外の物体であるとして、当該縦領域ＶＲを物体検出処理の対象領域として選択する。一方、第２の坂指標値が閾値ｔｈ２以上ではないとされた場合は、当該縦領域ＶＲの被写体が坂以外の物体ではない（つまり坂である）として、当該縦領域ＶＲの距離データを削除することで物体検出処理の対象領域から除外する。

このように坂と、キャリアカーなどの坂に類似する物体とでは、坂の方が距離分布の平滑度合いが高いという特性を利用して、坂と坂以外の物体との切り分けを行うことができる。

＜５．物体検出処理について＞
次いで、物体検出処理部３３Ｃが実行する物体検出処理について説明する。
物体検出処理では、上記の第２判別処理によって坂であると判別されて距離データが削除された縦領域ＶＲが処理対象から除外される。
物体検出処理の具体的な処理内容については、従来から行われているものと同様であるため、以下では要点のみを述べる。
先ず、物体検出処理では、例えば縦領域ＶＲ内に存在する距離データから奥行き方向の距離分布を表す距離ヒストグラムを作成し、度数が最大となる位置（対応点）の距離Ｌをその縦領域ＶＲ内に存在する物体の代表距離とする。そして、代表距離が得られた度数最大となる各対応点について、近接する各対応点までの距離や方向などの関係性から、同一物体とみなされる画素範囲をグループ化し、画像内に存在する各物体の範囲を特定する。これにより、画像内に存在する物体が、該物体までの距離Ｌの情報も含めて検出される。

＜６．領域選択処理の手順＞
次に、図７のフローチャートを参照して、上記した領域選択処理の手順を説明する。
図７において、ＣＰＵ（画像処理部３３のＣＰＵ、以下に同じ）は、距離画像を画像縦方向に沿った分割線によってＮ個（Ｎは２以上の自然数）の縦領域ＶＲに短冊状に分割する（ステップＳ１０１）。
そして、縦領域識別番号ｎの値を「１」にセットする（ステップＳ１０２）。縦領域識別番号ｎの値は、ステップＳ１０１の短冊化で得られたＮ個の縦領域ＶＲのうち処理対象とする縦領域ＶＲを識別するためにＣＰＵが管理する値である。

次に、ｎ番目の縦領域ＶＲについてその距離Ｌのデータ総数ＪをＸ％ごとに均等に区分する（ステップＳ１０３）。ここで、該均等区分処理で得られた区分の数をＫとする。
さらにＣＰＵは、閾値ｔｈｃ＝Ｊ／Ｋと設定する（ステップＳ１０４）。閾値ｔｈｃは、区分の切れ目を検出するための閾値である。

次に、区分識別番号ｋ＝０と設定する（ステップＳ１０５）。区分識別番号ｋの値は、ステップＳ１０３の処理で得られたＫ個の区分のうち、処理対象とする区分を識別するためにＣＰＵが管理する値である。

続いて、画像下側から順に距離Ｌのデータ数のカウントを開始し（ステップＳ１０６）、カウント値が閾値ｔｈｃ以上となるまで待機する（ステップＳ１０７）。
カウント値が閾値ｔｈｃ以上となった場合は、ｋ番目の区分の代表距離を取得する（ステップＳ１０８）。本例の場合は、ｋ番目の区分としてカウントしたＪ／Ｋ個の距離Ｌの平均値をｋ番目の区分の代表距離の値として算出し取得する。
さらに、区分識別番号ｋの値をインクリメント（ｋ←ｋ＋１）する（ステップＳ１０９）と共に、閾値ｔｈｃの値にＪ／Ｋを加算する（ｔｈｃ←ｔｈｃ＋Ｊ／Ｋ）処理を行う（ステップＳ１１０）。これにより、次の区分の代表距離の取得のための準備が為される。

次に、代表距離が重なっている区分の数が閾値ｔｈ１以上であるか否かを判別する（Ｓ１１１）。本例の場合は、代表距離の値が同値で重なっている区分の数を第１の坂指標値として求め、第１の坂指標値が閾値ｔｈ１以上（前述の例では「３」）であるか否かを判別する。

ステップＳ１１１において、代表距離が重なっている区分の数が閾値ｔｈ１以上であると判別された場合は、ステップＳ１１２に進み、ｎ番目の縦領域ＶＲを物体検出の対象領域として選択する。続いて、ステップＳ１１３において縦領域識別番号ｎの値が縦領域ＶＲの総数Ｎ以上であるか否かを判別する。
ステップＳ１１３において、縦領域識別番号ｎの値がＮ以上であると判別された場合は、対象とするフレーム画像（距離画像）内の全ての縦領域ＶＲについての処理（坂判別）が完了し、領域選択処理を終了する。

一方、ステップＳ１１３において、処理対象縦領域識別番号ｎの値がＮ以上ではないと判別された場合は、ステップＳ１１４に進んで縦領域識別番号ｎの値をインクリメント（ｎ←ｎ＋１）した後に、先のステップＳ１０３に戻り、ｎ番目の縦領域ＶＲについての区分処理を実行する。これにより、次の縦領域ＶＲについての坂判別処理が開始される。

一方で、前述のステップＳ１１１において、代表距離が重なっている区分の数が閾値ｔｈ１以上ではないと判別された場合は、ステップＳ１１５に進み、カウント値がデータ総数Ｊに至ったか否かを判別する。すなわち、対象とするｎ番目の縦領域ＶＲ内における全ての距離Ｌのデータをカウントし終え、全ての区分の代表距離の取得及び代表距離に基づくステップＳ１１１の判別処理が完了したか否かを判別していることに相当する。

ステップＳ１１５において、カウント値がデータ総数Ｊに至っていないと判別された場合は、ステップＳ１０７に戻り、カウント値が閾値ｔｈｃとなるまで待機する。
一方、ステップＳ１１５でカウント値がデータ総数Ｊに至ったと判別された場合、すなわち、代表距離が重なっている区分の数が閾値ｔｈ１以上ではないことが確定した場合は、ｎ番目の縦領域ＶＲの被写体は坂である場合とキャリアカーのような坂と類似した坂以外の物体である場合との双方が考えられる。このため、以下のステップＳ１１６〜Ｓ１１８によって、前述した第２の坂指標値に基づく再判別処理を実行する。

先ず、ステップＳ１１６において、ｎ番目の縦領域ＶＲの距離分布のピークを検出し、続くステップＳ１１７において、ピークの度数（第２の坂指標値）が閾値ｔｈ２以上であるか否かを判別する。
ステップＳ１１７において、ピークの度数が閾値ｔｈ２以上であると判別された場合は、ステップＳ１１８に進み、ｎ番目の縦領域ＶＲを物体検出の対象範囲として選択した後に、先のステップＳ１１３に処理を進める。すなわち、ピークの度数が閾値ｔｈ２以上である場合は、ｎ番目の縦領域ＶＲの被写体は例えばキャリアカー等の坂以外の物体であるとみなすことができるので、ステップＳ１１３に処理を進めて、ｎ≧Ｎにより残りの縦領域ＶＲが存在するか否かを判別し、存在する場合は次の縦領域ＶＲについての処理を開始（Ｓ１１４以降）して、存在しない場合は領域選択処理を終了する。

一方、ステップＳ１１７において、ピークの度数が閾値ｔｈ２以上ではないと判別された場合は、ｎ番目の縦領域ＶＲの被写体は坂であるとみなすことができるので、ｎ番目の縦領域ＶＲについては距離データを削除することで物体検出の対象領域に選択せず、ステップＳ１１８に進むことなくステップＳ１１３に進む。
上述のように、ステップＳ１１３でｎ≧Ｎではないと判別された場合は次の縦領域ＶＲについての処理を開始（Ｓ１１４以降）し、ｎ≧Ｎであると判別された場合は領域選択処理を終了する。

＜７．まとめ＞
上記で説明したように、本実施の形態では、距離画像を複数の縦領域ＶＲに短冊状に分割し、分割した縦領域ＶＲごとに、坂指標値に基づき被写体が坂以外の物体であるか否かの判別を行い、該判別によって坂以外の物体であるとされた縦領域ＶＲを検出対象領域として物体検出処理を実行している。
従って、従来のように坂と坂以外の物体とが纏めてグループ化されたものについて坂の判別が行われることがなく、坂か坂以外の物体であるかの判別をより正確に行うことができ、坂の判別精度の向上が図られる。そしてその結果、車両制御の誤動作を防止できる。

また、縦領域ＶＲごとに、画像縦方向において同じ距離が密集する度合いを表す指標値を第１の坂指標値として算出し、第１の坂指標値と所定の閾値ｔｈ１との大小関係に基づき、被写体が坂以外の物体であるか否かの判別を行っている。
従って、被写体が確実に坂以外の物体であるとみなすことのできるケースを適正に切り分けることができる。

さらに、縦領域ＶＲごとに、画像下側から順に距離Ｌのデータ数をカウントし、カウントしたＪ／Ｋ個の距離Ｌごとにその代表距離の値を得ると共に、代表距離の値が重なる区分の数を第１の坂指標値として算出し、第１の坂指標値が第１閾値ｔｈ１以上であるか否かを判別している。
これによれば、被写体が坂以外の物体であるか否かの判別は、対象とする縦領域ＶＲ内の全データを参照する前に完了することが可能となり、その分、判別に係る処理負担の軽減及び処理時間の短縮化が図られる。

さらにまた、被写体が坂以外の物体ではないと判別された縦領域ＶＲについて、その距離分布に基づく第２の坂指標値を算出し、第２の坂指標値に基づき、縦領域ＶＲの被写体が坂以外であるか否かの再判別を行っている。
このように、第１判別処理により確実に坂以外の物体であるとみなすことのできる縦領域ＶＲを切り分け、その後に、第２判別処理として残された縦領域ＶＲについて被写体が坂であるか否かの再判別を行うことにより、判別に係る処理負担の軽減を図ることができる。
すなわち、１度の判別処理により被写体が坂か坂以外の物体であるかの判別を行う（キャリアカー等との切り分けも含む）場合には、画像内の個々の縦領域ＶＲにつき実行すべき処理の負担は増大傾向となるが、上記のように判別を二段階に分けて実行すれば、第１段階目の判別の処理負担を軽くすることが可能であり、全体として処理負担の軽減が図られ、処理時間の短縮化も図られる。

また、第２の坂指標値として、距離分布の平滑度合いを表す値を算出し、その値に基づき被写体が坂以外の物体であるか否かの再判別を行っている。
これによれば、被写体が坂であるか、キャリアカーのような坂と類似した坂以外の物体であるかの切り分けを行うことができる。

さらに、第２の坂指標値として、距離分布のピークの度数を算出し、第２の坂指標値と所定の閾値ｔｈ２との比較結果に基づき、被写体が坂以外であるか否かの再判別を行っている。
これによれば、被写体が坂であるか、キャリアカーのような坂と類似した坂以外の物体であるかの切り分けを確実に行うことができる。

＜８．変形例＞
以下に、坂判別の手法の変形例について説明する。
例えば、第１の坂指標値に基づく坂判別については、対象とする縦領域ＶＲ内に存在する距離Ｌについて、その度数分布表（距離ヒストグラムでも良い）を作成し、その結果から第１の坂指標値を得て、被写体が坂以外の物体であるか否かの判別を行うこともできる。

或いは、第１の坂指標値に基づく坂判別の手法としては、以下のような距離Ｌのデータ密度に基づく手法を採ることもできる。
具体的には、先ず、対象とする縦領域ＶＲ内に存在する距離Ｌの最大値（Ｌ_max）と最小値（Ｌ_min）について、それらの差分の絶対値が閾値ｔｈｌより大であることを条件として課す（｜Ｌ_max−Ｌ_min｜＞ｔｈｌ）。該条件を満たさない縦領域ＶＲは、被写体が坂以外の物体であると判別して、物体検出処理の対象領域としては選択しない。
一方、上記条件を満たす場合は、所定の距離区分、例えば、距離０．５ｍ単位で区切った距離区分ごとに、距離Ｌのデータ数をカウントし、データ数が所定の閾値（「閾値ｔｈｄ」と表記）以上となる距離区分を、距離Ｌのデータが存在する距離区分として検出する。
その上で、検出した距離区分の個数が、距離区分の総数に占める割合（％）を、第１の坂指標値として求め、第１の坂指標値が、所定の閾値（「閾値ｔｈ１'」と表記）以上であるか否かを判別し、該判別で肯定結果が得られた場合は被写体が坂以外の物体ではないとし、否定結果が得られた場合は被写体が坂以外の物体であるとする。例えば、閾値ｔｈ１'は７５％に設定されているとする。

図８Ａは、被写体が坂であった場合における距離区分ごとのデータ（距離Ｌ）の分布例を模式的に表し、図８Ｂは被写体が坂以外の物体であった場合における距離区分ごとのデータの分布例を模式的に表している。
上記の手法によれば、図８Ａのケースでは、第１の坂指標値は５／５で１００％と算出され、閾値ｔｈ１'＝７５％以上であるため、適正に坂以外の物体ではないとの判別結果を得ることができる。
一方、図８Ｂのケースについては、第１の坂指標値は２／５で４０％と算出され、閾値ｔｈ１'未満であるため、適正に坂以外の物体であるとの判別結果を得ることができる。

また、第２の坂指標値に基づく再判別の手法としては、前述のように距離分布のピークの度数を指標値とする手法以外にも、例えば図９に示すような手法を採ることもできる。
図９において、図９Ａは被写体が坂である縦領域ＶＲについての距離分布の例を示し、図９Ｂは被写体が坂に類似した坂以外の物体である縦領域ＶＲについての距離分布の例を示している。
先ず、対象とする縦領域ＶＲの距離Ｌのデータに基づき、例えば０．５ｍ単位などの所定の距離区分ごとの代表距離の値（例えば平均値）を得る。図９Ａ，図９Ｂにそれぞれ示す黒丸は、距離区分ごとの代表距離を表している。
次に、距離区分ごとの代表距離についての近似直線ａｐを例えば最小二乗法などにより求めた上で、近似直線ａｐに対する距離区分ごとの代表距離の乖離量の合計値を、第２の坂指標値として求める。第２の坂指標値が所定の閾値（「閾値ｔｈ２'」と表記）以上であるか否かを判別し、該判別により肯定結果が得られた場合は被写体が坂以外の物体であるとし、否定結果が得られた場合は被写体が坂以外の物体ではないとする。

図６Ｂで説明したように、被写体が坂に類似する坂以外の物体である場合には距離分布に比較的大きなピークが生じるので、近似直線ａｐに対する各代表距離の乖離量の合計値は、被写体が坂である場合との比較で大となる。図９Ｂでは両矢印によって、近似直線ａｐからの乖離量が大となっている代表距離を表している。
従って、上記の手法によっても、坂と坂に類似した坂以外の物体とを適正に切り分けることができる。

１・車両、２・撮像装置、３・車外環境認識装置、３１・インターフェイス（Ｉ／Ｆ）部、３２・バス、３３・画像処理部、３３Ａ・距離画像生成処理部、３３Ｂ・領域選択処理部、３３Ｃ・物体検出処理部

Claims (5)

1. ステレオ撮像された一対の画像データ間の対応点をパターンマッチングにより検出し、該検出された対応点間の座標のずれを視差として算出した結果に基づき、実空間上における前記対応点までの距離を画像上に表した距離画像データを生成する距離画像生成部と、
   前記距離画像データを画像縦方向に沿った分割線により短冊状に分割して得た個々の領域を縦領域としたときに、該縦領域ごとに、その距離分布に基づいて被写体の坂らしさを表す坂指標値を算出し、該坂指標値に基づき、被写体が坂以外であるとみなされる前記縦領域を選択する領域選択部と、
   前記領域選択部が選択した前記縦領域を検出対象領域として、前記距離画像データに基づき、画像内に存在する物体を検出する物体検出処理部と、を備える
   画像処理装置。
2. 前記領域選択部は、
   前記縦領域ごとに、画像縦方向において同じ距離が密集する度合いを表す指標値を第１の坂指標値として算出すると共に、
   前記縦領域ごとに、前記第１の坂指標値と所定の第１閾値との大小関係に基づき、前記被写体が坂以外であるとみなされる縦領域であるか否かの判別を行う
   請求項１に記載の画像処理装置。
3. 前記領域選択部は、
   前記縦領域内に含まれる距離データの総数をＪ、該総数Ｊを均等に分割したときの区分の総数をＫ、前記区分ごとのデータ個数をＪ／Ｋとしたときに、
   前記縦領域ごとに、画像下側から順に距離データをカウントし、カウントしたＪ／Ｋ個の距離データごとにその代表距離の値を得ると共に、該代表距離の値が重なる区分の数を前記第１の坂指標値として算出し、該第１の坂指標値が前記第１閾値以上であるか否かを判別する
   請求項２に記載の画像処理装置。
4. 前記領域選択部は、
   前記第１の坂指標値と前記第１閾値とに基づく判別の結果、坂以外ではないとみなされた前記縦領域について、さらにその距離分布に基づく第２の坂指標値を算出し、該第２の坂指標値に基づき、該縦領域の被写体が坂以外であるか否かの再判別を行う
   請求項２に記載の画像処理装置。
5. 前記領域選択部は、
   前記第２の坂指標値として、前記坂以外ではないとみなされた前記縦領域の距離分布の平滑度合いを表す値を算出する
   請求項４に記載の画像処理装置。

Images