JP6932015B2 - ステレオ画像処理装置 - Google Patents

Description

本発明は、ステレオ画像処理装置に関する。

特許文献１の要約欄には、「ステレオ演算回路６は、ステレオカメラより得られた一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する。認識部１０は、視差と消失点視差とに基づいて、対象物までの距離を算出する。補正演算部１３は、一方の撮像画像平面において、距離方向に延在する互いに空間的に平行な複数の近似直線を算出し、この近似直線の交点から第１の消失点を算出するとともに、他方の撮像画像平面において、距離方向に延在する互いに平行な複数の近似直線を算出し、この近似直線の交点から第２の消失点を算出し、第１の消失点と第２の消失点とのずれ量に基づいて、消失点視差を補正する。」と記載されている。

特許文献２の要約欄には、「ステレオ画像処理装置１は、視点の異なる複数の画像を撮像するステレオ撮像手段２と、ステレオ撮像手段２により撮像された複数の撮像画像に基づいて被写体の視差ｄｐを検出する視差検出手段７と、視差検出手段７により検出された視差ｄｐおよび視差オフセット値ＤＰに基づいて物体を検出する物体検出手段１１と、物体検出手段１１により検出された物体のうち実空間における大きさが時間的に変化しない物体に対応する視差ｄｐおよび物体の見掛けの大きさｂの変化に基づいて視差オフセット値ＤＰを補正する視差オフセット値補正手段１２と、を備える。」と記載されている。

特開２００３−８３７４２号公報 特開２００９−００８５３９号公報

特許文献１に記載の手法では、カメラの前方に直線状に延在する車線や壁と床との直線状の境界部分など、消失点算出の基準となる直線状の被写体が存在する環境でなければ補正を行うことができない、という問題点がある。

特許文献２に記載の手法では、カメラの前方に撮像される対象物体の特定の２点間の距離や面積を時系列で算出対象となるフレーム毎に安定的に検出することが必要であり、環境や対象物によっては難しいという問題がある。例として、時系列上で照明環境が変わったり、対象物の姿勢が変動したりする場合には検出が難しい場合が挙げられ改善の余地がある。推定可能なシーンが少ないと、距離測定を補正する機会を失い、誤った距離を出力する可能性が高い。

そこで本発明は、距離誤差や相対速度誤差を少なくして、信頼性の高いステレオ画像処理装置を提供することを目的とする。

上記目的を解決するために、本発明は、撮像手段と、一対の画像取得部と、前記一対の画像取得部で得られた画像に基づいて被写体の視差を算出して視差画像を得る視差画像取得部と、前記画像と前記視差画像とに基づいて物体を検出する物体検出部と、前記物体の視差を推定する物体視差推定部と、前記物体視差推定部によって得られた視差と前記物体検出部によって検出された前記物体の画像領域を保存する記憶部と、異なる時刻に撮像された前記物体の画像同士の照合を行う画像照合部と、視差オフセットを算出する視差オフセット推定部と、前記視差オフセット推定部の推定した視差に基づいて前記物体の距離を補正する距離出力部と、を備え、前記画像照合部は、現フレームと過去フレームで同一物体が映っている画像領域で、一方の画像領域を幾何変形して、変形後の画像ともう一方の画像を比較して類似度が高くなる幾何変形を求める。

本発明によれば、距離誤差や相対速度誤差を少なくして、信頼性の高いステレオ画像処理装置を提供することができる。

車載ステレオカメラの構成を説明する図 ステレオカメラで視差オフセットを推定する図 拡大率の算出方法を説明する図 各フレームにおける視差オフセットの算出方法を説明する図 任意のフレームの視差オフセットの算出方法を説明する図 累積値を用いた視差オフセットの算出方法を説明する図 幾何変換と視差分布を説明する図

近年、撮像した画像に基づいて対象物を認識する画像認識装置である車載カメラ装置の普及により、安全運転や自動運転に向けた各種認識機能への要求が高まってきている。なかでも、左右に並べた２つカメラで物体検出を行うステレオカメラ装置は、画像に寄る視覚的な情報と、対象物への距離情報を同時に計測するため、自動車周辺の様々な対象物（人、車、立体物、路面、路面標識、看板標識など）を詳細に把握でき、運転支援時の安全性の向上にも寄与するとされている。

ステレオカメラは同一の物体が左右のカメラで撮像される位置の差分から距離を算出する。この差分を視差という。距離が遠ければ遠いほどこの視差は小さくなり、距離が近ければ近いほど視差は大きくなる。視差をｄ、距離をＺとすると、その関係は反比例の関係にあり以下のように示される。

Ｚ=α／ｄ・・・（式１）

但し、αはステレオカメラ固有の値であり、レンズの焦点距離（ｆ）、画素の物理サイズ（ｃ）、カメラ間の距離の基線長（Ｂ）からα＝ｆＢ／ｃで計算される。

理想的には限りなく遠い距離においてはｄ＝０であるが、実際にはカメラを車両に取り付ける際の衝撃や熱変形など経年変化によって、ｄ≠０となることが知られている。このずれ量を視差オフセット（εｄ）とすると、観測される距離Ｚ´は、

Ｚ´＝α／（ｄ＋εｄ）・・・（式２）

で記載できる。このεｄは、前述の通り経年・経時変化し、測定した距離や相対速度にずれが発生する。場合によっては車両の誤制御につながるため、走行中にこの値εｄを推定し、観測された視差から補正することで測定された距離Ｚ´をＺに補正することが必要である。

これを踏まえて、以下、本実施例について図面を参照して説明する。なお、本発明は以下の実施例に限定する趣旨ではなく、発明の目的及び効果を実質的に逸脱しない範囲で、種々の構成を置換、変更、削除が可能である。

まず、ステレオカメラを用いた車両制御システムを図１に示す。ステレオカメラ１０１は車両１０２に搭載され、例えば前方の物体１０３までの距離や相対速度を計測して車両制御部１０４に送信する。車両制御部はその物体までの距離や相対速度からブレーキやアクセルの制御を決定し車両を動作する。

本実施例のステレオ画像処理装置の形態を図２に示す。ステレオカメラ２０１は左右に撮像部を備え、左画像取得部２０２と右画像取得部２０３で一対の画像を取得する。なお、左画像取得部２０２と右画像取得部２０３を合わせて、一対の画像取得部２０２，２０３と称する。
次に左右の画像で同じ物体が映る位置を特定し、その左右画像間の位置の差分を視差として、画像座標ごとに求めて視差画像として算出する視差画像取得部２０４を備える。そのようにして得られた視差画像や左画像、右画像から物体の画像上の領域を特定する物体検出部２０５と、その物体の視差を算出する物体視差推定部２０６を持つ。これらの物体の視差と画像領域は記憶領域（記憶部）２０７に保持され、次の撮像フレーム以降の処理で参照できる状態になる。画像照合部２０８では、現在の物体の画像領域と、それと同一物体の映る過去の物体の画像領域を照合することで過去と現在の画像領域間の幾何変形のパラメータを推定する。視差オフセット推定部２０９では、幾何変形のパラメータと現在と過去のフレームの視差を用いることで視差オフセットの値を推定する。距離出力部２１０では算出された視差オフセットに基づいて距離を補正して出力する。

まず、上記において画像間の幾何変形を画像間の拡大率（あるいは縮小率）に限定して説明する。

その場合、視差オフセットの推定に用いる目標の物体は画像領域中にできるだけ等しい距離を持った物体が良い。例えば先行車両の背面や自車に正対する看板などが挙げられる。

ここで、あるフレームで目標の物体が写った画像領域と、もう一方のフレームで同一の物体が移った画像領域の拡大率は、一方のフレームの画像領域を拡大（縮小）しもう一方の画像領域と最も類似した際の拡大率を採用することで算出できる。画像領域同士の類似性は例えば以下の式を用いて算出できる。

Ｍ＝１／Σ（Ｊ（ｓ＊ｘ＋ｘ´，ｓ＊ｙ＋ｙ´）―Ｉ（ｘ，ｙ））^２・・・（式３）

ここで、ｘ、ｙは画像の座標を示し、ｓは拡大率、ｘ´，ｙ´は移動成分、Ｉ，Ｊは与えられた座標における画像の濃淡値を示す。Ｊは過去の画像，Ｉは現在の画像を示す。Σは総和記号であり、比較する対象となる画像領域に存在する（ｘ，ｙ）のすべての組が総和の対象である。この値Ｍが大きいほど、２つの画像は類似しており、値が小さいほど２つの画像は相違があると考えられる。

なお類似性の計算はこの式に限らず、例えば上式の各座標に重みを設けても良いし、正規化相互相関や差分絶対値和、相互情報量の様な尺度を利用しても良い。

拡大率の算出方式の例を図３に示す。一方の画像３０１を０．８倍（画像３０２）、０．９倍（画像３０３）、１．０倍（画像３０４）、１．１倍（画像３０５）、１．２倍（画像３０６）と変化させ、もう一方の画像３０７と最も類似度の高い値を２フレーム間の拡大率として採用する。ただし、類似度の計算は図３の例では車両の背面のみに適用する。拡大率を用いた視差オフセットの推定に必要な条件は、対象となる画像領域ができるだけ等しい距離を持つ場合であったから、例えばサイドミラーが画像領域に含まれるのは望ましくない。但し、明確に車両背面を特定する必要は無く車両背面のおおよその位置で良い。

例えば、ここでは１．１倍が最も類似性の高い時の拡大率として採用される。なお、拡大率の算出方法は、図３のように拡大率をサンプリングした際の総当たりで最も近い拡大率を求めても良いし、Ｌｕｃａｓ Ｋａｎａｄｅ法に代表される収束演算に基づく手法やＰａｒｔｉｃｌｅ ＦｉｌｔｅｒやＲＡＮＳＡＣなどによるランダムサンプリングに基づく手法を用いても良く、その手法は問わない。

上記のように求まる拡大率を用いて視差オフセットを推定する処理手順の例を、特に物体検出部２０５、物体視差推定部２０６、記憶領域２０７、画像照合部２０８、視差オフセット推定部２０９、距離出力部２１０に焦点をあて、図４、図５、図６を用いて説明する。

例のうち、図４は最も単純な例である。１つ前に記憶領域に保存されたフレームと現在のフレームの２つを比較して視差オフセットを推定する方法である。まず目標となる物体を物体検出部で検出し、その画像領域をＩとする（ステップ４０１）。次にその物体の視差ｄを物体視差推定部で算出する（ステップ４０２）、次に検出された物体が記憶領域の中に保存された否か、すなわち前のフレームの検出結果があるか否かを判定し（ステップ４０３）、検出していなければ一旦、画像領域をＪとして、視差ｄをｄ´として記憶領域（ステップ４０４）に保存し（ステップ４０５）、次の撮像フレームの処理に移行する。もし検出されていれば過去のフレームの画像領域Ｊと現在のフレームの画像領域Ｉを照合し拡大率ｓを算出する（ステップ４０６）。次に拡大率ｓと現在のフレームの視差ｄ，過去のフレームの視差ｄ´を視差オフセットの算出に用いて良いか否かを判断し（ステップ４０７）、もし可能と判断されれば以下の式で視差オフセットεｄを算出する（ステップ４０８）。

εｄ＝（ｄ―ｓ＊ｄ´）／（１−ｓ）・・・（式４）

なお、（式４）の導出は以下のように行われる。

画像の拡大率は、距離Ｚの比率で表されるので、現在のフレームの距離をＺ，過去のフレームの距離をＺ´とするとｓ＝Ｚ´／Ｚである。（式１）からＺ＝α／ｄであったのでｓ＝ｄ／ｄ´とも記載できる。このとき、計測したｄにオフセット（εｄ）が乗っているとｓ＝（ｄ―εｄ）／（ｄ´―εｄ）であり、εｄについて整理すると（式４）が現れる。
この推定処理を繰り返し、各フレームで求まったεｄの例えば平均や中央値や最頻値を取るなどして視差オフセットの代表値を決定し（ステップ４０９）、求められた視差オフセットを用いて距離を補正する（ステップ４１０）、算出するか否かを判断する（ステップ４０７）基準としては例えば以下が挙げられる。まずｓが限りなく１に近いか否かが一つの指標として挙げられる。（式４）に示すとおり、もしｓが１に限りなく近ければεｄは無限大になり、推定値としてふさわしくない。そのため、１とｓの差分が０よりも離れているか否かは判定基準のひとつとなりうる。次に、ｓやｄ，ｄ´の計測誤差が推定できる際はその誤差の大小から判断しても良い。もちろん、ｓが照合がうまくいかず測定に失敗している時などは算出できないと考える。また、ｓがある程度大きいということは画像が拡大もしくは縮小しているということであり、目標となる物体と自車の間に相対速度が存在しているということであるから、物体と自車との相対速度が求まる場合には相対速度が一定以上の場合に用いても良い。他に拡大率の算出対象とした画像が等しい距離を含んでいたか否かも判断基準になりうる。冒頭に示したように視差オフセットの推定に用いる目標の物体は画像領域中にできるだけ等しい距離を持った物体が良いから、画像領域内の視差の分布の分散が大きい場合などは算出できないと判断される。

次に図５に任意のフレームの画像間の拡大率を算出する方式を示す。任意のフレーム間を比較するメリットは、相対速度がある物体などに対しては画像の変動が大きくなり、拡大率ｓが１から離れるため、視差オフセット算出の可否判断（図４のステップ４０７）において、可となる確率が高くなることなどが挙げられる。

物体を検出し、物体の視差を算出する現在のフレームの情報を取得する方法は図４と変わらない。現在のフレームの情報を取得後、過去のフレームの検出結果があるか否かを確認する（ステップ５０１）。ステップ４０３との差異は、ステップ４０３が直近のフレームの検出結果があるか否かを確認するのに対して、ステップ５０１では、過去のフレームのいずれかで検出結果があればよいとする。検出結果がある過去のフレームは単フレームである可能性もあるし、複数フレームである可能性もある。

もし、過去のフレームの情報がない場合は、画像領域Ｉと視差ｄを取得フレームｔの情報を加えたＪｔ、及びｄｔとして記憶領域（ステップ５０３）に保存する（ステップ５０２）。記憶領域には過去に検出された画像領域の履歴情報が保存される。現在のフレームの画像領域と過去のフレームの画像領域が存在したとき、記憶領域に登録された任意のフレームの画像領域の選ぶ（ステップ５０４）。ここで選ばれるフレームは１フレームであっても複数フレームであってもよい。ここで選ばれたフレームの集合をＴ＝｛τ１，τ２，τ３…｝と置くと、画像Ｊτ（ただしτ∈Ｔ）とＩを用いることで拡大率（ｓτ）を算出する（ステップ５０５）。次に（図４）と同様に、視差オフセットの算出可否判断を実施（ステップ５０６）し、拡大率ｓτと視差ｄτを用いることで視差オフセットを算出する（ステップ５０７）。このとき視差オフセットεｄは、

εｄ＝（ｄ―ｓτ＊ｄτ）／（１−ｓτ）・・・（式５）

で算出できる。このようにして求められた視差オフセット値から代表値を求め、距離の補正出力をおこなう。

図５に示した手法は任意の時系列における画像同士を比較するため、すべての組み合わせを見ようとすれば原理的にすべての過去のフレームの画像を記憶領域に保存する必要がある。そのため必要となる記憶領域が大きくなり、記憶領域の小さいシステムなどで問題となる。そのためには記憶する時系列を短くするなどの方法が考えられるが、他にも図６の方式を使用することができる。

図６では、現フレームで検出があり，前フレームの検出結果が有を判断した（ステップ６０１）場合に、現フレームと前フレームの画像同士から拡大率ｓを算出する（ステップ６０２）。算出後、その拡大率をｓｔとして、記憶領域（ステップ６０４）に保存する（ステップ６０３）。

記憶領域に保存される画像は現在の目標物体の画像と、前のフレームの目標物体の画像の２つでよい。但し、視差ｄｔと、拡大率ｓｔは過去フレームの履歴分必要である。

拡大率ｓｔの保存後、視差オフセットの算出フレームを選択する（ステップ６０６）。ここで選択されたフレームの集合をＫ＝｛κ１，κ２，κ３・・・｝とする。次にあるκ∈Ｋに対して着目したとき、ステップ６０６では、現在のフレームからκに至るまでの全てのフレームの拡大率を累積して累積拡大率ｓκと置くことができる。数式で表現すると以下のようになる。

ｓκ＝Πｓｋ・・・（式６）

但し、Πは総乗記号であり、ｋを現在のフレームからκのフレームで記録された拡大率までを全て時系列順に乗算するものである。このｓκを用いると、視差オフセットは以下の様に計算される（ステップ６０７）。

εｄ＝（ｄ―ｓκ＊ｄκ´））／（１−ｓκ）・・・（式７）

但し、ｄκ´はｄκのひとつ前に登録された視差である。すなわちκ´＝κ―１である。これらの計算を繰り返して、最終的な視差オフセットを求める。図６に示した手法によれば、毎フレームの画像を記憶領域に保存する代わりに、２フレーム間の拡大率のみを毎フレーム保存することで、使用する記憶領域を小さくすることが挙げられる。

次に目標となる物体が傾いた場合の幾何変換について述べる。例を図７に示す。図６はあるフレームでは背面が見えていた車両（ステップ７０１）が次のフレームでは背面が傾いた（ステップ７０２）様子を示す。ステップ７０３、ステップ７０４はそれを四角形に置き換えた変換であり、長方形から台形の変換になる。ステップ７０５、ステップ７０６は、各画像領域に対応する視差の分布であり、四角の内部の数値が視差値を示す。この二つのフレーム間の変形は例えば以下の式を最小化するＷを求めることで可能となる。

Ｅ＝Σ（Ｊ（Ｗ（ｘ，ｙ））―Ｉ（ｘ，ｙ））^２

但し、Ｗはｘ、ｙを射影変換する記号であり、座標（ｘ、ｙ）を入力として以下の操作を行い（ｘ´，ｙ´）を出力する。

（ｘ´，ｙ´，１）^Ｔ＝Ａ（ｘ，ｙ，１）^Ｔ

但し、ここでＴは行列の転置を示しＡは３×３の行列を示す。射影変換はこの行列Ａで示される。この射影変換のパラメータは画像照合部で求めることが可能である。前述した拡大率もこの射影変換の式で表すことができ，以下の式になる。

Ａ＝（ｓ ０ ０；０ ｓ ０；０ ０ １）

但し、；は行と行の区切り記号を表す。

一方、射影変換のパラメータは各点における距離を求めることができれば算出可能である。距離は視差から算出可能であるから、視差分布の差異から射影変換Ａ´を求めることも可能である。しかしここで求まった射影変換Ａ´は視差オフセットを含むことから、ＡとＡ´の関係から視差オフセットを推定することができる。

この方式は図４〜図６を流用することができ、視差（ｄ）の代わりに記憶領域に保存するものが視差の２次元分布に置き換わる。（式６）に関してはスカラー積の代わりに行列積を用いる。

以上の実施例によれば、撮像手段と、一対の画像取得部と、前記一対の画像取得部で得られた画像に基づいて被写体の視差を算出して視差画像を得る視差画像取得部と、前記画像と前記視差画像とに基づいて物体を検出する物体検出部と、前記物体の視差を推定する物体視差推定部と、前記物体視差推定部によって得られた視差と前記物体検出部によって検出された前記物体の画像領域を保存する記憶部と、異なる時刻に撮像された前記物体の画像同士の照合を行う画像照合部と、視差オフセットを算出する視差オフセット推定部と、前記視差オフセット推定部の推定した視差に基づいて前記物体の距離を補正する距離出力部と、を備え、前記画像照合部は、現フレームと過去フレームで同一物体が映っている画像領域で、一方の画像領域を幾何変形して、変形後の画像ともう一方の画像を比較して類似度が高くなる幾何変形を求める。

また、前記画像照合部は、記憶領域に保持された任意のフレームの二画像間の幾何変形を算出し、前記視差オフセット推定部は、前期画像照合部が算出に用いたフレームに対応する時刻に保存された視差を用いて視差オフセットを推定する。

また、前記視差オフセット推定部は、視差オフセット算出時に使用する前記画像照合部の結果である幾何変形及び視差の少なくともいずれかの値に基づいて推定の可否を判断する。

また、前記画像照合部で求める幾何変形は画像同士の拡大率である。

また、前記画像照合部で求める幾何変形は画像同士の台形変形である。

また、前記画像照合部に用いる対象物は平面である。

また、前記記憶部は、前記画像照合部で求められた幾何変形を保存して、前記視差オフセット推定部は、推定対象となる時間帯における過去から現在の時刻までに算出された幾何変形の総積と、過去と現在の時刻における視差から視差オフセットを推定する。

以上の実施例によれば、物体の特定の２点間の距離や面積の測定が困難な場合においても、２フレーム間の画像同士を直接照合することにより視差オフセットを推定可能とし、距離誤差や相対速度誤差の少なく信頼性の高い外界センサーを提供することができる。

１０１，２０１ ステレオカメラ（撮像手段）、１０２ 車両、１０４ 車両制御部、２０２ 左画像取得部、２０３ 右画像取得部、２０４ 視差画像取得部、２０５ 物体検出部、２０６ 物体視差推定部、２０７ 記憶領域（記憶部）、２０８ 画像照合部、２０９ 視差オフセット推定部、２１０ 距離出力部。

Claims (7)

1. 撮像手段と、
   一対の画像取得部と、
   前記一対の画像取得部で得られた画像に基づいて被写体の視差を算出して視差画像を得る視差画像取得部と、
   前記画像と前記視差画像とに基づいて物体を検出する物体検出部と、
   前記物体の視差を推定する物体視差推定部と、
   前記物体視差推定部によって得られた視差と前記物体検出部によって検出された前記物体の画像領域を保存する記憶部と、
   異なる時刻に撮像された前記物体の画像同士の照合を行う画像照合部と、
   視差オフセットを算出する視差オフセット推定部と、
   前記視差オフセット推定部の推定した視差に基づいて前記物体の距離を補正する距離出力部と、
   を備え、
   前記画像照合部は、現フレームと過去フレームで同一物体が映っている画像領域で、一方の画像領域を幾何変形して、変形後の画像ともう一方の画像を比較して類似度が高くなる幾何変形を求め、
   前記視差オフセット推定部は、前記画像照合部で求めた前記幾何変形と、前記物体視差推定部で推定された現フレームおよび過去フレームの前記物体の視差と、に基づいて、視差オフセットを算出する
   ことを特徴とする、ステレオ画像処理装置。
2. 請求項１に記載のステレオ画像処理装置において、
   前記画像照合部は、記憶領域に保持された任意のフレームの二画像間の幾何変形を算出し、
   前記視差オフセット推定部は、前期画像照合部が算出に用いたフレームに対応する時刻に保存された視差を用いて視差オフセットを推定する
   ことを特徴とするステレオ画像処理装置
3. 請求項１に記載のステレオ画像処理装置において、
   前記視差オフセット推定部は、視差オフセット算出時に使用する前記画像照合部の結果である幾何変形及び視差の少なくともいずれかの値に基づいて推定の可否を判断する
   ことを特徴としたステレオ画像処理装置。
4. 請求項１に記載のステレオ画像処理装置において、
   前記画像照合部で求める幾何変形は画像同士の拡大率である
   ことを特徴としたステレオ画像処理装置。
5. 請求項１に記載のステレオ画像処理装置において、
   前記画像照合部で求める幾何変形は画像同士の台形変形である
   ことを特徴としたステレオ画像処理装置。
6. 請求項３に記載のステレオ画像処理装置において、
   前記画像照合部に用いる対象物は平面である
   ことを特徴としたステレオ画像処理装置。
7. 請求項１に記載のステレオ画像処理装置において、
   前記記憶部は、前記画像照合部で求められた幾何変形を保存して、
   前記視差オフセット推定部は、推定対象となる時間帯における過去から現在の時刻までに算出された幾何変形の総積と、過去と現在の時刻における視差から視差オフセットを推定する
   ことを特徴としたステレオ画像処理装置。

Images