JP3679988B2

JP3679988B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP3679988B2
Application number: JP2000296836A
Authority: JP
Inventors: 隆三岡田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-09-28
Filing date: 2000-09-28
Publication date: 2005-08-03
Anticipated expiration: 2020-09-28
Also published as: JP2002112252A; US20020036692A1; US7015952B2

Description

【０００１】
【発明の属する技術分野】
本発明は、自動車などの車両に代表される移動体に取り付けられたカメラの画像の揺れを補正する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
一般に、移動体が移動すると接地面の凹凸や自らの操舵によって揺れが発生する。この揺れは、ＴＶカメラから入力される画像列を用い、画像の各点の動きベクトル（オプティカルフロー）を解析して障害物を検出する装置（特願平１１−０９３８８０、Ｎ．Ｔａｋｅｄａ，ｅｔ．ａｌ．， “ＭｏｖｉｎｇＯｂｓｔａｃｌｅＤｅｔｅｃｔｉｏｎＵｓｉｎｇＲｅｓｉｄｕａｌＥｒｒｏｒｏｆＦＯＥＥｓｔｉｍａｔｉｏｎ”，Ｐｒｏｃ．ｏｆＩＲＯＳ，ｐｐ．１８５７−１８６５，１９９３）では、障害物の誤検出の原因となる。そのため、ＴＶカメラの揺れを事前に補正する必要がある。
【０００３】
ＴＶカメラの揺れを補正するためには、まず、ＴＶカメラの揺れを検出しなければならないが、そのために角速度センサーなど別の付加装置を必要とする方式（特号第２９２３１０２号）と、得られた画像内の変化を調べる方式（特許第２６７６９７８号）がある。また、揺れを補正する方法としては、ＴＶカメラにアクチュエータ（特許第２６１２３７１号）や可変頂角プリズム（特許第２８８２４２５号）などを取り付けて光学的に揺れを補正する方式と、得られた揺れ量に基づいて画像をシフトしたり一部分を切り出すことによってソフトウェア的に揺れを補正する方式（特許第２９３６７９３号）がある。
【０００４】
【発明が解決しようとする課題】
移動体にＴＶカメラを取り付けて、障害物を検出するような応用を考えると、得られた画像から撮像系の揺れ量を検出しソフトウェア的に揺れを補正する方式の方が、可動機構の存在による耐久性の低下や、ＴＶカメラ以外の装置を加えることによるコストの上昇がないため有利であると言える。
【０００５】
また、移動体に取り付けたＴＶカメラの映像は、移動体が高速で移動することによって、画面内のほとんどの領域が激しく変化している。
【０００６】
このような画像に対して、画像内の領域の動きベクトルを求めても（特許第２８１３３９５号）、その動きが揺れによるものなのか、移動体の移動によるものなのか分からないという問題がある。
【０００７】
本発明は、上記事情を考慮してなされたもので、自動車等の移動体に取り付けられたＴＶカメラ等で、移動体の前方または後方を観測して画像処理（例えば障害物検出など）を行う場合に、ＴＶカメラ等の映像を、路面の凹凸や操舵による揺れの影響の無い画像に補正する画像処理装置及び画像処理方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る画像処理装置は、実空間を移動する移動物体に取り付けられた時系列画像を得る画像入力手段と、この画像入力手段によって取り込まれた前記時系列画像について、前記移動物体の回転移動に起因する、該時系列画像の横方向の揺れを検出するために用いる画像領域として、消失点のｘ座標の近傍のｘ座標を有する範囲に制限された第1の画像領域を選択するとともに、前記移動物体の回転移動に起因する、該時系列画像の縦方向の揺れを検出するために用いる画像領域として、消失点のｙ座標の近傍のｙ座標を有する範囲に制限された第２の画像領域を選択する画像領域選択手段と、この画像領域選択手段によって選択された前記第1の画像領域内での画像の縦方向の揺れ量を検出するとともに、前記第２の画像領域内での画像の横方向の揺れ量を検出する揺れ検出手段と、この揺れ検出手段によって検出された前記縦方向の揺れ量及び前記横方向の揺れ量に基づいて、前記時系列画像の前記移動物体の回転移動に起因する揺れを補正する揺れ補正手段とを具備したことを特徴とする。
【００１２】
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムを記録したコンピュータ読取り可能な記録媒体としても成立する。
【００１３】
一般にカメラ画像においてカメラの光軸に平行な直線群がある一点で交わるように見える。この点のことを消失点と呼ぶ。本発明は、移動体の前方または後方を観測しているＴＶカメラからの画像列において、消失点を含む特定の領域で、路面の凹凸や操舵による揺れ以外の自車両の平行移動に伴う画像の時間的変化が微小となることに着目したものである。この領域内で検出した画像の各画素の移動ベクトル（オプティカルフロー）を解析することによって揺れ量である回転移動成分を算出し、この揺れ量を０にするように画像を補正する。
【００１４】
本発明によれば、移動体に取り付けられた移動体の前方または後方を観測するＴＶカメラの画像を、路面の凹凸や操舵による揺れの影響の無い画像に補正すことが可能となり、このような画像を用いた画像処理（例えば障害物検出など）を行う場合の誤動作の軽減に貢献する。
【００１５】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
【００１６】
図１に、本発明の一実施形態に係る移動体の揺れ補正画像処理装置の基本的な構成例を示す。図１に示されるように、本実施形態の移動体の揺れ補正画像処理装置は、画像入力部１、画像領域選択部２、揺れ検出部３、揺れ補正部４を備えている。また、図２に、揺れ検出部３の内部構成例を示す。
【００１７】
本処理装置は、概略的には、まず、消失点または消失点の近傍を視野内に含む画像が取得可能な装置である画像入力部１によって得られた画像列（図４参照）から、画像領域選択部２によって、路面の凹凸や操舵による揺れ以外の、自車両の平行移動に伴う画像の変化が微小となる領域を選択する（図５参照）。揺れ検出部３では、画像領域選択部２で選択された領域内で各画素の移動ベクトルを検出し、この移動ベクトルを解析することによって移動体の揺れ量を算出する。揺れ補正部４では、揺れ検出部３で算出された揺れ量を用いて、揺れが０となるように画像を修正する。
【００１８】
以下では、画像領域選択部２、揺れ検出部３、揺れ補正部４についてそれぞれ詳しく説明する。
【００１９】
なお、以下の記述で、Ｔ^→は、ベクトルＴを表すものとする。Ω^→、ｖ^→についても同様である。
【００２０】
まず、画像領域選択部２について説明する。
【００２１】
画像領域選択部２では、路面の凹凸や操舵による揺れ以外の、自車両の平行移動に伴う画像の変化が微小となる領域を選択する。
【００２２】
地面に対して、ＴＶカメラを取り付けた自車両が、速度Ｔ^→＝（Ｔ_ｘ，Ｔ_ｙ，Ｔ_ｚ）、角速度Ω^→＝（Ω_ｘ，Ω_ｙ，Ω_ｚ）で運動している場合、つまり、図３ではカメラ中心を原点とする座標系Ｏ_ｃ−ＸＹＺ（カメラ座標系）が地面に固定な座標系Ｏ_ω−ＸＹＺ（世界座標系）に対して速度Ｔ^→、角速度Ω^→で運動している場合、ある点Ｐ^→の画像平面への投影点ｐ^→＝（ｘ，ｙ）の画像上での速度ｖ^→＝（ｕ，ｖ）は次式のようになる。
【００２３】
ｕ＝(xy/f)Ω_x−((x²+f²)/f)Ω_y＋yΩ_z−(f/Z)Ｔ_x＋(x/Z)Ｔ_z
ｖ＝((y²+f²)/f)Ω_x−(xy/f)Ω_y−xΩ_z−(f/Z)Ｔ_y＋(y/Z)Ｔ_z （１）
ここで、Ｚは点Ｐ^→のカメラ座標系での奥行きを示す。また、焦点距離ｆは既知とする。
【００２４】
上式においてＺを無限大に近づけると、並進の項が０となり、次式のように残るのは角速度の項のみとなる。
【００２５】
ｕ＝(xy/f)Ω_x−((x²+f²)/f)Ω_y＋yΩ_z
ｖ＝((y²+f²)/f)Ω_x−(xy/f)Ω_y−xΩ_z （２）
このようにＺが大きい画像領域内の変化は、自車両の揺れである回転運動成分（Ω_ｘ，Ω_ｙ，Ω_ｚ）の影響が支配的となる。
【００２６】
地面の上を走行中の移動体に取り付けられたカメラの場合、画像中では無限に広がる地面はある直線に収束する。この直線は地平線と呼ばれるが、一般に画像中で無限に広がる平面が収束する直線のことを消失線と呼ぶ。
【００２７】
この消失線付近ではＺが大きくなっているので、消失線付近の画像の変化は、自車両の揺れによる影響が支配的となる。
【００２８】
そこで、基本的には、消失線とその周辺を含む領域を揺れ検出のための領域として選択する。実際の応用例として、例えば図４のように自動車が道路を走行している場合を考えると、画像の縁に近い領域は建物など自車両に近い物体が存在することが多いので、図４中の選択領域のように消失点に近い領域を設定する。
【００２９】
このとき、消失線のおよその位置はカメラを移動体に取り付けたときに既知となることが多いので、カメラ取り付け時に消失線の位置を決めておくことができる。
【００３０】
また、入力された画像を用いて、例えば地面上の平行な直線の交点から消失点を求めて、消失線を決定することもできる。
【００３１】
選択領域の設定は、以下のような方法がある。
・消失線を含む領域をあらかじめ決めておく。
・自車両の速度が速い場合は領域が小さくなり、遅い場合は領域が大きくなるよう、自車両の速度に応じて選択領域の大きさを変化させる。
【００３２】
移動体の運動やカメラの取り付け方によっては、より広い選択領域を設定することも可能である。
【００３３】
移動体の並進運動のＴ_ｘ成分が微小で、画像中心（画像上の原点）のｘ座標と消失点のｘ座標がほぼ等しい、つまりｘが０に近い場合、式（１）のｕに関する式は次式のようになる。
【００３４】
ｕ＝−ｆΩ_y＋ｙΩ_z （３）
また、並進運動のＴ_y成分が微小で、画像中心（画像上の原点）のｙ座標と消失点のｙ座標がほぼ等しい、つまりｙが０に近い場合、式（１）のｖに関する式は次式のようになる。
【００３５】
ｖ＝ｆΩ_x−ｘΩ_z （４）
画像中の消失点の座標と画像中心が等しくなるのは、ＴＶカメラの光軸を自車両の進行方向と平行に取り付けた場合である。
【００３６】
これらの場合にも、画像上の変化は自車の揺れである回転成分（Ω_ｘ，Ω_ｙ，Ω_ｚ）の影響が支配的とる。
【００３７】
これらの場合には、奥行きＺが大きいという条件が無いため、自車両の近くに別の静止物体があってもよい。そのため、例えば図５のように、ｘの絶対値が小さい画像領域、またはｙの絶対値が小さい画像領域を選択することができる。
【００３８】
図５において、選択領域１は、並進運動のＴ_ｘ成分が微小で、画像中心のｘ座標と消失点のｘ座標がほぼ等しい場合の、ｕ成分に関する選択領域である。
【００３９】
選択領域２は、並進運動のＴ_ｙ成分が微小で、画像中心のｙ座標と消失点のｙ座標がほぼ等しい場合の、ｖ成分に関する選択領域である。
【００４０】
次に、揺れ検出部３について説明する。
【００４１】
図２に示されるように、揺れ検出部３は、移動ベクトル検出部３１と揺れ量算出部３２を含む。
【００４２】
移動ベクトル検出部３１は、入力画像の任意の時刻における基準画像と、この基準画像と比較して時間的に前の画像または後の画像との間の、選択領域内の各画素の移動ベクトル（オプティカルフロー）を、計算する。この計算は、既知の方法によって構わない。基準画像は、移動ベクトルの大きさが所定の大きさを越えた場合か、または、現在の時刻と基準画像が撮影された時刻の差が所定の大きさより大きくなったときに、最新の画像に更新する。
【００４３】
揺れ量算出部３２では、移動ベクトル検出部３１で検出された移動ベクトルから揺れの大きさを計算する。
【００４４】
選択領域内の各画素で式（２）が成り立つので、最小二乗法などの最適化手法を用いてΩ_ｘ，Ω_ｙ，Ω_ｚを推定する。これが求める揺れ量である。
【００４５】
画像領域選択部２で述べたように、図５のような選択領域を設定できる場合も式（３）、（４）を用いて同様に最小二乗法などの最適化手法によって揺れ量を求める。
【００４６】
次に、揺れ補正部４について説明する。
【００４７】
揺れ補正部４では、揺れ検出部３で算出した揺れ量を用いて、入力画像を補正して揺れのない画像を生成する。
【００４８】
揺れ検出部３で設定した基準フレームに対して、揺れのない画像を生成するには、揺れ検出部で計算された揺れ量（Ω_ｘ，Ω_ｙ，Ω_ｚ）を用い、基準フレームから現在のフレームまでの各画素の移動量を式（２）によって計算し、この移動量が０となるように現在の画像を補正して出力する。
【００４９】
全体の処理の流れをフローチャートに表すと、図６のようになる。まず、基準画像を初期画像に設定する（ステップＳ１）。以降は、繰り返し処理となる。すなわち、画像を入力し（ステップＳ２）、揺れを検出する画像領域を選択し（ステップＳ３）、移動ベクトルを算出し（ステップＳ４）、揺れ量（Ω_ｘ，Ω_ｙ，Ω_ｚ）を算出し（ステップＳ５）、現在の画像を修正し（ステップＳ６）、揺れ量または時間経過が閾値以上ならば（ステップＳ７）、基準画像を現在の画像に設定し（ステップＳ８）、これら一連の処理を繰り返し行う。
【００５０】
ところで、初期フレーム対して揺れの無い画像を生成するには、初期フレームからの揺れ量（Ω’_ｘ，Ω’_ｙ，Ω’_ｚ）を計算する必要がある。
【００５１】
この場合は、初期フレームから揺れ検出部３で設定した基準フレームまでの揺れ量（ω_ｘ，ω_ｙ，ω_ｚ）を記憶しておき、次式で初期フレームまたは任意のフレームからの揺れ量を計算する。
【００５２】
Ω’_ｉ＝ω_ｉ＋Ω_ｉｉ＝ｘ，ｙ，ｚ（５）
ω_ｘ，ω_ｙ，ω_ｚは、初期フレームで０に初期化し、基準フレーム更新時に次式によって更新する。
【００５３】
ω_ｉ＝ω^P _ｉ＋Ω_ｉｉ＝ｘ，ｙ，ｚ（６）
ここでω^P _ｉは基準フレーム更新前のω_ｉを表す。
【００５４】
揺れ修正部ではΩ’_ｘ，Ω’_ｙ，Ω’_ｚを用いて各画素の移動量を式（２）で計算し、この移動量が０となるように現在の画像を補正して出力する。
【００５５】
なお、以上の各機能は、ソフトウェアとしても実現可能である。
また、本実施形態は、コンピュータに所定の手段を実行させるための（あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるための）プログラムを記録したコンピュータ読取り可能な記録媒体としても実施することもできる。
【００５６】
なお、本実施形態で例示した構成は一例であって、それ以外の構成を排除する趣旨のものではなく、例示した構成の一部を他のもので置き換えたり、例示した構成の一部を省いたり、例示した構成に別の機能を付加したり、それらを組み合わせたりすることなどによって得られる別の構成も可能である。また、例示した構成と論理的に等価な別の構成、例示した構成と論理的に等価な部分を含む別の構成、例示した構成の要部と論理的に等価な別の構成なども可能である。また、例示した構成と同一もしくは類似の目的を達成する別の構成、例示した構成と同一もしくは類似の効果を奏する別の構成なども可能である。
また、各種構成部分についての各種バリエーションは、適宜組み合わせて実施することが可能である。
また、各実施形態は、装置としての発明、装置内部の構成部分についての発明、またはそれらに対応する方法の発明等、種々の観点、段階、概念またはカテゴリに係る発明を包含・内在するものである。
従って、この発明の実施の形態に開示した内容からは、例示した構成に限定されることなく発明を抽出することができるものである。
【００５７】
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【００５８】
【発明の効果】
本発明によれば、移動物体の前方または後方を観測する画像を、路面の凹凸や操舵による揺れの影響の無い画像に補正することが可能となる。これによって、障害物検出などの画像処理における誤動作の回避に寄与することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る移動体の揺れ補正画像処理装置の構成例を示す図
【図２】揺れ検出部の内部構成例を示す図
【図３】座標系の配置について説明するための図
【図４】選択領域について説明するための図
【図５】条件がある場合の選択領域について説明するための図
【図６】同実施形態に係る移動体の揺れ補正画像処理装置の処理手順の一例を示すフローチャート
【符号の説明】
１…画像入力部
２…画像領域選択部
３…揺れ検出部
４…揺れ補正部
３１…移動ベクトル検出部
３２…揺れ量算出部

Claims

実空間を移動する移動物体に取り付けられた時系列画像を得る画像入力手段と、
この画像入力手段によって取り込まれた前記時系列画像について、前記移動物体の回転移動に起因する、該時系列画像の横方向の揺れを検出するために用いる画像領域として、消失点のｘ座標の近傍のｘ座標を有する範囲に制限された第 1 の画像領域を選択するとともに、前記移動物体の回転移動に起因する、該時系列画像の縦方向の揺れを検出するために用いる画像領域として、消失点のｙ座標の近傍のｙ座標を有する範囲に制限された第２の画像領域を選択する画像領域選択手段と、
この画像領域選択手段によって選択された前記第 1 の画像領域内での画像の縦方向の揺れ量を検出するとともに、前記第２の画像領域内での画像の横方向の揺れ量を検出する揺れ検出手段と、
この揺れ検出手段によって検出された前記縦方向の揺れ量及び前記横方向の揺れ量に基づいて、前記時系列画像の前記移動物体の回転移動に起因する揺れを補正する揺れ補正手段とを具備したことを特徴とする画像処理装置。
前記第 1 の画像領域は、前記消失点を含む縦長の矩形領域であり、
前記第２の画像領域は、前記消失点を含む横長の矩形領域であることを特徴とする請求項１に記載の画像処理装置。
前記揺れ検出手段は、
前記画像領域選択手段で選択された前記第１の画像領域及び第２の画像領域の各々について、前記画像入力手段によって取り込まれた前記時系列画像のうちの任意の時刻における基準画像と、この基準画像に比較して時間的に先行または後続する画像との間における、前記画像領域選択手段で選択された当該画像領域内の各画素の移動ベクトルを計算する、移動ベクトル検出手段と、
この移動ベクトル検出手段によって前記第１の画像領域及び第２の画像領域の各々について検出された前記各画素の移動ベクトルに基づいて、前記縦方向の揺れ量及び前記横方向の揺れ量を計算する揺れ量算出手段とを含むことを特徴とする請求項１に記載の画像処理装置。
実空間を移動する移動物体に取り付けられた画像入力装置によって取り込まれた時系列画像について、該移動物体の回転移動に起因する、該時系列画像の横方向の揺れを検出するために用いる画像領域として、消失点のｘ座標の近傍のｘ座標を有する範囲に制限された第 1 の画像領域を選択するとともに、該移動物体の回転移動に起因する、該時系列画像の縦方向の揺れを検出するために用いる画像領域として、消失点のｙ座標の近傍のｙ座標を有する範囲に制限された第２の画像領域を選択し、
選択された前記第 1 の画像領域内での画像の揺れ量を検出するとともに、前記第２の画像領域内での画像の横方向の揺れ量を検出し、
検出された前記縦方向の揺れ量及び前記横方向の揺れ量に基づいて、前記時系列画像の前記移動物体の回転移動に起因する揺れを補正することを特徴とする画像処理方法。
コンピュータに、実空間を移動する移動物体に取り付けられた画像入力装置によって取り込まれた時系列画像について、該移動物体の回転移動に起因する、該時系列画像の横方向の揺れを検出するために用いる画像領域として、消失点のｘ座標の近傍のｘ座標を有する範囲に制限された第 1 の画像領域を選択するとともに、該移動物体の回転移動に起因する、該時系列画像の縦方向の揺れを検出するために用いる画像領域として、消失点のｙ座標の近傍のｙ座標を有する範囲に制限された第２の画像領域を選択させ、
選択された前記第 1 の画像領域内での画像の揺れ量を検出するとともに、前記第２の画像領域内での画像の横方向の揺れ量を検出させ、
検出された前記縦方向の揺れ量及び前記横方向の揺れ量に基づいて、前記時系列画像の前記移動物体の回転移動に起因する揺れを補正させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。