JP6670071B2 - 車両用画像認識システム、及び対応法 - Google Patents

Description

本発明は、車両用の画像認識システム、及び車両において画像を認識するための対応法に関する。

本発明は、車両、ロボット、視覚障害者や車椅子用の運動支援システムのような縁石のある表面上を動くいかなるシステムにも適用可能であるが、主として車両と組合せて記載する。

現代の車両においては、ドライバーに対し複数のドライバー支援システムが様々な支援機能を提供している。こうしたドライバー支援機能は、自動ワイパー作動機能から車両用半自動又は自動運転機能まで、多岐にわたる。

複雑なドライバー支援機能の場合、特に車両の半自動又は自動運転が関係している場合には、それぞれのドライバー支援システムは、例えば、自動的に車両を駐車させる際に衝突を回避するため、車両の周囲に関する情報を収集する必要がある。

こうしたドライバー支援システムでは、広範囲のセンサを採用して車両周囲のモデルを構築することができる。例えば、超音波距離センサを使用して車両と障害物との距離を計測することができる、あるいは、カメラを使用して障害物の位置と種類を検出することができる。

更に、半自動又は自動運転では、道路境界、又は道路上の縁石の検出が必要である。この場合、縁石は、あらゆる道路の物理的境界を表す。こうした境界を認知し、かかる境界を道路にペイントされた単純な線と区別することは、自動車制御システムのナビゲーション機能、例えば、車線保持、自立駐車、車輪や車体の損傷防止などにおいては不可欠である。

車両において縁石検出に使用されているセンサの主なタイプは、機械的センサ、赤外線センサ、超音波センサ、レーザースキャナー、及び３Ｄカメラである。

各タイプのセンサには、例えば、分解能、精度、応答時間、消費電力、及びコストに関し、それぞれ適用限界がある。

３Ｄカメラに基づくソリューションは通常、かなり正確に縁石を検出するが、必要とされるコンピューターアルゴリズムは集約的画像加工を使用し、そのため、計算コストが高い。

３Ｄカメラに基づく縁石検出システムは、例えば、特許文献１に開示されている。

典型的な３Ｄカメラに基づく縁石検出システムは通常、以下を備える。
１）縁石仮説生成。このステップは単一の画像において実施され、標準的なエッジ検出器によって識別された近くにある平行な線分（エッジ）が集められて初期縁石仮説が形成される。
２）３Ｄにおける妥当性確認。このステップは、３Ｄカメラ又はステレオカメラを使用することで達成される。特徴マッチングアルゴリズムがステレオ装置の左右のカメラの画像を分析し、３Ｄ点の集合を生成する。縁石仮説線の両側の３Ｄ点集合を考慮すると、これらの点集合の間に実際の３Ｄ段差があるかどうかを判定することができる。３Ｄ段差が存在する場合、候補線が縁石として分類される。そうでない場合、候補線はその場の何らかの平面物体に属し、例えば、道路表面にペイントされた路面表示の一部である可能性がある。
３）適時の妥当性確認。このステップは、ａ）検出された各縁石線の信頼度を増し、ｂ）短い縁石切片を接続して長い縁石モデルとし、ｃ）システムにおける追跡能力を確立し、次のフレームの縁石候補が前のフレームから予測される限局的領域において検索されるようにするために適用される。

このパイプライン処理の主要素は、ロバストモデル適合アルゴリズムによって縁石の主要特徴である３Ｄ段差を抽出することができる３Ｄ点クラウドを生成するステレオマッチングアルゴリズムである。こうしたアルゴリズムは、車両においては必ずしも利用可能ではない較正されたステレオ装置と共に使用する場合のみ使用可能であり、高度な計算能力を必要とする。

ドイツ特許公開第１０２０１１０５６６７１号明細書

従って、単純なカメラと共に使用可能であり、さほど計算能力を必要としない縁石検出システムを提供するための方法及び装置に対する必要性が存在する。

本発明は、請求項１に記載の画像認識システム、及び請求項１０に記載の対応法を提供する。

従って、本発明は、車両用画像認識システムであって、少なくとも二つのカメラユニットであって、それぞれが車両近傍の道路の画像を記録し、道路のそれぞれの画像を表す画像データを供給するように構成されているカメラユニット、少なくとも二つのカメラユニットによって供給された画像データ）を結合して第一の上方視点画像であって、道路画像平面に整合させた第一の上方視点画像とするように構成されている第一の画像処理装置、第一の上方視点画像から線を抽出するように構成されている第一の特徴抽出器、第一の上方視点画像及び第一の上方視点画像より前に第一の画像処理装置によって生成された第二の上方視点画像からオプティカルフローを抽出するように構成されている第二の特徴抽出器、及び抽出された線及び抽出されたオプティカルフローに基づき道路における縁石を検出し、検出された縁石を表す縁石データを供給するように構成されている縁石検出器を備える、車両用画像認識システムを提供する。

更に、本発明は、車両において画像を認識する方法であって、少なくとも第一のカメラユニットと第二のカメラユニットを用いて車両近傍の道路の少なくとも二つの異なる画像を記録すること、及び道路のそれぞれの画像を表す画像データを供給すること、供給された画像データを結合して第一の上方視点画像であって、道路画像平面に整合させた第一の上方視点画像とすること、第一の上方視点画像及び第一の上方視点画像より前に生成された第二の上方視点画像からオプティカルフローを抽出すること、抽出された線及び抽出されたオプティカルフローに基づき道路における縁石を検出すること、及び、検出された縁石を表す縁石データを供給することを含む方法を提供する。

本発明は、現代の車両は既に複数の単眼カメラを備え、現在、通常は単純にドライバー支援タスクに使用されているという結論に基づいている。

従って、本発明は、これを利用し、こうした単眼カメラの複数の画像を使用して複雑なドライバー支援タスクを実施するために必要な情報及びデータを供給する画像認識システムを提供する。

結果として、本発明は、二以上のカメラユニットを有する画像認識システムを提供する。カメラユニットのそれぞれは、車両近くの道路の画像を記録し、それぞれの画像を表す画像データを第一の画像処理装置に供給する。

第一の画像処理装置は、カメラユニットによって供給された画像データを結合して第一の上方視点画像とする。こうした上方視点画像は、高い位置から見た車両周囲の道路の記録された部分を表す。

次いで、上方視点画像は、第一の上方視点画像における可視の線を抽出する第一の特徴抽出器によって処理される。上方視点画像中の線は、実際の縁石、又は、例えば、道路表面にペイントされた線に起因する可能性がある。従って、第一の上方視点画像中の線は、有力な縁石候補として扱われる。

第二の特徴抽出器は、第一の上方視点画像及び第一の上方視点画像より前に生成された第二の上方視点画像からオプティカルフローを抽出する。

最後に、縁石検出器は、抽出された線及び抽出されたオプティカルフローに基づいて道路における縁石を検出する。縁石検出器は、検出された縁石を表す縁石データを、例えば、車両をナビゲートしたり操舵したりするために縁石データを使用できる車両内の他の電気システムに供給する。縁石データは、それぞれの車両システムが道路上の縁石の位置を判定することを可能にするいかなる情報も含むことができる。

本発明の更なる実施形態は、更なる下位請求項及び図面を参照した以下の説明の主題である。

実現可能な実施形態においては、第一の特徴抽出器が、線抽出アルゴリズム、特に、ハフ変換アルゴリズムを実行するように構成されている、これにより、ほとんど計算の労力を要せずに単純で高速の線抽出が可能となる。

実現可能な実施形態においては、第二の特徴抽出器が、特に、特徴マッチング又はブロックマッチングの技術を用い、第一の上方視点画像及び第二の上方視点画像からの疎なオプティカルフローの検出に基づいてオプティカルフローをオプティカルフローベクトルの第一の集合として抽出するように構成されている、これにより、非常に単純で計算コスト効率が高いアルゴリズムを用いて画像における変化を検出することが可能となる。

実現可能な実施形態においては、縁石検出器が、オプティカルフローベクトルの第一の集合を、検出された線全てについて、オプティカルフローベクトルの第一の部分集合とオプティカルフローベクトルの第二の部分集合とに分離するように構成され、各検出された線について、オプティカルフローベクトルの第一の部分集合が、それぞれの検出された線に対し車両と同じ側に位置するフローベクトルを表し、各検出された線について、オプティカルフローベクトルの第二の部分集合が、それぞれの検出された線に対し車両と反対の側に位置するフローベクトルを表す。これにより、それぞれが可能性のある縁石の一方の側を表すフローベクトルの二つの部分集合が供給され、可能性のある縁石の両側を別々に分析することが可能になる。

実現可能な実施形態においては、縁石検出器が、検出された全て線について、フローベクトルのそれぞれの第一の部分集合及びオプティカルフローベクトルのそれぞれの第二の部分集合が同一の表面に属するかどうかテストし、オプティカルフローベクトルのそれぞれの第一の部分集合及びオプティカルフローベクトルのそれぞれの第二の部分集合が同一の表面に属する場合に縁石を検出するように構成されている。二つの部分集合が同一の表面に属するかどうかを分析することで、フローベクトルの部分集合が高さ又は向きの異なる表面に属するかどうかを容易に検出することが可能になる。

実現可能な実施形態においては、縁石検出器が、オプティカルフローベクトルの第一の部分集合及び／又はオプティカルフローベクトルの第二の部分集合のテストに先立ち、オプティカルフローベクトルの第一の部分集合及びオプティカルフローベクトルの第二の部分集合のアウトライアを検出し、削除するように構成されている。特徴マッチングにおいて可能性のある大きなエラー及び独立して動く物体が存在する可能性のため、フローベクトルの中には不正確なものもある。これらの誤りのあるフローベクトルは、「アウトライア」と呼ばれる。一方、正しく検出されたフローベクトルは、「インライア」と呼ばれる。「アウトライア」を除外すると、縁石検出の向上が可能となり、より堅固な結果がもたらされる。

実現可能な実施形態においては、縁石検出器が、オプティカルフローベクトルの第一の集合に基づき、特に、フローベクトルの第一の集合のインラインベクトルに基づき、特に、回転及び並進を含む適合大域的運動モデル（ｆｉｔｔｅｄ ｇｌｏｂａｌ ｍｏｔｉｏｎ ｍｏｄｅｌ）を少なくとも計算するように構成されている運動モデル計算器を備え、縁石検出器が、少なくとも一つの適合大域的運動モデルに基づき、検出された線全てについてそれぞれの第一の部分集合についての第一のノイズ分布とそれぞれの第二の部分集合についての第二のノイズ分布を計算し、第一のノイズ分布と第二のノイズ分布の差が所定の閾値を超える場合にそれぞれの線の位置に縁石を検出するように構成されている。これにより、ほとんど計算の労力を要せずに縁石の検出が可能となる。

実現可能な実施形態においては、縁石検出器が、異なる時点において検出された縁石の位置とそれぞれの適合大域的運動モデルとを保存するように構成されているメモリを備え、縁石検出器が、保存された検出された縁石の位置とそれぞれの適合大域的運動モデルとを結合してそれぞれの縁石のより強固な証拠を伴う縁石検出を実現するように構成されている。

実現可能な実施形態においては、画像認識システムが単一のカメラユニットのみを備え、第一の画像処理装置が、車両が運動中に単一のカメラユニットにより連続して記録された二つの画像に基づく二つの連続した画像データの集合に基づき第一の上方視点画像を生成するように構成されている。これにより、単一のカメラのみで縁石を検出することが可能となる。

本発明のこの態様及び他の態様は、以下に記載の実施形態を参照することで明らかになり、解明されるであろう。

本発明とその利点のより完全な理解のため、添付図面を併用しながら以下の説明に言及する。以下、図面の概略図に明示される例示的実施形態を用いて本発明をより詳細に説明する。

本発明による画像認識システムの実施形態のブロック図 本発明による方法の実施形態の図 本発明による画像認識システムの別の実施形態のブロック図 本発明の実施形態において使用される上方視点画像の図 本発明の実施形態において使用される上方視点画像の図 本発明の実施形態において使用される上方視点画像の図 本発明の実施形態において使用される上方視点画像の図

図面においては、特に断らない限り同様の参照符号は同様の要素を示している。

図１は、は、本発明による画像認識システム１の実施形態のブロック図を示す。

図１の画像認識システム１は、車両２に搭載されるもので、車両２の前部に搭載されて道路（又は車両が載る、又は走る他の任意の表面の画像）を記録し、それぞれの画像データ４−１、４−２を第一の画像処理装置５に供給する２つのカメラユニット３−１、３−２を備える。第一の画像処理装置５は、画像データ４−１、４−２を結合して第一の上方視点画像６とする。画像データ４−１、４−２の基礎を形成する画像間に重複部は必要ない。

第一の画像処理装置５は、画像データ４−１、４−２を道路平面におけるグローバルグリッドと整合させることができる。代替法としては、それぞれのカメラユニット３−１、３−２が画像データをグローバルグリッドと整合させることができる。こうした整合により、抽出された特徴、例えば、オプティカルフローベクトル及び縁石線候補の全てを共通の座標系において分析することが可能となる。

道路平面におけるグローバルグリッドへのマッピングは、以下の計算に基づいて実施できる。その際、ｉ番目の画像データＰ_ｉの画素（ｎ，ｍ）が道路平面上の３Ｄ点に対応する：

式中、（ｎ_ｉ，ｍ_ｉ）は、それぞれの画像データ４−１、４−２の原点の整数座標であり、Ｎ_ｉ，Ｍ_ｉは、それぞれの画像データ４−１、４−２の大きさであり、ｄは、それぞれの上方視点画像の画素の地上分解能である。一実施形態においては、例えば、分解能ｄ＝１ｃｍを使用できる。

３Ｄ点は、それらの画素座標ｐ＝（ｘ，ｙ）を得るため、カメラユニット３−１、３−２の既知の外部及び内部較正データを用い、方程式（２）によって原画像に投影される。

次いで、投影された点Ｉ（ｘ，ｙ）の補間画素値が上方視点画像内の画素Ｐに割り当てられる。

投影方程式は、

であり、式中、Ｒ_ｃはカメラセンサ平面の道路平面に対する回転の３×３行列であり、ｔ_ｃはカメラ中心の車両座標システムの原点に対する並進である。

Ｋ_ｃは、カメラ中心からの光線をセンサ内の画素へとマッピングする内部較正関数である。例えば、ピンホールカメラの場合は上三角行列を用いた乗算である。魚眼カメラの場合は、非線形多項式関数である。

次いで、第一の上方視点画像６が第一の特徴抽出器７及び第二の特徴抽出器９に供給される。

第一の特徴抽出器７は、第一の上方視点画像６から線８を抽出する。それぞれの抽出された線８の位置では道路のそれぞれの区間に縁石が存在する可能性があるため、抽出された線８は、縁石候補として扱うことができる。

一例においては、縁石候補線８は、画像における直線のパラメーター（ａ，ｂ，ｃ）を出力するハフ変換法によって抽出することができる：

ハフ変換法は、画像強度とその勾配のみを使用して線の証拠を検出し、そのため、実際の縁石と道路にペイントされた線とを区別できない。

本発明において使用されるハフ変換は、距離空間における線パラメーターと点座標とを供給し、そのため、値ｄ＝ａＸ＋ｂＹ＋ｃは、座標原点、例えば、車両中心Ｃから線における点（Ｘ，Ｙ）までの距離メトリックを示し、ベクトル（ａ，ｂ）は例えば、車両制御システムが使用できる線の向きを与える。

第二の特徴抽出器９は、第一の上方視点画像６と、第二の上方視点画像１１より前に記録された第二の上方視点画像１１から、オプティカルフロー１０を抽出する。一実施形態においては、第二の特徴抽出器９は、第一の画像処理装置５から受信した第一の上方視点画像６を順次保存するためのメモリ（図示せず）を備え、後にそれを第二の上方視点画像１１として使用してオプティカルフロー１０を計算する。

一実施形態においては、第二の特徴抽出器９は、オプティカルフロー１０を疎なオプティカルフロー１０として抽出するように構成されている。例えば、特徴点抽出に基づく特徴マッチングと２つの点集合間の対応の確立を使用して疎なオプティカルフロー１０を抽出することができる。通常、特徴点を中心とする画像ウィンドウ間の最大相関係数が、特徴の対応付けと局所的オプティカルフローベクトルとを決定する。

それに加え、又はそれに代わるものとして、ビデオフレームの均等な小ブロックへの分割に基づくブロックマッチングを使用して疎なオプティカルフロー１０を抽出することもできる。この方法は、例えば、検索ウィンドウ内で、第一の上方視点画像６から第二の上方視点画像１１の全ブロックの中の最もマッチするブロックを検索することを含む。

図４から７には、抽出された線８−１〜８−４と、対応するオプティカルフロー１０が詳細に示されている。

図１において、抽出された線８とオプティカルフロー１０は縁石検出器１２に供給され、縁石検出器１２は、抽出された線８とオプティカルフロー１０に基づき、例えば、車両２の中心に原点を持つメトリック座標系において検出された縁石を表す縁石データ１３を供給する。例えば、縁石データ１３は、ａＸ＋ｂＹ＋ｃ＝０というタイプの線方程式のための線パラメーターａ、ｂ及びｃを含む。

車両２においては、複数の車両システム２５（図１には図示せず）が縁石データ１３を利用することができ、例えば、それぞれの制御アルゴリズムに縁石データ１３を含むことができる。

一実施形態においては、画像認識システム１は、前記車両システム２５の一つに、例えば、それぞれの車両システムのプロセッサによって実行されるコンピュータープログラムモジュールやライブラリとして含まれ得る。

別の実施形態においては、画像認識システムは、例えば、ＣＡＮバス、ＦｌｅｘＲａｙバスなどの車両バスを介して他の車両システム２５と通信可能な専用の制御ユニットにおいて具体化される。更に別の実施形態においては、画像認識システム１の要素を様々な制御ユニット間に分散させることができる。

図２は、本発明による車両２における画像を認識する方法の実施形態の図を示す。

方法は、少なくとも第一のカメラユニット３−１〜３−６と第二のカメラユニット３−１〜３−６で車両２近傍の道路の少なくとも二つの異なる画像を記録することＳ１、及び道路のそれぞれの画像を表す画像データ４−１〜４−６を供給することを含む。更に、方法は、供給された画像データ４−１〜４−６結合して第一の上方視点画像６、６−１〜６−４であって、道路画像平面に整合させた第一の上方視点画像６、６−１〜６−４とすることＳ２を含む。方法は、第一の上方視点画像６、６−１〜６−４から線８、８−１〜８−４を抽出することＳ３、及び第一の上方視点画像６、６−１〜６−４及び第一の上方視点画像よりも前に生成された第二の上方視点画像１１からオプティカルフロー１０を抽出することＳ４を更に含む。最後に、方法は、抽出された線８、８−１〜８−４及び抽出されたオプティカルフロー１０に基づき道路における縁石を検出することＳ５、及び検出された縁石を表す縁石データ１３を、例えば、他の車両システム２５に供給することを含む。

本発明の一実施形態によると、線抽出アルゴリズム、特に、ハフ変換アルゴリズムを用いて線を抽出することができる。オプティカルフロー１０は、例えば、第一の上方視点画像６、６−１〜６−４及び第二の上方視点画像１１からの疎なオプティカルフロー１０の検出に基づき、オプティカルフローベクトルの第一の集合１４として抽出することができる。これは、特に特徴マッチング又はブロックマッチングアルゴリズムを使用して行うことができる。

オプティカルフローベクトルの第一の集合１４が抽出された後、オプティカルフローベクトルの第一の集合１４を、検出された線全てについてオプティカルフローベクトルの第一の部分集合１５とオプティカルフローベクトルの第二の部分集合１６とに分割することができる。これにより、複数の第一の部分集合１５と第二の部分集合１６が生じ、第一の部分集合１５と第二の部分集合１６の対の数は、検出された線の数に均しくなる。以下のステップは、検出された線８、８−１〜８−４の全てについて実行される。

部分集合は、オプティカルフローベクトルを、それぞれの検出された線に対し車両２と同じ側にある、第一の部分集合１５に含まれるフローベクトルの第一のグループと、それぞれの検出された線に対し車両２と反対側にある、第二の部分集合１６に含まれるフローベクトルの第二のグループとに分割する。これにより、線の両側を別々に分析することが可能になる。

第一の部分集合１５と第二の部分集合１６が供給される場合、縁石の検出は、検出された線全てについて、それぞれのフローベクトルの第一の部分集合１５とそれぞれのフローベクトルの第二の部分集合１６が同一表面に属するかどうかテストすることを含むことができる。縁石は、それぞれのフローベクトルの第一の部分集合１５とそれぞれのフローベクトルの第二の部分集合１６が同一表面に属さない場合に検出することができる。

縁石の検出を向上させるため、オプティカルフローベクトルの第一の部分集合１５とオプティカルフローベクトルの第二の部分集合１６におけるアウトライアを検出し、オプティカルフローベクトルの第一の部分集合１５とオプティカルフローベクトルの第二の部分集合１６のテストを行う前に削除することができる。

すると、縁石を検出することは、オプティカルフローベクトルの第一の集合１４に基づき、特に、フローベクトルの第一の集合１４のインラインベクトルに基づき、特に、回転と並進とを含む適合大域的運動モデル１８を少なくとも計算することを含むことができる。すると、検出された線８、８−１〜８−４全てについて、それぞれの第一の部分集合１５についての第一のノイズ分布１９と、それぞれの第二の部分集合１６についての第二のノイズ分布１９を計算することができ、第一のノイズ分布１９と第二のノイズ分布１９との差が所定の閾値Ｘを超える場合には、それぞれの線８、８−１〜８−４の位置に縁石を検出することができる。ノイズ分布１９は、適合大域的運動モデル１８に基づいて計算できる。

一実施形態においては、異なる時点に検出された縁石の位置を、それぞれの適合大域的運動モデル１８と共に保存することができる。更に、縁石を検出する際に、検出された縁石の保存された位置と、それぞれの適合大域的運動モデル１８を結合してそれぞれの縁石のより強固な証拠を伴う縁石検出を実現することができる。

図３は、は、本発明による画像認識システム１の別の実施形態のブロック図を示す。

図３の画像認識システム１は、図１の画像認識システム１に基づくものであるが、４つのカメラユニット３−３〜３−６を備え、１つのカメラユニット３−３〜３−６は、それぞれ車両２のそれぞれの側に向けられている。更に、図３の第二の特徴抽出器９は、フローベクトルの第一の集合１４を図３の縁石検出器１２に供給し、縁石検出器１２は、フローベクトルの第一の集合１４をフローベクトルの第一の部分集合１５と第二の部分集合１６とに分けるように構成されている。

第一の部分集合１５と第二の部分集合１６が同一の表面に属するかどうかテストするため、縁石抽出器１２は、運動モデル計算器１７を備え、これは、オプティカルフローベクトルの第一の集合１４に基づき適合大域的運動モデル１８を計算する。適合大域的運動モデル１８を計算する前に、縁石抽出器は、オプティカルフローベクトルの第一の集合１４から「アウトライア」を削除することができる。

大域的運動モデル１８に基づき、縁石検出器１２は、検出された線８、８−１〜８−４全てについて、それぞれの第一の部分集合１５についての第一のノイズ分布１９と、それぞれの第二の部分集合１６についての第二のノイズ分布１９を計算する。第一のノイズ分布１９と第二のノイズ分布１９の差が所定の閾値Ｘを超える場合に、縁石は、縁石検出器１２によってそれぞれの線８、８−１〜８−４の位置に検出される。

次いで、検出された縁石についての縁石データ１３が、例えば、制御システム２５とすることができる車両制御システム２５に供給され、車両２の自立的又は半自立的運転が実現される。

一実施形態においては、オプティカルフローベクトルの第一の集合１４を分けることは、以下に記載するように実施することができる。

線８、８−１〜８−４は、オプティカルフローベクトルを２つの部分集合１５、１６に分割する：

式中、｛ｖ｝_ｒｏａｄは、線８、８−１〜８−４に対し車両２と同じ側のオプティカルフローベクトルを表す。その結果、｛ｖ｝_{ｎｏｎ−ｒｏａｄ}は、線８、８−１〜８−４に対し車両２と反対側のオプティカルフローベクトルを表す。ここで、車両に言及すると、言及は車両の中心Ｃ＝（Ｃｘ，Ｃｙ）に及ぶ。フローベクトルの第一の集合１４の分離は、条件

によって与えられる。

２つの部分集合１５及び１６、又は｛ｖ｝_ｒｏａｄ及び｛ｖ｝_{ｎｏｎ−ｒｏａｄ}が異なる表面に属する場合、それぞれの検出された線８、８−１〜８−４は、縁石境界線である。

このテストの信頼性を高めるため、上記のようにして誤りのあるベクトル「アウトライア」をオプティカルフローベクトルの第一の集合１４及びオプティカルフローベクトルの第二の集合１５から全て除去することができる。アウトライアを検出するため、ＲＡＮＳＡＣ推定器により大域的運動モデル１８が当てはめられる。

第一の上方視点画像６と第二の上方視点画像１１との間の大域的運動は、回転角度と、二方向Ｘ及びＹにおける２Ｄ並進の３つの独立したパラメーターからなる。対応する大域的運動行列Ｈ＝［Ｒ｜Ｔ］は、２×２回転行列Ｒと、２×１並進ベクトルＴからなり、その結果、

に従い、第一の上方視点画像６における点（ｘ，ｙ）が第二の上方視点画像１１における別の点（ｘ’，ｙ’）へと移される。

第一の上方視点画像６及び第二の上方視点画像１１において点（ｓｘ，ｓｙ）と（ｓｘ＋ｖｘ，ｓｙ＋ｖｙ）とを結ぶオプティカルフローベクトルは、測定ノイズεの追加項を持つ式（７）の多数の実例を提供する：

適合大域的運動モデル１８は、以下のステップを有するＲＡＮＳＡＣアルゴリズムにより、過剰決定体系（８）から推定することができる：
（１）集合｛ｖ｝から２つのベクトルｖ１及びｖ２をランダムに選択する；
（２）候補運動Ｈをｖ１及びｖ２から直接見つける：
（３）｛ｖ｝の中のＨを満たすベクトルＮ_{ｉｎｌｉｅｒｓ}の数を数える；
（４）高い確率で最大のＮ_{ｉｎｌｉｅｒｓ}が見つかるまで（１）〜（３）を繰り返す；
（５）最小自乗極小化を用いて全てのインライアから最終適合大域的運動モデル１８を再度推定する。

運動ベクトルの第一の部分集合１５と運動ベクトルの第二の部分集合１６にＲＡＮＳＡＣを別々に適用することができ、結果的に運動行列Ｈ_ｒｏａｄ及びＨ_{ｎｏｎ−ｒｏａｄ}と、４つの互いに素なオプティカルフローベクトルの集合が生じる：

Ｈ_ｒｏａｄ＝［Ｒ_ｒｏａｄ｜Ｔ_ｒｏａｄ］が｛ｖ｝_{ｒｏａｄ，ｉｎｌｉｅｒｓ}から計算された道路運動の正しいモデルであると仮定すると、｛ｖ｝_{ｒｏａｄ，ｉｎｌｉｅｒｓ}及び｛ｖ｝_{ｎｏｎ−ｒｏａｄ，ｉｎｌｉｅｒｓ}からの位置情報のみを用いて新しいノイズフリーのオプティカルフローベクトルの第一の部分集合１５と第二の部分集合１６が計算できる：

オプティカルフローベクトルのベクトル長ｌは、

と定義される。実際のベクトルとそのノイズフリーバージョンとの長さの差は、

である。

縁石候補の妥当性確認の基準は、例えば、｛ｖ｝_{ｒｏａｄ，ｉｎｌｉｅｒｓ}と｛ｖ｝_{ｎｏｎ−ｒｏａｄ，ｉｎｌｉｅｒｓ}の集合に関して計算されるΔｌの経験分布に基づくものとすることができる。

これを以下の図において更に説明する。

図４〜６は、本発明の実施形態において使用される上方視点画像を示し、それぞれにはΔｌのそれぞれの分布と共に、検出された線８−１〜８−４が示されている。

図４において、第一の上方視点画像６−１中に縁石が存在し、検出された線８−１が実際の縁石境界線である。推定された運動モデルＨ_ｒｏａｄ及びＨ_{ｎｏｎ−ｒｏａｄ}は、道路と歩道という異なる平面の運動を記述する。

｛ｖ｝_{ｒｏａｄ，ｉｎｌｉｅｒｓ}及び｛ｖ｝_{ｒｏａｄ，ｉｎｌｉｅｒｓ，ｎｏｉｓｅ−ｆｒｅｅ}のベクトルは測定ノイズが異なり、その結果、｛ｖ｝_{ｒｏａｄ，ｉｎｌｉｅｒｓ}のベクトルに関するΔｌの分布は、ゼロ付近に集中する。

歩道は道路よりも高くなっているため、｛ｖ｝_{ｎｏｎ−ｒｏａｄ，ｉｎｌｉｅｒｓ}における全ベクトルは、｛ｖ｝_{ｎｏｎ−ｒｏａｄ，ｉｎｌｉｅｒｓ，ｎｏｉｓｅ−ｆｒｅｅ}よりも長く、そのため、カメラに近い。この非道路ベクトルのベクトル長の系統的増加により、Δｌヒストグラムは右側へ大幅に移動する。

図５において、第一の上方視点画像６−２の中に縁石が存在する。しかし、図４とは異なり、検出された候補線８−２は、道路と縁石の両方と交差している。

運動モデルＨ_ｒｏａｄ及びＨ_{ｎｏｎ−ｒｏａｄ}は、道路と歩道両方のオプティカルフローベクトルに基づいて推定される。従って、これらはどちらも存在しない平面の運動に相当し、道路と非道路ベクトルとの差を最小化するのに適している。

結果として、｛ｖ｝_{ｎｏｎ−ｒｏａｄ，ｉｎｌｉｅｒｓ}及び｛ｖ｝_{ｎｏｎ−ｒｏａｄ，ｉｎｌｉｅｒｓ，ｎｏｉｓｅ−ｆｒｅｅ}のベクトルは、測定ノイズと適合誤差を別にすれば等しくなる。

同じことが｛ｖ｝_{ｒｏａｄ，ｉｎｌｉｅｒｓ}及び｛ｖ｝_{ｒｏａｄ，ｉｎｌｉｅｒｓ，ｎｏｉｓｅ−ｆｒｅｅ}のベクトルにも当てはまる。図５におけるΔｌのヒストグラムはどちらも、ゼロ付近に集中し、それらの間に検出され得る系統的差異はない。

図６においては、第一の上方視点画像６−３中に縁石が存在するが、検出された候補線８−３は、道路に属している。この場合、Ｈ_ｒｏａｄ及びＨ_{ｎｏｎ−ｒｏａｄ}は異なる運動を記述する。Ｈ_{ｎｏｎ−ｒｏａｄ}は道路表面の正しい運動であるが、Ｈ_ｒｏａｄは、道路と歩道の平均化運動によって得られた存在しない平面の運動に相当する。従って、｛ｖ｝_{ｎｏｎ−ｒｏａｄ，ｉｎｌｉｅｒｓ}及び｛ｖ｝_{ｎｏｎ−ｒｏａｄ，ｉｎｌｉｅｒｓ，ｎｏｉｓｅ−ｆｒｅｅ}のベクトルは等しいが、縁石ベクトルは道路上側の平面の運動に相当するため、｛ｖ｝_{ｒｏａｄ，ｉｎｌｉｅｒｓ}の多くのベクトルは、｛ｖ｝_{ｒｏａｄ，ｉｎｌｉｅｒｓ，ｎｏｉｓｅ−ｆｒｅｅ}よりも長い。道路ベクトルについてのΔｌのヒストグラムは、わずかに右側に移動する。

最後に、図７では、第一の上方視点画像６−４には検出すべき縁石は存在しない。従って、検出された候補線８−４は、道路に属する。その結果、Ｈ_ｒｏａｄ及びＨ_{ｎｏｎ−ｒｏａｄ}は、道路表面の同一の正しい運動を記述する。この場合、｛ｖ｝_{ｒｏａｄ，ｉｎｌｉｅｒｓ}及び｛ｖ｝_{ｒｏａｄ，ｉｎｌｉｅｒｓ，ｎｏｉｓｅ−ｆｒｅｅ}のベクトルは測定ノイズを別にすれば等しいため、Δｌの両ヒストグラムは類似したものになり、同じことが非道路部分についても当てはまる。

一実施形態においては、線候補が縁石であると実証するため、「Δｌ_{ｎｏｎ−ｒｏａｄ}の分布がΔｌ_ｒｏａｄの分布と比較して右に移動する」という条件を評価することができる。

この移動は小さく１〜２画素程度に過ぎないかもしれず、また、異なる分布の形のため、統計値、例えば平均値や分散から計算することはできない。

従って、こうした場合のためにデザインされた、コルモゴルフ・スミルノフ検定Ｋ−Ｓを使用することができる。

検出された線Ｌ、８、８−１〜８−４に対するＫ−Ｓ統計値は、

と定義される。式中、ｎ_{ｒｏａｄ、ｎｎｏｎ−ｒｏａｄ}はそれぞれ｛ｖ｝_{ｒｏａｄ，ｉｎｌｉｅｒｓ}及び｛ｖ｝_{ｎｏｎ−ｒｏａｄ，ｉｎｌｉｅｒｓ}のベクトルの数であり、Ｆは、それぞれのΔｌのヒストグラムを積算することにより得られた累積分布である。

Ｋ−Ｓ（Ｌ）が０よりも大きい閾値ｘよりも大きい場合、それぞれの線Ｌ、８、８−１〜８−４は縁石であると考えられ、それぞれの線Ｌ、８、８−１〜８−４に対応する行列Ｈ_ｒｏａｄは、現在のフレームにおける道路の正しい運動を表すと考えられる。

閾値は、コルモゴロフ分布の臨界値の表から取る、又は経験的に選択することができる。

互いの近くに多くの平行な候補線８、８−１〜８−４が検出された場合、最良の候補線Ｌ、８、８−１〜８−４がＫ−Ｓ（Ｌ）統計値から以下のように選択される：

記載したステップにより、検出された線又は縁石境界線の集合が生成される。

検出結果をより安定させ、より強固な縁石の証拠を得るため、既に上記に示したように、オブジェクトクラスタリングを適時に実施することができる。大域的運動行列Ｈ_ｒｏａｄが画素を現在の上方視点画像ｍから一つ前の上方視点画像ｍ−１へと移行させる。こうした移行をＨ_{ｍ−１，ｍ}によって表すと、現在の第一の上方視点画像６と先行する第二の上方視点画像１１いずれかとの間の移行は、一連の行列積として記述できる：

点［ｘ，ｙ］^Ｔ又は線ａｘ＋ｂｙ＋ｃ＝０を第一の上方視点画像ｍから第二の上方視点画像ｋへと投影するため、以下の方程式が使用できる：

方程式（１４）を用い、共通座標系における線パラメーターを得るために、検出された縁石が基準座標系ｋへと移行される。

一実施形態においては、線方程式の３つのパラメーターを等価の角度距離表現

へと変換することができ、その結果、線が（θ，ｄ）空間における一点に対応する。

実際の縁石は、後続のフレームにおいて基準（θ，ｄ）空間における同様の線を生じる多数の検出をもたらす。

同様の線がその空間においてクラスターを形成するが、誤検出は通常ランダムに散在する。任意のクラスター化アルゴリズムを使用して（θ，ｄ）空間における重要な点クラスターを検出し、クラスター中心を縁石検出アルゴリズムの最終結果として出力することができる。

次いで、検出されたクラスター中心を方程式（１４）を使用して元の現在のフレームへと移行し、車両２の他の電子制御システム２５へと送ることができる。任意の光学的フィルタリングスキームを実施することもできる。例えば、検出された線は、将来のフレームにおける検索領域の予測に使用することができる。

本明細書において特定の実施形態を図示し説明したが、様々な代替的及び／又は等価的実施態様が存在することは、当業者には当然のことである。当然ながら、例示的実施形態又は複数の例示的実施形態は例に過ぎず、範囲、適用可能性、又は構成の制限を意図したものでは全くない。それどころか、上記の要約及び詳細な説明は、少なくとも一例示的実施形態を実施するための便利な指針を当業者に提供するものであり、添付の請求項及びその法律上の均等物に記載された範囲から逸脱することなく例示的実施形態に記載した要素の機能及び配置に様々な変更を加えてもよいことは、理解される。一般に、この出願は、本明細書に述べる特定の実施形態のいかなる適用又は変形をも包含することを意図している。

明細書全体を通じ、「含む（ｉｎｃｌｕｄｉｎｇ）」及び「それにおいて（ｉｎ ｗｈｉｃｈ）」という用語は、それぞれの用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」及び「それにおいて（ｗｈｅｒｅｉｎ）」の平易な英語の同義語としてそれぞれ使用されている。

更に、「第一の」、「第二の」、及び「第三の」などの用語は、単にラベルとして使用されており、その目的の重要度に何らかの数的要件を課したり、重要度の順位を確立したりすることを意図したものではない。

１ 画像認識システム
２ 車両
３−１〜３−６ カメラユニット
４−１〜４−６ 画像データ
５ 第一の画像処理装置
６、６−１〜６−４ 第一の上方視点画像
７ 第一の特徴抽出器
８、８−１〜８−４ 線
９ 第二の特徴抽出器
１０ オプティカルフロー
１１ 第二の上方視点画像
１２ 縁石検出器
１３ 縁石データ
１４ 第一の集合
１５ 第一の部分集合
１６ 第二の部分集合
１７ 運動モデル計算器
１８ 適合大域的運動モデル
１９ ノイズ分布
２０ メモリ
２５ 車両システム
Ｘ 閾値

Claims (13)

1. 車両（２）用画像認識システム（１）であって、
   少なくとも一つのカメラユニット（３−１〜３−６）であって、それぞれが車両（２）近傍の道路の画像を記録し、道路のそれぞれの画像を表す画像データ（４−１〜４−６）を供給するように構成されているカメラユニット（３−１〜３−６）と、
   少なくとも一つのカメラユニット（３−１〜３−６）によって供給された画像データ（４−１〜４−６）を結合して第一の上方視点画像（６、６−１〜６−４）であって、道路画像平面に整合させた第一の上方視点画像（６、６−１〜６−４）とするように構成されている第一の画像処理装置（５）と、
   第一の上方視点画像（６、６−１〜６−４）から線（８、８−１〜８−４）を抽出するように構成されている第一の特徴抽出器（７）と、
   第一の上方視点画像（６、６−１〜６−４）及び第一の上方視点画像（６、６−１〜６−４）より前に第一の画像処理装置（５）によって生成された第二の上方視点画像（１１）からオプティカルフロー（１０）を抽出するように構成されている第二の特徴抽出器（９）と、
   抽出された線（８、８−１〜８−４）及び抽出されたオプティカルフロー（１０）に基づき道路における縁石を検出し、検出された縁石を表す縁石データ（１３）と
   を供給するように構成されている縁石検出器（１２）と
   を備え、
   縁石検出器（１２）が、オプティカルフローベクトルの第一の集合（１４）を、検出された線（８、８−１〜８−４）全てについて、オプティカルフローベクトルの第一の部分集合（１５）とオプティカルフローベクトルの第二の部分集合（１６）とに分離するように構成されていて、
   各検出された線（８、８−１〜８−４）について、オプティカルフローベクトルの第一の部分集合（１５）が、それぞれの検出された線（８、８−１〜８−４）に対し車両（２）と同じ側に位置するオプティカルフローベクトルを表し、
   各検出された線（８、８−１〜８−４）について、オプティカルフローベクトルの第二の部分集合（１６）が、それぞれの検出された線（８、８−１〜８−４）に対し車両（２）と反対の側に位置するオプティカルフローベクトルを表す、
   画像認識システム（１）。
2. 第一の特徴抽出器（７）が、線抽出アルゴリズム、特に、ハフ変換アルゴリズムを実行するように構成されている、請求項１に記載の画像認識システム。
3. 第二の特徴抽出器（９）が、特に、特徴マッチング又はブロックマッチングを用い、第一の上方視点画像（６、６−１〜６−４）及び第二の上方視点画像（１１）からの疎なオプティカルフロー（１０）の検出に基づいてオプティカルフロー（１０）をオプティカルフローベクトルの第一の集合（１４）として抽出するように構成されている、請求項１又は２に記載の画像認識システム。
4. 縁石検出器（１２）が、検出された線（８、８−１〜８−４）全てについて、オプティカルフローベクトルのそれぞれの第一の部分集合（１５）及びオプティカルフローベクトルのそれぞれの第二の部分集合（１６）が同一の表面に属するかどうかテストし、オプティカルフローベクトルのそれぞれの第一の部分集合（１５）及びオプティカルフローベクトルのそれぞれの第二の部分集合（１６）が同一の表面に属さない場合に縁石を検出するように構成されている、請求項１から３のいずれか１項に記載の画像認識システム。
5. 縁石検出器（１２）が、オプティカルフローベクトルの第一の部分集合（１５）及びオプティカルフローベクトルの第二の部分集合（１６）のテストに先立ち、オプティカルフローベクトルの第一の部分集合（１５）及びオプティカルフローベクトルの第二の部分集合（１６）のアウトライアを検出し、削除するように構成されている、請求項４に記載の画像認識システム。
6. 縁石検出器（１２）が、オプティカルフローベクトルの第一の集合（１４）に基づき、特に、オプティカルフローベクトルの第一の集合（１４）のインラインベクトルに基づき、特に、回転及び並進を含む適合大域的運動モデル（１８）を少なくとも計算するように構成されている運動モデル計算器（１７）を備え、
   縁石検出器（１２）が、少なくとも一つの適合大域的運動モデル（１８）に基づき、検出された線（８、８−１〜８−４）全てについてそれぞれの第一の部分集合（１５）についての第一のノイズ分布（１９）とそれぞれの第二の部分集合（１６）についての第二のノイズ分布（１９）を計算し、第一のノイズ分布（１９）と第二のノイズ分布（１９）の差が所定の閾値（Ｘ）を超える場合にそれぞれの線（８、８−１〜８−４）の位置に縁石を検出するように構成されている、請求項４又は５に記載の画像認識システム。
7. 縁石検出器（１２）が、異なる時点において検出された縁石の位置とそれぞれの適合大域的運動モデル（１８）とを保存するように構成されているメモリ（２０）を備え、
   縁石検出器（１２）が、保存された検出された縁石の位置とそれぞれの適合大域的運動モデル（１８）とを結合してそれぞれの縁石のより強固な証拠を伴う縁石検出を実現するように構成されている、請求項６に記載の画像認識システム。
8. 単一のカメラユニット（３−１〜３−６）のみを備え、
   第一の画像処理装置（５）が、車両（２）が運動中に単一のカメラユニット（３−１〜３−６）により連続して記録された二つの画像に基づく二つの連続した画像データ（４−１〜４−６）の集合に基づき第一の上方視点画像（６、６−１〜６−４）を生成するように構成されている、請求項１から７のいずれか一項に記載の画像認識システム。
9. 車両（２）において画像を認識する方法であって、
   少なくとも第一のカメラユニット（３−１〜３−６）と第二のカメラユニット（３−１〜３−６）を用いて車両（２）近傍の道路の少なくとも二つの異なる画像を記録すること（Ｓ１）、及び道路のそれぞれの画像を表す画像データ（４−１〜４−６）を供給することと、
   供給された画像データ（４−１〜４−６）を結合（Ｓ２）して第一の上方視点画像（６、６−１〜６−４）であって、道路画像平面に整合させた第一の上方視点画像（６、６−１〜６−４）とすることと、
   第一の上方視点画像（６、６−１〜６−４）から線（８、８−１〜８−４）を抽出すること（Ｓ３）と、
   第一の上方視点画像（６、６−１〜６−４）及び第一の上方視点画像（６、６−１〜６−４）より前に生成された第二の上方視点画像（１１）からオプティカルフロー（１０）を抽出すること（Ｓ４）と、
   抽出された線（８、８−１〜８−４）及び抽出されたオプティカルフロー（１０）に基づいて道路における縁石を検出すること（Ｓ５）と、
   検出された縁石を表す縁石データ（１３）を供給することと
   を備え、
   縁石を検出することが、オプティカルフローベクトルの第一の集合（１４）を、検出された線（８、８−１〜８−４）全てについて、オプティカルフローベクトルの第一の部分集合（１５）とオプティカルフローベクトルの第二の部分集合（１６）とに分離することを含み、
   各検出された線（８、８−１〜８−４）について、オプティカルフローベクトルの第一の部分集合（１５）が、それぞれの検出された線（８、８−１〜８−４）に対し車両（２）と同じ側にあるオプティカルフローベクトルを表し、
   各検出された線（８、８−１〜８−４）について、オプティカルフローベクトルの第二の部分集合（１６）が、それぞれの検出された線（８、８−１〜８−４）に対し車両（２）と反対の側にあるオプティカルフローベクトルを表す、
   方法。
10. 線（８、８−１〜８−４）を抽出することが線抽出アルゴリズム、特に、ハフ変換アルゴリズムを実行することを含み、及び／又は、
    オプティカルフロー（１０）を抽出することが、特に、特徴マッチング又はブロックマッチングを用い、第一の上方視点画像（６、６−１〜６−４）及び第二の上方視点画像（１１）からの疎なオプティカルフロー検出に基づいてオプティカルフロー（１０）をオプティカルフローベクトルの第一の集合（１４）として抽出することを含む、請求項９に記載の方法。
11. 縁石を検出することが、検出された線（８、８−１〜８−４）全てについて、オプティカルフローベクトルのそれぞれの第一の部分集合（１５）及びオプティカルフローベクトルのそれぞれの第二の部分集合（１６）が同一の表面に属するかどうかテストすることと、オプティカルフローベクトルのそれぞれの第一の部分集合（１５）及びオプティカルフローベクトルのそれぞれの第二の部分集合（１６）が同一の表面に属さない場合に縁石を検出することとを含み、
    縁石を検出することが、オプティカルフローベクトルの第一の部分集合（１５）及びオプティカルフローベクトルの第二の部分集合（１６）のテストに先立ち、オプティカルフローベクトルの第一の部分集合（１５）及びオプティカルフローベクトルの第二の部分集合（１６）のアウトライアを検出し、削除することを特に含む、請求項９又は１０に記載の方法。
12. 縁石を検出することが、オプティカルフローベクトルの第一の集合（１４）に基づき、特に、オプティカルフローベクトルの第一の集合（１４）のインラインベクトルに基づき、特に、回転及び並進を含む適合大域的運動モデル（１８）を少なくとも計算することを含み、
    縁石を検出することが、検出された線（８、８−１〜８−４）全てについてそれぞれの第一の部分集合（１５）についての第一のノイズ分布（１９）とそれぞれの第二の部分集合（１６）についての第二のノイズ分布（１９）を計算し、第一のノイズ分布（１９）と第二のノイズ分布（１９）の差が所定の閾値（Ｘ）を超える場合にそれぞれの線（８、８−１〜８−４）の位置に縁石を検出することを含む、請求項９から１１のいずれか一項に記載の方法。
13. 縁石を検出することが、異なる時点において検出された縁石の位置とそれぞれの適合大域的運動モデル（１８）とを保存することを含み、
    縁石を検出することが、保存された検出された縁石の位置とそれぞれの適合大域的運動モデル（１８）とを結合してそれぞれの縁石のより強固な証拠を伴う縁石検出を実現することを含む、請求項１２に記載の方法。

Images