JP4875681B2 - 障害物を認識する方法 - Google Patents

Description

本発明は、可動運搬体に取り付けられた光センサの視野範囲内の環境で、特に車両などの可動運搬体の走行路に位置する障害物、特に歩行者を認識する方法に関する。

上記のような種類の方法は公知である。この方法は、特に、道路を通行する歩行者との衝突を防止可能にするために、または任意選択で十分な時間内に適切な安全措置をとることを可能とする上で役立つ。

自動車のバンパ領域に配置構成された加速度センサおよび／または接触センサなどのセンサの助けにより、障害物を認識することが知られている。しかし、このタイプのセンサは、障害物が車両のすぐ近傍にある場合、または衝突が既に生じた場合にのみ、障害物を認識できるようにする。

例えば自動車の運転手に見える表示装置に駐車の補助として自動車の環境を結像するために、自動車にカメラを使用することも、よく知られている。

しかし、一般的に処理すべき画像データの量、および生成された画像の自動評価が、カメラの使用時に問題となることが判明している。これは特に、画像材料の評価を自動的に実行すべき場合ばかりでなく、例えば自動車との衝突時に人を保護する車両安全システムで必要とされているように、特に高速で実行すべき場合にも当てはまる。

自動車の走行路に位置する障害物、特に人を認識する方法が、欧州特許第１６４６００８Ａ１号から知られており、第一画像、およびそこから時間的に間隔をあけた第二画像が、カメラによって走行方向で自動車の環境から取得され、第一変形画像は、カメラの面から取得された第一画像の基平面までの投影によって生成され、第二変形画像は、カメラの画像面から得た第二画像の基平面までの投影によって生成され、第一および第二変形画像から異なる画像が割り出され、異なる画像を評価することによって、車両の走行路に障害物が位置しているか否かが割り出される。

知られているこの装置は、実践で真価を示している。しかし、その幾何学的条件のせいで、水平線より下にある基平面より上の障害物または障害物の部分しか検出することができない。しかし、多くの事例で、障害物のより確実な検出を保証するために、輪郭全体、つまり水平線より下にある障害物の部分、および水平線より上にある障害物の部分の両方を検出したいと考える。
欧州特許第１６４６００８Ａ１号

特に車両などの可動運搬体の走行路に位置する障害物、特に歩行者を認識できるようにし、単純かつ信頼性の高い状態で、可能な限り高速で少なくとも実質的に完全である方法を提供することが、本発明の基本的な目的である。これを達成するために、本発明では、水平線より下の領域と水平線より上の領域の両方が検出されることを保証しなければならない。

上記課題を解決するため、本発明は、特に車両などの可動運搬体の走行路に位置する障害物、特に歩行者を、前記可動運搬体に取り付けた光センサの視野範囲の環境で認識する方法であって、第一画像が、第一時間に前記光センサによって取得されて、第二画像がその後の第二時間に取得され、第一変形下部分画像が、水平線より下にある前記第一取得画像の画像区間が前記光センサの前記画像面から基平面へと投影することによって生成され、第一変形上部分画像が、前記水平線より上にある前記第一取得画像の画像区間が前記光センサの前記画像面から前記基平面に平行な仮想面へと投影することによって生成され、第二変形下部分画像が、前記水平線より下にある前記第二取得画像の画像区間が前記光センサの前記画像面から前記基平面へと投影することによって生成され、第二変形上部分画像が、前記水平線より上にある前記第二取得画像の画像区間が前記光センサの前記画像面から前記基平面に平行な仮想面へと投影することによって生成され、下方差異部分画像が、前記第一および第二変形下部分画像から割り出され、上方差異部分画像が、前記第一および第二上部分の画像から割り出され、前記下方差異部分画像および前記上方差異部分画像の評価によって、前記可動運搬体の前記走行路に障害物が位置するかが割り出される、各工程を備えて構成したものである。

本発明の実施形態によれば、本発明の上記目的は、可動運搬体に取り付けられた光センサの視野範囲内の環境で、特に車両などの可動運搬体の走行路に位置する障害物、特に歩行者を認識する方法によって満たされ、第一時間に光センサによって第一画像が取得され、その後の第二時間に第二画像が取得され、第一変形下部分画像は、水平線より下にある第一取得画像の画像区間が光センサの画像面から基平面へと投影することによって生成され、第一変形上部分画像は、水平線より上にある第一取得画像の画像区間が光センサの画像面から基平面に平行な仮想面へと投影することによって生成され、第二変形下部分画像は、水平線より下にある第二取得画像の画像区間が光センサの画像面から基平面へと投影することによって生成され、第二変形上部分画像は、水平線より上にある第二取得画像の画像区間が光センサの画像面から基平面に平行な仮想面へと投影することによって生成され、第一および第二変形下部分画像から下方差異部分画像が割り出され、第一および第二変形上部分画像から上方差異部分画像が割り出され、下方差異部分画像および上方差異部分画像を評価することによって、可動運搬体の走行路に障害物が位置するか割り出される。

この設計により、可動運搬体または車両の走行路に位置する個々の障害物の早期かつ迅速な識別が保証されるばかりでなく、基平面と水平線の間に位置する領域だけでなく、同時に水平線より上の領域も検出されることも保証され、それによって障害物検出の確実性がさらに向上する。したがって、特に水平線とそれより上にある仮想面との間の領域で、潜在的障害物が確実かつ迅速に検出される。

逆透視結像によって、つまり画像面から基平面まで投影し、その後に逆投影して、縁部抽出と比較して、その背景情報を少なくとも実質的に消去することによって、追加的に利点が獲得される。

差異画像について障害物を割り出すと、いかなる空間情報も含まない画像を処理し、評価することができる。これで、モノカメラ(mono camera)によって画像を取得することができ、これは例えば立体カメラと比較すると、同じ画像サイズおよび解像度で、生成するデータ量が有意に少なくなる。したがって、モノカメラの画像は、特に迅速に評価できるばかりでなく、必要とする計算力も低くなる。

差異画像は、光センサ、特にカメラによって取得された画像、つまり元画像から直接割り出されるのではなく、光センサの画像面から地面までの画像対象の投影によって生成された変形画像から割り出される。

光センサが撮影した画像を地面へと投影することによって、長方形の画像フォーマットが台形の画像フォーマットになり、台形の平行な辺のうち短辺が運搬体または車両に近い画像領域の境界となり、台形の平行な辺のうち長辺が運搬体または車両から離れた画像領域の境界となる。

画像変形の結果、変形された画像で地面が正確に、つまり実質的に歪みがない状態で結像され、現実には地面から遠ざかっている、例えばそれに対して直角に延在している歩行者などの画像対象が、変形画像では歪んだ形状で、特に楔形に示される。

運搬体または自動車にとって障害物になり得ると考えられる画像対象は、地面に関連し得ない画像対象の選択的歪みによって、安全性に関係ないものから特に良好に識別することができる。これによって、障害物、特に歩行者を特に確実に認識することができる。

時間的に間隔があいた２つの画像から割り出された個々の差異画像を評価する際には、車両が移動しているときに、車両に近い方の対象の結像が、車両から離れた方の対象より大きく変化し、特に大きくなるのも速いという効果が利用される。この方法で、画像の前景に位置する対象を、例えば画像の背景に位置する対象から区別することができ、適宜、障害物として識別することができる。

既に述べたように、対象物と分類された個々の対象を変形して、光センサの画像面に戻すことが好ましい。

カメラ、特にビデオカメラを、例えば光センサとして使用することができる。モノカメラを光センサとして使用することが好ましい。

個々の第一および第二変形部分画像から差異部分画像を割り出す際には、運搬体の動作、特に運搬体の速度および／または走行方向の変化、ならびに第一撮影時間と第二撮影時間の間の継続時間を考慮すると都合がよい。運搬体の動作時に、光センサの視方向の変化を、この方法で考慮に入れる。その結果、より優れた変形画像にすることができ、したがって最終的に障害物の正確な認識の確実性が向上する。

既に述べたように、運搬体は特に自動車であってもよい。

運搬体の動作は、第一変形下部分画像および第二変形下部分画像を互いに対して並進かつ回転し、第一変形上部分画像および第二変形上部分画像を互いに対して並進かつ回転することによって考慮に入れることが好ましい。これによって、時間の間隔をあけた複数の変形画像を互いに対して正確に配置し、したがって変形画像を最適に比較することができる。

その結果、個々の差異画像は、走行方向の道路区間などの実質的に変化しない画像対象と、迅速に大きくなる画像対象との間で最大に対照的となる。したがって、現実には地面より上に突出した対象の変形画像を、地面からさらに良好に区別することができる。これにより、障害物のさらに確実な認識が可能である。これは特に、車両環境のそれぞれ一致させることができる区間を同様に並進かつ回転することによって達成することができる。したがって、個々の差異画像を割り出す上で、少なくとも車両環境の同じ位置にほぼ対応するピクチャ要素によって、グレー値の差異が形成されることが保証される。

したがって、道路の画像など、第一変形画像から第二変形画像まで実質的に変化しなかった対象のピクチャ要素が、個々の差異の形成時に消去され、その結果、差異画像のグレー値が少なくともほぼゼロになる。運搬体または車両が対象に向かって移動している場合、運搬体または車両に近い方の環境に位置し、地面から突出し、したがって歪み、特に変形画像に楔形で提示される対象のピクチャ要素のみが、合同し得ない。運搬体または車両が近づくにつれて、対象の画像が大きくなるので、少なくとも差異画像内で対象の縁部領域を画定するピクチャ要素は、ゼロから有意に異なるグレー値を有する。これにより、地面から突出する対象を、さらに高い確実性で区別することができ、障害物をさらに確実に割り出すことができる。

個々の差異画像の特に楔形の対象を、障害物と分類することが好ましい。既に述べたように、差異画像の対象は、差異を形成する際に消去されなかったピクチャ要素を有するオブジェクトである。したがって、このタイプの対象の変形画像は、１つの変形画像から次の変形画像へと変化し、特に拡大する。これは、運搬体または車両に近い方の環境に位置し、地面から上方に突出している対象の画像である場合に特に当てはまる。この対象が運搬体または自動車の走行路に位置する場合、これは自動車の障害物と見なすことができる。

障害物と分類された１つまたは複数の個々の差異画像の対象を変形して、取得画像に戻すことができる。これで、例えば対応する着色によって、またはフレームによって、取得した画像などで障害物と分類された対象をマークすることも可能になる。

有り得る道路の凹凸、運搬体の傾斜および／または運搬体の振動などによって引き起こされる特定の問題は、画像安定化によって補償されるので有利である。差異画像の接触は、画像ノイズの同様の最小化によって増加し、したがって障害物と分類される対象をさらに確実に割り出すことができる。

さらに、本発明の主題は、コンピュータまたは対応する計算ユニットでプログラムを実行する場合に、上述した方法を実行するプログラミングコード手段を有するコンピュータプログラムである。

コンピュータまたは対応する計算ユニットでコンピュータプログラムを実行する場合に、上述した方法を実行するためにコンピュータ可読データキャリアに記憶されたプログラミングコード手段を有するコンピュータプログラム製品も、本発明の主題である。

これに関して、コンピュータは、この方法を実行できる任意の望ましいデータ処理装置と理解される。これに関して、このようなデータ処理装置は、特に方法を完全にまたは部分的に実行することができるディジタル信号プロセッサおよび／またはマイクロプロセッサを含むことができる。

最後に、本発明の目的は、可動運搬体に取り付けられた光センサの視野範囲内の環境で、特に車両などの可動運搬体の走行路に位置する障害物、特に歩行者を認識する装置でもあり、前記装置は、上述した方法を実行するように設計されたデータ処理ユニットを有する。

Claims (10)

1. 特に車両などの可動運搬体の走行路に位置する障害物、特に歩行者を、前記可動運搬体に取り付けた光センサの視野範囲の環境で認識する方法であって、
   第一画像が、第一時間に前記光センサによって取得されて、第二画像がその後の第二時間に取得され、
   第一変形下部分画像が、水平線より下にある前記第一取得画像の画像区間が前記光センサの画像面から基平面へと投影することによって生成され、
   第一変形上部分画像が、前記水平線より上にある前記第一取得画像の画像区間が前記光センサの前記画像面から前記基平面に平行な仮想面へと投影することによって生成され、
   第二変形下部分画像が、前記水平線より下にある前記第二取得画像の画像区間が前記光センサの前記画像面から前記基平面へと投影することによって生成され、
   第二変形上部分画像が、前記水平線より上にある前記第二取得画像の画像区間が前記光センサの前記画像面から前記基平面に平行な仮想面へと投影することによって生成され、
   下方差異部分画像が、前記第一および第二変形下部分画像から割り出され、
   上方差異部分画像が、前記第一および第二上部分の画像から割り出され、
   前記下方差異部分画像および前記上方差異部分画像の評価によって、前記可動運搬体の前記走行路に障害物が位置するかが割り出される、各工程を備える方法。
2. 障害物と分類された個々の対象の画像を、前記光センサの前記画像面における画像に戻すように変形することを特徴とする、請求項１に記載の方法。
3. カメラ、特にビデオカメラを前記光センサとして使用することを特徴とする、請求項１または２に記載の方法。
4. モノカメラを前記光センサとして使用することを特徴とする、請求項３に記載の方法。
5. 前記個々の第一および第二変形部分画像から前記差異画像を割り出す際に、特に前記運搬体の速度および／または前記走行方向の変化、ならびに前記第一取得時間と前記第二取得時間との間の継続時間を考慮に入れることを特徴とする、請求項１から４のいずれか一項に記載の方法。
6. 前記第一変形下部分画像および前記第二変形下部分画像を互いに対して並進かつ回転することによって、ならびに前記第一変形上部分画像および前記第二変形上部分画像を互いに対して並進かつ回転することによって、前記運搬体の動作を考慮に入れることを特徴とする、請求項１から５のいずれか一項に記載の方法。
7. 有り得る道路の凹凸、運搬体の傾斜および／または運搬体の振動などによって引き起こされる特定の問題が、画像の安定化によって補償されることを特徴とする、請求項１から６のいずれか一項に記載の方法。
8. コンピュータプログラムであって、
   前記コンピュータプログラムがコンピュータ上でまたは対応する計算ユニット上で実行されたときに請求項１から７のいずれか一項に記載の方法を実行するプログラムコード手段を有する、コンピュータプログラム。
9. コンピュータプログラムを記憶したコンピュータ可読データキャリアであって、
   前記コンピュータプログラムは、該コンピュータプログラムがコンピュータ上でまたは対応するコンピュータユニット上で実行されたときに請求項１から７のいずれか一項に記載の方法を実行するためのプログラムコード手段を有する、コンピュータ可読データキャリア。
10. 特に自動車などの運搬体に取り付けられた光センサの視野範囲の環境で、特に道路で障害物、特に歩行者を検出するための装置であって、
    請求項１から７のいずれか一項に記載の方法を実行するように設計されたデータ処理装置を有する、装置。