JP7752252B2 - オブジェクト認識方法、画像認識装置、コンピュータプログラム、およびメモリユニット - Google Patents

Description

本発明は、請求項１に基づくオブジェクト認識方法に関する。さらに本発明は、画像認識装置、コンピュータプログラム、およびメモリユニットに関する。

独国特許出願公開第１０２０２０２０６９９０号明細書では、センサの測定データの処理方法が記載されており、この方法は、第１のエンコーダ内の第１のセンサの測定データおよび第２のエンコーダ内の第２のセンサの測定データを、それぞれの潜在空間に移行させる。この潜在空間での特徴から、第１のデコーダが第１のセンサの再構成された測定データを、および第２のデコーダが第２のセンサの再構成された測定データを導き出す。

独国特許出願公開第１０２０２０２０６９９０号明細書

本発明により、請求項１に基づく特徴を有するオブジェクト認識方法が提案される。これにより、点間の関連性をより正確に、より確実に捕捉でき、かつ処理の際により良好に算入することができる。これらの点の特徴コンテキストがより良く考慮され得る。処理の際の情報損失を減らすことができ、認識性能は上昇し得る。

オブジェクトは、車両、生物、とりわけ人、建物、および／または物であり得る。
オブジェクト認識（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）が、少なくとも１つのオブジェクト特性の認識（ｏｂｊｅｃｔ ｒｅｇｒｅｓｓｉｏｎ）、オブジェクト分類（ｏｂｊｅｃｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）、および／またはオブジェクト移動経路の認識（ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ）を考慮に入れることができる。

点ベースセンサは、測定データを少なくとも１つの点群の形態で出力し得る。測定データは、少なくとも２つのこのようなセンサによって提供され得る。点ベースセンサは、カメラ、とりわけステレオカメラもしくはモノカメラ（深度情報を含むおよび／もしくは画像処理アルゴリズムの適用を伴うことが好ましい）、ＴｏＦカメラ、ライダセンサ、超音波センサ、マイクロフォン、またはレーダセンサであり得る。

第１の処理ステップは、入力側の特徴を、複数の処理面に通して、学習された特徴に移行させ得る。第１の処理ステップは、ＰｏｉｎｔＮｅｔ、Ｐｏｉｎｔｎｅｔ＋＋、グラフニューラルネットワーク、連続畳み込み、カーネルポイント畳み込み、または点群を入力としておよび出力として有するその他のニューラルネットワークを適用し得る。

第２の処理ステップは、学習された特徴を、例えば鳥瞰図（ＢＥＶ，ｂｉｒｄｓ ｅｙｅ ｖｉｅｗ）に基づいて二次元モデルグリッドに移行させ得る。１つのグリッドセル内に点群の１つの点しかない場合、この点の学習された特徴が、このグリッドセルの特徴であり得る。１つのグリッドセル内に点群の複数の点がある場合、このグリッドセルのこれらの点の学習された特徴が、このグリッドセルの特徴として集約され得る。この集約は、プーリングアルゴリズムまたはＰｏｉｎｔＮｅｔの適用によって行われ得る。

モデルグリッドは、設定されたグリッド解像度によって規定され得る。グリッド解像度が高ければそれだけ、単位空間または単位面積に対してより多くのグリッドセルが存在する。グリッド解像度が小さければそれだけ、オブジェクトの認識確率が高くなり得る。グリッド解像度が大きければそれだけ、オブジェクトがより正確に特徴づけられ得る。

本発明の好ましい一実施形態では、入力側の特徴が、点の一つ一つに割り当てられた入力側の特徴ベクトルに収容されており、かつ学習された特徴が、この点に割り当てられた潜在特徴ベクトルに収容されている場合が有利である。入力側の特徴は、無秩序に、その順序に依存せずに、第１の処理ステップに渡され得る。

本発明の好ましい一形態が有利であり、この形態では、入力側の特徴ベクトルが、潜在特徴ベクトルに対して違う次元を有する。潜在特徴ベクトルは、入力側の特徴ベクトルより高いまたは低い次元を有し得る。

本発明の好ましい一実施形態では、点の一つ一つの入力側の特徴が、点の一つ一つの空間的な位置、点の一つ一つの特性、および／または点の一つ一つに隣接する点についての情報を含む場合が有利である。空間的な位置は、三次元座標系内の座標によって表され得る。特性は、後方散乱信号強度もしくは入力強度、反射断面積、仰角、および／または動径速度であり得る。点の一つ一つに隣接する点についての情報は、設定された周囲内に隣接する点の数を包含し得る。

本発明の好ましい一実施形態では、第１の処理ステップが、学習済み人工ニューラルネットワークを適用する。この学習は、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）として実施され得る。処理面は、人工ニューラルネットワーク内の中間層（ｈｉｄｄｅｎ ｌａｙｅｒ）であり得る。

第２の処理ステップは、学習済み人工ニューラルネットワークを適用し得る。第１の処理ステップの学習された特徴が、第２の処理ステップで引き続き使用され得る。第２の処理ステップでのネットワークのトレーニングは、第１の処理ステップでのネットワークのトレーニングに依存していてよく、または依存していなくてよい。

本発明の好ましい一形態が有利であり、この形態では、セルに関連する出力データから、少なくとも１つのさらなる処理ステップを経て、オブジェクトに関連する出力データが、オブジェクトの有向包絡形状を計算するために生成される。有向包絡形状は、有向直方体形の包絡形状（ｏｒｉｅｎｔｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ）であり得る。有向包絡形状は、このオブジェクトに割り当てられた少なくとも１つのボックスパラメータを有し得る。ボックスパラメータは、ポーズ、少なくとも１つの寸法、オブジェクトタイプクラス、および／または存在確率であり得る。オブジェクトタイプクラスにより、オブジェクトへの帰属性が特徴づけられ得る。

有向包絡形状は、点ベースの第１の処理ステップによって、比較的正確に特徴づけられ得る。その後のグリッドに関連する第２の処理ステップは、オブジェクトの認識確率の改善およびより低い誤認識率を可能にする。

オブジェクトに関連する出力データは、オブジェクト仮説を有するリストを含み得る。各オブジェクト仮説に対し、オブジェクト特性、とりわけオブジェクトタイプクラス、および有向包絡形状が計算され得る。

有向包絡形状のボックスパラメータは、グリッドセルの特徴に依存して計算され得る。
さらに、オブジェクトについての測定データを提供する少なくとも１つの点ベースセンサと、上で挙げた特徴の少なくとも１つを有する方法を実施するために適応された処理ユニットとを有する画像認識装置が提案される。これにより、処理ユニットの計算能力を下げることができ、画像認識装置がより安価に製作され得る。

本発明の好ましい一実施形態では、点ベースセンサが、測定データとして少なくとも１つの点群を出力するよう適応されている場合が有利である。点ベースセンサは、カメラ、とりわけステレオカメラもしくはモノカメラ（画像処理アルゴリズムの適用を伴うことが好ましい）、ＴｏＦカメラ、ライダセンサ、超音波センサ、マイクロフォン、またはレーダセンサであり得る。

画像認識装置は、運転者支援システムおよび／または自律走行車もしくは部分自律走行車に割り当てられ得る。画像認識装置は、ロボット、とりわけロボット芝刈り機、周辺監視設備、とりわけ交通監視設備、または車両、とりわけ自動車、トラック、もしくは二輪車、好ましくは自転車に割り当てられ得る。

画像認識装置は、自動化された組立設備において、例えば、把持ポイント決定のために部品およびその向きを検出するために使用され得る。画像認識装置は、自動芝刈り機で、例えば、オブジェクト、とりわけ障害物を検出するために使用され得る。画像認識装置は、自動的な出入管理で、例えば、自動的にドアを開くための人物検出および人物識別に使用され得る。画像認識装置は、好ましくは広場または建物を監視するための周辺監視設備において、例えば、危険物の検出、検査、および分類のために使用され得る。画像認識装置は、とりわけ定置式レーダセンサ機器を備えた交通監視設備において使用され得る。画像認識装置は、運転者支援システムで、道路使用者、例えば自転車またはその他の二輪車を検出および分類するために使用され得る。

さらに、機械可読で、少なくとも１つのコンピュータ上で実行可能な命令を有し、この命令を実行すると上に提示した特徴の少なくとも１つを有する方法が進行するコンピュータプログラムが提案される。さらに、機械可読に、および少なくとも１つのコンピュータによってアクセス可能に製作されており、かつ前記コンピュータプログラムが保存されているメモリユニットが提案される。

本発明のさらなる利点および有利な形態は、図の説明および図から明らかである。
以下に、図を参照しながら本発明を詳細に説明する。詳細は以下の通りである。

本発明の特別な実施形態でのオブジェクト認識方法の例示的なブロック図である。 第１の処理ステップでの人工ニューラルネットワークのグラフ畳み込みの構造を示す図である。 本発明の特別な実施形態での画像認識装置を示す図である。

図１は、本発明の特別な実施形態でのオブジェクト認識方法の例示的なブロック図を示している。オブジェクト１２のオブジェクト認識方法１０は、オブジェクト１２を捕捉する少なくとも１つの点ベースセンサ１６の測定データ１４を利用する。センサは、レーダセンサ１８であり得る。測定データ１４は、複数の点２２および帰属の特徴２４を有する点群２０を含む。第１の処理ステップ２６では、点群２０の入力側の特徴２８としての特徴２４が、学習された特徴３０として実装される。第１の処理ステップ２６は、少なくとも１つの処理面３２を含む。

第１の処理ステップ２６は点ベースである。点２２の一つ一つの入力側の特徴２８は、点２２の一つ一つの空間的な位置、点２２の一つ一つの特性、および／または点２２の一つ一つに隣接する点２２についての情報を含むことができ、かつ入力側の特徴ベクトル３４として実装され得る。空間的な位置は、三次元座標系内の座標によって表され得る。特性は、後方散乱信号強度もしくは入力強度、反射断面積、仰角、および／または動径速度であり得る。点２２の一つ一つに隣接する点２２についての情報は、設定された周囲内に隣接する点２２の数を包含し得る。入力側の特徴２８は、第１の処理ステップ２６では、無秩序に、その順序に依存せずに、実装され得る。

処理面３２は、学習済み人工ニューラルネットワーク３６、ここでは例えばグラフニューラルネットワーク３８を適用することができ、このグラフニューラルネットワーク３８は、例として図２で図解しており、以下により詳細に解説する。グラフニューラルネットワーク３８は第１のステップ４０で、点２２に基づいてグラフ４２を構築し、このために、互いに対し、設定された距離、例えば３メートル内に存在する点２２が、エッジ４４によって結合される。これらの点２２は、グラフ４２のノード４６を表す。第２のステップ４８では、グラフ４２のすべてのエッジ４４に対してメッセージ５０が生成され、メッセージ５０は、１つのエッジ４４のノード４６の互いに対する相対位置５２と、起点ノード５５の近傍に隣接する特徴５４とから成る。これにより、学習された特徴３０は、点２２間の関係についての情報を含む。これらのメッセージ５０は、新しい特徴５８を抽出するため、多層パーセプトロン５６によって処理される。その際、多層パーセプトロン５６の層はそれぞれ、すべてのメッセージ５０のためにパラメータ５９を分け合う。

第３のステップ６０では、最大値プーリング６２により、生成されたメッセージ５０から計算された特徴６４が、起点ノード５５に関する学習された特徴３０として抽出される。続いて計算ステップ６６で、古い情報と新しい情報の違いが計算され（スキップ接続）、かつ第２のステップ４８で、新しい情報として再びノード４６つまり点２２に結び付けられる。

第１の処理ステップ２６で複数の処理面６８を通過することができる。グラフニューラルネットワーク３８の代わりに、ＰｏｉｎｔＮｅｔ、Ｐｏｉｎｔｎｅｔ＋＋、連続畳み込み、カーネルポイント畳み込み、または点群を入力としておよび出力として有するその他のニューラルネットワークも適用され得る。

図１に戻って、学習された特徴３０は、グリッドベースで少なくとも１つの処理面６８を有する第２の処理ステップ７０において、複数のグリッドセル７２を有するモデルグリッド７４に移行される。その際、潜在特徴ベクトル７７内で一緒に並べられた学習された特徴３０を、ここでは二次元モデルグリッド７４に射影するため、Ｐｉｌｌａｒ Ｆｅａｔｕｒｅ Ｎｅｔｗｏｒｋ７６が使用される。このために、１つのグリッドセル７２内にあるすべての点２２が、柱７８（Ｐｉｌｌａｒ）にまとめられる。各点２２の学習された特徴３０は、個別に、全結合型ニューラルネットワークによって埋め込まれる。複数の点２２が同じ柱７８に属する場合には、固定長の特徴ベクトルを得るために、柱７８内のすべての点２２に対する平均プーリングが適用される。点の特徴ベクトルをモデルグリッド７４に移行させるため、Ｐｉｌｌａｒ Ｆｅａｔｕｒｅ Ｎｅｔｗｏｒｋ７６の代わりに別の方法を使用してもよく、例えば、点をグリッドセル７２に直接的に割り当てて、続いて同じグリッドセル７２に属するすべての特徴ベクトルを、例えば平均プーリング、最大プーリング、または注意機構に通して集約する。

続いてこれらの特徴は、セルに関連する出力データ８０として、第３の処理ステップ８２を経て、とりわけＢａｃｋｂｏｎｅとして働く二次元畳み込みニューラルネットワーク８４により、さらに処理され得る。例えば、残差ネットワークおよび特徴ピラミッドネットワークから成るＢａｃｋｂｏｎｅが使用され、このＢａｃｋｂｏｎｅは、二次元モデルグリッド７４の様々な解像度に対して特徴を抽出する。

第４の処理ステップ８６では、Ｃｌａｓｓ Ｈｅａｄにより、各グリッドセル７２に対し、さらなる二次元畳み込みニューラルネットワーク８８を介し、０と１との間のオブジェクト確率９０と、オブジェクト１２の有向包絡形状に関するボックスパラメータ９２、とりわけ位置、長さ、幅、高さ、および／または向きとが推定される。様々なオブジェクトタイプを検出するため、これらのＣｌａｓｓ Ｈｅａｄの複数を使用でき、Ｃｌａｓｓ Ｈｅａｄはそれぞれ、１つのオブジェクトタイプクラスの推定、つまり例えばトラックとバスのような類似の特性をもつオブジェクトタイプの推定を担当する。これらのＣｌａｓｓ Ｈｅａｄは、検出すべきオブジェクトタイプに相応して、適切な解像度をもつ特徴マップ９４を使用する。つまり、例えば歩行者のような小さなオブジェクトに対しては、トラックのような大きなオブジェクトに対してより高い解像度をもつ特徴マップ９４が使用される。

１つのオブジェクトが複数のグリッドセル７２に架かっている可能性があるので、第５の処理ステップ９６において、第４の処理ステップ８６で生成されたオブジェクト仮説９８がフィルタリングされる。これは、とりわけ非極大値抑制１００（ＮＭＳ）によって行われる。この場合、各オブジェクトに対し、空間的に重なり合っているオブジェクト仮説９８から、オブジェクト確率が最も高いオブジェクト仮説へとフィルタリングされる。有向包絡形状１０２の形態でのフィルタリングされたオブジェクト仮説は、方法１０の、オブジェクトに関連する出力データ８０を形成する。

オブジェクトに関連する出力データ８０は、例えばオブジェクト仮説を有するリストである。各オブジェクト仮説に対し、オブジェクト特性、とりわけオブジェクトタイプ分類、オブジェクト位置、ならびにボックスパラメータ、とりわけオブジェクトを囲む有向包絡形状１０２の長さ、幅、高さ、および／または向きが計算され得る。

図３は、本発明の特別な実施形態での画像認識装置を示している。図３ａ）では、オブジェクト認識方法を実施する処理ユニット１０６を含む画像認識装置１０４が図示されている。画像認識装置１０４は、自動化された組立設備１０８において、例えば、把持ポイント決定のために部品およびその向きを検出するために使用され得る。図３ｂ）での画像認識装置１０４は、自動芝刈り機１１０で、例えば、オブジェクト１２、とりわけ障害物を検出するために使用され得る。図３ｃ）での画像認識装置１０４は、自動的な出入管理で、例えば、自動的にドアを開くための人物検出および人物識別に使用され得る。図３ｄ）での画像認識装置１０４は、好ましくは広場または建物を監視するための周辺監視設備１１４において、例えば、危険物の検出、検査、および分類のために使用され得る。図３ｅ）での画像認識装置１０４は、とりわけ少なくとも１つの定置式レーダセンサ１８を備えた交通監視設備１１６において使用され得る。図３ｆ）での画像認識装置１０４は、運転者支援システム１１８で、道路使用者、例えば自転車１２０またはその他の二輪車を検出および分類するために使用され得る。

Claims (10)

1. オブジェクト（１２）を捕捉する少なくとも１つの点ベースセンサ（１６）の測定データ（１４）に基づく前記オブジェクト（１２）のオブジェクト認識方法（１０）であって、
   複数の点（２２）を有する点群（２０）に基づく前記測定データ（１４）を処理する、少なくとも１つの中間層（３２）を有する人工ニューラルネットワーク（３６）を用いた、点ベースの第１の処理ステップ（２６）であって、前記点群（２０）の入力側の特徴（２８）を処理して、前記点（２２）間の関係についての情報（５０）を含む学習された特徴（３０）として出力する第１の処理ステップ（２６）と、
   少なくとも１つの中間層（６８）を有する人工ニューラルネットワーク（３８）を用いた、グリッドベースの第２の処理ステップ（７０）であって、前記学習された特徴（３０）を処理し、複数のグリッドセル（７２）を有するモデルグリッド（７４）上に変換し、その後、前記グリッドセル（７２）に関連する出力データ（８０）を生成する第２の処理ステップ（７０）と、
   を実行することを特徴とするオブジェクト認識方法（１０）。
2. 前記入力側の特徴（２８）が、前記点（２２）に割り当てられた入力側の特徴ベクトル（３４）に収容されており、かつ前記学習された特徴（３０）が、前記点（２２）に割り当てられた潜在特徴ベクトル（７７）に収容されていることを特徴とする請求項１に記載のオブジェクト認識方法（１０）。
3. 前記入力側の特徴ベクトル（３４）が、前記潜在特徴ベクトル（７７）に対して違う次元を有することを特徴とする請求項２に記載のオブジェクト認識方法（１０）。
4. 前記点（２２）の入力側の特徴（２８）が、前記点（２２）の空間的な位置、前記点（２２）の特性、および／または前記点（２２）の隣接する点についての情報（５０）を含むことを特徴とする請求項１に記載のオブジェクト認識方法（１０）。
5. 前記第１の処理ステップ（２６）が、学習済み人工ニューラルネットワーク（３６）を適用することを特徴とする請求項１に記載のオブジェクト認識方法（１０）。
6. 前記セルに関連する出力データ（８０）から、少なくとも１つのさらなる処理ステップ（８２、８６、９６）を経て、オブジェクトに関連する出力データ（８０）が、前記オブジェクト（１２）の有向包絡形状（１０２）を計算するために生成されることを特徴とする請求項１に記載のオブジェクト認識方法（１０）。
7. オブジェクト（１２）についての測定データ（１４）を提供する少なくとも１つの点ベースセンサ（１６）と、請求項１に記載の方法（１０）を実施するために適応された処理ユニット（１０６）とを有する画像認識装置（１０４）。
8. 前記点ベースセンサ（１６）が、測定データ（１４）として少なくとも１つの点群（２０）を出力するよう適応されていることを特徴とする請求項７に記載の画像認識装置（１０４）。
9. 機械可読で、少なくとも１つのコンピュータ上で実行可能な命令を有し、前記命令を実行すると請求項１に記載の方法（１０）が進行するコンピュータプログラム。
10. 機械可読に、および少なくとも１つのコンピュータによってアクセス可能に製作されており、かつ請求項９に記載のコンピュータプログラムが保存されているメモリユニット。