JP6908946B2 - 距離予測が可能なレーダを通じて取得される情報とカメラを通じて取得される情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法及び学習装置、そしてこれを使用したテスト方法及びテスト装置 - Google Patents

Description

本発明は、自律走行自動車に使用する学習方法及び学習装置に関し、より詳細には、距離予測が可能なレーダを通じて取得される情報とカメラを通じて取得される情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法及び学習装置、そしてこれを使用したテスト方法及びテスト装置に関する。

最近、自律走行分野においては、自主走行自動車周辺の物体を検出するために大きく三種類のセンサが使用される。三種類のセンサは、それぞれライダー（ＬｉＤＡＲ）、レーダ（Ｒａｄａｒ）及びカメラである。このようなそれぞれのセンサには、それぞれの短所がある。例えば、ライダーの短所は、広く用いられるには価格が高いという点、レーダの短所は単独で使用されると性能が劣るという点、カメラの短所は天気などの周辺状況の影響を多大に受けるために不安定であるという点である。

それぞれのセンサを個別に使用することは前記ような問題点があるところ、これらを共に使用するセンサ融合（Ｓｅｎｓｏｒ Ｆｕｓｉｏｎ）方法が必要である。

しかしながら、センサ融合方法は、皮相的に二つの結果を合わせる方法に関する研究のみが行われており、センサ融合方法の深層についてはあまり研究されていないのが事実である。

本発明は、上述した問題点を解決することを目的とする。

本発明は、距離予測が可能なレーダを通じて取得される情報とカメラを通じて取得される情報とを統合するセンサ融合（Ｓｅｎｓｏｒ Ｆｕｓｉｏｎ）を遂行する学習方法を提供することによって、自律走行を支援するニューラルネットワークを向上させることを目的とする。

また、本発明は、ニューラルネットワークがレーダを通じて取得された情報とカメラを通じて取得された情報とを、チャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）して生成された統合情報を使用するようにして自律走行を支援する方法を提供することを他の目的とする。

また、本発明は、特定の物体に関する情報を含む、レーダを通じて取得された追加情報を使用することによって、別途に特定の物体に関する情報なしでもカメラを通じて得た不完全な情報を補完し得るようにすることをまた他の目的とする。

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は以下のとおりである。

本発明の一態様によると、撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮを学習する方法において、（ａ）（ｉ）学習装置と連動して作動する対象自動車上の前記カメラを通じて取得された前記撮影イメージ、及び（ｉｉ）前記対象自動車のレーダを通じて取得されたデプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成されたマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記学習装置が、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記撮影イメージに関する情報と共に前記デプスイメージに関する情報も反映された少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させる段階；（ｂ）前記学習装置が、前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記マルチチャンネル統合イメージ内の前記物体に関する予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させる段階；及び（ｃ）前記学習装置が、前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させる段階；を含むことを特徴とする。

一実施例において、前記（ａ）段階で、前記学習装置が、（ｉ）前記デプスイメージを参照して、前記対象自動車からの前記物体の少なくとも一つの距離及び少なくとも一つの角度に関する情報を取得した後、（ｉｉ）前記距離及び前記角度に関する前記情報を参照して前記撮影イメージ上における前記物体のうち少なくとも一部に対応する少なくとも一つの物体座標を求め、（ｉｉｉ）前記物体座標と確率分布とを参照して生成された値をガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するピクセル値として設定して少なくとも一つの前記ガイドチャンネルイメージを生成した後、（ｉｖ）前記ガイドチャンネルイメージを前記撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記マルチチャンネル統合イメージを生成することを特徴とする。

一実施例において、前記（ａ）段階で、前記学習装置が、前記物体座標のうち第１物体座標ないし第Ｎ物体座標と前記確率分布とを参照して下記数式による演算を遂行することによって、前記ガイドチャンネルイメージに、それに対応するピクセル値として含まれる前記値を算出し、

前記数式において、P_kは前記ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、P_kx及びP_kyそれぞれは、前記ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、G_mx及びG_myそれぞれは第ｍ物体座標（ｍは１以上Ｎ以下の整数（ｉｎｔｅｇｅｒ）である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする。

一実施例において、前記（ｂ）段階で、前記学習装置が、前記ＣＮＮと連動して作動するＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）をもって、前記特徴マップを参照して、前記マルチチャンネル統合イメージ上の前記物体のうち少なくとも一部の少なくとも一つの位置に対応する少なくとも一つの予測ＲＯＩ（Ｒｅｇｉｏｎ−Ｏｆ−Ｉｎｔｅｒｅｓｔ）に関する情報を生成させ、ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）ネットワークの形態で具現された前記アウトプットレイヤをもって、前記予測ＲＯＩを参照して前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測物体検出結果（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｒｅｓｕｌｔ）を含む前記予測物体情報を生成させることを特徴とする。

一実施例において、前記（ａ）段階で、前記学習装置が、前記コンボリューションレイヤに含まれているそれぞれのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）をもって、少なくとも一つのそれ自体のパラメータを使用して、それ自体に入力された値に対して演算を適用した後、出力された値をそれ自体の次のコンボリューションニューロンに伝達するプロセスを繰り返すことによって、前記マルチチャンネル統合イメージに対して前記コンボリューション演算を適用させることを特徴とする。

一実施例において、前記（ｂ）段階で、前記学習装置が、前記コンボリューションレイヤに対応する少なくとも一つのデコンボリューションレイヤの形態で具現された前記アウトプットレイヤをもって、前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測セグメンテーションイメージを含む前記予測物体情報を生成させることを特徴とする。

一実施例において、前記学習装置が、前記コンボリューションレイヤをもって、前記撮影イメージに関する情報とともに前記デプスイメージに関する情報も反映された前記特徴マップを生成させることによって、前記物体のうち前記物体描写率が閾値未満であるそれぞれの特定物体に関する情報が前記予測物体情報にさらに含まれ得るようにすることを特徴とする。

本発明の他の態様によると、撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮをテストする方法において、（ａ）（１）（ｉ）学習装置と連動して作動する学習用対象自動車上の学習用カメラを通じて取得された学習用撮影イメージと、（ｉｉ）前記学習用対象自動車の学習用レーダを通じて取得された学習用デプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）とを使用して生成された学習用マルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記学習装置が、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記学習用マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記学習用撮影イメージに関する情報と共に前記学習用デプスイメージに関する情報も反映された少なくとも一つの学習用特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、（２）前記学習装置が、前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記学習用特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記学習用マルチチャンネル統合イメージ内の前記学習用物体に関する学習用予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させ、（３）前記学習装置が、前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させた状態で、テスト装置が、前記ＣＮＮ内の前記コンボリューションレイヤをもって、（ｉ）前記テスト装置と連動して作動するテスト用対象自動車上のテスト用カメラを通じて取得されたテスト用撮影イメージと、（ｉｉ）前記テスト用対象自動車のテスト用レーダを通じて取得されたテスト用デプスイメージとを使用して生成されたテスト用マルチチャンネル統合イメージに対して前記コンボリューション演算を少なくとも一回適用させて、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された少なくとも一つのテスト用特徴マップを生成させる段階；及び（ｂ）前記テスト装置が、前記ＣＮＮ内の前記アウトプットレイヤをもって、前記テスト用特徴マップに対して前記アウトプット演算を適用させて、前記テスト用マルチチャンネル統合イメージ内の前記テスト用物体に関するテスト用予測物体情報を生成させる段階；を含むことを特徴とする。

一実施例において、前記（ａ）段階で、前記テスト装置が、（ｉ）前記テスト用デプスイメージを参照して前記テスト用対象自動車からの前記テスト用物体の少なくとも一つのテスト用距離及び少なくとも一つのテスト用角度に関するテスト用情報を取得した後、（ｉｉ）前記テスト用距離及び前記テスト用角度に関する前記テスト用情報を参照して前記テスト用撮影イメージ上における前記テスト用物体のうち少なくとも一部に対応する少なくとも一つのテスト用物体座標を求め、（ｉｉｉ）前記テスト用物体座標とテスト用確率分布とを参照して生成された値をテスト用ガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するテスト用ピクセル値として設定して少なくとも一つの前記テスト用ガイドチャンネルイメージを生成した後、（ｉｖ）前記テスト用ガイドチャンネルイメージを前記テスト用撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記テスト用マルチチャンネル統合イメージを生成することを特徴とする。

一実施例において、前記（ａ）段階で、前記テスト装置が、前記テスト用物体座標のうちテスト用第１物体座標ないしテスト用第Ｎ物体座標と前記テスト用確率分布とを参照して下記数式による演算を遂行することによって、前記テスト用ガイドチャンネルイメージに、それに対応するテスト用ピクセル値として含まれる前記値を算出し、

前記数式において、P_kは前記テスト用ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、P_kx及びP_kyそれぞれは、前記テスト用ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、G_mx及びG_myそれぞれは、テスト用第ｍ物体座標（ｍは１以上Ｎ以下の整数である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする。

一実施例において、前記テスト装置が、前記コンボリューションレイヤをもって、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された前記テスト用特徴マップを生成させることによって、前記テスト用物体のうち前記物体描写率が閾値未満であるそれぞれの特定のテスト用物体に関する情報が前記テスト用予測物体情報にさらに含まれ得るようにし、（ｃ）前記テスト装置が、前記テスト用予測物体情報を前記テスト用対象自動車上の少なくとも一つの自律走行モジュールに伝達することによって、前記テスト用対象自動車の自律走行を支援する段階；をさらに含むことを特徴とする。

本発明のまた他の態様によると、撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮを学習する学習装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）（ｉ）学習装置と連動して作動する対象自動車上の前記カメラを通じて取得された前記撮影イメージ、及び（ｉｉ）前記対象自動車のレーダを通じて取得されたデプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成されたマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記撮影イメージに関する情報と共に前記デプスイメージに関する情報も反映された少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させるプロセス、（ＩＩ）前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記マルチチャンネル統合イメージ内の前記物体に関する予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させるプロセス、及び（ＩＩＩ）前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。

一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、（ｉ）前記デプスイメージを参照して前記対象自動車からの前記物体の少なくとも一つの距離及び少なくとも一つの角度に関する情報を取得した後、（ｉｉ）前記距離及び前記角度に関する前記情報を参照して前記撮影イメージ上における前記物体のうち少なくとも一部に対応する少なくとも一つの物体座標を求め、（ｉｉｉ）前記物体座標と確率分布とを参照して生成された値をガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するピクセル値として設定して少なくとも一つの前記ガイドチャンネルイメージを生成した後、（ｉｖ）前記ガイドチャンネルイメージを前記撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記マルチチャンネル統合イメージを生成することを特徴とする。

一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、前記物体座標のうち第１物体座標ないし第Ｎ物体座標と前記確率分布とを参照して下記数式による演算を遂行することによって、前記ガイドチャンネルイメージに、それに対応するピクセル値として含まれる前記値を算出し、

前記数式において、P_kは前記ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、P_kx及びP_kyそれぞれは前記ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、G_mx及びG_myそれぞれは第ｍ物体座標（ｍは１以上Ｎ以下の整数である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする。

一実施例において、前記（ＩＩ）プロセスで、前記プロセッサが、前記ＣＮＮと連動して作動するＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）をもって、前記特徴マップを参照して前記マルチチャンネル統合イメージ上の前記物体のうち少なくとも一部の少なくとも一つの位置に対応する少なくとも一つの予測ＲＯＩ（Ｒｅｇｉｏｎ−Ｏｆ−Ｉｎｔｅｒｅｓｔ）に関する情報を生成させ、ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）ネットワークの形態で具現された前記アウトプットレイヤをもって、前記予測ＲＯＩを参照して前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測物体検出結果（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｒｅｓｕｌｔ）を含む前記予測物体情報を生成させることを特徴とする。

一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、前記コンボリューションレイヤに含まれているそれぞれのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）をもって、少なくとも一つのそれ自体のパラメータを使用して、それ自体に入力された値に対して演算を適用した後、出力された値をそれ自体の次のコンボリューションニューロンに伝達するプロセスを繰り返すことによって、前記マルチチャンネル統合イメージに対して前記コンボリューション演算を適用させることを特徴とする。

一実施例において、前記（ＩＩ）プロセスで、前記プロセッサが、前記コンボリューションレイヤに対応する少なくとも一つのデコンボリューションレイヤの形態で具現された前記アウトプットレイヤをもって、前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測セグメンテーションイメージを含む前記予測物体情報を生成させることを特徴とする。

一実施例において、前記プロセッサが、前記コンボリューションレイヤをもって、前記撮影イメージに関する情報とともに前記デプスイメージに関する情報も反映された前記特徴マップを生成させることによって、前記物体のうち前記物体描写率が閾値未満であるそれぞれの特定物体に関する情報が前記予測物体情報にさらに含まれ得るようにすることを特徴とする。

本発明のまた他の態様によると、撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮをテストするテスト装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）（１）学習装置が、（ｉ）学習装置と連動して作動する学習用対象自動車上の学習用カメラを通じて取得された学習用撮影イメージ、及び（ｉｉ）前記学習用対象自動車の学習用レーダを通じて取得された学習用デプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成された学習用マルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記学習用マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記学習用撮影イメージに関する情報と共に前記学習用デプスイメージに関する情報も反映された少なくとも一つの学習用特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、（２）前記学習装置が、前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記学習用特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記学習用マルチチャンネル統合イメージ内の前記学習用物体に関する学習用予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させ、（３）前記学習装置が、前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させた状態で、前記ＣＮＮ内の前記コンボリューションレイヤをもって、（ｉ）前記テスト装置と連動して作動するテスト用対象自動車上のテスト用カメラを通じて取得されたテスト用撮影イメージと、（ｉｉ）前記テスト用対象自動車のテスト用レーダを通じて取得されたテスト用デプスイメージとを使用して生成されたテスト用マルチチャンネル統合イメージに対して前記コンボリューション演算を少なくとも一回適用させて、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された少なくとも一つのテスト用特徴マップを生成させるプロセス、及び（ＩＩ）前記ＣＮＮ内の前記アウトプットレイヤをもって、前記テスト用特徴マップに対して前記アウトプット演算を適用させて、前記テスト用マルチチャンネル統合イメージ内の前記テスト用物体に対するテスト用予測物体情報を生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。

一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、（ｉ）前記テスト用デプスイメージを参照して前記テスト用対象自動車からの前記テスト用物体の少なくとも一つのテスト用距離及び少なくとも一つのテスト用角度に関するテスト用情報を取得した後、（ｉｉ）前記テスト用距離及び前記テスト用角度に関する前記テスト用情報を参照して前記テスト用撮影イメージ上における前記テスト用物体のうち少なくとも一部に対応する少なくとも一つのテスト用物体座標を求め、（ｉｉｉ）前記テスト用物体座標とテスト用確率分布とを参照して生成された値をテスト用ガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するテスト用ピクセル値として設定して少なくとも一つの前記テスト用ガイドチャンネルイメージを生成した後、（ｉｖ）前記テスト用ガイドチャンネルイメージを前記テスト用撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記テスト用マルチチャンネル統合イメージを生成することを特徴とする。

一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、前記テスト用物体座標のうちテスト用第１物体座標ないしテスト用第Ｎ物体座標と前記テスト用確率分布とを参照して下記数式による演算を遂行することによって、前記テスト用ガイドチャンネルイメージに、それに対応するテスト用ピクセル値として含まれる前記値を算出し、

前記数式において、P_kは前記テスト用ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、P_kx及びP_kyそれぞれは前記テスト用ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、G_mx及びG_myそれぞれはテスト用第ｍ物体座標（ｍは１以上Ｎ以下の整数である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする。

一実施例において、前記プロセッサが、前記コンボリューションレイヤをもって、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された前記テスト用特徴マップを生成させることによって、前記テスト用物体のうち前記物体描写率が閾値未満であるそれぞれの特定のテスト用物体に関する情報が前記テスト用予測物体情報にさらに含まれ得るようにし、（ＩＩＩ）前記プロセッサが、前記テスト用予測物体情報を前記テスト用対象自動車上の少なくとも一つの自律走行モジュールに伝達することによって、前記テスト用対象自動車の自律走行を支援するプロセス；をさらに遂行することを特徴とする。

その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。

本発明は、距離予測が可能なレーダを通じて取得される情報とカメラを通じて取得される情報とを統合するセンサ融合（Ｓｅｎｓｏｒ Ｆｕｓｉｏｎ）を遂行する学習方法を提供することによって、自律走行を支援するニューラルネットワークを向上させることができる効果がある。

また、本発明は、ニューラルネットワークがレーダを通じて取得された情報とカメラを通じて取得された情報とをチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）して生成された統合情報を使用するようにして、自律走行を支援する方法を提供することができる他の効果がある。

また、本発明は、特定の物体に関する情報を含む、レーダを通じて取得された追加情報を使用することによって、特定の情報に関する情報なしでもカメラを通じて得た不完全な情報を補完することができるまた他の効果がある。

本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。

本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合（Ｓｅｎｓｏｒ Ｆｕｓｉｏｎ）を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行する学習装置の構成を簡略に示した図面である。 本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行するのに使用されるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の構成を簡略に示した図面である。 本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を示したフローチャートである。 本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行するために使用されるマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）の一例を示した図面である（その１）。 本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行するために使用されるマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）の一例を示した図面である（その２）。

後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似する機能を指す。

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は、本説明書から、また一部は、本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

本発明で言及している各種イメージは、道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、その他の障害物）を想定することができるであろう。

以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。

図１は、本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合（Ｓｅｎｓｏｒ Ｆｕｓｉｏｎ）を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行する学習装置の構成を簡略に示した図面である。

図１を参照すると、学習装置１００は、追って詳細に説明する構成要素であるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）１３０を含むことができる。ＣＮＮ１３０の入出力及び演算過程は、それぞれ通信部１１０及びプロセッサ１２０により行われ得る。ただし、図１では通信部１１０及びプロセッサ１２０の具体的な連結関係を省略した。この場合、メモリ１１５は、後述する様々なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納した状態であり得り得、プロセッサ１２０は、メモリ１１５に格納されたインストラクションを遂行し、プロセッサ１２０は、追って説明する本発明のプロセスを遂行することができる。このように学習装置１００が描写されたからといって、学習装置１００が本発明を実施するためのプロセッサ、メモリ、ミディアムまたはその他のコンピューティング装置の組み合わせを含む統合装置を排除するわけではない。

このような学習装置１００は、対象自動車と連動して作動し、これに搭載された少なくとも一つのカメラ及び少なくとも一つのレーダ（Ｒａｄａｒ）それぞれからトレーニングデータのうち少なくとも一部、つまり、追って説明する撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）及びデプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を取得することができる。また、学習装置１００は、トレーニングデータに対応するアノテーションデータ（Ａｎｎｏｔａｔｉｏｎ Ｄａｔａ）である原本正解物体情報（Ｇｒｏｕｎｄ Ｔｒｕｔｈ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を取得することができ、これは追って説明される。ここで、撮影イメージに含まれている少なくとも一つの物体に関する情報がタグ付けされた原本正解物体情報が、マネージャーにより学習装置１００に入力され得るが、これに限定されるわけではない。

以上、本発明の実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行する学習装置１００の構成について考察した。以下、これに含まれているＣＮＮ１３０の構成について考察することにする。

図２は、本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行するのに使用されるＣＮＮの構成を簡略に示した図面である。

図２を参照すると、ＣＮＮ１３０は、少なくとも一つのコンボリューションレイヤ１３１と、少なくとも一つのアウトプットレイヤ１３２と、少なくとも一つのロスレイヤ１３３とを含むことができる。ここでコンボリューションレイヤ１３１は、それ自体に入力されたイメージに対してコンボリューション演算を少なくとも一回適用することができる。より具体的には、学習装置１００が、コンボリューションレイヤ１３１に含まれているそれぞれのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）をもって、少なくとも一つのそれ自体のパラメータを使用して、それ自体に入力された値に対して演算を適用した後、出力された値をそれ自体の次のコンボリューションニューロンに伝達するプロセスを繰り返すことによって、前記それ自体に入力されたイメージに対してコンボリューション演算を適用させることができる。

また、アウトプットレイヤ１３２は、所望する出力に応じて異なるように具現され得る。一例として、マネージャーが、入力されたイメージに対応する予測セグメンテーションイメージに追って説明するＣＮＮ１３０の出力である予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）が含まれることを所望するのであれば、アウトプットレイヤ１３２は、コンボリューションレイヤ１３１に対応する少なくとも一つのデコンボリューションレイヤの形態で具現され得、アウトプット演算として、デコンボリューション演算を少なくとも一回遂行することができる。これとは異なり、マネージャーが、入力されたイメージ内の物体に対する予測物体検出結果が予測物体情報に含まれることを所望するのであれば、マネージャーはＣＮＮ１３０と連動して作動するＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）を設定することができ、ＦＣレイヤ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）としてアウトプットレイヤ１３２を具現することができる。ここで、ＲＰＮは、コンボリューションレイヤ１３１で生成された特徴マップを参照して、特徴マップに対応するイメージ上の少なくとも一部の物体の少なくとも一つの位置に対応する少なくとも一つの予測ＲＯＩ（Ｒｅｇｉｏｎ−Ｏｆ−Ｉｎｔｅｒｅｓｔ）を生成することができ、ＦＣレイヤとして具現されたアウトプットレイヤ１３２は、予測ＲＯＩに関する情報を参照して特徴マップに対してアウトプット演算としてＦＣ演算を適用して、予測物体検出結果を含む予測物体情報を生成させることができる。

そして、ロスレイヤ１３３の場合、追って説明するが、ロスを生成し、これを使用してバックプロパゲーションを遂行することによって、ＣＮＮ１３０のパラメータのうち少なくとも一部を学習させることができる。

以上、本発明の学習方法を遂行するのに使用されるＣＮＮ１３０について考察してみたところ、以下、本発明の学習方法自体について図３を参照して考察することにする。

図３は、本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を示したフローチャートである。

図３を参照すると、対象自動車上のカメラ及びレーダからそれぞれ取得された撮影イメージ及びデプスイメージを使用して生成されたマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、学習装置１００は、ＣＮＮ１３０内のコンボリューションレイヤ１３１をもって、マルチチャンネル統合イメージに対してコンボリューション演算を適用させて、撮影イメージの情報と共にデプスイメージの情報も反映された特徴マップを生成させることができる（Ｓ０１）。そして、学習装置１００は、ＣＮＮ１３０内のアウトプットレイヤ１３２をもって、特徴マップに対してアウトプット演算を適用させて、マルチチャンネル統合イメージ上の物体に関する予測物体情報を生成させることができる（Ｓ０２）。最後に、学習装置１００は、ＣＮＮ１３０内のロスレイヤ１３３をもって、予測物体情報及びこれに対応する原本正解物体情報を参照してロスを生成させ、これを参照してバックプロパゲーションを遂行することによって、ＣＮＮ１３０のパラメータのうち少なくとも一部を学習させることができる（Ｓ０３）。以下、これについてさらに具体的に説明することにする。

まず、マルチチャンネル統合イメージの取得過程について説明することにする。ここで、撮影イメージは、一般的なカメラにより撮影されたイメージであるので、３つのチャンネル、すなわち、Ｒ、Ｇ、ＢまたはＨ、Ｓ、Ｖチャンネルを有することができる。デプスイメージの場合、対象自動車からの少なくとも一つの距離及び少なくとも一つの角度である二種類の情報を含むので、２つのチャンネルを有することができる。撮影イメージとデプスイメージとは互いにサイズが異なるため、直接コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）され得ない。したがって、学習装置１００は、距離と角度とに関する情報を参照して、撮影イメージ上における物体のうち少なくとも一部に対応する少なくとも一つの物体座標を求めることができる。具体的には、学習装置１００は、（ｉ）パラメータ情報を活用してカメラのＦＯＶ（Ｆｉｅｌｄ−Ｏｆ−Ｖｉｅｗ）情報を得た後、（ｉｉ）ＦＯＶ情報を参照して撮影イメージのそれぞれのピクセルを仮想３次元空間の中にマッピングし、（ｉｉｉ）距離及び角度に関する情報を仮想３次元空間内のピクセル位置と比較することによって、マルチチャンネル統合イメージ上の物体座標を算出することができる。

ここで、それぞれの物体座標は、物体のそれぞれの少なくとも一つの中心座標として決定され得ることもあり、形態等を含めた特性に応じたそれぞれの物体の複数個の座標で決定され得るが、これに限定されるわけではない。

物体座標が取得された後、学習装置１００は、物体座標と確率分布とを参照して生成された値をガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するピクセル値として設定して、少なくとも一つのガイドチャンネルイメージを生成することができる。このプロセスを遂行することによって、デプスイメージはガイドチャンネルイメージの形態で撮影イメージとコンカチネートされ得る。

ここで、ピクセル値は、下記数式による演算を遂行することによって取得され得る。説明の便宜のために、前記物体座標が第１物体座標及び第Ｎ物体座標を含むと仮定し、Ｎは撮影イメージ内の物体の個数に対応する整数（ｉｎｔｅｇｅｒ）である。

前記数式において、P_kはガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、P_kx及びP_kyそれぞれは、前記ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し得る。また、ｍは１以上Ｎ以下の整数である場合、G_mx及びG_myそれぞれは第ｍ物体座標のｘ座標及びｙ座標をそれぞれ意味し得る。また、σは予め設定されたサイズ調整値を意味し得る。前記数式によると、ある物体座標と相対的に近い地点の第１例示ピクセル値は相対的に大きく、ある物体座標と相対的に遠い地点の第２例示ピクセル値は、相対的に小さく算出され得る。このようなピクセル値の例示について検討するために、図４ａと図４ｂとを参照することにする。

図４ａと図４ｂとは、本発明の一実施例にしたがって、距離予測が可能なレーダを通じて取得された情報とカメラを通じて取得された情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法を遂行するために使用されるマルチチャンネル統合イメージの一例を示した図面である。

図４ａと図４ｂとを参照すると、３つのチャンネルを有する撮影イメージと、物体座標を使用して決定されたピクセル値に対するチャンネルである１つのチャンネルを有するガイドチャンネルイメージとは、マルチチャンネル統合イメージの生成に使用されるため、マルチチャンネル統合イメージ２００は、少なくとも４つのチャンネルを有するイメージであることが分かる。よって、先の３つのチャンネル２１０、２２０、２３０は、カメラから取得された一般的なイメージのチャンネル、すなわち、Ｒ、Ｇ、ＢまたはＨ、Ｓ、Ｖを表すことができる。最後のチャンネル２４０は、前述したガイドチャンネルイメージに対応し、上記のように算出されたピクセル値は、最後のチャンネル２４０において見ることができる。すなわち、第ｍ物体座標２４１に対して、これから最も近いピクセル２４１−１のピクセル値は０．７、中間程度に近いピクセル２４１−２のピクセル値は０．４、最も遠いピクセル２４１−３のピクセル値は０．２であり得る。そして、第ｍ物体座標２４１以外に他の物体座標２４２により、また他のピクセル２４１−４のピクセル値は、他の物体座標２４２と第ｍ物体座標２４１との両方の影響を受けて０．９であって、ずっと大きい。

このようにマルチチャンネル統合イメージが生成された後、学習装置１００は、前述したＳ０１、Ｓ０２及びＳ０３のプロセスを遂行して、ＣＮＮ１３０のパラメータのうち少なくとも一部を学習することができる。当該プロセスは、一般的なフィードフォワードニューラルネットワーク（Ｆｅｅｄ−Ｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習プロセスと類似するため、通常の技術者は前記の説明でも十分に本発明を理解することができるはずである。

このような学習プロセスを遂行すると、ＣＮＮは、撮影状況が不適合であることによって撮影イメージ上に少なくとも一つの物体が適合するように現れる確率である、撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ１３０が適合して作動するようにカメラとレーダとをともに使用して学習され得る。より具体的には、対象自動車の周辺が非常に暗いか、対象自動車周辺の天気が極めて好ましくないために撮影イメージ上に物体が適切に表現されないことがあるが、前記ＣＮＮ１３０は、このような場合にも物体認識プロセスまたはイメージセグメンテーションプロセスを十分に遂行することができる。ここで、例示イメージの物体描写率は、入力されたイメージに対する任意の物体に関する情報を検出するように学習されたＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をもって、例示イメージを使用してクラスと位置とを検出させ、ＤＮＮがクラスと位置とを正確に検出する確率を算出することによって生成され得る。例えば、物体のうち過半数以上の特定の物体が建物の影領域に位置して暗く見える状況の場面を撮影イメージが含めば、撮影イメージの物体描写率が閾値未満であり得る。

レーダから取得した情報をカメラから取得した情報に線形的に（Ｌｉｎｅａｒｌｙ）追加する従来の技術は数多く存在するが、本発明は、この二つを線形的に統合しない。すなわち、もう少し掘り下げると、レーダから取得された情報は、カメラから取得された情報と最初から、つまり、学習プロセスから統合される。２つの情報をより緊密に統合するために、学習装置１００は、コンボリューションレイヤ１３１をもって、撮影イメージに関する情報と共にデプスイメージに関する情報も反映された特徴マップを生成させ、アウトプットレイヤ１３２とロスレイヤ１３３とをもって、パラメータを学習するために、これを出力させることができる。これによって、前記２つの情報がパラメータに反映され得る。

以上、本発明の学習プロセスについて説明したところ、以下、ＣＮＮ１３０のテスト方法について説明することにする。

すなわち、（１）（ｉ）学習装置と連動して作動する学習用対象自動車上の学習用カメラを通じて取得された学習用撮影イメージと、（ｉｉ）学習用対象自動車の学習用レーダを通じて取得された学習用デプスイメージとを使用して生成された学習用マルチチャンネル統合イメージが取得されると、学習装置１００が、ＣＮＮ１３０内のコンボリューションレイヤ１３１をもって、学習用マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、学習用撮影イメージに関する情報とともに学習用デプスイメージに関する情報も反映された少なくとも一つの学習用特徴マップを生成させ、（２）学習装置１００が、ＣＮＮ１３０内のアウトプットレイヤ１３２をもって、学習用特徴マップに対してアウトプット演算を少なくとも一回適用させて、学習用マルチチャンネル統合イメージ内の学習用物体に関する学習用予測物体情報を生成させ、（３）学習装置１００が、ＣＮＮ１３０内のロスレイヤ１３３をもって、学習用予測物体情報及びこれに対応する原本正解物体情報を使用して少なくとも一つのロスを生成させ、ロスを使用してバックプロパゲーションを遂行することによって、ＣＮＮ１３０内のパラメータのうち少なくとも一部を学習させた状態で、テスト装置が、ＣＮＮ１３０内のコンボリューションレイヤ１３１をもって、（ｉ）テスト装置と連動して作動するテスト用対象自動車上のテスト用カメラを通じて取得されたテスト用撮影イメージ、及び（ｉｉ）テスト用対象自動車のテスト用レーダを通じて取得されたテスト用デプスイメージとを使用して生成されたテスト用マルチチャンネル統合イメージに対してコンボリューション演算を適用させて、テスト用撮影イメージに関する情報と共にテスト用デプスイメージに関する情報も反映された少なくとも一つのテスト用特徴マップを生成させることができる。

以後、テスト装置が、ＣＮＮ１３０に含まれているアウトプットレイヤ１３２をもって、テスト用特徴マップに対してアウトプット演算を適用させて、テスト用マルチチャンネル統合イメージ上のテスト用物体に関するテスト用予測物体情報を生成させることができる。

前記のプロセスは、学習プロセスにおいてロスレイヤ１３３により遂行されるプロセスが抜けたものとほぼ同じであるので、前述した学習プロセスに対する説明に基づいて理解することができるであろう。ただし、テスト用対象自動車が実際の自律走行を遂行する場合にテスト方法が実行されるため、追加のプロセスがさらに遂行され得る。

すなわち、物体描写率が閾値未満であるテスト用特定物体に関する情報も含んでいるテスト用予測物体情報が生成された後、テスト装置は、これを少なくとも一つの自律走行モジュールに伝達して、テスト用対象自動車の自律走行を支援することができる。

このような方法を遂行すると、撮影状況が不適合であるためにカメラを通じて取得されたイメージのクオリティが劣っても安全に自主走行が遂行され得る。

以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。

したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

[付記]
本願発明は、距離予測が可能なレーダを通じて取得される情報とカメラを通じて取得される情報とを統合するセンサ融合を遂行することによって、自律走行を支援するニューラルネットワークを向上させる学習方法及び学習装置、そしてこれを使用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＳＥＮＳＯＲ ＦＵＳＩＯＮ ＴＯ ＩＮＴＥＧＲＡＴＥ ＩＮＦＯＲＭＡＴＩＯＮ ＡＣＱＵＩＲＥＤ ＢＹ ＲＡＤＡＲ ＣＡＰＡＢＬＥ ＯＦ ＤＩＳＴＡＮＣＥ ＥＳＴＩＭＡＴＩＯＮ ＡＮＤ ＩＮＦＯＲＭＡＴＩＯＮ ＡＣＱＵＩＲＥＤ ＢＹ ＣＡＭＥＲＡ ＴＯ ＴＨＥＲＥＢＹ ＩＭＰＲＯＶＥ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ ＦＯＲ ＳＵＰＰＯＲＴＩＮＧ ＡＵＴＯＮＯＭＯＵＳ ＤＲＩＶＩＮＧ， ＡＮＤ ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝に関する。

Claims (18)

1. 撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮを学習する方法において、
   （ａ）（ｉ）学習装置と連動して作動する対象自動車上の前記カメラを通じて取得された前記撮影イメージ、及び（ｉｉ）前記対象自動車のレーダを通じて取得されたデプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成されたマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記学習装置が、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記撮影イメージに関する情報と共に前記デプスイメージに関する情報も反映された少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させる段階；
   （ｂ）前記学習装置が、前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記マルチチャンネル統合イメージ内の前記物体に関する予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させる段階；及び
   （ｃ）前記学習装置が、前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させる段階；
   を含むことを特徴とし、
   前記（ａ）段階で、
   前記学習装置が、（ｉ）前記デプスイメージを参照して、前記対象自動車からの前記物体の少なくとも一つの距離及び少なくとも一つの角度に関する情報を取得した後、（ｉｉ）前記距離及び前記角度に関する前記情報を参照して前記撮影イメージ上における前記物体のうち少なくとも一部に対応する少なくとも一つの物体座標を求め、（ｉｉｉ）前記物体座標と確率分布とを参照して生成された値をガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するピクセル値として設定して少なくとも一つの前記ガイドチャンネルイメージを生成した後、（ｉｖ）前記ガイドチャンネルイメージを前記撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記マルチチャンネル統合イメージを生成することを特徴とする方法。
2. 前記（ａ）段階で、
   前記学習装置が、前記物体座標のうち第１物体座標ないし第Ｎ物体座標と前記確率分布とを参照して下記数式による演算を遂行することによって、前記ガイドチャンネルイメージに、それに対応するピクセル値として含まれる前記値を算出し、
   

   

   前記数式において、P_kは前記ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、P_kx及びP_kyそれぞれは、前記ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、G_mx及びG_myそれぞれは第ｍ物体座標（ｍは１以上Ｎ以下の整数（ｉｎｔｅｇｅｒ）である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする請求項１に記載の方法。
3. 撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮを学習する方法において、
   （ａ）（ｉ）学習装置と連動して作動する対象自動車上の前記カメラを通じて取得された前記撮影イメージ、及び（ｉｉ）前記対象自動車のレーダを通じて取得されたデプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成されたマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記学習装置が、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記撮影イメージに関する情報と共に前記デプスイメージに関する情報も反映された少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させる段階；
   （ｂ）前記学習装置が、前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記マルチチャンネル統合イメージ内の前記物体に関する予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させる段階；及び
   （ｃ）前記学習装置が、前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させる段階；
   を含むことを特徴とし、
   前記（ｂ）段階で、
   前記学習装置が、前記ＣＮＮと連動して作動するＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）をもって、前記特徴マップを参照して、前記マルチチャンネル統合イメージ上の前記物体のうち少なくとも一部の少なくとも一つの位置に対応する少なくとも一つの予測ＲＯＩ（Ｒｅｇｉｏｎ−Ｏｆ−Ｉｎｔｅｒｅｓｔ）に関する情報を生成させ、ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）ネットワークの形態で具現された前記アウトプットレイヤをもって、前記予測ＲＯＩを参照して前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測物体検出結果（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｒｅｓｕｌｔ）を含む前記予測物体情報を生成させることを特徴とする方法。
4. 前記（ａ）段階で、
   前記学習装置が、前記コンボリューションレイヤに含まれているそれぞれのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）をもって、少なくとも一つのそれ自体のパラメータを使用して、それ自体に入力された値に対して演算を適用した後、出力された値をそれ自体の次のコンボリューションニューロンに伝達するプロセスを繰り返すことによって、前記マルチチャンネル統合イメージに対して前記コンボリューション演算を適用させることを特徴とする請求項１に記載の方法。
5. 前記（ｂ）段階で、
   前記学習装置が、前記コンボリューションレイヤに対応する少なくとも一つのデコンボリューションレイヤの形態で具現された前記アウトプットレイヤをもって、前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測セグメンテーションイメージを含む前記予測物体情報を生成させることを特徴とする請求項１に記載の方法。
6. 前記学習装置が、前記コンボリューションレイヤをもって、前記撮影イメージに関する情報とともに前記デプスイメージに関する情報も反映された前記特徴マップを生成させることによって、前記物体のうち前記物体描写率が閾値未満であるそれぞれの特定物体に関する情報が前記予測物体情報にさらに含まれ得るようにすることを特徴とする請求項１に記載の方法。
7. 撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮをテストする方法において、
   （ａ）（１）（ｉ）学習装置と連動して作動する学習用対象自動車上の学習用カメラを通じて取得された学習用撮影イメージと、（ｉｉ）前記学習用対象自動車の学習用レーダを通じて取得された学習用デプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成された学習用マルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）とが取得されると、前記学習装置が、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記学習用マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記学習用撮影イメージに関する情報と共に前記学習用デプスイメージに関する情報も反映された少なくとも一つの学習用特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、（２）前記学習装置が、前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記学習用特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記学習用マルチチャンネル統合イメージ内の前記学習用物体に関する学習用予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させ、（３）前記学習装置が、前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させた状態で、テスト装置が、前記ＣＮＮ内の前記コンボリューションレイヤをもって、（ｉ）前記テスト装置と連動して作動するテスト用対象自動車上のテスト用カメラを通じて取得されたテスト用撮影イメージと、（ｉｉ）前記テスト用対象自動車のテスト用レーダを通じて取得されたテスト用デプスイメージとを使用して生成されたテスト用マルチチャンネル統合イメージに対して前記コンボリューション演算を少なくとも一回適用させて、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された少なくとも一つのテスト用特徴マップを生成させる段階；及び
   （ｂ）前記テスト装置が、前記ＣＮＮ内の前記アウトプットレイヤをもって、前記テスト用特徴マップに対して前記アウトプット演算を適用させて、前記テスト用マルチチャンネル統合イメージ内の前記テスト用物体に関するテスト用予測物体情報を生成させる段階；
   を含むことを特徴とし、
   前記（ａ）段階で、
   前記テスト装置が、（ｉ）前記テスト用デプスイメージを参照して前記テスト用対象自動車からの前記テスト用物体の少なくとも一つのテスト用距離及び少なくとも一つのテスト用角度に関するテスト用情報を取得した後、（ｉｉ）前記テスト用距離及び前記テスト用角度に関する前記テスト用情報を参照して前記テスト用撮影イメージ上における前記テスト用物体のうち少なくとも一部に対応する少なくとも一つのテスト用物体座標を求め、（ｉｉｉ）前記テスト用物体座標とテスト用確率分布とを参照して生成された値をテスト用ガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するテスト用ピクセル値として設定して少なくとも一つの前記テスト用ガイドチャンネルイメージを生成した後、（ｉｖ）前記テスト用ガイドチャンネルイメージを前記テスト用撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記テスト用マルチチャンネル統合イメージを生成することを特徴とする方法。
8. 前記（ａ）段階で、
   前記テスト装置が、前記テスト用物体座標のうちテスト用第１物体座標ないしテスト用第Ｎ物体座標と前記テスト用確率分布とを参照して下記数式による演算を遂行することによって、前記テスト用ガイドチャンネルイメージに、それに対応するテスト用ピクセル値として含まれる前記値を算出し、
   

   

   前記数式において、P_kは前記テスト用ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、P_kx及びP_kyそれぞれは、前記テスト用ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、G_mx及びG_myそれぞれは、テスト用第ｍ物体座標（ｍは１以上Ｎ以下の整数である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする請求項７に記載の方法。
9. 前記テスト装置が、前記コンボリューションレイヤをもって、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された前記テスト用特徴マップを生成させることによって、前記テスト用物体のうち前記物体描写率が閾値未満であるそれぞれの特定のテスト用物体に関する情報が前記テスト用予測物体情報にさらに含まれ得るようにし、
   （ｃ）前記テスト装置が、前記テスト用予測物体情報を前記テスト用対象自動車上の少なくとも一つの自律走行モジュールに伝達することによって、前記テスト用対象自動車の自律走行を支援する段階；
   をさらに含むことを特徴とする請求項７に記載の方法。
10. 撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮを学習する学習装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）（ｉ）学習装置と連動して作動する対象自動車上の前記カメラを通じて取得された前記撮影イメージ、及び（ｉｉ）前記対象自動車のレーダを通じて取得されたデプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成されたマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記撮影イメージに関する情報と共に前記デプスイメージに関する情報も反映された少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させるプロセス、（ＩＩ）前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記マルチチャンネル統合イメージ内の前記物体に関する予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させるプロセス、及び（ＩＩＩ）前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とし、
    前記（Ｉ）プロセスで、
    前記プロセッサが、（ｉ）前記デプスイメージを参照して前記対象自動車からの前記物体の少なくとも一つの距離及び少なくとも一つの角度に関する情報を取得した後、（ｉｉ）前記距離及び前記角度に関する前記情報を参照して前記撮影イメージ上における前記物体のうち少なくとも一部に対応する少なくとも一つの物体座標を求め、（ｉｉｉ）前記物体座標と確率分布とを参照して生成された値をガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するピクセル値として設定して少なくとも一つの前記ガイドチャンネルイメージを生成した後、（ｉｖ）前記ガイドチャンネルイメージを前記撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記マルチチャンネル統合イメージを生成することを特徴とする装置。
11. 前記（Ｉ）プロセスで、
    前記プロセッサが、前記物体座標のうち第１物体座標ないし第Ｎ物体座標と前記確率分布とを参照して下記数式による演算を遂行することによって、前記ガイドチャンネルイメージに、それに対応するピクセル値として含まれる前記値を算出し、
    

    

    前記数式において、P_kは前記ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、P_kx及びP_kyそれぞれは前記ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、G_mx及びG_myそれぞれは第ｍ物体座標（ｍは１以上Ｎ以下の整数である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする請求項１０に記載の装置。
12. 撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮを学習する学習装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）（ｉ）学習装置と連動して作動する対象自動車上の前記カメラを通じて取得された前記撮影イメージ、及び（ｉｉ）前記対象自動車のレーダを通じて取得されたデプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成されたマルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記撮影イメージに関する情報と共に前記デプスイメージに関する情報も反映された少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させるプロセス、（ＩＩ）前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記マルチチャンネル統合イメージ内の前記物体に関する予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させるプロセス、及び（ＩＩＩ）前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパーゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とし、
    前記（ＩＩ）プロセスで、
    前記プロセッサが、前記ＣＮＮと連動して作動するＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）をもって、前記特徴マップを参照して前記マルチチャンネル統合イメージ上の前記物体のうち少なくとも一部の少なくとも一つの位置に対応する少なくとも一つの予測ＲＯＩ（Ｒｅｇｉｏｎ−Ｏｆ−Ｉｎｔｅｒｅｓｔ）に関する情報を生成させ、ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）ネットワークの形態で具現された前記アウトプットレイヤをもって、前記予測ＲＯＩを参照して前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測物体検出結果（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｒｅｓｕｌｔ）を含む前記予測物体情報を生成させることを特徴とする装置。
13. 前記（Ｉ）プロセスで、
    前記プロセッサが、前記コンボリューションレイヤに含まれているそれぞれのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）をもって、少なくとも一つのそれ自体のパラメータを使用して、それ自体に入力された値に対して演算を適用した後、出力された値をそれ自体の次のコンボリューションニューロンに伝達するプロセスを繰り返すことによって、前記マルチチャンネル統合イメージに対して前記コンボリューション演算を適用させることを特徴とする請求項１０に記載の装置。
14. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記コンボリューションレイヤに対応する少なくとも一つのデコンボリューションレイヤの形態で具現された前記アウトプットレイヤをもって、前記特徴マップに対して前記アウトプット演算を適用させることによって、前記マルチチャンネル統合イメージに対応する予測セグメンテーションイメージを含む前記予測物体情報を生成させることを特徴とする請求項１０に記載の装置。
15. 前記プロセッサが、前記コンボリューションレイヤをもって、前記撮影イメージに関する情報とともに前記デプスイメージに関する情報も反映された前記特徴マップを生成させることによって、前記物体のうち前記物体描写率が閾値未満であるそれぞれの特定物体に関する情報が前記予測物体情報にさらに含まれ得るようにすることを特徴とする請求項１０に記載の装置。
16. 撮影状況が不適合であることにより、カメラを通じて取得される撮影イメージ（Ｐｈｏｔｏｇｒａｐｈｅｄ Ｉｍａｇｅ）上に少なくとも一つの物体が適合するように現れる確率である、前記撮影イメージの物体描写率（Ｏｂｊｅｃｔ Ｄｅｐｉｃｔｉｏｎ Ｒａｔｉｏ）が低くても、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が適合して作動するように前記カメラとレーダ（Ｒａｄａｒ）とを共に使用して前記ＣＮＮをテストするテスト装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）（１）学習装置が、（ｉ）学習装置と連動して作動する学習用対象自動車上の学習用カメラを通じて取得された学習用撮影イメージ、及び（ｉｉ）前記学習用対象自動車の学習用レーダを通じて取得された学習用デプスイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）を使用して生成された学習用マルチチャンネル統合イメージ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｉｎｔｅｇｒａｔｅｄ Ｉｍａｇｅ）が取得されると、前記ＣＮＮ内の少なくとも一つのコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｌａｙｅｒ）をもって、前記学習用マルチチャンネル統合イメージに対してコンボリューション演算を少なくとも一回適用させて、前記学習用撮影イメージに関する情報と共に前記学習用デプスイメージに関する情報も反映された少なくとも一つの学習用特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ、（２）前記学習装置が、前記ＣＮＮ内の少なくとも一つのアウトプットレイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）をもって、前記学習用特徴マップに対してアウトプット演算を少なくとも一回適用させて、前記学習用マルチチャンネル統合イメージ内の前記学習用物体に関する学習用予測物体情報（Ｅｓｔｉｍａｔｅｄ Ｏｂｊｅｃｔ Ｉｎｆｏｒｍａｔｉｏｎ）を生成させ、（３）前記学習装置が、前記ＣＮＮ内の少なくとも一つのロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用予測物体情報及びこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）物体情報を使用して少なくとも一つのロスを生成させ、前記ロスを使用してバックプロパゲーションを遂行することによって、前記ＣＮＮ内のパラメータのうち少なくとも一部を学習させた状態で、前記ＣＮＮ内の前記コンボリューションレイヤをもって、（ｉ）前記テスト装置と連動して作動するテスト用対象自動車上のテスト用カメラを通じて取得されたテスト用撮影イメージと、（ｉｉ）前記テスト用対象自動車のテスト用レーダを通じて取得されたテスト用デプスイメージとを使用して生成されたテスト用マルチチャンネル統合イメージに対して前記コンボリューション演算を少なくとも一回適用させて、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された少なくとも一つのテスト用特徴マップを生成させるプロセス、及び（ＩＩ）前記ＣＮＮ内の前記アウトプットレイヤをもって、前記テスト用特徴マップに対して前記アウトプット演算を適用させて、前記テスト用マルチチャンネル統合イメージ内の前記テスト用物体に対するテスト用予測物体情報を生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とし、
    前記（Ｉ）プロセスで、
    前記プロセッサが、（ｉ）前記テスト用デプスイメージを参照して前記テスト用対象自動車からの前記テスト用物体の少なくとも一つのテスト用距離及び少なくとも一つのテスト用角度に関するテスト用情報を取得した後、（ｉｉ）前記テスト用距離及び前記テスト用角度に関する前記テスト用情報を参照して前記テスト用撮影イメージ上における前記テスト用物体のうち少なくとも一部に対応する少なくとも一つのテスト用物体座標を求め、（ｉｉｉ）前記テスト用物体座標とテスト用確率分布とを参照して生成された値をテスト用ガイドチャンネルイメージ（Ｇｕｉｄｅ Ｃｈａｎｎｅｌ Ｉｍａｇｅ）に含まれている、それに対応するテスト用ピクセル値として設定して少なくとも一つの前記テスト用ガイドチャンネルイメージを生成した後、（ｉｖ）前記テスト用ガイドチャンネルイメージを前記テスト用撮影イメージとともにチャンネルごとに（Ｃｈａｎｎｅｌ−ｗｉｓｅ）コンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）することによって前記テスト用マルチチャンネル統合イメージを生成することを特徴とする装置。
17. 前記（Ｉ）プロセスで、
    前記プロセッサが、前記テスト用物体座標のうちテスト用第１物体座標ないしテスト用第Ｎ物体座標と前記テスト用確率分布とを参照して下記数式による演算を遂行することによって、前記テスト用ガイドチャンネルイメージに、それに対応するテスト用ピクセル値として含まれる前記値を算出し、
    

    

    前記数式において、P_kは前記テスト用ガイドチャンネルイメージに含まれているピクセルのうち第ｋピクセルを意味し、P_kx及びP_kyそれぞれは前記テスト用ガイドチャンネルイメージ上における前記第ｋピクセルのｘ座標及びｙ座標をそれぞれ意味し、G_mx及びG_myそれぞれはテスト用第ｍ物体座標（ｍは１以上Ｎ以下の整数である）のｘ座標及びｙ座標をそれぞれ意味し、σは予め設定されたサイズ調整値を意味することを特徴とする請求項１６に記載の装置。
18. 前記プロセッサが、前記コンボリューションレイヤをもって、前記テスト用撮影イメージに関する情報と共に前記テスト用デプスイメージに関する情報も反映された前記テスト用特徴マップを生成させることによって、前記テスト用物体のうち前記物体描写率が閾値未満であるそれぞれの特定のテスト用物体に関する情報が前記テスト用予測物体情報にさらに含まれ得るようにし、
    （ＩＩＩ）前記プロセッサが、前記テスト用予測物体情報を前記テスト用対象自動車上の少なくとも一つの自律走行モジュールに伝達することによって、前記テスト用対象自動車の自律走行を支援するプロセス；
    をさらに遂行することを特徴とする請求項１６に記載の装置。

Images