JP6941386B2 - 自律走行の安全性を提供するための方法及び装置 - Google Patents

Description

強化学習及びＶ２Ｘ通信を使用するアテンションドリブンリソース割り当てを通じて自律走行の安全性を提供するための方法及び装置｛ＭＥＴＨＯＤ ＡＮＤ ＤＥＶＩＣＥ ＦＯＲ ＡＴＴＥＮＴＩＯＮ−ＤＲＩＶＥＮ ＲＥＳＯＵＲＣＥ ＡＬＬＯＣＡＴＩＯＮ ＢＹ ＵＳＩＮＧ ＲＥＩＮＦＯＲＣＥＭＥＮＴ ＬＥＡＲＮＩＮＧ ＡＮＤ Ｖ２Ｘ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＴＯ ＴＨＥＲＥＢＹ ＡＣＨＩＥＶＥ ＳＡＦＥＴＹ ＯＦ ＡＵＴＯＮＯＭＯＵＳ ＤＲＩＶＩＮＧ｝を提供する。

本発明は自律走行車両に使用される方法及び装置に関し、より詳細には、強化学習及びＶ２Ｘ（ｖｅｈｉｃｌｅ−ｔｏ−ｅｖｅｒｙｔｈｉｎｇ）通信を使用するアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）リソース割り当てを通じて安全な自律走行を提供するための方法及びこれを利用した装置に関する。

最近、自律走行技術が研究されて、自律走行車両が運転者の介入なしにかなりの正確度で走行することができるほどに発展した。しかし、このような自律走行技術は商用化されていない。自律走行技術が大衆的に使用され得ないのには様々な理由があるが、そのうちの一つは、自律走行のための演算は、コンピューティングパワーをあまりにも多く消耗するという点である。

自律走行のための演算を遂行する際に消耗するコンピューティングパワーを減らすために多大な努力がなされているが、この場合に生じ得る問題点は、消耗するコンピューティングパワーを減らせば自律走行の性能が劣るということである。自律走行の性能が劣ると、エラーが多く生じ、運転者及び周囲の人々の生命を脅かすようになる。したがって、コンピューティングパワーを減らしながらも自律走行の性能をある程度保持し得るようにすることが必要であり、このような方法はあまり研究されていないのが事実である。

本発明は、上述の問題点を解決することを目的とする。

本発明は、強化学習及びＶ２Ｘ（ｖｅｈｉｃｌｅ−ｔｏ−ｅｖｅｒｙｔｈｉｎｇ）通信を使用するアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）リソース割り当てを通じて安全な自律走行を提供するための方法を提供することを他の目的とする。

また、本発明は、物体検出過程と並行して、物体検出の信頼度を表すパラメータであるコンフィデンスコア（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）を生成する方法を提供することをまた他の目的とする。

また、本発明は、他の物体からの閾値より低いコンフィデンスコアを有する領域に対する追加の補完情報を取得して、物体検出をより正確に遂行する方法を提供することをまた他の目的とする。

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下のとおりである。

本発明の一態様によると、物体検出プロセスと並行して生成された、物体検出の信頼度（Ｃｒｅｄｉｂｉｌｉｔｙ）を示すコンフィデンスコア（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）を利用することによって、コンピューティングパワーを節約しながらもより優れた自律走行性能を達成するための方法において、（ａ）コンピューティング装置が、対象車両に設けられた少なくとも一つのイメージセンサを通じて前記対象車両の周辺に対する少なくとも一つの状況イメージ（Ｃｉｒｃｕｍｓｔａｎｃｅ Ｉｍａｇｅ）を取得する段階；（ｂ）前記コンピューティング装置が、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をもって、前記状況イメージに対するＣＮＮ演算を少なくとも一回適用させて、前記状況イメージに関する初期物体情報及び初期コンフィデンス情報を生成させる段階；及び（ｃ）前記コンピューティング装置が、前記対象車両から距離が閾値以下である周辺物体のうち少なくとも一部とのＶ２Ｘ通信及び強化学習エージェントの支援を通じて、前記初期物体情報及び前記初期コンフィデンス情報を参照して、前記状況イメージに関する最終物体情報を生成する段階；を含むことを特徴とする方法が提供される。

一実施例において、前記（ｃ）段階で、前記コンピューティング装置が、前記強化学習エージェントをもって、（ｉ）前記初期コンフィデンス情報、前記周辺物体の基本メタ情報、及び前記イメージセンサのセンサ情報を参照して、補完演算が適用される前記状況イメージ上の一つ以上の特定の対象領域に対応する一つ以上の特定の周辺物体を、前記周辺物体の中から選択させ、（ｉｉ）前記特定の周辺物体との前記Ｖ２Ｘ通信を介して補完情報を取得させ、（ｉｉｉ）前記補完情報を利用して前記初期物体情報を調整することによって、前記最終物体情報を生成させる。

一実施例において、前記初期コンフィデンス情報、前記基本メタ情報、及び前記センサ情報が前記強化学習エージェントに入力されると、前記強化学習エージェントは、（ｉ）それ自体のパラメータを利用して前記一つ以上の特定の周辺物体を選択し、（ｉｉ）前記補完情報を参照して少なくとも一つのリワード（ｒｅｗａｒｄ）を生成し、（ｉｉｉ）前記リワードを参照して前記パラメータの少なくとも一部を学習する。

一実施例において、前記コンピューティング装置が、前記強化学習エージェントをもって、（ｉ）前記基本メタ情報に含まれている、前記周辺車両の相対的位置情報及び予定経路情報と、（ｉｉ）前記センサ情報に含まれている、ＦＯＶ（Ｆｉｅｌｄ−Ｏｆ−Ｖｉｅｗ）情報、内部パラメータ情報、外部パラメータ情報、及び歪曲情報と、（ｉｉｉ）前記初期コンフィデンス情報と、のうち少なくとも一部を利用して、前記一つ以上の特定の周辺物体を選択するか否かを決定する。

一実施例において、前記コンピューティング装置は、前記特定の周辺物体により生成された参照物体情報及び参照コンフィデンス情報のうち少なくとも一部を含む補完情報、及び前記特定の周辺物体の特定のメタデータを参照して、前記初期物体情報を調整することによって前記最終物体情報を生成し、前記特定の周辺物体は、それ自体の周辺物体に対する物体検出を遂行して前記参照物体情報及び前記参照コンフィデンス情報を生成する。

一実施例において、（ｄ）前記コンピューティング装置が、前記最終物体情報を自律走行モジュールに伝達することによって、前記自律走行モジュールをもって、前記最終物体情報を利用して前記対象車両の自律走行を遂行するように支援する段階；をさらに含む。

一実施例において、前記（ａ）段階以前に、（ａ１）トレーニングイメージが取得されると、学習装置が、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させる段階；（ａ２）前記学習装置が、前記コンボリューション特徴マップに対してアンカー（Ａｎｃｈｏｒ）演算を少なくとも一回適用することによって前記トレーニングイメージ上の予測ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するプロセスを遂行しつつ、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのアンカーレイヤをもって、前記予測ＲＯＩが原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ＲＯＩと同一であるそれぞれの少なくとも一つの確率を表すそれぞれの少なくとも一つのＲＰＮコンフィデンススコアを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させる段階；（ａ３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて、前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップが取得されると、前記学習装置は、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれているＦＣレイヤをもって、前記予測物体検出結果に含まれるそれぞれの少なくとも一つの予測ＣＮＮ分類結果及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果が、原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果と同一であるものと予測されるそれぞれの少なくとも一つの確率を表すそれぞれのＣＮＮコンフィデンススコアを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させる段階；及び（ａ４）前記学習装置が、ロスレイヤをもって、前記ＲＰＮコンフィデンスマップと、前記ＣＮＮコンフィデンスマップと、前記予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパゲーションを遂行することによって前記ＣＮＮ及び前記ＲＰＮに含まれているパラメータのうち少なくとも一部を学習させる段階；をさらに含む。

一実施例において、前記（ａ４）段階で、前記学習装置が、前記ロスレイヤをもって、下記数式にしたがって前記ＲＰＮロスを生成させ、

一実施例において、前記（ａ４）段階で、前記学習装置が、前記ロスレイヤをもって、下記数式にしたがって前記ＣＮＮロスを生成させ、

一実施例において、前記（ａ３）段階以後に、前記学習装置が、コンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して、前記トレーニングイメージ内のピクセルごとの統合コンフィデンススコアそれぞれに関する情報を含む統合コンフィデンスマップを生成させる。

一実施例において、前記学習装置が、前記コンフィデンスレイヤをもって、（ｉ）（ｉ−１）前記ＣＮＮから、前記予測物体検出結果を生成するプロセスが遂行される途中に生成される、前記予測ＲＯＩに対するＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）結果を取得するプロセス、（ｉ−２）前記ＲＰＮコンフィデンスマップに対してリサイズ（Ｒｅｓｉｚｅ）演算を少なくとも一回適用してリサイズされたＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記ＮＭＳ結果と、前記リサイズされたＲＰＮコンフィデンスマップとを参照して、前記統合コンフィデンスマップを生成するプロセスを遂行させる。

一実施例において、前記（ｂ）段階は、（ｂ１）前記状況イメージが取得されると、前記コンピューティング装置が、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記状況イメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させる段階；（ｂ２）前記コンピューティング装置が、前記コンボリューション特徴マップに対してアンカー演算を少なくとも一回適用することによって、前記状況イメージ上の予測ＲＯＩを生成するためのプロセスを遂行しつつ、ＲＰＮに含まれている少なくとも一つのアンカーレイヤをもって、前記予測ＲＯＩが原本正解ＲＯＩと同一である少なくとも一つの確率それぞれを表す、少なくとも一つのＲＰＮコンフィデンススコアそれぞれを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させる段階；（ｂ３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて、前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップが取得されると、前記コンピューティング装置が、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれるＦＣレイヤをもって、前記予測物体検出結果に含まれているそれぞれの少なくとも一つの予測ＣＮＮ分類結果及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果が原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果と同一である少なくとも一つの確率それぞれを表すＣＮＮコンフィデンスコアそれぞれを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させる段階；及び（ｂ４）前記コンピューティング装置が、前記ＣＮＮと連動して作動するコンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して統合コンフィデンスマップを生成させる段階；を含み、前記コンピューティング装置は、前記ＣＮＮをもって、前記予測物体検出結果を含む前記初期物体情報及び前記統合コンフィデンスマップを含む前記初期コンフィデンス情報を出力させる。

本発明の他の態様によると、物体検出プロセスと並行して生成された、物体検出の信頼度（Ｃｒｅｄｉｂｉｌｉｔｙ）を示すコンフィデンスコア（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）を利用することによって、コンピューティングパワーを節約しながらもより優れた自律走行性能を達成するためのコンピューティング装置において、インストラクションを格納する少なくとも１つのメモリと、（Ｉ）対象車両に設けられた少なくとも一つのイメージセンサを通じて前記対象車両の周辺に対する少なくとも一つの状況イメージ（Ｃｉｒｃｕｍｓｔａｎｃｅ Ｉｍａｇｅ）を取得するプロセス、（ＩＩ）ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をもって、前記状況イメージにＣＮＮ演算を少なくとも一回適用させて、前記状況イメージに関する初期物体情報及び初期コンフィデンス情報を生成させるプロセス、及び（ＩＩＩ）前記対象車両から距離が閾値以下である周辺物体のうち少なくとも一部とのＶ２Ｘ通信及び強化学習エージェントの支援を通じて、前記初期物体情報及び前記初期コンフィデンス情報を参照して、前記状況イメージに関する最終物体情報を生成するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする装置が提供される。

一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記強化学習エージェントをもって、（ｉ）前記初期コンフィデンス情報、前記周辺物体の基本メタ情報、及び前記イメージセンサのセンサ情報を参照して、補完演算が適用される前記状況イメージ上の一つ以上の特定の対象領域に対応する一つ以上の特定の周辺物体を、前記周辺物体の中から選択させ、（ｉｉ）前記特定の周辺物体との前記Ｖ２Ｘ通信を介して補完情報を取得させ、（ｉｉｉ）前記補完情報を利用して前記初期物体情報を調整することによって、前記最終物体情報を生成させる。

一実施例において、前記初期コンフィデンス情報、前記基本メタ情報、及び前記センサ情報が前記強化学習エージェントに入力されると、前記強化学習エージェントは、（ｉ）それ自体のパラメータを利用して前記一つ以上の特定の周辺物体を選択し、（ｉｉ）前記補完情報を参照して少なくとも一つのリワード（ｒｅｗａｒｄ）を生成し、（ｉｉ）前記リワードを参照して前記パラメータの少なくとも一部を学習する。

一実施例において、前記プロセッサが、前記強化学習エージェントをもって、（ｉ）前記基本メタ情報に含まれている、前記周辺車両の相対的位置情報及び予定経路情報と、（ｉｉ）前記センサ情報に含まれている、ＦＯＶ（Ｆｉｅｌｄ−Ｏｆ−Ｖｉｅｗ）情報、内部パラメータ情報、外部パラメータ情報、及び歪曲情報と、（ｉｉｉ）前記初期コンフィデンス情報とのうち少なくとも一部を利用して、前記一つ以上の特定の周辺物体を選択するか否かを決定する。

一実施例において、前記プロセッサは、前記特定の周辺物体により生成された参照物体情報及び参照コンフィデンス情報のうち少なくとも一部を含む補完情報、及び前記特定の周辺物体の特定のメタデータを参照して、前記初期物体情報を調整することによって前記最終物体情報を生成し、前記特定の周辺物体は、それ自体の周辺物体に対する物体検出を遂行して前記参照物体情報及び前記参照コンフィデンス情報を生成する。

一実施例において、前記プロセッサが、（ＩＶ）前記最終物体情報を自律走行モジュールに伝達することによって、前記自律走行モジュールをもって、前記最終物体情報を利用して前記対象車両の自律走行を遂行するように支援するプロセスをさらに遂行する。

一実施例において、前記（Ｉ）プロセス以前に、（Ｉ−１）トレーニングイメージが取得されると、学習装置が、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させるプロセス；（Ｉ−２）前記学習装置が、前記コンボリューション特徴マップに対してアンカー（Ａｎｃｈｏｒ）演算を少なくとも一回適用することによって、前記トレーニングイメージ上の予測ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するプロセスを遂行しつつ、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのアンカーレイヤをもって、前記予測ＲＯＩが原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ＲＯＩと同一であるそれぞれの少なくとも一つの確率を表すそれぞれの少なくとも一つのＲＰＮコンフィデンススコアを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させるプロセス；（Ｉ−３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて、前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップが取得されると、前記学習装置は、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれているＦＣレイヤをもって、前記予測物体検出結果に含まれるそれぞれの少なくとも一つの予測ＣＮＮ分類結果及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果が、原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果と同一であるものと予測されるそれぞれの少なくとも一つの確率を表すそれぞれのＣＮＮコンフィデンススコアを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させるプロセス；及び（Ｉ−４）前記学習装置が、ロスレイヤをもって、前記ＲＰＮコンフィデンスマップと、前記ＣＮＮコンフィデンスマップと、前記予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパゲーションを遂行することによって前記ＣＮＮ及び前記ＲＰＮに含まれているパラメータのうち少なくとも一部を学習させるプロセス；が遂行されることによって、前記ＣＮＮが学習される。

一実施例において、前記（Ｉ−４）プロセスで、前記学習装置が、前記ロスレイヤをもって、下記数式にしたがって前記ＲＰＮロスを生成させ、

一実施例において、前記（Ｉ−４）プロセスで、前記学習装置が、前記ロスレイヤをもって、下記数式にしたがって前記ＣＮＮロスを生成させ、

一実施例において、前記（Ｉ−３）プロセス以後に、前記学習装置が、コンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して、前記トレーニングイメージ内のピクセルごとの統合コンフィデンススコアそれぞれに関する情報を含む統合コンフィデンスマップを生成させる。

一実施例において、前記学習装置が、前記コンフィデンスレイヤをもって、（ｉ−１）前記ＣＮＮから、前記予測物体検出結果を生成するプロセスが遂行される途中に生成される、前記予測ＲＯＩに対するＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）結果を取得するプロセス、（ｉ−２）前記ＲＰＮコンフィデンスマップに対してリサイズ（Ｒｅｓｉｚｅ）演算を少なくとも一回適用してリサイズされたＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記ＮＭＳ結果及び前記リサイズされたＲＰＮコンフィデンスマップを参照して前記統合コンフィデンスマップを生成するプロセスを遂行させる。

一実施例において、前記（ＩＩ）プロセスは、（ＩＩ−１）前記状況イメージが取得されると、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記状況イメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させるプロセス；（ＩＩ−２）前記コンボリューション特徴マップに対してアンカー演算を少なくとも一回適用することによって、前記状況イメージ上の予測ＲＯＩを生成するためのプロセスを遂行しつつ、ＲＰＮに含まれている少なくとも一つのアンカーレイヤをもって、前記予測ＲＯＩが原本正解ＲＯＩと同一である少なくとも一つの確率それぞれを表す、少なくとも一つのＲＰＮコンフィデンススコアそれぞれを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させるプロセス；（ＩＩ−３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップが取得されると、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれるＦＣレイヤをもって、前記予測物体検出結果に含まれているそれぞれの少なくとも一つの予測ＣＮＮ分類結果及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果が、原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果と同一である少なくとも一つの確率それぞれを表すＣＮＮコンフィデンスコアそれぞれを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させるプロセス；及び（ＩＩ−４）前記ＣＮＮと連動して作動するコンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して統合コンフィデンスマップを生成させるプロセスを含み、前記プロセッサは、前記ＣＮＮをもって、前記予測物体検出結果を含む前記初期物体情報と、前記統合コンフィデンスマップを含む前記初期コンフィデンス情報とを出力させる。

その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。

本発明は、上述した問題点を解決することを目的とする。

また、本発明によると、強化学習及びＶ２Ｘ（ｖｅｈｉｃｌｅ−ｔｏ−ｅｖｅｒｙｔｈｉｎｇ）通信を使用するアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）リソース割り当てを通じて自律走行の安全性を提供するための方法を提供し得る効果がある。

また、本発明によると、物体検出過程と並行して、物体検出の信頼度を表すパラメータであるコンフィデンスコア（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）を生成する方法を提供し得る効果がある。

また、本発明によると、他の物体からの閾値より低いコンフィデンスコアを有する領域に関する追加の補完情報を取得して、物体検出をより正確に遂行する方法を提供し得る効果がある。

本発明の前記及び他の目的並びに特徴は、以下の添付図面とともに提供された好ましい実施例の説明において明らかにされる。

本発明の実施例の説明に利用されるために添付された以下である各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。

図１は、本発明の一実施例にしたがって、強化学習及びＶ２Ｘ（ｖｅｈｉｃｌｅ−ｔｏ−ｅｖｅｒｙｔｈｉｎｇ）通信を使用するアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）リソース割り当てを通じて安全な自律走行を提供するための方法を遂行するコンピューティング装置の構成を簡略に示した図面である。

図２は、本発明の一実施例にしたがって、強化学習及びＶ２Ｘ通信を使用するアテンションドリブンリソース割り当てを通じて安全な自律走行を提供するための方法を簡略に示したフローチャートである。

図３は、本発明の一実施例にしたがって、強化学習及びＶ２Ｘ通信を使用するアテンションドリブンリソース割り当てを通じて安全な自律走行を提供するための方法を遂行するのに利用される、特定の周辺物体からの補完情報を取得する一例を簡略に示した図面である。

図４は、本発明の一実施例にしたがって、強化学習及びＶ２Ｘ通信を使用するアテンションドリブンリソース割り当てを通じて安全な自律走行を提供するための方法を遂行するのに利用されるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習プロセスを簡略に示したフローチャートである。

図５は、本発明の一実施例にしたがって、強化学習及びＶ２Ｘ通信を使用するアテンションドリブンリソース割り当てを通じて安全な自律走行を提供する方法を遂行するのに使用される、ＣＮＮ、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）、ロスレイヤ、及びコンフィデンス（ｃｏｎｆｉｄｅｎｃｅ）レイヤを含む学習装置の構成を簡略に示した図面である。

後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似する機能を指す。

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。

図１は、本発明の一実施例にしたがって、強化学習及びＶ２Ｘ（ｖｅｈｉｃｌｅ−ｔｏ−ｅｖｅｒｙｔｈｉｎｇ）通信を使用するアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）リソース割り当てを通じて安全な自律走行を提供するための方法を遂行するコンピューティング装置の構成を示した図面である。

図１を参照すると、コンピューティング装置１００は、追って詳細に説明する構成要素であるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）１３０、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）１４０、コンフィデンスレイヤ１５０、及び強化学習エージェント１６０を含むことができる。この場合、ＣＮＮ１３０、ＲＰＮ１４０、コンフィデンスレイヤ１５０、及び強化学習エージェント１６０の入出力及び通信過程は、それぞれ通信部１１０及びプロセッサ１２０により行われ得る。ただし、図１では、通信部１１０及びプロセッサ１２０の具体的な連結関係を省略した。この場合、メモリ１１５は後述する様々なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納した状態であり得、プロセッサ１２０はメモリ１１５に格納されたインストラクションを実行するように設定され、プロセッサ１２０は、追って説明するインストラクションを実行することによって本発明のプロセスを遂行することができる。このようにコンピューティング装置１００が描写されたからといって、コンピューティング装置１００が本発明を実施するためのプロセッサ、ミディアム、メモリまたはその他のコンピューティング要素が統合された形態である統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ Ｐｒｏｃｅｓｓｏｒ）を含む場合を排除するわけではない。

前記コンピューティング装置１００は、対象車両と連動して作動することができ、対象車両に設けられた少なくとも一つのイメージセンサを通じて撮影されたイメージを取得することができる。このようなイメージセンサは、カメラの形態で具現されるか、レーダーまたはライダー（Ｌｉｄａｒ）などのデプスセンサ（Ｄｅｐｔｈ Ｓｅｎｓｏｒ）の形態で具現され得る。

以上、本発明の一実施例にしたがって、強化学習及びＶ２Ｘ通信を使用する前記アテンションドリブンリソース割り当てを通じて安全な自律走行を提供するための方法を遂行するのに使用される前記コンピューティング装置１００の構成について説明した。以下、前記方法自体について、図２を参照して説明することにする。

図２は、本発明の一実施例にしたがって、強化学習及びＶ２Ｘ通信を使用する前記アテンションドリブンリソース割り当てを通じて安全な自律走行を提供するための方法を簡略に示したフローチャートである。

図２を参照すると、コンピューティング装置１００が、対象車両に搭載されたイメージセンサを通じて対象車両の周辺に対する少なくとも一つの状況イメージ（Ｃｉｒｃｕｍｓｔａｎｃｅ Ｉｍａｇｅ）を取得することができる（Ｓ１００）。以後、コンピューティング装置１００が、ＣＮＮ１３０をもって、状況イメージにＣＮＮ演算を少なくとも一回適用して、状況イメージに関する初期物体情報及び初期コンフィデンス情報を生成させることができる（Ｓ２００）。以後、コンピューティング装置１００は、前記対象車両から距離が閾値以下である周辺物体のうち少なくとも一部とのＶ２Ｘ通信及び前記強化学習エージェント１６０の支援を通じて、前記初期物体情報及び前記初期コンフィデンス情報を参照して、前記状況イメージに関する最終物体情報を生成することができる（Ｓ３００）。

概括的なフローは前記のとおりであり、以下、これについてさらに具体的に説明することにする。まず、状況イメージが単一である一実施例について説明する。

イメージセンサを通じて状況イメージが取得されると、コンピューティング装置１００が、ＣＮＮ１３０をもって、状況イメージに対してＣＮＮ演算を適用させることができる。ここで、もし状況イメージが、カメラの形態で設けられた第１イメージセンサを通じて取得されたものであれば、コンピューティング装置１００は、３チャンネルイメージに対して最適化された、インプットノード（Ｉｎｐｕｔ Ｎｏｄｅ）が３個以上である第１ＣＮＮをもって、状況イメージに対して第１ＣＮＮ演算を少なくとも一回適用させることによってＣＮＮ演算を適用させることができる。または、状況イメージが、デプスセンサ（Ｄｅｐｔｈ Ｓｅｎｓｏｒ）の形態で設けられた第２イメージセンサを通じて取得されたものであれば、コンピューティング装置１００は、デプスイメージに最適化された、インプットノードが１個以上である第２ＣＮＮをもって、状況イメージに対して第２ＣＮＮ演算を少なくとも一回適用させることによってＣＮＮ演算を適用させることができる。この場合、「第１ＣＮＮ」と「第２ＣＮＮ」の記号は、上記の特定の場合のようにＣＮＮ１３０として機能し得るＣＮＮを区分するために使用される。同様に「第１イメージセンサ」と「第２イメージセンサ」の記号は、上記の特定の場合のようにイメージセンサとして機能し得るイメージセンサを区別するために使用される。

このようなＣＮＮ演算を通じて、初期物体情報及び初期コンフィデンス情報が取得されると、コンピューティング装置１００は、下記のような補完演算を遂行することによって最終物体情報を生成することができる。

すなわち、前記コンピューティング装置１００が、前記強化学習エージェント１６０をもって、前記初期コンフィデンス情報、前記周辺物体の基本メタ情報、及び前記イメージセンサのセンサ情報を参照して、補完演算が適用される前記状況イメージ上の一つ以上の特定の対象領域に対応する一つ以上の特定の周辺物体を、前記周辺物体の中から選択させることができる。この場合、前記強化学習エージェント１６０は、どのような特定の周辺物体も選択しないことがある。この場合は、前記強化学習エージェント１６０が、前記補完演算を遂行してコンフィデンススコアを向上させる特定の対象領域がないものと判断する場合に対応し得る。前記強化学習エージェント１６０は、このような機能を遂行するために下記のように学習され得る。

すなわち、前記初期コンフィデンス情報、前記基本メタ情報、及び前記センサ情報が入力されると、前記強化学習エージェント１６０は、それ自体のパラメータを利用して前記一つ以上の特定の周辺物体を選択することができる。その後、前記強化学習エージェント１６０は、これによって取得された前記補完情報を参照して少なくとも一つのリワード（ｒｅｗａｒｄ）を生成することができる。この際、前記リワードは、前記補完情報を利用して物体情報が取得される前記特定の対象領域のうちの少なくとも一部領域の広さに比例するはずである。一例として、前記広さが予め設定された閾値以下である場合、前記リワードを０として計算することができる。前記強化学習エージェント１６０は、前記特定の周辺物体を選択する各イテレーション（ｉｔｅｒａｔｉｏｎ）ごとに前記それ自体のパラメータを学習させ、時間が経過するほど、より正確に当該イテレーションにおける前記特定の周辺物体を選択し得るようになるはずである。このような強化学習エージェント１６０は、強化学習理論の分野において一般的に使用されるニューラルネットワークと類似した構造を有し得る。すなわち、多層のレイヤそれぞれに複数個の仮想ニューロンを含む形態であり得る。

以下、前記強化学習エージェント１６０に入力される、前記基本メタ情報及び前記センサ情報についても説明することにする。前記基本メタ情報は、前記周辺車両の相対的位置情報及び予定経路情報のうち少なくとも一部を含むことができる。前記相対的位置情報は、相対的に簡単なニューラルネットワークをもって、前記状況イメージを処理させて、前記周辺物体の大まかな位置を検出することによって取得されるか、前記周辺物体とのＶ２Ｘ通信を遂行して取得され得る。前記予定経路情報もまた、前記簡単なニューラルネットワークを利用して取得されるか、前記周辺物体との前記Ｖ２Ｘ通信を遂行して取得され得る。一方、前記センサ情報は、前記イメージセンサが前記カメラである場合、ＦＯＶ（Ｆｉｅｌｄ−Ｏｆ−Ｖｉｅｗ）情報、内部パラメータ情報、外部パラメータ情報、及び歪曲情報のうち少なくとも一部を含むことができ、これらは予め入力されたものであり得る。

ここで、前記特定の周辺物体が選択されて前記コンピューティング装置１００と通信する過程について考察するために、図３を参照する。

図３は、本発明の一実施例にしたがって、強化学習及びＶ２Ｘ通信を使用するアテンションドリブンリソース割り当てを通じて安全な自律走行を提供するための方法を遂行するのに利用される、特定の周辺物体からの補完情報を取得する一例を簡略に示した図面である。

図３を参照すると、前記対象車両２００、コンフィデンススコアが相対的に低い第１特定の対象領域２１０に含まれた例示の車両２１１、及び第２特定の対象領域２２０を撮影するＣＣＴＶ２２１を確認することができる。前記強化学習エージェント１６０は、十分に学習された状態で、前記Ｖ２Ｘ通信を通じて前記第１特定の対象領域２１０及び前記第２特定の対象領域２２０に関する追加の情報を取得するために、前記例示の車両２１１を第１特定の周辺物体として、前記ＣＣＴＶ２２１を第２特定の周辺物体として選択することができる。一例として、前記例示の車両２１１から取得された、以下に説明される特定のメタデータが利用され得、前記ＣＣＴＶ２２１から取得された、参照物体情報及び参照コンフィデンス情報もまた利用され得る。

すなわち、前記補完情報は、特定の周辺物体により生成された、前記特定のメタデータ、前記参照物体情報、及び前記参照コンフィデンス情報を含むことができる。この際、前記特定のメタデータは、前記特定の周辺物体の位置及び速度に関する情報を含むことができる。そして、前記参照物体情報及び前記参照コンフィデンス情報は、イメージあるいはレーダー及びライダーを基盤として周辺の物体検出を遂行する前記特定の周辺物体により生成され得る。前述したように、前記特定の周辺物体は、前記特定の対象領域に対応することができる。具体的に、前記特定の周辺物体の一部が前記特定の対象領域に含まれたものであるか、前記特定の周辺物体の一部が検出した情報、すなわち、前記参照物体情報が前記特定の対象領域内の物体に関する情報を含むものであり得る。したがって、前記コンピューティング装置１００は、前記補完情報を利用して前記状況イメージのうち信頼度の低い（ｕｎｃｏｎｆｉｄｅｎｔ）領域、すなわち、前記特定の対象領域を補完することによって、前記最終物体情報を生成することができる。

前記最終物体情報が作成された後、前記コンピューティング装置１００が、前記最終物体情報を自律走行モジュールに伝達することによって、前記自律走行モジュールをもって、前記最終物体情報を利用して前記対象車両の自律走行を遂行するように支援することができる。

以上、本発明の全般的な実施例について説明した。以下、前記実施例を遂行するために使用されるＣＮＮ１３０を学習する方法について説明することにし、このために図４を参照する。

図４は、本発明の一実施例にしたがって、強化学習及びＶ２Ｘ通信を使用するアテンションドリブンリソース割り当てを通じて安全な自律走行を提供するための方法を遂行するのに利用されるＣＮＮの学習プロセスを簡略に示したフローチャートである。

図４を参照すると、物体検出プロセスを遂行しつつ、物体検出の信頼度を表すパラメータであるそれぞれのコンフィデンススコアを生成するための学習方法について概括的に考察することができる。

参考までに、以下である説明において、混同を避けるために「学習用」という文言は前述の学習プロセスに関する用語に対して追加され、「テスト用」という文言はテストプロセスに関する用語に対して追加される。

アンカー特徴マップを生成するプロセスを遂行する間、学習装置は、ＲＰＮ１４０をもって、予測ＲＯＩが原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ＲＯＩと同一であるそれぞれの少なくとも一つの確率を表すそれぞれのＲＰＮコンフィデンススコアをコンボリューションレイヤ特徴マップに含まれているピクセルごとに生成させることができる。つまり、ＲＰＮコンフィデンススコアは、ＲＰＮ１４０により遂行されるプロセスの結果の信頼度、すなわち、予測ＲＯＩの信頼度を表すパラメータである。

説明の便宜上、予測ＲＯＩを決定するプロセスとＲＰＮコンフィデンススコアを生成するプロセスとを分離して述べたが、二つのプロセスは同時に遂行され得る。すなわち、ＲＰＮ１４０にコンボリューション特徴マップが入力されると、ＲＰＮ１４０内のそれぞれのＲＰＮニューロンは、それ自体の演算を遂行して、それ自体が演算した値を次のＲＰＮニューロンに移すことによって、最後のレイヤでアンカー特徴マップを出力することができる。よって、二つのプロセスは互いに影響を及ぼし、従属的に遂行され得る。しかしながら、二つのプロセスは同時に遂行されなくてもよい。例えば、予測ＲＯＩを決定するプロセスが先に遂行され得る。

アンカー特徴マップが生成された以後、学習装置は、予測ＲＯＩに関する情報を含む、アンカー特徴マップ内の５Ａ個のチャンネルの値をＣＮＮ１３０に伝達することができ、アンカー特徴マップ内の残りの１つのチャンネルの値を追って説明するコンフィデンスレイヤ１５０に伝達することができる。まず、ＣＮＮ１３０に伝達される５Ａ個のチャンネルの値がどのように処理されるかについて下記のように説明することにする。

前記５Ａ個のチャンネルの値が伝達された後、学習装置は、ＣＮＮ１３０内のＲＯＩプーリングレイヤをもって、予測ＲＯＩに関する情報を参照してコンボリューション特徴マップに対してＲＯＩプーリング演算を少なくとも一回適用させることによって、ＲＯＩプーリング済み特徴マップ（ＲＯＩ−Ｐｏｏｌｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成させ（Ｓ３０）、ＣＮＮ１３０内のＦＣレイヤをもって、ＲＯＩプーリング済み特徴マップに対してＦＣ演算を少なくとも一回適用させて、初期物体検出結果及びＣＮＮコンフィデンススコアを生成させることができる。

ここで、初期物体検出結果は、それぞれの物体を含むそれぞれのバウンディングボックスのそれぞれの予測座標に対するそれぞれの初期予測ＣＮＮリグレッション結果と、それぞれの物体がそれぞれのクラスに含まれるそれぞれの確率を表す、それぞれの物体のそれぞれのクラススコアに対するそれぞれの初期予測ＣＮＮ分類結果とを含むことができる。このような初期物体検出結果の生成プロセスは、従来技術のとおりである。

そして、ＣＮＮコンフィデンススコアは、追って説明する、予測物体検出結果が原本正解物体検出結果と同一である程度に関する情報を含むことができる。この際、予測物体検出結果は、ＮＭＳ演算を初期物体検出結果に適用して生成されたものであり得る。詳細には、それぞれのＣＮＮコンフィデンススコアは、予測物体検出結果に含まれているそれぞれの少なくとも一つの予測ＣＮＮ分類結果及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果が原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果と同一である少なくとも一つの確率それぞれを表すことができる。つまり、ＣＮＮコンフィデンススコアは、ＣＮＮ１３０のＦＣレイヤにより生成された結果の信頼度を表す。

ＲＰＮコンフィデンススコアとＣＮＮコンフィデンススコアとを同時に使用する理由は、ＲＰＮ１４０により初期に決定された予測ＲＯＩがＣＮＮ１３０により処理されることによって予測物体検出結果が生成されるためである。２つのネットワークがいずれも予測物体検出結果を生成するプロセスに関わるため、２つのネットワークは異なる評価がされるべきである。

一例として、特定の予測ＲＯＩがＲＰＮ１４０により誤って決定された場合、ＣＮＮ１３０のＦＣレイヤは、誤って決定された特定の予測ＲＯＩをフィルタリングすることができる。または、特定の予測ＲＯＩがＲＰＮ１４０により正確に予測された場合にも、ＣＮＮ１３０のＦＣレイヤは、特定の予測ＲＯＩがどのような物体も含んでいないものと誤って決定することがあり得る。このような場合において、ＲＰＮ１４０とＣＮＮ１３０とは誤って遂行されるか正しく遂行され得るので、物体検出プロセスを評価する間、このような場合も考慮されなければならない。

ＲＰＮ１４０と同様に、（ｉ）初期物体検出結果とそれに対応する予測物体検出結果とを生成するプロセス、及び（ｉｉ）ＣＮＮコンフィデンスマップを生成するプロセスは、便宜上別々に説明されたが、この２つのプロセスもやはり相互に従属的であり、ＦＣレイヤ内で同時に遂行されてもよいし、この２つのプロセスは独立して遂行されてもよい。

予測ＲＯＩに対するＣＮＮコンフィデンススコアが生成された後、ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップが生成され得る。

以後、学習装置は、ＣＮＮ１３０をもって、初期物体検出結果に対してＮＭＳを適用して、重複する予測ＲＯＩに対応するバウンディングボックスを統合することによって、予測物体検出結果を生成させることができる。重複する予測ＲＯＩが統合されるに伴って、他の予測ＲＯＩに重複しない特定の予測ＲＯＩに対応する特定のＣＮＮコンフィデンススコアが選択され得る。ここで、ＮＭＳの使用方式は広く知られているので、これ以上の説明は省略することにする。

一方、学習装置は、コンフィデンスレイヤ１５０をもって、ＲＰＮコンフィデンスマップに対応するアンカー特徴マップ内の一つのチャンネルの値を取得させることができ、ＲＰＮ１４０コンフィデンスマップを利用してトレーニングイメージのような

の幾何学的サイズを有するリサイズされたＲＰＮコンフィデンスマップを生成させることができる。リサイズされたＲＰＮコンフィデンスマップを生成するために、最近傍サイズ（Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｓｉｚｅ）、バイリニアリサイズ（Ｂｉｌｉｎｅａｒ Ｒｅｓｉｚｅ）、バイキュービックリサイズ（Ｂｉｃｕｂｉｃ Ｒｅｓｉｚｅ）、及びランチョスリサイズ（Ｌａｎｃｚｏｓ Ｒｅｓｉｚｅ）などのようなリサイズ演算のうちのどれであっても、トレーニングイメージ内のそれぞれのピクセルがそれぞれのＲＰＮコンフィデンススコアとペアリング（Ｐａｉｒｉｎｇ）をなすように、ＲＰＮコンフィデンスマップに対して適用され得る。

予測物体検出結果及びリサイズされたＲＰＮコンフィデンスマップが取得された後、学習装置は、コンフィデンスレイヤ１５０をもって、これらを参照して統合コンフィデンスマップを生成させることができる。ここで、統合コンフィデンスマップに含まれている統合コンフィデンスコアは、下記数式によって算出され得る。

ただし、正確に統合コンフィデンスマップを生成するためには、ＣＮＮ１３０及びＲＰＮ１４０を学習する必要がある。２つのネットワークをどのように学習するのかについて、以下に説明することにする。

すなわち、学習装置はロスレイヤをもって、ＲＰＮコンフィデンスマップ、ＣＮＮコンフィデンスマップ、予測物体検出結果、及び原本正解物体検出結果を参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させることができ（Ｓ４０）、ＲＰＮロス及びＣＮＮロスを利用してバックプロパゲーションを遂行することによってＣＮＮ１３０及びＲＰＮ１４０に含まれているパラメータのうち少なくとも一部を学習させることができる。ＲＰＮロス及びＣＮＮロスに関して、以下に詳細に説明することにする。

まず、下記の数式によってＲＰＮロスを生成させることができる。

前記公式において、公式の最初の項は分類のロスを意味し得、二番目の項はリグレッションロスを意味し得る。リグレッションロス項、すなわち、二番目の項はよく知られている従来技術であるので、これに関する説明は省略することにする。分類ロス項、すなわち、最初の項について下記で説明することにする。

以上、本発明のＲＰＮロスを生成する方法について考察してみたところ、以下、本発明のＣＮＮロスを生成する方法について考察してみることにする。

このようにＣＮＮロス及びＲＰＮロスが生成された後、学習装置は、ロスレイヤをもって、ＣＮＮロス及びＲＰＮロスをそれぞれバックプロパゲーションすることによって、ＣＮＮ１３０及びＲＰＮ１４０に含まれているパラメータのうち少なくとも一部を学習させることができる。以後、ＣＮＮ１３０及びＲＰＮ１４０は、入力されたイメージに含まれている物体を検出するプロセスを遂行しつつ、入力される前記イメージに対応するＣＮＮコンフィデンススコア及びＲＰＮコンフィデンススコアをさらに正確に生成することができる。

このような学習過程が完了した後、学習装置は、ＣＮＮ１３０をコンピューティング装置１００に伝達することができる。また、ＲＰＮ１４０及びコンフィデンスレイヤ１５０は、ＣＮＮ１３０に従属的であるので、共にコンピューティング装置１００に伝達され得る。ＣＮＮ１３０と、ＲＰＮ１４０と、コンフィデンスレイヤ１５０とは、学習が完了したパラメータを利用して学習過程で遂行したものと類似する演算を遂行することができる。つまり、ＣＮＮ１３０が状況イメージを取得すると、ＣＮＮ１３０と、ＲＰＮ１４０と、コンフィデンスレイヤ１５０とは、学習過程で統合コンフィデンスマップを生成したものと同一の方式で、初期コンフィデンス情報を初期物体情報とともに生成することができる。

ここで、参考説明として、ＣＮＮと１３０、ＲＰＮ１４０と、ロスレイヤ１５０と、コンフィデンスレイヤ１６０とがどのように互いに連動して動作することによって、物体検出を行う途中にコンフィデンススコアを生成することができるのかについて、図５を参照して説明される。

図５は、本発明の一実施例にしたがって、強化学習及びＶ２Ｘ通信を使用するアテンションドリブンリソース割り当てアルゴリズムを利用して、安全な自律走行を提供する方法を遂行するのに使用される、ＣＮＮと、ＲＰＮと、ロスレイヤと、コンフィデンスレイヤとを含む学習装置の構成を示した図面である。

このように信頼度に劣る部分に対して物体検出を再び適用して取得されたさらなる情報を利用して自律走行を支援することによって、さらに安全な自律走行が行われ得るはずである。

また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。

したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (24)

1. 物体検出プロセスと並行して生成された、物体検出の信頼度（Ｃｒｅｄｉｂｉｌｉｔｙ）を示すコンフィデンスコア（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）を利用することによって、コンピューティングパワーを節約しながらもより優れた自律走行性能を達成するための方法において、
   （ａ）コンピューティング装置が、対象車両に設けられた少なくとも一つのイメージセンサを通じて前記対象車両の周辺に対する少なくとも一つの状況イメージ（Ｃｉｒｃｕｍｓｔａｎｃｅ Ｉｍａｇｅ）を取得する段階；
   （ｂ）前記コンピューティング装置が、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をもって、前記状況イメージに対するＣＮＮ演算を少なくとも一回適用させて、前記状況イメージに関する初期物体情報及び初期コンフィデンス情報を生成させる段階；
   （ｃ）前記コンピューティング装置が、強化学習エージェントをもって、前記初期コンフィデンス情報、前記対象車両からの距離が閾値以下であり、前記対象車両とＶ２Ｘ通信を遂行する周辺物体の基本メタ情報及び前記イメージセンサのセンサ情報を参照して、補完演算が適用される前記状況イメージ上の一つ以上の特定の対象領域に対応する一つ以上の特定の周辺物体を、前記周辺物体の中から選択させる段階；及び
   （ｄ）前記コンピューティング装置が、前記特定の周辺物体とのＶ２Ｘ通信を通じて、前記特定の対象領域に関する補完情報を取得し、前記補完情報を利用して前記状況イメージの前記特定の対象領域における前記初期物体情報を調整することにより、前記状況イメージに関する最終物体情報を生成する段階；
   を含むことを特徴とする方法。
2. 前記初期コンフィデンス情報、前記基本メタ情報、及び前記センサ情報が前記強化学習エージェントに入力されると、前記強化学習エージェントは、（ｉ）それ自体のパラメータを利用して前記一つ以上の特定の周辺物体を選択し、（ｉｉ）前記補完情報を参照して少なくとも一つのリワード（ｒｅｗａｒｄ）を生成し、（ｉｉｉ）前記リワードを参照して前記パラメータの少なくとも一部を学習することを特徴とする請求項１に記載の方法。
3. 前記コンピューティング装置が、前記強化学習エージェントをもって、（ｉ）前記基本メタ情報に含まれている、前記周辺車両の相対的位置情報及び予定経路情報と、（ｉｉ）前記センサ情報に含まれている、ＦＯＶ（Ｆｉｅｌｄ−Ｏｆ−Ｖｉｅｗ）情報、内部パラメータ情報、外部パラメータ情報、及び歪曲情報と、（ｉｉｉ）前記初期コンフィデンス情報と、のうち少なくとも一部を利用して、前記一つ以上の特定の周辺物体を選択するか否かを決定することを特徴とする請求項１に記載の方法。
4. 前記コンピューティング装置は、前記特定の周辺物体により生成された参照物体情報及び参照コンフィデンス情報のうち少なくとも一部を含む補完情報、及び前記特定の周辺物体の特定のメタデータを参照して、前記初期物体情報を調整することによって前記最終物体情報を生成し、前記特定の周辺物体は、それ自体の周辺物体に対する物体検出を遂行して前記参照物体情報及び前記参照コンフィデンス情報を生成することを特徴とする請求項１に記載の方法。
5. （e）前記コンピューティング装置が、前記最終物体情報を自律走行モジュールに伝達することによって、前記自律走行モジュールをもって、前記最終物体情報を利用して前記対象車両の自律走行を遂行するように支援する段階；
   をさらに含むことを特徴とする請求項１に記載の方法。
6. 前記（ａ）段階以前に、
   （ａ１）トレーニングイメージが取得されると、学習装置が、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させる段階；
   （ａ２）前記学習装置が、前記コンボリューション特徴マップに対してアンカー（Ａｎｃｈｏｒ）演算を少なくとも一回適用することによって前記トレーニングイメージ上の予測ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するプロセスを遂行しつつ、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのアンカーレイヤをもって、前記予測ＲＯＩが原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ＲＯＩと同一であるそれぞれの少なくとも一つの確率を表すそれぞれの少なくとも一つのＲＰＮコンフィデンススコアを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させる段階；
   （ａ３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて、前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップが取得されると、前記学習装置は、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれているＦＣレイヤをもって、前記予測物体検出結果に含まれるそれぞれの少なくとも一つの予測ＣＮＮ分類結果及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果が、原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果と同一であるものと予測されるそれぞれの少なくとも一つの確率を表すそれぞれのＣＮＮコンフィデンススコアを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させる段階；及び
   （ａ４）前記学習装置が、ロスレイヤをもって、前記ＲＰＮコンフィデンスマップと、前記ＣＮＮコンフィデンスマップと、前記予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパゲーションを遂行することによって前記ＣＮＮ及び前記ＲＰＮに含まれているパラメータのうち少なくとも一部を学習させる段階；
   をさらに含むことを特徴とする請求項１に記載の方法。
7. 
8. 
9. 前記（ａ３）段階以後に、
   前記学習装置が、コンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して、前記トレーニングイメージ内のピクセルごとの統合コンフィデンススコアそれぞれに関する情報を含む統合コンフィデンスマップを生成させることを特徴とする請求項６に記載の方法。
10. 前記学習装置が、前記コンフィデンスレイヤをもって、（ｉ）（ｉ−１）前記ＣＮＮから、前記予測物体検出結果を生成するプロセスが遂行される途中に生成される、前記予測ＲＯＩに対するＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）結果を取得するプロセス、（ｉ−２）前記ＲＰＮコンフィデンスマップに対してリサイズ（Ｒｅｓｉｚｅ）演算を少なくとも一回適用してリサイズされたＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記ＮＭＳ結果と、前記リサイズされたＲＰＮコンフィデンスマップとを参照して、前記統合コンフィデンスマップを生成するプロセスを遂行させることを特徴とする請求項９に記載の方法。
11. 
12. 前記（ｂ）段階は、
    （ｂ１）前記状況イメージが取得されると、前記コンピューティング装置が、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記状況イメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させる段階；
    （ｂ２）前記コンピューティング装置が、前記コンボリューション特徴マップに対してアンカー演算を少なくとも一回適用することによって、前記状況イメージ上の予測ＲＯＩを生成するためのプロセスを遂行しつつ、ＲＰＮに含まれている少なくとも一つのアンカーレイヤをもって、前記予測ＲＯＩが原本正解ＲＯＩと同一である少なくとも一つの確率それぞれを表す、少なくとも一つのＲＰＮコンフィデンススコアそれぞれを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させる段階；
    （ｂ３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて、前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップが取得されると、前記コンピューティング装置が、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれるＦＣレイヤをもって、前記予測物体検出結果に含まれているそれぞれの少なくとも一つの予測ＣＮＮ分類結果及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果が原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果と同一である少なくとも一つの確率それぞれを表すＣＮＮコンフィデンスコアそれぞれを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させる段階；及び
    （ｂ４）前記コンピューティング装置が、前記ＣＮＮと連動して作動するコンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して統合コンフィデンスマップを生成させる段階；
    を含み、
    前記コンピューティング装置は、前記ＣＮＮをもって、前記予測物体検出結果を含む前記初期物体情報及び前記統合コンフィデンスマップを含む前記初期コンフィデンス情報を出力させることを特徴とする請求項１に記載の方法。
13. 物体検出プロセスと並行して生成された、物体検出の信頼度（Ｃｒｅｄｉｂｉｌｉｔｙ）を示すコンフィデンスコア（Ｃｏｎｆｉｄｅｎｃｅ Ｓｃｏｒｅ）を利用することによって、コンピューティングパワーを節約しながらもより優れた自律走行性能を達成するためのコンピューティング装置において、
    インストラクションを格納する少なくとも１つのメモリと、
    （Ｉ）対象車両に設けられた少なくとも一つのイメージセンサを通じて前記対象車両の周辺に対する少なくとも一つの状況イメージ（Ｃｉｒｃｕｍｓｔａｎｃｅ Ｉｍａｇｅ）を取得するプロセス、（ＩＩ）ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をもって、前記状況イメージにＣＮＮ演算を少なくとも一回適用させて、前記状況イメージに関する初期物体情報及び初期コンフィデンス情報を生成させるプロセス、及び（ＩＩＩ）強化学習エージェントをもって、前記初期コンフィデンス情報、前記対象車両からの距離が閾値以下であり、前記対象車両とＶ２Ｘ通信を遂行する周辺物体の基本メタ情報及び前記イメージセンサのセンサ情報を参照して、補完演算が適用される前記状況イメージ上の一つ以上の特定の対象領域に対応する一つ以上の特定の周辺物体を、前記周辺物体の中から選択させるプロセス；及び（ＩＶ）前記特定の周辺物体とのＶ２Ｘ通信を通じて前記特定の対象領域に関する補完情報を取得し、前記補完情報を利用して前記状況イメージの前記特定の対象領域における前記初期物体情報を調整することにより、前記状況イメージに関する最終物体情報を生成するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする装置。
14. 前記初期コンフィデンス情報、前記基本メタ情報、及び前記センサ情報が前記強化学習エージェントに入力されると、前記強化学習エージェントは、（ｉ）それ自体のパラメータを利用して前記一つ以上の特定の周辺物体を選択し、（ｉｉ）前記補完情報を参照して少なくとも一つのリワード（ｒｅｗａｒｄ）を生成し、（ｉｉ）前記リワードを参照して前記パラメータの少なくとも一部を学習することを特徴とする請求項１３に記載の装置。
15. 前記プロセッサが、前記強化学習エージェントをもって、（ｉ）前記基本メタ情報に含まれている、前記周辺車両の相対的位置情報及び予定経路情報と、（ｉｉ）前記センサ情報に含まれている、ＦＯＶ（Ｆｉｅｌｄ−Ｏｆ−Ｖｉｅｗ）情報、内部パラメータ情報、外部パラメータ情報、及び歪曲情報と、（ｉｉｉ）前記初期コンフィデンス情報と、のうち少なくとも一部を利用して、前記一つ以上の特定の周辺物体を選択するか否かを決定することを特徴とする請求項１３に記載の装置。
16. 前記プロセッサは、前記特定の周辺物体により生成された参照物体情報及び参照コンフィデンス情報のうち少なくとも一部を含む補完情報、及び前記特定の周辺物体の特定のメタデータを参照して、前記初期物体情報を調整することによって前記最終物体情報を生成し、前記特定の周辺物体は、それ自体の周辺物体に対する物体検出を遂行して前記参照物体情報及び前記参照コンフィデンス情報を生成することを特徴とする請求項１３に記載の装置。
17. 前記プロセッサが、（Ｖ）前記最終物体情報を自律走行モジュールに伝達することによって、前記自律走行モジュールをもって、前記最終物体情報を利用して前記対象車両の自律走行を遂行するように支援するプロセスをさらに遂行することを特徴とする請求項１３に記載の装置。
18. 前記（Ｉ）プロセス以前に、
    （Ｉ−１）トレーニングイメージが取得されると、学習装置が、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させるプロセス；（Ｉ−２）前記学習装置が、前記コンボリューション特徴マップに対してアンカー（Ａｎｃｈｏｒ）演算を少なくとも一回適用することによって、前記トレーニングイメージ上の予測ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を生成するプロセスを遂行しつつ、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）に含まれている少なくとも一つのアンカーレイヤをもって、前記予測ＲＯＩが原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ＲＯＩと同一であるそれぞれの少なくとも一つの確率を表すそれぞれの少なくとも一つのＲＰＮコンフィデンススコアを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させるプロセス；（Ｉ−３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて、前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップが取得されると、前記学習装置は、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれているＦＣレイヤをもって、前記予測物体検出結果に含まれるそれぞれの少なくとも一つの予測ＣＮＮ分類結果及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果が、原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果と同一であるものと予測されるそれぞれの少なくとも一つの確率を表すそれぞれのＣＮＮコンフィデンススコアを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させるプロセス；及び（Ｉ−４）前記学習装置が、ロスレイヤをもって、前記ＲＰＮコンフィデンスマップと、前記ＣＮＮコンフィデンスマップと、前記予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのＲＰＮロス及び少なくとも一つのＣＮＮロスを生成させ、前記ＲＰＮロス及び前記ＣＮＮロスを利用してバックプロパゲーションを遂行することによって前記ＣＮＮ及び前記ＲＰＮに含まれているパラメータのうち少なくとも一部を学習させるプロセス；が遂行されることによって、前記ＣＮＮが学習されることを特徴とする請求項１３に記載の装置。
19. 
20. 
21. 前記（Ｉ−３）プロセス以後に、
    前記学習装置が、コンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して、前記トレーニングイメージ内のピクセルごとの統合コンフィデンススコアそれぞれに関する情報を含む統合コンフィデンスマップを生成させることを特徴とする請求項１８に記載の装置。
22. 前記学習装置が、前記コンフィデンスレイヤをもって、（ｉ−１）前記ＣＮＮから、前記予測物体検出結果を生成するプロセスが遂行される途中に生成される、前記予測ＲＯＩに対するＮＭＳ（Ｎｏｎ−Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）結果を取得するプロセス、（ｉ−２）前記ＲＰＮコンフィデンスマップに対してリサイズ（Ｒｅｓｉｚｅ）演算を少なくとも一回適用してリサイズされたＲＰＮコンフィデンスマップを生成するプロセス、及び（ｉｉ）前記ＮＭＳ結果及び前記リサイズされたＲＰＮコンフィデンスマップを参照して前記統合コンフィデンスマップを生成するプロセスを遂行させることを特徴とする請求項２１に記載の装置。
23. 
24. 前記（ＩＩ）プロセスは、
    （ＩＩ−１）前記状況イメージが取得されると、前記ＣＮＮに含まれている少なくとも一つのコンボリューションレイヤをもって、前記状況イメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させるプロセス；（ＩＩ−２）前記コンボリューション特徴マップに対してアンカー演算を少なくとも一回適用することによって、前記状況イメージ上の予測ＲＯＩを生成するためのプロセスを遂行しつつ、ＲＰＮに含まれている少なくとも一つのアンカーレイヤをもって、前記予測ＲＯＩが原本正解ＲＯＩと同一である少なくとも一つの確率それぞれを表す、少なくとも一つのＲＰＮコンフィデンススコアそれぞれを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記ＲＰＮコンフィデンススコアを含むＲＰＮコンフィデンスマップを生成させるプロセス；（ＩＩ−３）前記ＣＮＮに含まれているＲＯＩプーリングレイヤを通じて前記コンボリューション特徴マップ及び前記予測ＲＯＩを利用して生成された少なくとも一つのＲＯＩプーリング済み特徴マップが取得されると、前記ＲＯＩプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記ＣＮＮに含まれるＦＣレイヤをもって、前記予測物体検出結果に含まれているそれぞれの少なくとも一つの予測ＣＮＮ分類結果及びそれぞれの少なくとも一つの予測ＣＮＮリグレッション結果が、原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解ＣＮＮ分類結果及びそれぞれの少なくとも一つの原本正解ＣＮＮリグレッション結果と同一である少なくとも一つの確率それぞれを表すＣＮＮコンフィデンスコアそれぞれを前記予測ＲＯＩごとに生成することによって、前記ＣＮＮコンフィデンススコアを含むＣＮＮコンフィデンスマップを生成させるプロセス；及び（ＩＩ−４）前記ＣＮＮと連動して作動するコンフィデンスレイヤをもって、前記ＲＰＮコンフィデンスマップ及び前記ＣＮＮコンフィデンスマップを参照して統合コンフィデンスマップを生成させるプロセスを含み、前記プロセッサは、前記ＣＮＮをもって、前記予測物体検出結果を含む前記初期物体情報と、前記統合コンフィデンスマップを含む前記初期コンフィデンス情報とを出力させることを特徴とする請求項１３に記載の装置。

Images