JP7418481B2

JP7418481B2 - 学習方法、学習装置、移動体制御装置、移動体制御方法、およびプログラム

Info

Publication number: JP7418481B2
Application number: JP2022017870A
Authority: JP
Inventors: 裕司安井; 英樹松永; 隆志松本; 岳洋藤元
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2022-02-08
Filing date: 2022-02-08
Publication date: 2024-01-19
Anticipated expiration: 2042-02-08
Also published as: US20230252804A1; US12597277B2; CN116580376A; JP2023115574A

Description

本発明は、学習方法、学習装置、移動体制御装置、移動体制御方法、およびプログラムに関する。

従来、移動体に搭載されたセンサを用いて、当該移動体の周辺に存在する障害物を検出する技術が知られている。例えば、特許文献１には、移動体に搭載された複数の測距センサにより取得された情報に基づいて、当該移動体の周辺に存在する障害物を検出する技術が開示されている。

特開２０２１－１６２９２６号公報

特許文献１に記載の技術は、超音波センサやＬＩＤＡＲなどの複数の測距センサを用いて、移動体の周辺に存在する障害物を検出するものである。しかしながら、複数の測距センサを用いた構成を採用する場合、センシングのためのハードウェア構成が複雑になるため、システムのコストが増加する傾向にある。一方、システムのコストを抑えるために、カメラのみを用いた単純なハードウェア構成を採用することも考えられるが、その場合、様々なシーンに対応するロバスト性を確保するために、センシングのための膨大な学習データが必要とされる。

本発明は、このような事情を考慮してなされたものであり、センシングのためのハードウェア構成を複雑化することなく、より少ない学習データに基づいて、移動体の走行可能空間を検知することができる、学習方法、学習装置、移動体制御装置、移動体制御方法およびプログラムを提供することを目的の一つとする。

この発明に係る学習方法、学習装置、移動体制御装置、移動体制御方法およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る学習方法は、鳥瞰図画像における延伸領域に対して、前記延伸領域が立体物であることを示すアノテーションを対応付けるステップと、鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像が対応付けられた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成するステップと、を備えるものである。

（２）：この発明の一態様に係る学習装置は、鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付ける受付部と、鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像が対応付けられた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成する学習部と、を備えるものである。

（３）：この発明の一態様に係るプログラムは、コンピュータに、鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付けさせ、鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像が対応付けられた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成させるものである。

（４）：この発明の一態様に係る移動体制御装置は、移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得する取得部と、前記対象鳥瞰図画像を、（１）から（３）のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出する立体物検出部と、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知する空間検知部と、前記走行可能空間を通るように前記移動体を走行させる走行制御部と、を備えるものである。

（５）：この発明の一態様に係る移動体制御方法は、移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得し、前記対象鳥瞰図画像を、（１）から（３）のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出し、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知し、前記走行可能空間を通るように前記移動体を走行させるものである。

（６）：この発明の一態様に係るプログラムは、コンピュータに、移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得させ、前記対象鳥瞰図画像を、（１）から（３）のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出させ、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知させ、前記走行可能空間を通るように前記移動体を走行させるものである。

（７）：この発明の一態様に係る学習方法は、鳥瞰図画像における延伸領域に対して、前記延伸領域が立体物であることを示すアノテーションを対応付けるステップと、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像が対応付けられた教師データに基づいて、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると前記画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成するステップと、を備えるものである。

（８）：この発明の一態様に係る学習装置は、鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付ける受付部と、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像が対応付けられた教師データに基づいて、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると前記画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成する学習部と、を備えるものである。

（９）：この発明の一態様に係るプログラムは、コンピュータに、鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付けさせ、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像が対応付けられた教師データに基づいて、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると前記画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成させるものである。

（１０）：この発明の一態様に係る移動体制御装置は、移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得する取得部と、前記対象画像および前記対象鳥瞰図画像を、（７）から（９）のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象画像における立体物を検出する立体物検出部と、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知する空間検知部と、前記走行可能空間を通るように前記移動体を走行させる走行制御部と、を備えるものである。

（１１）：この発明の一態様に係る移動体制御方法は、移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得し、前記対象画像および前記対象鳥瞰図画像を、（７）から（９）のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象画像における立体物を検出し、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知し、前記走行可能空間を通るように前記移動体を走行させるものである。

（１２）：この発明の一態様に係るプログラムは、移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得させ、前記対象画像および前記対象鳥瞰図画像を、（７）から（９）のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象画像における立体物を検出させ、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知させ、前記走行可能空間を通るように前記移動体を走行させるものである。

（１）～（１２）によれば、センシングのためのハードウェア構成を複雑化することなく、より少ない学習データに基づいて、移動体の走行可能空間を検知することができる。

本発明の実施形態に係る移動体制御装置１００を備える自車両Ｍの構成の一例を示す図である。鳥瞰図画像取得部１１０によって取得される鳥瞰図画像の一例を示す図である。立体物検出部１２０による立体物の検出結果の一例を示す図である。空間検知部１３０によって検知された走行可能空間ＦＳの一例を示す図である。移動体制御装置１００によって実行される処理の流れの一例を示すフローチャートである。学習装置２００の構成の一例を示す図である。学習部２４０によって実行される機械学習の詳細を説明するための図である。本変形例に係る学習部２４０によって実行される機械学習の詳細を説明するための図である。本変形例に係る立体物検出部１２０による立体物の検出結果の一例を示す図である。本変形例に係る移動体制御装置１００によって実行される処理の流れの一例を示すフローチャートである。

以下、図面を参照し、本発明の学習方法、学習装置、移動体制御装置、移動体制御方法、およびプログラムの実施形態について説明する。移動体制御装置は、移動体の移動動作を制御する装置である。移動体とは、三輪または四輪等の車両、二輪車、マイクロモビ等を含み、路面を移動可能なあらゆる移動体を含んでよい。以下の説明では、移動体は四輪車両であるものとし、運転支援装置が搭載された車両を自車両Ｍと称する。

［移動体制御装置］
図１は、本発明の実施形態に係る移動体制御装置１００を備える自車両Ｍの構成の一例を示す図である。図１に示す通り、自車両Ｍは、カメラ１０と、移動体制御装置１００とを備える。カメラ１０と移動体制御装置１００とは、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、更に、別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。図１において、カメラ１０は、自車両Ｍのフロントバンパーに設置されているが、カメラ１０は、例えば、自車両Ｍの車室内など、一般的に、自車両Ｍの前方を撮像可能な任意の箇所に設置されればよい。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

移動体制御装置１００は、例えば、鳥瞰図画像取得部１１０と、立体物検出部１２０と、空間検知部１３０と、走行制御部１４０と、記憶部１５０と、を備える。記憶部１５０は、例えば、学習済みモデル１５２を記憶する。鳥瞰図画像取得部１１０と、立体物検出部１２０と、空間検知部１３０と、走行制御部１４０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。記憶部１５０は、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＳＤカード、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、レジスタ等によって実現される。

鳥瞰図画像取得部１１０は、カメラ１０によって自車両Ｍの周辺状況を撮像した画像を鳥瞰図座標系に変換することによって鳥瞰図画像を取得する。図２は、鳥瞰図画像取得部１１０によって取得される鳥瞰図画像の一例を示す図である。図２の左部は、カメラ１０によって撮像された画像を表し、図２の中央部は、カメラ１０によって撮像された画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像を表す。図２に示される通り、２Ｄ画像において写される立体物は、路面などとは異なり、鳥瞰図画像に変換されることによって、上下又は左右方向に延伸された延伸領域として写されている。後述するように、学習済みモデル１５２の作成者は、図２の右部に示される通り、学習装置２００を用いて、事前に、鳥瞰図画像に写される延伸領域に対して、当該延伸領域が立体物であることを示すアノテーションを対応付けることによって、学習装置２００による学習のための教師データ２５２を作成する。

立体物検出部１２０は、変換された鳥瞰図画像を、鳥瞰図画像が入力されると当該鳥瞰図画像における立体物を出力するように学習された学習済みモデル１５２に入力することで、変換された鳥瞰図画像における立体物を検出する。図３は、立体物検出部１２０による立体物の検出結果の一例を示す図である。図３に示す通り、立体物検出部１２０が、変換された鳥瞰図画像を学習済みモデル１５２に入力すると、学習済みモデル１５２は、鳥瞰図画像に含まれる立体物を識別可能な形式で当該鳥瞰図画像を出力する（すなわち、立体物を出力する）。立体物検出部１２０は、学習済みモデル１５２によって出力された鳥瞰図画像を参照することで、当該鳥瞰図画像に映された立体物を検出することができる。

空間検知部１３０は、学習済みモデル１５２によって出力された鳥瞰図画像に逆鳥瞰図変換を施し、立体物が識別可能な形式で表示された２Ｄ画像を得る。空間検知部１３０は、得られた２Ｄ画像から、識別された立体物を除外することによって、２Ｄ画像において自車両Ｍが走行可能な空間（以下、走行可能空間ＦＳ）を検知する。

図４は、空間検知部１３０によって検知された走行可能空間ＦＳの一例を示す図である。図４では、一例として、走行可能空間ＦＳを直方体領域として示している。走行制御部１４０は、自車両Ｍが走行可能空間ＦＳを通るように目標軌道ＴＴを生成し、自車両Ｍを目標軌道ＴＴに沿って走行させる。目標軌道ＴＴは、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。なお、本実施形態では、一例として、本発明が自動運転に適用させる場合について説明しているが、本発明はそのような構成に限定されず、立体物が存在しない走行可能空間ＦＳを自車両Ｍのナビゲーション装置に表示させたり、走行可能空間ＦＳを走行するようにステアリングホイールの操舵をアシストするなどの運転支援に適用されてもよい。

次に、図５を参照して、移動体制御装置１００によって実行される処理の流れについて説明する。図５は、移動体制御装置１００によって実行される処理の流れの一例を示すフローチャートである。まず、移動体制御装置１００は、カメラ１０によって自車両Ｍの周辺状況を撮像したカメラ画像を取得する（ステップＳ１００）。次に、鳥瞰図画像取得部１１０は、取得されたカメラ画像を鳥瞰図座標系に変換することによって鳥瞰図画像を取得する（ステップＳ１０２）。

次に、立体物検出部１２０は、取得された鳥瞰図画像を、学習済みモデル１５２に入力することで、当該鳥瞰図画像における立体物を検出する（ステップＳ１０４）。次に、空間検知部１３０は、立体物が検出された鳥瞰図画像に逆鳥瞰図変換を施し、立体物が識別可能な形式で表示された２Ｄ画像を得る（ステップＳ１０６）。

次に、空間検知部１３０は、得られた２Ｄ画像から、識別された立体物を除外することによって、２Ｄ画像における走行可能空間ＦＳを検知する（ステップＳ１０８）。次に、空間検知部１３０は、自車両Ｍが走行可能空間ＦＳを通るように目標軌道ＴＴを生成し、自車両Ｍを目標軌道ＴＴに沿って走行させる（ステップＳ１１０）。これにより、本フローチャートの処理が終了する。

［学習装置］
次に、図６を参照して、本実施形態の学習済みモデル１５２を生成する学習装置２００について説明する。図６は、学習装置２００の構成の一例を示す図である。図６に示す通り、学習装置２００は、例えば、通信部２１０と、取得部２２０と、受付部２３０と、学習部２４０と、記憶部２５０と、を備える。記憶部２５０は、例えば、教師データ２５２を記憶する。取得部２２０と、受付部２３０と、学習部２４０は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。記憶部２５０は、は、例えば、ＲＯＭ、フラッシュメモリ、ＳＤカード、ＲＡＭ、ＨＤＤ、レジスタ等によって実現される。

通信部２１０は、ネットワークＮＷを介して自車両Ｍの移動体制御装置１００と通信するインターフェースである。通信部２１０は、例えば、ＮＩＣや、無線通信用のアンテナなどを備える。

取得部２２０は、例えば、通信部２１０を介して、車両から鳥瞰図画像を取得する。その場合、画像の提供元の車両は専ら画像を収集するためだけの車両であってもよい。また、学習装置２００は、必ずしもＮＷを介して車両と通信する必要は無く、車両で集められたデータが可搬型記憶媒体に格納され、人の手で運ばれてきて学習に用いられてもよい。さらに、代替的に、取得部２２０は、車両からカメラ画像を取得し、学習装置２００が取得したカメラ画像を鳥瞰図画像に変換してもよい。

受付部２３０は、鳥瞰図画像における延伸領域に対する、当該延伸領域が立体物であることを示すアノテーションの対応付けを受け付け、鳥瞰図画像における延伸領域とアノテーションとが対応付けられた教師データ２５２として記憶部２５０に記憶する。換言すると、教師データ２５２とは、鳥瞰図画像に対して、当該鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像が対応付けられたデータセットを意味する。具体的には、例えば、受付部２３０は、鳥瞰図画像上で立体物にアノテーションを付与するためのインターフェース画面を学習済みモデル１５２の作成者に提供し、当該作成者からの操作を受け付けることによって、鳥瞰図画像とアノテーション付き鳥瞰図画像との組み合わせを教師データ２５２として受け付けてもよい。また、例えば、受付部２３０は、学習済みモデル１５２の作成者によって作成されたアノテーション付き鳥瞰図画像を、当該アノテーション付き鳥瞰図画像の元データである鳥瞰図画像と合わせて、当該作成者の端末装置から受信してもよい。

学習部２４０は、教師データ２５２に基づいて、鳥瞰図画像が入力されると当該鳥瞰図画像における立体物を出力するように機械学習モデルのパラメータを学習することによって、学習済みモデル１５２を生成する。学習部２４０は、作成された学習済みモデル１５２を移動体制御装置１００にネットワークＮＷを介して送信し、移動体制御装置１００は、受信した学習済みモデル１５２を記憶部１５０に記憶する。

図７は、学習部２４０によって実行される機械学習の詳細を説明するための図である。図７に示す通り、学習部２４０は、ＣＮＮ（convolutional neural network）などのＤＮＮ（deep neural network）に対して鳥瞰図画像を入力した結果として出力された出力画像と、当該鳥瞰図画像に対応するアノテーション付き鳥瞰図画像との間の差分を表す誤差関数の値が小さくなるように、ＤＮＮのパラメータを更新する。学習部２４０がＤＮＮのパラメータを更新する手法としては、例えば、誤差逆伝播法（back propagation）、最急降下法（steepest descent）、確率的勾配降下法（stochastic gradient descent）などの任意の手法を利用することができる。誤差関数は、例えば、二乗和誤差や交差エントロピーなどの任意の関数である。学習部２４０は、パラメータの更新処理を教師データ２５２に格納されたデータセットの数だけ実行することによって、ＤＮＮのパラメータを確定し、学習済みモデル１５２を得る。

以上の通り説明した実施形態によれば、学習装置２００は、鳥瞰図画像が入力されると、当該鳥瞰図画像における立体物を出力するように学習された学習済みモデル１５２を生成し、移動体制御装置１００は、カメラ１０によって撮像された画像を鳥瞰図画像に変換し、変換された鳥瞰図画像を、生成された学習済みモデル１５２に入力することによって、立体物を認識する。これにより、センシングのためのハードウェア構成を複雑化することなく、より少ない学習データに基づいて、移動体の走行可能空間を検知することができる。

［変形例］
上述した実施形態では、学習装置２００は、鳥瞰図画像が入力されると当該鳥瞰図画像における立体物を出力するように学習された学習済みモデル１５２を生成し、移動体制御装置１００は、生成された学習済みモデル１５２を用いて、自車両Ｍの前方に存在する立体物を検出している。しかし、本発明は、そのような構成に限定されない。本変形例においては、学習装置２００は、画像、および当該画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると当該画像における立体物を出力するように学習された学習済みモデル１５２を生成し、移動体制御装置１００は、生成された学習済みモデル１５２を用いて、自車両Ｍの前方に存在する立体物を検出する。移動体制御装置１００および学習装置２００の構成は、上述した実施形態と同様であるため、説明を省略する。

図８は、本変形例に係る学習部２４０によって実行される機械学習の詳細を説明するための図である。図８に示す通り、学習部２４０は、ＣＮＮ（convolutional neural network）などのＤＮＮ（deep neural network）に対して、画像、および当該画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像を入力した結果として出力された出力画像と、当該鳥瞰図画像に対応するアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像との間の差分を表す誤差関数の値が小さくなるように、ＤＮＮのパラメータを更新する。ＤＮＮのパラメータの更新手法および誤差関数の種類は、上述した実施形態と同様である。学習部２４０は、パラメータの更新処理を教師データ２５２に格納されたデータセットの数だけ実行することによって、ＤＮＮのパラメータを確定し、学習済みモデル１５２を得る。

図９は、本変形例に係る立体物検出部１２０による立体物の検出結果の一例を示す図である。図９に示す通り、立体物検出部１２０が、カメラ１０によって撮像された画像と、当該画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像とを学習済みモデル１５２に入力すると、学習済みモデル１５２は、立体物を識別可能な形式で２Ｄ画像を出力する（すなわち、立体物を出力する）。立体物検出部１２０は、学習済みモデル１５２によって出力された２Ｄ画像を参照することで、当該画像に映された立体物を検出する。

次に、図１０を参照して、本変形例に係る移動体制御装置１００によって実行される処理の流れについて説明する。図１０は、本変形例に係る移動体制御装置１００によって実行される処理の流れの一例を示すフローチャートである。まず、移動体制御装置１００は、カメラ１０によって自車両Ｍの周辺状況を撮像したカメラ画像を取得する（ステップＳ２００）。次に、鳥瞰図画像取得部１１０は、取得されたカメラ画像を鳥瞰図座標系に変換することによって鳥瞰図画像を取得する（ステップＳ２０２）。

次に、立体物検出部１２０は、取得されたカメラ画像および鳥瞰図画像を、学習済みモデル１５２に入力することで、２Ｄ画像における立体物を検出する（ステップＳ２０４）。次に、空間検知部１３０は、得られた２Ｄ画像から、識別された立体物を除外することによって、２Ｄ画像における走行可能空間ＦＳを検知する（ステップＳ２０６）。次に、空間検知部１３０は、自車両Ｍが走行可能空間ＦＳを通るように目標軌道ＴＴを生成し、自車両Ｍを目標軌道ＴＴに沿って走行させる（ステップＳ２０８）。これにより、本フローチャートの処理が終了する。

以上の通り説明した本変形例によれば、学習装置２００は、２Ｄ画像、および当該２Ｄ画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると、当該２Ｄ画像における立体物を出力するように学習された学習済みモデル１５２を生成し、移動体制御装置１００は、カメラ１０によって撮像されたカメラ画像と、当該カメラ画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像を、生成された学習済みモデル１５２に入力することによって、カメラ画像における立体物を認識する。これにより、センシングのためのハードウェア構成を複雑化することなく、より少ない学習データに基づいて、移動体の走行可能空間を検知することができる。

さらに、上述した実施形態においては、移動体制御装置１００は、学習済みモデル１５２によって出力された鳥瞰図画像に対して逆鳥瞰図変換を施している。しかし、本変形例では、移動体制御装置１００は、カメラ１０によって撮像されたカメラ画像と、当該カメラ画像に対応する鳥瞰図画像を学習済みモデル１５２に入力することによって、逆鳥瞰図変換を実行することなく、カメラ画像における立体物検出の結果を取得することができる。これにより、上述した実施形態に比して、移動体制御装置１００の処理負荷を軽減することができる。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付け、
鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像が対応付けられた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を出力するように機械学習モデルのパラメータを学習することによって、学習済みモデルを生成する、
学習装置。

さらに、上記説明した実施形態は、以下のように表現することもできる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付け、
画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像が対応付けられた教師データに基づいて、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると前記画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成する、
学習装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１００移動体制御装置
１１０鳥瞰図画像取得部
１２０立体物検出部
１３０空間検知部
１４０走行制御部
１５０、２５０記憶部
１５２学習済みモデル
２００学習装置
２１０通信部
２２０取得部
２３０受付部
２４０学習部
２５２教師データ

Claims

鳥瞰図画像における延伸領域に対して、前記延伸領域が立体物であることを示すアノテーションを対応付けるステップと、
画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像が対応付けられた教師データに基づいて、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると前記画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成するステップと、を備える、
学習方法。
鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付ける受付部と、
画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像が対応付けられた教師データに基づいて、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると前記画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成する学習部と、を備える、
学習装置。
コンピュータに、
鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付けさせ、
画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像が対応付けられた教師データに基づいて、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると前記画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成させる、
プログラム。
移動体に搭載されたカメラによって前記移動体の周辺を撮像した対象画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得する取得部と、
前記対象画像および前記対象鳥瞰図画像を、請求項１から３のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象画像における立体物を検出する立体物検出部と、
検出された前記立体物に基づいて、前記移動体の走行可能空間を検知する空間検知部と、
前記走行可能空間を通るように前記移動体を走行させる走行制御部と、
を備える、移動体制御装置。
コンピュータが、
移動体に搭載されたカメラによって前記移動体の周辺を撮像した対象画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得し、
前記対象画像および前記対象鳥瞰図画像を、請求項１から３のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象画像における立体物を検出し、
検出された前記立体物に基づいて、前記移動体の走行可能空間を検知し、
前記走行可能空間を通るように前記移動体を走行させる、
移動体制御方法。
コンピュータに、
移動体に搭載されたカメラによって前記移動体の周辺を撮像した対象画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得させ、
前記対象画像および前記対象鳥瞰図画像を、請求項１から３のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象画像における立体物を検出させ、
検出された前記立体物に基づいて、前記移動体の走行可能空間を検知させ、
前記走行可能空間を通るように前記移動体を走行させる、
プログラム。