JP7779376B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

車等の移動体に搭載された複数カメラの画像を用いて、移動体周辺の俯瞰画像を生成する技術がある。また、移動体周辺の立体物に応じて、俯瞰画像の投影面の形状を変更する技術がある。さらに、カメラによって撮影された画像を用いてＳＬＡＭを行うＶｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ：ＶＳＬＡＭと表す）等を用いて、移動体周辺の位置情報を取得し、移動体の行動経路を決定する技術がある。

特開２００９－２３２３１０号公報 特開２０１３－２０７６３７号公報 特表２０１４－５３１０７８号公報 国際公開第２０２１／１１１５３１号 国際公開第２０２１／０６５２４１号 特開２０２０－０８３１４０号公報

しかしながら、移動体周辺の立体物に応じて俯瞰画像の投影面を逐次変形する場合、移動体の移動に対して投影面の変形が遅れ、俯瞰画像が不自然なものとなる場合がある。

１つの側面では、本発明は、移動体周辺の立体物に応じて俯瞰画像の投影面を逐次変形する場合において、従来に比してより自然な俯瞰画像を提供する画像処理装置、画像処理方法、及び画像処理プログラムを実現することを目的とする。

本願の開示する画像処理装置は、一つの態様において、行動計画策定部と、投影形状決定部とを備える。前記行動計画策定部は、移動体の行動計画情報に基づいて、前記移動体の予定自己位置を示す予定自己位置情報と、前記予定自己位置情報を基準とした周辺立体物の位置情報とを含む第１情報を生成する。前記投影形状決定部は、前記第１情報に基づいて、前記移動体に搭載された撮影装置が取得した第１画像を投影して俯瞰画像を生成する投影面の形状を決定する。

本願の開示する画像処理装置の一つの態様によれば、移動体周辺の立体物に応じて俯瞰画像の投影面を逐次変形する場合において、従来に比してより自然な俯瞰画像を提供することができる。

図１は、実施形態に係る情報処理システムの全体構成の一例を示す図である。 図２は、実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 図３は、実施形態に係る情報処理装置の機能的構成の一例を示す図である。 図４は、実施形態に係る環境地図情報の一例を示す模式図である。 図５は、第１の実施形態に係る情報処理装置の行動計画策定部の機能的構成の一例を示す模式図である。 図６は、プランニング処理部が生成する駐車ルート計画の一例を示す模式図である。 図７は、予定地図情報生成部が生成する予定地図情報の一例を示す模式図である。 図８は、第１の実施形態に係る情報処理装置の決定部の機能的構成の一例を示す模式図である。 図９は、基準投影面の一例を示す模式図である。 図１０は、決定部によって生成される漸近曲線の説明図である。 図１１は、決定部により決定された投影形状の一例を示す模式図である。 図１２は、行動計画に基づく投影面変形処理の流れの一例を示すフローチャートである。 図１３は、情報処理装置が実行する、行動計画に基づく投影面変形処理を含む俯瞰画像の生成処理の流れの一例を示すフローチャートである。 図１４は、比較例に係る情報処理装置が実行する投影面変形処理を説明するための図である。 図１５は、比較例に係る情報処理装置が実行する投影面変形処理を説明するための図である。 図１６は、第２の実施形態に係る情報処理装置の機能的構成の一例を示す模式図である。 図１７は、第２の実施形態に係る情報処理装置の行動計画策定部の機能的構成の一例を示す模式図である。 図１８は、第３の実施形態に係る情報処理装置の機能的構成の一例を示す模式図である。 図１９は、第３の実施形態に係る情報処理装置の行動計画策定部の機能的構成の一例を示す模式図である。

以下、添付図面を参照しながら、本願の開示する画像処理装置、画像処理方法、及び画像処理プログラムの実施形態を詳細に説明する。なお、以下の実施形態は開示の技術を限定するものではない。そして、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

（第１の実施形態）
図１は、本実施形態の情報処理システム１の全体構成の一例を示す図である。情報処理システム１は、情報処理装置１０と、撮影部１２と、検出部１４と、表示部１６と、を備える。情報処理装置１０と、撮影部１２と、検出部１４と、表示部１６とは、データ又は信号を授受可能に接続されている。なお、情報処理装置１０は、画像処理装置の一例である。また、情報処理装置１０が実行する情報処理方法は画像処理方法の一例であり、情報処理装置１０が情報処理方法の実行に用いる情報処理プログラムは、画像処理プログラムの一例である。

本実施形態では、情報処理装置１０、撮影部１２、検出部１４、及び表示部１６は、移動体２に搭載された形態を一例として説明する。

移動体２とは、移動可能な物である。移動体２は、例えば、車両、飛行可能な物体（有人飛行機、無人飛行機（例えば、ＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）、ドローン））、ロボット、などである。また、移動体２は、例えば、人による運転操作を介して進行する移動体や、人による運転操作を介さずに自動的に進行（自律進行）可能な移動体である。本実施形態では、移動体２が車両である場合を一例として説明する。車両は、例えば、二輪自動車、三輪自動車、四輪自動車などである。本実施形態では、車両が、自律進行可能な四輪自動車である場合を一例として説明する。

なお、情報処理装置１０、撮影部１２、検出部１４、及び表示部１６の全てが、移動体２に搭載された形態に限定されない。情報処理装置１０は、例えば静止物に搭載されていてもよい。静止物は、地面に固定された物である。静止物は、移動不可能な物や、地面に対して静止した状態の物である。静止物は、例えば、信号機、駐車車両、道路標識、などである。また、情報処理装置１０は、クラウド上で処理を実行するクラウドサーバに搭載されていてもよい。

撮影部１２は、移動体２の周辺を撮影し、撮影画像データを取得する。以下では、撮影画像データを、単に、撮影画像と称して説明する。撮影部１２は、例えば、動画撮影が可能なデジタルカメラである。なお、撮影とは、レンズなどの光学系により結像された被写体の像を、電気信号に変換することを指す。撮影部１２は、撮影した撮影画像を、情報処理装置１０へ出力する。また、本実施形態では、撮影部１２は、単眼の魚眼カメラ（例えば、視野角が１９５度）である場合を想定して説明する。

本実施形態では、移動体２に前方撮影部１２Ａ、左方撮影部１２Ｂ、右方撮影部１２Ｃ、後方撮影部１２Ｄの４つの撮影部１２が搭載された形態を一例として説明する。複数の撮影部１２（前方撮影部１２Ａ、左方撮影部１２Ｂ、右方撮影部１２Ｃ、後方撮影部１２Ｄ）は、各々が異なる方向の撮影領域Ｅ（前方撮影領域Ｅ１、左方撮影領域Ｅ２、右方撮影領域Ｅ３、後方撮影領域Ｅ４）の被写体を撮影し、撮影画像を取得する。すなわち、複数の撮影部１２は、撮影方向が互いに異なるものとする。また、これらの複数の撮影部１２は、隣り合う撮影部１２との間で撮影領域Ｅの少なくとも一部が重複となるように、撮影方向が予め調整されているものとする。また、図１においては、説明の便宜上撮影領域Ｅを図１に示した大きさにて示すが、実際にはさらに移動体２より離れた領域まで含むものとなる。

また、４つの前方撮影部１２Ａ、左方撮影部１２Ｂ、右方撮影部１２Ｃ、後方撮影部１２Ｄは一例であり、撮影部１２の数に限定はない。例えば、移動体２がバスやトラックの様に縦長の形状を有する場合には、移動体２の前方、後方、右側面の前方、右側面の後方、左側面の前方、左側面の後方のそれぞれ一つずつ撮影部１２を配置し、合計６個の撮影部１２を利用することもできる。すなわち、移動体２の大きさや形状により、撮影部１２の数や配置位置は任意に設定することができる。

検出部１４は、移動体２の周辺の複数の検出点の各々の位置情報を検出する。言い換えると、検出部１４は、検出領域Ｆの検出点の各々の位置情報を検出する。検出点とは、実空間における、検出部１４によって個別に観測される点の各々を示す。検出点は、例えば移動体２の周辺の立体物に対応する。なお、検出部１４は、外部センサの一例である。

検出部１４は、例えば、３Ｄ（Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ）スキャナ、２Ｄ（Ｔｗｏ Ｄｉｍｅｎｓｉｏｎａｌ）スキャナ、距離センサ（ミリ波レーダ、レーザセンサ）、音波によって物体を探知するソナーセンサ、超音波センサ、などである。レーザセンサは、例えば、三次元ＬｉＤＡＲ（Ｌａｓｅｒ ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサである。また、検出部１４は、ステレオカメラや、単眼カメラで撮影された画像から距離を測距する技術、例えばＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）技術を用いた装置であってもよい。また、複数の撮影部１２を検出部１４として用いてもよい。また、複数の撮影部１２の１つを検出部１４として用いてもよい。

表示部１６は、各種の情報を表示する。表示部１６は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又は有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。

本実施形態では、情報処理装置１０は、移動体２に搭載された電子制御ユニット（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３に通信可能に接続されている。ＥＣＵ３は、移動体２の電子制御を行うユニットである。本実施形態では、情報処理装置１０は、ＥＣＵ３から移動体２の速度や移動方向などのＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）データを受信可能であるものとする。

次に、情報処理装置１０のハードウェア構成を説明する。

図２は、情報処理装置１０のハードウェア構成の一例を示す図である。

情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０Ｃ、及びＩ／Ｆ（ＩｎｔｅｒＦａｃｅ）１０Ｄを含み、例えば、コンピュータである。ＣＰＵ１０Ａ、ＲＯＭ１０Ｂ、ＲＡＭ１０Ｃ、及びＩ／Ｆ１０Ｄは、バス１０Ｅにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

ＣＰＵ１０Ａは、情報処理装置１０を制御する演算装置である。ＣＰＵ１０Ａは、ハードウェアプロセッサの一例に対応する。ＲＯＭ１０Ｂは、ＣＰＵ１０Ａによる各種の処理を実現するプログラム等を記憶する。ＲＡＭ１０Ｃは、ＣＰＵ１０Ａによる各種の処理に必要なデータを記憶する。Ｉ／Ｆ１０Ｄは、撮影部１２、検出部１４、表示部１６、及びＥＣＵ３などに接続し、データを送受信するためのインターフェースである。

本実施形態の情報処理装置１０で実行される情報処理を実行するためのプログラムは、ＲＯＭ１０Ｂ等に予め組み込んで提供される。なお、本実施形態の情報処理装置１０で実行されるプログラムは、情報処理装置１０にインストール可能な形式又は実行可能な形式のファイルで記録媒体に記録されて提供するように構成してもよい。記録媒体は、コンピュータにより読取可能な媒体である。記録媒体は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カード等である。

次に、本実施形態に係る情報処理装置１０の機能的構成を説明する。情報処理装置１０は、ＶＳＬＡＭ処理により、撮影部１２で撮影された撮影画像から移動体２の周辺位置情報と移動体２の自己位置情報とを同時に推定する。情報処理装置１０は、空間的に隣り合う複数の撮影画像を繋ぎ合わせて、移動体２の周辺を俯瞰する合成画像（俯瞰画像）を生成し表示する。なお、本実施形態では、撮影部１２を検出部１４として用いる。

図３は、情報処理装置１０の機能的構成の一例を示す図である。なお、図３には、データの入出力関係を明確にするために、情報処理装置１０に加えて、撮影部１２及び表示部１６を併せて図示した。

情報処理装置１０は、取得部２０と、選択部２１と、ＶＳＬＡＭ処理部２４と、距離換算部２７と、行動計画策定部２８と、投影形状決定部２９と、画像生成部３７と、を備える。

上記複数の各部の一部又は全ては、例えば、ＣＰＵ１０Ａなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよい。また、上記複数の各部の一部又は全ては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

取得部２０は、撮影部１２から撮影画像を取得する。すなわち、取得部２０は、前方撮影部１２Ａ、左方撮影部１２Ｂ、右方撮影部１２Ｃ、後方撮影部１２Ｄの各々から撮影画像を取得する。

取得部２０は、撮影画像を取得するごとに、取得した撮影画像を投影変換部３６及び選択部２１へ送出する。

選択部２１は、検出点の検出領域を選択する。本実施形態では、選択部２１は、複数の撮影部１２（撮影部１２Ａ～撮影部１２Ｄ）の内、少なくとも一つの撮影部１２を選択することで、検出領域を選択する。

ＶＳＬＡＭ処理部２４は、移動体２の周辺の画像に基づいて移動体２の周辺立体物の位置情報及び移動体２の位置情報を含む第２情報を生成する。すなわち、ＶＳＬＡＭ処理部２４は、選択部２１から撮影画像を受け取り、これを用いてＶＳＬＡＭ処理を実行して環境地図情報を生成し、生成した環境地図情報を決定部３０へ出力する。

より具体的には、ＶＳＬＡＭ処理部２４は、マッチング部２４０と、記憶部２４１と、自己位置推定部２４２と、三次元復元部２４３と、補正部２４４と、を備える。

マッチング部２４０は、撮影タイミングの異なる複数の撮影画像（フレームの異なる複数の撮影画像）について、特徴量の抽出処理と、各画像間のマッチング処理とを行う。詳細には、マッチング部２４０は、これらの複数の撮影画像から特徴量抽出処理を行う。マッチング部２４０は、撮影タイミングの異なる複数の撮影画像について、それぞれの間で特徴量を用いて、該複数の撮影画像間の対応する点を特定するマッチング処理を行う。マッチング部２４０は、該マッチング処理結果を記憶部２４１へ出力する。

自己位置推定部２４２は、マッチング部２４０で取得した複数のマッチング点を用いて、射影変換等により、撮影画像に対する相対的な自己位置を推定する。ここで自己位置には、撮影部１２の位置（三次元座標）及び傾き（回転）の情報が含まれる。自己位置推定部２４２は、自己位置情報を点群情報として環境地図情報２４１Ａに記憶する。

三次元復元部２４３は、自己位置推定部２４２によって推定された自己位置の移動量（並進量及び回転量）を用いて透視投影変換処理を行い、マッチング点の三次元座標（自己位置に対する相対座標）を決定する。三次元復元部２４３は、決定された三次元座標である周辺位置情報を点群情報として環境地図情報２４１Ａに記憶する。

これにより、環境地図情報２４１Ａには、撮影部１２が搭載された移動体２の移動に伴って、新たな周辺位置情報、及び新たな自己位置情報が、逐次的に追加される。

記憶部２４１は、各種のデータを記憶する。記憶部２４１は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部２４１は、情報処理装置１０の外部に設けられた記憶装置であってもよい。また、記憶部２４１は、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどを介してダウンロードして記憶又は一時記憶したものであってもよい。

環境地図情報２４１Ａは、実空間における所定位置を原点（基準位置）とした三次元座標空間に、三次元復元部２４３で算出した周辺位置情報である点群情報及び自己位置推定部２４２で算出した自己位置情報である点群情報を登録した情報である。実空間における所定位置は、例えば、予め設定した条件に基づいて定めてもよい。

例えば、環境地図情報２４１Ａに用いられる所定位置は、情報処理装置１０が本実施形態の情報処理を実行するときの移動体２の自己位置である。例えば、移動体２の駐車シーンなどの所定タイミングで情報処理を実行する場合を想定する。この場合、情報処理装置１０は、該所定タイミングに至ったことを判別したときの移動体２の自己位置を、所定位置とすればよい。例えば、情報処理装置１０は、移動体２の挙動が駐車シーンを示す挙動となったと判別したときに、該所定タイミングに至ったと判断すればよい。後退による駐車シーンを示す挙動は、例えば、移動体２の速度が所定速度以下となった場合、移動体２のギアがバックギアに入れられた場合、ユーザの操作指示などによって駐車開始を示す信号を受付けた場合などである。なお、該所定タイミングは、駐車シーンに限定されない。

図４は、環境地図情報２４１Ａのうち、特定の高さの情報を抽出した一例の模式図である。図４に示した様に、環境地図情報２４１Ａは、検出点Ｐの各々の位置情報(周辺位置情報)である点群情報と、移動体２の自己位置Ｓの自己位置情報である点群情報と、が該三次元座標空間における対応する座標位置に登録された情報である。なお、図４においては、一例として、自己位置Ｓ１～自己位置Ｓ３の自己位置Ｓを示した。Ｓの後に続く数値の値が大きいほど、より現在のタイミングに近い自己位置Ｓであることを意味する。

補正部２４４は、複数のフレーム間で複数回マッチングした点に対し、過去に算出された三次元座標と、新たに算出された三次元座標とで、三次元空間内での距離の差の合計が最小となる様に、例えば最小二乗法等を用いて、環境地図情報２４１Ａに登録済の周辺位置情報及び自己位置情報を補正する。なお、補正部２４４は、自己位置情報及び周辺位置情報の算出の過程で用いた自己位置の移動量（並進量及び回転量）を補正しても良い。

補正部２４４による補正処理のタイミングは限定されない。例えば、補正部２４４は、所定タイミングごとに上記補正処理を実行すればよい。所定タイミングは、例えば、予め設定した条件に基づいて定めてもよい。なお、本実施形態では、情報処理装置１０は、補正部２４４を備えた構成である場合を一例として説明する。しかし、情報処理装置１０は、補正部２４４を備えない構成であってもよい。

距離換算部２７は、環境地図情報により知り得る、自己位置と周辺立体物との相対的な位置関係を、自己位置から周辺立体物までの距離の絶対値に換算し、周辺立体物の検出点距離情報を生成して行動計画策定部２８へ出力する。ここで、周辺立体物の検出点距離情報とは、自己位置を座標（０，０，０）にオフセットして、算出した複数の検出点Ｐの各々までの測定距離（座標）を例えばメートル単位に換算した情報である。すなわち、移動体２の自己位置の情報は、検出点距離情報における原点の座標（０，０，０）として含まれる。

距離換算部２７が実行する距離換算においては、例えば、ＥＣＵ３から送り出されるＣＡＮデータに含まれる移動体２の速度データ等の車両状態情報を用いる。例えば、図４に示す環境地図情報２４１Ａの場合、自己位置Ｓと複数の検出点Ｐとの間は、相対的な位置関係は知り得るが、距離の絶対値は算出されていない。ここで、自己位置算出を行うフレーム間周期と、車両状態情報によるその間の速度データにより、自己位置Ｓ３と自己位置Ｓ２の間の距離を求めることができる。環境地図情報２４１Ａが持つ相対的な位置関係は実空間と相似の関係の為、自己位置Ｓ３と自己位置Ｓ２の間の距離がわかることで、自己位置Ｓからそれ以外の全ての検出点Ｐまで距離の絶対値も求めることができる。すなわち、距離換算部２７は、ＣＡＮデータに含まれた移動体２の実際の速度データを用いて、自己位置と周辺立体物との相対的な位置関係を、自己位置から周辺立体物までの距離の絶対値に換算する。

なお、ＣＡＮデータに含まれる車両状態情報とＶＳＬＡＭ処理部２４から出力される環境地図情報とは、時間情報により対応付けすることができる。また、検出部１４が検出点Ｐの距離情報を取得する場合には、距離換算部２７を省略してもよい。

行動計画策定部２８は、移動体２の周辺立体物の位置情報（検出点距離情報）を含む第２情報に基づいて移動体２の行動計画を策定し、移動体２の予定自己位置情報と、移動体２の予定自己位置情報を基準とした周辺立体物の位置情報とを含む第１情報を生成する。

図５は、行動計画策定部２８の機能的構成の一例を示す模式図である。図５に示した様に、行動計画策定部２８は、プランニング処理部２８Ａ、予定地図情報生成部２８Ｂ、ＰＩＤ制御部２８Ｃを備える。

プランニング処理部２８Ａは、例えばドライバからの自動駐車モードの選択指示に応答して、距離換算部２７から受け取った検出点距離情報に基づいて、プランニング処理を実行する。ここで、プランニング処理部２８Ａが実行するプランニング処理とは、駐車エリアに移動体２を駐車するための、移動体２の現在位置から駐車完了位置までの駐車ルートや、駐車ルートを刻んだ直近の目標地点となる単位時間後の移動体２の予定自己位置や、直近の目標地点に辿り着くための、直近のアクセルや旋回角などのアクチュエータ目標値などを策定する処理である。

図６は、プランニング処理部２８Ａによって生成される駐車ルート計画の一例を示す模式図である。図６に示した様に、駐車ルート計画は、駐車エリアＰＡに後退駐車する際の、現在位置Ｌ１から経由予定地Ｌ２、Ｌ３、Ｌ４、Ｌ５を経由した駐車完了位置までの経路を含む情報である。経由予定地Ｌ２、Ｌ３、Ｌ４、Ｌ５は、現在における、単位時間ごとの移動体２の経由予定地である。そのため、現在位置Ｌ１及び経由予定地Ｌ２、Ｌ３、Ｌ４、Ｌ５それぞれの間の距離は、移動体２の移動速度に応じて変化してもよい。ここで単位時間とは、例えばＶＳＬＡＭ処理のフレームレートに対応した時間間隔である。また、経由予定地Ｌ２は、現在位置Ｌ１に対する予定自己位置でもある。また、移動体２が現在位置Ｌ１から経由予定地Ｌ２を目指して移動し、単位時間が経過した場合の位置において、最新の検出点距離情報に基づいて、駐車ルート計画は更新される。この場合、単位時間が経過した場合の位置は、現在位置Ｌ１に対する経由予定地Ｌ２と一致してもよいし、経由予定地Ｌ２からずれた位置であってもよい。

なお、上述した駐車ルート計画の具体的な演算手法について特に限定はなく、単位時間の経過毎に、次の単位時間経過後に移動体２が位置すべき予定自己位置を含む情報を取得できるものであれば、どのような手法であってもよい。

また、本実施形態においては、行動計画策定部２８がプランニング処理部２８Ａを備え、プランニング処理部２８Ａにおいて行動計画を逐次策定する場合を例示する。これに対し、行動計画策定部２８はプランニング処理部２８Ａを備えず、外部において策定された移動体２の行動計画を逐次取得する構成であってもよい。

予定地図情報生成部２８Ｂは、検出点距離情報の原点（現在の自己位置）を、単位時間後の予定自己位置にオフセットする。図７は、予定地図情報生成部２８Ｂが生成する予定地図情報を説明するための模式図である。図７においては、予定地図情報として、移動体２周辺の検出点距離情報（複数の点群情報）が示されている。また、図７には、説明のために領域Ｒ１、領域Ｒ２、軌道Ｔ１、位置Ｌ１、Ｌ２を書き加えられている。領域Ｒ１内に存在する点群は移動体２を駐車すべき駐車領域ＰＡの隣にある別の移動体（ｃａｒ１）に対応する。領域Ｒ２内に存在する点群は駐車領域ＰＡの近傍にある柱に対応する。軌道Ｔ１は移動体２が紙面右側から左側に前方進行し、一旦停止して駐車領域ＰＡに後退駐車する際の軌道を示している。位置Ｌ１は移動体２の現在の自己位置を、位置Ｌ２は単位時間だけ未来のタイミングにおける移動体２の予定自己位置をそれぞれ示している。予定地図情報生成部２８Ｂでは、現在位置であるＬ１を原点とする検出点距離情報を、予定自己位置Ｌ２を原点にオフセットして、単位時間後の予定自己位置から見た予定地図情報を生成する。

予定地図情報生成部２８Ｂは、移動体２の自己位置、移動体２の周辺立体物の位置情報がＶＳＬＡＭ処理により更新される都度、更新される検出点距離情報の原点（現在の自己位置）を、単位時間後の予定自己位置にオフセットする。予定地図情報生成部２８Ｂは、予定自己位置に原点がオフセットされた予定地図情報を生成し、決定部３０へ送出する。

ＰＩＤ制御部２８Ｃは、プランニング処理部２８Ａによって策定されたアクチュエータ目標値に基づいてＰＩＤ（Ｐｒｏｐｏｒｔｉｏｎａｌ Ｉｎｔｅｇｒａｌ Ｄｉｆｆｅｒｅｎｔｉａｌ）制御を行い、アクセルや旋回角等のアクチュエータを制御するためのアクチュエータ制御値を送出する。例えば、ＰＩＤ制御部２８Ｃは、プランニング処理部２８Ａがアクチュエータ目標値を更新する都度、アクチュエータ制御値を更新し、アクチュエータへ送出する。ＰＩＤ制御部２８Ｃは、制御情報生成部の一例である。

図３に戻り、投影形状決定部２９は、第１情報に基づいて、移動体２に搭載された撮影装置１２が取得した画像を投影して俯瞰画像を生成するための投影面の形状を決定する。投影形状決定部２９は、投影形状決定部の一例である。

ここで、投影面とは、移動体２の周辺画像を俯瞰画像として投影するための立体面である。また、移動体２の周辺画像とは、移動体２の周辺の撮影画像であり、撮影部１２Ａ～撮影部１２Ｄの各々によって撮影された撮影画像である。投影面の投影形状は、実空間に対応する仮想空間に仮想的に形成される立体（３Ｄ）形状である。また、投影面に投影する画像は、ＶＳＬＡＭ処理部２４が第２情報を生成する際に用いた画像と同じ画像であってもよいし、取得時刻が異なる画像や、異なる画像処理が施された画像であってもよい。また、本実施形態においては、投影形状決定部２９によって実行される投影面の投影形状の決定を、投影形状決定処理と呼ぶ。

具体的には、投影形状決定部２９は、決定部３０と、変形部３２と、仮想視点視線決定部３４と、を備える。

[決定部３０の構成例]
以下、図３に示した決定部３０の詳細な構成の一例を説明する。

図８は、決定部３０の機能的構成の一例を示す模式図である。図８に示した様に、決定部３０は、抽出部３０５と、最近傍特定部３０７と、基準投影面形状選択部３０９と、スケール決定部３１１と、漸近曲線算出部３１３と、形状決定部３１５と、境界領域決定部３１７とを備える。

抽出部３０５は、距離換算部２７から測定距離を受付けた複数の検出点Ｐの内、特定の範囲内に存在する検出点Ｐを抽出し、特定高抽出マップを生成する。特定の範囲とは、例えば、移動体２の配置された路面から移動体２の車高に相当する高さまでの範囲である。なお、該範囲は、この範囲に限定されない。

抽出部３０５が該範囲内の検出点Ｐを抽出し特定高抽出マップを生成することで、例えば、移動体２の進行の障害となる物体や、移動体２に隣接して位置する物体等の検出点Ｐを抽出することができる。

そして、抽出部３０５は、生成した特定高抽出マップを最近傍特定部３０７へ出力する。

最近傍特定部３０７は、特定高抽出マップを用いて移動体２の予定自己位置Ｓ’の周囲を特定の範囲（例えば角度範囲）ごとに区切り、範囲ごとに、移動体２の予定自己位置Ｓ’に最も近い検出点Ｐ、又は、移動体２の予定自己位置Ｓ’に近い順に複数の検出点Ｐを特定し、近傍点情報を生成する。本実施形態では、最近傍特定部３０７は、範囲ごとに、移動体２の予定自己位置Ｓ’に近い順に複数の検出点Ｐを特定して近傍点情報を生成する形態を一例として説明する。

最近傍特定部３０７は、近傍点情報として範囲ごとに特定した検出点Ｐの測定距離を、基準投影面形状選択部３０９、スケール決定部３１１、漸近曲線算出部３１３、境界領域決定部３１７へ出力する。

基準投影面形状選択部３０９は、近傍点情報に基づき基準投影面の形状を選択する。

図９は、基準投影面４０の一例を示す模式図である。図９を参照しながら基準投影面について説明する。基準投影面４０は、例えば、投影面の形状を変更する際に基準となる形状の投影面である。基準投影面４０の形状は、例えば、椀型、円柱型、などである。なお、図９には椀型の基準投影面４０を例示している。

椀型とは、底面４０Ａと側壁面４０Ｂとを有し、側壁面４０Ｂの一端が該底面４０Ａに連続し、他端が開口された形状である。該側壁面４０Ｂは、底面４０Ａ側から該他端部の開口側に向かって、水平断面の幅が大きくなっている。底面４０Ａは、例えば円形状である。ここで円形状とは、真円形状や、楕円形状等の真円形状以外の円形状、を含む形状である。水平断面とは、鉛直方向（矢印Ｚ方向）に対して直交する直交平面である。直交平面は、矢印Ｚ方向に直交する矢印Ｘ方向、及び、矢印Ｚ方向と矢印Ｘ方向に直交する矢印Ｙ方向、に沿った二次元平面である。水平断面及び直交平面を、以下では、ＸＹ平面と称して説明する場合がある。なお、底面４０Ａは、例えば卵型のような円形状以外の形状であってもよい。

円柱型とは、円形状の底面４０Ａと、該底面４０Ａに連続する側壁面４０Ｂと、からなる形状である。また、円柱型の基準投影面４０を構成する側壁面４０Ｂは、一端部の開口が底面４０Ａに連続し、他端部が開口された円筒状である。但し、円柱型の基準投影面４０を構成する側壁面４０Ｂは、底面４０Ａ側から該他端部の開口側に向かって、ＸＹ平面の直径が略一定の形状である。なお、底面４０Ａは、例えば卵型のような円形状以外の形状であってもよい。

本実施形態では、基準投影面４０の形状が、図９に示した椀型である場合を一例として説明する。基準投影面４０は、底面４０Ａを移動体２の下方の路面に略一致する面とし、該底面４０Ａの中心を移動体２の予定自己位置Ｓ’とした仮想空間に仮想的に形成される立体モデルである。

基準投影面形状選択部３０９は、複数種類の基準投影面４０から、特定の１つの形状を読取ることで、基準投影面４０の形状を選択する。例えば、基準投影面形状選択部３０９は、予定自己位置と周囲立体物との位置関係や距離などによって基準投影面４０の形状を選択する。なお、ユーザの操作指示により基準投影面４０の形状を選択してもよい。基準投影面形状選択部３０９は、決定した基準投影面４０の形状情報を形状決定部３１５へ出力する。本実施形態では、上記したように、基準投影面形状選択部３０９は、碗型の基準投影面４０を選択する形態を一例として説明する。

スケール決定部３１１は、基準投影面形状選択部３０９が選択した形状の基準投影面４０のスケールを決定する。スケール決定部３１１は、例えば、予定自己位置Ｓ’から近傍点までの距離が所定の距離より短い場合にスケールを小さくするなどの決定をする。スケール決定部３１１は、決定したスケールのスケール情報を形状決定部３１５へ出力する。

漸近曲線算出部３１３は、予定地図情報に基づいて、予定自己位置に対する周辺位置情報の漸近曲線を算出する。漸近曲線算出部３１３は、最近傍特定部３０７から受付けた、予定自己位置Ｓ’からの範囲毎に、予定自己位置Ｓ’から最も近い検出点Ｐまでの距離のそれぞれを用いて、算出した漸近曲線Ｑの漸近曲線情報を、形状決定部３１５及び仮想視点視線決定部３４へ出力する。

図１０は、決定部３０によって生成される漸近曲線Ｑの説明図である。ここで、漸近曲線とは、予定地図情報における複数の検出点Ｐの漸近曲線である。図１０は、移動体２を上方から鳥瞰した場合において、投影面に撮影画像を投影した投影画像に、漸近曲線Ｑを示した例である。例えば、決定部３０が、移動体２の予定自己位置Ｓ’に近い順に３つの検出点Ｐを特定したと想定する。この場合、決定部３０は、これらの３つの検出点Ｐの漸近曲線Ｑを生成する。

なお、漸近曲線算出部３１３は、基準投影面４０の特定の範囲（例えば角度範囲）毎に複数の検出点Ｐの重心などに位置する代表点を求め、複数の該範囲毎の代表点に対する漸近曲線Ｑを、算出してもよい。そして、漸近曲線算出部３１３は、算出した漸近曲線Ｑの漸近曲線情報を、形状決定部３１５へ出力する。なお、漸近曲線算出部３１３は、算出した漸近曲線Ｑの漸近曲線情報を仮想視点視線決定部３４へ出力してもよい。

形状決定部３１５は、基準投影面形状選択部３０９から受付けた形状情報によって示される形状の基準投影面４０を、スケール決定部３１１から受付けたスケール情報のスケールに拡大又は縮小する。そして、形状決定部３１５は、拡大又は縮小した後の基準投影面４０に対して、漸近曲線算出部３１３から受付けた漸近曲線Ｑの漸近曲線情報に沿った形状となるように変形した形状を、投影形状として決定する。

ここで、投影形状の決定について詳しく説明する。図１１は、決定部３０により決定された投影形状４１の一例を示す模式図である。形状決定部３１５は、図１１に示した様に、基準投影面４０を、基準投影面４０の底面４０Ａの中心である移動体２の予定自己位置Ｓ’に最も近い検出点Ｐを通る形状に変形した形状を、投影形状４１として決定する。検出点Ｐを通る形状とは、変形後の側壁面４０Ｂが、該検出点Ｐを通る形状であることを意味する。該予定自己位置Ｓ’は、行動計画策定部２８によって決定される。

すなわち、形状決定部３１５は、予定地図情報に登録されている複数の検出点Ｐの内、該予定自己位置Ｓ’に最も近い検出点Ｐを特定する。詳細には、移動体２の中心位置（予定自己位置Ｓ’）のＸＹ座標を、（Ｘ，Ｙ）＝（０，０）とする。そして、形状決定部３１５は、Ｘ^２＋Ｙ^２の値が最小値を示す検出点Ｐを、予定自己位置Ｓ’に最も近い検出点Ｐとして特定する。そして、形状決定部３１５は、基準投影面４０の側壁面４０Ｂが該検出点Ｐを通る形状となるように変形した形状を、投影形状４１として決定する。

より具体的には、形状決定部３１５は、基準投影面４０を変形させた際に側壁面４０Ｂの一部の領域が、移動体２の予定自己位置Ｓ’に最も近い検出点Ｐを通る壁面となるように、底面４０Ａ及び側壁面４０Ｂの一部の領域の変形形状を投影形状４１として決定する。変形後の投影形状４１は、例えば、底面４０Ａ上の立ち上がりライン４４から、ＸＹ平面の視点（平面視）で底面４０Ａの中心に近づく方向に向かって立ち上げた形状となる。立ち上げる、とは、例えば、基準投影面４０の側壁面４０Ｂと底面４０Ａとの成す角度がより小さい角度となるように、該側壁面４０Ｂ及び底面４０Ａの一部を、底面４０Ａの中心に近づく方向に向かって屈曲又は折り曲げる事を意味する。なお、立ち上げられた形状において、立ち上がりライン４４が底面４０Ａと側壁面４０Ｂとの間に位置し、底面４０Ａは変形しないままであってもよい。

形状決定部３１５は、基準投影面４０における特定領域を、ＸＹ平面の視点（平面視）で該検出点Ｐを通る位置に突出させるように変形するよう決定する。特定領域の形状及び範囲は、予め定めた基準に基づいて決定してもよい。そして、形状決定部３１５は、突出させた特定領域から、側壁面４０Ｂにおける該特定領域以外の領域に向かって、連続的に予定自己位置Ｓ’からの距離が遠くなるように、基準投影面４０を変形した形状とするよう決定する。

例えば、図１１に示した様に、ＸＹ平面に沿った断面の外周の形状が曲線形状となるように、投影形状４１を決定することが好ましい。なお、投影形状４１の該断面の外周の形状は、例えば円形状であるが、円形状以外の形状であってもよい。

なお、形状決定部３１５は、漸近曲線に沿った形状となるように基準投影面４０を変形した形状を、投影形状４１として決定してもよい。形状決定部３１５は、移動体２の予定自己位置Ｓ’に最も近い検出点Ｐから離れる方向に向かって予め定めた数の複数の検出点Ｐの漸近曲線を生成する。この検出点Ｐの数は、複数であればよい。例えば、この検出点Ｐの数は、３つ以上であることが好ましい。また、この場合、形状決定部３１５は、予定自己位置Ｓ’から見て所定角度以上離れた位置にある複数の検出点Ｐの漸近曲線を生成することが好ましい。例えば、形状決定部３１５は、図１０に示した漸近曲線Ｑにおいて、生成した漸近曲線Ｑに沿った形状となるように基準投影面４０を変形した形状を、投影形状４１として決定することができる。

なお、形状決定部３１５は、移動体２の予定自己位置Ｓ’の周囲を特定の範囲ごとに区切り、該範囲ごとに、移動体２に最も近い検出点Ｐ、又は、移動体２に近い順に複数の検出点Ｐを特定してもよい。そして、形状決定部３１５は、該範囲ごとに特定した検出点Ｐを通る形状又は特定した複数の検出点Ｐの漸近曲線Ｑに沿った形状となるように基準投影面４０を変形した形状を、投影形状４１として決定してもよい。

そして、形状決定部３１５は、決定した投影形状４１の投影形状情報を、変形部３２へ出力する。

図３に戻り、変形部３２は、決定部３０から受付けた、予定地図情報を用いて決定された投影形状情報に基づいて、投影面を変形させる。すなわち、変形部３２は、行動計画に基づいた、単位時間経過後（例えば、次フレーム）の予定自己位置Ｓ’に原点をオフセットした３次元点群データを用いて、投影面を変形させる。この基準投影面の変形は、例えば移動体２の予定自己位置Ｓ’に最も近い検出点Ｐを基準として実行される。変形部３２は、変形投影面情報を投影変換部３６へ出力する。

また、例えば、変形部３２は、投影形状情報に基づいて、移動体２の予定自己位置Ｓ’に近い順に予め定めた数の複数の検出点Ｐの漸近曲線に沿った形状に基準投影面を変形する。

仮想視点視線決定部３４は、予定自己位置Ｓ’と漸近曲線情報とに基づいて、仮想視点視線情報を決定し、投影変換部３６へ送出する。

図１０、図１１を参照しながら、仮想視点視線情報の決定について説明する。仮想視点視線決定部３４は、例えば、移動体２の予定自己位置Ｓ’に最も近い検出点Ｐを通り、且つ、変形投影面に対して垂直な方向を視線方向として決定する。また、仮想視点視線決定部３４は、例えば、該視線方向Ｌの方向を固定し、仮想視点Ｏの座標を、任意のＺ座標と、漸近曲線Ｑから予定自己位置Ｓ’の方に離れる方向における任意のＸＹ座標として決定する。その場合、該ＸＹ座標は予定自己位置Ｓ’よりも漸近曲線Ｑから離れた位置の座標であってもよい。そして、仮想視点視線決定部３４は、仮想視点Ｏ及び視線方向Ｌを示す仮想視点視線情報を、投影変換部３６へ出力する。なお、図１０に示した様に、視線方向Ｌは、仮想視点Ｏから漸近曲線Ｑの頂点Ｗの位置に向かう方向としてもよい。

画像生成部３７は、投影面を用いて移動体２及びその俯瞰画像を生成する。具体的には、画像生成部３７は、投影変換部３６と、画像合成部３８と、を備える。

投影変換部３６は、変形投影面情報と仮想視点視線情報とに基づいて、変形投影面に、撮影部１２から取得した撮影画像を投影した投影画像を生成する。投影変換部３６は、生成した投影画像を、仮想視点画像に変換して画像合成部３８へ出力する。ここで、仮想視点画像とは、仮想視点から任意の方向に投影画像を視認した画像である。

図１１を参照しながら、投影変換部３６による投影画像生成処理について詳しく説明する。投影変換部３６は、変形投影面４２に撮影画像を投影する。そして、投影変換部３６は、変形投影面４２に投影された撮影画像を、任意の仮想視点Ｏから視線方向Ｌに視認した画像である仮想視点画像を生成する（図示せず）。仮想視点Ｏの位置は、例えば、（投影面変形処理の基準とした）移動体２の予定自己位置Ｓ’とすればよい。この場合、仮想視点ＯのＸＹ座標の値を、移動体２の予定自己位置Ｓ’のＸＹ座標の値とすればよい。また、仮想視点ＯのＺ座標（鉛直方向の位置）の値を、移動体２の予定自己位置Ｓ’に最も近い検出点ＰのＺ座標の値とすればよい。視線方向Ｌは、例えば、予め定めた基準に基づいて決定してもよい。

視線方向Ｌは、例えば、仮想視点Ｏから移動体２の予定自己位置Ｓ’に最も近い検出点Ｐに向かう方向とすればよい。また、視線方向Ｌは、該検出点Ｐを通り且つ変形投影面４２に対して垂直な方向としてもよい。仮想視点Ｏ及び視線方向Ｌを示す仮想視点視線情報は、仮想視点視線決定部３４によって作成される。

画像合成部３８は、仮想視点画像の一部又は全てを抽出した合成画像を生成する。例えば、画像合成部３８は、撮影部間の境界領域における複数の仮想視点画像（ここでは、撮影部１２Ａ～１２Ｄに対応する４枚の仮想視点画像）の繋合わせ処理等を行う。

画像合成部３８は、生成した合成画像を表示部１６へ出力する。なお、合成画像は、移動体２の上方を仮想視点Ｏとした鳥瞰画像や、移動体２内を仮想視点Ｏとし、移動体２を半透明に表示するものとしてもよい。

（行動計画に基づく投影面変形処理）
次に、本実施形態に係る情報処理装置１０が実行する、行動計画に基づく投影面変形処理の流れについて説明する。この行動計画に基づく投影面変形処理は、ＶＳＬＡＭ処理によって得られた移動体２の自己位置を基準として投影面変形処理を行うものではなく、行動計画によって得られる一定期間先（未来）の予定自己位置を基準として投影面変形処理を行うものである。

図１２は、行動計画に基づく投影面変形処理の流れの一例を示すフローチャートである。なお、情報処理装置１０が実行する、詳細な俯瞰画像生成処理の全体の流れについては、後で詳しく説明する。

まず、撮影画像が取得される（ステップＳａ）。ＶＳＬＡＭ処理部２４は、撮影画像を用いたＶＳＬＡＭ処理により環境地図情報を生成し、距離換算部２７で検出点距離情報を取得する（ステップＳｂ）。

プランニング処理部２８Ａでは、検出点距離情報に基づいて、行動計画を策定する（ステップＳｃ）。

予定地図情報生成部２８Ｂは、プランニング処理部２８Ａから取得した予定自己位置情報と、検出点距離情報とに基づいて予定地図情報を生成する（ステップＳｄ）。

決定部３０は、予定地図情報を用いて、投影面の形状を決定する（ステップＳｅ）。

変形部３２は、投影形状情報に基づいて、投影面変形処理を実行する（ステップＳｆ）。

ステップＳａ～ステップＳｆまでの各処理は、例えば俯瞰画像による運転支援処理が終了するまで逐次的に繰り返し実行される。

図１３は、情報処理装置１０が実行する、行動計画に基づく投影面変形処理を含む俯瞰画像の生成処理の流れの一例を示すフローチャートである。

取得部２０は、撮影部１２から方向毎の撮影画像を取得する（ステップＳ２）。選択部２１は、検出領域としての撮影画像を選択する（ステップＳ４）。

マッチング部２４０は、ステップＳ４で選択され撮影部１２で撮影された、撮影タイミングの異なる複数の撮影画像を用いて、特徴量の抽出とマッチング処理を行う（ステップＳ６）。また、マッチング部２４０は、マッチング処理により特定された、撮影タイミングの異なる複数の撮影画像間の対応する点の情報を、記憶部２４１に登録する。

自己位置推定部２４２は、記憶部２４１からマッチング点及び環境地図情報２４１Ａ（周辺位置情報と自己位置情報）を読取る（ステップＳ８）。自己位置推定部２４２は、マッチング部２４０から取得した複数のマッチング点を用いて、射影変換等により、撮影画像に対する相対的な自己位置を推定（ステップＳ１０）し、算出した自己位置情報を、環境地図情報２４１Ａへ登録する（ステップＳ１２）。

三次元復元部２４３は、環境地図情報２４１Ａ（周辺位置情報と自己位置情報）を読取る（ステップＳ１４）。三次元復元部２４３は、自己位置推定部２４２によって推定された自己位置の移動量（並進量及び回転量）を用いて透視投影変換処理を行い、当該マッチング点の三次元座標（自己位置に対する相対座標）を決定し、周辺位置情報として、環境地図情報２４１Ａへ登録する（ステップＳ１８）。

補正部２４４は、環境地図情報２４１Ａ（周辺位置情報と自己位置情報）を読取る。補正部２４４は、複数のフレーム間で複数回マッチングした点に対し、過去に算出された三次元座標と、新たに算出された三次元座標とで、三次元空間内での距離の差の合計が最小となる様に、例えば最小二乗法等を用いて、環境地図情報２４１Ａに登録済の周辺位置情報及び自己位置情報を補正（ステップＳ２０）し、環境地図情報２４１Ａを更新する。

距離換算部２７は、移動体２のＥＣＵ３から受信したＣＡＮデータに含まれる、移動体２の速度データ（自車速度）を取り込む（ステップＳ２２）。距離換算部２７は、移動体２の速度データを用いて、環境地図情報２４１Ａに含まれる点群間の座標距離を例えばメートル単位の絶対距離に換算する。また、距離換算部２７は、環境地図情報の原点を、移動体２の自己位置Ｓにオフセットして、移動体２から該複数の検出点Ｐの各々までの距離を示す検出点距離情報を生成する（ステップＳ２６）。距離換算部２７は、検出点距離情報を、行動計画策定部２８へ出力する。

プランニング処理部２８Ａは、プランニング処理を実行し、駐車エリアに移動体２を駐車するための、移動体２の現在位置から駐車完了までの駐車ルートや、駐車ルートを刻んだ直近の目標地点となる単位時間後の移動体２の予定自己位置や、直近の目標地点に辿り着くための、直近のアクセルや旋回角などアクチュエータの目標値などを策定する（ステップＳ２８）。

予定地図情報生成部２８Ｂは、検出点距離情報の原点（現在の自己位置Ｓ）を、単位時間経過後において予測される移動体２の予定自己位置Ｓ’にオフセットすることで、予定地図情報を生成し抽出部３０５へ送出する（ステップＳ３０）。

ＰＩＤ制御部２８Ｃは、プランニング処理部２８Ａによって策定されたアクチュエータ目標値に基づいてＰＩＤ制御を行い、アクチュエータ制御値をアクチュエータへ送出する（ステップＳ３１）。

抽出部３０５は、検出点距離情報の内、特定の範囲内に存在する検出点Ｐを抽出する（ステップＳ３２）。

最近傍特定部３０７は、移動体２の予定自己位置Ｓ’の周囲を特定の範囲ごとに区切り、範囲ごとに、移動体２の予定自己位置Ｓ’に最も近い検出点Ｐ、又は、移動体２の予定自己位置Ｓ’に近い順に複数の検出点Ｐを特定し、予定自己位置Ｓ’と最近傍物体との距離を抽出する（ステップＳ３３）。最近傍特定部３０７は、範囲ごとに特定した検出点Ｐの測定距離（移動体２の予定自己位置Ｓ’と最近傍物体との測定距離）ｄを、基準投影面形状選択部３０９、スケール決定部３１１、及び漸近曲線算出部３１３、境界領域決定部３１７へ出力する。

基準投影面形状選択部３０９は、基準投影面４０の形状を選択し（ステップＳ３４）、選択した基準投影面４０の形状情報を形状決定部３１５へ出力する。

スケール決定部３１１は、基準投影面形状選択部３０９が選択した形状の基準投影面４０のスケールを決定し（ステップＳ３６）、決定したスケールのスケール情報を形状決定部３１５へ出力する。

漸近曲線算出部３１３は、漸近曲線を算出し（ステップＳ３８）、漸近曲線情報として形状決定部３１５及び仮想視点視線決定部３４へ出力する。

形状決定部３１５は、スケール情報及び漸近曲線情報に基づいて、基準投影面の形状をどのように変形させるかの投影形状を決定する（ステップＳ４０）。形状決定部３１５は、決定した投影形状４１の投影形状情報を、変形部３２へ出力する。

変形部３２は、投影形状情報に基づいて、基準投影面の形状を変形させる（ステップＳ４２）。変形部３２は、変形させた変形投影面情報を、投影変換部３６に出力する。

仮想視点視線決定部３４は、予定自己位置Ｓ’と漸近曲線情報とに基づいて、仮想視点視線情報を決定する（ステップＳ４４）。仮想視点視線決定部３４は、仮想視点Ｏ及び視線方向Ｌを示す仮想視点視線情報を、投影変換部３６へ出力する。

投影変換部３６は、変形投影面情報と仮想視点視線情報とに基づいて、変形投影面に、撮影部１２から取得した撮影画像を投影した投影画像を生成する。投影変換部３６は、生成した投影画像を、仮想視点画像に変換（ステップＳ４６）して画像合成部３８へ出力する。

境界領域決定部３１７は、範囲ごとに特定した予定自己位置Ｓ’からの最近傍物体との距離に基づいて、境界領域を決定する。すなわち、境界領域決定部３１７は、空間的に隣り合う周辺画像の重ね合わせ領域としての境界領域を、移動体２の予定自己位置Ｓ’の最近傍の物体の位置に基づいて決定する（ステップＳ４８）。境界領域決定部３１７は、決定した境界領域を画像合成部３８へ出力する。

画像合成部３８は、空間的に隣り合う仮想視点画像を、境界領域を用いて繋ぎあわせて合成画像を生成する（ステップＳ５０）。なお、境界領域において、空間的に隣り合う仮想視点画像は、所定の比率でブレンドされる。

表示部１６は、合成画像を表示する（ステップＳ５２）。

情報処理装置１０は、情報処理を終了するか否かを判断する（ステップＳ５４）。例えば、情報処理装置１０は、ＥＣＵ３やプランニング処理部２８Ａから移動体２の駐車完了を示す信号を受信したか否かを判別することで、ステップＳ５４の判断を行う。また、例えば、情報処理装置１０は、ユーザによる操作指示などによって情報処理の終了指示を受付けたか否かを判別することで、ステップＳ５４の判断を行ってもよい。

ステップＳ５４で否定判断すると（ステップＳ５４：Ｎｏ）、上記ステップＳ２からステップＳ５４までの処理が繰り返し実行される。一方、ステップＳ５４で肯定判断すると（ステップＳ５４：Ｙｅｓ）、本ルーチンを終了する。

なお、ステップＳ２０の補正処理を実行した後にステップＳ５４からステップＳ２へ戻る場合、その後のステップＳ２０の補正処理を省略する場合があってもよい。また、ステップＳ２０の補正処理を実行せずにステップＳ５４からステップＳ２へ戻る場合、その後のステップＳ２０の補正処理を実行する場合があってもよい。

次に、実施形態に係る情報処理装置１０の作用・効果について、比較例を用いて説明する。

実施形態に係る情報処理装置１０は、ＶＳＬＡＭ処理部２４と、行動計画策定部２８と、投影形状決定部２９の一部である形状決定部３１５とを備える。ＶＳＬＡＭ処理部２４は、移動体２の周辺の画像に基づいて移動体２の周辺立体物の位置情報及び移動体２の位置情報を含む第２情報（環境地図情報）を生成する。行動計画策定部２８は、移動体の行動計画情報に基づいて、移動体２の予定自己位置情報と、予定自己位置情報を基準とした周辺立体物の位置情報とを含む第１情報を生成する。投影形状決定部２９は、第１情報に基づいて、撮影部１２から取得した画像を投影して俯瞰画像を生成する投影面の形状を決定する。

従って、情報処理装置１０は、ＶＳＬＡＭ処理によって取得した自己位置ではなく、行動計画策定部２８で策定した予定自己位置を基準として検出点の距離を算出するための予定地図情報を生成し、これを用いて俯瞰画像を生成するための投影面の形状を決定する。

図１４、図１５は、比較例に係る情報処理装置が実行する投影面変形処理を説明するための図である。ここでは距離換算部２７の出力である検出点距離情報が、行動計画策定部２８を介さずに決定部３０に入力される場合を説明する。図１４は、この場合の移動体２を柱とｃａｒ１の間に位置する駐車領域ＰＡに後退駐車する状況を上から見た図である。図１５は、ＶＳＬＡＭ処理によって取得した自己位置Ｋ１を基準とした検出点距離情報の一例を示す模式図である。

図１４に示したように、移動体２が位置Ｋ１から位置Ｋ２、Ｋ３、Ｋ４、Ｋ５と後退移動する場合を想定する。係る場合において、比較例に係る情報処理装置は、例えば、移動体２が位置Ｋ１に位置するタイミングにおいてＶＳＬＡＭ処理を開始し、自己位置Ｋ１を基準とした投影面変形処理の結果に基づいて俯瞰画像を生成し表示する。

しかしながら、移動体２が位置Ｋ１に位置するタイミングで取得した周辺画像に基づいてＶＳＬＡＭ処理を行い、自己位置Ｋ１を基準とした投影面変形処理の結果に基づいた俯瞰画像が表示されるタイミングまでの間に、移動体２は既に位置Ｋ１から位置Ｋ２に向かって移動している。従って、現実に自己位置Ｋ１を基準とした投影面変形処理の結果に基づいた俯瞰画像が表示されるタイミングにおいては、移動体２は位置Ｋ１には位置しない。表示部１６には、例えば自己位置Ｋ２において、過去の自己位置Ｋ１を基準として決定された投影面の形状に基づく俯瞰画像が表示されることになる。この様に、俯瞰画像が表示される時点では、過去の時点を基準に算出した距離情報を用いた投影面形状となることになり、俯瞰画像が不自然なものとなることがある。

また、図１４に示すようなルートで移動体２が後退駐車を行う場合、位置Ｋ１から位置Ｋ５の間の車速は一定ではない。例えば、Ｋ１では移動体２が後退開始により加速し、その後等速で後退する。Ｋ２では柱とｃａｒ１に対する接近を以って移動体２が減速する。Ｋ３では柱とｃａｒ１に移動体２が接触しない様にしつつ、駐車位置ＰＡの長手方向と移動体２の後退方向が平行になる様に移動体２の旋回を制御し、減速する。Ｋ４では移動体２の後退方向と駐車位置ＰＡの長手方向が平行になったことを以って、移動体２は加速する。Ｋ５では移動体２が駐車位置ＰＡに停車するように減速する。このように、移動体２の車速は変化し続ける。これにより、過去の時点を基準に算出した距離情報による投影面形状を用いた俯瞰画像には、映像の揺らぎが現れる。また、例えば移動体２が位置Ｋ３から位置Ｋ４に至る間にハンドルの切り返しなどにより、一度、移動体２が前進する場合において、映像の揺らぎが更に生じることがある。

これに対し、実施形態に係る情報処理装置１０は、行動計画策定部２８が策定し、アクチュエータの制御値の決定にも用いる予定自己位置情報に基づいて、投影形状変形を行う。これにより、俯瞰画像を表示部１６に表示させるタイミングにおける移動体２の実際の位置と、該俯瞰画像の投影面形状の変形に用いる距離情報における移動体２の自己位置との相違が抑制される。従って、投影面形状の不自然な揺らぎを抑制することができる。その結果、移動体周辺の立体物に応じて俯瞰画像の投影面を逐次変形する場合において、従来に比してより自然な俯瞰画像を提供することができる。

また、実施形態に係る情報処理装置１０は、取得部２０が取得した画像を用いたＶＳＬＡＭ処理により、自己位置情報と周辺位置情報を含む環境地図情報を生成する。行動計画策定部２８は、自己位置情報と周辺位置情報に基づいて移動体２の予定自己位置を基準とした予定地図情報を生成する。従って、撮影部１２からの画像のみを利用した比較的簡素な構成により、移動体２の予定自己位置を基準とした予定地図情報を生成することができる。

実施形態に係る情報処理装置１０は、移動体２の行動計画情報に基づいて、移動体２の制御に関する第３情報であるアクセルやブレーキ、ギア、旋回などのアクチュエータの制御値を生成する。従って、移動体２の移動制御と、移動体２の予定自己位置を基準とした投影面の変形とを連動させることができる。その結果、移動体２の移動に伴う連続的で自然な俯瞰画像を提供することができる。

（変形例１）
どれくらい先（未来）における予定自己位置を基準として行動計画に基づく投影面変形処理を実行するかは、予定地図情報を生成する際に基準とする予定自己位置を変更することで任意に調整することができる。

（変形例２）
上記実施形態では、ドライバからの自動駐車モードの選択指示に応答して行動計画を策定し、行動計画に基づく投影面変形処理を実行する場合を例とした。しかしながら、行動計画に基づく投影面変形処理は自動駐車モード或いは自動運転モードに限定されず、半自動運転モード、手動運転モード等において俯瞰画像によってドライバを支援する場合においても利用できる。また、後退駐車のみならず、縦列駐車等において俯瞰画像によってドライバを支援する場合においても利用できる。

（第２の実施形態）
第２の実施形態に係る情報処理装置１０は、ＶＳＬＡＭ処理により得られたデータだけでなく、少なくとも一つの外部センサから取得したデータを用いて行動計画に基づく投影面変形処理を実行するものである。なお、以下においては、説明を具体的にするため、情報処理システム１は、外部センサとして、ミリ波レーダ、ソナー、ＧＰＳセンサを備える場合を例とする。

図１６は、第２の実施形態に係る情報処理装置１０の機能的構成の一例を示す模式図である。図１６に示した様に、外部センサとしてのミリ波レーダ、ソナー、ＧＰＳセンサからの各データは、行動計画策定部２８に入力される。

図１７は、第２の実施形態に係る情報処理装置１０の行動計画策定部２８の機能的構成の一例を示す模式図である。図１７に示した様に、行動計画策定部２８は、周囲状況把握部２８Ｄ、プランニング処理部２８Ａ、予定地図情報生成部２８Ｂ、ＰＩＤ制御部２８Ｃを備える。

周囲状況把握部２８Ｄは、ＶＳＬＡＭ処理部２４からのデータ、ミリ波レーダ、ソナー、ＧＰＳセンサからの各データを用いて、動体検出処理の他、広域のローカライゼーション処理やＳＬＡＭ処理を実行し、第１の実施形態と比べて確度の高い自己位置情報及び周辺位置情報を生成する。なお、自己位置情報及び周辺位置情報は、移動体２と、移動体２の周辺立体物との距離を例えばメートル単位に換算した距離情報を含む。また、広域のローカライゼーション処理とは、例えばＧＰＳセンサから取得したデータを用いて、ＶＳＬＡＭ処理により取得される自己位置情報よりも広い範囲における移動体２の自己位置情報を取得する処理を意味する。

プランニング処理部２８Ａは、周囲状況把握部２８Ｄからの自己位置情報及び周辺位置情報に基づいて、プランニング処理を実行する。ここで、プランニング処理部２８Ａが実行するプランニング処理には、駐車ルート計画処理、広域ルート計画処理、ルート計画に沿った予定自己位置算出処理及び、アクチュエータ目標値算出処理が含まれる。広域ルート計画処理とは、移動体２が道路等を走行し広域エリアを移動する際のルート計画である。

予定地図情報生成部２８Ｂは、周囲状況把握部２８Ｄが生成した周辺位置情報と、プランニング処理部２８Ａが策定した予定自己位置情報を用いて、予定地図情報を生成し、決定部３０へ送出する。

ＰＩＤ制御部２８Ｃは、プランニング処理部２８Ａによって策定されたアクチュエータ目標値に基づいてＰＩＤ制御を行い、アクセルや旋回角等のアクチュエータを制御するためのアクチュエータ制御値を送出する。

以上述べた第２の実施形態に係る情報処理装置１０は、ＶＳＬＡＭ処理により得られたデータだけでなく、ミリ波レーダ、ソナー、ＧＰＳセンサからの各データも用いることで、より確度の高い周囲状況の把握を行い、行動計画に基づく投影面変形処理を実行する。従って、第１の実施形態に係る情報処理装置１０に加えて、さらに精度の高い俯瞰画像による運転支援を実現することができる。

（第３の実施形態）
第３の実施形態に係る情報処理装置１０は、撮影部１２によって取得された画像や、少なくとも一つの外部センサから取得したデータを用いて行動計画に基づく投影面変形処理を実行するものである。なお、以下においては、説明を具体的にするため、情報処理システム１は、外部センサとして、ＬｉＤＡＲ、ミリ波レーダ、ソナー、ＧＰＳセンサを備える場合を例とする。また、情報処理装置１０は、撮影部１２によって取得された画像および行動計画のみに基づく投影面変形処理を行ってもよい。

図１８は、第３の実施形態に係る情報処理装置１０の機能的構成の一例を示す模式図である。図１８に示した様に、撮影部１２によって取得された画像は、取得部２０を介して行動計画策定部２８に入力される。また、外部センサとしてのＬｉＤＡＲ、ミリ波レーダ、ソナー、ＧＰＳセンサからの各データは、行動計画策定部２８に入力される。

図１９は、第３の実施形態に係る情報処理装置１０の行動計画策定部２８の機能的構成の一例を示す模式図である。図１９に示した様に、行動計画策定部２８は、周囲状況把握部２８Ｄ、プランニング処理部２８Ａ、予定地図情報生成部２８Ｂ、ＰＩＤ制御部２８Ｃを備える。

周囲状況把握部２８Ｄは、撮影部１２によって取得された画像、ＬｉＤＡＲ、ミリ波レーダ、ソナー、ＧＰＳセンサからの各データを用いて、動体検出処理、ローカライゼーション処理、ＳＬＡＭ処理（ＶＳＬＡＭ処理を含む）を実行し、自己位置情報及び周辺位置情報を生成する。なお、自己位置情報及び周辺位置情報は、移動体２と、移動体２の周辺立体物との距離を例えばメートル単位に換算した距離情報を含む。

プランニング処理部２８Ａは、周囲状況把握部２８Ｄからの自己位置情報及び周辺位置情報に基づいて、プランニング処理を実行する。ここで、プランニング処理部２８Ａが実行するプランニング処理には、駐車ルート計画処理、広域ルート計画処理、ルート計画に沿った予定自己位置算出処理及び、アクチュエータ目標値算出処理が含まれる。

予定地図情報生成部２８Ｂは、周囲状況把握部２８Ｄが生成した周辺位置情報と、プランニング処理部２８Ａが策定した予定自己位置情報とを用いて、予定地図情報を生成し、決定部３０へ送出する。

ＰＩＤ制御部２８Ｃは、プランニング処理部２８Ａによって策定されたアクチュエータ目標値に基づいてＰＩＤ制御を行い、アクセルや旋回角等のアクチュエータを制御するためのアクチュエータ制御値を送出する。

以上述べた第３の実施形態に係る情報処理装置１０は、撮影部１２によって取得された画像、ＬｉＤＡＲ、ミリ波レーダ、ソナー、ＧＰＳセンサからの各データを用いて、より確度の高い周囲状況の把握を行い、行動計画に基づく投影面変形処理を実行する。従って、第１の実施形態に係る情報処理装置１０に加えて、さらに精度の高い俯瞰画像による運転支援を実現することができる。

以上、実施形態及び各変形例について説明したが、本願の開示する情報処理装置、情報処理方法、及び情報処理プログラムは、上記の各実施形態等そのままに限定されるものではなく、各実施段階等ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記の実施形態及び各変形例等に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

なお、上記実施形態及び各変形例の情報処理装置１０は、各種の装置に適用可能である。例えば、上記実施形態及び各変形例の情報処理装置１０は、監視カメラから得られる映像を処理する監視カメラシステム、又は車外の周辺環境の画像を処理する車載システムなどに適用することができる。

１０ 情報処理装置
１２、１２Ａ～１２Ｄ 撮影部
１４ 検出部
２０ 取得部
２１ 選択部
２４ ＶＳＬＡＭ処理部
２７ 距離換算部
２８ 行動計画策定部
２８Ａ プランニング処理部
２８Ｂ 予定地図情報生成部
２８Ｃ ＰＩＤ制御部
２８Ｄ 周辺状況把握部
２９ 投影形状決定部
３０ 決定部
３２ 変形部
３４ 仮想視点視線決定部
３６ 投影変換部
３７ 画像生成部
３８ 画像合成部
２４０ マッチング部
２４１ 記憶部
２４１Ａ 環境地図情報
２４２ 自己位置推定部
２４３ 三次元復元部
２４４ 補正部
３０５ 抽出部
３０７ 最近傍特定部
３０９ 基準投影面形状選択部
３１１ スケール決定部
３１３ 漸近曲線算出部
３１５ 形状決定部

Claims (10)

1. 移動体の行動計画情報に基づいて、前記移動体のルートにおける予定自己位置を示す予定自己位置情報と、前記予定自己位置情報を基準とした周辺立体物の位置情報とを含む第１情報を生成する行動計画策定部と、
   前記第１情報に基づいて、前記移動体に搭載された撮影装置が取得した第１画像を投影して俯瞰画像を生成する投影面の形状を決定する投影形状決定部と、
   を備える画像処理装置。
2. 前記行動計画策定部は、前記移動体の周辺立体物の位置情報及び前記移動体の位置情報を含む第２情報と、前記行動計画情報とに基づいて、前記第１情報を生成する、
   請求項１に記載の画像処理装置。
3. 前記第２情報は、前記移動体の周辺の第２画像を用いたＶＳＬＡＭ処理により生成された情報である、
   請求項２に記載の画像処理装置。
4. 前記第１画像は、前記第２画像とは異なる画像である、
   請求項３に記載の画像処理装置。
5. 前記第２情報は、少なくとも一つの外部センサから取得したデータを用いたＳＬＡＭ処理により生成された情報である、
   請求項２乃至４のうちいずれか一項に記載の画像処理装置。
6. 前記移動体の前記行動計画情報と前記第２情報とに基づいて、前記移動体の制御に関する第３情報を生成する制御情報生成部をさらに備え、
   前記移動体は、前記第３情報に基づいて制御される、
   請求項２乃至５のうちいずれか一項に記載の画像処理装置。
7. 前記投影形状決定部は、前記周辺立体物の位置情報と前記予定自己位置との間の距離情報に基づいて、前記投影面の形状を決定する、
   請求項１乃至６のうちいずれか一項に記載の画像処理装置。
8. 前記投影形状決定部は、前記移動体の前記予定自己位置に最も近い位置の前記周辺立体物に基づいて前記投影面の形状を決定する、
   請求項７に記載の画像処理装置。
9. コンピュータによって実行される画像処理方法であって、
   移動体の行動計画情報に基づいて、前記移動体のルートにおける予定自己位置を示す予定自己位置情報と、前記予定自己位置情報を基準とした周辺立体物の位置情報とを含む第１情報を生成し、
   前記第１情報に基づいて、前記移動体に搭載された撮影装置が取得した第１画像を投影して俯瞰画像を生成する投影面の形状を決定すること、
   を含む画像処理方法。
10. コンピュータに、
    移動体の行動計画情報に基づいて、前記移動体のルートにおける予定自己位置を示す予定自己位置情報と、前記予定自己位置情報を基準とした周辺立体物の位置情報とを含む第１情報を生成するステップと、
    前記第１情報に基づいて、前記移動体に搭載された撮影装置が取得した第１画像を投影して俯瞰画像を生成する投影面の形状を決定するステップと、
    を実行させるための画像処理プログラム。