JP7704299B2 - 情報処理方法及び情報処理装置 - Google Patents

Description

本発明は、情報処理方法及び情報処理装置に関する。

測距センサから出力される点群データを、各測距点の三次元空間内の位置情報に基づく画素値を有する二次元画像に変換し、既存の画像圧縮技術により圧縮することで、データ容量の大きい点群データのデータ容量を圧縮する技術が提案されている（特許文献１参照）。

国際公開第２０２０／１８３８３９号

特許文献１に記載の技術によれば、測距センサによって得られる各測距点の三次元空間内の位置情報のみに基づいて画素値を決定して二次元画像を生成するため、二次元画像において、各測距点の位置情報の他の属性情報を保持することができないという問題がある。

本発明は、上記問題に鑑みてなされたものである。その目的とするところは、各測距点の位置情報に加えて、その他の属性情報を保持する二次元画像を生成できる情報処理方法及び情報処理装置を提供することにある。

上述した問題を解決するために、本発明の一態様に係る情報処理方法及び情報処理装置は、撮像部によって車両の周囲を撮像して得られる撮像画像、又は、センサによって生成される車両の周囲の測距点に関する点群データに基づいて、測距点ごとに属性情報を付与し、点群データに基づいて、撮像部から測距点までの距離、及び、撮像部から見た測距点の方向を算出する。そして、測距点ごとに、測距点までの距離及び属性情報に基づいて画素値を算出し、測距点の方向に応じた画素が画素値を有する二次元画像を生成する。

本発明によれば、各測距点の位置情報に加えて、その他の属性情報を保持する二次元画像を生成できる。

図１は、本発明の一実施形態に係る情報処理装置１の構成を示すブロック図である。 図２は、本発明の一実施形態に係る情報処理装置１の処理を示すフローチャートである。 図３は、測距点に対応する画素ごとに設定される画素値の構成例を示す図である。 図４Ａは、距離と距離情報の間の対応関係に関する第１の例を示す図である。 図４Ｂは、距離と距離情報の間の対応関係に関する第２の例を示す図である。 図４Ｃは、距離と距離情報の間の対応関係に関する第３の例を示す図である。

次に、図面を参照して、本発明の実施の形態を詳細に説明する。説明において、同一のものには同一符号を付して重複説明を省略する。

［情報処理装置の構成］
図１を参照して情報処理装置１の構成例を説明する。図１は、本実施形態に係る情報処理装置１の構成を示すブロック図である。図１に示すように、情報処理装置１は、センサ群１０（センサ）と、カメラ１１（撮像部）と、地図情報取得部１２と、コントローラ２０と、を備える。

情報処理装置１は自動運転機能を有する車両に搭載されてもよく、自動運転機能を有しない車両に搭載されてもよい。また、情報処理装置１は自動運転と手動運転とを切り替えることが可能な車両に搭載されてもよい。また、自動運転機能は操舵制御、制動力制御、駆動力制御などの車両制御機能のうちの一部の機能のみを自動的に制御して運転者の運転を支援する運転支援機能であってもよい。本実施形態では情報処理装置１は自動運転機能を有する車両に搭載されるものとして説明する。

なお図１において省略されているが、情報処理装置１は属性情報設定部２４による認識結果（物体の位置、形状、姿勢など）に基づいてステアリングアクチュエータ、アクセルペダルアクチュエータ、ブレーキアクチュエータなどの各種のアクチュエータを制御してもよい。これにより高精度な自動運転が実現しうる。

センサ群１０には、主に自車両の周囲の物体までの距離及び方向を測定するセンサが含まれる。このようなセンサは一例としてライダ（ＬＩＤＡＲ：Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）である。ライダとは自車両の周囲の物体に光（レーザ光）を発射し、その光（反射光）が物体に当たって跳ね返ってくるまでの時間を測定することにより、物体までの距離及び方向を測定したり、物体の形状を認識したりする。さらにライダは物体の位置関係を三次元的に取得することも可能である。なお反射光の強度を用いてマッピングすることも可能である。

例えば、ライダは、光の照射方向を変えることで、自車両の周囲を主走査方向及び副走査方向に走査する。これにより、自車両の周囲に存在する複数の測距点に光が順に照射される。自車両の周囲に存在するすべての測距点への光の一巡の照射は、所定の時間間隔で繰り返される。ライダは、光の照射によって得られる測距点ごとの情報（測距点情報）を測距点ごとに生成する。そして、ライダは、複数の測距点情報からなる点群データをコントローラ２０に出力する。

測距点情報は、測距点の位置情報を含む。位置情報は、測距点の位置座標を示す情報である。位置座標には、ライダから測距点に向かう方向（ヨー角、ピッチ角）、及び、ライダから測距点までの距離（深度）で表される極座標系が用いられてもよい。位置座標には、ライダの設置位置を原点とする、ｘ座標、ｙ座標、及びｚ座標で表される三次元座標系が用いられてもよい。また、測距点情報は、測距点の時刻情報を含んでいてもよい。時刻情報は、測距点の位置情報を生成した（反射光を受光した）時刻を示す情報である。その他、測距点情報は、測距点からの反射光の強度の情報（強度情報）を含んでいてもよい。

なお、ライダによる光の照射方向は、後述するセンサ制御部２７によって制御されるものであってもよい。

その他、センサ群１０には、自車両の位置を検出するＧＰＳ受信機またはＧＮＳＳ受信機が含まれてもよい。またセンサ群１０には自車両の状態を検出する速度センサ、加速度センサ、舵角センサ、ジャイロセンサ、ブレーキ油圧センサ、アクセル開度センサなどが含まれてもよい。センサ群１０によって取得された情報はコントローラ２０に出力される。なお以下では特に断らない限り、センサ群１０の代表をライダとして説明し、コントローラ２０に出力される情報はライダによって取得された情報として説明する。

カメラ１１は、ＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有する。カメラ１１の設置場所は特に限定されないが、一例としてカメラ１１は自車両の前方、側方、後方に設置される。カメラ１１は所定の周期で自車両の周囲を連続的に撮像する。カメラ１１は自車両の周囲に存在する物体（歩行者、自転車、バイク、他車両など）、及び自車両の前方の情報（区画線、信号機、標識、横断歩道、交差点など）を検出する。カメラ１１によって撮像された画像はコントローラ２０に出力される。なおカメラ１１によって撮像された画像は記憶装置（図示しない）に格納され、コントローラ２０は記憶装置に格納された画像を参照してもよい。

ライダによって測定（検出）される領域と、カメラ１１によって撮像（検出）される領域は全部または一部が重複する。ライダは、カメラ１１の撮像範囲に含まれる測距点に関する点群データを生成する。

地図情報取得部１２は、車両が走行する道路の構造を示す地図情報を取得する。地図情報取得部１２が取得する地図情報には、信号機の位置情報や、信号機の種別、信号機に対応する停止線の位置などが含まれうる。地図情報取得部１２は、地図情報を格納した地図データベースを所有してもよいし、クラウドコンピューティングにより地図情報を外部の地図データサーバから取得してもよい。また、地図情報取得部１２は、車車間通信、路車間通信を用いて地図情報を取得してもよい。

地図情報取得部１２が取得する地図情報には、車線の絶対位置、車線の接続関係、相対位置関係などの道路構造の情報が含まれていてもよい。また、地図情報取得部１２が取得する地図情報には、駐車場、ガソリンスタンドなどの施設情報も含まれていてもよい。

自車両の周囲の道路情報は、カメラ１１によって撮像された画像、センサ群１０によって得られた情報、地図情報取得部１２によって得られた地図情報によって構成される。その他、自車両の周囲の道路情報は、取得部によって取得される以外にも、車車間通信、路車間通信によって、自車両の外部から取得されるものであってもよい。

コントローラ２０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、情報処理装置１として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは情報処理装置１が備える複数の情報処理回路として機能する。コントローラ２０は、センサ群１０及びカメラ１１から取得したデータを処理する。

なおここでは、ソフトウェアによって情報処理装置１が備える複数の情報処理回路を実現する例を示すが、もちろん以下に示す各情報処理を実行するための専用のハードウェアを用意して情報処理回路を構成することも可能である。また複数の情報処理回路を個別のハードウェアにより構成してもよい。

コントローラ２０は、複数の情報処理回路（情報処理機能）の一例として、点群取得部２１と、座標変換部２２と、画像取得部２３と、属性情報設定部２４と、画素値算出部２５と、画像生成部２６と、センサ制御部２７を備える。なおコントローラ２０はＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と表現されてもよい。

点群取得部２１は、ライダから点群データを取得する。点群取得部２１は取得した点群データを座標変換部２２に出力する。

座標変換部２２は、取得した点群データに基づいて、カメラ１１から測距点までの距離、及び、カメラ１１から見た測距点の方向を算出する。例えば、座標変換部２２は、ライダとカメラ１１の設置位置のズレに基づいて、ライダの設置位置を基準とする位置情報を、カメラ１１の位置を基準とする位置情報に変換するものであってもよい。

また、座標変換部２２は、カメラ１１による撮像のタイミング、ライダによる点群データの生成のタイミング、及び、自車両の移動情報（自車両の移動方向及び車速）に基づいて、ライダの設置位置を基準とする位置情報を、カメラ１１の位置を基準とする位置情報に変換するものであってもよい。これらのタイミングに基づく位置情報の変換の処理は、カメラ１１による撮像のタイミングと、ライダによる点群データの生成のタイミングが、同期していない場合に有用である。

画像取得部２３は、カメラ１１によって撮像された撮像画像を取得する。画像取得部２３は取得した撮像画像を属性情報設定部２４に出力する。なお認識対象となる物体が存在する可能性の高い領域が既知の場合、画像取得部２３はその領域のみを抽出して出力してもよい。

属性情報設定部２４は、画像取得部２３から取得した撮像画像に対して、車両の周囲の物体および標識（以下、「物体等」と記載）の認識処理を行う。当該認識処理は画像処理の一例であり、自車両の周囲（主に自車両の前方）の物体等を検出、識別し、物体等を一意に識別する値である属性情報を、各画素に対応付ける処理である。このような画像処理は、例えば、各画素について各物体等である尤度を推定するセマンティックセグメンテーションを用いることができる。また、物体等の種別や色に応じて属性を分けて識別してもよい。本実施形態において「物体等」には、例えば、乗用車、トラック、バス、バイク、歩行者などの移動物や、例えば、パイロン、小動物、落下物、建物、壁、ガードレール、工事現場の枠などの静止物が含まれる。さらに、「物体等」には、道路交通に対して必要な案内、誘導、警戒、規制、指示などを行うために専用の塗料で路面に標示された道路標示を含んでもよい。道路標示として、例えば、区画線（破線の白線）、横断歩道、停止線、進行方向矢印線などが挙げられる。

なお、属性情報設定部２４は、画像取得部２３から取得した撮像画像を構成する画像ごとに対して属性情報を対応付けていることから、結果的に、属性情報設定部２４は、撮像画像に映りこむ測距点ごとに属性情報を付与することができる。

その他、属性情報設定部２４は、点群データに基づいて車両の周囲の物体および標識（以下、物体等と記載）の認識処理を行うものであってもよい。特に、点群データによって車両の周囲の物体の形状が表現されるため、属性情報設定部２４は、パターンマッチングなどの手法を用いて、測距点ごとに属性情報を付与するものであってもよい。このようにして、属性情報設定部２４は、撮像画像又は点群データに基づいて、測距点ごとに属性情報を付与する。

画素値算出部２５は、測距点に対応する画素に対して、測距点までの距離及び測距点に対して付与された属性情報に基づいて画素値を算出する。より具体的には、画素値算出部２５は、測距点までの距離に対応する距離情報、撮像画像に映る物体等を一意に識別する値である属性情報に基づいて画素値を算出する。その他、画素値算出部２５は、測距点からの反射光の強度を示す強度情報に基づいて画素値を算出するものであってもよい。なお、画素値算出部２５は、座標変換部２２によって算出した、カメラ１１から見た測距点の方向に基づいて、撮像画像内の、測距点に対応する画素を特定する。

図３を用いて、画素値算出部２５による画素値の算出の例を説明する。図３は、測距点に対応する画素ごとに設定される画素値の構成例を示す図である。

図３では、距離情報、強度情報、属性情報が、それぞれ８ビットのデータであって、これらの情報を連結して画素値を表す２４ビットのデータが構成される様子が示されている。このように、画素値算出部２５は、距離情報、強度情報、属性情報のデータを結合して、画素値を算出する。なお、画素値算出部２５は、距離情報及び属性情報のデータを結合して、画素値を算出するものであってもよい。

その他、図３では、画素値が２４ビットのデータである例が示されているが、これに限定されない。画素値は２４ビット以外のビット数を有していてもよい。距離情報、強度情報、属性情報がそれぞれ８ビットのデータである例が示されているが、これに限定されない。これらの情報は、８ビット以外のビット数を有していてもよい。

なお、画素値算出部２５は、測距点までの距離と画素値の対応関係を設定した後、当該対応関係に基づいて、測距点までの距離に対応する距離情報（画素値）を算出するものであってもよい（以下、距離情報と画素値とは特に区別せず説明する）。より具体的には、画素値算出部２５は、距離を離散化して所定のビット数からなる距離情報によって距離を表現する際、距離に応じて距離の分解能を変えてもよい。画素値算出部２５によって設定される対応関係の例を、図４Ａ、図４Ｂ、図４Ｃを用いて説明する。

図４Ａは、距離と距離情報の間の対応関係に関する第１の例を示す図である。図４Ａでは、距離に比例して距離情報によって示される値（画素値）が増加する様子が示されている。すなわち、図４Ａで示される対応関係によれば、距離に依存せず分解能が一定である。

図４Ｂは、距離と距離情報の間の対応関係に関する第２の例を示す図である。図４Ｂでは、距離が短いほど、距離の単位変化量あたりの距離情報によって示される値（画素値）の変化量が大きくなる様子が示されている。すなわち、図４Ｂで示される対応関係によれば、距離が短いほど分解能が高くなる。

図４Ｃは、距離と距離情報の間の対応関係に関する第３の例を示す図である。図４Ｃでは、距離が所定範囲にない場合と比較して、距離が所定範囲（図３Ｃにおいて、距離が中程度の範囲）である場合に、距離の単位変化量あたりの距離情報によって示される値（画素値）の変化量が大きくなる様子が示されている。また、距離が所定範囲にない場合に、距離の単位変化量あたりの距離情報によって示される値の変化量が小さくなる様子が示されている。すなわち、図４Ｃで示される対応関係によれば、距離が所定範囲にある場合には分解能が高くなり、距離が所定範囲にない場合には分解能が低くなる。

このように、画素値算出部２５は種々の対応関係を設定するものであってもよい。なお、画素値算出部２５は、車両の周囲の状況、又は、車両の挙動に基づいて、対応関係を設定するものであってもよい。

例えば、画素値算出部２５は、車両の近傍にある測距点について精度よく距離を表現するために、距離が短いほど、距離の単位変化量あたりの距離情報（画素値）の変化量が大きくなるよう、距離と距離情報の間の対応関係を設定するものであってもよい。例えば、画素値算出部２５は、自車両の減速時や、自車両の前方に近接する他車両が存在する場合に、車両の近傍において距離の分解能を高める対応関係を設定するものであってもよい。

また、画素値算出部２５は、車両の挙動に基づいて、属性情報の中から第１属性情報を選択するものであってもよい。そして、画素値算出部２５は、第１属性情報が付与された測距点までの距離における、距離の単位変化量あたりの画素値の変化量が所定値よりも大きくなるよう、距離と画素値の間の対応関係を設定するものであってもよい。

例えば、車両の挙動に応じて、精度よく距離を表現する必要のある対象物は変動しうる。車両が車線変更をする場合には、隣接車線との境界を示すレーンマーカーや道路側方の縁石、ガードレールなどが対象物となる。また、車両が加減速する場合には、自車両の前方の停止線、信号機、他車両などが対象物となる。画素値算出部２５は、このような対象物が位置する距離に基づいて所定範囲を決定し、当該所定範囲において距離の分解能を高める対応関係を設定するものであってもよい。

さらに、画素値算出部２５は、車両の速度が所定速度よりも大きい場合、所定距離よりも大きな距離における距離の単位変化量あたりの画素値の変化量が所定値よりも大きくなるよう、距離と画素値の間の対応関係を設定するものであってもよい。車両の速度が大きい場合には、車両からの距離が小さい対象物と比較して、車両からの距離が大きい対象物について、精度よく距離を表現する必要がある場合が生じうる。したがって、画素値算出部２５は、車両の速度が所定速度よりも大きい場合、車両の遠方において距離の分解能を高める対応関係を設定するものであってもよい。

画像生成部２６は、測距点の方向、及び、当該測距点について画素値算出部２５によって算出した画素値に基づいて、二次元画像を生成する。より具体的には、画像生成部２６は、カメラ１１から見た測距点の方向に対応する画素が、画素値算出部２５によって算出した画素値を有するよう、二次元画像を生成する。

ライダによる測距点の個数が十分に多くない場合には、測距点に対応する画素は撮像画像を構成する画素よりも少ないため、画像生成部２６は、二次元画像を構成する画素のうち、測距点に対応する画素ではない画素について、処理対象外であることを示すダミー値を画素値として、二次元画像を生成してもよい。

なお、画像生成部２６によって生成した二次元画像は、情報処理装置１の外部に出力され、車両制御機能のために使用されるものであってもよい。二次元画像を外部に出力する際、画素値算出部２５において設定された対応関係を特定する情報が、情報処理装置１の外部に出力されるものであってもよい。

センサ制御部２７は、センサ群１０を制御する。特に、センサ制御部２７は、ライダによる光の照射方向を制御し、測距点が不足する領域（以下、「特定領域」と記載）における測距点の空間密度を増加させる。すなわち、センサ制御部２７は、ライダの制御を実施し、制御前の特定領域における測距点の空間密度と比較して、制御後の特定領域における測距点の空間密度を大きくする。

特定領域の例として、事前に設定された第２属性情報が付与された測距点および当該測距点の近傍の領域が挙げられる。この場合、センサ制御部２７は、属性情報の中に第２属性情報が含まれるか否かを判定し、第２属性情報が含まれると判定された場合に、第２属性情報が付与された測距点の位置における測距点の空間密度を増加させるよう、ライダを制御するものであってもよい。

また、特定領域の例として、車両の周囲に存在する特定対象物が挙げられる。特定対象物としては、例えば、パイロン、小動物、落下物、建物、壁、ガードレール、工事現場の枠などの静止物が含まれる。静止物の有無は、地図情報取得部１２によって取得する地図情報に基づいて判定するものであってもよい。すなわち、センサ制御部２７は、地図情報に基づいて車両の周囲に特定対象物が存在するか否かを判定し、特定対象物が存在すると判定された場合に、特定対象物の位置における測距点の空間密度を増加させるよう、ライダを制御するものであってもよい。

最後に、センサ制御部２７によるライダの制御の具体例を示す。例えば、センサ制御部２７は、ライダによる主走査方向又は副走査方向の走査回数を増加させて、自車両の周囲の特定領域に対して単位立体角あたりの光の照射回数を高める。この結果、特定領域における測距点の空間密度が、その他の領域における測距点の空間密度と比較して高くなる。特定領域における測距点の空間密度が増加することにより、特定領域に位置する対象物について、精度よく位置検出および対象物の特定を行うことができる。

［情報処理装置の処理手順］
次に、本実施形態に係る情報処理装置１の処理手順を、図２のフローチャートを参照して説明する。図２は、本実施形態に係る情報処理装置１の処理を示すフローチャートである。図２に示す情報処理装置１の処理は、所定の周期で繰り返し実行されるものであってもよい。

まず、ステップＳ１０１において、画像取得部２３は、カメラ１１によって撮像された撮像画像を取得する。

ステップＳ１０３において、点群取得部２１は、ライダから点群データを取得する。

ステップＳ１０５において、属性情報設定部２４は、測距点ごとに属性情報を付与する。

ステップＳ１０７において、座標変換部２２は、取得した点群データに基づいて、カメラ１１から測距点までの距離、及び、カメラ１１から見た測距点の方向を算出する。

ステップＳ１０９において、画素値算出部２５は、測距点までの距離と画素値の対応関係を設定する。

ステップＳ１１１において、画素値算出部２５は、測距点に対応する画素に対して、測距点までの距離及び測距点に対して付与された属性情報に基づいて画素値を算出する。

ステップＳ１１３において、画像生成部２６は、測距点の方向、及び、当該測距点について画素値算出部２５によって算出した画素値に基づいて、二次元画像を生成する。

ステップＳ１１５において、センサ制御部２７は、測距点が不足する領域の有無を判定する。そして、測距点が不足する領域があると判定された場合（ステップＳ１１５にてＹＥＳの場合）には、ステップＳ１１７において、センサ制御部２７は、センサ群１０を制御し、測距点が不足する領域における測距点の空間密度を増加させる。

一方、測距点が不足する領域がないと判定された場合（ステップＳ１１５にてＮＯの場合）には、ステップＳ１１９において、二次元画像を生成する処理を継続するか否かを判定が判定される。処理を継続すると判定された場合（ステップＳ１１９にてＹＥＳの場合）には、ステップＳ１０１に戻る。処理を継続しないと判定された場合（ステップＳ１１９にてＮＯの場合）には、図２のフローチャートを終了する。

［実施形態の効果］
以上詳細に説明したように、本実施形態に係る情報処理方法及び情報処理装置は、撮像部によって車両の周囲を撮像して得られる撮像画像、又は、センサによって生成される車両の周囲の測距点に関する点群データに基づいて、測距点ごとに属性情報を付与し、点群データに基づいて、撮像部から測距点までの距離、及び、撮像部から見た測距点の方向を算出する。そして、測距点ごとに、測距点までの距離及び属性情報に基づいて画素値を算出し、測距点の方向に応じた画素が画素値を有する二次元画像を生成する。

これにより、各測距点の位置情報に加えて、その他の属性情報を保持する二次元画像を生成できる。また、センサ群１０からは判別できないカメラ１１による撮像画像からのみ認識可能な物体の属性情報を、各測距点の三次元的な位置情報と共に出力することができる。また、二次元画像として生成されるため、既存の画像圧縮技術を用いてデータ容量を小さくすることができる。

具体的には、ライダと比較して、カメラ１１を用いた場合には、解像度も高く、色情報も含まれる撮像画像を取得できる。そのため、パイロン、小動物、落下物、建物、壁、ガードレール、工事現場の枠などの静止物、白線、標識、信号機などの色が意味をもつ標識などは、撮像画像を用いた方が効率良く認識することができる。したがって、撮像画像に基づいて属性情報を付与し、各測距点の位置情報と共に出力することで、認識した物体等が、車両の走行に影響するか否かの判定に役立てることができる。

また、本実施形態に係る情報処理方法及び情報処理装置は、距離が短いほど、距離の単位変化量あたりの画素値の変化量が大きくなるよう、距離と画素値の間の対応関係を設定するものであってもよい。これにより、車両の制御により大きな影響を与える自車両の近傍の領域の物体や道路形状などについて精度良く距離を表現することができる。その結果、より適切な車両の制御を行うことができる。

さらに、本実施形態に係る情報処理方法及び情報処理装置は、車両の速度が所定速度よりも大きい場合、所定距離よりも大きな距離における距離の単位変化量あたりの画素値の変化量が所定値よりも大きくなるよう、距離と画素値の間の対応関係を設定するものであってもよい。これにより、車両の速度が大きい場合には、車両からの距離が小さい対象物と比較して、車両からの距離が大きい対象物について、精度良く距離を表現することができる。その結果、より適切な車両の制御を行うことができる。

また、本実施形態に係る情報処理方法及び情報処理装置は、車両の挙動に基づいて、属性情報の中から第１属性情報を選択し、第１属性情報が付与された測距点までの距離における、距離の単位変化量あたりの画素値の変化量が所定値よりも大きくなるよう、距離と画素値の間の対応関係を設定するものであってもよい。車両の制御において物体認識結果の位置精度が重要となる領域は車両の挙動（車速、ヨーレートなど）に応じて変化する。そのため、車両の挙動に基づいて物体認識結果の位置精度が重要となる領域を選択し、当該領域における距離の分解能を高めて、精度良く距離を表現することができる。その結果、より適切な車両の制御を行うことができる。

さらに、本実施形態に係る情報処理方法及び情報処理装置は、属性情報の中に第２属性情報が含まれるか否かを判定し、第２属性情報が含まれると判定された場合に、第２属性情報が付与された測距点の位置における測距点の空間密度を増加させるよう、センサを制御するものであってもよい。これにより、自車両に近接する車両や、自車両の軌道と交錯する歩行者など、車両の制御により大きい影響を与える物体の検出位置精度を向上させることができる。

また、ライダの波（レーザー光、ミリ波など）の照射方向の間隔より小さいまたは細長い物体等は、光が照射されず検出できない場合があるが、ライダより解像度の高いカメラ１１であれば検出できる可能性がある。そのため、画像認識結果に基づいてライダの光の照射方向を制御することで、光の照射方向の間隔より小さいまたは細長い物体等についても、ライダによって位置情報を取得することができる。

また、本実施形態に係る情報処理方法及び情報処理装置は、地図情報に基づいて車両の周囲に特定対象物が存在するか否かを判定し、特定対象物が存在すると判定された場合に、特定対象物の位置における測距点の空間密度を増加させるよう、センサを制御するものであってもよい。これにより、停止線や横断歩道などの、車両の制御により大きい影響を与える物体の検出位置精度を向上させることができる。

さらに、本実施形態に係る情報処理方法及び情報処理装置は、撮像部による撮像のタイミング、センサによる点群データの生成のタイミング、及び、車両の移動情報に基づいて、撮像部による撮像のタイミングにおける撮像部の位置を基準とする、測距点の位置情報を算出し、位置情報に基づいて、距離及び方向を算出するものであってもよい。カメラ１１による撮像のタイミングと、ライダによる点群データの生成のタイミングが同期していない場合、自車両が移動してしまうと、撮像画像を取得した位置と、点群データを取得した位置がずれてしまう。しかしながら、これらのタイミングに基づいて測距点の位置情報を補正することで、位置ずれを補正することができる。

上述の実施形態で示した各機能は、１又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサや、電気回路などが含まれ、さらには、特定用途向けの集積回路（ＡＳＩＣ）のような装置や、記載された機能を実行するよう配置された回路構成要素なども含まれる。

以上、実施形態に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１ 情報処理装置
１０ センサ群（センサ）
１１ カメラ（撮像部）
１２ 地図情報取得部
２０ コントローラ
２１ 点群取得部
２２ 座標変換部
２３ 画像取得部
２４ 属性情報設定部
２５ 画素値算出部
２６ 画像生成部
２７ センサ制御部

Claims (8)

1. 車両の周囲を撮像して撮像画像を生成する撮像部と、
   前記撮像部の撮像範囲に含まれる測距点に関する点群データを生成するセンサと、
   前記撮像部及び前記センサから取得したデータを処理するコントローラと、を備える情報処理装置の情報処理方法であって、
   前記コントローラにより、
   前記撮像画像又は前記点群データに基づいて、前記撮像画像に映る物体又は標識の種別を示す属性情報を、前記測距点ごとに付与し、
   前記点群データに基づいて、前記撮像部から前記測距点までの距離、及び、前記撮像部から見た前記測距点の方向を算出し、
   前記測距点ごとに、前記距離及び前記属性情報に基づいて画素値を算出し、
   前記方向に応じた画素が前記画素値を有する二次元画像を生成すること
   を特徴とする情報処理方法。
2. 請求項１に記載された情報処理方法であって、
   前記コントローラにより、
   前記距離が短いほど、前記距離の単位変化量あたりの前記画素値の変化量が大きくなるよう、前記距離と前記画素値の間の対応関係を設定すること
   を特徴とする情報処理方法。
3. 請求項１又は２に記載された情報処理方法であって、
   前記コントローラにより、
   前記車両の速度が所定速度よりも大きい場合、所定距離よりも大きな前記距離における前記距離の単位変化量あたりの前記画素値の変化量が所定値よりも大きくなるよう、前記距離と前記画素値の間の対応関係を設定すること
   を特徴とする情報処理方法。
4. 請求項１又は２に記載された情報処理方法であって、
   前記コントローラにより、
   前記車両の挙動に基づいて、前記属性情報の中から第１属性情報を選択し、
   前記第１属性情報が付与された前記測距点までの前記距離における、前記距離の単位変化量あたりの前記画素値の変化量が所定値よりも大きくなるよう、前記距離と前記画素値の間の対応関係を設定すること
   を特徴とする情報処理方法。
5. 請求項１又は２に記載された情報処理方法であって、
   前記コントローラにより、
   前記属性情報の中に第２属性情報が含まれるか否かを判定し、
   前記第２属性情報が含まれると判定された場合に、前記第２属性情報が付与された前記測距点の位置における前記測距点の空間密度を増加させるよう、前記センサを制御すること
   を特徴とする情報処理方法。
6. 請求項１又は２に記載された情報処理方法であって、
   前記コントローラにより、
   地図情報に基づいて前記車両の周囲に特定対象物が存在するか否かを判定し、
   前記特定対象物が存在すると判定された場合に、前記特定対象物の位置における前記測距点の空間密度を増加させるよう、前記センサを制御すること
   を特徴とする情報処理方法。
7. 請求項１又は２に記載された情報処理方法であって、
   前記コントローラにより、
   前記撮像部による撮像のタイミング、前記センサによる前記点群データの生成のタイミング、及び、前記車両の移動情報に基づいて、前記撮像部による撮像のタイミングにおける前記撮像部の位置を基準とする、前記測距点の位置情報を算出し、
   前記位置情報に基づいて、前記距離及び前記方向を算出すること
   を特徴とする情報処理方法。
8. 車両の周囲を撮像して撮像画像を生成する撮像部と、
   前記撮像部の撮像範囲に含まれる測距点に関する点群データを生成するセンサと、
   前記撮像部及び前記センサから取得したデータを処理するコントローラと、を備え、
   前記コントローラは、
   前記撮像画像又は前記点群データに基づいて、前記撮像画像に映る物体又は標識の種別を示す属性情報を、前記測距点ごとに付与し、
   前記点群データに基づいて、前記撮像部から前記測距点までの距離、及び、前記撮像部から見た前記測距点の方向を算出し、
   前記測距点ごとに、前記距離及び前記属性情報に基づいて画素値を算出し、
   前記方向に応じた画素が前記画素値を有する二次元画像を生成すること
   を特徴とする情報処理装置。

Images