JP6984215B2

JP6984215B2 - 信号処理装置、および信号処理方法、プログラム、並びに移動体

Info

Publication number: JP6984215B2
Application number: JP2017149686A
Authority: JP
Inventors: 琢人元山; 辰吾鶴見
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2017-08-02
Filing date: 2017-08-02
Publication date: 2021-12-17
Anticipated expiration: 2037-08-02
Also published as: US20200209401A1; US11543532B2; EP3662446B1; EP3662446A1; JP2019028861A; WO2019026832A1

Description

本開示は、信号処理装置、および信号処理方法、プログラム、並びに移動体に関し、特に、高精度に移動体自らの周辺の環境マップを生成できるようにした信号処理装置、および信号処理方法、プログラム、並びに移動体に関する。

移動体の自律移動を実現するために、自己の周囲のローカルマップを生成し、自己位置を推定する技術が開発されている。

このような技術として、単眼カメラ（画像）とレーダ（電波）とを用いて得られる結果を、状況に応じて重み付けして物体検出を行うことで、ローカルマップを生成する技術が提案されている（特許文献１参照）。

特開２００７−２５５９７９号公報

しかしながら、一般的に単眼カメラにより撮像された画像に基づいた、距離推定は、精度が低く、レーダは物体種別の判別精度が低いため、両者を重み付しただけでは、高精細なマップを生成することはできない。

本開示は、このような状況に鑑みてなされたものであり、特に、高精度に移動体自らの周辺の環境マップを生成できるようにするものである。

本開示の一側面の信号処理装置は、撮像された被写体の種別に応じてラベリングするラベリング部と、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＴｏＦ（Time of Flight）カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を得る測距部と、前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部とを含み、前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成する信号処理装置である。

前記ラベリング部には、セマンティックセグメンテーションにより、前記画像内の領域を被写体の種別に応じてラベリングさせるようにすることができる。

前記補間生成部には、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体の垂直に長い枠内の測距情報を用いて、前記距離情報を補間生成させるようにすることができる。

前記補間生成部には、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体の測距情報を用いて、前記距離情報を補間生成する位置の周辺の平面を特定し、前記平面を用いて距離情報を補間生成させるようにすることができる。

前記補間生成部には、前記路面にラベリングされた被写体の、前記距離情報を補間生成しようとする位置から近い、少なくとも３点の測距情報を用いて、前記距離情報を補間生成する位置の周辺を構成する平面を特定し、前記平面を用いて距離情報を補間生成させるようにすることができる。

前記占有格子地図を蓄積し、時間の経過に伴って統合する時間統合部をさらに含ませるようにすることができる。

前記時間統合部には、前記占有格子地図に含まれる動物体の情報を除去して蓄積し、時間の経過に伴って統合させるようにすることができる。

前記時間統合部には、前記占有格子地図に含まれる動物体の情報を除去して蓄積し、時間の経過に伴って統合した後、最新の前記動物体の情報を含む前記占有格子地図の情報を付加して出力させるようにすることができる。

前記補間生成部には、前記ラベリング部によるラベリング結果に基づいて、ラベルマップを生成させるようにすることができる。

本開示の一側面の信号処理方法は、撮像された被写体の種別に応じてラベリングし、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＴｏＦ（Time of Flight）カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を取得し、ラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する処理を含み、前記ラベリング結果において、所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成する信号処理方法である。

本開示の一側面のプログラムは、撮像された被写体の種別に応じてラベリングするラベリング部と、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＴｏＦ（Time of Flight）カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を得る測距部と、前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部とを含む処理をコンピュータに実行させ、前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成するプログラムである。

本開示の一側面の移動体は、撮像された被写体の種別に応じてラベリングするラベリング部と、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＴｏＦ（Time of Flight）カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を得る測距部と、前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部と、前記補間生成部により生成された距離情報に基づいて、環境マップを生成する環境マッピング部と、前記環境マップに基づいて行動計画を生成する計画部と、生成された前記行動計画に基づいて移動体の動作を制御する制御部とを含み、前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成する移動体である。

本開示の一側面においては、画像内の領域が被写体の種別に応じてラベリングされ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＴｏＦ（Time of Flight）カメラによって測定された測距情報で、離散的に配置された測距点における測距情報が得られ、ラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報が補間生成され、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報が補間生成され、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図が生成される。

本開示の一側面によれば、特に、高精度に移動体自らの周辺の環境マップを生成させることが可能となる。

ＬｉＤＡＲを用いた障害物の検出方法を説明する図である。ＬｉＤＡＲとカメラの特性の違いを説明する図である。ＬｉＤＡＲ点群の画像への重畳を説明する図である。本開示の移動体制御システムの好適な実施の形態の構成例を示すブロック図である。本開示の移動体制御システムにおける環境マップを生成するブロックの構成例を説明するブロック図である。ＬｉＤＡＲとカメラとの座標系の変換を説明する図である。セマンティックセグメンテーションを説明する図である。適応環境マッピングによる路面の距離情報の補正方法を説明する図である。適応環境マッピングによる路面の距離情報の補正方法を説明する図である。適応環境マッピングによる障害物の距離情報の補正方法を説明する図である。適応環境マッピングによる障害物の距離情報の補正方法を説明する図である。適応環境マッピングによる空の距離情報の補正方法を説明する図である。環境マップとラベルマップの生成方法を説明する図である。環境マップの時間統合を説明する図である。時間統合部の構成例を説明する図である。動物体を除外して環境マップを蓄積する理由を説明する図である。環境マップ生成処理を説明するフローチャートである。適応環境マッピング処理を説明するフローチャートである。時間統合処理を説明するフローチャートである。汎用のコンピュータの構成例を説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の好適な実施の形態
２．ソフトウェアにより実行させる例

＜＜１．本開示の好適な実施の形態＞＞
＜ＬｉＤＡＲにより生成されるローカルマップ＞
まず、図１を参照して、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）２１を備えた移動体１１における障害物１２を検出する原理を説明する。ここで、図１の上段は、移動体１１を上から見たときの図であり、図１の下段は、図１の上段に対応する、移動体１１の周囲のローカルマップである占有格子地図（Occupancy Grid Map）の例を示している。

また、図１においては、移動体１１は、例えば、図中右方向である、進行方向に向かって移動している状態を示しており、移動体１１の移動方向前方であって、正面よりやや右側には障害物１２が存在する。

ＬｉＤＡＲ２１は、移動方向前方に対して、垂直方向に複数の角度で配置された投光部を、水平方向に回転させながら、図１の上段で示されるような放射状の投光方向Ｌのそれぞれに対してレーザ光を投光し、障害物１２により反射される反射光を受光することで、投光時刻と、反射光の受光時刻との差分となる往復時間より距離を求めることで、障害物１２までの距離と方向と測定する。

ＬｉＤＡＲ２１による測定結果から、図１の下段で示されるようなローカルマップである占有格子地図（Occupancy Grid Map）が求められる。

占有格子地図（Occupancy Grid Map）は、移動体１１周囲の空間をグリッドにより複数のセルに分割して、ＬｉＤＡＲ２１による測定結果をレイトレーシングの原理により、各セルを、障害物あり、障害物がないフリースペース、および未知の領域のいずれかに分類することで生成されるマップである。

図１の下段における占有格子地図では、ＬｉＤＡＲ２１による測距結果が無い範囲（投光方向外である範囲）については、白色で示されており、未知であることを示す領域Ｚ３２が設定されている。

また、ＬｉＤＡＲ２１により、障害物１２からの反射光の受光が確認されない範囲（投光方向であるが反射光の受光がない範囲）については、フリースペース（障害物が存在する可能性が低い範囲）であることを示す灰色からなる領域Ｚ３１が設定されている。

さらに、ＬｉＤＡＲ２１により、反射光が受光されて測距された範囲については、障害物１２が存在する可能性が高いことを示す黒色からなる領域Ｚ３３が設定されている。

＜誤検出が生じるケース＞
ところで、ＬｉＤＡＲ２１を用いる場合、投光方向に対して、直交する水平方向および垂直方向からなる２次元の空間内において、レーザ光が離散的に投光されるため、隣接する投光方向の間に小さな障害物が存在するようなときには、障害物として検出できない恐れがある。

すなわち、図２の左上部で示されるように、投光方向Ｌ１１，Ｌ１２間に小さな障害物４１が存在するような場合、反射光を受光することができないので、図２の左下部で示されるように、ローカルマップである占有格子地図には反映されない恐れがある。図２の左下部の占有格子地図においては、投光したレーザ光が障害物４１では反射されないので、占有格子地図には反映されていないことが点線で示されている。

これに対して、図２の右上部で示されるように、移動体１１にＬｉＤＡＲ２１に代えて単眼のカメラ５１を設けて、カメラ５１により撮像された画像に基づいて、障害物の距離と方向を検出することが考えられる。カメラ５１は、小さな障害物４１であっても、撮像方向に対して直交する２次元の空間的には画素レベルで連続的に物体の有無と距離を検出することができるので、障害物４１はほぼ確実にとらえることができる。

しかしながら、カメラ５１により撮像された画像に基づいて、ローカルマップである占有格子地図を生成しようとすると、障害物１２，４１までの測距精度については、ＬｉＤＡＲ２１よりも低い。このため、占有格子地図を生成した場合、例えば、図２の右下部の領域Ｚ３３’，Ｚ４１’で示されるように、障害物１２，４１の付近に物体が存在する確率が拡散して設定されることになるので、障害物１２，４１の存在を確認することはできても、方向と距離はいずれもぼんやりとしたものとなる。

＜ＬｉＤＡＲとカメラとの特徴とその違い＞
すなわち、図３の左部で示されるように、ＬｉＤＡＲ２１は、監視する方向に対して直交する２次元の空間に対して、投光方向Ｌ１乃至Ｌｎで示されるように、離散的な範囲となるので、空間解像度が低いが、高精度に距離を測定することができる。これに対して、カメラ５１は、撮像面Ｄで示されるように、監視する方向に対して直交する２次元の空間に対して、画素レベルで、ほぼ連続的な範囲となるので、空間解像度は高いが、測距精度が低い。

また、図３の右部で示されるように、カメラ５１は、撮像面Ｄの全体に対して略連続な範囲について、物体を捉えることができるので、物体認識精度が高い。これに対して、ＬｉＤＡＲ２１は、撮像面Ｄに対して、図中の丸印で示されるように、離散的にしか障害物を検出することができないので、障害物の物体認識精度が低い。

本開示においては、ＬｉＤＡＲ２１とカメラ５１とを組み合わせて、上述したそれぞれの特徴を生かし、空間解像度、物体認識精度、および距離精度を向上させ、高精度のローカルマップを生成できるようにするものである。

＜本開示の移動体を制御する移動体制御システムの構成例＞
図４は、本開示の移動体９１を制御する移動体制御システム１００の概略的な機能の構成例を示すブロック図である。尚、図４の移動体制御システム１００は、本技術が適用され得る様々な移動体に適用可能な制御システムの一例であり、例えば、車両、航空機、船舶、ドローン、およびロボットなどを制御するシステムとして適用することもできる。

移動体制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、移動体内部機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、記憶部１０９、及び、自動運転制御部１１０を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、記憶部１０９、及び、自動運転制御部１１０は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した通信ネットワークやバス等からなる。なお、移動体制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

なお、以下、移動体制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１０が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１０が通信を行うと記載する。

入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、移動体制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動体制御システム１００の各部に供給する。

データ取得部１０２は、移動体制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動体制御システム１００の各部に供給する。

例えば、データ取得部１０２は、移動体の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

また、例えば、データ取得部１０２は、移動体の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、移動体の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。尚、本開示の移動体制御システム１００においては、データ取得部１０２は、撮像装置として、後述するカメラ３０２（図５）を備えており、また、周囲情報検出センサとして、ＬｉＤＡＲ３０１（図５）を備えている。

さらに、例えば、データ取得部１０２は、移動体の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

また、例えば、データ取得部１０２は、移動体内部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、移動体室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

通信部１０３は、移動体内部機器１０４、並びに、移動体外部の様々な機器、サーバ、基地局等と通信を行い、移動体制御システム１００の各部から供給されるデータを送信したり、受信したデータを移動体制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、移動体内部機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、移動体内部機器１０４と有線通信を行う。

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、移動体の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、移動体９１が車両の場合、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、移動体と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

移動体内部機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、移動体に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

出力制御部１０５は、移動体の搭乗者又は移動体外部に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

出力部１０６は、移動体の搭乗者又は移動体外部に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

駆動系システム１０８は、移動体の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。

記憶部１０９は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１０９は、移動体制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１０９は、ダイナミックマップ等の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、移動体の周囲の情報を含むローカルマップ等の地図データを記憶する。

自動運転制御部１１０は、自律移動又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１０は、移動体の衝突回避あるいは衝撃緩和、移動体間距離に基づく追従移動、移動体速度維持移動、移動体の衝突警告、又は、移動体のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１０は、運転者の操作に拠らずに自律的に移動する自動運転等を目的とした協調制御を行う。自動運転制御部１１０は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３を備える。

移動体外部情報検出部１４１は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の外部の情報の検出処理を行う。例えば、移動体外部情報検出部１４１は、移動体の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、他の移動体、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、移動体外部情報検出部１４１は、移動体の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。移動体外部情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

移動体内部情報検出部１４２は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体内部の情報の検出処理を行う。例えば、移動体内部情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、移動体内部の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる移動体内部の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。移動体内部情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

移動体状態検出部１４３は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の状態の検出処理を行う。検出対象となる移動体の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の移動体搭載機器の状態等が含まれる。移動体状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

自己位置推定部１３２は、移動体外部情報検出部１４１、及び、状況分析部１３３の状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１０９に記憶させる。

状況分析部１３３は、移動体及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、状況認識部１５２、及び、状況予測部１５３を備える。

マップ解析部１５１は、自己位置推定部１３２及び移動体外部情報検出部１４１等の移動体制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１０９に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、状況認識部１５２、状況予測部１５３、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

状況認識部１５２は、自己位置推定部１３２、移動体外部情報検出部１４１、移動体内部情報検出部１４２、移動体状態検出部１４３、及び、マップ解析部１５１等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体に関する状況の認識処理を行う。例えば、状況認識部１５２は、移動体の状況、移動体の周囲の状況、及び、移動体の運転者の状況等の認識処理を行う。また、状況認識部１５２は、必要に応じて、移動体の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップとも称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。

認識対象となる移動体の状況には、例えば、移動体の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる移動体の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

状況認識部１５２は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５３等に供給する。また、状況認識部１５２は、状況認識用マップを記憶部１０９に記憶させる。

状況予測部１５３は、マップ解析部１５１、及び状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体に関する状況の予測処理を行う。例えば、状況予測部１５３は、移動体の状況、移動体の周囲の状況、及び、運転者の状況等の予測処理を行う。

予測対象となる移動体の状況には、例えば、移動体の挙動、異常の発生、及び、移動可能距離等が含まれる。予測対象となる移動体の周囲の状況には、例えば、移動体の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

状況予測部１５３は、予測処理の結果を示すデータを、及び状況認識部１５２からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

行動計画部１６２は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に移動するための移動体の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、移動速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した移動体の行動を示すデータを動作計画部１６３等に供給する

動作計画部１６３は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための移動体の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、移動軌道等の計画を行う。動作計画部１６３は、計画した移動体の動作を示すデータを、動作制御部１３５等に供給する。

動作制御部１３５は、移動体の動作の制御を行う。

より詳細には、動作制御部１３５は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、移動体の異常等の緊急事態の検出処理を行う。動作制御部１３５は、緊急事態の発生を検出した場合、急停止や急旋回等の緊急事態を回避するための移動体の動作を計画する。

また、動作制御部１３５は、動作計画部１６３により計画された移動体の動作を実現するための加減速制御を行う。例えば、動作制御部１３５は、計画された加速、減速、又は、急停止を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

動作制御部１３５は、動作計画部１６３により計画された移動体の動作を実現するための方向制御を行う。例えば、動作制御部１３５は、動作計画部１６３により計画された移動軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

＜環境マップを生成する構成例＞
次に、図５を参照して、図４の移動体制御システム１００のうち、環境マップを生成する詳細な構成例について説明する。尚、ここでいう環境マップは、上述した、移動体の周囲の状況の認識に用いるローカルマップ、すなわち、状況認識用マップであり、より具体的には、占有格子地図（Occupancy Grid Map）である。

環境マップを生成する詳細な構成例は、図５で示されるように、データ取得部１０２、自動運転制御部１１０の検出部１３１における移動体外部情報検出部１４１、および状況分析部１３３の状況認識部１５２より構成される。

データ取得部１０２は、ＬｉＤＡＲ３０１、および、カメラ３０２を備えている。

移動体外部情報検出部１４１は、カメラ画像重畳部３１１、およびセマンティックセグメンテーション部３１２を備えている。

状況認識部１５２は、適応環境マッピング部３２１および時間統合部３２２を備えている。

ＬｉＤＡＲ３０１は、移動体９１の移動方向前方に対して、垂直方向に複数の角度で配置された投光部を、水平方向に回転させながら、図１の上段で示されるような放射状の投光方向Ｌのそれぞれに対してレーザ光を投光し、障害物１２により反射される反射光を受光することで、投光時刻と、反射光の受光時刻との差分となる往復時間より距離を求めることで、障害物１２までの距離と方向と測定するものである。

ＬｉＤＡＲ３０１は、いわゆる、ToF（Time of Flight）法により、投光方向毎に、移動体９１から障害物までの距離を測定し、３次元点群からなる測定結果をカメラ画像重畳部３１１に出力する。

尚、ＬｉＤＡＲ３０１は、２次元アレイ状に投光部およぶ受光部を設けるようにして、２次元の測距情報を取得する構成であってもよいし、１個の投光部および受光部が２次元的にスキャンする構成であってもよい。

また、３次元点群が取得可能な２次元の測距情報が測定できれば、ＬｉＤＡＲ３０１でなくてもよく、たとえば、ToFカメラなどであってもよい。

カメラ３０２は、CMOS（Complementary Metal Oxide Semiconductor）などの撮像素子からなり、移動体９１の前方を撮像して、デモザイク処理や事前キャリブレーション結果に基づく歪補正等の画像補正を行った後、補正されたRGB画像としてセマンティックセグメンテーション部３１２に出力する。

カメラ画像重畳部３１１は、ＬｉＤＡＲ３０１の測距結果を、ＬｉＤＡＲ３０１の座標系の情報から、カメラ３０２の座標系の情報に変換し、カメラ３０２により撮像される画像に対応する距離画像にして、セマンティックセグメンテーション部３１２および適応環境マッピング部３２１に出力する。

セマンティックセグメンテーション部３１２は、カメラ３０２により撮像されたRGB画像と距離画像とに基づいて、セマンティクセグメンテーションにより、画素単位で、被写体の種別を分類し、分類結果に対応するセマンティックラベルを付与して適応環境マッピング部３２１、および時間統合部３２２に出力する。尚、セマンティックセグメンテーションにおいては、RGB画像と距離画像との両方が必須ではなく、RGB画像のみで行うようにしてもよいし、距離画像のみで行うようにしてもよい。また、RGB画像でなくてもよく、例えば、白黒画像であってもよい。ただし、RGB画像（または白黒画像）、および距離画像の両方を用いたセマンティックセグメンテーションの方が高精度である。

適応環境マッピング部３２１は、距離画像、および、画素単位で付与されているセマンティックラベルとに基づいて、環境適応マッピング処理により、現時刻における環境マップを生成して、時間統合部３２２に出力する。

時間統合部３２２は、適応環境マッピング部３２１より供給される、順次、時系列に生成される環境マップを蓄積して統合し、グローバルマップを構成し、最終的な環境マップとして出力する。

＜ＬｉＤＡＲの測定結果である３次元点群の画像重畳＞
ＬｉＤＡＲ３０１の測定結果は、３次元空間内における点群の情報であるが、この測定結果をカメラ３０２により撮像された画像に重畳し距離画像を生成する。

例えば、図６の左上部で示される、カメラ３０２の画像Ｐ１１に対して、ＬｉＤＡＲ３０１の投光方向Ｌｐ毎の測距結果を重畳させることにより距離画像が生成される。

カメラ画像重畳部３１１は、ＬｉＤＡＲ３０１とカメラ３０２との相対位置、並びにカメラ３０２の画像中心および焦点距離の情報を事前情報として取得しているため、事前情報を利用して、以下のような演算により距離画像を生成する。

まず、カメラ画像重畳部３１１は、ＬｉＤＡＲ３０１の座標系を、カメラ３０２の座標系に統合する。

すなわち、図６の右上部で示されるように、ＬｉＤＡＲ３０１の座標系である、座標X_LiDAR（＝［xl,yl,zl］の転置行列）と、カメラ３０２の座標系の撮像面Ｄ上の座標X_cam（＝［xc,yc,zc］の転置行列）との相対位置関係は、キャリブレーションにより事前情報として知られており、例えば、以下の式（１）として求められている。

X_cam＝RX_LiDAR+T
・・・（１）

ここで、Rは、ＬｉＤＡＲ３０１とカメラ３０２との間の予めキャリブレーションにより既知にされている回転を示す回転行列であり、Tは、やはりキャリブレーションにより予め既知にされている並進ベクトルである。

上述した式（１）が演算されることにより、ＬｉＤＡＲ３０１の座標系の情報として測定された測距結果の点Xの座標が、カメラ座標系に変換される。

次に、カメラ画像重畳部３１１は、ＬｉＤＡＲ３０１の測距結果と、カメラ３０２の撮像面上の座標系とを対応付ける。

すなわち、ＬｉＤＡＲ３０１により検出された障害物の位置X_cam（＝［xc,yc,zc］転置）が求められると、図６の右下部で示されるように、撮像面Ｄ内における障害物の撮像面Ｄの画像中心Pcを基準とした、像面内のxi座標を以下の式（２）として求めることができる。

xi＝ｆ×xc／zc
・・・（２）

ここで、fは、カメラ３０２の焦点距離である。

また、同様に、yi座標を以下の式（３）により求めることができる。

yi＝ｆ×yc／zc
・・・（３）

結果として、撮像面Ｄ上の障害物の位置を特定することができる。

すなわち、ＬｉＤＡＲ３０１で検出された３次元の点の座標X_LiDAR（＝[x_l,y_l,z_l]）は、投光方向に基づいて、カメラ３０２の座標系における３次元の点の座標X_cam（＝[x_c,y_c,z_c]）に変換される。さらに、カメラ３０２の座標系における３次元の点の座標X_cam（＝[x_c,y_c,z_c]）に対応する撮像面Ｄを中心とした撮像面上の座標（xi，yi）は、式（２），式（３）により、カメラ３０２の焦点距離fに基づいて算出される。

この処理により、カメラ画像重畳部３１１は、図６の左下部で示されるような距離画像Ｐ１２を生成する。

距離画像Ｐ１２は、カメラ３０２の画像と同一の画素配置とされており、上述した座標系の変換により、各画素（xi,yi）のうち、ＬｉＤＡＲ３０１の投光方向であり測距結果がある場合については、対応付けて距離データ（図６の右下部におけるzc）が格納されており、投光方向ではなく測距結果がない場合、例えば、０が距離のデータとして格納されている。

＜セマンティックセグメンテーション＞
次に、図７を参照して、セマンティックセグメンテーション部３１２によるセマンティックセグメンテーションについて説明する。

例えば、カメラ３０２が、図７の左部で示されるように、静止構造物３４２−１，３４２−２に左右から挟まれた空間内に路面３４１があり、その路面３４１上に人３４４が存在し、その奥に空３４３が見えるような構図となる画角Ｚ１でRGB画像からなる画像Ｐ３１を撮像することを考える。

セマンティックセグメンテーション部３１２は、ディープラーニング等の機械学習により、図７の中央上部で示されるように、RGB画像からなる画像Ｐ３１と、距離画像Ｐ３２とに基づいて、画像Ｐ３１内の被写体の種別を画素単位で分類し、ラベリングする。

図７の右上部で示されるRGB画像からなる画像Ｐ３１と、距離画像Ｐ３２との場合、例えば、図７の右下部のラベリング画像Ｐ４１で示されるように、セマンティックセグメンテーションにより分類されてラベリングされる。

すなわち、ラベリング画像Ｐ４１においては、画像内の下部における領域Ｚ３４１に属する各画素が、路面３４１として分類され、領域Ｚ３４２−１，Ｚ３４２−２に属する画素が、それぞれ左右の静止構造物３４２−１，３４２−２として分類され、領域Ｚ３４３に属する画素が、奥手の上方の空３４３として分類され、領域Ｚ３４４に属する画素が、人３４４として分類されている。

セマンティックセグメンテーション部３１２は、図７の例以外にも、RGB画像と距離画像とに基づいて、例えば、RGB画像内の路面、静止構造物（壁、ガードレール、木、電柱など）、車両（自動車、トラック、バスなど）、二輪車（バイク、自転車）、人、水平バー（踏切、ETCバー、駐車場ゲートのバー）、空を画素単位で識別し、ラベリングする。

尚、セマンティックセグメンテーションは、機械学習により、RGB画像のみでも、距離画像のみでも、被写体を分類することは可能であるが、RGB画像と距離画像とを併せて用いた場合よりも精度が低下する。

＜適応環境マッピング（路面の場合）＞
次に、図８を参照して、適応環境マッピング部３２１による適応環境マッピングについて説明する。

適応環境マッピング部３２１は、距離画像とセマンティックセグメンテーションにより被写体毎に分類されたセマンティックラベルとに基づいて、適応的に環境マップを生成する。

より具体的には、カメラ３０２により撮像されたRGB画像に対応する各画素に距離画像が存在する場合、適応環境マッピング部３２１は、その情報を利用して環境マップを生成することができる。

しかしながら、上述したように、ＬｉＤＡＲ３０１により距離が求められているのは、図６の距離画像Ｐ１２でも示されているように、丸印で示される離散的な範囲のみである。

そこで、適応環境マッピング部３２１は、RGB画像の各画素について、距離の情報を補間生成し、より高精度の距離画像を生成する。

ここでは、図８を参照して、適応環境マッピング部３２１が、セマンティックラベルにより路面に分類された領域における各画素に、既知の距離情報を用いて、距離情報が存在しない画素について、距離情報を補間生成する手法について説明する。

適応環境マッピング部３２１は、セマンティックラベルが路面に分類された領域Ｚ３４１のうち、図８の上段で示されるように、画素Ｉｐに対応する距離情報を補間生成する場合、図８の中段の点線で囲まれた範囲で示されるように、画素Ｉｐに最も近傍の距離情報を備えた画素Ｌｐ１乃至Ｌｐ３の３次元空間内の座標Ｓ（Ｌｐ１）乃至Ｓ（Ｌｐ３）を読み出す。

平面は、３点が既知であれば特定できるので、図８の下段で示されるように、適応環境マッピング部３２１は、画素Ｌｐ１乃至Ｌｐ３の３次元空間内の座標Ｓ（Ｌｐ１）乃至Ｓ（Ｌｐ３）の情報から、以下の式（４）で定義される路面３４１を構成する平面Ｓを求める。

・・・（４）

そして、適応環境マッピング部３２１は、図９で示されるように、カメラ３０２から画素Ｉｐへの視線ベクトルVeに基づいて、路面３４１を構成する平面Ｓ上の画素Ｉｐに対応する座標Ｓ（Ｉｐ）を求める。

すなわち、カメラ３０２の視点から路面３４１を構成する平面Ｓ上の画素Ｉｐに対応する交点Ｓ（Ｉｐ）は、以下の式（５）で示される。

・・・（５）

ここで、ｓは、係数であり、スカラ量である。また、xi，yiは、撮像面Ｄを画像中心を原点とした撮像面上の画素Ｉｐの座標であり、ｆは焦点距離である。すなわち、カメラ３０２を始点とした交点Ｓ（Ｉｐ）までのベクトルは、視線ベクトルＶｅの係数ｓ倍となる。このため、上述した式（４）で定義される、路面を構成する平面Ｓの方程式に、式（５）を代入すると定数ｓが求められ、この定数ｓが求められることで、平面Ｓ上の交点Ｓ（Ｉｐ）の座標が求められる。

＜適応環境マッピング（静止構造物や人等の障害物の場合）＞
次に、図１０を参照して、適応環境マッピング部３２１が、セマンティックラベルが静止構造物や人等の障害物に分類された領域における各画素に、既知の距離情報を用いて、距離情報が存在しない画素について距離情報を補間生成する手法について説明する。

尚、ここでは、図１０の左部で示されるように、静止構造物３４２−２の領域Ｚ３４２−２における画素の距離情報を補間生成する例について説明する。

セマンティックラベルが静止構造物３４２−２に分類された領域Ｚ３４２−２のうち、図１０の左部で示されるように、画素Ｉｐに対応する距離情報を補間生成する場合、適応環境マッピング部３２１は、図１０の中央部で示されるように、画素Ｉｐを中心とした垂直方向に長い枠Ｗで囲まれた範囲内の、白い丸印で示される、距離情報が既知の画素の３次元空間内の座標を読み出す。

ここで、枠Ｗが、距離情報を補間生成する黒い丸印で示される画素Ｉｐを中心として、垂直方向に長い範囲にされるのは、同一のラベルが付された領域内では、被写体の多くが、垂直方向には、距離情報が同一である傾向が強いことに基づくものである。

同一ラベルの領域Ｚ３４２−２のうち、枠Ｗで囲まれた範囲内の、白い丸印で示される、距離情報が既知の画素が存在する場合、図１０の右上部で示されるように、適応環境マッピング部３２１は、既知の画素の３次元空間内の座標の情報を読み出し、読み出した情報を用いて、画素Ｉｐの３次元空間内の座標を補間生成する。このとき、適応環境マッピング部３２１は、既知の画素の３次元空間内の座標の情報を用いて、画素Ｉｐからの位置関係の応じた重み付き線形和により、画素Ｉｐの３次元空間内の座標を補間生成する。

一方、例えば、図１０の右下部で示されるように、同一ラベルの領域Ｚ３４４のように、距離情報を補間生成したい画素Ｉｐの周辺に、距離情報が既知の画素が存在しない場合、適応環境マッピング部３２１は、同一ラベルの領域の鉛直下方で路面３４１に分類された領域Ｚ３４１と接しているか否かを判定する。

すなわち、静止構造物や人などの障害物は、路面３４１に立っているものであるので、同一ラベルの領域の鉛直下方において、図１０の右下部の境界部Ｃｐのように、路面３４１に接している場合、同一ラベルの領域の鉛直下方で接した部分の路面３４１上の距離情報と同一であるものと考えることができる。そこで、同一ラベルの領域の鉛直下方において、路面３４１に接している場合、適応環境マッピング部３２１は、対応する路面３４１上の座標における距離情報と同一の距離情報を画素Ｉｐの距離情報に設定する。尚、路面３４１の距離情報については、上述した手法により求められた路面３４１の距離情報を利用する。

さらに、同一ラベルの領域の鉛直下方において、路面３４１に接していない場合、適応環境マッピング部３２１は、画素Ｉｐの距離情報を未知であることを示す０に設定する。

＜適応環境マッピング（水平バーの場合）＞
次に、図１１を参照して、適応環境マッピング部３２１が、セマンティックラベルが出入口のゲートなどに用いられる水平バーに分類された領域における各画素に、既知の距離情報を用いて、距離情報が存在しない画素について距離情報を補間生成する手法について説明する。

図１１の左部で示されるように、セマンティックラベルが出入口のゲートなどに用いられる水平バー３６１に分類された領域Ｚ３６１の場合、ＬｉＤＡＲ３０１などでは、解像度が低く距離情報が求められている画素が少ない。

このような場合、適応環境マッピング部３２１は、同一のラベルの領域のうち、距離情報を補間生成しようとする画素Ｉｐの近傍の距離情報を備えた画素の情報を流用する。

より詳細には、適応環境マッピング部３２１は、図１１の右部で示されるように、領域Ｚ３６１内において、白い丸印で示される距離情報が既知の画素Ｌｐ１乃至Ｌｐ４の距離情報の平均値や最近傍の画素Ｌｐ１の距離情報を、画素Ｉｐの距離情報として利用する。

＜適応環境マッピング（空の場合）＞
次に、図１２を参照して、適応環境マッピング部３２１が、セマンティックラベルが空に分類された領域における各画素に距離情報を補間生成する手法について説明する。

図１２のセマンティックラベル結果Ｐ５１で示されるように、空３４３に分類された領域Ｚ３４３については、距離が無限大であることが多いため測距できないことが多く、また、測距されていても太陽光等によるノイズであることが多いので、適応環境マッピング部３２１は、距離情報を備えていない画素Ｉｐの距離情報については、未知であることを示す０を補間結果として付与する。

＜適応環境マッピング（環境マップの生成）＞
以上の処理により、適応環境マッピング部３２１は、カメラ３０２により撮像された画像の各画素について距離情報が付与されることにより、環境マップを生成する。

より詳細には、適応環境マッピング部３２１は、水平方向と奥行きとの平面（ＸＺ平面）上にグリッドを設定し、グリッドにより構成されるセル毎に、各画素の距離情報に基づいて、障害物の有無を決定することで、占有格子地図を完成させる。

すなわち、ＬｉＤＡＲ３０１から投光した光が障害物により反射したとみなされる距離と方向の情報が画素単位の距離情報であるので、路面や未知であることを示す０でなければ、各画素には、距離情報に対応して障害物が存在するとみなすべきセルが存在することになる。

したがって、距離情報により、多くの画素から障害物が存在するとみなされるセルは、静止構造物や人などの障害物が存在する可能性が高いと考えることができる。

そこで、適応環境マッピング部３２１は、各セルについて、距離情報から障害物であるとみなす画素数が所定数より多いセルを障害物の存在する可能性の高いセルとして特定する。図１３の右上部においては、黒色の領域Ｚ３７２−１，Ｚ３７２−２，Ｚ３７３が障害物の領域である。また、領域Ｚ３７２−１，Ｚ３７２−２，Ｚ３７３の各領域は、図１３の左上部の補間生成された距離情報から生成される距離画像Ｐ７１における静止構造物３７２−１，３７２−２および人３７３に対応する。

また、移動体９１からみて、障害物の領域Ｚ３７２−１，Ｚ３７２−２，Ｚ３７３の手前までの範囲については、障害物がない（フリースペースである）ことを示す領域Ｚ３７１が設定され、領域Ｚ３７３が設定された範囲より遠方の範囲は、測距結果がないので未知であることを示す領域３７４が設定される。

また、適応環境マッピング部３２１は、カメラ３０２により撮像された画像の各画素の距離情報とセマンティックラベルの情報に基づいて、ラベルマップを生成する。

すなわち、適応環境マッピング部３２１は、各セルについて、同一ラベルの画素数が最も多いラベルをセルのラベルとして特定する。図１３の右下部の領域Ｚ３４１が、図１３の左下部のセマンティックラベルから構成されるラベル画像Ｐ７２の路面３４１に対応する。また、図１３の右下部の領域Ｚ３４２−１，Ｚ３４２−２が、図１３の左下部の静止構造物３７２−１，３７２−２に対応する領域である。また、図１３の右下部の領域Ｚ３４４は、図１３の左下部の人３４４に対応する。

＜環境マップの時間統合＞
適応環境マッピング部３２１は、リアルタイムで順次、時系列に環境マップを生成するが、時間統合部３２２は、時系列に生成された環境マップを時間方向に統合してグローバルマップを生成し、グローバルマップを最終的な環境マップとして出力する。

グローバルマップとは、図１４の右部で示される、時系列で生成される環境マップＭ１に対して、図１４の左部で示される複数の環境マップＭ１を重ね合わせて構成されるマップＭ２である。

環境マップＭ１は、図中の下部において、カメラ３０２が上方を撮像していることが示されているが、グローバルマップＭ２においては、時系列に時刻ｔ１においてカメラ３０２−１により撮像された画像に基づいて生成された環境マップＶ１−１、時刻ｔ２においてカメラ３０２−２により撮像された画像に基づいて生成された環境マップＶ１−２、および、時刻ｔ３において、カメラ３０２−３により撮像された画像に基づいて生成された環境マップＶ１−３が重ね合わせて構成されている。尚、図１４の左部においては、環境マップＶ１−１乃至Ｖ１−３は、図１４の右部における環境マップＭ１の画角を示すＶ１のみをトレースしたものだけを時系列に描いたものであり、実際の環境マップではない。

また、図１４の右部における環境マップＭ１は、図１４の左部における環境マップＶ１−３に対応するものである。

このように環境マップが時系列に貼り合わされるように蓄積されることにより、グローバルマップＭ２が順次拡張されていく。これにより、例えば、環境マップＭ１で示されるように、現時刻では、障害物として検出されたセル３８１は全体としてどのようなものであるのかを認識することができないが、時系列に蓄積されたグローバルマップＭ２により、セル３９１のように直線上に配置された静止構造物のようなものとして認識できる。結果として、自己位置や自己の周囲の状況を詳細に認識することが可能となる。

＜時間統合部の構成例＞
図１５は、時間統合部３２２の構成例を示している。時間統合部３２２は、グローバル座標変換部４０１，４０２、時間統合処理部４０３、バッファ４０４、および動物体配置部４０５を備えている。

グローバル座標変換部４０１は、動物体としてラベリングされた被写体を自己位置の情報に基づいて、グローバルマップの座標系であるグローバル座標に変換し、時間統合処理部４０３、および動物体配置部４０５に出力する。尚、自己位置については、最初の基準の自己位置がわかれば、順次、直前の自己位置からの変化量だけでもよい。

グローバル座標変換部４０２は、環境マップを自己位置の情報に基づいて、グローバルマップの座標系であるグローバル座標に変換し、時間統合処理部４０３に出力する。尚、自己位置については、最初の基準の自己位置がわかれば、順次、直前の自己位置からの変化量だけでもよい。

時間統合処理部４０３は、グローバルマップの座標系に変換された動物体の情報に基づいて、グルーバルマップの座標系に変換された環境マップより動物体のセルを排除してバッファ４０４に記憶されているグローバルマップ上に追加して蓄積し、バッファ４０４に記憶させると共に、動物体配置部４０５に出力する。

時間統合処理部４０３は、時系列に供給される環境マップをグローバルマップに加えて蓄積する処理を、自己位置を加味して繰り返すことにより統合する。時間統合処理部４０３における環境マップのグローバルマップへの統合方法は、Bayes理論やDempster Shafer理論、およびKalman filterなどを用いるようにしてもよい。

また、環境マップをグローバルマップに追加して順次蓄積する際、例えば、図１６の左部の環境マップＭ２１で示されるように、時刻ｔ−１において、動物体からなるセル３９１が含まれているものとする。そして、その次の時刻ｔにおいて、図１６の中央部の環境マップＭ２２で示されるように、動物体のセル３９１に対応する被写体がセル３９２に移動するものとする。

この環境マップＭ２１，Ｍ２２をそのまま重ねて蓄積すると、図１６の右部の環境マップＭ２３で示されるように、同一の被写体を表現するはずのセル３９１，３９２が両方蓄積されてしまい、不適切なグローバルマップを生成してしまう。

そこで、時間統合処理部４０３は、動物体については、排除して、動きのない動物体以外のセルのみからなる環境マップをグローバルマップに蓄積させる。

動物体配置部４０５は、時間統合処理部４０３より供給されるグローバルマップに、動物体ラベルに基づいて、現時刻における環境マップを付加して出力する。この処理により、最新の動物体のセルのみがグローバルマップに反映される。

尚、以上においては、環境マップとして占有格子地図が時系列に蓄積される例について説明してきたが、ラベルｘマップについても同様に蓄積し、グローバルマップ状にしてもよい。

＜環境マップ生成処理＞
次に、図１７のフローチャートを参照して、環境マップ生成処理について説明する。

ステップＳ１１において、ＬｉＤＡＲ３０１は、移動方向前方に対して、垂直方向に複数の角度で配置された投光部を、水平方向に回転させながら、水平方向に放射状に投光し、それぞれの投光方向において、レーザ光を投光し、障害物により反射される反射光を受光することで、投光時刻と、反射光の受光時刻との差分となる往復時間より距離を求め、３次元点群の情報としてカメラ画像重畳部３１１に出力する。

ステップＳ１２において、カメラ画像重畳部３１１は、図６を参照して説明した手法により、３次元点群の情報より距離画像を生成し、適応環境マッピング部３２１、およびセマンティックセグメンテーション部３１２に出力する。

ステップＳ１３において、カメラ３０２は、移動方向前方のRGB画像を撮像し、セマンティックセグメンテーション部３１２に出力する。

ステップＳ１４において、セマンティックセグメンテーション部３１２は、図７を参照して説明した手法により、RGB画像と距離画像とからセマンティクセグメンテーションにより画素単位で被写体の分類結果をセマンティクラベルとして付与し、適応環境マッピング部３２１、および時間統合部３２２に出力する。

ステップＳ１５において、適応環境マッピング部３２１は、適応環境マッピング処理を実行し、距離画像と、セマンティックラベルとに基づいて、現時刻における環境マップを生成して、時間統合部３２２に出力する。尚、適応環境マッピング処理については、図１８のフローチャートを参照して後述する。

ステップＳ１６において、時間統合部３２２は、時間統合処理を実行して、現時刻における環境マップと、セマンティックラベルとに基づいて、環境マップを順次蓄積して、グローバルマップを生成し、グローバルマップとしての環境マップを出力する。尚、時間統合処理については、図１９のフローチャートを参照して後述する。

ステップＳ１７において、終了が指示されたか否かが判定され、終了が指示されていない場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。そして、ステップＳ１７において、終了が指示された場合、処理は、終了する。

以上の処理により、ＬｉＤＡＲ３０１により生成される３次元点群の情報と、カメラ３０２により撮像されたＲＧＢ画像とから、ＲＧＢ画像における各画素のうち、ＬｉＤＡＲ３０１により距離情報が求められていない画素については、ＬｉＤＡＲ３０１により求められている距離情報に基づいて、補間生成することが可能となり、全画素に対して距離情報を備えた距離画像を生成することが可能となる。

結果として、高精度の距離情報を付与することが可能となるので、高精細な環境マップを生成することが可能となる。

また、時系列の環境マップが順次蓄積されることにより、グローバルマップが生成されるので、自己位置や自己の周囲の状況を詳細に認識することが可能となる。

＜適応環境マッピング処理＞
次に、図１８のフローチャートを参照して、適応環境マッピング処理について説明する。

ステップＳ３１において、適応環境マッピング部３２１は、セマンティックラベルの情報に基づいて、路面のラベルが付された領域のＲＧＢ画像と、距離画像とを抽出する。

ステップＳ３２において、適応環境マッピング部３２１は、図８および図９を参照して説明したように、路面のラベルが付された領域の画素について、距離情報が付されていない画素については、距離情報が付された画素の情報を用いて補間生成する。

ステップＳ３３において、適応環境マッピング部３２１は、路面以外のラベルのうち、未処理のラベルを処理対象ラベルに設定する。

ステップＳ３４において、適応環境マッピング部３２１は、処理対象ラベルとなる領域内に、有効な距離情報が含まれている画素があるか否かを判定する。すなわち、図１０の中央部を参照して説明したように、距離情報を求めたい黒い丸印で示される画素Ｉｐに対して設定された枠Ｗ内に、白い丸印で示されるような距離情報を備えた画素が存在する場合、または、図１１を参照して説明した水平バーと同一ラベルの領域内に距離情報が含まれている画素がある場合、距離情報が含まれている画素があるとみなされて、処理は、ステップＳ３５に進む。

ステップＳ３５において、適応環境マッピング部３２１は、処理対象ラベルとなる領域の距離情報を備えていない各画素について、処理対象ラベル内の近傍の距離情報を含む画素の距離情報に基づいて、距離情報を補間生成する。

一方、ステップＳ３４において、適応環境マッピング部３２１は、処理対象ラベルとなる領域内に、距離情報が含まれている画素が存在しないとみなされた場合、処理は、ステップＳ３６に進む。例えば、図１２を参照して説明したセマンティックラベルが空などの場合については、有効な距離情報を含む画素が存在しないものとみなすようにしてもよい。

ステップＳ３６において、適応環境マッピング部３２１は、処理対象ラベルに設定された領域の鉛直下部が路面に接しているか否かを判定する。

ステップＳ３６において、例えば、図１０の右下部で示されるように、人３４４の領域Ｚ３４４の鉛直下部が路面３４１の領域Ｚ３４１と境界部Ｃｐで接している場合、処理対象ラベルに設定された領域の鉛直下部が路面に接しているとみなされて、処理は、ステップＳ３７に進む。

ステップＳ３７において、適応環境マッピング部３２１は、処理対象ラベルの領域の画素について、接している路面の距離情報を付加する。

さらに、ステップＳ３６において、処理対象ラベルに設定された領域の鉛直下部が路面に接していないとみなされた場合、処理は、ステップＳ３８に進む。

ステップＳ３８において、適応環境マッピング部３２１は、処理対象ラベルの領域の画素について、距離情報を未知であることを示す０に設定する。すなわち、適応環境マッピング部３２１は、図１２を参照して説明したように、空に分類されるラベルなどの領域については、未知であることを示す０を設定する。

ステップＳ３９において、適応環境マッピング部３２１は、未処理のラベルがあるか否かを判定し、未処理のラベルがある場合、処理は、ステップＳ３３に戻る。すなわち、未処理のラベルがなくなるまで、ステップＳ３３乃至Ｓ３９の処理が繰り返される。

そして、ステップＳ３９において、全てのラベルについて、処理が終了し、未処理のラベルがないとみなされた場合、処理は、ステップＳ４０に進む。

ステップＳ４０において、適応環境マッピング部３２１は、図１３を参照して説明したように、ＲＧＢ画像に対応する全ての画素について、距離情報が求められた距離画像の情報と、セマンティックラベルとに基づいて、占有格子地図およびラベルマップを環境マップとして生成し、時間統合部３２２に出力し、処理を終了する。

すなわち、以上の処理により、同一ラベルに分類された領域毎に、距離情報を含まない画素の距離情報を、分類されたラベルに応じて適応的に補間生成することが可能となる。結果として、高精度の距離画像を生成することが可能となり、高精度な環境マップを生成することが可能となる。

＜時間統合処理＞
次に、図１９のフローチャートを参照して、時間統合処理について説明する。

ステップＳ５１において、時間統合部３２２におけるグローバル座標変換部４０１は、セマンティックラベルの情報に基づいて、動物体とみなされるラベルのセルの環境マップの座標をグローバル座標に変換して、時間統合処理部４０３、および動物体配置部４０５に出力する。

ステップＳ５２において、グローバル座標変換部４０２は、環境マップの座標をグローバル座標に変換して、時間統合処理部４０３に出力する。

ステップＳ５３において、時間統合処理部４０３は、グローバルマップの座標系に変換された動物体の情報に基づいて、グルーバルマップの座標系に変換された環境マップより動物体のセルを排除してバッファ４０４に記憶されているグローバルマップ上に追加して、同一領域を重ね合わせるように蓄積し、再びバッファ４０４に記憶させると共に、動物体配置部４０５に出力する。

ステップＳ５４において、動物体配置部４０５は、時間統合処理部４０３より供給されるグローバルマップに、動物体ラベルに基づいて、現時刻における環境マップを付加して出力する。すなわち、現時刻の環境マップに含まれる動物体を表すセルのみがグローバルマップに反映させることが可能となる。

以上の処理により、時系列に生成される環境マップを蓄積することが可能となり、自己位置や自己位置周辺の状況が認識し易いグローバルマップを生成することが可能となり、最終的な環境マップとして出力することが可能となる。

以上の如く、カメラ３０２が得意とする空間解像度と画像認識精度とを生かして、ＬｉＤＡＲ３０１が苦手とする空間解像度の弱点を補い、カメラ３０２が苦手とする距離精度をＬｉＤＡＲ３０１で補うようにすることで、高精細な距離画像を生成することが可能となり、高精細な環境マップを生成することが可能となる。

＜＜２．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。

図２０は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

尚、図２０におけるCPU１００１が、図４における自動運転制御部１１０の機能を実現させる。また、図２０における記憶部１００８が、図４における記憶部１０９を実現する。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本開示は、以下のような構成も取ることができる。

＜１＞撮像された被写体の種別に応じてラベリングするラベリング部と、
離散的に配置された測距点における測距情報を得る測距部と、
前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部と
を含む信号処理装置。
＜２＞前記ラベリング部は、セマンティックセグメンテーションにより、前記画像内の領域を被写体の種別に応じてラベリングする
＜１＞に記載の信号処理装置。
＜３＞前記測距部は、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＴｏＦ（Time of Flight）カメラ、または、ステレオカメラである
＜１＞または＜２＞に記載の信号処理装置。
＜４＞前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体の垂直に長い枠内の測距情報を用いて、前記距離情報を補間生成する
＜１＞乃至＜３＞のいずれかに記載の信号処理装置。
＜５＞前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体の測距情報を用いて、前記距離情報を補間生成する位置の周辺の平面を特定し、前記平面を用いて距離情報を補間生成する
＜１＞に記載の信号処理装置。
＜６＞前記補間生成部は、路面にラベリングされた被写体の、前記距離情報を補間生成しようとする位置から近い、少なくとも３点の測距情報を用いて、前記距離情報を補間生成する位置の周辺を構成する平面を特定し、前記平面を用いて距離情報を補間生成する
＜５＞に記載の信号処理装置。
＜７＞前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において前記路面にラベリングされた被写体との境界が存在するとき、前記境界における前記路面にラベリングされた被写体の測距情報を補間結果として用いる
＜６＞に記載の信号処理装置。
＜８＞前記補間生成部は、前記測距情報に基づいて、前記距離情報が補間された距離情報からなる距離画像に基づいて、占有格子地図を生成する
＜５＞に記載の信号処理装置。
＜９＞前記占有格子地図を蓄積し、時間の経過に伴って統合する時間統合部をさらに含む
＜８＞に記載の信号処理装置。
＜１０＞前記時間統合部は、前記占有格子地図に含まれる動物体の情報を除去して蓄積し、時間の経過に伴って統合する
＜９＞に記載の信号処理装置。
＜１１＞前記時間統合部は、前記占有格子地図に含まれる動物体の情報を除去して蓄積し、時間の経過に伴って統合した後、最新の前記動物体の情報を含む前記占有格子地図の情報を付加して出力する
＜９＞に記載の信号処理装置。
＜１２＞前記補間生成部は、前記ラベリング部によるラベリング結果に基づいて、ラベルマップを生成する
＜５＞に記載の信号処理装置。
＜１３＞撮像された被写体の種別に応じてラベリングし、
離散的に配置された測距点における測距情報を取得し、
ラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する
処理を含む信号処理方法。
＜１４＞撮像された被写体の種別に応じてラベリングするラベリング部と、
離散的に配置された測距点における測距情報を得る測距部と、
前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部と
を含む処理をコンピュータに実行させるプログラム。
＜１５＞撮像された被写体の種別に応じてラベリングするラベリング部と、
離散的に配置された測距点における測距情報を得る測距部と、
前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部と、
前記補間生成部により生成された距離情報に基づいて、環境マップを生成する環境マッピング部と、
前記環境マップに基づいて行動計画を生成する計画部と、
生成された前記行動計画に基づいて移動体の動作を制御する制御部と
を含む移動体。

９１移動体，１００移動体制御システム，１０２データ取得部，１１０自動運転制御部，１４１移動体外部情報検出部，１５２状況認識部，３０１ＬｉＤＡＲ，３０２カメラ，３１１カメラ画像重畳部，３１２セマンティックセグメンテーション部，３２１環境マッピング部，３２２時間統合部，４０１，４０２グローバル座標変換部，４０３時間統合部，４０４バッファ，４０５動物体配置部

Claims

撮像された被写体の種別に応じてラベリングするラベリング部と、
ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＴｏＦ（Time of Flight）カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を得る測距部と、
前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部とを含み、
前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成する
信号処理装置。
前記ラベリング部は、セマンティックセグメンテーションにより、被写体の種別に応じてラベリングする
請求項１に記載の信号処理装置。
前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体の垂直に長い枠内の測距情報を用いて、前記距離情報を補間生成する
請求項１に記載の信号処理装置。
前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体の測距情報を用いて、前記距離情報を補間生成する位置の周辺の平面を特定し、前記平面を用いて距離情報を補間生成する
請求項１に記載の信号処理装置。
前記補間生成部は、前記路面にラベリングされた被写体の、前記距離情報を補間生成しようとする位置から近い、少なくとも３点の測距情報を用いて、前記距離情報を補間生成する位置の周辺を構成する平面を特定し、前記平面を用いて距離情報を補間生成する
請求項４に記載の信号処理装置。
前記占有格子地図を蓄積し、時間の経過に伴って統合する時間統合部をさらに含む
請求項１に記載の信号処理装置。
前記時間統合部は、前記占有格子地図に含まれる動物体の情報を除去して蓄積し、時間の経過に伴って統合する
請求項６に記載の信号処理装置。
前記時間統合部は、前記占有格子地図に含まれる動物体の情報を除去して蓄積し、時間の経過に伴って統合した後、最新の前記動物体の情報を含む前記占有格子地図の情報を付加して出力する
請求項６に記載の信号処理装置。
前記補間生成部は、前記ラベリング部によるラベリング結果に基づいて、ラベルマップを生成する
請求項４に記載の信号処理装置。
撮像された被写体の種別に応じてラベリングし、
ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＴｏＦ（Time of Flight）カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を取得し、
ラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する処理を含み、
前記ラベリング結果において、所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成する
信号処理方法。
撮像された被写体の種別に応じてラベリングするラベリング部と、
ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＴｏＦ（Time of Flight）カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を得る測距部と、
前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部と
を含む処理をコンピュータに実行させ、
前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成する
プログラム。
撮像された被写体の種別に応じてラベリングするラベリング部と、
ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＴｏＦ（Time of Flight）カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を得る測距部と、
前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部と、
前記補間生成部により生成された距離情報に基づいて、環境マップを生成する環境マッピング部と、
前記環境マップに基づいて行動計画を生成する計画部と、
生成された前記行動計画に基づいて移動体の動作を制御する制御部と
を含み、
前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成する
移動体。