JP6682833B2 - 物体認識アルゴリズムの機械学習のためのデータベース構築システム - Google Patents

Description

本発明は、或るセンサの出力から機械学習を用いたアルゴリズムを通じて、例えば、物体の存在又は状態等の事象を認識又は検出する技術に係り、より詳細には、自動車等の車両の走行中に、周辺の車両、歩行者又はその他の障害物等を車載のセンサを用いて検出する場合などに利用可能な機械学習を用いた認識アルゴリズムに於ける機械学習のためのデータベースを構築するためのシステムに係る。

例えば、走行中の車両その他の移動体に於いて、カメラ、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、レーダー等の車載センサを用いて先行する車両若しくは移動体又はその他の障害物等の物体の検出を行う技術が種々提案されている。これらの車載センサによる物体の検出に於いては、車両又は移動体の周囲の状態や検出対象となる物体の状態等によって、検出能に得手不得手が存在し、例えば、カメラの撮像による物体検出の場合、日中など、明るい環境下では精度良く物体の検出が達成できるが、夜間では、物体の検出精度が低下し、又、車載センサと物体との距離に依存して、物体の存在の有無、物体までの距離の精度が変化するといったことがある。一方、ＬＩＤＡＲによる物体検出の場合、その検出精度は、周囲の明るさにはさほどに影響を受けず、また、物体までの距離、方角を高精度に検出可能であるが、雨天時には、検出精度が低下し、また、一般的には、物体の種類の認識精度については、カメラの撮像による物体検出に比してやや低下する。そこで、従前より、上記の如き、車両又は移動体に搭載されるセンサによって、その周囲の物体の存在及び／又はその状態の認識又は検出を行う場合に、種類の異なる複数のセンサを用いて、これらのセンサから得られた出力から、それぞれ、物体の認識又は検出を行う構成、或いは、これらのセンサから得られた出力を統合して、物体の認識又は検出を行う構成が種々提案されている。

例えば、特許文献１に於いては、ＬＩＤＡＲにて得られる自車両の前方の他車両の位置情報を表すＬＩＤＡＲ点列を、カメラにより得られた画像にて特定された車両の前方の他車両の端部に重畳して、他車両の端部の位置を特定することが開示されている。また、特許文献２では、走行中の車両前方の物体を認識装置に於いて、２台の電子式カメラ１、２で撮像した画像のステレオ画像処理とレーザレンジファインダとのそれぞれにより、車両前方の平面領域に於いて、物体の存在する位置を検出して、それらの検出結果に於ける物体の存在の検出の頻度を、それぞれに重み付けをして合算し、合算値が閾値以上の位置に物体が存在すると判定する構成が提案されている。この場合、重み付けの割合を学習によって調節することが記載されている。特許文献３では、走行中の車両前方の物体の認識に於いて、レーザレーダにより特定された各反射点の位置に基づき、略等距離の位置に略車両幅の範囲内に存在する反射点群を車両候補点群とし、この車両候補点群をカメラの座標系に座標変換してカメラにより抽出される矩形領域と照合し、座標変換後の車両候補点群が矩形領域とほぼ一致すれば、その車両候補点群を前方車両と判断する構成が記載されている。特許文献４に於いては、車両前方の画像データから抽出される特徴量ベクトルを1次元の状態に変換した状態量からリスク情報を参照してリスクの程度を検出する装置に於いて、リスクの程度を決定するリスク情報がドライバの操作情報から抽出される情報を教師情報として、特徴量ベクトルの１次元に変換された状態量と教師情報との相関関係を用いて、リスク情報の学習を行うことが提案されている。特許文献５では、車両の走行中に路面に照射されたレーザ光の反射強度(反射光データ)から路面状態を判定する装置に於いて、かかる判定のために用いられる反射光データが、既知の路面上に於ける車両の走行中に得られた反射光データを用いた学習によって生成される構成が開示されている。そして、特許文献６に於いては、走行中の車両前方の物体の認識に於いて、実走行時の撮像画像中の注視領域について、カメラ画像に於けるエッジヒストグラムとレーザレーダに於ける受光強度ヒストグラムとから、車両候補領域についてのＸ，Ｙ方向ベクトル及びレーザベクトルが作成、融合されてフュージョンベクトルが生成され、ベクトル空間に於いて、かかるフュージョンベクトルと予め準備された辞書フュージョンベクトルとの距離が小さいときに、車両候補領域が車両であると予測するといった構成が開示されている。

特開２００９−９８０２５ 特開２０００−３２９８５２ 特開２００３−８４０６４ 特開２００８−２３８８３１ 特開２０１４−２２８３００ 特開２００３−９９７６２

ところで、上記の走行中の車両の前方の先行車や障害物等の物体を、カメラ、ＬＩＤＡＲ、レーダー等を用いて検出する場合のように、或る検出又は認識対象物を複数の種類のセンサを用いて検出又は認識する形式の物体の検出又は認識に於いては、既に触れた如く、センサの種類によって、精度良く検出できる対象或いは環境に違いがあることから、検出能に得手不得手があり、従って、或る検出対象に対して、或いは、或る検出環境に於いて、一方のセンサでは、精度良く物体の存在及び／又は種類の認識が可能であるが、他方のセンサでは、単独では、精度の良い認識が困難である場合や、そもそも、適切な信号処理、例えば、物体の種類の認識のための処理など、が確立していない場合もある。また、センサの種類によっては、使用中に、精度の良い認識を実行するための処理条件が変化することもある。そのような場合、即ち、或るセンサの出力から、物体の存在、種類の認識及び／又は運動状態の推定（以下、「物体の認識」と称する。）のための適切な信号処理方法、条件又は手順が未知、不確定、変動的である場合に、かかるセンサの出力について適切な信号処理方法、条件又は手順を調節する方法として、機械学習の手法により、そのセンサの出力と、それとは別の、精度良く物体の認識の可能な状態にあるセンサの出力を用いた検出結果とを照合して、前者のセンサの出力からできるだけ精度の良い物体の認識が達成されるように、信号処理方法、条件又は手順を構成又は調節するといったことが考えられる。即ち、第一のセンサの検出結果を教師データとして、第二のセンサの出力から検出結果を得るための信号処理方法、条件又は手順を機械学習によって構成又は調節するといった構成によれば、第二のセンサによる検出結果の精度の向上が期待される。その際、一般的には、教師データの精度が高く、かつ、データベースが大量・多様であるほど、即ち、様々な距離、向き、種類の車両等のデータが多く含まれているほど、機械学習の結果として得られる第二のセンサによる検出結果の精度が向上することが知られている。

この点に関し、所謂「機械学習」を用いた或るセンサの信号処理方法、条件又は手順の構成又は調節、即ち、機械学習を用いた認識アルゴリズムの構築、に於いては、大量の教師あり学習データ、即ち、機械学習に於いて教師データとなる第一のセンサの検出結果と、入力データとなる第二のセンサの出力及び／又は検出結果とを照合させたデータが必要となる。かかる照合データに関して、従前では、人が手動で第一のセンサの検出結果と第二のセンサの出力及び／又は検出結果とにタグ付けをするなどの処理によって、教師データ又は学習データを作成していた。しかし、手動で、大量の教師あり学習データを低コストに作ることは困難であり、また、データの種類によっては、手動で教師データを作成すること自体が困難な場合がある。例えば、車両前方を撮影した画像に於いて、先行車の像にバウンディングボックス（画像内に設定する枠）を与える場合、その像が良好であれば、手動でバウンディングボックスを付与することも容易であるが、逆光状態や夜間に撮影された画像に於いて、先行車の像に正確にバウンディングボックスを与えることは難しく、また、ＬＩＤＡＲで取得されたポイントクラウドやミリ波レーダーの強度マップなどのように形状が複雑であったり、境界があいまいなデータのための教師データを手動で作成することも容易ではない。更に、車両の速度など、画像や動画から直接観測できない情報に対して教師データを手動で与えることも困難である。従って、機械学習を用いた認識アルゴリズムの構築のための大量の教師あり学習データを調製するためには、かかる学習データを人の手動によらず、自動的に収集できるようになっていることが好ましい。

かくして、本発明の一つの課題は、複数の種類のセンサを用いて車両の周辺の他車両、歩行者、障害物等の物体の認識を実行する技術であって、或るセンサの検出結果を教師データとして用いた、別のセンサの出力から物体の認識を実行するための機械学習のための、教師あり学習データを自動的に収集して、教師あり学習データのデータベースを構築するシステムを提供することである。

上記の課題は、センサの出力に基づいて車両の周囲領域の物体の認識を実行するアルゴリズムの構成又は調節のための機械学習に用いる教師あり学習データを蓄積するデータベースを構築するシステムであって、
逐次的に車両の周囲領域の状態を検出する第一のセンサと、
第一のセンサの逐次的に得られた出力データに基づいて車両の周囲領域の物体の認識を逐次的に行う第一の物体認識手段と、
逐次的に車両の周囲領域の状態を検出する第二のセンサと、
第一の物体認識手段による物体の認識結果データの信頼度が所定の度合以上のときに、第二のセンサの逐次的に得られた出力データを機械学習に於ける入力データとして用い、第一の物体認識手段により逐次的に認識された物体の認識結果データを機械学習に於ける教師データとして用いて、教師データと該教師データに対応する入力データの対応付けを行うデータ対応付け手段と、
対応付けされた入力データと教師データとの組を機械学習のための教師あり学習データとして格納する学習データ格納手段と
を含むシステムによって達成される。

上記の構成に於いて、「センサ」は、任意のセンサであってよいところ、典型的には、車両の周囲領域の状態を画像として検出するカメラ、ＬＩＤＡＲ、ミリ波レーダー等の車両の周囲領域の状態の検出に通常使用されるものであってよい。「物体の認識を実行するアルゴリズムの構成又は調節」とは、ここに於いては、既に述べた如く、或るセンサの出力に基づいて、物体の認識を実行するための適切な信号処理方法、条件又は手順を構成し、或いは、既に構成されたアルゴリズムに於ける種々の条件を調節することである。機械学習の分野に於いてよく知られている如く、機械学習を用いて物体認識のアルゴリズムを構築又は開発する場合には、或るセンサの出力（入力データ）に対して正解である認識結果（教師データ）を対応させたデータ群を参照して、そのセンサの任意の出力が与えられたときに正解の認識結果を与えるように、演算処理や判定処理の構成及び／又はそれらに於いて使用される種々のパラメータ等の決定が為される。「アルゴリズムの構成又は調節」とは、そういった演算処理や判定処理の構成及び／又は種々のパラメータ等の決定のことを意味している。なお、本発明に於いては、「物体の認識」という場合には、上記の如く、物体の存在の検出及び／又は物体の種類の識別（静止しているか否か、検出された物体が、車両、人、動物又はその他の障害物のいずれであるかなどの識別）及び／又は物体の運動状態（位置、姿勢（向き）、速度など）の推定を意味するものとする。また、上記に於いて、第一のセンサと第二のセンサとは、典型的には、それぞれ、別々の種類又は別々の仕様（計測位置、計測角度範囲、感度が異なる場合など）のセンサ、例えば、カメラと、ＬＩＤＡＲとの組み合わせなどであるが、いくつかの実施の態様に於いて、同一の種類のセンサであってもよい。「第一の物体認識手段」は、「第一のセンサ」の種類に応じて、この分野に於いて公知の任意の手法によって第一のセンサの出力に基づいて、物体の認識の結果を与える手段であってよい。

上記の構成に於いては、端的に述べれば、上記の如く、少なくとも二つのセンサ、即ち、第一のセンサと第二のセンサが準備され、それぞれが、それぞれの態様に従って、逐次的に車両の周囲領域の状態の検出を実行させられる。ここに於いて、第一のセンサとしては、上記の如く、その出力に基づいて物体の認識を実行するアルゴリズムが確定されているものが選択され、第二のセンサとしては、機械学習により、その出力に基づいて物体の認識を実行するアルゴリズムが構成又は調節されるべきものが選択される。そして、第一のセンサの出力に基づいて逐次的に得られた物体の認識結果データ（物体が存在している場合も存在していない場合も含まれていてよい。）が機械学習に於ける教師データとして選択され、第二のセンサの出力が機械学習に於ける入力データとして選択され、これらのデータの対応付けが為され、教師あり学習データとしてデータベースに格納されることとなる。

かかる第一のセンサの物体の認識結果データと第二のセンサの出力との対応付けと教師あり学習データの格納とは、コンピュータの処理によって自動的に実行される。これらの処理は、一つの態様に於いては、例えば、第一のセンサの出力データ、第一のセンサの物体の認識結果データ及び第二のセンサの出力データを任意のデータ記憶装置に蓄積しておき、後で（オフライン処理で）、車両の走行ログデータを参照しながら、第一のセンサの物体の認識結果データと第二のセンサの出力との対応付けと教師あり学習データの格納とが実行されてもよい。データ記憶装置は、自車に搭載されたものであってもよく、或いは、データがネットワーク通信を介して外部の施設に設けられたデータ記憶装置へ送信され、蓄積されるようになっていてもよい。また、別の態様として、車両の走行中などに、逐次的に実行されてよい。なお、上記の構成にあるように、第一のセンサによる物体の認識結果データと第二のセンサの出力との対応付けとは、第一のセンサによる物体の認識結果データの信頼度が所定度合以上であるときに、即ち、第一のセンサによる物体の認識結果データが教師データとして利用可能な状態のときにのみ実行される。

上記の本発明の構成に於いては、更に、第二のセンサの出力データに基づいて得られる物体認識結果が教師データとして用いられる構成が含まれていてよい。即ち、第二のセンサによる物体認識アルゴリズムが構成される前は、第一のセンサの出力データに基づく物体認識結果が教師データとして用いられ、第二のセンサによる物体認識アルゴリズムが構成された後には、第一のセンサの出力に基づく物体認識データと第二のセンサの出力に基づく物体認識データとを統合したものを教師データとして、これと、現に得られている第二のセンサの出力との対応付けを行うようになっていてもよい。この場合、第二のセンサの出力に基づく物体認識アルゴリズムについて、学習データのループが形成され、更なる精度の向上が期待される。

かくして、上記の本発明の装置は、更に、第二のセンサの逐次的に得られた出力データに基づいて車両の周囲領域の物体の認識を逐次的に行う第二の物体認識手段を含み、データ対応付け手段が更に第二の物体認識手段により逐次的に認識された物体の認識結果データも機械学習に於ける教師データとして用いるよう構成されていてよい。かかる構成によれば、ループの繰り返し処理によって物体認識精度が向上できることとなり、データ量の不足を補う効果も得られることとなる。なお、第二のセンサの出力データに基づいて得られた物体の認識結果データを教師データとして使用して学習データのループを形成する構成に於いて、かかる物体の認識結果データは、それを各種の制御に使用するときよりも高い信頼度を有していることが好ましい。従って、第二のセンサの出力データに基づいて得られた物体の認識結果データは、その信頼度が各種の制御に使用するときに満たすべき度合よりも高い所定度合以上であるときに、教師データとして用いられるようになっていてよい。

更に、別の態様に於いては、少なくとも二つのセンサが使用される場合に、それぞれの物体の認識結果データの信頼度に応じて、その都度、少なくとも二つのセンサのうちの物体の認識結果データの信頼度の高い方を第一のセンサとして選択し（ただし、信頼度が所定度合以上であるとき）、他方を第二のセンサとして選択するようになっていてもよい。また、第一のセンサとして、複数のセンサを用い、第一の物体認識手段は、複数のセンサの出力を統合して（センサフュージョン）物体の認識結果を与えるよう構成されていてもよく、そのような場合も、本発明の範囲に属することは理解されるべきである。

かくして、上記の本発明によれば、複数の種類のセンサを用いて自車の周辺の車両、歩行者、障害物等の物体の認識を実行する技術に於いて、或るセンサの検出結果を教師データとして用いた別のセンサの出力から物体の認識を実行するための機械学習のための、教師あり学習データを自動的に調製し収集して、教師あり学習データのデータベースを構築するシステムを提供することが可能となる。かかる構成によれば、使用者の労力、システムの構築に要するコストが大幅に低減され、或いは、人的に構築が非常に困難な場合でも、教師あり学習データのデータベースの構築が可能となる利点が得られる。また、第二のセンサによる物体認識アルゴリズムを学習データの調製に利用することで、学習データ蓄積と機械学習による物体認識アルゴリズム構成のループを形成する構成が設けられている場合には、物体認識アルゴリズムの精度が向上し、これにより、得られるデータベースの精度、多様性、量が向上することとなり、更なる物体認識アルゴリズムの精度の向上が期待される。即ち、学習データ蓄積と機械学習による物体認識アルゴリズム構成のループ処理を繰り返せば、繰り返すほど、より精度が高く多様な教師あり学習データのデータベースを、より大量に若しくは効率的に構築することが可能となる。

本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。

図１（Ａ）は、本発明によるセンサ出力の認識アルゴリズムに於ける機械学習の学習データを収集して格納するためのデータベース構築システムの一つの実施形態の構成をブロック図の形式にて表した図である。図１（Ｂ）は、データベース構築に於ける処理をフローチャートの形式にて表した図である。 図２（Ａ）〜（Ｃ）は、本発明によるデータベース構築システムの別の実施形態の構成をブロック図の形式にて表した図である。 図３（Ａ）〜（Ｃ）は、本発明によるデータベース構築システムの更に別の実施形態の構成をブロック図の形式にて表した図である。 図４（Ａ）〜（Ｂ）は、本発明によるデータベース構築システムの更に別の実施形態であって、特に、教師データが二種類ある場合の構成をブロック図の形式にて表した図である。 図５（Ａ）〜（Ｂ）は、本発明によるデータベース構築システムの更に別の実施形態であって、特に、データベースに蓄積された学習データを用いて確立させた物体認識アルゴリズムにより得られた物体認識結果を教師データとして利用する場合の構成をブロック図の形式にて表した図である。

ＳＣ…カメラ画像出力
ＳＬ…ＬＩＤＡＲ点群出力
ＳＲ…ミリ波レーダー出力
Ｒｒ、Ｒｒ１、Ｒｒ２…認識結果

以下に添付の図を参照しつつ、本発明を幾つかの好ましい実施形態について詳細に説明する。図中、同一の符号は、同一の部位を示す。

システムの基本的な構成と作動
本発明による物体認識アルゴリズムの機械学習のための学習データ収集を実行するデータベース構築システムに於いては、「発明の概要」の欄で述べた如く、端的に述べれば、第一のセンサの出力に基づいて逐次的に得られた物体の認識結果を教師データとして、そして、第二のセンサの逐次的な出力を入力データとして、それぞれ用いて、第二のセンサの出力に基づいて物体を認識するためのアルゴリズムを構成又は調節する機械学習に利用される「教師あり学習データ」の調製、収集及び蓄積が逐次的に実行される。ここに於いて、機械学習に利用される「教師あり学習データ」とは、第二のセンサの出力と、これに対応付けられた第一のセンサの認識結果との組となる。従って、データベース構築システムは、基本的な構成として、第一のセンサと、第一のセンサの出力に基づいて逐次的に物体を認識する認識手段と、第二のセンサと、認識手段による逐次的に得られた認識結果と逐次的に得られた第二のセンサの出力との対応付けを行う対応付け手段と、対応付けられた第二のセンサの出力と第一のセンサの認識結果との組を「教師あり学習データ」として格納するデータ格納手段とから構成される。第一のセンサに基づいて逐次的に物体を認識する認識手段と、対応付け手段と、データ格納手段とは、コンピュータシステム、即ち、通常の形式の、双方向コモン・バスにより相互に連結されたＣＰＵ、ＲＯＭ、ＲＡＭ及び入出力ポート装置を有するマイクロコンピュータ及び駆動回路を含むシステムにより実現され、上記の各手段の作動は、かかるシステムに於けるコンピュータプログラムの実行によって、自動的に達成される。

上記の如き、本発明によるデータベース構築システムの、最も基本的な実施形態の一つは、図１（Ａ）に例示されている如き、車両の周辺領域の物体の認識のためのシステムのためのデータベースの構築に利用される。同図を参照して、かかるデータベース構築システムに於いては、まず、「第一のセンサ」として、車載カメラが採用され、「第二のセンサ」として、車載のＬＩＤＡＲが採用される。カメラとＬＩＤＡＲとは、それぞれ、車両の周辺領域（特に、前方領域）に於ける物体の認識を行うためにこの分野で使用されている任意の、或いは、公知の形式のものであってよい。また、図示の実施形態の場合には、第一のセンサである車載カメラの画像出力ＳＣは、物体認識部へ逐次的に与えられ、そこに於いて、カメラにより撮影された画像に於ける物体の像の存在及び／又は種類、例えば、（先行する）車両、歩行者、動物、路側帯の固定物、路上の障害物等の識別が、この分野で使用されている任意の、或いは、公知の形式にて実行され、認識結果Ｒｒが逐次的に出力される。そして、カメラ画像に基づいて得られた認識結果Ｒｒと、かかるカメラ画像と略同時期に或いは同一の領域についてＬＩＤＡＲの出力データである点群データＳＬとが対応付け部へ逐次的に与えられ、対応付け部に於いて、認識結果Ｒｒと、これに対応する点群データＳＬとを、前者を教師データとして、後者を入力データとして、対応付けする処理が実行されて、学習データが逐次的に調製され、調製された学習データが逐次的にデータベース、即ち、データ格納手段へ格納される。なお、図１（Ａ）に例示の構成に於いて、カメラとＬＩＤＡＲとは、車両に搭載されるが、物体認識部、対応付け部、データベースは、車両に搭載されてもよく、或いは、外部の任意の施設に設置されていてよい。物体認識部、対応付け部、データベースが外部施設に設置される場合には、カメラとＬＩＤＡＲの出力及び／又は物体認識部の認識結果は、任意の形式の無線通信手段、ネットワーク等を通じて、外部施設へ送信されるようになっていてよい。

対応付け処理の例
上記の対応付け部に於ける学習データの調製、即ち、第二のセンサの出力と第一のセンサの認識結果との対応付け処理は、第一のセンサの認識結果と第二のセンサの出力とのそれぞれの表現形式又は態様に応じて、種々の、任意の方法、例えば、上記の一連の特許文献に記載されている処理手順又はその他の任意の手順により達成可能である。例えば、図１（Ａ）の如く、第一のセンサの認識結果として、カメラ画像に基づく認識結果Ｒｒを採用し、第二のセンサの出力として、ＬＩＤＡＲの点群データＳＬを採用した場合の対応付け処理は、図１（Ｂ）に例示されている処理によって達成されてよい。具体的には、同図を参照して、対応付け部に於いて、まず、カメラ画像に基づく認識結果Ｒｒの取得（ステップ１０）と、ＬＩＤＡＲの点群データの取得（ステップ１２）とが実行される。ここに於いて、カメラ画像に基づく認識結果Ｒｒの表現形式は、例えば、画像内に於いて、車両の像又はその他の物体の像の範囲が、その像の物体の種類を特定した状態で画定されたものであってよく、像の範囲は、画像内の座標又は画像に撮像されている空間に於ける座標で表されていてよい。また、ＬＩＤＡＲの点群データは、検出点（光の反射点）の各々の空間に於ける位置座標で表されていてよい。かくして、それぞれのデータの取得が為されると、ＬＩＤＡＲの点群データを、ＬＩＤＡＲの点群データの処理として一般的な態様にて、空間内の位置によって、グループ分けして部分点群に分割される（ステップ１４）。ここに於いて、分割パターンは、任意に予め定められたものであってよく、例えば、等立体角分割による分割方法や、各点について、その点と最近傍点との距離が閾値未満のものを同一グループとし、閾値以上のものを別グループとするという処理による分割方法などが採用されてよい。

しかる後、上記で得られた部分点群をカメラ画像に投影し（ステップ１６）、部分点群毎に、カメラ画像内の認識対象の像、例えば、車両の像の範囲に含まれる点の数の割合が算出される（ステップ１８）。ここに於いて、カメラ画像への部分点群の投影は、認識対象の像の範囲の表現形式と点群データの表現形式に応じて、認識対象の像の物体の存在する空間の座標と点群データの表現されている空間の座標とが互いに整合するように、両者の幾何学的な変換を用いて実行されてよい。なお、カメラ画像に基づく認識結果Ｒｒに於いては、典型的には、或る物体の像が認識された場合に、その存在の信頼度或いは確からしさの程度が、パーセントなどの割合で表される（例えば、存在確率が７５％など）。その場合には、カメラ画像内の認識対象の像の範囲に含まれる点の数の割合の算出に於いて、照合の誤りを低減するために、認識結果に於いて、物体の存在の信頼度が所定度合以上の像の範囲に対してのみ、或いは、カメラから見て最も手前にある物体の像の範囲に対してのみ、像の範囲に含まれる点の数の割合の算出が実行されてよい。なお、上記の所定度合は、実験的に又は理論的に適宜設定されてよい。かくして、像の範囲に含まれる点の数の割合が、任意に設定される所定の閾値以上の部分点群が、認識対象、例えば、車両に属する点群として関連付けられ、所定の閾値未満の部分点群が、認識対象ではない物体に属する点群として関連付けられ、それぞれ、教師あり学習データとして、データベースへ格納される（ステップ２０〜２４）。

図１（Ｂ）に例示の処理は、コンピュータの処理によって自動的に実行される。典型的には、カメラ（第一のセンサ）の出力データ、認識結果Ｒｒ（第一のセンサの物体の認識結果データ）及びＬＩＤＡＲの点群データ（第二のセンサの出力データ）を任意のデータ記憶装置に蓄積しておき、図１（Ｂ）に例示の、一連のデータの対応付けと教師あり学習データの格納とは、オフライン処理で、例えば、車両の走行ログデータ（センサのデータと伴に記憶される。）を参照しながら、実行されてよい。また、別の態様としては、データの対応付けと教師あり学習データの格納とは、センサデータの取得と伴に逐次的に実行されてよく、その場合、時々刻々に、教師あり学習データが調製されて、蓄積されていくこととなる。

蓄積された「教師あり学習データ」は、任意の態様にて、ＬＩＤＡＲにより検出された点群データに基づいて物体の認識アルゴリズムを構成又は調節するための機械学習に用いられ、かくして、得られたアルゴリズムを用いて、ＬＩＤＡＲにより検出された点群データに基づき、車両の周辺領域の物体の認識に利用され、認識結果が車両に於ける各種制御に利用されてよい。なお、カメラ画像に基づく認識結果も車両に於ける各種制御に利用されてよいことは理解されるべきである。また、図示の例は、対応付け処理の一つの例であり、第一のセンサに基づく認識結果（教師データ）と第二のセンサの出力（入力データ）の表現形式又は態様に応じた対応付け処理が実行されてよいことは理解されるべきである。重要なことは、逐次的に、第一のセンサに基づく認識結果と第二のセンサの出力とを取得し、それらの対応付けをして学習データを調製し、格納する処理を、コンピュータにより自動的に達成するという点である。

本発明によるデータベース構築システムのその他の実施形態の例
本発明によるデータベース構築システムは、図１（Ａ）に例示した構成の他に、図２〜５に示される形態により実現されてよい。いずれの場合も、教師データと入力データのそれぞれの表現形式に応じた両者の対応付け処理が為されて、学習データの調製と格納が上記と同様に実行されてよい。

（１）教師データとして、ＬＩＤＡＲの出力に基づく認識結果を用いる場合（図２（Ａ））
ＬＩＤＡＲがカメラよりも正しい認識結果を得られる状況(逆光、夜間、雨天など)では、ＬＩＤＡＲの出力に基づく認識結果を教師データとし、カメラ画像を入力データとして用いて学習データの調製及び蓄積が実行されてよい。この場合、学習データを用いて、カメラ画像に基づいて物体を認識するアルゴリズムが機械学習によって構成又は調節されることとなる。また、ＬＩＤＡＲとカメラとのうちで、いずれが正しい認識結果を得られるかの状況に応じて、図１（Ａ）の構成と図２（Ａ）の構成のいずれかが選択できるようになっていてもよい。

（２）カメラ画像とＬＩＤＡＲの点群データとの双方を用いて物体の認識を実行する構成（センサフュージョン）の場合（図２（Ｂ）、（Ｃ））
この場合、カメラ画像とＬＩＤＡＲの点群データとに基づく物体の認識結果を教師データとし、入力データとして、ＬＩＤＡＲの点群データ（図２（Ｂ））又はカメラ画像（図２（Ｃ））を用いて学習データの調製及び蓄積が実行されてよい。なお、教師データは、物体の認識結果から抽出される物体までの距離、物体の速度等の情報であってもよい。また、入力データとして用いるカメラ画像は、動画であってもよい。

（３）ＬＩＤＡＲとミリ波レーダ（ＲＡＤＡＲ）とにより、物体の認識を行う構成の場合（図３（Ａ）、（Ｂ））
図１（Ａ）、図２（Ａ）〜（Ｃ）の構成に於いて、カメラに代えて、ミリ波レーダーが用いられてもよい。ミリ波レーダーの出力ＳＲは、レーダー反射強度マップとなるので、ミリ波レーダーを第一のセンサとして使用する場合には、物体認識部は、レーダー反射強度マップＳＲに基づいて任意の方式にて物体を認識する手段となり、教師データは、レーダー反射強度マップＳＲに基づく物体の認識結果Ｒｒとなる（図３（Ａ））。また、レーダー反射強度マップとＬＩＤＡＲの点群データとの双方を用いて物体の認識を実行する構成（センサフュージョン）の場合には、教師データは、レーダー反射強度マップＳＲとＬＩＤＡＲの点群データＳＬとに基づく物体の認識結果Ｒｒとなり、入力データは、レーダー反射強度マップＳＲ（図３（Ｂ））又はＬＩＤＡＲの点群データ（図示せず）となる。特に、ミリ波レーダーのレーダー反射強度マップをタグ付けするといった処理を人の手により行うことは、困難であるため、上記の如く、コンピュータにより自動的に処理できることは非常に有利である。

（４）その他の情報を学習データに付加する場合（図３（Ｃ））
カメラ画像、ＬＩＤＡＲの点群データ或いはレーダー反射強度マップの他、任意のセンサ又は検出装置等により取得した車速等の車両の運動情報や天候等の環境情報Ｄｔを学習データに付加するようになっていてもよい。この場合、車両の運動情報や環境情報に適合した機械学習が可能となることが期待される。

（５）複数の教師データを用いる場合（図４（Ａ）、（Ｂ））
教師データとして、二種類以上のデータ（Ｒｒ１、Ｒｒ２）が用いられてもよい（上記までに説明された例では、一種類）。教師データが二つ以上の場合、それぞれのデータから適宜抽出される情報を対応付け処理に於いて用いられてよい。例えば、図４（Ａ）の例では、教師データとして参照する情報として、カメラ画像に基づく認識結果Ｒｒ１からは、画像内の物体の像の位置や種類の情報を採用し、ＲＡＤＡＲのレーダー反射強度マップＳＲに基づく認識結果Ｒｒ２からは、物体までの距離、速度の情報を採用するといった態様であってよい。また、図４（Ｂ）の如く、機械学習の対象であるＬＩＤＡＲの点群データに於ける認識アルゴリズムが、一応の精度にて確立している場合には、ＬＩＤＡＲの点群データＳＬに基づく認識結果Ｒｒ２が、二つ目の教師データとして採用されてよい。

（６）機械学習により得られた認識アルゴリズムによる認識結果を教師データとして用いる場合（図５（Ａ）、（Ｂ））
データベースに格納された学習データを用いた機械学習によって、第二のセンサの出力に基づく物体の認識アルゴリズムが構成又は調節された後、更に、その認識アルゴリズムを用いた認識結果が教師データとして採用されてよい。例えば、図５（Ａ）に例示されている構成の場合には、図１（Ａ）にて説明された構成と同様に、まず、カメラ画像に基づく認識結果Ｒｒ１とＬＩＤＡＲの点群データＳＬとの対応付け処理を通じて学習データの調製と格納が或る程度の期間に亘って実行された後、かかる学習データを用いて、機械学習によりＬＩＤＡＲの点群データＳＬに基づいて物体の認識アルゴリズムが構成又は調節される。しかる後、その機械学習によって得られた物体の認識アルゴリズムにより、ＬＩＤＡＲの点群データＳＬに基づく物体の認識が実行され、その認識結果Ｒｒ２も教師データとして、ＬＩＤＡＲの点群データＳＬと対応付けされて、これにより、学習データの調製及び格納が実行される。ここに於いて、教師データがＲｒ１、Ｒｒ２の二つとなるが、例えば、計測状況に応じて、適宜、より精度の高い教師データの一方が優先的に選択して、入力データに対応付けされるようになっていてよい。より具体的には、例えば、任意の手法で判定されてよい信頼度の高い認識結果の重みを大きくした態様にて、教師データＲｒ１、Ｒｒ２の寄与の割合を調節して、一つの教師データを調製し、これを入力データへ対応付けするようになっていてもよい。この点に関し、機械学習によって構成され或いは調節された第二のセンサの出力に基づく物体の認識アルゴリズムの認識結果Ｒｒ２を教師データとして使用する場合、その結果の信頼度は、十分に高くなっていることが好ましい。従って、認識結果Ｒｒ２は、その信頼度が各種の制御に使用するときに満たすべき度合よりも高い所定度合以上であるときにのみ、教師データとして用いられるようになっていてよい。上記の処理に於いて、データベースに格納された学習データを用いた機械学習は、任意の態様にて実行されてよい。

上記の如く、データベースに格納された学習データを用いた機械学習により得られた認識結果を更に教師データとして利用する構成の場合、所謂、機械学習に於ける学習データのループが形成されることとなり、かかるループが繰り返されるほど、機械学習の対象となる認識アルゴリズムの認識精度の向上が期待される。

更に、図５（Ｂ）に例示されている如く、種類の異なる二つのセンサの出力の双方に対して、それぞれの物体の認識アルゴリズムを、データベースに蓄積した学習データを用いて機械学習によって構成又は調節できるようになっていてもよい。図５（Ｂ）の例の場合、カメラ画像に基づく物体の認識と、ＬＩＤＡＲ点群データに基づく物体の認識との二つが実行されるところ、それぞれの物体の認識のアルゴリズムが、データベースに格納された学習データを用いた機械学習により構成又は調節されることとなる。対応付け処理に於いては、種類の異なるセンサの出力の各々に対して、種類の異なるセンサの出力に基づく教師データが適宜対応付けされてよい（即ち、それぞれのセンサ毎に、学習データが調製される。）。かかる構成によれば、種類の異なるセンサの出力のそれぞれの物体の認識のアルゴリズムに於いて、機械学習に於ける学習データのループが形成され、双方のセンサに基づく物体の認識アルゴリズムの認識精度の向上が期待される。

かくして、上記の一連のデータベース構築システムによれば、或るセンサの検出結果を教師データとして用いた別のセンサの出力から物体の認識を実行するための機械学習のための、教師あり学習データを自動的に調整し収集して、教師あり学習データのデータベースを構築するシステムを提供することが可能となり、使用者の労力、システムの構築に要するコストが大幅に低減され、或いは、人的に構築が非常に困難な場合でも、教師あり学習データのデータベースの構築が可能となる利点が得られる。

以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。

例えば、本発明で用いられるセンサについて、交差点に設置された固定カメラの如く、車両の外部に固定されたセンサであってもよい。

Claims (1)

1. センサの出力に基づいて車両の周囲領域の物体の認識を実行するアルゴリズムの構成又は調節のための機械学習に用いる教師あり学習データを蓄積するデータベースを構築するシステムであって、
   逐次的に車両の周囲領域の状態を検出する第一のセンサと、
   前記第一のセンサの逐次的に得られた出力データに基づいて車両の周囲領域の物体の認識を逐次的に行う第一の物体認識手段と、
   逐次的に車両の周囲領域の状態を検出する第二のセンサと、
   前記第一の物体認識手段による前記物体の認識結果データの信頼度が所定の度合以上のときに、前記第二のセンサの逐次的に得られた出力データを前記機械学習に於ける入力データとして用い、前記第一の物体認識手段により逐次的に認識された物体の認識結果データを前記機械学習に於ける教師データとして用いて、前記教師データと該教師データに対応する入力データの対応付けを行う前記物体のデータ対応付け手段と、
   前記対応付けされた入力データと教師データの組を、前記第二のセンサの出力に基づいて前記車両の周囲領域の物体の認識を実行するアルゴリズムの構成又は調節のための機械学習のための教師あり学習データとして格納する学習データ格納手段と
   を含むシステム。

Images