JP7027279B2 - 車両制御装置、車両制御方法、およびプログラム - Google Patents

Description

本発明は、物体認識装置、車両制御装置、物体認識方法、およびプログラムに関する。

従来、複数のデバイスによる出力を統合して物体を認識する技術について開示がなされている（例えば、特許文献１参照）。このような技術は、センサフュージョンと称されている。一般に、センサフュージョンによって物体が認識された場合、デバイス単体の出力に基づいて物体が認識された場合に比して、認識の信頼度が高いと言える。このため、特許文献１に記載の技術では、デバイス単体で物体が認識された場合、センサフュージョンにより物体が認識された場合に比して、車両制御の度合いを低くしている。

特開２００５－２３９１１４号公報

センサフュージョンにより物体を認識する場合、信頼度が高いことの反面、デバイス単体の出力に基づいて物体を認識する場合に比して、処理の完了が遅くなることが想定される。このため、例えば、車両から遠距離にある物体に対して予備的な制御をしようとしても、センサフュージョンによる処理が確定しないため、これを行うことができない場合があった。このように、従来のセンサフュージョンの技術では、物体の認識が遅れる場合があった。

本発明は、このような事情を考慮してなされたものであり、より迅速に速報的なセンサフュージョン結果を得ることができる物体認識装置、車両制御装置、物体認識方法、およびプログラムを提供することを目的の一つとする。

この発明に係る物体認識装置、車両制御装置、物体認識方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る物体認識装置は、車両に搭載される物体認識装置であって、物体を認識するための第１デバイスの出力に基づいて、少なくとも、処理Ａを行って物体情報を出力すると共に、前記処理Ａに比して工数の多い処理Ｂを行って物体情報を出力する第１処理部と、物体を認識するための第２デバイスであって、前記第１デバイスと同方向を検知範囲とするように前記車両に取り付けられた第２デバイスの出力に基づいて、少なくとも、処理Ｃを行って物体情報を出力すると共に、前記処理Ｃに比して工数の多い処理Ｄを行って物体情報を出力する第２処理部と、前記処理Ａの結果として得られる物体情報と、前記処理Ｃの結果として得られる物体情報とに基づいて物体を認識する第１統合認識部と、前記処理Ｂの結果として得られる物体情報と、前記処理Ｄの結果として得られる物体情報とに基づいて物体を認識する第２統合認識部と、を備える物体認識装置である。

（２）：上記（１）の態様において、前記処理Ａは、前記処理Ｂに比して、前記第１デバイスにより少ない出力サイクル数で、出力されたデータを対象として実行される処理であり、且つ／または、前記処理Ｃは、前記処理Ｄに比して、前記第１デバイスにより少ない出力サイクル数で、出力されたデータを対象として実行される処理であるものである。

（３）：上記（２）の態様において、前記第１デバイスはカメラであり、前記処理Ａは、前処理Ｂに比して少ないフレーム数の画像に基づいて物体情報を生成する処理を含むものである。

（４）：上記（１）の態様において、前記処理Ａは、前記処理Ｂに比して、少ない処理手順で実行される処理であり、且つ／または、前記処理Ｃは、前記処理Ｄに比して、少ない処理手順で実行される処理であるものである。

（５）：上記（４）の態様において、前記第２デバイスはＬＩＤＡＲであり、前記処理Ｃは、基準位置と物体との距離を特定し、特定した距離を前記物体情報に含めて出力する処理を含むものである。

（６）：上記（５）の態様において、前記処理Ｄは、前記距離および物体のサイズを特定し、特定した距離およびサイズを前記物体情報に含めて出力する処理を含むものである。

（７）：本発明の他の態様は、上記（１）から（６）のうちいずれかの態様の物体認識装置と、車両の速度と操舵角とのうち一方または双方を制御する運転制御部と、を備え、前記運転制御部は、前記第２統合認識部による認識結果が得られるまでの間、前記第１統合認識部の認識結果を用いて前記物体との位置関係を調節する制御を行い、前記第２統合認識部による認識結果が得られた後は、前記第２統合認識部の認識結果の比率を前記第１統合認識部による認識結果よりも高くして前記物体との位置関係を調節する制御を行う、車両制御装置である。

（８）：上記（７）の態様において、前記運転制御部は、前記第２統合認識部による認識結果が得られるまでの間、前記第２統合認識部による認識結果が得られた後に比して、制御程度を小さくするものである。

（９）：上記（７）または（８）の態様において、前記運転制御部は、前記第２統合認識部による認識結果が得られるまでの間、前記第２統合認識部による認識結果が得られた後に比して、前記物体との位置関係に対する相対的な制御程度を小さくするものである。

（１０）：本発明の他の態様は、車両に搭載される物体認識装置により実行される物体認識方法であって、物体を認識するための第１デバイスの出力に基づいて、少なくとも、処理Ａを行って物体情報を出力すると共に、前記処理Ａに比して工数の多い処理Ｂを行って物体情報を出力することと、物体を認識するための第２デバイスであって、前記第１デバイスと同方向を検知範囲とするように前記車両に取り付けられた第２デバイスの出力に基づいて、少なくとも、処理Ｃを行って物体情報を出力すると共に、前記処理Ｃに比して工数の多い処理Ｄを行って物体情報を出力することと、前記処理Ａによって得られる物体情報と、前記処理Ｃによって得られる物体情報に基づいて物体を認識することと、前記処理Ｂによって得られる物体情報と、前記処理Ｄによって得られる物体情報に基づいて物体を認識することと、を備える物体認識方法である。

（１１）：本発明の他の態様は、車両に搭載される物体認識装置のプロセッサにより実行されるプログラムであって、前記プロセッサに、物体を認識するための第１デバイスの出力に基づいて、少なくとも、処理Ａを行って物体情報を出力させると共に、前記処理Ａに比して工数の多い処理Ｂを行って物体情報を出力させ、物体を認識するための第２デバイスであって、前記第１デバイスと同方向を検知範囲とするように前記車両に取り付けられた第２デバイスの出力に基づいて、少なくとも、処理Ｃを行って物体情報を出力させると共に、前記処理Ｃに比して工数の多い処理Ｄを行って物体情報を出力させ、前記処理Ａによって得られる物体情報と、前記処理Ｃによって得られる物体情報に基づいて物体を認識させ、前記処理Ｂによって得られる物体情報と、前記処理Ｄによって得られる物体情報に基づいて物体を認識させる、プログラムである。

（１）～（１１）によれば、より迅速に速報的なセンサフュージョン結果を得ることができる。

物体認識装置３００を利用した第１実施形態の車両システム１の構成図である。 物体認識装置３００の構成図である。 車両システム１が実行する処理によって生じる自車両Ｍの走行場面を例示した図である。 第１処理部３１０により実行される処理の流れの一例を示すフローチャートである。 第２処理部３２０により実行される処理の流れの一例を示すフローチャートである。 第１統合認識部３３０により実行される処理の流れの一例を示すフローチャートである。 第２統合認識部３４０により実行される処理の流れの一例を示すフローチャートである。 距離と検知精度との関係の一例を示す図である。 距離と検知精度との関係の一例を示す図である。 実施形態による距離と検知精度との関係の一例を示す図である。 物体認識装置３００を利用した第２実施形態の車両システム２の構成図である。

以下、図面を参照し、本発明の物体認識装置、車両制御装置、物体認識方法、およびプログラムの実施形態について説明する。

＜第１実施形態＞
［車両の全体構成］
図１は、物体認識装置３００を利用した第１実施形態の車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機を備える場合、電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置３００と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。カメラ１０とファインダ１４は、それぞれ第１デバイス、第２デバイスの一例である。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、自車両Ｍと称する）の任意の箇所に一つまたは複数が取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ファインダ１４は、ＬＩＤＡＲ（Light Detection and Ranging）である。ファインダ１４は、自車両Ｍの周辺に光を照射し、散乱光を測定する。ファインダ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ１４は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。ファインダ１４は、例えば、水平方向に角度をずらしながら光を照射して散乱光を測定する。そして、ファインダ１４は、散乱光を発した反射点の情報を、その時点の照射角度と対応付けて物体認識装置３００に出力する。

物体認識装置３００は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置３００は、認識結果を自動運転制御装置１００に出力する。また、物体認識装置３００は、必要に応じて、カメラ１０、レーダ装置１２、およびファインダ１４の検出結果をそのまま自動運転制御装置１００に出力してよい。物体認識装置３００の詳細については後述する。

通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備え、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。経路決定部５３により決定された地図上経路は、ＭＰＵ６０に出力される。また、ナビゲーション装置５０は、経路決定部５３により決定された地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。なお、ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。また、ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから返信された地図上経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１として機能し、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、経路において分岐箇所や合流箇所などが存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０を用いて他装置にアクセスすることにより、随時、アップデートされてよい。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。

自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０とを備える。第１制御部１２０と第２制御部１６０は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。物体認識装置３００と自動運転制御装置１００を合わせたものは、車両制御装置の一例である。なお、物体認識装置３００が自動運転制御装置１００の一機能であってもよい。

図２は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、走行軌跡予測部１４０と、行動計画生成部１５０とを備える。

認識部１３０は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置３００を介して入力される情報に基づいて、自車両Ｍの周辺状況を認識する。認識部により認識される周辺状況には、種々の物体が含まれる。物体の位置は、例えば、まず自車両Ｍの代表点（センサ位置や重心、駆動軸中心など）を原点とした絶対座標上の位置として認識され、必要に応じて道路に沿った道路座標上の位置に変換されて制御に使用される。本実施形態において、認識部１３０は、物体に関する情報（物体情報）を専ら物体認識装置３００から取得するものとする。

認識部１３０により認識される周辺状況は、道路構造や他車両の他、自車両Ｍと走行車線との相対位置や姿勢、自転車や歩行者の状態、一時停止線、障害物、赤信号、料金所などの道路事象、その他の情報を含んでよい。認識部１３０による認識結果は、走行軌跡予測部１４０と行動計画生成部１５０とに出力される。

行動計画生成部１５０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、その上で、物体認識装置３００または認識部１３０により認識された物体に接触しないように、自車両Ｍが将来走行する目標軌道を生成する。目標軌道は、例えば、複数の軌道点と、速度要素とを含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

第２制御部１６０は、行動計画生成部１５０によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。第２制御部１６０は、例えば、行動計画生成部１５０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させ、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。また、第２制御部１６０は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。このように、行動計画生成部１５０が、速度要素が付随した目標軌道を決定することで、自車両Ｍの加減速と操舵の双方が制御されることになる。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵとを備える。ＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［物体認識装置、およびこれと関連する制御］
図２は、物体認識装置３００の構成図である。物体認識装置３００は、例えば、第１処理部３１０と、第２処理部３２０と、第１統合認識部３３０と、第２統合認識部３４０とを備える。これらの構成要素は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、これらの機能部は、単一のプロセッサにより実現される必要はなく、複数のプロセッサにより分散処理が行われることで実現されてもよい。

第１処理部３１０は、例えば、カメラ１０により撮像された画像を解析し、物体情報を生成して出力する。すなわち、第１処理部３１０は、いわゆる画像解析部として機能する。第１処理部３１０は、画像内で輪郭を抽出してパターンマッチングを行うことで物体情報を生成してもよいし、ディープラーニング等で学習された分類器を用いて物体情報を生成してもよい。第１処理部３１０が行う処理には、少なくとも、処理Ａと、処理Ａよりも工数が多い処理Ｂとが含まれる。

処理Ａは、例えば、ｋフレーム分の画像に基づいて、撮像された画像に映された物体の距離、高さ、およびサイズを導出し（取得し）、導出した内容を物体情報として出力する処理である。例えば、ｋは１である。

処理Ｂは、例えば、ｎフレーム分の画像に基づいて、撮像された画像に映された物体の距離、高さ、およびサイズを導出する（取得する）処理と、物体をオブジェクト化する処理と、オブジェクト化した内容を物体情報として出力する処理とを含む。例えば、ｎは２以上の自然数である。ｋ＜ｎの関係が成立するのであれば、ｋとｎは任意の自然数であってよい。オブジェクト化とは、複数フレームに基づく処理によって導出される物体の距離や速度に基づいて、物体の種別（四輪車両、二輪車、自転車、歩行者、落下物など）を推定し、推定結果を物体の距離、高さ、およびサイズ等に対応付ける処理である。物体の速度に関しては、相対速度から自車両Ｍの速度を差し引いて求める必要があるが、物体認識装置３００は、例えば自動運転制御装置１００から自車両Ｍの速度を取得し、取得した情報を演算に用いる。処理Ｂは、カルマンフィルタなどによる近似処理を含んでもよい。

第２処理部３２０は、例えば、ファインダ１４により出力された検出結果を加工し、加工した情報に基づいて物体情報を生成して出力する。第２処理部３２０が行う処理には、少なくとも、処理Ｃと、処理Ｃよりも工数が多い処理Ｄとが含まれる。

処理Ｃは、例えば、ファインダ１４により出力された検出結果に基づいて物体との距離（および方位）を取得し、物体情報として出力する処理である。

処理Ｄは、例えば、ファインダ１４により出力された検出結果に基づいて物体との距離（および方位）とサイズを取得する処理と、物体をオブジェクト化する処理と、オブジェクト化した内容を物体情報として出力する処理とを含む。前述したように、ファインダ１４は光の照射方向を変えながら動作するように制御されているため、例えば、同程度の距離にある反射点が照射角度θ１～θ２の間に並んでいる場合、その距離に角度差の絶対値｜θ２－θ１｜を乗算することで、近似的に物体の横方向のサイズを得ることができる。処理Ｄは、そのような処理を含む。処理Ｄは、カルマンフィルタなどによる近似処理を含んでもよい。オブジェクト化については処理Ｂと同様である。

処理Ａの結果である物体情報（以下、物体情報Ａ）と、処理Ｃの結果である物体情報（以下、物体情報Ｃ）は、第１統合認識部３３０に出力される。「出力」とは便宜的な表現であり、出力元から出力先への物理的な「送信」を伴う動作を指すものであってもよいし、出力先がアクセス可能なメモリの領域に書き込む動作を指すものであってもよい。

第１統合認識部３３０は、物体情報Ａと物体情報Ｃとに基づいて、物体を認識する。第１統合認識部３３０による認識結果（第１統合認識結果）は、速報的な情報として自動運転制御装置１００に出力される。第１統合認識部３３０は、物体情報Ａに含まれる物体との距離と、物体情報Ｃに含まれる物体との距離の差が所定範囲内である場合に、それらの距離に物体が存在すると認識する。すなわち、第１処理部３１０によって、カメラ１０からの１フレーム分の画像における所定距離Ｘ１の位置に何らかの物体が存在すると判定され、第２処理部３２０によって、ファインダ１４の出力が、所定距離Ｘ１に近い位置に物体が存在することを示唆している場合、第１統合認識部３３０は、所定距離Ｘ１の位置に物体が存在することを示す第１統合認識結果を生成して自動運転制御装置１００に出力する。

処理Ｂの結果である物体情報（以下、物体情報Ｂ）と、処理Ｄの結果である物体情報（以下、物体情報Ｄ）は、第２統合認識部３４０に出力される。

第２統合認識部３４０は、物体情報Ｂと物体情報Ｄとに基づいて、物体を認識する。第２統合認識部３４０による認識結果（第２統合認識結果）は、第１統合認識部３３０の認識結果よりも信頼度の高い情報として自動運転制御装置１００に出力される。第２統合認識部３４０は、物体Ｂと物体Ｄの双方に含まれるオブジェクト化された情報が許容範囲内で合致し、且つ物体の種別が一致する場合に、物体Ｂと物体Ｄの一致部分によって示される位置に、推定された種別の物体が存在すると認識し、認識結果を自動運転制御部１００に出力する。例えば、第１処理部３１０によって、カメラ１０からの複数フレーム分の画像における所定距離Ｘ２の位置に「車両」が存在すると判定され、第２処理部３２０によって、ファインダ１４の出力が、所定距離Ｘ２に近い位置に「車両」が存在することを示唆している場合（例えば、物体情報に含まれる物体のサイズが、車両の横方向のサイズに合致し、且つその物体が徒歩では困難な速度で移動している場合）、第２統合認識部３４０は、所定距離Ｘ２の位置に「車両」が存在することを示す第２統合認識結果を生成して自動運転制御装置１００に出力する。

自動運転制御装置１００では、例えば、行動計画生成部１５０が、第１統合認識結果と第２統合認識結果とのそれぞれに基づいて、各認識結果が示す物体に接触しないように、自車両Ｍが将来走行する目標軌道を生成して車両制御を行う（物体との位置関係を調節する）。

このとき、行動計画生成部１５０は、第１統合認識結果が得られてから第２統合認識結果が得られるまでの間、第１統合認識結果を用いて物体との位置関係を調節する制御を行い、第２統合認識結果が得られた後は、第２統合認識結果の比率を第１統合認識結果よりも高くして物体との位置関係を調節する制御を行う。「比率を高くする」とは、第２統合認識結果の比率を１００％、第１統合認識結果の比率を０％にすることを含む。

行動計画生成部１５０は、第１統合認識結果が得られてから第２統合認識結果が得られるまでの間、第２統合認識結果が得られた後に比して、制御程度を小さくする。「制御程度を小さくする」とは、走行駆動力出力装置２００、ブレーキ装置２１０、またはステアリング装置２２０に与える制御の度合いを小さくすることである。行動計画生成部１５０は、制御の度合いを小さくする場合、ブレーキトルクや加速トルク、ステアリング操舵角の変化量などの制御量が小さくなるように目標軌道を生成してもよいし、制御の結果として現れる加速度や減速度、旋回角などの車両挙動が小さくなるように目標軌道を生成してもよい。

上記の制御程度を小さくすることは、物体との位置関係に依存しない絶対的な指針であってもよいし、物体との位置関係に依存する相対的な指針であってもよい。前者の場合、例えば、第１統合認識結果が得られてから第２統合認識結果が得られるまでの間のブレーキトルクの上限を、第２統合認識結果が得られた後のブレーキトルクの上限よりも小さくすることで、制御程度を小さくすることが実現される。後者の場合、例えば物体と自車両ＭとのＴＴＣ（Time To Collision）に逆比例する傾向でブレーキトルクを決定する際に、第１統合認識結果が得られてから第２統合認識結果が得られるまでの間のブレーキトルクを計算するためのゲインを、第２統合認識結果が得られた後に比して小さくしてもよい。また、行動計画生成部１５０は、第１統合認識結果が得られてから第２統合認識結果が得られるまでの間、例えば、「自車両Ｍの速度が上限速度を超えている場合に上限速度まで減速する」といった限定的な制御（予備減速）を行ってもよい。

図３は、車両システム１が実行する処理によって生じる自車両Ｍの走行場面を例示した図である。図中、矢印Ｄは自車両Ｍの進行方向を表す。自車両Ｍの進行方向に関する前方には、障害物ＯＢが存在する。デバイスの性能等によって実際の距離が変動するため、数値はあくまで一例であるが、例えば、障害物ＯＢまで２００［ｍ］の地点で第１統合認識結果のみが得られ始める。これに応じて行動計画生成部１５０は、前述した予備制動などの制御を行う。また、例えば、障害物ＯＢまで１５０［ｍ］の地点で第２統合認識結果が得られ始める。これに応じて行動計画生成部１５０は、自車両Ｍと障害物ＯＢとのＴＴＣに応じた制動制御を行い、必要に応じて（例えば操舵による回避が不可であれば）自車両Ｍを停止させる。

［処理フロー］
図４は、第１処理部３１０により実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理では、例えば、カメラ１０から１フレーム分の画像が入力される度に１ルーチンが実行される。

まず、第１処理部３１０は、カメラ１０から入力された画像において処理対象とする対象領域を抽出する処理を行う（ステップＳ１００）。対象領域は、画像の左右端部や上部を除いた領域であり、自車両Ｍの前方を撮像した領域である。

次に、第１処理部３１０は、対象領域において物体抽出処理を行う（ステップＳ１０２）。本ステップの処理の詳細は前述した通りである。そして、第１処理部３１０は、画像において物体を検知した（抽出した）か否かを判定する（ステップＳ１０４）。なお、ここでの物体は、例えば「画像において何ピクセル以上を占める」といった条件を満たすものに絞り込まれてよい。物体を検知しなかった場合、本フローチャートの１ルーチンの処理が終了する。

物体を検知した場合、第１処理部３１０は、前述した物体情報Ａを生成して第１統合認識部３３０に出力する（ステップＳ１０６）。また、第１処理部３１０は、過去の直近のフレームと比較して、ステップＳ１０４で検知したと判定した物体と、過去に検知された物体との同定処理を行う（ステップＳ１０８）。この際に、第１処理部３１０は、物体の絶対速度やサイズを考慮して同定処理を行う。

次に、第１処理部３１０は、ステップＳ１０８の処理結果を参照し、本フローチャートの処理が繰り返し実行される中で、同一の（と推定される）物体をｍ回連続で検知したか否かを判定する（ステップＳ１１０）。同一の物体をｍ回連続で検知したと判定した場合、第１処理部３１０は、物体情報Ｂを生成して第２統合認識部３４０に出力する（ステップＳ１１２）。

図５は、第２処理部３２０により実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理では、例えば、ファインダ１４から反射点の情報が入力される度に１ルーチンが実行される。

まず、第２処理部３２０は、ファインダ１４から入力された情報に対して領域限定処理を行う（ステップＳ２００）。領域限定処理とは、路面上の領域以外で測定された反射点を除く処理である。

次に、第２処理部３２０は、路上に反射点があったか否かを判定する（ステップＳ２０２）。路上に反射点があったと判定した場合、第２処理部３２０は、物体情報Ｃを生成して第１統合認識部３３０に出力する（ステップＳ２０４）。

また、第２処理部３２０は、略同一の距離にある反射点を端から端まで検知したか否かを判定する（ステップＳ２０６）。略同一の距離にある反射点を端から端まで検知した場合、第２処理部３２０は、物体情報Ｄを生成して第２統合認識部３４０に出力する（ステップＳ２０８）。

図６は、第１統合認識部３３０により実行される処理の流れの一例を示すフローチャートである。まず、第１統合認識部３３０は、物体情報Ａと物体情報Ｃが同期して（或いは所定時間以内に）入力されたか否かを判定する（ステップＳ３００）。物体情報Ａと物体情報Ｃが同期して入力された場合、第１統合認識部３３０は、両者が合致するか否かを判定する（ステップＳ３０２）。合致するとは、例えば、両者の項目のうち所定数以上が、許容範囲内の差異に収まっていることをいう、両者が合致する場合、第１統合認識部３３０は、第１統合認識情報を生成し（ステップＳ３０４）、自動運転制御装置１００に出力する。

図７は、第２統合認識部３４０により実行される処理の流れの一例を示すフローチャートである。まず、第２統合認識部３４０は、物体情報Ｂと物体情報Ｄが同期して（或いは所定時間以内に）入力されたか否かを判定する（ステップＳ４００）。物体情報Ｂと物体情報Ｄが同期して入力された場合、第２統合認識部３４０は、両者が合致するか否かを判定する（ステップＳ４０２）。両者が合致する場合、第２統合認識部３４０は、第２統合認識情報を生成し（ステップＳ４０４）、自動運転制御装置１００に出力する。

［まとめ］
以上説明した第１実施形態の物体認識装置３００によれば、より迅速に速報的なセンサフュージョン結果を得ることができる。図８～１０は、距離と検知精度との関係の一例を示す図である。これらの図は、道路上に１０ｃｍ立方の障害物と、１５ｃｍ立法の障害物とを置いた前提で、自車両Ｍと障害物との距離に応じた検知率を想定したものである。

図８は、カメラ１０の出力に基づいて、第１処理部３１０がそれぞれのサイズの障害物を検知した確率である検知率を想定した結果を示している。ここでの「障害物を検知した」とは、「物体情報Ｂを生成した」ことをいう。また、図９は、ファインダ１４の出力に基づいて、第２処理部３２０がそれぞれのサイズの障害物を検知した確率である検知率を想定した結果を示している。ここでの「障害物を検知した」とは、「物体情報Ｄを生成した」ことをいう。図８に示すように、特に１０ｃｍ立方の障害物に関しては、距離が１６０ｍ程度まで近づかないと、検知率が８０％以上とならないことが想定される。また、図９に示すように、特に１０ｃｍ立方の障害物に関しては、距離が１８０ｍ程度まで近づかないと、そもそも物体情報Ｄが生成されないことが想定される。

そして、物体情報Ｂと物体情報Ｄのアンドを求めることで生成される第２統合認識情報は、図８または図９に示す検知率の立ち上がりよりも更に遅れて立ち上がることになる。この結果、特に障害物との距離が１５０ｍ以上の場合に、十分な情報を自動運転制御装置１００に与えることができないことが予想される。

これに対し、図１０は、実施形態による期待性能を示している。図１０は、図８または図９よりも早いタイミングで生成開始される物体情報Ａおよび物体情報Ｃに基づいて、第１統合認識部３３０により第１統合認識情報が生成される確率（生成率）の推移を示している。図示するように、本実施形態による第１統合認識情報の生成率は、距離が１９０ｍ程度まで近づくと十分に１００％に近づくことが期待される。このため、障害物との接近場面において、より早いタイミングで速報的なフュージョン結果を取得し、自動運転制御装置１００に提供することができる。

なお、第１デバイス、第２デバイスの一例としてカメラ１０とファインダ１４を例示したが、これらのうち一方または双方は、レーダ装置１２或いは他の物体認識デバイスであってもよい。

＜第２実施形態＞
以下、第２実施形態について説明する。図１１は、物体認識装置３００を利用した第２実施形態の車両システム２の構成図である。第１実施形態と共通する構成要素については、第１実施形態と共通する符号を付し、詳細な説明を省略する。第２実施形態において、物体認識装置３００は、自動運転制御装置１００に代えて、運転支援装置４００に認識結果（第１統合認識結果、および第２統合認識結果）を出力する。

運転支援装置４００は、運転者による手動運転がなされている場合に、加減速や操舵の介入制御や、運転操作子８０への反力出力などの、各種の運転支援制御を行う装置である。以下の説明では、運転支援装置４００は、対障害物制動制御を行うものとする。運転支援装置４００は、例えば、衝突可能性判定部４０２と、ブレーキ操作量導出部４０４と、ブレーキ量決定部４０６とを備える。これらの機能部は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、これらの機能部は、単一のプロセッサにより実現される必要はなく、複数のプロセッサにより分散処理が行われることで実現されてもよい。

衝突可能性判定部４０２は、物体認識装置３００の認識結果を参照し、自車両と物体との衝突可能性を判定する。例えば、衝突可能性判定部４０２は、自車両と物体との間のＴＴＣを計算し、ＴＴＣが衝突判定閾値Ｔｃｏｌよりも小さい場合に、自車両と物体との衝突可能性があると判定する。

ブレーキ操作量導出部４０４は、運転操作子８０に含まれるブレーキ踏量センサの検出結果を参照し、自車両の乗員によりなされたブレーキ操作量（或いはその結果として出力されるブレーキ量）を導出する。

ブレーキ量決定部４０６は、まず、衝突可能性判定部４０２による判定結果、およびその処理の過程に基づいて、物体の存在に基づくブレーキ量（対物体ブレーキ量）を決定し、ブレーキ装置２１０に出力する。対物体ブレーキ量は、例えば、自車両と物体との間のＴＴＣが小さい程大きくなるように決定される。なお、対物体ブレーキ量をブレーキ操作量導出部４０４により導出されたブレーキ操作量に基づくブレーキ量が上回る場合、ブレーキ量決定部４０６は、後者のブレーキ量をブレーキ装置２２０に出力してもよい。また、ブレーキ量決定部４０６は、第１統合認識結果が得られてから第２統合認識結果が得られるまでの間、第２統合認識結果が得られた後に比して、制御程度を小さくする。また、ブレーキ量決定部４０６は、第１統合認識結果が得られてから第２統合認識結果が得られるまでの間、例えば、「自車両Ｍの速度が上限速度を超えている場合に上限速度まで減速する」といった限定的な制御（予備減速）を行ってもよい。

以上説明した第２実施形態によれば、第１実施形態と同様の効果を奏することができる。

上記実施形態は、以下のように表現することができる。
車両に搭載される物体認識装置であって、
プログラムを記憶した記憶装置と、
前記プログラムを実行可能なハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
物体を認識するための第１デバイスの出力に基づいて、少なくとも、処理Ａを行って物体情報を出力すると共に、前記処理Ａに比して工数の多い処理Ｂを行って物体情報を出力し、
物体を認識するための第２デバイスであって、前記第１デバイスと同方向を検知範囲とするように前記車両に取り付けられた第２デバイスの出力に基づいて、少なくとも、処理Ｃを行って物体情報を出力すると共に、前記処理Ｃに比して工数の多い処理Ｄを行って物体情報を出力し、
前記処理Ａの結果として得られる物体情報と、前記処理Ｃの結果として得られる物体情報とに基づいて物体を認識し、
前記処理Ｂの結果として得られる物体情報と、前記処理Ｄの結果として得られる物体情報とに基づいて物体を認識する、
ように構成されている物体認識装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１０ カメラ
１２ レーダ装置
１４ ファインダ
８０ 運転操作子
１００ 自動運転制御装置
３００ 物体認識装置
３１０ 第１処理部
３２０ 第２処理部
３３０ 第１統合認識部
３４０ 第２統合認識部
４００ 運転支援装置

Claims (10)

1. 車両に搭載される車両制御装置であって、
   物体を認識するための第１デバイスの出力に基づいて、少なくとも、処理Ａを行って物体情報を出力すると共に、前記処理Ａに比して工数の多い処理Ｂを行って物体情報を出力する第１処理部と、
   物体を認識するための第２デバイスであって、前記第１デバイスと同方向を検知範囲とするように前記車両に取り付けられた第２デバイスの出力に基づいて、少なくとも、処理Ｃを行って物体情報を出力すると共に、前記処理Ｃに比して工数の多い処理Ｄを行って物体情報を出力する第２処理部と、
   前記処理Ａの結果として得られる物体情報と、前記処理Ｃの結果として得られる物体情報とに基づいて物体を認識する第１統合認識部と、
   前記処理Ｂの結果として得られる物体情報と、前記処理Ｄの結果として得られる物体情報とに基づいて物体を認識する第２統合認識部と、
   車両の速度と操舵角とのうち一方または双方を制御する運転制御部と、を備え、
   前記運転制御部は、前記第２統合認識部による認識結果が得られるまでの間、前記第１統合認識部の認識結果を用いて前記物体との位置関係を調節する制御を行い、前記第２統合認識部による認識結果が得られた後は、前記第２統合認識部の認識結果の比率を前記第１統合認識部による認識結果よりも高くして前記物体との位置関係を調節する制御を行う、
   車両制御装置。
2. 前記処理Ａは、前記処理Ｂに比して、前記第１デバイスにより少ない出力サイクル数で、出力されたデータを対象として実行される処理であり、
   且つ／または、
   前記処理Ｃは、前記処理Ｄに比して、前記第２デバイスにより少ない出力サイクル数で、出力されたデータを対象として実行される処理である、
   請求項１記載の車両制御装置。
3. 前記第１デバイスはカメラであり、
   前記処理Ａは、前処理Ｂに比して少ないフレーム数の画像に基づいて物体情報を生成する処理を含む、
   請求項２記載の車両制御装置。
4. 前記処理Ａは、前記処理Ｂに比して、少ない処理手順で実行される処理であり、
   且つ／または、
   前記処理Ｃは、前記処理Ｄに比して、少ない処理手順で実行される処理である、
   請求項１記載の車両制御装置。
5. 前記第２デバイスはＬＩＤＡＲであり、
   前記処理Ｃは、前記ＬＩＤＡＲと物体との距離を特定し、特定した距離を前記物体情報に含めて出力する処理を含む、
   請求項４記載の車両制御装置。
6. 前記処理Ｄは、前記距離および物体のサイズを特定し、特定した距離およびサイズを前記物体情報に含めて出力する処理を含む、
   請求項５記載の車両制御装置。
7. 前記運転制御部は、前記第２統合認識部による認識結果が得られるまでの間、前記第２統合認識部による認識結果が得られた後に比して、制御程度を小さくする、
   請求項１から６のうちいずれか１項記載の車両制御装置。
8. 前記運転制御部は、前記第２統合認識部による認識結果が得られるまでの間、前記第２統合認識部による認識結果が得られた後に比して、前記物体との位置関係に対する相対的な制御程度を小さくする、
   請求項１から７のうちいずれか１項記載の車両制御装置。
9. 車両に搭載される車両制御装置により実行される車両制御方法であって、
   物体を認識するための第１デバイスの出力に基づいて、少なくとも、処理Ａを行って物体情報を出力すると共に、前記処理Ａに比して工数の多い処理Ｂを行って物体情報を出力することと、
   物体を認識するための第２デバイスであって、前記第１デバイスと同方向を検知範囲とするように前記車両に取り付けられた第２デバイスの出力に基づいて、少なくとも、処理Ｃを行って物体情報を出力すると共に、前記処理Ｃに比して工数の多い処理Ｄを行って物体情報を出力することと、
   前記処理Ａによって得られる物体情報と、前記処理Ｃによって得られる物体情報に基づいて物体を認識し第１統合認識結果を出力することと、
   前記処理Ｂによって得られる物体情報と、前記処理Ｄによって得られる物体情報に基づいて物体を認識し第２統合認識結果を出力することと、
   車両の速度と操舵角とのうち一方または双方を制御することと、を備え、
   前記制御することは、前記第２統合認識結果が得られるまでの間、前記第１統合認識結果を用いて前記物体との位置関係を調節する制御を行い、前記第２統合認識結果が得られた後は、前記第２統合認識結果の比率を前記第１統合認識結果よりも高くして前記物体との位置関係を調節する制御を行うことを含む、
   車両制御方法。
10. 車両に搭載される車両制御装置のプロセッサにより実行されるプログラムであって、
    前記プロセッサに、
    物体を認識するための第１デバイスの出力に基づいて、少なくとも、処理Ａを行って物体情報を出力させると共に、前記処理Ａに比して工数の多い処理Ｂを行って物体情報を出力させ、
    物体を認識するための第２デバイスであって、前記第１デバイスと同方向を検知範囲とするように前記車両に取り付けられた第２デバイスの出力に基づいて、少なくとも、処理Ｃを行って物体情報を出力させると共に、前記処理Ｃに比して工数の多い処理Ｄを行って物体情報を出力させ、
    前記処理Ａによって得られる物体情報と、前記処理Ｃによって得られる物体情報に基づいて物体を認識し第１統合認識結果を出力させ、
    前記処理Ｂによって得られる物体情報と、前記処理Ｄによって得られる物体情報に基づいて物体を認識し第２統合認識結果を出力させ、
    車両の速度と操舵角とのうち一方または双方を制御させ、
    前記制御させることは、前記プロセッサに、前記第２統合認識結果が得られるまでの間、前記第１統合認識結果を用いて前記物体との位置関係を調節する制御を行わせ、前記第２統合認識結果が得られた後は、前記第２統合認識結果の比率を前記第１統合認識結果よりも高くして前記物体との位置関係を調節する制御を行わせることを含む、
    プログラム。

Images