JP7330911B2 - 車両用制御装置 - Google Patents

Description

ここに開示する技術は、例えば自動車の自動運転のために用いられる車両用制御装置に関する。

特許文献１には、自動運転制御情報に基づいて生成される第一の制御信号と自車と周辺物体との相対情報に基づいて生成される第二の制御信号との何れか一方を駆動装置に出力し、自動運転制御情報に異常が検出された場合には、第一の制御信号に代えて、第二の制御信号を前記駆動装置に出力する技術が示されている。

特許文献２には、周辺環境取得装置、認知判断ＥＣＵ、統合制御ＥＣＵのいずれかの異常を検知した場合に、その異常を検知してからの経過時間に従って、複数の周辺環境取得装置、認知判断ＥＣＵ及び統合制御ＥＣＵのそれぞれが実行すべき動作が規定される特定制御を順次切り替えながら実行する技術が示されている。

特許文献３には、車両の周辺に存在する物体を認識する認識部と、認識した物体に基づいて自動制御モードにおける車両の走行経路を算出する経路算出部と、認識した物体を回避した走行経路を算出できない場合に手動制御モードへ移行させるモード制御部とを備える半導体装置が示されている。

特開２０１７－４７６９４号公報 国際公開第２０１８／２２５２２５号 特許第６２８９２８４号公報

ところで、昨今では、国家的に自動運転システムの開発が推進されている。自動運転システムでは、一般に、カメラ等により車外環境情報が取得され、取得された車外環境情報に基づいて自動車が走行すべき経路が算出される。この経路の算出においては、車外環境の認定が重要であり、この車外環境の認定において、深層学習を利用することが検討されている。深層学習を利用した車外環境の認定及び経路の算出は、未だ発展途上の状態であり、車両制御装置として、車両の安全性を担保しつつ、技術の進歩、変遷に適合させる必要がある。また、互いに機能やグレードの異なる車種への展開に適合させやすい車両制御装置が望まれている。

上記の引用文献１～３は、自動運転に関する技術ではあるものの、車両の安全性を担保しつつ、技術の変遷や車種展開に適合させするという観点において改善の余地がある。

ここに開示された技術は、斯かる点に鑑みてなされたものであり、その目的とするところは、車両の安全性を担保しつつ、技術の変遷（将来展開）及び／または車種展開（機能・グレード・仕向地の異なる車種への展開）に適合した車両用制御装置を提供することにある。

前記課題を解決するために、ここに開示された技術では、車両用制御装置を対象として、車両に設置されたカメラの出力を受信し、そのカメラの出力に対して画像処理を行い、その画像処理で得られた画像データを出力する信号処理ＩＣ（Integrated Circuit）ユニットと、前記信号処理ＩＣユニットとは別ユニットとして構成され、前記画像データを受信し、その画像データに基づいて車両の外部環境の認識処理を行い、その認識処理で得られた外部環境データを出力する認識処理ＩＣユニットと、前記信号処理ＩＣユニット及び前記認識処理ＩＣユニットとは別ユニットとして構成され、前記外部環境データを受信し、その外部環境データに基づいて車両の走行制御のための判断処理をし、その判断処理結果に基づく走行制御信号を出力する判断処理ＩＣユニットとを備える、という構成とした。

ここで、互いに機能・グレード・仕向地の異なる車種の展開（以下、単に車種展開という）において、車両に設置されるカメラの台数や設置場所、カメラの解像度が互いに異なる場合がある。また、車種展開に応じて、カメラから出力された画像処理について、アルゴリズムや画像の処理能力を変える場合がある。そこで、本態様では、カメラの出力に対して画像処理を行うための信号処理ＩＣユニットを、他の構成から独立させた構成にしている。これにより、車種展開があった場合においても、信号処理ＩＣユニットの交換で対応することができる。そうすると、車種展開する場合に、例えば、後段の認識処理ＩＣユニット、判断処理ＩＣユニットとして共通のＩＣユニットを用いることができる。

また、前述のとおり、「車両の外部環境の認識処理」について、技術の進化の過程にあり、今後も技術の変遷が大きいことが予測される。そこで、認識処理を行うための認識処理ＩＣユニットを設け、他の構成から独立させた構成にしている。これにより、車両のモデルサイクルの中で、適宜認識処理ＩＣユニットを最新のものに置き換えることができる。

そして、認識処理ＩＣユニットの後段に、最終的な車両の走行制御のための判断処理をする判断処理ＩＣユニットを設けている。このような構成にすることで、例えば、判断処理ＩＣユニットでは、成熟したプロセスを採用することが可能になり、車両の走行制御のための判断処理の信頼性を高めることができる。

上記態様の車両制御装置において、前記認識処理ＩＣユニットは、深層学習を利用して車両の外部環境の認識処理を行うように構成されている、というのでもよい。

この構成によると、認識処理ＩＣユニットが深層学習を利用するため、車両の外部環境の認識精度を高めることができる。

上記態様の車両制御装置において、前記信号処理ＩＣユニットから出力された画像データを受信し、深層学習を利用せずに、所定のルールに基づいて前記画像データから車両の外部環境の認識処理を行い、その認識処理で得られた外部環境に基づいて車両の走行制御のための判断処理をするバックアップセーフティＩＣユニットをさらに備え、前記判断処理ＩＣユニットは、前記バックアップセーフティＩＣユニットの判断処理の結果を受信し、車両または乗員の少なくとも一方に異常が検出された場合に、前記走行制御信号に代えて、前記バックアップセーフティＩＣユニットの判断処理結果に基づくバックアップ走行制御信号を出力する、というのでもよい。

この構成によると、車両または乗員の少なくとも一方に異常が検出された場合に、ルールベースのセーフティバックアップＩＣユニットの判断処理結果を使用するので、機能安全レベルを向上させることができる。

以上説明したように、ここに開示された技術によると技術の変遷及び／または車種展開に適合した車両用制御装置を提供することができる。

実施形態１に係る車両用制御装置の構成を示すブロック図である。 車両用制御装置の機能構成の一例を示すブロック図である。 車両用制御装置の機能構成の一例を示すブロック図である。 各ＩＣユニットの構成例を示すブロック図である。 信号処理ＩＣユニットによる画像処理により得られる画像データの一例を示す図である。 認識処理ＩＣユニットによる認識処理により生成されるセグメンテーション画像の一例を示す図である。 判断処理ＩＣユニットにより外部環境の推定を行って得られる統合データの一例を示す図である。 実施形態２に係る車両用制御装置の構成を示すブロック図である。

以下、例示的な実施形態について、図面を参照しながら詳細に説明する。

（実施形態１）
図１は、本実施形態に係る車両用制御装置の構成を示すブロック図である。

図１に示すように、本実施形態の車両用制御装置ＣＵは、信号処理ＩＣ（Integrated Circuit）ユニット１０と、認識処理ＩＣユニット２０と、判断処理ＩＣユニット３０の３チップ構成となっている。具体的な図示は省略するが、信号処理ＩＣユニット１０、認識処理ＩＣユニット２０及び判断処理ＩＣユニット３０は、例えば、乗員の座席下部やトランクルーム等、車両内の特定の場所に設置された単一の筐体内に格納されている。信号処理ＩＣユニット１０、認識処理ＩＣユニット２０及び判断処理ＩＣユニット３０は、それぞれ、単一のＩＣ（Integrated Circuit）チップで構成されてもよいし、複数のＩＣチップにより１つのユニットが構成されていてもよい。また、各ＩＣチップ内には、単一のコアまたはダイが収容されていてもよく、連携する複数のコアまたはダイが収容されて互いに接続されていてもよい。コアやダイには、例えば、ＣＰＵと、ＣＰＵを動作させるためのプログラムやＣＰＵでの処理結果等を一時格納するためのメモリとが搭載されている。

信号処理ＩＣユニット１０は、車外環境を撮像するカメラ７１から受信された撮像信号の画像処理を行い、画像データとして出力する。カメラ７１の数は、特に限定されないが、例えば、自動車の周囲を水平方向に３６０°撮影できるようにそれぞれ配置されている。各カメラ７１の撮像データは、信号処理ＩＣユニット１０に集約される。信号処理ＩＣユニット１０では、集約された撮像データの画像処理を行い、画像データとして認識処理ＩＣユニット２０に出力する。カメラ７１は、車外環境を撮像する撮像装置の一例である。図３には、信号処理ＩＣユニット１０の具体的なブロック構成例を示している。図３については、後ほど説明する。

認識処理ＩＣユニット２０は、信号処理ＩＣユニット１０から出力された画像データを受信し、その画像データに基づいて車両の外部環境の認識処理を行い、その認識処理で得られた外部環境データを出力する。例えば、認識処理ＩＣユニット２０は、深層学習を利用して、上記の画像データを基に道路と障害物を含む外部環境を認識する。深層学習では、例えば、多層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が用いられる。多層ニューラルネットワークとして、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）がある。認識処理ＩＣユニット２０は、推定された車外環境に基づいて道路上であって障害物を回避する少なくとも１つの経路候補を生成し、経路候補データとして出力する。図３には、認識処理ＩＣユニット２０の具体的なブロック構成例を示している。図３については後ほど説明する。

判断処理ＩＣユニット３０は、認識処理ＩＣユニット２０から出力された外部環境データを受信し、その外部環境データに基づいて車両の走行制御のための判断処理をし、その判断処理結果に基づく走行制御信号を出力する。具体的に、判断処理ＩＣユニット３０は、上記の外部環境データを基に自動車の走行経路を決定し、決定された走行経路に沿って走行する際の自動車の目標運動を決定する。その後、判断処理ＩＣユニット３０は、決定された目標運動を実現するための駆動力と制動力と操舵角を算出し、その算出結果に基づく走行制御信号を出力する。図３には、判断処理ＩＣユニット３０の具体的なブロック構成例を示している。図３については後ほど説明する。

－１．機能構成－
図２Ａ，図２Ｂは、車両用制御装置ＣＵの機能構成例を示すブロック図である。なお、以下の説明では、図２Ａ及び図２Ｂをまとめて、単に図２と呼ぶものとする。

まず、本開示に係る自動車用制御装置ＣＵ（以下、単に制御装置ＣＵという）は、機能的には、認知系ブロックＢ１と、判断系ブロックＢ２と、操作系ブロックＢ３とに分かれている。認知系ブロックＢ１は、車外環境、車内環境（運転者の状態を含む）を認知するための構成である。判断系ブロックＢ２は、認知系ブロックＢ１での認知結果に基づいて各種状態・状況等を判断し、自動車の動作を決定するための構成である。操作系ブロックＢ３は、判断系ブロックＢ２での決定を基に、具体的にアクチュエータ類に伝達する信号・データ等を生成するための構成である。

また、制御装置ＣＵは、（１）通常運転時における自動運転を実現するための認知系ブロックＢ１、判断系ブロックＢ２及び操作系ブロックＢ３とで構成された主演算部４０と、（２）主に主演算部４０の認知系ブロックＢ１及び判断系ブロックＢ２を補完する機能を有するセーフティ機能部５０と、（３）主演算部４０やセーフティ機能部５０の機能が失陥した場合等の異常事態が発生した際に、自動車を安全な位置まで移動させるバックアップセーフティＩＣユニット６０とを備える。

本制御装置ＣＵにおいて、主演算部４０の認知系ブロックＢ１および判断系ブロックＢ２では、ニューラルネットワークを利用した深層学習により構築された各種モデルを利用して処理を実行する。このようなモデルを使用した処理を行うことで、車両状態、車外環境、運転者の状態等の総合的な判断に基づく運転制御、すなわち、大量の入力情報をリアルタイムで協調させて制御することができるようになる。一方で、前述のとおり、深層学習を利用した車外環境の認定及び経路の算出は、未だ発展途上の状態であり、ＡＳＩＬ－Ｂ程度に留まるとされている。

そこで、制御装置ＣＵでは、主演算部４０で実行される深層学習により、ある特定の許容範囲を逸脱するような判断や処理（以下、単に逸脱処理という）が導き出される可能性を想定し、そのような逸脱処理を監視する。制御装置ＣＵは、逸脱処理を検出した場合に、ＡＳＩＬ－Ｄ相当の機能安全レベルを実現するセーフティ機能部５０による判断や処理に置き換えたり、主演算部４０による再処理を行わせる。

具体的に、例えば、セーフティ機能部５０では、
（１）従来より自動車等に採用されている物標等の認定方法に基づいて、車外にある物体（以下、対象物と呼ぶ場合がある）を認識する、
（２）従来より自動車等に採用されている方法で、車両が安全に通過できる安全領域を設定し、その安全領域を通過するような経路を自動車が通過すべき走行経路として設定する、
ように構成されている。このような、いわゆるルールベースの判断や処理を行うことにより、ＡＳＩＬ－Ｄ相当の機能安全レベルを実現する。

そして、本制御装置ＣＵは、主演算部４０とセーフティ機能部５０とが、同一の入力情報（後述する情報取得手段７０で取得された情報を含む）に基づいて、同一の目的の処理（例えば、経路生成）を、並列に進める。これにより、主演算部４０から逸脱処理が導き出されることを監視することができるとともに、必要に応じて、セーフティ機能部５０による判断や処理の方を採用したり、主演算部４０に再演算をさせたりすることができる。

さらに、本制御装置ＣＵでは、主演算部４０及びセーフティ機能部５０の両方が故障するような事態にも対処できるように、バックアップセーフティＩＣユニット６０を設けている。バックアップセーフティＩＣユニット６０は、車外情報に基づいてルールベースで経路を生成し、安全な位置に停車させるまでの車両制御を実行する機能を、主演算部４０及びセセーフティ機能部５０とは別構成として用意したものである。

制御装置ＣＵには、自動車の車内外環境の情報を取得する情報取得手段７０で取得されたデータが入力信号として与えられる。また、制御装置ＣＵへの入力信号として、クラウドコンピューティングのように、車外ネットワーク（例えば、インターネット等）に接続されたシステムやサービスからの情報が入力されるようにしてもよい（図２では「EXTERNAL INPUT」と記載する）。

情報取得手段７０として、例えば、（１）複数のカメラ７１、（２）複数のレーダ７２、（３）ＧＰＳ等の測位システムを含む位置センサ７３、（４）上記の車外のネットワーク等からの外部入力７４、（５）車速センサ等のメカセンサー７５、（６）ドライバ入力部７６等が例示される。ドライバ入力部７６は、例えば、アクセル開度センサ、操舵角センサ、ブレーキセンサ等である。また、ドライバ入力部７６には、例えば、アクセルペダル、ブレーキペダル、ステアリング、各種スイッチ等の各種操作対象物への運転者の操作を検出するセンサを含む。各レーダ７２は、自車両の外部環境を自車両の周囲３６０°に渡って検出できるように、自車両の車体に配置されている。レーダ７２は、例えば、ミリ波（探知波の一例）を送信するミリ波レーダで構成されている。尚、レーザ光（探知波の一例）を送信するライダ（Light Detection and Ranging）であってもよいし、赤外線（探知波の一例）を送信する赤外線レーダであってもよいし、超音波（探知波の一例）を送信する超音波センサであってもよい。

－１－１．主演算部（１）－
ここでは、主演算部４０の構成について、主演算部４０による深層学習を用いた経路生成の例を交えつつ説明する。

図２に示すように、主演算部４０は、車外の物体を認識する物体認識部２４１と、マップ生成部２４３と、外部環境推定部２４４と、外部環境モデル２４５と、経路探索部２４６と、経路生成部２４７と、車両状態検出部３４６とを備える。

物体認識部２４１は、カメラ７１で撮像された車外の画像（映像を含む）を受信し、受信した画像に基づいて車外の物体を認識する。物体認識部２４１は、カメラ７１で撮像された画像を受信し、画像処理を行う画像処理部２４１ａ（図３参照）と、画像処理部で処理された画像に基づいて車外の物体を認識する認識部２４１ｂ（図３参照）とを備える。物体認識部２４１には、従来から知られている画像や電波に基づく物体認識技術を適用することができる。

物体認識部２４１で認識された結果は、マップ生成部２４３に送られる。マップ生成部２４３では、自車両の周囲を複数の領域（例えば、前方、左右方向、後方）に分け、その領域毎のマップを作成する処理を行う。具体的には、マップ生成部２４３では、それぞれの領域に対して、カメラ７１で認識された物体情報と、レーダ７２で認識された物体情報とを統合し、マップに反映させる。

車両状態検出部３４６は、自車両の運動情報を生成する。具体的に、車両状態検出部３４６は、各種メカセンサー７５から入力される情報に基づいて、自車両の現在の運動状態を検出する。メカセンサー７５は、例えば、車速センサやヨーセンサ等である。

マップ生成部２４３で生成されたマップ及び車両状態検出部３４６での検出結果は、外部環境推定部２４４において、深層学習を用いた画像認識処理により車外環境の推定に使用される。具体的に、外部環境推定部２４４では、深層学習を利用して構築された環境モデル２４５に基づく画像認識処理により車外環境を表す３Ｄマップを作成する。深層学習では、多層ニューラルネットワーク（DNN : Deep Neural Network）が用いられる。多層ニューラルネットワークとして、例えば、ＣＮＮ（Convolutional Neural Network）がある。

より具体的に、外部環境推定部２４４では、（１）領域毎のマップが結合され、自車両の周囲を表した統合マップが生成され、（２）その統合マップ内の動体物に対し、自車両との距離、方向、相対速度の変位が予測され、（３）その結果が、外部環境モデル２４５に組み込まれる。さらに、外部環境推定部２４４では、（４）車内または車外から取り込んだ高精度地図情報、ＧＰＳ等で取得された位置情報・車速情報・６軸情報の組み合わせによって統合マップ上での自車両の位置を推定するとともに、（５）前述の経路コストの計算を行い、（６）その結果が、各種センサで取得された自車両の運動情報とともに外部環境モデル２４５に組み込まれる。これらの処理により、外部環境推定部２４４では、随時、外部環境モデル２４５が更新され、後述する経路生成部２４７による経路生成に使用される。

ＧＰＳ等の測位システムの信号、車外ネットワークから送信される例えばカーナビゲーション用のデータは、経路探索部２４６に送られる。経路探索部２４６は、ＧＰＳ等の測位システムの信号、車外ネットワークから送信される例えばナビゲーション用のデータを用いて、車両の広域経路を探索する。

経路生成部２４７では、前述の外部環境モデル２４５と、経路探索部２４６の出力とを基にして、車両の走行経路を生成する。走行経路は、例えば、安全性、燃費等をスコア化し、そのスコアが小さくなるような走行経路が少なくとも１つ生成される。また、経路生成部２４７は、例えば、上記走行経路とドライバの操作量に応じて調整した走行経路、のように複数の観点に基づいた走行経路を生成するように構成されてもよい。この経路生成部２４７により生成される走行経路に関する情報は外部環境データに含まれる。

－１－２．セーフティ機能部－
ここでは、セーフティ機能部５０の構成について、セーフティ機能部５０によるルールベースの経路生成の例を交えつつ説明する。

図２に示すように、セーフティ機能部５０は、車外の物体をパターン認識する物体認識部２５１及び物体認識部２５２と、分類部３５１と、前処理部３５２と、フリースペース探索部３５３と、経路生成部３５４とを備える。

物体認識部２５１は、カメラ７１で撮像された車外の画像（映像を含む）を受信し、受信した画像に基づいて車外の物体を認識する。物体認識部２５１は、カメラ７１で撮像された画像を受信し、画像処理を行う画像処理部２５１ａ（図３参照）と、画像処理部で処理された画像に基づいて車外の物体を認識する認識部２５１ｂ（図３参照）とを備える。物体認識部２５２は、レーダ７２で検出された反射波のピークリストにより、車外の物体を認識する。

分類部３５１や前処理部３５２では、深層学習等を用いずに、認識部２５１ｂで認識された画像データとレーダ７２からの情報とにより、所定のルールに基づくルールベースの手法により外部環境を推定する。ルールベースの外部環境推定方法は、従来から知られている方法を適用することができる。従来から知られているルールベースの外部環境推定方法は、ＡＳＩＬ－Ｄ相当の機能安全レベルである。

具体的に、分類部３５１では、物体認識部２５２による物体の認識結果を受信し、認識された物体を動体と静止物とに分類する。具体的に、分類部３５１では、（１）自車両の周囲が複数の領域（例えば、前方、左右方向、後方）に分けられ、（２）各領域で、カメラ７１で認識された物体情報と、レーダ７２で認識された物体情報とが統合され、（３）各領域に対する動体及び静止物の分類情報が生成される。

前処理部３５２では、分類部３５１において生成された領域毎の分類結果を統合する。統合された情報は、例えば、自車両周辺の動体及び静止物との分類情報として、グリッドマップ（図示省略）上で管理される。また、動体物について、自車両との距離、方向、相対速度が予測され、その結果が動体物の付属情報として組み込まれる。さらに、前処理部３５２では、車内外から取得された高精度地図情報、位置情報、車速情報、６軸情報等を組み合わせて、動体・静止物に対する自車両の位置を推定する。

図６は、前処理部３５２での処理により得られる統合データＤ３を示す。この統合データＤ３では、物体の種類等については認識されず、自車両周囲の物体は一律に物標８５と認識される（厳密には、動体と静止体とは分けられている）。また、各物標の細かい形状は認識されず、図６に示すように、大雑把な各物標の大きさや相対位置等が認識される。

フリースペース探索部３５３は、前処理部３５２で位置が推定された動体・静止物（以下、対象物ともいう）との衝突を回避可能なフリースペースを探索する。例えば、フリースペース探索部３５３は、対象物の周囲数ｍを回避不能範囲とみなす等の所定のルールに基づいて設定される。フリースペース探索部３５３は、対象物が動体の場合には、移動速度を考慮してフリースペースを設定する。フリースペースとは、例えば、道路上であって、他の車両や歩行者等の動的な障害物、及び中央分離体やセンターポールなどの静的な障害物が存在しない領域をいう。フリースペースは、緊急駐車が可能な路肩のスペースを含んでいてもよい。

経路生成部３５４は、フリースペース探索部３５３で探索されたフリースペースを通るような経路を算出する。経路生成部３５４による経路の算出方法は、特に限定されないが、例えば、フリースペースを通過する複数の経路を生成し、その複数の経路の中から経路コストが最も小さい経路を選択する。経路生成部３５４で算出された経路は、後述する目標運動決定部３４３に出力される。

なお、上記で説明したセーフティ機能部５０の機能は、従来から自動車等に採用されている物標等の認定方法及びその回避方法をルールベースに落とし込んだものであり、例えば、ＡＳＩＬ－Ｄ相当の機能安全レベルである。

－１－３．主演算部（２）－
主演算部４０は、「１－１．主演算部（１）」で説明したブロックに加えて、危険状態判断部３４１、第１車両モデル２４８、第２車両モデル２４９、経路決定部３４２、目標運動決定部３４３、車両運動エネルギー設定部３４４、エネルギーマネジメント部３４５、ドライバ操作認識部３４７及び、セレクタ４１０，４２０を備える。

危険状態判断部３４１では、前処理部３５２の出力を基に、対象物との衝突や、車線の逸脱の可能性があると判断した場合に、それを回避するための走行経路（例えば、目標位置と車速）を設定する。

ドライバ操作認識部３４７は、走行経路を決定するための情報としてドライバの操作量や操作方向を認識する。具体的には、ドライバ操作認識部３４７は、ドライバの操作を反映するセンサ情報を取得して、ドライバの操作量や操作方向に関する情報を経路決定部３４２に入力する。ドライバの操作を反映するセンサは、アクセルペダル、ブレーキペダル、ステアリング、各種スイッチ等の各種操作対象物への運転者の操作を検出するセンサを含むものである。

経路決定部３４２では、経路生成部２４７で設定された走行経路と、セーフティ機能部５０の経路生成部３５４で設定された走行経路と、ドライバ操作認識部３４７での認識結果とに基づいて、車両の走行経路を決定する。この走行経路の決定方法は、特に限定されないが、例えば、通常走行時は、経路生成部２４７で設定された走行経路を最優先するとしてもよい。また、経路生成部２４７で設定された走行経路が、フリースペース探索部３５３で探索されたフリースペースを通らない場合に、セーフティ機能部５０の経路生成部３５４で設定された走行経路を選択するとしてもよい。また、ドライバの操作量や操作方向に応じて、選択された走行経路に調整を加えたり、ドライバの操作を優先したりするようにしてもよい。

目標運動決定部３４３では、例えば、経路決定部３４２で決定された走行経路に対して、６軸の目標運動（例えば、加速度、角速度等）を決定する。目標運動決定部３４３は、６軸の目標運動の決定に際し、所定の第１車両モデル２４８を用いるようにしてもよい。車両６軸モデルとは、走行中の車両の「前後」「左右」「上下」の３軸方向の加速度と、「ピッチ」「ロール」「ヨー」の３軸方向の角速度を、モデル化したものである。すなわち、車両の動きを古典的な車両運動工学的な平面上のみ（車両の前後左右（Ｘ－Ｙ移動）とヨー運動（Ｚ軸）のみ）で捉えるのではなく、４つの車輪にサスペンションを介して乗っている車体のピッチング（Ｙ軸）およびロール（Ｘ軸）運動とＺ軸の移動（車体の上下動）の、合計６軸を用いて車両の挙動を再現する数値モデルである。第１車両モデル２４８は、例えば、あらかじめ設定された車両の基本運動機能、車内外の環境情報等に基づいて生成され、適宜更新される。

車両運動エネルギー設定部３４４では、目標運動決定部３４３で決定された６軸の目標運動に対して、駆動系、操舵系、制動系に要求するトルクを計算する。駆動系とは、例えば、エンジンシステム、モータ、トランスミッションである。操舵系とは、例えば、ステアリングである。制動系とは、例えば、ブレーキである。

エネルギーマネジメント部３４５は、目標運動決定部３４３で決定された目標運動を達成する上で、最もエネルギー効率がよくなるようにアクチュエータ類ＡＣの制御量を算出する。具体的に例示すると、エネルギーマネジメント部３４５は、目標運動決定部３４３で決定されたエンジントルクを達成する上で、最も燃費が向上するような、吸排気バルブ（図示省略）の開閉タイミングやインジェクタ（図示省略）の燃料噴射タイミング等を算出する。アクチュエータ類ＡＣには、例えば、エンジンシステムと、ブレーキと、ステアリングと、トランスミッションとが含まれる。エネルギーマネジメント部３４５は、エネルギーマネジメントを行うのに際して、所定の第２車両モデル２４９を用いるようにしてもよい。第２車両モデル２４９は、車両のエネルギー消費を示すモデルである。具体的には、車両のアクチュエータ類ＡＣの動作に対する燃費や電費を示すモデルである。より詳しくは、第２車両モデル２４９は、例えば、所定量のエンジントルクを出力する上で、最も燃費が向上するような、吸排気バルブ（図示省略）の開閉タイミング、インジェクタ（図示省略）の燃料噴射タイミング、排気環流システムのバルブ開閉タイミング等がモデル化されたものである。第２車両モデル２４９は、例えば、車両の走行中に生成され、適宜更新される。

セレクタ４１０は、主演算部４０から出力された制御信号と、バックアップセーフティＩＣユニット６０から出力されたバックアップ制御信号とを受信する。セレクタ４１０は、通常運転時は、主演算部４０から出力された制御信号を選択して出力する。一方、セレクタ４１０は、主演算部４０の故障が検出された場合、バックアップセーフティＩＣユニット６０から出力されたバックアップ制御信号を選択して出力する。なお、バックアップセーフティＩＣユニット６０については、第２実施形態で説明する。

－２．各ＩＣユニットの構成例－
図３は、車両用制御装置ＣＵは、各ＩＣユニットの構成例を示すブロック図である。図３において、図２と対応するブロックについて共通の符号を付している。

－２－１．信号処理ＩＣユニット－
信号処理ＩＣユニット１０は、前述のとおり、車外環境を撮像するカメラ７１から受信された撮像信号の画像処理を行い、画像データとして出力する。信号処理ＩＣユニット１０は、図３に示すように、物体認識部２４１の画像処理部２４１ａと、物体認識部２５１の画像処理部２５１ａとを有する。

画像処理部２４１ａ，２５１ａは、カメラ７１の撮影した画像に対して、画像の歪み（この例ではカメラ７１の広角化による歪み）を補正する歪み補正処理や、画像のホワイトバランスを調整するホワイトバランス調整処理などを行う。また、画像処理部２４１ａ，２５１ａは、画像を構成する素子のうち認識処理ＩＣユニット２０での処理（物体の認定など）に不要な画素を削除したり、色彩に関するデータを間引いたり（車両を全て同じ色で表すなど）して、画像データＤ１を生成する。この画像データＤ１の段階では、画像に撮影されている物体等の外部環境の認識処理は行われていない。

画像処理部２４１ａで作成された画像データＤ１は、認識処理ＩＣユニット２０に設けられた、物体認識部２４１の認識部２４１ｂに入力される。画像処理部２５１ａで作成された画像データＤ１は、認識処理ＩＣユニット２０に設けられた認識部２５１ｂに入力される。

このように、本開示の技術では、物体認識部２４１，２５１の機能について、画像処理を行う画像処理部２４１ａ，２５１ａについては信号処理ＩＣユニット１０に設ける一方で、物体等の車両の外部環境を認識するための認識処理を行う認識部２４１ｂ，２５１ｂについては認識処理ＩＣユニット２０に設けている。

図４は、画像データＤ１の一例を示す。この画像データＤ１に示された自車両の外部環境には、車道９０と歩道９２と空地９３が含まれている。車道９０は、自車両が移動することができる移動可能領域である。車道９０には、センターライン９１が含まれている。また、この画像データＤ１の自車両の外部環境には、他車両８１と標識８２と街路樹８３と建物８０が含まれている。他車両８１（自動四輪車）は、時間経過により変位する動体の一例である。動体の他の例としては、自動二輪車、自転車、歩行者などが挙げられる。標識８２と街路樹８３は、時間経過により変位しない静止体の一例である。静止体の他の例としては、中央分離帯、センターポール、建物などが挙げられる。動体と静止体は、物標の一例である。

図４に示す例では、車道９０の外側に歩道９２が設けられ、歩道９２の外側（車道９０から遠い側）に空地９３が設けられている。また、図４に示す例では、車道９０においてセンターライン９１で分けられる２つの車線のうち自車両が走行する車線を１台の他車両８１が走行し、２つの車線のうち対向車線を２台の他車両８１が走行している。そして、歩道９２の外側に沿うように標識８２と街路樹８３が並んでいる。また、自車両の前方の遠い位置に建物８０が設けられている。

－２－２．認識処理ＩＣユニット－
認識処理ＩＣユニット２０は、前述のとおり、信号処理ＩＣユニット１０から出力された画像データを受信し、深層学習を利用して、画像データを基に道路と障害物を含む車外環境を推定する。認識処理ＩＣユニット２０は、図３に示すように、認識部２４１ｂ，２５１ｂと、マップ生成部２４３と、外部環境推定部２４４と、外部環境モデル２４５と、経路探索部２４６と、経路生成部２４７と、第１車両モデル２４８と、第２車両モデル２４９とを備える。

認識部２４１ｂは、信号処理ＩＣユニット１０から出力される画像データＤ１（映像データを含む）と、レーダ７２で検出された反射波のピークリストとを受信する。認識部２４１ｂは、受信した画像データＤ１及び上記のピークリストに基づいて車外の物体を認識する。車外の物体認識には、従来から知られている画像や電波に基づく物体認識技術を適用することができる。認識部２４１ｂで認識処理された結果は、マップ生成部２４３に送られる。

なお、マップ生成部２４３、外部環境推定部２４４、外部環境モデル２４５、経路探索部２４６及び経路生成部２４７についての機能・動作については、すでに説明しているので、ここではその詳細説明を省略する。第１車両モデル２４８及び第２車両モデル２４９についても、すでに説明しているので、ここではその詳細説明を省略する。

図５は、外部環境推定部２４４の認識処理により得られるセグメンテーション画像Ｄ２の一例を示す。このセグメンテーション画像Ｄ２では、画素単位で、車道９０、センターライン９１、他車両８１、標識８２、街路樹８３、歩道９２、空地９３、及び建物８０のいずれかに分類されている。また、セグメンテーション画像Ｄ２では、各物標に対して、形状に関する情報まで認識されている。

認識部２５１ｂは、認識部２４１ｂと同様に、信号処理ＩＣユニット１０から出力される画像データＤ１（映像データを含む）と、レーダ７２で検出された反射波のピークリストとを受信する。認識部２５１ｂは、受信した画像データＤ１及びピークリストに基づいて車外の物体を認識する。なお、認識部２５１ｂはパターン認識を行う点で認識部２４１ｂと異なる。認識部２５１ｂによるパターン認識には、従来から知られている画像や電波に基づく物体認識技術を適用することができる。

－２－３．判断処理ＩＣユニット－
判断処理ＩＣユニット３０は、前述のとおり、認識処理ＩＣユニット２０から出力された外部環境データを受信し、その外部環境データに基づいて車両の走行制御のための判断処理をし、その判断処理結果に基づく走行制御信号を出力する。判断処理ＩＣユニット３０は、認識処理ＩＣユニット２０とは別に、車両の走行経路を算出する機能を有している。判断処理ＩＣユニット３０での経路生成は、従来より自動車等に採用されている方法で、車両が安全に通過できる安全領域を設定し、その安全領域を通過するような経路を自動車が通過すべき走行経路として設定する。具体的には、判断処理ＩＣユニット３０は、分類部３５１と、前処理部３５２と、フリースペース探索部３５３と、経路生成部３５４とを備える。また、判断処理ＩＣユニット３０は、車両が走行すべき走行経路を決定して、該走行経路を追従するための車両の目標運動を算出するために、危険状態判断部３４１と、経路決定部３４２と、目標運動決定部３４３と、車両運動エネルギー設定部３４４と、エネルギーマネジメント部３４５とを備える。

なお、分類部３５１、前処理部３５２、フリースペース探索部３５３、経路生成部３５４、危険状態判断部３４１、経路決定部３４２、目標運動決定部３４３、車両運動エネルギー設定部３４４及びエネルギーマネジメント部３４５についての機能・動作については、すでに説明しているので、ここではその詳細説明を省略する。

以上のように、本実施形態によると、カメラの出力に対して画像処理を行うための信号処理ＩＣユニット１０を、他の構成から独立させた構成にしている。前述のとおり、車種展開において、車両に設置されるカメラの台数や設置場所、カメラの解像度が互いに異なる場合がある。また、車種展開に応じて、カメラから出力された画像処理について、アルゴリズムや処理能力を変える場合がある。そこで、本実施形態のような構成にすることにより、車種展開があった場合においても、信号処理ＩＣユニット１０の交換で対応することができる。そうすると、車種展開する場合に、例えば、後段の認識処理ＩＣユニット２０及び／または判断処理ＩＣユニット３０として車種間で共通のＩＣユニットを用いることができる。

また、前述のとおり、「車両の外部環境の認識処理」については、技術の進化の過程にあり、今後も技術の変遷が大きいことが予測される。そこで、認識処理を行うための認識処理ＩＣユニット２０を他の構成から独立させた構成にしている。これにより、車両のモデルサイクルの中で、適宜認識処理ＩＣユニット２０を最新のものに置き換えることができる。

そして、認識処理ＩＣユニット２０の後段に、深層学習等を用いずに、認識部２５１ｂで認識された画像データとレーダ７２からの情報とにより、所定のルールに基づくルールベースの手法により外部環境を推定する機能を有する判断処理ＩＣユニット３０を設けている。判断処理ＩＣユニット３０では、上記のルールベースの外部環境認識結果と、認識処理ＩＣユニット２０での認識結果を基に、車両の走行制御のための判断処理をし、その判断処理結果に基づく走行制御信号を出力するようにしている。このような構成にすることで、例えば、判断処理ＩＣユニット３０では、成熟したプロセスを採用することが可能になり、車両の走行制御のための判断処理の信頼性を高めることができる。

（実施形態２）
図７は、本実施形態に係る車両用制御装置ＣＵの構成を示すブロック図である。図７の車両用制御装置ＣＵでは、信号処理ＩＣユニット１０及び認識処理ＩＣユニット２０が、それぞれ２つずつ並列に設けられる点で図１の構成と異なる。また、本実施形態では、バックアップセーフティＩＣユニット６０を備える点で図１の構成と異なる。以下の説明では、図１との相違点を中心に説明するものとし、共通の構成について説明を省略する場合がある。

本実施形態では、説明の便宜上、並列に設けられた信号処理ＩＣユニット１０に対して、１０ａ，１０ｂの符号を付している。同様に、並列に設けられた認識処理ＩＣユニット２０に対して、２０ａ，２０ｂの符号を付している。信号処理ＩＣユニット１０ａ，１０ｂは、互いに同じであってもよいし、一部の機能や構成が互いに異なっていてもよい。認識処理ＩＣユニット２０ａ，２０ｂは、互いに同じであってもよいし、一部の機能や構成が互いに異なっていてもよい。

図７に示すように、信号処理ＩＣユニット１０ａは、複数のカメラ７１の一部であるカメラ７１ａから受信された撮像信号の画像処理を行い、画像データとして出力する。信号処理ＩＣユニット１０ｂは、複数のカメラ７１の残部であるカメラ７１ｂから受信された撮像信号の画像処理を行い、画像データとして出力する。信号処理ＩＣユニット１０ａ，１０ｂの構成及び動作は、実施形態１で説明した信号処理ＩＣユニット１０と同様でよいので、ここではその詳細説明を省略する。

認識処理ＩＣユニット２０ａは、信号処理ＩＣユニット１０ａから出力された画像データを受信し、その画像データに基づいて車両の外部環境の認識処理を行い、その認識処理で得られた外部環境データを出力する。ここで、認識処理ＩＣユニット２０ａでは、マップ生成部２４３において、カメラ７１ａで認識された物体情報と、複数のレーダ７２の一部であるレーダ７２ａで認識された物体情報とを統合し、マップに反映させる。それ以外の構成は、実施形態１で説明した認識処理ＩＣユニット２０と同様でよいので、ここではその詳細説明を省略する。

認識処理ＩＣユニット２０ｂは、信号処理ＩＣユニット１０ｂから出力された画像データを受信し、その画像データに基づいて車両の外部環境の認識処理を行い、その認識処理で得られた外部環境データを出力する。ここで、認識処理ＩＣユニット２０ｂでは、マップ生成部２４３において、カメラ７１ｂで認識された物体情報と、複数のレーダ７２の一部であるレーダ７２ｂで認識された物体情報とを統合し、マップに反映させる。

ここで、例えば、カメラ７１ａ及びレーダ７２ａは、両方の検出範囲を重ねると、自車両の外部環境を自車両の周囲３６０°に渡って認識できるように配置されている。同様に、カメラ７１ｂ及びレーダ７２ｂは、両方の検出範囲を重ねると、自車両の外部環境を自車両の周囲３６０°に渡って認識できるように配置されている。

認識処理ＩＣユニット２０ｂで処理された外部環境データは、例えば、認識処理ＩＣユニット２０ａに出力される。認識処理ＩＣユニット２０ａでは、自ユニットで処理された外部環境データと、認識処理ＩＣユニット２０ｂで処理された外部環境データとを統合して、判断処理ＩＣユニット３０に出力する。判断処理ＩＣユニット３０の構成及び動作は、実施形態１と同様でよいので、ここではその詳細説明を省略する。

なお、認識処理ＩＣユニット２０ａ，２０ｂが、それぞれ、処理された外部環境データを判断処理ＩＣユニット３０に出力してもよい。この場合、判断処理ＩＣユニット３０において、両方の認識処理ＩＣユニット２０ａ，２０ｂからの外部環境データを用いて、車両の走行制御のための判断処理をし、その判断処理結果に基づく走行制御信号を出力するとよい。

－バックアップセーフティ機能部－
ここでは、バックアップセーフティＩＣユニット６０の構成及びバックアップセーフティＩＣユニット６０によるルールベースの経路生成について説明する。バックアップセーフティＩＣユニット６０は、ルールベースで最低限の安全停車位置への移動動作、停車動作ができるようにするために必要な構成を備えたものとなっている。より具体的には、走行中の車両が予め設定した基準を満たす停車位置に停車するまでの安全走行経路を生成するように構成され、その安全走行経路に沿って走行させるためのバックアップ目標運動を決定し、そのバックアップ目標運動を実現するためのバックアップ制御信号を各アクチュエータに出力するように構成されている。なお、具体的なブロック構成及びその機能については、セーフティ機能部５０と同じような構成で実現することができる。

以下、バックアップセーフティＩＣユニット６０の具体的な構成及び動作について説明する。

図２に示すように、バックアップセーフティＩＣユニット６０では、物体認識部２５１（認識部２５１ｂ）で認識された結果を基に、動体と静止物とが分類される。図２では、６０３の符号を付して「動体・静止物分類」と記載した回路ブロックで実行される。なお、物体認識部として、図２に示すように、セーフティ機能部５０と共通のもの（物体認識部２５１）を使用してもよいし、個別に、バックアップセーフティＩＣユニット６０に設けられていてもよい。

バックアップセーフティＩＣユニット６０は、車両状態を計測する車両状態計測部６０１と、運転者の操作状態を把握するドライバ操作認識部６０２とを備える。車両状態計測部６０１は、自車両の付属情報として経路生成に使用するために、車速情報・６軸情報に基づく車両状態を取得する。ドライバ操作認識部６０２は、ドライバ操作認識部３４７に相当する機能である。それ以外の機能については、主演算部４０及びセーフティ機能部５０とは独立して設けられているものの、実質的な機能は、これまで説明してきた構成と同様であり、ここではその詳細説明を省略する。具体的には、前処理部６０４は前処理部３５２に相当し、フリースペース探索部６０５はフリースペース探索部３５３に相当し、経路生成部６０６は経路生成部３５４に相当し、危険状態判断部６０７は危険状態判断部３４１に相当し、目標運動決定部６０８は目標運動決定部３４３に相当し、経路決定部６０９は経路決定部３４２に相当し、車両運動エネルギー設定部６１０は車両運動エネルギー設定部３４４に相当し、エネルギーマネジメント部６１１はエネルギーマネジメント部３４５に相当する。

セレクタ４１０は、主演算部４０から出力された制御信号と、バックアップセーフティＩＣユニット６０から出力されたバックアップ制御信号とを受信する。セレクタ４１０は、通常運転時は、主演算部４０から出力された制御信号を選択して出力する。一方、セレクタ４１０は、主演算部４０の故障が検出された場合のように車両に異常が検出された場合や、運転者の疾患のように運転者に異常を検知した場合に、バックアップセーフティＩＣユニット６０から出力されたバックアップ制御信号を選択して出力する。

以上のように、本実施形態によると、実施形態１と同様の作用効果が得られる。さらに、本実施形態では、信号処理ＩＣユニット１０ａ，１０ｂ及び認識処理ＩＣユニット２０ａ，２０ｂにおいて、２重処理系としているので、冗長性を確保することができる。具体的には、一方の処理系統が失陥しても、他方の処理系統でバックアップ処理をすることができる。また、一方の処理系統の処理結果を、他方の処理系統の処理結果で検証することができるので、機能安全レベルを向上させることができる。

また、本実施形態では、バックアップセーフティＩＣユニット６０を設けているので、車両または乗員の少なくとも一方に異常が検出された場合に、ルールベースのセーフティバックアップＩＣユニットの判断処理結果を使用することができる。これにより、機能安全レベルを向上させることができる。

ここに開示された技術は、自動車に搭載される車両用制御装置として有用である。

ＣＵ 車両用制御装置
１０ 信号処理ＩＣユニット
２０ 認識処理ＩＣユニット
３０ 判断処理ＩＣユニット
６０ バックアップセーフティＩＣユニット

Claims (2)

1. 車両用制御装置であって、
   車両に設置されたカメラの出力を受信し、そのカメラの出力に対して画像処理を行い、画像データとして出力する画像処理部を有する信号処理ＩＣ（Integrated Circuit）ユニットと、
   前記画像処理部で処理された前記画像データを受信し、深層学習を利用して構築された外部環境モデルに基づく画像認識処理により車両の周囲を表した統合マップを作成するマップ生成部と、前記統合マップに基づいて道路上であって障害物を回避しかつ安全性スコア及び燃費スコアが小さくなる走行経路候補を生成して出力する経路生成部とを有する認識処理ＩＣユニットと、
   前記認識処理ＩＣユニットから出力された前記走行経路候補に沿って走行する際の車両の目標運動を決定する目標運動決定部と、前記目標運動決定部で決定された目標運動を実現するための駆動力と制動力と操舵角を算出し、その算出結果に基づいて自車両の駆動と制動と操舵を制御する信号である走行制御信号を出力する算出部とを有する判断処理ＩＣユニットとを備え、
   前記信号処理ＩＣユニット、前記認識処理ＩＣユニットおよび前記判断処理ＩＣユニットは、互いに物理的に分離された３チップ構成となっている
   ことを特徴とする車両用制御装置。
2. 車両用制御装置であって、
   車両に設置されたカメラの出力を受信し、そのカメラの出力に対して画像処理を行い、その画像処理で得られた画像データを出力する信号処理ＩＣ（Integrated Circuit）ユニットと、
   前記信号処理ＩＣユニットとは別ユニットとして構成され、前記画像データを受信し、その画像データに基づいて車両の外部環境の認識処理を行い、その認識処理で得られた外部環境データを出力する認識処理ＩＣユニットと、
   前記信号処理ＩＣユニット及び前記認識処理ＩＣユニットとは別ユニットとして構成され、前記外部環境データを受信し、その外部環境データに基づいて車両の走行制御のための判断処理をし、その判断処理結果に基づく走行制御信号を出力する判断処理ＩＣユニットとを備え、
   前記信号処理ＩＣユニットから出力された画像データを受信し、深層学習を利用せずに、所定のルールに基づいて前記画像データから車両の外部環境の認識処理を行い、その認識処理で得られた外部環境に基づいて車両の走行制御のための判断処理をするバックアップセーフティＩＣユニットをさらに備え、
   前記判断処理ＩＣユニットは、前記バックアップセーフティＩＣユニットの判断処理の結果を受信し、車両または乗員の少なくとも一方に異常が検出された場合に、前記走行制御信号に代えて、前記バックアップセーフティＩＣユニットの判断処理結果に基づくバックアップ走行制御信号を出力する
   ことを特徴とする車両用制御装置。

Images