JP7715120B2 - 異常検知装置、異常検知方法及び異常検知用コンピュータプログラム - Google Patents

Description

本発明は、車両の周囲を表す画像に基づいて異常を検知する異常検知装置、異常検知方法及び異常検知用コンピュータプログラムに関する。

車両を安全に自動運転制御するために、車両が走行する道路の路面の状況を判定できることが好ましい。これに対して、路面の状態を検知する技術が提案されている（特許文献１を参照）。

特許文献１に記載された路面状態検知装置は、対象路面上の各計測点と計測装置との距離を示す距離情報に基づいて、対象路面の形状を検知し、対象路面が凹形状又は凸形状の領域を含む場合に、その領域が異常状態であるか否かを判定する。その際、この路面状態検知装置は、その領域の正常状態での形状に基づいて、その領域が異常状態であるか否かを判定する。また、この路面状態検知装置は、その領域を撮像することで得られた撮像画像と、その領域の正常状態を示す参照画像とを比較することによってその領域が異常状態であるか否かを判定する。

特開２０１９－８２３７７号公報

車両の進路上に、落下物のような障害物が存在することがある。このような障害物は、色、形状及びサイズが予め特定されないような物体であることがある。そのため、このような障害物は、画像から所定の物体を検出するための識別器を用いても精度良く検出することができないおそれがある。その結果として、車両の進路上の路面について、車両が走行可能か否かを精度良く判定することが困難なことがある。

そこで、本発明は、車両の通常走行を妨げる異常の検知精度を向上することが可能な異常検知装置を提供することを目的とする。

一つの実施形態によれば、異常検知装置が提供される。この異常検知装置は、車両の周囲を表す画像を、路面の状況を表す特徴量を抽出するよう予め学習された特徴抽出器に入力することで特徴量を抽出する抽出部と、車両が通常走行可能な許容範囲を表す正常範囲に特徴量が含まれない場合に、車両が通常走行可能でない異常な状況を検知する検知部と、車両が通常走行した期間内に得られた複数の画像のそれぞれから抽出された、路面の状況を表す通常走行特徴量の分布に基づいて正常範囲を変更する変更部とを有する。

この異常検知装置は、事前設定された正常範囲に含まれる、路面の状況を表す複数の基準特徴量を記憶する記憶部をさらに有することが好ましい。そして変更部は、複数の基準特徴量と複数の通常走行特徴量との分布を近似するように正常範囲を変更することが好ましい。

他の実施形態によれば、異常検知方法が提供される。この異常検知方法は、車両の周囲を表す画像を、路面の状況を表す特徴量を抽出するよう予め学習された特徴抽出器に入力することで特徴量を抽出し、車両が通常走行可能な許容範囲を表す正常範囲に特徴量が含まれない場合に、車両が通常走行可能でない異常な状況を検知し、車両が通常走行した期間内に得られた複数の画像のそれぞれから抽出された、路面の状況を表す通常走行特徴量の分布に基づいて正常範囲を変更することを含む。

さらに他の実施形態によれば、異常検知用コンピュータプログラムが提供される。この異常検知用コンピュータプログラムは、車両の周囲を表す画像を、路面の状況を表す特徴量を抽出するよう予め学習された特徴抽出器に入力することで特徴量を抽出し、車両が通常走行可能な許容範囲を表す正常範囲に特徴量が含まれない場合に、車両が通常走行可能でない異常な状況を検知し、車両が通常走行した期間内に得られた複数の画像のそれぞれから抽出された、路面の状況を表す通常走行特徴量の分布に基づいて正常範囲を変更する、ことを車両に搭載されたプロセッサに実行させる命令を含む。

本開示による異常検知装置は、車両の通常走行を妨げる異常の検知精度を向上することができるという効果を奏する。

異常検知装置が実装される車両制御システムの概略構成図である。 異常検知装置の一つの実施形態である電子制御装置のハードウェア構成図である。 異常検知処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 本実施形態による正常範囲の変更の一例を説明する図である。 本実施形態による正常範囲の変更の他の一例を説明する図である。 異常検知処理を含む車両制御処理の動作フローチャートである。 異常検知処理のうちの正常範囲の変更に関する処理の動作フローチャートである。

以下、図を参照しつつ、異常検知装置、及び、異常検知装置において実施される異常検知方法ならびに異常検知用コンピュータプログラムについて説明する。この異常検知装置は、車両に設けられた撮像部により生成された車両の周囲を表す画像を特徴抽出器に入力することで、路面の状況を表す特徴量を抽出する。また、この異常検知装置は、抽出された特徴量が、車両が通常走行可能な許容範囲を表す正常範囲に含まれるか否か判定し、その特徴量が正常範囲から外れる場合、自車線において車両が通常走行可能でない異常な状況を検知する。さらに、この異常検知装置は、車両が通常走行できた所定の期間に得られた複数の画像のそれぞれから抽出された特徴量の分布を近似するように正常範囲を変更する。

なお、車両が通常走行可能であるとは、車両が何らかの障害物との接触を避けるための所定の減速度以上の減速あるいは所定の操舵量以上の操舵を行うことなく、車両が走行可能であることを表す。また、障害物は、例えば、路面上に落下した落下物といった、本来路面上に存在するべきでない何らかの立体的な構造物、あるいは、路面に形成されたポットホールといった、段差を伴う路面の欠陥である。

以下では、異常検知装置を、車両制御装置に適用した例について説明する。

図１は、異常検知装置が実装される車両制御システムの概略構成図である。車両制御システム１は、車両１０に搭載され、かつ、車両１０を制御する。そのために、車両制御システム１は、カメラ２と、異常検知装置の一例である電子制御装置（ＥＣＵ）３とを有する。カメラ２とＥＣＵ３とは、コントローラエリアネットワークといった通信規格に準拠した車内ネットワークを介して互いに通信可能に接続される。なお、車両制御システム１は、車両制御システム１は、LiDARあるいはレーダといった、車両１０から車両１０の周囲に存在する物体までの距離を測定する測距センサ（図示せず）を有していてもよい。さらに、車両制御システム１は、GPS受信機といった、衛星からの信号に基づいて車両１０の位置を測位するための測位機器（図示せず）を有していてもよい。さらにまた、車両制御システム１は、目的地までの走行予定ルートを探索するためのナビゲーション装置（図示せず）を有していてもよい。さらにまた、車両制御システム１は、車両１０の自動運転制御において参照される地図情報を記憶するストレージ装置（図示せず）を有していてもよい。

カメラ２は、車両１０の周囲を表す画像を生成する撮像部の一例である。カメラ２は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。カメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両１０には、撮影方向または焦点距離が異なる２台以上のカメラが設けられてもよい。

カメラ２は、画像を生成する度に、その生成した画像を、車内ネットワークを介してＥＣＵ３へ出力する。

ＥＣＵ３は、所定の状況下において車両１０を自動運転制御するよう構成される。

図２は、異常検知装置の一例であるＥＣＵ３のハードウェア構成図である。図２に示されるように、ＥＣＵ３は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１、メモリ２２及びプロセッサ２３は、それぞれ、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。

通信インターフェース２１は、ＥＣＵ３とカメラ２とを接続するためのインターフェース回路を有する。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ３のプロセッサ２３により実行される、異常検知処理を含む車両制御処理において使用される各種のデータを記憶する。例えば、メモリ２２は、走路領域の検出のために利用される識別器を特定するためのパラメータ、及び、路面の状況を表す特徴量を抽出するために用いられる特徴抽出器を特定するためのパラメータを記憶する。さらに、メモリ２２は、事前設定された正常範囲（以下、事前正常範囲と呼ぶ）、事前正常範囲に含まれる複数の基準特徴量、及び、変更後の正常範囲を記憶する。さらに、メモリ２２は、カメラ２から受け取った画像を一時的に記憶する。さらにまた、メモリ２２は、車両制御処理の途中で生成される各種のデータ、例えば、正常範囲の変更のために利用される、車両１０の走行中に得られた複数の特徴量を一時的に記憶する。

プロセッサ２３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０に対する車両制御処理を実行する。

図３は、異常検知処理を含む車両制御処理に関する、プロセッサ２３の機能ブロック図である。プロセッサ２３は、抽出部３１と、検知部３２と、車両制御部３３と、収集部３４と、変更部３５とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、これらの各部のうち、車両制御部３３以外の各部が異常検知処理に関するものである。

抽出部３１は、所定の周期ごとに、カメラ２からＥＣＵ３が受け取った最新の画像から、路面の状況を表す特徴量（以下では、この特徴量を、路面状況特徴量と呼ぶことがある）を抽出する。そのために、抽出部３１は、路面状況特徴量を抽出するように予め学習された特徴抽出器に画像を入力する。特徴抽出器は、例えば、VGG16、VGG19あるいはResNetといった、複数の畳み込み層と、それら畳み込み層よりも出力側に１以上の全結合層及びsoftmax演算等を実行する出力層を有するコンボリューショナルニューラルネットワーク型(CNN)のアーキテクチャを持つディープニューラルネットワーク(DNN)により構成される。ただし、最も出力側の畳み込み層（あるいは、最も出力側の畳み込み層とその層よりも入力側の何れかの畳み込み層）から出力される特徴マップが、特徴抽出器により出力される路面状況特徴量として利用される。特徴抽出器により出力される路面状況特徴量は、例えば、一つまたは複数の要素値を有する特徴量ベクトルとして表される。

特徴抽出器は、路面に限らず、様々な種類の物体の何れかが表された多数の画像を用いて、それらの物体の分類が可能なように、誤差逆伝搬法といった所定の学習手法に従って予め学習される。これにより、路面状況特徴量として利用される特徴マップは、画像に表される様々な情報を凝縮したものとなる。そのため、特徴抽出器は、車両１０が走行中の道路の路面の状況を表す路面状況特徴量を出力することが可能となる。すなわち、特徴抽出器は、車両１０が走行中の道路の路面の状況が異常なときとそうでないときとで異なる値を持つ路面状況特徴量を出力することが可能となる。

あるいは、特徴抽出器として、Auto-EncoderあるいはStacked What-Where Auto-Encodersといった、いわゆる教師無し学習により予め学習されるDNNが用いられてもよい。この場合、特徴抽出器は、入力側から順に、入力されたデータ（本実施形態では、画像）よりも次元が削減された特徴量を出力する符号化器と、符号化器から出力された特徴量が入力される復号器とを有する。そして特徴抽出器は、上記のような多数の画像を用いて、符号化器に入力されるデータと復号器から出力されるデータとが同じとなるように予め学習される。そして、学習済みの特徴抽出器に画像を入力することで符号化器が出力する特徴量が、路面状況特徴量として得られる。これらのような特徴抽出器を用いることで、抽出部３１は、色、形状及びサイズが不定な障害物がカメラ２の撮影範囲に存在する場合でも、車両１０が走行中の道路の路面の状況を適切に表す路面状況特徴量を得ることができる。

変形例によれば、抽出部３１は、画像上で車両１０が走行中の車線（以下、自車線と呼ぶことがある）が表された走路領域を特定し、特定した走路領域を特徴抽出器に入力することで、路面状況特徴量を抽出してもよい。これにより、自車線の周囲の状況が路面状況特徴量の抽出に影響することが抑制されるので、抽出部３１は、路面状況特徴量をより適切に抽出することができる。この場合、抽出部３１は、カメラ２から取得した画像を、走路領域を識別するように予め学習された識別器に入力することで、走路領域を特定する。抽出部３１は、そのような識別器として、CNN型のアーキテクチャを持つDNNを用いることができる。より具体的に、識別器として、画素ごとに、その画素に表されている物体を識別するセマンティックセグメンテーション用のDNN、例えば、Fully Convolutional Network(FCN)またはU-netが用いられる。あるいは、抽出部３１は、識別器として、ランダムフォレストといった、ニューラルネットワーク以外の機械学習手法に基づく、セマンティックセグメンテーション用の識別器を用いてもよい。識別器は、走路領域が表された多数の教師画像を用いて、誤差逆伝搬法といった所定の学習手法に従って予め学習される。抽出部３１は、識別器が出力した、自車線が表されているとする画素の集合を、走路領域とする。

あるいは、抽出部３１は、上記のような識別器を用いる代わりに、画像解析によって画像から自車線を区画する二つの車線区画線を検出し、検出した二つの車線区画線で挟まれた領域を走路領域としてもよい。一般に、車線区画線は、その周囲の路面よりも明るい色（白または黄色）を有する。そのため、画像上において、車線区画線が表された画素の輝度値は、その周囲の路面が表された画素の輝度値よりも高くなる。そこで、抽出部３１は、画像上で路面が表されていると想定される範囲内において輝度値が所定値以上となる画素を抽出する。あるいは、抽出部３１は、水平方向において隣接する二つの画素間の輝度差が所定の閾値以上となるときの輝度値が高い方の画素を抽出してもよい。そして抽出部３１は、抽出した画素の集合を直線で近似することで、個々の車線区画線を検出し、画像の左右それぞれにおいて、画像の中央に最も近い車線区画線を、自車線を区画する車線区画線とする。

特徴抽出器が画像上の走路領域のみに基づいて路面状況特徴量を抽出する場合、抽出部３１は、画像において走路領域以外の各画素の値を所定値に置換することで走路領域以外をマスクする。そして抽出部３１は、走路領域以外がマスクされた画像を特徴抽出器に入力すればよい。あるいは、抽出部３１は、画像から走路領域を切り出し、切り出した走路領域を特徴抽出器に入力してもよい。この場合、切り出した走路領域が所定の形状及びサイズを持つ領域となるよう、抽出部３１は、切り出した走路領域に対してアップサンプリング、ダウンサンプリングあるいはパディングなどの前処理を実行してもよい。そして抽出部３１は、前処理が施された走路領域を特徴抽出器に入力するようにしてもよい。これにより、特徴抽出器に入力される走路領域の形状及びサイズが一定となるので、特徴抽出器を簡単化することが可能となる。

抽出部３１は、抽出した路面状況特徴量を検知部３２へわたす。

検知部３２は、抽出部３１から受け取った路面状況特徴量が、メモリ２２から読み込んだ正常範囲に含まれるか否か判定する。正常範囲は、上記のように、路面状況特徴量に対する、車両１０が通常走行可能な許容範囲を表す。検知部３２は、変更部３５により正常範囲が変更されるまでは、メモリ２２に予め記憶された事前正常範囲を使用し、変更部３５により正常範囲が変更された後は、変更後の正常範囲を使用する。そして検知部３２は、正常範囲に、抽出部３１により抽出された路面状況特徴量が含まれない場合に、自車線において車両１０が通常走行可能でない異常な状況を検知する。一方、正常範囲に路面状況特徴量が含まれる場合、検知部３２は、そのような異常な状況を検知しない。

検知部３２は、異常な状況を検知したか否かの判定結果を車両制御部３３へ通知する。

車両制御部３３は、検知部３２から異常な状況が検知されたことが通知されると、その異常な状況によって車両１０に危険が生じることがないよう、車両１０の各部を制御する。例えば、車両制御部３３は、異常な状況が検知されたことが通知されると、車両１０を所定の減速度で減速させる。

車両制御部３３は、設定された減速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３３は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３３は、設定されたアクセル開度に応じた電力を、車両１０を駆動するためのモータへ供給させるように、そのモータへの電力供給装置を制御する。あるいはまた、車両制御部３３は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。

さらに、車両制御部３３は、車両１０の車室内に設けられた通知機器を介して、ドライバに対して異常な状況が検知されたことを表す警告を通知してもよい。例えば、通知機器の一例として表示装置が設けられている場合、車両制御部３３は、表示装置に、異常な状況が検知されたことを表す警告メッセージまたはアイコンを表示させる。また、通知機器の他の一例としてスピーカが設けられている場合、車両制御部３３は、スピーカに、異常な状況が検知されたことを表す警告音声を出力させる。さらに、通知機器の他の一例として、ドライバシートまたはステアリングに振動子が設けられている場合、車両制御部３３は、その振動子を振動させる。さらにまた、通知機器の他の一例として、１以上の光源が設けられている場合、車両制御部３３は、各光源のうち、異常な状況が検知されたことに相当する光源を点灯または点滅させる。また、複数の通知機器が車室内に設けられている場合、車両制御部３３は、それら複数の通知機器のうちの二つ以上を介して、異常な状況が検知されたことを表す警告を通知してもよい。

あるいは、車両制御部３３は、車両１０に適用される自動運転制御のレベルを低下させてもよい。例えば、Society of Automotive Engineers(SAE)により規定される、いわゆるレベル３の自動運転制御が車両１０に対して適用されている場合、車両制御部３３は、車両１０に適用される自動運転制御レベルを、レベル０～レベル２の何れかのレベルに低下させる。また、車両１０に対して適用されている自動運転制御のレベルがレベル２の運転制御である場合、車両制御部３３は、車両１０に適用される自動運転制御レベルを、レベル０またはレベル１に低下させる。あるいは、車両制御部３３は、車両１０のドライバに対してステアリングを保持することを要求してもよい。この場合も、車両制御部３３は、車両１０の車室内に設けられた通知機器を介して、ドライバに対して自動運転制御のレベルを変更することを通知する。すなわち、通知機器の一例として表示装置が設けられている場合、車両制御部３３は、表示装置に、適用される自動運転制御のレベルを変更すること、及び、変更後のレベルを表す通知メッセージまたはアイコンを表示させる。また、通知機器の他の一例としてスピーカが設けられている場合、車両制御部３３は、スピーカに、適用される自動運転制御のレベルを変更すること、及び、変更後のレベルを表す通知音声を出力させる。さらに、通知機器の他の一例として、ドライバシートまたはステアリングに振動子が設けられている場合、車両制御部３３は、その振動子を、適用される自動運転制御のレベルの変更に応じた方式で振動させる。さらにまた、通知機器の他の一例として、１以上の光源が設けられている場合、車両制御部３３は、各光源のうち、変更後の自動運転制御のレベルに相当する光源を点灯または点滅させる。また、複数の通知機器が車室内に設けられている場合、車両制御部３３は、それら複数の通知機器のうちの二つ以上を介して、適用される自動運転制御のレベルを変更することを通知してもよい。

あるいはまた、車両制御部３３は、車両１０の減速及び適用される自動運転制御のレベルの変更の何れも実施せず、車室内に設けられた通知機器を介して、ドライバに対して異常な状況が検知されたことを表す警告を通知するだけでもよい。

収集部３４は、車両１０が通常走行できたときの期間内にカメラ２により生成された複数の画像のそれぞれから抽出部３１により抽出された個々の特徴量を、正常範囲の変更に用いる通常走行特徴量として収集する。以下では、車両１０が通常走行できたときの期間を、通常走行期間と呼ぶことがある。また、通常走行期間は、例えば、数秒～10数秒間の所定時間長を有する期間に設定される。

例えば、収集部３４は、車両１０に自動運転制御が適用される前のドライバが車両１０を手動運転している期間（以下、手動運転期間と呼ぶ）において、車両１０の挙動を表すセンサ信号に基づいて通常走行期間を特定する。車両１０の挙動を表すセンサ信号は、例えば、車両１０の加減速度を表すセンサ信号、あるいは、車両１０の操舵角を表すセンサ信号とすることができる。そのために、収集部３４は、手動運転期間において、車両１０の加減速度の測定値を、車両１０に搭載された加速度センサ（図示せず）から取得する。さらに、収集部３４は、手動運転期間において、車両１０の操舵角の測定値を、車両１０に搭載された舵角センサ（図示せず）から取得する。そして収集部３４は、車両１０の加減速度の最大値の絶対値が所定の減速度閾値未満、かつ、車両１０の操舵角の最大値が所定の操舵角閾値未満となることが所定時間長以上継続する期間を、通常走行期間であると判定する。

収集部３４は、通常走行期間中においてカメラ２により生成された複数の画像のそれぞれから抽出部３１により抽出された個々の特徴量を、通常走行特徴量とする。そして収集部３４は、通常走行特徴量をメモリ２２に保存する。

変更部３５は、通常走行期間の終了後において、事前正常範囲を、通常走行特徴量の分布を近似するように変更することで、変更した正常範囲をもとめる。例えば、変更部３５は、メモリ２２から各基準特徴量及び各通常走行特徴量を読み込む。そして変更部３５は、読み込んだ各特徴量の平均値、及び、その平均値から各特徴量のうちの最も遠い特徴量までのユークリッド距離を算出する。変更部３５は、算出した平均値を中心とし、かつ、算出したユークリッド距離を半径とする範囲を、変更後の正常範囲とする。あるいは、変更部３５は、各通常走行特徴量の平均値、及び、各通常走行特徴量の平均値から各通常走行特徴量のうちの最も遠い通常走行特徴量までのユークリッド距離を算出する。変更部３５は、算出した各通常走行特徴量の平均値を中心とし、かつ、算出したユークリッド距離を半径とする範囲を、正常範囲の一つとして追加することで、変更後の正常範囲を求めてもよい。

あるいは、変更部３５は、各基準特徴量及び各通常走行特徴量を含む特徴量の分布を、正規分布あるいは混合正規分布といった確率モデルで近似してもよい。その際、変更部３５は、期待値最大化法といった最尤推定手法にしたがって、特徴量の分布を近似する確率モデルのパラメータを求める。そして変更部３５は、確率モデルにおける、確率が極大となる位置（確率モデルが正規分布の場合、その正規分布の平均値、混合正規分布の場合、混合正規分布に含まれる正規分布ごとの平均値）から所定のマハラノビス距離(例えば、2～3)以下となる範囲を、変更後の正常範囲とする。

変更部３５は、上記のように正常範囲を変更することで、車両１０が走行中の道路の状況に合わせて正常範囲をより適切な範囲に変更することができる。

図４は、本実施形態による正常範囲の変更の一例を説明する図である。図４において、個々の丸印４０１は基準特徴量を表し、個々の星印４０２は通常走行特徴量を表す。また、図４では、便宜上、各特徴量は３次元で表されているが、各特徴量の次元（すなわち、各特徴量が有する要素の数）は、２以下でもよく、あるいは、４以上であってもよい。

事前正常範囲４１０は、基準特徴量４０１の分布を含み、かつ、その分布から外れた特徴量を含まないように設定されている。しかし、車両１０が通常走行できた通常走行期間に得られた通常走行特徴量４０２の分布は、基準特徴量４０１の分布と一致していない。そこで、各基準特徴量４０１及び各通常走行特徴量４０２の分布を近似するように正常範囲は変更される。その際、変更後の正常範囲４２０として示されるように、基準特徴量４０１の分布と通常走行特徴量４０２の分布を一つの範囲として含むように変更後の正常範囲４２０は求められる。あるいは、変更後の正常範囲４３０として示されるように、基準特徴量４０１の分布を含む範囲と通常走行特徴量４０２の分布を含む範囲とが別個に設けられてもよい。このように、図４に示される例では、通常走行特徴量４０２の分布を含むように正常範囲が変更されることで、変更後の正常範囲は、事前正常範囲よりも拡張される。

図５は、本実施形態による正常範囲の変更の他の一例を説明する図である。図５において、個々の丸印５０１は基準特徴量を表し、個々の星印５０２は通常走行特徴量を表す。図４と同様に、図５では、便宜上、各特徴量は３次元で表されているが、各特徴量の次元は、２以下でもよく、あるいは、４以上であってもよい。

図５に示される例でも、事前正常範囲５１０は、基準特徴量５０１の分布を含み、かつ、その分布から外れた特徴量を含まないように設定されている。また、この例では、車両１０が通常走行できた通常走行期間に得られた通常走行特徴量５０２が分布する範囲は、事前正常範囲５１０の一部に限られている。そのため、変更後の正常範囲５２０では、個々の基準特徴量５０１及び個々の通常走行特徴量５０２の分布がより適切に近似されるように、複数の範囲が設定される。あるいは、変更後の正常範囲５３０のように、基準特徴量５０１及び通常走行特徴量５０２が集中している範囲のみが正常範囲に含まれるように正常範囲が変更されてもよい。このように、図５に示される例では、通常走行特徴量５０２の分布を含むように正常範囲が変更されることで、変更後の正常範囲は、事前正常範囲よりも限定される。

図６は、プロセッサ２３により実行される、異常検知処理を含む車両制御処理の動作フローチャートである。プロセッサ２３は、所定の周期ごとに、以下の動作フローチャートに従って車両制御処理を実行する。

プロセッサ２３の抽出部３１は、カメラ２により得られた最新の画像から、路面状況特徴量を抽出する（ステップＳ１０１）。そしてプロセッサ２３の検知部３２は、路面状況特徴量が正常範囲に含まれるか否か判定する（ステップＳ１０２）。路面状況特徴量が正常範囲に含まれない場合（ステップＳ１０２－Ｎｏ）、検知部３２は、車両１０が通常走行可能でない異常な状況を検知する（ステップＳ１０３）。そしてプロセッサ２３の車両制御部３３は、検知された異常な状況によって車両１０に危険が生じることがないよう、車両１０を減速し、あるいは、車両１０に適用される自動運転制御のレベルを低下させる（ステップＳ１０４）。

一方、ステップＳ１０２において、路面状況特徴量が正常範囲に含まれる場合（ステップＳ１０２－Ｙｅｓ）、検知部３２は、車両１０が通常走行可能でない異常な状況を検知しない。そして車両制御部３３は、車両１０に対して現在適用されている車両１０の制御を継続する（ステップＳ１０５）。

ステップＳ１０４またはＳ１０５の後、プロセッサ２３は、車両制御処理を終了する。

図７は、プロセッサ２３により実行される、異常検知処理のうちの正常範囲の変更に関する処理の動作フローチャートである。プロセッサ２３は、車両１０に対して自動運転制御が適用される前に、以下の動作フローチャートに従って正常範囲の変更に関する処理を実行する。

プロセッサ２３の収集部３４は、車両１０の挙動を表すセンサ信号に基づいて、車両１０が通常走行できた通常走行期間を特定する（ステップＳ２０１）。そして収集部３４は、通常走行期間内にカメラ２より生成された複数の画像のそれぞれから、抽出部３１により抽出された個々の特徴量を、通常走行特徴量としてメモリ２２に保存する（ステップＳ２０２）。

プロセッサ２３の変更部３５は、複数の基準特徴量及び複数の通常走行特徴量をメモリ２２から読み出す。そして変更部３５は、これらの特徴量の分布を近似するように正常範囲を変更する（ステップＳ２０３）。ステップＳ２０３の後、プロセッサ２３は、正常範囲の変更に関する処理を終了する。

以上に説明してきたように、この異常検知装置は、車両に設けられた撮像部により生成された車両の周囲を表す画像を特徴抽出器に入力することで、路面状況特徴量を抽出する。そしてこの異常検知装置は、抽出された路面状況特徴量が、車両が通常走行可能なことを表す正常範囲に含まれるか否か判定し、その特徴量が正常範囲から外れる場合、自車線において車両が通常走行可能でない異常な状況を検知する。さらに、この異常検知装置は、通常走行期間に得られた複数の画像のそれぞれから抽出された特徴量の分布を近似するように正常範囲を変更する。これにより、車両が実際に走行した道路の状況に合わせて正常範囲が調整されるので、この異常検知装置は、車両の通常走行を妨げる異常の検知精度を向上することができる。

上記の実施形態または変形例による、ＥＣＵ３のプロセッサ２３の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 車両制御システム
１０ 車両
２ カメラ
３ 電子制御装置(ＥＣＵ、異常検知装置)
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 抽出部
３２ 検知部
３３ 車両制御部
３４ 収集部
３５ 変更部

Claims (5)

1. 車両の周囲を表す画像を、路面の状況を表す特徴量を抽出するよう予め学習された特徴抽出器に入力することで、前記特徴量を抽出する抽出部と、
   前記車両が通常走行可能な許容範囲を表す正常範囲に前記特徴量が含まれない場合に、前記車両が通常走行可能でない異常な状況を検知する検知部と、
   前記車両が通常走行した期間内に得られた複数の前記画像のそれぞれから抽出された、路面の状況を表す通常走行特徴量の分布に基づいて前記正常範囲を変更する変更部と、
   を有する異常検知装置。
2. 事前設定された前記正常範囲に含まれる、路面の状況を表す複数の基準特徴量を記憶する記憶部をさらに有し、
   前記変更部は、前記複数の基準特徴量と複数の前記通常走行特徴量との分布を近似するように前記正常範囲を変更する、請求項１に記載の異常検知装置。
3. 前記期間内に得られた複数の前記画像のそれぞれから抽出された前記通常走行特徴量は、前記特徴抽出器により抽出されたものであり、
   前記変更部は、前記複数の基準特徴量と複数の前記通常走行特徴量との分布を所定の確率モデルで近似し、前記確率モデルにおいて確率が極大となる点を中心とする所定範囲を前記正常範囲とするように前記正常範囲を変更する、請求項２に記載の異常検知装置。
4. 車両の周囲を表す画像を、路面の状況を表す特徴量を抽出するよう予め学習された特徴抽出器に入力することで、前記特徴量を抽出し、
   前記車両が通常走行可能な許容範囲を表す正常範囲に前記特徴量が含まれない場合に、前記車両が通常走行可能でない異常な状況を検知し、
   前記車両が通常走行した期間内に得られた複数の前記画像のそれぞれから抽出された、路面の状況を表す通常走行特徴量の分布に基づいて前記正常範囲を変更する、
   ことを含む異常検知方法。
5. 車両の周囲を表す画像を、路面の状況を表す特徴量を抽出するよう予め学習された特徴抽出器に入力することで、前記特徴量を抽出し、
   前記車両が通常走行可能な許容範囲を表す正常範囲に前記特徴量が含まれない場合に、前記車両が通常走行可能でない異常な状況を検知し、
   前記車両が通常走行した期間内に得られた複数の前記画像のそれぞれから抽出された、路面の状況を表す通常走行特徴量の分布に基づいて前記正常範囲を変更する、
   ことを前記車両に搭載されたプロセッサに実行させるための異常検知用コンピュータプログラム。