JP7255707B2 - 信号機認識方法及び信号機認識装置 - Google Patents

Description

本発明は、信号機認識方法及び信号機認識装置に関する。

特許文献１によれば、インフラが整備されていない交通環境において運転支援を実施するため、自車両の周囲の車両状況や画像認識に基づく信号機の点灯色（灯火現示）を判定した後に、自車両の停止位置までの距離、車速に基づいて自車両の制動を開始する技術が提案されている。

特許５９３６２５８号公報

しかしながら、特許文献１に記載の技術によれば、画像認識の精度を上げるため、時系列で並んだ複数の画像を参照して信号機の現示状態を判定した場合、信号機の灯火現示が「青信号」（「進んでも良い」の意味を表す色信号）から「青信号」以外の色信号に遷移した際、灯火現示が遷移してから実際に車両の制動を開始するまでに遅れ時間が生じ、車両の空走距離が長くなるおそれがある。その結果、車両が停止位置で停止するための減速加速度が大きくなってしまい、乗員に違和感を与えるおそれがある。

本発明は、上記問題に鑑みてなされたものであり、その目的とするところは、車両の空走距離が長くなることを抑制しつつ、時系列で並んだ複数の画像を参照して信号機の現示状態を判定し、信号機の認識を行うことができる信号機認識方法及び信号機認識装置を提供することにある。

上述した問題を解決するために、本発明の一態様に係る信号機認識方法及び信号機認識装置は、車両の進行方向を撮像した複数枚の画像に基づいて信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、車両の位置から信号機に対応する停止線の位置までの第１距離が距離閾値以上である場合に第１閾値を個数閾値に設定し、第１距離が距離閾値未満である場合に第１閾値よりも小さい第２閾値を個数閾値に設定し、結果列を構成する判定結果のうち、最新の判定結果と同一の判定結果の個数が個数閾値よりも多い場合に、判定結果を出力する。

本発明によれば、車両の空走距離が長くなることを抑制しつつ、時系列で並んだ複数の画像を参照して信号機の現示状態を判定し、信号機の認識を行うことができる。

図１は、本発明の一実施形態に係る信号機認識装置の構成を示すブロック図である。 図２は、本発明の一実施形態に係る信号機認識装置の処理手順を示すフローチャートである。 図３は、車両と信号機の間の位置関係の例を示す模式図である。 図４は、時系列順の複数の判定結果からなる結果列の例を示す図である。 図５Ａは、結果列に対応する出力値の変化の第１の例を示す図である。 図５Ｂは、結果列に対応する出力値の変化の第２の例を示す図である。 図６は、本発明の一実施形態に係る信号機認識装置の処理手順の変形例を示すフローチャートである。

次に、図面を参照して、本発明の実施の形態を詳細に説明する。説明において、同一のものには同一符号を付して重複説明を省略する。

［信号機認識装置の構成］
図１は、本実施形態に係る信号機認識装置の構成を示すブロック図である。図１に示すように、本実施形態に係る信号機認識装置は、撮像部７１と、コントローラ１００とを備え、コントローラ１００は、有線あるいは無線の通信路によって、撮像部７１、車載センサ７３、地図情報取得部７５、車両制御装置４００と接続されている。

ここで、撮像部７１、車載センサ７３、車両制御装置４００は、図示しない車両に搭載されるが、地図情報取得部７５、コントローラ１００は、車両に搭載されるものであってもよいし、車両の外部に設置されるものであってもよい。

撮像部７１は、車両の進行方向の画像を撮像する。例えば、撮像部７１はＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、車両の周囲を撮像して周辺領域のデジタル画像を取得する。撮像部７１は、焦点距離、レンズの画角、カメラの垂直方向及び水平方向の角度などが設定されることにより、車両の周囲の所定の範囲を撮像する。

なお、撮像部７１によって撮像された撮像画像はコントローラ１００に出力され、所定の期間の間、図示しない記憶部に記憶される。例えば、撮像部７１は所定の時間間隔で撮像画像を取得しており、所定の時間間隔で取得した撮像画像が、過去画像として記憶部に記憶される。過去画像は、当該過去画像の撮像時点から所定の期間を経過した後に削除されるものであってもよい。

車載センサ７３は、車両に搭載された、レーザレーダやミリ波レーダ、カメラなど、車両の周囲に存在する物体を検出する物体検出センサなどからなる。車載センサ７３は、複数の異なる種類の物体検出センサを備えるものであってもよい。

車載センサ７３は、車両の周囲の環境を検出する。例えば、車載センサ７３は、他車両、バイク、自転車、歩行者を含む移動物体、及び停止車両を含む静止物体を検出し、移動物体及び静止物体の車両に対する位置、姿勢、大きさ、速度、加速度、減速度、ヨーレートなどを検出するものであってもよい。車載センサ７３は、検出結果として、例えば車両の上方の空中から眺めた天頂図（平面図ともいう）における、２次元の物体の挙動を出力するものであってもよい。また、車載センサ７３は、車両の周囲に存在する標識（道路標識や路面表示された標識）やガイドレール等を検出するものであってもよい。その他にも、車載センサ７３は、車両が備える車輪の回転速度や回転速度差を検出して、車両が走行している車線の路面の滑りやすさを検出するものであってもよい。

また、車載センサ７３は、車両の周囲の環境の他にも、車両の状態を検出する。例えば、車載センサ７３は、車両の移動速度（前後方向、左右方向の移動速度、旋回速度）や、車両が備える車輪の転舵角、転舵角の変化速度を検出するものであってもよい。

その他、車載センサ７３は、ＧＰＳ（グローバル・ポジショニング・システム）やオドメトリなど車両の絶対位置を計測する位置検出センサなど、車両の絶対位置を計測する位置検出センサを用いて、車両の絶対位置、すなわち、所定の基準点に対する車両の位置、姿勢及び速度を計測するセンサを含んでいてもよい。

地図情報取得部７５は、車両が走行する道路の構造を示す地図情報を取得する。地図情報取得部７５が取得する地図情報には、車線の絶対位置、車線の接続関係、相対位置関係などの道路構造の情報が含まれる。また、地図情報取得部７５が取得する地図情報には、駐車場、ガソリンスタンドなどの施設情報も含まれうる。その他、地図情報には、信号機の位置情報や、信号機の種別、信号機に対応する停止線の位置などが含まれうる。地図情報取得部７５は、地図情報を格納した地図データベースを所有してもよいし、クラウドコンピューティングにより地図情報を外部の地図データサーバから取得してもよい。また、地図情報取得部７５は、車車間通信、路車間通信を用いて地図情報を取得してもよい。

車両制御装置４００は、コントローラ１００によって得られた信号機の認識結果に基づいて、図示しない車両を制御する。例えば、車両制御装置４００は、所定の走行経路に従って自動運転によって車両を走行させるものであってもよいし、車両の乗員の運転操作を支援するものであってもよい。その他、車両制御装置４００は、信号機の認識結果を車両の乗員に通知する通報装置であってもよい。

コントローラ１００（制御部または処理部の一例）は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。コントローラ１００には、信号機認識装置の一部として機能させるためのコンピュータプログラム（信号機認識プログラム）がインストールされている。コンピュータプログラムを実行することにより、コントローラ１００は、信号機認識装置が備える複数の情報処理回路（１１０、１２０、１３０、１５０、１５５、１６０、１８０、１９０）として機能する。

なお、ここでは、ソフトウェアによって信号機認識装置が備える複数の情報処理回路（１１０、１２０、１３０、１５０、１５５、１６０、１８０、１９０）を実現する例を示す。ただし、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路（１１０、１２０、１３０、１５０、１５５、１６０、１８０、１９０）を構成することも可能である。また、複数の情報処理回路（１１０、１２０、１３０、１５０、１５５、１６０、１８０、１９０）を個別のハードウェアにより構成してもよい。更に、情報処理回路（１１０、１２０、１３０、１５０、１５５、１６０、１８０、１９０）は、車両にかかわる他の制御に用いる電子制御ユニット（ＥＣＵ）と兼用してもよい。

コントローラ１００は、複数の情報処理回路（１１０、１２０、１３０、１５０、１５５、１６０、１８０、１９０）として、自己位置取得部１１０、停止位置取得部１２０、算出部１３０、判定部１５０、判定結果記憶部１５５、閾値設定部１８０、出力決定部１９０、出力部１６０を備える。

自己位置取得部１１０は、車載センサ７３を介して、車両の絶対位置、すなわち、所定の基準点に対する車両の現在の位置を取得する。その他、自己位置取得部１１０は、車載センサ７３を介して車両の現在の速度、加速度、姿勢を取得するものであってもよい。

停止位置取得部１２０は、自己位置取得部１１０により取得した車両の現在の位置、姿勢に基づいて、地図情報取得部７５が取得した地図情報を検索し、車両の進行方向に位置する信号機を抽出する。そして、停止位置取得部１２０は、抽出した信号機に対応する停止線の位置を地図情報から取得する。なお、停止位置取得部１２０は、撮像部７１によって撮像可能な範囲にある信号機を抽出するものであってもよい。

算出部１３０は、車両の位置から停止線の位置までの距離Ｄ（第１距離）を算出する。
なおここで、上記においては自己位置取得部１１０が取得した車両の現在の位置と、停止位置取得部１２０が地図情報に基づいて取得した信号機に対応した停止線の位置から、上記車両の位置から停止線の位置までの距離Ｄ（第１距離）を算出する例を示したが、これに限定されない。

例えば、停止位置取得部１２０は、撮像部７１によって撮像した画像から車両の進行方向に位置する信号機を抽出すると共に、抽出した信号機から所定距離内あるいは最も近い停止線を信号機に対応する停止線として抽出し、抽出した停止線の画像上の位置に基づいて車両の位置から停止線の位置までの距離Ｄ（第１距離）を算出しても良い。車両の位置から停止線の位置までの距離Ｄ（第１距離）の算出方法は適宜変更可能であり、限定されない。

また、算出部１３０は、停止位置取得部１２０が取得した停止線の位置に基づいて、車両が所定減速加速度で減速して停止線の手前で停車できるか否かを推定するものであってもよい。具体的には、算出部１３０は、抽出した信号機ごとに、車両の現在の位置と停止線の位置の間の距離Ｄを算出する。そして、算出部１３０は、車両の現在の速度Ｖの２乗を距離Ｄの２倍で割ることにより、車両が停止線で停止する際の減速加速度αの大きさを算出する。

すなわち、減速加速度αの大きさは以下の式（１）で評価できる。
α＝Ｖ＾２／２Ｄ ・・・（１）

そして、算出部１３０は、算出した減速加速度αの大きさが、所定減速加速度βの大きさよりも大きい場合に、車両は所定減速加速度βで減速して停止線の手前で停車できないと推定するものであってもよい。

なお、算出部１３０は、減速加速度αを算出して停車の可否を推定する代わりに、所定減速加速度βで減速して停車する際の予想停止位置を算出し、停止線が予想停止位置と車両の間にある場合に、車両が停止線の手前で停車できないと推定するものであってもよい。具体的には、算出部１３０は、車両の現在の速度Ｖの２乗を所定減速加速度βの２倍で割ることにより、車両が所定減速加速度βで減速して停車するまでに移動する制動距離Ｄ＿Ｂを算出するものであってもよい。

すなわち、制動距離Ｄ＿Ｂは以下の式（２）で評価できる。
Ｄ＿Ｂ＝Ｖ＾２／２β ・・・（２）

そして、算出部１３０は、車両の現在の位置から車両の進行方向に制動距離Ｄ＿Ｂだけ進んだ位置を予想停止位置とし、停止線が予想停止位置と車両の間にある場合に、車両が停止線の手前で停車できないと推定するものであってもよい。つまり、車両から見て、車両の進行方向に沿って停止線よりも予想停止位置が遠くにある場合には、車両が停止線の手前で停車できないと推定するものであってもよい。

その他、算出部１３０は、車両の空走距離Ｄ＿Ｆを算出するものであってもよい。具体的には、所定周期（後述する判定部１５０において、判定対象となる画像の撮像の周期）と、個数閾値ＮＣ（後述する閾値設定部１８０において設定され、後述する出力決定部１９０において使用される値）と、車両の速度を乗算して、空走距離Ｄ＿Ｆを算出するものであってもよい。

算出部１３０は、制動距離Ｄ＿Ｂに基づいて、後述する閾値設定部１８０において使用される距離閾値Ｄ＿Ｈを設定するものであってもよい。具体的には、制動距離Ｄ＿Ｂを距離閾値Ｄ＿Ｈとして設定するものであってもよいし、または、制動距離Ｄ＿Ｂと空走距離Ｄ＿Ｆの和を、距離閾値Ｄ＿Ｈとして設定するものであってもよい。

閾値設定部１８０は、後述する出力決定部１９０において使用される値である、個数閾値ＮＣを、距離Ｄ（第１距離）に基づいて設定する（閾値設定処理）。なお、個数閾値ＮＣは、コントローラ１００の初回起動時に所定の初期値に設定され、その後、閾値設定部１８０によって更新される。

具体的には、閾値設定部１８０は、距離Ｄと距離閾値Ｄ＿Ｈとを比較し、閾値設定部１８０は、距離Ｄが距離閾値Ｄ＿Ｈ以上である場合に、第１閾値を個数閾値ＮＣに設定し、距離Ｄが距離閾値Ｄ＿Ｈ未満である場合に、第１閾値よりも小さい第２閾値を個数閾値ＮＣに設定する。すなわち、閾値設定部１８０は、距離Ｄが距離閾値Ｄ＿Ｈ以上である場合に設定される個数閾値ＮＣよりも小さい個数閾値ＮＣを、距離Ｄが距離閾値Ｄ＿Ｈ未満である場合に設定する。

なお、第１閾値及び第２閾値は、撮像部７１の性能や、後述する判定結果記憶部１５５で保持する結果列の長さ、所定周期等に基づいて決定されるものであってもよい。

図３を用いて、閾値設定部１８０によって設定される個数閾値ＮＣについて説明する。図３は、車両と信号機の間の位置関係の例を示す模式図である。

仮に、制動距離Ｄ＿Ｂが距離閾値Ｄ＿Ｈとして設定されたとする。この場合、図３において、位置ＰＳと位置Ｐ２によって挟まれる区間では、第１閾値が個数閾値ＮＣに設定される。一方、位置Ｐ２と位置ＰＥによって挟まれる区間では、第２閾値が個数閾値ＮＣに設定される。

仮に、制動距離Ｄ＿Ｂと空走距離Ｄ＿Ｆの和が距離閾値Ｄ＿Ｈとして設定されたとする。この場合、図３において、位置ＰＳと位置Ｐ１によって挟まれる区間では、第１閾値が個数閾値ＮＣに設定される。一方、位置Ｐ１と位置ＰＥによって挟まれる区間では、第２閾値が個数閾値ＮＣに設定される。

なお、閾値設定部１８０は、距離Ｄが距離閾値Ｄ＿Ｈ未満である場合であっても、車両が停止線の手前で停止する際の減速加速度が所定減速加速度よりも大きい場合には、第１閾値を個数閾値ＮＣに設定するものであってもよい。すなわち、車両が停止線の手前で停止する際の減速加速度が所定減速加速度よりも大きくなることが避けられない場合には、信号機の認識の精度をなるべく高く維持することを目的として、第１閾値を個数閾値ＮＣに設定する。

その他、閾値設定部１８０は、距離Ｄから距離閾値Ｄ＿Ｈを減算して空走可能距離Ｄ＿ＣＦ（第２距離）を算出し、所定周期と車両の速度の積で空走可能距離Ｄ＿ＣＦを除算して候補値を算出し、既に設定された個数閾値ＮＣよりも候補値が小さい場合に、候補値を個数閾値ＮＣに設定するものであってもよい。これにより、個数閾値ＮＣは、距離Ｄおよび車両の速度の両者に基づいて設定される。特に、距離Ｄが小さいほど個数閾値ＮＣは小さく設定される。また、車両の速度が小さいほど、個数閾値ＮＣは大きく設定される。

さらに、閾値設定部１８０は、後述する判定部１５０により、信号機が点灯していないと判定された場合（判定部１５０による最新の判定結果が、現示状態が不明であるとする判定結果の場合）には、個数閾値ＮＣを設定せず、既に設定されている個数閾値ＮＣの値を維持するものであってもよい。

なお、閾値設定部１８０は、対象としている信号機に対応する停止線を車両が通過した後に、個数閾値ＮＣを初期値にリセットする。

判定部１５０は、信号機に対応する検出領域を、撮像部７１で撮像した画像上に設定する。ここで、「検出領域」とは、画像内で信号機があると推定される領域を意味する。撮像範囲内に写り込む信号機の画像内での位置は、撮像部７１の撮像方向、撮像時の車両の位置、姿勢、信号機の位置に基づいて推定することができる。判定部１５０は、例えば、撮像した画像の一部領域であって、画像内での推定した信号機の位置を含む領域を、検出領域として設定する。

そして、判定部１５０は、検出領域に対して画像処理を実行して、検出領域内の信号機を検出し、信号機の現示状態を判定する。判定部１５０は、例えば、テンプレートマッチングにより信号機を検出する。テンプレートマッチングは、標準の信号機の画像をテンプレートとして、それを１画素ずつずらしながら検出領域を走査し、例えば輝度の分布の相関を計算する。そして、相関が最も高い値となった場合にテンプレートがある画像上の位置に信号機があると検出する。

信号機が示す「色信号」には、「青信号」、「黄信号」、「赤信号」が含まれる。「色信号」が表す意味は、車両が従うべき交通法規等によって定まり、例えば、「青信号」は「進んでも良い」の意味を表し、「赤信号」は、「停止位置で止まれ」の意味を表し、「黄信号」は、「停止位置に近接しているため安全に停止することができない場合を除き、停止位置で止まれ」の意味を表す。

このような「青信号」、「黄信号」、「赤信号」の識別は、３つの「色信号」のうち、最も輝度レベルの高い「色信号」が点灯しているとして行うものであってもよい。

その他、信号機は「色信号」のみならず、信号機が設置された交差点において車両に許可される方向を示す「矢印信号」を示すものであってもよい。「右折信号」「直進信号」「左折信号」などが挙げられる。

「矢印信号」は、「右折信号」「直進信号」「左折信号」にとどまらず、信号機が設置された交差点の構造に応じて様々なバリエーションが考えられる。「矢印信号」が表す意味は、車両が従うべき交通法規等によって定まる。

判定部１５０は、検出領域に対して画像処理を実行して、信号機の現示状態として、信号機の「色信号」や「矢印信号」の点灯状態を判定する。

なお、判定部１５０での信号機検出の画像処理は、サポートベクターマシンやニューラルネットワークなどの機械学習を利用してもよい。信号機を検出する場合、予め大きさの異なる信号機のテンプレートが格納された学習データベースを備えておき、信号機までの距離に応じて参照する学習データベースを使い分けることで認識率の向上が図れる。

判定結果記憶部１５５は、判定部１５０によって判定された信号機の現示状態を記憶する。具体的には、撮像部７１によって取得された時系列順の複数の画像に対して、判定部１５０が順次判定を行い、得られた判定結果を順次、判定結果記憶部１５５は判定部１５０から取得する。そして、判定結果記憶部１５５は、時系列順の複数の判定結果を結果列として記憶する。

図４を用いて、判定結果記憶部１５５によって記憶される結果列の構造について説明する。図４は、時系列順の複数の判定結果からなる結果列の例を示す図である。以下では説明の簡略化のため、判定部１５０で得られる判定結果は、「青信号」、「黄信号」、「赤信号」、「不明」（現示状態が不明であるとする判定結果）の４種類であるとする。図４において、判定結果である「青信号」、「黄信号」、「赤信号」、「不明」は、それぞれ記号「Ｇ」、「Ｙ」、「Ｒ」、「―」で示されている。

なお、判定部１５０による判定結果が「不明」となる理由としては、例えば、フリッカー現象（信号機ランプがＬＥＤランプのように周期的に点滅しているランプである場合に、撮像部７１による撮像タイミングに依存して撮像画像中の輝度が変化する現象）やローリングシャッター現象（撮像部７１での撮像方式に起因して、撮像画像中の位置ごとに撮像タイミングがずれる現象）などにより、信号機がちらつく場合が挙げられる。

判定結果記憶部１５５によって記憶される判定結果の個数Ｎは、あらかじめ設定されている。すなわち、結果列を構成する判定結果の個数Ｎは、個数閾値ＮＣより多い所定個数として、あらかじめ設定されている。

判定結果記憶部１５５によって記憶されるＮ個の判定結果には、それぞれ０からＮ－１までの添字が付与される。ここで添字０の判定結果は、判定部１５０によって得られた最新の判定結果であり、判定結果に付与された添字が増えるにしたがって、順に古い判定結果であることを意味する。

判定結果記憶部１５５に新しい判定結果が１個入力されると、判定結果記憶部１５５は、判定結果に付与された添字を１だけ増加させ、判定結果記憶部１５５に入力された新しい判定結果に添字０を付与する。添字がＮとなった判定結果は、消去される。

このようにして、判定結果記憶部１５５には、０からＮ－１までの添字が付与された判定結果が、結果列として記憶される。

その他、判定結果記憶部１５５は、判定結果の補完機能を備えていてもよい。具体的には、判定結果記憶部１５５において記憶されている結果列を構成する判定結果の中に、「不明」が含まれている場合、当該「不明」の直前の判定結果と当該「不明」の直後の判定結果に基づいて、当該「不明」の判定結果を置き換えるものであってもよい。

例えば、図４に示す結果列において、添字２の判定結果は「不明」となっている。この場合、判定結果記憶部１５５は、添字２の判定結果の直前にある添字３の判定結果と、添字２の判定結果の直後にある添字１の判定結果を参照する。添字１の判定結果と添字３の判定結果は両者ともに「黄信号」である。そのため、添字２の判定結果は「不明」ではなく、添字２の判定結果の直前にある添字３の判定結果である「黄信号」としてもよい。

このように、判定結果記憶部１５５は、結果列を構成する判定結果のうち、現示状態が不明であるとする判定結果を第１判定結果として抽出し、結果列を構成する判定結果のうち、現示状態が不明であるとする判定結果を除いた判定結果の中から、第１判定結果の直前の判定結果、及び、第１判定結果の直後の判定結果を、それぞれ、第２判定結果、及び、第３判定結果として抽出し、第２判定結果と第３判定結果が同一である場合に、結果列内の第１判定結果を第２判定結果で置き換えるものであってもよい。

信号機のちらつきにより、判定部１５０によって信号機の現示状態を判定できない場合が生じる状況において、上述した判定結果記憶部１５５による判定結果の補完機能は、信号機の認識精度を向上させるのに有効である。

上述の説明では、判定結果記憶部１５５に記憶される判定結果はＮ個であるとして説明したが、これに限定されない。

例えば、判定結果記憶部１５５は、判定結果の個数の代わりに、判定結果の元となった画像の撮像時刻に基づいて、判定結果を記憶するか否かを決定してもよい。より具体的には、判定結果記憶部１５５は、撮像してから所定時間以上経過した撮像画像に対応する判定結果を消去するようにして、判定結果記憶部１５５に記憶される判定結果は、現在から所定時間過去までに撮像された画像に対応するもののみであるとしてもよい。

撮像部７１によって画像を所定周期で撮像する際には、判定結果記憶部１５５に記憶される判定結果の個数を、個数Ｎに基づいて制限する場合と、所定時間に基づいて制限する場合とで結果は同じである。

一方、撮像部７１によって画像を所定周期ではない不特定のタイミングで撮像する際には、個数Ｎに基づいて制限する場合と、所定時間に基づいて制限する場合とで結果が変わりうる。しかしながら、記憶される判定結果の個数を、個数Ｎに基づいて制限する場合と、所定時間に基づいて制限する場合のいずれの場合であっても、判定結果記憶部１５５の構成として採用できる。

出力決定部１９０は、閾値設定部１８０によって設定された個数閾値ＮＣと、判定結果記憶部１５５に記憶された結果列に基づいて、出力値を決定する。具体的には、出力決定部１９０は、結果列を構成する判定結果のうち最新の判定結果（添字０の判定結果）と同一の判定結果の個数が、個数閾値ＮＣよりも多い場合に、添字０の判定結果を出力値とする。

なお、出力決定部１９０は、結果列を構成する判定結果のうち最新の判定結果（添字０の判定結果）と同一の判定結果の個数が、個数閾値ＮＣ以下である場合に、前回の出力値のままで出力値を維持するものであってもよい。

出力決定部１９０による出力値の決定の様子を、図５Ａを用いて説明する。図５Ａは、結果列に対応する出力値の変化の第１の例を示す図である。

図５Ａにおいて、結果列を構成する判定結果の個数Ｎは８であり、個数閾値ＮＣは４であるとする。また、撮像部７１で取得した画像は、時系列順にフレームＦ００１からフレームＦ０１０であり、各フレームに対して、判定部１５０による、判定結果が得られているとする。また、図５Ａに示す例では、判定結果記憶部１５５による判定結果の補完機能は無効になっているとする。

図５Ａにおいて、例えばフレームＦ００１の行を参照すると、結果列の左側にある「Ｇ」との表示は、フレームＦ００１に対する判定部１５０の判定結果が「青信号」であることを意味する。また、結果列の右側にある「Ｇ」との表示は、フレームＦ００１の判定結果が結果列に入力された時点において、出力決定部１９０が決定した出力値が「青信号」であることを意味する。他のフレームＦ００２～フレームＦ０１０についても同様に表示されている。

仮に、信号機の現示状態がフレームＦ００４の撮像時点で青信号であったものが、フレームＦ００５の撮像時点で黄信号に変わったとする。この場合、図５ＡのフレームＦ００５の行で示されているように、結果列において判定結果「Ｙ」と同じ判定結果の個数は１であり、個数閾値ＮＣ以下の値となっている。したがって、出力決定部１９０は、出力値を直前の出力値である「青信号」のまま維持する。

図５Ａにおいて、出力決定部１９０によって決定される出力値が「青信号」から「黄信号」に変化するのは、フレームＦ０１０の時点である。図５ＡのフレームＦ０１０の行を参照すると、結果列において判定結果「Ｙ」と同じ判定結果の個数は５であり、個数閾値ＮＣより大きな値となっている。したがって、出力決定部１９０は、フレームＦ０１０の時点で出力値を「黄信号」とする。

図５Ａに示す例では、信号機の現示状態が実際に変化してから、出力決定部１９０による出力値が変化するまでに５フレーム分の時間遅れが発生している。時間遅れの間に車両が走行する距離が、車両の空走距離となる。

設定される個数閾値ＮＣが小さいほど、信号機の現示状態が実際に変化してから出力値が変化するまでの時間遅れが小さくなることについて、図５Ｂを用いて説明する。図５Ｂは、結果列に対応する出力値の変化の第２の例を示す図である。

図５Ｂに示す例では、図５Ａに示す例とは異なり、個数閾値ＮＣは２であるとする。図５Ｂにおいて、出力決定部１９０によって決定される出力値が「青信号」から「黄信号」に変化するのは、フレームＦ００８の時点である。この場合、信号機の現示状態が実際に変化してから出力値が変化するまでの時間遅れは３フレーム分となる。

さらに、図５Ｂにおいて、判定結果記憶部１５５による判定結果の補完機能は有効になっているとすると、フレームＦ００７に対する判定結果が判定結果記憶部１５５に記憶された時点で、添字１の判定結果の補完が行われ、添字１の判定結果は「不明」から「黄信号」となる。その結果、出力決定部１９０によって決定される出力値が「青信号」から「黄信号」に変化するのは、フレームＦ００７の時点となる。この場合、信号機の現示状態が実際に変化してから出力値が変化するまでの時間遅れは２フレーム分となる。

このように、信号機の現示状態が実際に変化してから出力値が変化するまでの時間遅れを小さくして空走距離を短くするためには、個数閾値ＮＣを小さくすることが望ましい。一方で、信号機の認識の精度を向上させるためには、個数閾値ＮＣを大きくすることが望ましい。つまり、信号機の認識の精度を向上させることと、時間遅れを小さくして空走距離を短くすることの間には、トレードオフの関係がある。

したがって、車両が停止線から遠い場合と比較して、車両が停止線に近い場合には、空走距離を短くするため、閾値設定部１８０は個数閾値ＮＣを小さく設定することが望ましい。また、信号機の現示状態が青信号である場合と比較して、信号機の現示状態が黄信号や赤信号である場合には、空走距離を短くするため、閾値設定部１８０は個数閾値ＮＣを小さく設定することが望ましい。

出力部１６０は、出力決定部１９０によって決定された出力値を、信号機の現示状態として出力する。例えば、信号機の現示状態は、出力部１６０から車両制御装置４００に出力され、車両の制御に使用される。その他、信号機の現示状態は、出力部１６０から図示しない通報装置に出力され、通報装置を介して乗員に通知されてもよい。

［信号機認識装置の処理手順］
次に、本実施形態に係る信号機認識装置による信号機認識の処理手順を、図２及び図６のフローチャートを参照して説明する。図２は、本実施形態に係る信号機認識装置の処理手順を示すフローチャートである。図６は、本実施形態に係る信号機認識装置の処理手順の変形例を示すフローチャートである。

図２及び図６に示す信号機認識の処理は、撮像部７１で画像を取得するたびに実行されるものであってもよいし、撮像部７１で画像を取得した後、検出領域に対して画像処理を実行する周期ごとに実行されるものであってもよい。

図２では、ステップＳ１０１において、自己位置取得部１１０は、車載センサ７３を介して車両の絶対位置を取得する。

ステップＳ１０３において、停止位置取得部１２０は、自己位置取得部１１０により取得した車両の現在の位置、姿勢に基づいて、地図情報取得部７５が取得した地図情報を検索し、車両の進行方向に位置する信号機を抽出する。そして、停止位置取得部１２０は、抽出した信号機に対応する停止線の位置を地図情報から取得する。

ステップＳ１０５において、算出部１３０は、車両の位置から停止線の位置までの距離Ｄ（第１距離）を算出する。その他、算出部１３０は、距離閾値Ｄ＿Ｈを算出する。

ステップＳ１０７において、判定部１５０は、撮像部７１で撮像した画像に基づいて、信号機の現示状態を判定する。

ステップＳ１０９において、判定結果記憶部１５５は、判定部１５０によって判定された信号機の現示状態を記憶する。

ステップＳ１４１において、閾値設定部１８０は、信号機が点灯しているか否かを判定する。具体的には、判定結果記憶部１５５に記憶された結果列のうち、添字０の判定結果を参照して、信号機が点灯しているか否かを判定する。

信号機が点灯していない場合（ステップＳ１４１でＮＯの場合）、ステップＳ１４５において、閾値設定部１８０は個数閾値ＮＣを維持する。信号機が点灯している場合（ステップＳ１４１でＹＥＳの場合）、ステップＳ１４３に進む。

ステップＳ１４３において、閾値設定部１８０は、距離Ｄが距離閾値Ｄ＿Ｈ未満であるか否かを判定する。

距離Ｄが距離閾値Ｄ＿Ｈ以上である場合（ステップＳ１４３でＮＯの場合）、ステップＳ１４６において、閾値設定部１８０は第１閾値を個数閾値ＮＣに設定する。距離Ｄが距離閾値Ｄ＿Ｈ未満である場合（ステップＳ１４３でＹＥＳの場合）、ステップＳ１４７において、第１閾値よりも小さい第２閾値を個数閾値ＮＣに設定する。

ステップＳ１４５、ステップＳ１４６、ステップＳ１４７にて個数閾値ＮＣの設定が終了した後、ステップＳ１７１において、出力決定部１９０は、判定結果記憶部１５５に記憶された結果列に基づいて、出力値を決定する。

ステップＳ１７３において、出力部１６０は、出力決定部１９０によって決定された信号機の現示状態を出力する。出力された信号機の現示状態は、例えば、車両制御装置４００において使用される。

なお、上述したステップＳ１４１、Ｓ１４３、Ｓ１４５、Ｓ１４６、Ｓ１４７の代わりに、図６のフローチャートに示すように、閾値設定部１８０は、空走可能距離Ｄ＿ＣＦを算出することで個数閾値ＮＣを設定するものであってもよい。

図６では、ステップＳ１５１において、閾値設定部１８０は、距離Ｄから距離閾値Ｄ＿Ｈを減算して空走可能距離Ｄ＿ＣＦ（第２距離）を算出する。

ステップＳ１５３において、閾値設定部１８０は、所定周期と車両の速度の積で空走可能距離Ｄ＿ＣＦを除算して候補値を算出し、既に設定された個数閾値ＮＣよりも候補値が小さい場合に、候補値を個数閾値ＮＣに設定する。

図２及び図６のフローチャートによって示される処理が繰り返し実行されることにより、個数閾値ＮＣが順次更新される。

［実施形態の効果］
以上詳細に説明したように、本実施形態に係る信号機認識方法及び信号機認識装置は、車両の進行方向を撮像した複数枚の画像に基づいて信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、車両の位置から信号機に対応する停止線の位置までの第１距離が距離閾値以上である場合に第１閾値を個数閾値に設定し、第１距離が距離閾値未満である場合に第１閾値よりも小さい第２閾値を個数閾値に設定し、結果列を構成する判定結果のうち、最新の判定結果と同一の判定結果の個数が個数閾値よりも多い場合に、判定結果を出力する。

これにより、車両の空走距離が長くなることを抑制しつつ、時系列で並んだ複数の画像を参照して信号機の現示状態を判定し、信号機の認識を行うことができる。特に、信号機に対応する停止線までの車両の距離が距離閾値よりも短くなった場合に、信号機の現示状態の出力を早期に実施することができるようになり、車両の空走距離を低減することができる。

また、本実施形態に係る信号機認識方法及び信号機認識装置は、車両が所定減速加速度で減速した場合に停止までに走行する制動距離を算出し、制動距離に基づいて、距離閾値を設定するものであってもよい。これにより、車両の現在の速度と、信号機の停止線までの距離に基づいて、信号機の現示状態を決定する際の個数閾値を決定でき、車両の空走距離が長くなることを抑制しつつ、信号機の認識を行うことができる。

さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、複数の画像を撮像する際の所定周期と個数閾値と車両の速度を乗算して空走距離を算出し、空走距離と制動距離の和を距離閾値として設定するものであってもよい。車両の現在の速度から推定される車両の空走距離に基づいて、信号機の現示状態を決定する際の個数閾値を決定でき、車両の空走距離が長くなることを確実に抑制しつつ、信号機の認識を行うことができる。

また、本実施形態に係る信号機認識方法及び信号機認識装置は、第１距離に基づいて個数閾値を設定する際、第１距離が距離閾値未満であり、かつ、結果列を構成する判定結果のうち最新の判定結果が、現示状態が不明であるとする判定結果以外であり、かつ、現示状態は停止線の通過を許可する許可表示であるとする判定結果以外である場合に、第２閾値を個数閾値に設定するものであってもよい。これにより、信号機の現示状態が青信号から黄信号に遷移した場合には、個数閾値ＮＣを小さくすることで早期に信号機の現示状態を出力することができ、画像認識処理の遅れによる空走距離を短くすることができる。

さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、第１距離に基づいて個数閾値を設定する際、第１距離が距離閾値未満であり、かつ、車両が停止線の手前で停止する際の減速加速度が所定減速加速度以下である場合に、第２閾値を個数閾値に設定するものであってもよい。これにより、車両が所定減速加速度では停止できない位置にまで停止線に接近した場合には、第１閾値を個数閾値に設定し、それ以外の場合に、第１閾値よりも小さい第２閾値を個数閾値に設定され、対象とする停止線を越えて次の停止線において用いる個数閾値ＮＣをあらかじめ設定することができる。

また、本実施形態に係る信号機認識方法及び信号機認識装置は、第１距離から距離閾値を減算して第２距離を算出し、複数の画像を撮像する際の所定周期と車両の速度の積で第２距離を除算して候補値を算出し、設定された個数閾値よりも候補値が小さい場合に、候補値を個数閾値に設定するものであってもよい。これにより、画像認識の精度が低くなる停止線から遠い位置では、大きな個数閾値を設定することで画像認識の精度を向上させることができ、一方、画像認識の精度が高くなる停止線から近い位置では、大きな個数閾値を設定することで空走距離を短くすることができる。

さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、結果列は、個数閾値よりも多い所定個数の判定結果から構成されるものであってもよい。これにより、出力値を決定するために必要な個数の判定結果を記憶することができ、確実に、信号機の認識の精度を向上させることができる。

また、本実施形態に係る信号機認識方法及び信号機認識装置は、結果列を構成する判定結果のうち、現示状態が不明であるとする判定結果を第１判定結果として抽出し、結果列を構成する判定結果のうち、現示状態が不明であるとする判定結果を除いた判定結果の中から、第１判定結果の直前の判定結果、及び、第１判定結果の直後の判定結果を、それぞれ、第２判定結果、及び、第３判定結果として抽出し、第２判定結果と第３判定結果が同一である場合に、結果列内の第１判定結果を第２判定結果で置き換えるものであってもよい。

これにより、信号機のちらつきにより、信号機の現示状態を判定できない場合が生じる状況においても、信号機の現示状態が実際に変化してから出力値が変化するまでの時間遅れを抑制でき、その結果、車両の空走距離を低減することができる。

上述の実施形態で示した各機能は、１又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサや、電気回路などが含まれ、さらには、特定用途向けの集積回路（ＡＳＩＣ）のような装置や、記載された機能を実行するよう配置された回路構成要素なども含まれる。

以上、実施形態に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。この開示の一部をなす論述および図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例および運用技術が明らかとなろう。

本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

７１ 撮像部
７３ 車載センサ
７５ 地図情報取得部
１００ コントローラ
１１０ 自己位置取得部
１２０ 停止位置取得部
１３０ 算出部
１５０ 判定部
１５５ 判定結果記憶部
１６０ 出力部
１８０ 閾値設定部
１９０ 出力決定部
４００ 車両制御装置

Claims (9)

1. 車両に搭載された撮像部とコントローラとを備える信号機認識装置に係る信号機認識方法であって、
   前記コントローラは、
   前記撮像部を用いて前記車両の進行方向にある信号機を複数回撮像して、複数の画像を取得し、
   前記画像ごとに前記信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、
   前記信号機に対応する停止線の位置を取得し、
   前記車両の位置から前記停止線の位置までの第１距離を算出し、
   前記第１距離に基づいて個数閾値を設定する際、
   前記第１距離が距離閾値以上である場合に、第１閾値を前記個数閾値に設定し、
   前記第１距離が距離閾値未満である場合に、前記第１閾値よりも小さい第２閾値を前記個数閾値に設定し、
   前記結果列を構成する判定結果のうち最新の判定結果と同一の判定結果の個数が、前記個数閾値よりも多い場合に、前記判定結果を出力すること
   を特徴とする信号機認識方法。
2. 請求項１に記載の信号機認識方法であって、
   前記コントローラは、
   前記車両が所定減速加速度で減速した場合に停止までに走行する制動距離を算出し、
   前記制動距離に基づいて、前記距離閾値を設定すること
   を特徴とする信号機認識方法。
3. 請求項２に記載の信号機認識方法であって、
   前記複数の画像は、所定周期ごとに撮像された画像であって、
   前記コントローラは、
   前記所定周期と前記個数閾値と前記車両の速度を乗算して空走距離を算出し、
   前記空走距離と前記制動距離の和を前記距離閾値として設定すること
   を特徴とする信号機認識方法。
4. 請求項１～３のいずれか一項に記載の信号機認識方法であって、
   前記コントローラは、前記第１距離に基づいて前記個数閾値を設定する際、
   前記第１距離が距離閾値未満であり、かつ、
   前記結果列を構成する判定結果のうち最新の判定結果が、前記現示状態が不明であるとする判定結果以外であり、かつ、前記現示状態は前記停止線の通過を許可する許可表示であるとする判定結果以外である場合に、
   前記第２閾値を前記個数閾値に設定すること
   を特徴とする信号機認識方法。
5. 請求項１～４のいずれか一項に記載の信号機認識方法であって、
   前記コントローラは、前記第１距離に基づいて前記個数閾値を設定する際、
   前記第１距離が距離閾値未満であり、かつ、
   前記車両が前記停止線の手前で停止する際の減速加速度が所定減速加速度以下である場合に、
   前記第２閾値を前記個数閾値に設定すること
   を特徴とする信号機認識方法。
6. 請求項１～５のいずれか一項に記載の信号機認識方法であって、
   前記複数の画像は、所定周期ごとに撮像された画像であって、
   前記コントローラは、
   前記第１距離から前記距離閾値を減算して第２距離を算出し、
   前記所定周期と前記車両の速度の積で前記第２距離を除算して候補値を算出し、
   設定された前記個数閾値よりも前記候補値が小さい場合に、前記候補値を前記個数閾値に設定すること
   を特徴とする信号機認識方法。
7. 請求項１～６のいずれか一項に記載の信号機認識方法であって、
   前記結果列は、前記個数閾値よりも多い所定個数の判定結果から構成されること
   を特徴とする信号機認識方法。
8. 請求項１～７のいずれか一項に記載の信号機認識方法であって、
   前記コントローラは、
   前記結果列を構成する判定結果のうち、前記現示状態が不明であるとする判定結果を第１判定結果として抽出し、
   前記結果列を構成する判定結果のうち、前記現示状態が不明であるとする判定結果を除いた判定結果の中から、前記第１判定結果の直前の判定結果、及び、前記第１判定結果の直後の判定結果を、それぞれ、第２判定結果、及び、第３判定結果として抽出し、
   前記第２判定結果と前記第３判定結果が同一である場合に、前記結果列内の前記第１判定結果を前記第２判定結果で置き換えること
   を特徴とする信号機認識方法。
9. 車両に搭載された撮像部と、コントローラとを備える信号機認識装置であって、
   前記コントローラは、
   前記撮像部を用いて前記車両の進行方向にある信号機を複数回撮像して、複数の画像を取得し、
   前記画像ごとに前記信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、
   前記信号機に対応する停止線の位置を取得し、
   前記車両の位置から前記停止線の位置までの第１距離を算出し、
   前記第１距離に基づいて個数閾値を設定する際、
   前記第１距離が距離閾値以上である場合に、第１閾値を前記個数閾値に設定し、
   前記第１距離が距離閾値未満である場合に、前記第１閾値よりも小さい第２閾値を前記個数閾値に設定し、
   前記結果列を構成する判定結果のうち、最新の判定結果と同一の判定結果の個数が、前記個数閾値よりも多い場合に、前記判定結果を出力すること
   を特徴とする信号機認識装置。

Images