JP7255706B2 - 信号機認識方法及び信号機認識装置 - Google Patents

Description

本発明は、信号機認識方法及び信号機認識装置に関する。

特許文献１によれば、点灯状態に制御されている信号機を、消灯状態または点滅状態に制御されていると誤判定する事態を回避するために、所定数だけ連続する撮像画像において、信号機が消灯していると判定された撮像画像の数が閾値を超えているか否かに基づいて、信号機が消灯または点滅していると判定する技術が提案されている。

特許６２２８４９２号公報

しかしながら、特許文献１に記載の技術によれば、画像認識の精度を上げるため、時系列で並んだ複数の画像を参照して信号機の現示状態を判定した場合、信号機の灯火現示が「青信号」（「進んでも良い」の意味を表す色信号）から「青信号」以外の色信号に遷移した際、灯火現示が実際に遷移してから、遷移後の灯火現示に対応する処理を開始するまでに遅れ時間が生じるという問題がある。

本発明は、上記問題に鑑みてなされたものであり、その目的とするところは、信号機の現示状態が実際に遷移してから、遷移後の現示状態に対応する処理を開始するまでの遅れ時間を抑制しつつ、時系列で並んだ複数の画像を参照して信号機の現示状態を判定し、信号機の認識を行うことができる信号機認識方法及び信号機認識装置を提供することにある。

上述した問題を解決するために、本発明の一態様に係る信号機認識方法及び信号機認識装置は、車両の進行方向を撮像した複数枚の画像に基づいて信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、結果列を構成する判定結果のうち最新の特定判定結果が、現示状態は信号機に対応する停止線の通過を許可する許可表示であるとする判定結果である場合に、第１閾値を個数閾値に設定し、特定判定結果が、現示状態は許可表示であるとする判定結果以外である場合に、第１閾値よりも小さい第２閾値を個数閾値に設定し、特定判定結果と同一の判定結果の個数が個数閾値よりも多い場合に、特定判定結果を出力する。

本発明によれば、信号機の現示状態が実際に遷移してから、遷移後の現示状態に対応する処理を開始するまでの遅れ時間を抑制しつつ、時系列で並んだ複数の画像を参照して信号機の現示状態を判定し、信号機の認識を行うことができる。

図１は、本発明の一実施形態に係る信号機認識装置の構成を示すブロック図である。 図２は、本発明の一実施形態に係る信号機認識装置の処理手順を示すフローチャートである。 図３は、本発明の一実施形態に係る信号機認識装置の処理手順の変形例を示すフローチャートである。 図４は、時系列順の複数の判定結果からなる結果列の例を示す図である。 図５Ａは、結果列に対応する出力値の変化の第１の例を示す図である。 図５Ｂは、結果列に対応する出力値の変化の第２の例を示す図である。

次に、図面を参照して、本発明の実施の形態を詳細に説明する。説明において、同一のものには同一符号を付して重複説明を省略する。

［信号機認識装置の構成］
図１は、本実施形態に係る信号機認識装置の構成を示すブロック図である。図１に示すように、本実施形態に係る信号機認識装置は、撮像部７１と、コントローラ１００とを備え、コントローラ１００は、有線あるいは無線の通信路によって、撮像部７１、車載センサ７３、地図情報取得部７５、車両制御装置４００と接続されている。

ここで、撮像部７１、車載センサ７３、車両制御装置４００は、図示しない車両に搭載されるが、地図情報取得部７５、コントローラ１００は、車両に搭載されるものであってもよいし、車両の外部に設置されるものであってもよい。

撮像部７１は、車両の進行方向の画像を撮像する。例えば、撮像部７１はＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、車両の周囲を撮像して周辺領域のデジタル画像を取得する。撮像部７１は、焦点距離、レンズの画角、カメラの垂直方向及び水平方向の角度などが設定されることにより、車両の周囲の所定の範囲を撮像する。

なお、撮像部７１によって撮像された撮像画像はコントローラ１００に出力され、所定の期間の間、図示しない記憶部に記憶される。例えば、撮像部７１は所定の時間間隔で撮像画像を取得しており、所定の時間間隔で取得した撮像画像が、過去画像として記憶部に記憶される。過去画像は、当該過去画像の撮像時点から所定の期間を経過した後に削除されるものであってもよい。

車載センサ７３は、車両に搭載された、レーザレーダやミリ波レーダ、カメラなど、車両の周囲に存在する物体を検出する物体検出センサなどからなる。車載センサ７３は、複数の異なる種類の物体検出センサを備えるものであってもよい。

車載センサ７３は、車両の周囲の環境を検出する。例えば、車載センサ７３は、他車両、バイク、自転車、歩行者を含む移動物体、及び停止車両を含む静止物体を検出し、移動物体及び静止物体の車両に対する位置、姿勢、大きさ、速度、加速度、減速度、ヨーレートなどを検出するものであってもよい。車載センサ７３は、検出結果として、例えば車両の上方の空中から眺めた天頂図（平面図ともいう）における、２次元の物体の挙動を出力するものであってもよい。また、車載センサ７３は、車両の周囲に存在する標識（道路標識や路面表示された標識）やガイドレール等を検出するものであってもよい。その他にも、車載センサ７３は、車両が備える車輪の回転速度や回転速度差を検出して、車両が走行している車線の路面の滑りやすさを検出するものであってもよい。

また、車載センサ７３は、車両の周囲の環境の他にも、車両の状態を検出する。例えば、車載センサ７３は、車両の移動速度（前後方向、左右方向の移動速度、旋回速度）や、車両が備える車輪の転舵角、転舵角の変化速度を検出するものであってもよい。

その他、車載センサ７３は、ＧＰＳ（グローバル・ポジショニング・システム）やオドメトリなど車両の絶対位置を計測する位置検出センサなど、車両の絶対位置を計測する位置検出センサを用いて、車両の絶対位置、すなわち、所定の基準点に対する車両の位置、姿勢及び速度を計測するセンサを含んでいてもよい。

地図情報取得部７５は、車両が走行する道路の構造を示す地図情報を取得する。地図情報取得部７５が取得する地図情報には、車線の絶対位置、車線の接続関係、相対位置関係などの道路構造の情報が含まれる。また、地図情報取得部７５が取得する地図情報には、駐車場、ガソリンスタンドなどの施設情報も含まれうる。その他、地図情報には、信号機の位置情報や、信号機の種別、信号機に対応する停止線の位置などが含まれうる。地図情報取得部７５は、地図情報を格納した地図データベースを所有してもよいし、クラウドコンピューティングにより地図情報を外部の地図データサーバから取得してもよい。また、地図情報取得部７５は、車車間通信、路車間通信を用いて地図情報を取得してもよい。

車両制御装置４００は、コントローラ１００によって得られた信号機の認識結果に基づいて、図示しない車両を制御する。例えば、車両制御装置４００は、所定の走行経路に従って自動運転によって車両を走行させるものであってもよいし、車両の乗員の運転操作を支援するものであってもよい。その他、車両制御装置４００は、信号機の認識結果を車両の乗員に通知する通報装置であってもよい。

コントローラ１００（制御部または処理部の一例）は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。コントローラ１００には、信号機認識装置の一部として機能させるためのコンピュータプログラム（信号機認識プログラム）がインストールされている。コンピュータプログラムを実行することにより、コントローラ１００は、信号機認識装置が備える複数の情報処理回路（１５０、１５５、１６０、１８０、１９０）として機能する。

なお、ここでは、ソフトウェアによって信号機認識装置が備える複数の情報処理回路（１５０、１５５、１６０、１８０、１９０）を実現する例を示す。ただし、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路（１５０、１５５、１６０、１８０、１９０）を構成することも可能である。また、複数の情報処理回路（１５０、１５５、１６０、１８０、１９０）を個別のハードウェアにより構成してもよい。更に、情報処理回路（１５０、１５５、１６０、１８０、１９０）は、車両にかかわる他の制御に用いる電子制御ユニット（ＥＣＵ）と兼用してもよい。

コントローラ１００は、複数の情報処理回路（１５０、１５５、１６０、１８０、１９０）として、判定部１５０、判定結果記憶部１５５、閾値設定部１８０、出力決定部１９０、出力部１６０を備える。

判定部１５０は、信号機に対応する検出領域を、撮像部７１で撮像した画像上に設定する。ここで、「検出領域」とは、画像内で信号機があると推定される領域を意味する。撮像範囲内に写り込む信号機の画像内での位置は、撮像部７１の撮像方向、撮像時の車両の位置、姿勢、信号機の位置に基づいて推定することができる。判定部１５０は、例えば、撮像した画像の一部領域であって、画像内での推定した信号機の位置を含む領域を、検出領域として設定する。

そして、判定部１５０は、検出領域に対して画像処理を実行して、検出領域内の信号機を検出し、信号機の現示状態を判定する。判定部１５０は、例えば、テンプレートマッチングにより信号機を検出する。テンプレートマッチングは、標準の信号機の画像をテンプレートとして、それを１画素ずつずらしながら検出領域を走査し、例えば輝度の分布の相関を計算する。そして、相関が最も高い値となった場合にテンプレートがある画像上の位置に信号機があると検出する。

信号機が示す「色信号」には、「青信号」、「黄信号」、「赤信号」が含まれる。「色信号」が表す意味は、車両が従うべき交通法規等によって定まり、例えば、「青信号」は「進んでも良い」の意味を表し、「赤信号」は、「停止位置で止まれ」の意味を表し、「黄信号」は、「停止位置に近接しているため安全に停止することができない場合を除き、停止位置で止まれ」の意味を表す。

このような「青信号」、「黄信号」、「赤信号」の識別は、３つの「色信号」のうち、最も輝度レベルの高い「色信号」が点灯しているとして行うものであってもよい。

その他、信号機は「色信号」のみならず、信号機が設置された交差点において車両に許可される方向を示す「矢印信号」を示すものであってもよい。「右折信号」「直進信号」「左折信号」などが挙げられる。

「矢印信号」は、「右折信号」「直進信号」「左折信号」にとどまらず、信号機が設置された交差点の構造に応じて様々なバリエーションが考えられる。「矢印信号」が表す意味は、車両が従うべき交通法規等によって定まる。

判定部１５０は、検出領域に対して画像処理を実行して、信号機の現示状態として、信号機の「色信号」や「矢印信号」の点灯状態を判定する。

なお、判定部１５０での信号機検出の画像処理は、サポートベクターマシンやニューラルネットワークなどの機械学習を利用してもよい。信号機を検出する場合、予め大きさの異なる信号機のテンプレートが格納された学習データベースを備えておき、信号機までの距離に応じて参照する学習データベースを使い分けることで認識率の向上が図れる。

判定結果記憶部１５５は、判定部１５０によって判定された信号機の現示状態を記憶する。具体的には、撮像部７１によって取得された時系列順の複数の画像に対して、判定部１５０が順次判定を行い、得られた判定結果を順次、判定結果記憶部１５５は判定部１５０から取得する。そして、判定結果記憶部１５５は、時系列順の複数の判定結果を結果列として記憶する。

図４を用いて、判定結果記憶部１５５によって記憶される結果列の構造について説明する。図４は、時系列順の複数の判定結果からなる結果列の例を示す図である。以下では説明の簡略化のため、判定部１５０で得られる判定結果は、「青信号」、「黄信号」、「赤信号」、「不明」（現示状態が不明であるとする判定結果）の４種類であるとする。図４において、判定結果である「青信号」、「黄信号」、「赤信号」、「不明」は、それぞれ記号「Ｇ」、「Ｙ」、「Ｒ」、「－」で示されている。

なお、判定部１５０による判定結果が「不明」となる理由としては、例えば、フリッカー現象（信号機ランプがＬＥＤランプのように周期的に点滅しているランプである場合に、撮像部７１による撮像タイミングに依存して撮像画像中の輝度が変化する現象）やローリングシャッター現象（撮像部７１での撮像方式に起因して、撮像画像中の位置ごとに撮像タイミングがずれる現象）などにより、信号機がちらつく場合が挙げられる。

判定結果記憶部１５５によって記憶される判定結果の個数Ｎは、あらかじめ設定されている。すなわち、結果列を構成する判定結果の個数Ｎは、個数閾値ＮＣより多い所定個数として、あらかじめ設定されている。

判定結果記憶部１５５によって記憶されるＮ個の判定結果には、それぞれ０からＮ－１までの添字が付与される。ここで添字０の判定結果は、判定部１５０によって得られた最新の判定結果であり、判定結果に付与された添字が増えるにしたがって、順に古い判定結果であることを意味する。

判定結果記憶部１５５に新しい判定結果が１個入力されると、判定結果記憶部１５５は、判定結果に付与された添字を１だけ増加させ、判定結果記憶部１５５に入力された新しい判定結果に添字０を付与する。添字がＮとなった判定結果は、消去される。

このようにして、判定結果記憶部１５５には、０からＮ－１までの添字が付与された判定結果が、結果列として記憶される。

その他、判定結果記憶部１５５は、判定結果の補完機能を備えていてもよい。具体的には、判定結果記憶部１５５において記憶されている結果列を構成する判定結果の中に、「不明」が含まれている場合、当該「不明」の直前の判定結果と当該「不明」の直後の判定結果に基づいて、当該「不明」の判定結果を置き換えるものであってもよい。

例えば、図４に示す結果列において、添字２の判定結果は「不明」となっている。この場合、判定結果記憶部１５５は、添字２の判定結果の直前にある添字３の判定結果と、添字２の判定結果の直後にある添字１の判定結果を参照する。添字１の判定結果と添字３の判定結果は両者ともに「黄信号」である。そのため、添字２の判定結果は「不明」ではなく、添字２の判定結果の直前にある添字３の判定結果である「黄信号」としてもよい。

このように、判定結果記憶部１５５は、結果列を構成する判定結果のうち、現示状態が不明であるとする判定結果を第１判定結果として抽出し、結果列を構成する判定結果のうち、現示状態が不明であるとする判定結果を除いた判定結果の中から、第１判定結果の直前の判定結果、及び、第１判定結果の直後の判定結果を、それぞれ、第２判定結果、及び、第３判定結果として抽出し、第２判定結果と第３判定結果が同一である場合に、結果列内の第１判定結果を第２判定結果で置き換えるものであってもよい。

信号機のちらつきにより、判定部１５０によって信号機の現示状態を判定できない場合が生じる状況において、上述した判定結果記憶部１５５による判定結果の補完機能は、信号機の認識精度を向上させるのに有効である。

上述の説明では、判定結果記憶部１５５に記憶される判定結果はＮ個であるとして説明したが、これに限定されない。

例えば、判定結果記憶部１５５は、判定結果の個数の代わりに、判定結果の元となった画像の撮像時刻に基づいて、判定結果を記憶するか否かを決定してもよい。より具体的には、判定結果記憶部１５５は、撮像してから所定時間以上経過した撮像画像に対応する判定結果を消去するようにして、判定結果記憶部１５５に記憶される判定結果は、現在から所定時間過去までに撮像された画像に対応するもののみであるとしてもよい。

撮像部７１によって画像を所定周期で撮像する際には、判定結果記憶部１５５に記憶される判定結果の個数を、個数Ｎに基づいて制限する場合と、所定時間に基づいて制限する場合とで結果は同じである。

一方、撮像部７１によって画像を所定周期ではない不特定のタイミングで撮像する際には、個数Ｎに基づいて制限する場合と、所定時間に基づいて制限する場合とで結果が変わりうる。しかしながら、記憶される判定結果の個数を、個数Ｎに基づいて制限する場合と、所定時間に基づいて制限する場合のいずれの場合であっても、判定結果記憶部１５５の構成として採用できる。

閾値設定部１８０は、後述する出力決定部１９０において使用される値である、個数閾値ＮＣを、信号機の現示状態に基づいて設定する（閾値設定処理）。なお、個数閾値ＮＣは、コントローラ１００の初回起動時に所定の初期値に設定され、その後、閾値設定部１８０によって更新される。

具体的には、閾値設定部１８０は、判定結果記憶部１５５に記憶されている結果列を構成する判定結果のうち最新の判定結果を参照し、最新の判定結果が、信号機に対応する停止線の通過を許可する許可表示（「青信号」）である場合には、第１閾値を個数閾値ＮＣに設定する。判定結果が許可表示以外である場合には、第１閾値よりも小さい第２閾値を個数閾値ＮＣに設定する。

その他、閾値設定部１８０は、最新の判定結果が、停止線の通過を禁止する禁止表示（「赤信号」）であるか、又は、許可表示の後であって禁止表示の前に表示される中間表示（「黄信号」）であるかに基づいて個数閾値ＮＣの値を設定するものであってもよい。

例えば、閾値設定部１８０は、最新の判定結果が禁止表示である場合に、第１閾値よりも小さい第３閾値を個数閾値ＮＣに設定するものであってもよい。また、閾値設定部１８０は、最新の判定結果が中間表示である場合に、禁止表示である場合に設定される第３閾値よりも小さい第２閾値を個数閾値ＮＣに設定するものであってもよい。

なお、第１閾値、第２閾値、第３閾値は、撮像部７１の性能や、判定結果記憶部１５５で保持する結果列の長さ、撮像部７１での撮像の周期等に基づいて決定されるものであってもよい。

さらに、閾値設定部１８０は、判定部１５０により、信号機が点灯していないと判定された場合（判定部１５０による最新の判定結果が、現示状態が不明であるとする判定結果の場合）には、個数閾値ＮＣを設定せず、既に設定されている個数閾値ＮＣの値を維持するものであってもよい。

なお、閾値設定部１８０は、対象としている信号機に対応する停止線を車両が通過した後に、個数閾値ＮＣを初期値にリセットする。

出力決定部１９０は、閾値設定部１８０によって設定された個数閾値ＮＣと、判定結果記憶部１５５に記憶された結果列に基づいて、出力値を決定する。具体的には、出力決定部１９０は、結果列を構成する判定結果のうち最新の判定結果（添字０の判定結果）と同一の判定結果の個数が、個数閾値ＮＣよりも多い場合に、添字０の判定結果を出力値とする。

なお、出力決定部１９０は、結果列を構成する判定結果のうち最新の判定結果（添字０の判定結果）と同一の判定結果の個数が、個数閾値ＮＣ以下である場合に、前回の出力値のままで出力値を維持するものであってもよい。

出力決定部１９０による出力値の決定の様子を、図５Ａを用いて説明する。図５Ａは、結果列に対応する出力値の変化の第１の例を示す図である。

図５Ａにおいて、結果列を構成する判定結果の個数Ｎは８であり、個数閾値ＮＣは４であるとする。また、撮像部７１で取得した画像は、時系列順にフレームＦ００１からフレームＦ０１０であり、各フレームに対して、判定部１５０による、判定結果が得られているとする。また、図５Ａに示す例では、判定結果記憶部１５５による判定結果の補完機能は無効になっているとする。

図５Ａにおいて、例えばフレームＦ００１の行を参照すると、結果列の左側にある「Ｇ」との表示は、フレームＦ００１に対する判定部１５０の判定結果が「青信号」であることを意味する。また、結果列の右側にある「Ｇ」との表示は、フレームＦ００１の判定結果が結果列に入力された時点において、出力決定部１９０が決定した出力値が「青信号」であることを意味する。他のフレームＦ００２～フレームＦ０１０についても同様に表示されている。

仮に、信号機の現示状態がフレームＦ００４の撮像時点で青信号であったものが、フレームＦ００５の撮像時点で黄信号に変わったとする。この場合、図５ＡのフレームＦ００５の行で示されているように、結果列において判定結果「Ｙ」と同じ判定結果の個数は１であり、個数閾値ＮＣ以下の値となっている。したがって、出力決定部１９０は、出力値を直前の出力値である「青信号」のまま維持する。

図５Ａにおいて、出力決定部１９０によって決定される出力値が「青信号」から「黄信号」に変化するのは、フレームＦ０１０の時点である。図５ＡのフレームＦ０１０の行を参照すると、結果列において判定結果「Ｙ」と同じ判定結果の個数は５であり、個数閾値ＮＣより大きな値となっている。したがって、出力決定部１９０は、フレームＦ０１０の時点で出力値を「黄信号」とする。

図５Ａに示す例では、信号機の現示状態が実際に変化してから、出力決定部１９０による出力値が変化するまでに５フレーム分の時間遅れが発生している。時間遅れの間に車両が走行する距離が、車両の空走距離となる。

設定される個数閾値ＮＣが小さいほど、信号機の現示状態が実際に変化してから出力値が変化するまでの時間遅れが小さくなることについて、図５Ｂを用いて説明する。図５Ｂは、結果列に対応する出力値の変化の第２の例を示す図である。

図５Ｂに示す例では、図５Ａに示す例とは異なり、個数閾値ＮＣは２であるとする。図５Ｂにおいて、出力決定部１９０によって決定される出力値が「青信号」から「黄信号」に変化するのは、フレームＦ００８の時点である。この場合、信号機の現示状態が実際に変化してから出力値が変化するまでの時間遅れは３フレーム分となる。

さらに、図５Ｂにおいて、判定結果記憶部１５５による判定結果の補完機能は有効になっているとすると、フレームＦ００７に対する判定結果が判定結果記憶部１５５に記憶された時点で、添字１の判定結果の補完が行われ、添字１の判定結果は「不明」から「黄信号」となる。その結果、出力決定部１９０によって決定される出力値が「青信号」から「黄信号」に変化するのは、フレームＦ００７の時点となる。この場合、信号機の現示状態が実際に変化してから出力値が変化するまでの時間遅れは２フレーム分となる。

このように、信号機の現示状態が実際に変化してから出力値が変化するまでの時間遅れを小さくして空走距離を短くするためには、個数閾値ＮＣを小さくすることが望ましい。一方で、信号機の認識の精度を向上させるためには、個数閾値ＮＣを大きくすることが望ましい。つまり、信号機の認識の精度を向上させることと、時間遅れを小さくして空走距離を短くすることの間には、トレードオフの関係がある。

したがって、車両が停止線から遠い場合と比較して、車両が停止線に近い場合には、空走距離を短くするため、閾値設定部１８０は個数閾値ＮＣを小さく設定することが望ましい。また、信号機の現示状態が青信号である場合と比較して、信号機の現示状態が黄信号や赤信号である場合には、空走距離を短くするため、閾値設定部１８０は個数閾値ＮＣを小さく設定することが望ましい。

出力部１６０は、出力決定部１９０によって決定された出力値を、信号機の現示状態として出力する。例えば、信号機の現示状態は、出力部１６０から車両制御装置４００に出力され、車両の制御に使用される。その他、信号機の現示状態は、出力部１６０から図示しない通報装置に出力され、通報装置を介して乗員に通知されてもよい。

［信号機認識装置の処理手順］
次に、本実施形態に係る信号機認識装置による信号機認識の処理手順を、図２及び図３のフローチャートを参照して説明する。図２は、本実施形態に係る信号機認識装置の処理手順を示すフローチャートである。図３は、本実施形態に係る信号機認識装置の処理手順の変形例を示すフローチャートである。

図２及び図３に示す信号機認識の処理は、撮像部７１で画像を取得するたびに実行されるものであってもよいし、撮像部７１で画像を取得した後、検出領域に対して画像処理を実行する周期ごとに実行されるものであってもよい。

図２では、ステップＳ１０７において、判定部１５０は、撮像部７１で撮像した画像に基づいて、信号機の現示状態を判定する。

ステップＳ１０９において、判定結果記憶部１５５は、判定部１５０によって判定された信号機の現示状態を記憶する。

ステップＳ１４１において、閾値設定部１８０は、信号機が点灯しているか否かを判定する。具体的には、判定結果記憶部１５５に記憶された結果列のうち、最新の判定結果を参照して、信号機が点灯しているか否かを判定する。

信号機が点灯していない場合（ステップＳ１４１でＮＯの場合）、ステップＳ１４５において、閾値設定部１８０は個数閾値ＮＣを維持する。信号機が点灯している場合（ステップＳ１４１でＹＥＳの場合）、ステップＳ１４２に進む。

ステップＳ１４２において、閾値設定部１８０は、青信号が点灯しているか否かを判定する。具体的には、最新の判定結果が、信号機に対応する停止線の通過を許可する許可表示（「青信号」）であるか否かを判定する。

青信号が点灯している場合（ステップＳ１４２でＹＥＳの場合）、ステップＳ１４６において、閾値設定部１８０は第１閾値を個数閾値ＮＣに設定する。青信号が点灯していない場合（ステップＳ１４２でＮＯの場合）、ステップＳ１４７において、閾値設定部１８０は第１閾値よりも小さい第２閾値を個数閾値ＮＣに設定する。

なお、青信号が点灯していない場合（ステップＳ１４２でＮＯの場合）、図３のフローチャートに示すように、ステップＳ１４３に進んで、黄信号が点灯しているか否かを判定するものであってもよい。

黄信号が点灯している場合（ステップＳ１４３でＹＥＳの場合）、ステップＳ１４７において、閾値設定部１８０は第２閾値を個数閾値ＮＣに設定する。黄信号が点灯していない場合（ステップＳ１４３でＮＯの場合）、ステップＳ１４８において、閾値設定部１８０は第１閾値よりも小さい第３閾値を個数閾値ＮＣに設定するものであってもよい。第３閾値は、第１閾値よりも小さく、第２閾値よりも大きいものであってもよい。

ステップＳ１４５、ステップＳ１４６、ステップＳ１４７、ステップＳ１４８にて個数閾値ＮＣの設定が終了した後、ステップＳ１７１において、出力決定部１９０は、判定結果記憶部１５５に記憶された結果列に基づいて、出力値を決定する。

ステップＳ１７３において、出力部１６０は、出力決定部１９０によって決定された信号機の現示状態を出力する。出力された信号機の現示状態は、例えば、車両制御装置４００において使用される。

図２及び図３のフローチャートによって示される処理が繰り返し実行されることにより、個数閾値ＮＣが順次更新される。

［実施形態の効果］
以上詳細に説明したように、本実施形態に係る信号機認識方法及び信号機認識装置は、車両の進行方向を撮像した複数枚の画像に基づいて信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、結果列を構成する判定結果のうち最新の特定判定結果が、現示状態は信号機に対応する停止線の通過を許可する許可表示であるとする判定結果である場合に、第１閾値を個数閾値に設定し、特定判定結果が、現示状態は許可表示であるとする判定結果以外である場合に、第１閾値よりも小さい第２閾値を個数閾値に設定し、特定判定結果と同一の判定結果の個数が個数閾値よりも多い場合に、特定判定結果を出力する。

これにより、信号機の現示状態が実際に遷移してから、遷移後の現示状態に対応する処理を開始するまでの遅れ時間を抑制しつつ、時系列で並んだ複数の画像を参照して信号機の現示状態を判定し、信号機の認識を行うことができる。特に、信号機が許可表示である場合と比較して、信号機が許可表示以外の現示状態である場合に、信号機の認識の遅れ時間を抑制できる。その結果、許可表示以外の現示状態に対応する処理（例えば、乗員への警告を行う処理や、車両の制動を行う処理など）の開始を速めることができる。

また、本実施形態に係る信号機認識方法及び信号機認識装置は、許可表示、停止線の通過を禁止する禁止表示、許可表示の後であって禁止表示の前に表示される中間表示、の少なくともいずれかを表示する信号機に対して、特定判定結果が、禁止表示または中間表示である場合に、第２閾値を個数閾値に設定するものであってもよい。これにより、信号機が許可表示である場合と比較して、信号機が中間表示または禁止表示である場合に信号機の認識の遅れ時間を抑制できる。

さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、特定判定結果が禁止表示である場合に、第１閾値よりも小さい第３閾値を個数閾値に設定するものであってもよい。これにより、信号機が許可表示である場合と比較して、信号機が禁止表示である場合に信号機の認識の遅れ時間を抑制できる。

また、本実施形態に係る信号機認識方法及び信号機認識装置において、設定される第２閾値は第３閾値よりも小さいものであってもよい。これにより、信号機が禁止表示である場合と比較して、信号機が中間表示である場合に信号機の認識の遅れ時間を抑制できる。

さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、結果列は、個数閾値よりも多い所定個数の判定結果から構成されるものであってもよい。これにより、出力値を決定するために必要な個数の判定結果を記憶することができ、確実に、信号機の認識の精度を向上させることができる。

また、本実施形態に係る信号機認識方法及び信号機認識装置は、結果列を構成する判定結果のうち、現示状態が不明であるとする判定結果を第１判定結果として抽出し、結果列を構成する判定結果のうち、現示状態が不明であるとする判定結果を除いた判定結果の中から、第１判定結果の直前の判定結果、及び、第１判定結果の直後の判定結果を、それぞれ、第２判定結果、及び、第３判定結果として抽出し、第２判定結果と第３判定結果が同一である場合に、結果列内の第１判定結果を第２判定結果で置き換えるものであってもよい。

これにより、信号機のちらつきにより、信号機の現示状態を判定できない場合が生じる状況においても、信号機の現示状態が実際に変化してから出力値が変化するまでの時間遅れを抑制できる。

上述の実施形態で示した各機能は、１又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサや、電気回路などが含まれ、さらには、特定用途向けの集積回路（ＡＳＩＣ）のような装置や、記載された機能を実行するよう配置された回路構成要素なども含まれる。

以上、実施形態に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。この開示の一部をなす論述および図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例および運用技術が明らかとなろう。

本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

７１ 撮像部
７３ 車載センサ
７５ 地図情報取得部
１００ コントローラ
１５０ 判定部
１５５ 判定結果記憶部
１６０ 出力部
１８０ 閾値設定部
１９０ 出力決定部
４００ 車両制御装置

Claims (7)

1. 車両に搭載された撮像部とコントローラとを備える信号機認識装置に係る信号機認識方法であって、
   前記コントローラは、
   前記撮像部を用いて前記車両の進行方向にある信号機を複数回撮像して、複数の画像を取得し、
   前記画像ごとに前記信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、
   前記結果列を構成する判定結果のうち最新の判定結果である特定判定結果に基づいて個数閾値を設定する際、
   前記特定判定結果が、前記現示状態は前記信号機に対応する停止線の通過を許可する許可表示であるとする判定結果である場合に、第１閾値を前記個数閾値に設定し、
   前記特定判定結果が、前記現示状態は前記許可表示であるとする判定結果以外である場合に、前記第１閾値よりも小さい第２閾値を前記個数閾値に設定し、
   前記特定判定結果と同一の判定結果の個数が、前記個数閾値よりも多い場合に、前記特定判定結果を出力すること
   を特徴とする信号機認識方法。
2. 請求項１に記載の信号機認識方法であって、
   前記コントローラは、
   前記許可表示、前記停止線の通過を禁止する禁止表示、前記許可表示の後であって前記禁止表示の前に表示される中間表示、の少なくともいずれかを表示する前記信号機に対して、
   前記特定判定結果が、前記禁止表示または前記中間表示である場合に、前記第２閾値を前記個数閾値に設定すること
   を特徴とする信号機認識方法。
3. 請求項２に記載の信号機認識方法であって、
   前記コントローラは、前記特定判定結果が前記禁止表示である場合に、前記第１閾値よりも小さい第３閾値を前記個数閾値に設定すること
   を特徴とする信号機認識方法。
4. 請求項３に記載の信号機認識方法であって、
   前記第２閾値は前記第３閾値よりも小さいこと
   を特徴とする信号機認識方法。
5. 請求項１～４のいずれか一項に記載の信号機認識方法であって、
   前記結果列は、前記個数閾値よりも多い所定個数の判定結果から構成されること
   を特徴とする信号機認識方法。
6. 請求項１～５のいずれか一項に記載の信号機認識方法であって、
   前記コントローラは、
   前記結果列を構成する判定結果のうち、前記現示状態が不明であるとする判定結果を第１判定結果として抽出し、
   前記結果列を構成する判定結果のうち、前記現示状態が不明であるとする判定結果を除いた判定結果の中から、前記第１判定結果の直前の判定結果、及び、前記第１判定結果の直後の判定結果を、それぞれ、第２判定結果、及び、第３判定結果として抽出し、
   前記第２判定結果と前記第３判定結果が同一である場合に、前記結果列内の前記第１判定結果を前記第２判定結果で置き換えること
   を特徴とする信号機認識方法。
7. 車両に搭載された撮像部と、コントローラとを備える信号機認識装置であって、
   前記コントローラは、
   前記撮像部を用いて前記車両の進行方向にある信号機を複数回撮像して、複数の画像を取得し、
   前記画像ごとに前記信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、
   前記結果列を構成する判定結果のうち最新の判定結果である特定判定結果に基づいて個数閾値を設定する際、
   前記特定判定結果が、前記現示状態は前記信号機に対応する停止線の通過を許可する許可表示であるとする判定結果である場合に、第１閾値を前記個数閾値に設定し、
   前記特定判定結果が、前記現示状態は前記許可表示であるとする判定結果以外である場合に、前記第１閾値よりも小さい第２閾値を前記個数閾値に設定し、
   前記特定判定結果と同一の判定結果の個数が、前記個数閾値よりも多い場合に、前記特定判定結果を出力すること
   を特徴とする信号機認識装置。

Images