JP6228492B2

JP6228492B2 - 車外環境認識装置

Info

Publication number: JP6228492B2
Application number: JP2014045948A
Authority: JP
Inventors: 匡史松田
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2014-03-10
Filing date: 2014-03-10
Publication date: 2017-11-08
Anticipated expiration: 2034-03-10
Also published as: JP2015170240A

Description

本発明は、信号機の点灯状態や点滅状態を識別する車外環境認識装置に関する。

従来、自車両の前方を撮像部で撮像し、撮像された画像内に含まれる信号機を検出して、信号機の点灯状態などに応じて運転支援を行う技術が知られている。また、近年、従来の電球式信号機から、信号機の発光部にＬＥＤを採用したＬＥＤ信号機への切り替えが進められている。

ＬＥＤ信号機は、商用電源の交流電力を全波整流した全波整流波によって点灯している。したがって、点灯している間、人の目では視認できないものの、交流電力の周波数に応じて周期的かつ瞬間的に消灯している。そのため、撮像部のフレームレートとＬＥＤ信号機の消灯の周期が同期してしまうと、実際には点灯状態に制御されているにもかかわらず、瞬間的に消灯しているＬＥＤ信号機が各フレームで連続して撮像されてしまう場合がある。そこで、撮像部のフレームレートや撮像タイミングをずらすことで、撮像部のフレームレートとＬＥＤ信号機の瞬間的消灯の周期の同期を回避する技術が公開されている（例えば、特許文献１〜３）。

特開２００８−２９３２８０号公報特開２００８−１３４８４４号公報特開２０１２−３４２７５号公報

ところで、商用電源の交流電力の周波数は予め定められており、特許文献１から３のような処理負荷の高い制御を行わなくとも、撮像部のフレームレートを交流電力の周波数と異ならせることで上記の同期による問題は回避できる。しかし、完全に同期していなくとも、ＬＥＤ信号機が瞬間的に消灯する以上、瞬間的に消灯しているＬＥＤ信号機が撮像されてしまうことはある。この場合、ＬＥＤ信号機が点灯状態に制御されているにもかかわらず、消灯状態または点滅状態に制御されていると誤判定してしまうおそれがある。

本発明は、このような課題に鑑み、点灯状態に制御されている信号機を、消灯状態または点滅状態に制御されていると誤判定する事態を回避することが可能な、車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、商用電源の交流電力の周波数および周波数の約数と異なるフレームレートで検出領域を撮像する撮像部と、撮像部が撮像した画像内に含まれる信号機を特定する信号機特定部と、フレームごとの信号機が消灯しているか否かを判定する消灯判定部と、予め設定された第１所定数連続するフレームにおいて、信号機が消灯していると判定されたフレーム数が第１閾値を超えると、信号機が消灯または点滅していると判定する非点灯判定部と、を備えることを特徴とする。

非点灯判定部は、予め設定された第１所定数連続するフレームにおいて、信号機が消灯していると判定されたフレーム数が第１閾値を超え、かつ、第１所定数以上の第２所定数連続するフレームにおいて、第２所定数のフレーム数に対する信号機が消灯していると判定されたフレーム数の割合が第２閾値を超えると、信号機が消灯または点滅していると判定してもよい。

上記課題を解決するために、本発明の他の車外環境認識装置は、商用電源の交流電力の周波数および周波数の約数と異なるフレームレートで検出領域を撮像する撮像部と、撮像部が撮像した画像内に含まれる信号機を特定する信号機特定部と、フレームごとの信号機が消灯しているか否かを判定する消灯判定部と、予め設定された第２所定数連続するフレームにおいて、第２所定数のフレーム数に対する信号機が消灯していると判定されたフレーム数の割合が第２閾値を超えると、信号機が消灯または点滅していると判定する非点灯判定部と、を備えることを特徴とする。

本発明によれば、点灯状態に制御されている信号機を、消灯状態または点滅状態に制御されていると誤判定する事態を回避することが可能となる。

環境認識システムの接続関係を示したブロック図である。車外環境認識装置の概略的な機能を示した機能ブロック図である。カラー画像と距離画像を説明するための説明図である。対象物特定部の動作を説明するための説明図である。撮像部のフレームレートを決定する計算を説明するための説明図である。撮像周期ごとの計算結果を説明するための説明図である。ＬＥＤ信号機の点灯状態および点滅状態を説明するための説明図である。非点灯判定部の処理の流れを示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、自車両の前方を撮像部で撮像し、撮像された画像内に含まれる信号機を検出して、信号機の点灯状態などに応じて運転支援を行う技術が知られている。しかし、近年採用が進んでいるＬＥＤ信号機の場合、交流電力を全波整流した全波整流波によってＬＥＤが点灯状態となっており、点灯状態となっている間、人の目では視認できないものの、交流電力の周波数に応じて周期的かつ瞬間的に消灯している。そのため、撮像タイミングによっては、ＬＥＤ信号機が点灯状態に制御されているにもかかわらず、消灯状態または点滅状態に制御されていると誤判定してしまうおそれがある。本実施形態では、このような誤判定を回避することを目的としている。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置を詳述する。

以下の説明において、ＬＥＤ信号機の制御による継続的な点灯、点滅、消灯を、それぞれ、点灯状態、点滅状態、消灯状態と称し、交流電力の周波数に応じて周期的かつ瞬間的に生じる点灯、消灯や、１フレームの画像撮像時点など、特定の瞬間におけるＬＥＤ信号機の点灯、消灯は、単に、点灯、消灯と称する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像部１１０を備えた車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像部１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、カラー値で表されるカラー画像を生成することができる。ここで、カラー値は、１つの輝度（Ｙ）と２つの色差（ＵＶ）からなる、または、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなる数値群である。

また、撮像部１１０は、自車両１の進行方向側において２つの撮像部１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像部１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、所定のフレームレートで連続して生成する。撮像部１１０のフレームレートについては後に詳述する。

ここで、認識する対象物は、車両、歩行者、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレームごとに各処理を遂行する。

車外環境認識装置１２０は、２つの撮像部１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する奥行距離に相当）を画像データに対応付けて距離画像を生成する。カラー画像および距離画像については後ほど詳述する。また、車外環境認識装置１２０は、カラー画像に基づくカラー値、および、距離画像に基づく自車両１との奥行距離を用いて自車両１前方の検出領域における対象物を特定する。

車外環境認識装置１２０は、対象物を特定すると、その対象物、例えば、信号機を追跡しつつ、信号機が点灯状態、点滅状態、消灯状態のいずれに制御されているのかを判定する処理を行う。そして、車外環境認識装置１２０は、判定結果に応じ、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）などを行うとともに、必要に応じて、車両制御装置１３０に対し判定結果を示す情報を出力する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構、制動機構を制御する。

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、点滅状態に制御されている信号機を特定する手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、撮像部１１０と、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。撮像部１１０に関しては前述しているので、ここでは、詳細な説明を省略する。

Ｉ／Ｆ部１５０は、撮像部１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像部１１０から受信した画像データを一時的に保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像処理部１６０、３次元位置導出部１６２、対象物特定部（信号機特定部）１６４、消灯判定部１６６、非点灯判定部１６８としても機能する。以下、このような機能部について大凡の目的を踏まえ、画像処理、対象物特定処理、信号機状態特定処理といった順に詳細な動作を説明する。

（画像処理）
画像処理部１６０は、２つの撮像部１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は画面横方向を示し、「垂直」は画面縦方向を示す。

このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、画像処理部１６０では、検出分解能単位であるブロックごとに視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を画像データに対応付けた画像を、上述したカラー画像と区別して距離画像という。

図３は、カラー画像２１０と距離画像２１２を説明するための説明図である。例えば、２つの撮像部１１０を通じ、検出領域２１４について図３（ａ）のようなカラー画像（画像データ）２１０が生成されたとする。ただし、ここでは、理解を容易にするため、撮像部１１０それぞれが生成した２つのカラー画像２１０の一方のみを模式的に示している。本実施形態において、画像処理部１６０は、このようなカラー画像２１０からブロックごとの視差を求め、図３（ｂ）のような距離画像２１２を形成する。距離画像２１２における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

図２に戻って説明すると、３次元位置導出部１６２は、画像処理部１６０で生成された距離画像２１２に基づいて検出領域２１４内のブロックごとの視差情報を、所謂ステレオ法を用いて、水平距離、高さおよび奥行距離を含む実空間における３次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、対象部位の距離画像２１２における視差からその対象部位の撮像部１１０に対する奥行距離を導出する方法である。このとき、３次元位置導出部１６２は、対象部位の奥行距離と、対象部位と同奥行距離にある道路表面上の点と対象部位との距離画像２１２上の検出距離とに基づいて、対象部位の道路表面からの高さを導出する。そして、導出された３次元位置情報を改めて距離画像２１２に対応付ける。かかる奥行距離の導出処理や３次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

（対象物特定処理）
図４は、対象物特定部１６４の動作を説明するための説明図である。ここでは、対象物特定部１６４が、対象物としての信号機の発光部のうち、点灯時の赤色信号を特定する処理を例に挙げて説明するが、対象物特定部１６４は、点灯時の青色信号や点灯時の黄色信号の特定処理、および、その他の対象物の特定処理も遂行する。

対象物特定部１６４は、カラー画像２１０における任意の対象部位（画素やブロック）のカラー値が、赤色信号のカラー値範囲（例えば、基準値をカラー値（Ｒ）として、カラー値（Ｇ）は基準値（Ｒ）の０．５倍以下、カラー値（Ｂ）は基準値（Ｒ）の０．３８倍以下）に含まれるか否か判定する。そして、対象となるカラー値範囲に含まれれば、その対象部位に当該対象物を示す識別番号を付す。ここでは、図４の拡大図に示すように、赤色信号に対応する対象部位に識別番号「１」を付している。

また、対象物特定部１６４は、距離画像２１２に基づく３次元の位置情報を用いて検出領域２１４における対象部位同士をグループ化する。具体的に、対象物特定部１６４は、任意の対象部位を基点として、その対象部位と、水平距離の差分、高さの差分、および、奥行距離の差分が予め定められた所定範囲内にある他の対象部位をグループ化する。ここで、所定範囲は実空間上の距離で表され、任意の値（例えば、１．０ｍ等）に設定することができる。また、対象物特定部１６４は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離の差分、高さの差分、および、奥行距離の差分が所定範囲内にある他の対象部位をグループ化する。結果的に、距離が所定範囲内であれば、それら全ての対象部位がグループ化されることとなる。

続いて、対象物特定部１６４は、グループ化した対象部位群２２０が、その対象物に関連付けられた高さ範囲（例えば、４．５〜７．０ｍ）、幅範囲（例えば、０．０５〜０．２ｍ）、形状（例えば、円形状）等、所定の条件が成立しているか否か判定する。ここで、形状に関しては、予め対象物に関連付けられたテンプレートを参照してその形が比較され（パターンマッチング）、所定値以上の相関があることで条件が成立していると判定される。そして、所定の条件が成立していれば、そのグループ化された対象部位群２２０を対象物として決定する。

また、対象物特定部１６４は、赤色信号、青色信号、黄色信号のいずれかの対象物を特定すると、その周辺において信号機の対象物を検索する。信号機の特定処理は、赤色信号の特定処理と同様に、対象部位のグループ化およびグループ化された対象部位群２２０が、信号機に関連付けられた所定の条件を満たすか否かを判定し、所定の条件を満たすと、対象物として信号機を特定する。

すなわち、対象物特定部１６４は、撮像部１１０が撮像した画像内に含まれる信号機を特定する信号機特定部として機能する。そして、対象物特定部１６４は、特定した信号機の位置を対象に、以降のフレームに亘って継続的に追跡して信号機自体や、赤色信号、青色信号、黄色信号の特定を継続する。

（信号機状態特定処理）
図２に戻って説明すると、消灯判定部１６６は、撮像部１１０が撮像したフレームごとに特定された信号機の例えば赤色信号に相当する部位が、少なくともそのフレームの撮像時に消灯しているか否かを判定する。

具体的には、消灯判定部１６６は、例えば、画像内に含まれる信号機のうち、赤色信号の発光部のカラー値が、点灯している赤色信号に対応するカラー値範囲に含まれるか否かによって、赤色信号が消灯しているか否かを判定する。青色信号や黄色信号についても同様の処理が行われる。

消灯判定部１６６、および、非点灯判定部１６８の処理では、赤色信号、青色信号、および、黄色信号のいずれについても同様の処理が行われる。そのため、以下では、赤色信号、青色信号、および、黄色信号のいずれについての処理であるかは特に言及しない。

上記のように、ＬＥＤ信号機は、交流電力を全波整流した全波整流波によって点灯している間、人の目では視認できないものの、交流電力の周波数に応じて周期的かつ瞬間的に消灯している。商用電源を用いる場合、交流電力は５０Ｈｚ、または、６０Ｈｚであることから、全波整流されたＬＥＤ信号機は、点灯状態となるように制御されていても、１００Ｈｚ、または、１２０Ｈｚの周波数で瞬間的に消灯している。

そのため、実際には点灯状態となるように制御されたＬＥＤ信号機であっても、消灯判定部１６６によって消灯していると判定される場合があった。万が一、撮像部１１０のフレームレートと、ＬＥＤ信号機の消灯の周期が同期してしまうと、点灯状態となるように制御されているＬＥＤ信号機を、何フレームにも亘って連続的に消灯していると判定してしまう。その結果、点灯状態となるように制御されているＬＥＤ信号機を、点滅状態と誤判定するおそれがある。

そこで、本実施形態では、撮像部１１０のフレームレートを、以下の計算によって決定し、ＬＥＤ信号機の消灯の周期との同期を回避している。

図５は、撮像部１１０のフレームレートを決定する計算を説明するための説明図である。本実施形態において、撮像部１１０は、露光時間を短くするなどして、信号機の発光部を検出し易くした、信号機の検出用の画像と、車両などの検出用の画像とを１フレームごとに交互に撮像している。そのため、撮像部１１０の全画像のフレームレートに対して、信号機の検出用の画像のフレームレートは半分となり、撮像周期は２倍となる。

ここでは、撮像部１１０の撮像周期として適さない例を挙げて説明する。撮像周期を、仮に６２ｍｓｅｃとすると、信号機の検出用の画像は、１２４ｍｓｅｃの周期で撮像される。一方、点灯状態となるように制御されているＬＥＤ信号機の瞬間的な消灯の周期は、商用電源が５０Ｈｚの地域では、１００Ｈｚの逆数の１０ｍｓｅｃとなる。

また、点灯状態となるように制御されているＬＥＤ信号機において、点灯：消灯のデューティ比は、大凡８：２である。そのため、１周期１０ｍｓｅｃのうち、点灯時間は８ｍｓｅｃ、消灯時間ｔ_１は２ｍｓｅｃとなっている。

上記のように、信号機の検出用の画像が１２４ｍｓｅｃの周期で撮像される場合、信号機の検出用の画像の撮像周期の間に、ＬＥＤ信号機は１２回点滅し、次の撮像周期では、撮像周期に対して、ＬＥＤ信号機の点滅の周期が、ずれ時間ｔ_２＝４ｍｓｅｃだけずれる（進む）こととなる。

図５（ａ）に示すように、撮像部１１０の撮像開始のタイミングで、ＬＥＤ信号機の消灯が開始したとする。そうすると、信号機の検出用の画像の撮像周期が１周期経過するごとにずれ時間ｔ_２だけ互いの周期がずれる。

しかし、消灯時間ｔ_１は、ずれ時間ｔ_２よりも短いことから、１フレーム消灯している画像が撮像されると、次のフレームでは、撮像タイミングは消灯時間ｔ_１以上にずれ、点灯している画像が撮像される。そのため、ＬＥＤ信号機の瞬間的な消灯は、２フレーム以上連続して撮像されることはなく、図５（ａ）中、タイミングＡで示す１回のみとなっている。

一方、商用電源が６０Ｈｚの地域では、点灯状態となるように制御されているＬＥＤ信号機の瞬間的な消灯の周期は、１２０Ｈｚの逆数の８．３３ｍｓｅｃとなる。点灯：消灯のデューティ比が８：２であれば、１周期８．３３ｍｓｅｃのうち、点灯時間は６．６７ｍｓｅｃ、消灯時間ｔ_１は１．６７ｍｓｅｃとなる。

信号機の検出用の画像の撮像周期の間に、ＬＥＤ信号機は１４回点滅し、次の撮像周期では、撮像周期に対して、ＬＥＤ信号機の点滅の周期が、ずれ時間ｔ_２＝７．３３ｍｓｅｃだけずれる（遅れる）こととなる。これは、言い換えれば、ずれ時間ｔ_３＝８．３３−７．３３＝１ｍｓｅｃだけ、撮像周期に対して、ＬＥＤ信号機の点滅の周期が進んでいるといえる。

この場合、消灯時間ｔ_１は、ずれ時間ｔ_３よりも長い。そのため、図５（ｂ）に示すように、１フレーム消灯している画像が撮像されると、次のフレームで、撮像タイミングは、ＬＥＤ信号機の瞬間的な消灯の周期に対して、消灯時間ｔ_１未満しか進まない。その結果、ＬＥＤ信号機の瞬間的な消灯は、図５（ｂ）中、タイミングＢ、Ｃに示すように、２フレーム連続して撮像されてしまう可能性がある。

撮像部１１０は、商用電源が５０Ｈｚの地域と６０Ｈｚの地域のいずれにおいても、ＬＥＤ信号機の瞬間的な消灯が、２フレーム連続して撮像されない撮像周期とすることが望ましい。そこで、撮像部１１０の全画像の撮像周期を０〜１５０ｍｓｅｃとしたとき、それぞれの場合について上記の計算を行い、２フレーム以上連続してＬＥＤ信号機の瞬間的な消灯が撮像されないものを特定した。

図６は、撮像周期ごとの計算結果を説明するための説明図である。図６において、横軸は、撮像部１１０の全画像の撮像周期を示し、縦軸は、フラグを示す。ここで、フラグは、計算結果として、２フレーム以上連続してＬＥＤ信号機の瞬間的な消灯が撮像されない場合にフラグ１、２フレーム以上連続してＬＥＤ信号機の瞬間的な消灯が撮像される場合にフラグ０を示す。

本実施形態では、撮像部１１０の全画像の撮像周期を、図６に示すフラグが１となっている撮像周期に設定する。すなわち、撮像部１１０は、商用電源の交流電力の周波数およびその約数のいずれとも異なるフレームレートで検出領域を撮像する。こうして、商用電源が５０Ｈｚの地域と６０Ｈｚの地域のいずれにおいても、ＬＥＤ信号機の瞬間的な消灯が、２フレーム連続して撮像される事態を回避している。

図２に戻って説明すると、非点灯判定部１６８は、信号機が点滅状態となるように制御されているか否かを判定する。上記のように、２フレーム以上連続してＬＥＤ信号機の瞬間的な消灯が撮像されないように、撮像部１１０のフレームレートが設定されている。すなわち、消灯判定部１６６が追跡している信号機について、２フレーム以上、連続して消灯していると判定されると、信号機は、点滅状態となるように制御されている可能性が高いといえる。そこで、非点灯判定部１６８は、誤差の影響を加味し、直前の３フレームのうち、２フレーム以上、消灯していると判定されると、その信号機は、点滅状態となるように制御されている可能性が高いと判定する。

このように、非点灯判定部１６８は、予め設定された第１所定数（例えば、３フレーム）連続するフレームにおいて、信号機が消灯していると判定されたフレーム数が第１閾値（例えば、１フレーム）を超えると、信号機が点滅状態となるように制御されている可能性が高いと判定する。

上記のように、撮像部１１０は、信号機の検出用の画像と、車両などの検出用の画像とを、“信号機の検出用の画像”→“車両などの検出用の画像”→“信号機の検出用の画像”といったように、１フレームごとに交互に撮像している。非点灯判定部１６８は、信号機の検出用の画像のみを対象として連続するフレームを選択する。すなわち、本実施形態において、“連続するフレーム”は、“連続する信号機の検出用の画像のフレーム”を意味する。

ここで、非点灯判定部１６８は、信号機が連続して消灯しているフレーム数を所定の閾値と比較するのではなく、連続する３フレームにおいて、信号機が消灯していると判定されたフレーム数が１を超えているか否かを判定する。例えば、非点灯判定部１６８は、連続する３フレームのうち、信号機が消灯していると判定されたフレーム数が１フレームを超えているか否かを判定する。これは、信号機が実際には消灯していても、車両と信号機の位置関係、撮像タイミング、周囲の明るさなどの誤差要因によって、消灯→点灯→消灯といったように、信号機が消灯していると判定されるフレームが連続しない場合があることに起因する。本実施形態では、連続する３フレームにおいて、信号機が消灯していると判定されたフレーム数が１を超えているか否かを判定しているので、消灯と判定されたフレームが連続しない場合であっても、誤差の影響を抑えることが可能となる。

また、非点灯判定部１６８は、他の判定手段によっても、信号機が点滅状態となるように制御されているか否かを判定することができる。非点灯判定部１６８の他の判定手段について、図７を参照して詳述する。

図７は、ＬＥＤ信号機の点灯状態および点滅状態を説明するための説明図であり、図７（ａ）には、点灯状態となるように制御された場合を示し、図７（ｂ）には、点滅状態となるように制御された場合を示す。

図７（ａ）に示すように、ＬＥＤ信号機が点灯状態となるように制御された場合、上記のように点灯：消灯のデューティ比は、大凡８：２であることから、予め設定された第２所定数（例えば、８フレーム）のフレーム数に対する、消灯判定部１６６が消灯していると判定したフレーム数の割合（比率）は、大凡、０．２となる。

一方、図７（ｂ）に示すように、ＬＥＤ信号機が点滅状態となるように制御された場合、点灯状態の時間と消灯状態の時間の比は１：１である。すなわち、図７（ｂ）に示すように、点灯および消灯が１回ずつ行われる総時間（周期）を１としたとき、点灯状態の時間および消灯状態の時間は０．５となる。そして、点灯状態において、点灯：消灯のデューティ比は、大凡８：２であることから、点灯状態のうち、消灯の時間は、０．５×０．２＝０．１となる。すなわち、点滅状態における１周期のうち、消灯の時間は、０．５＋０．１＝０．６となる。その結果、第２所定数のフレーム数に対する、消灯判定部１６６が消灯していると判定したフレーム数の割合は、大凡０．６となる。

そこで、誤差の影響を加味し、判定処理に用いる第２閾値を０．６よりも小さく、かつ、０．２より大きい０．５に設定する。すなわち、非点灯判定部１６８は、第２所定数のフレーム数に対する、消灯判定部１６６が消灯していると判定したフレーム数の割合が、第２閾値である０．５を超えていれば、信号機は、点滅状態となるように制御されている可能性が高いと判定している。

本実施形態では、非点灯判定部１６８は、上記の２つの判定手段を組み合わせることで、点滅状態となるように制御された信号機の判定精度を向上させている。以下、非点灯判定部１６８の処理の流れを、フローチャートを参照しながら説明する。

図８は、非点灯判定部１６８の処理の流れを示すフローチャートである。本実施形態においては、対象物特定部１６４は、画像内に含まれる信号機を特定すると、その後の連続フレームに亘って、信号機を追跡している。図８に示す処理は、追跡対象の信号機ごとに、撮像部１１０が信号機の検出用の画像を撮像する度に繰り返し実行される。

また、図８に示す処理は、消灯判定部１６６が点灯していると判定した結果、追跡対象となった信号機について行われ、消灯状態となるように制御されている信号機は対象外である。すなわち、撮像部１１０が撮像した画像内に含まれる信号機が、点滅状態となるように制御されているのか、点灯状態（非点滅状態）となるように制御されているのかを判定する処理である。

非点灯判定部１６８は、消灯判定部１６６が信号機を追跡しているフレーム数を計数する（Ｓ３００）。そして、信号機を追跡している連続するフレーム数が第２所定数以上であるか否かを判定する（Ｓ３０２）。すなわち、非点灯判定部１６８は、同一の信号機が第２所定数前のフレームから継続して認識されているか否かを判定する。フレーム数が第２所定数以上でなければ（Ｓ３０２におけるＮＯ）、処理を終了する。

フレーム数が第２所定数以上の場合（Ｓ３０２におけるＹＥＳ）、非点灯判定部１６８は、直前の第１所定数の連続するフレームについて、消灯判定部１６６が消灯していると判定したフレーム数を確認する（Ｓ３０４）。

そして、非点灯判定部１６８は、消灯判定部１６６が消灯していると判定したフレーム数が第１閾値を超えているか否かを判定する（Ｓ３０６）。第１閾値を超えていれば（Ｓ３０６におけるＹＥＳ）、非点灯判定部１６８は、直前の第２所定数の連続するフレームについて、消灯判定部１６６が消灯していると判定したフレーム数を確認する（Ｓ３０８）。

そして、非点灯判定部１６８は、直前の第２所定数のフレーム数に対する、消灯判定部１６６が消灯していると判定したフレーム数の割合が、第２閾値を超えているか否かを判定する（Ｓ３１０）。フレーム数の割合が、第２閾値を超えている場合（Ｓ３１０におけるＹＥＳ）、非点灯判定部１６８は、追跡対象の信号機に１ポイントを加算する（Ｓ３１２）。

一方、消灯判定部１６６が消灯していると判定したフレーム数が第１閾値以下である場合（Ｓ３０６におけるＮＯ）、または、直前の第２所定数のフレーム数に対する、消灯判定部１６６が消灯していると判定したフレーム数の割合が、第２閾値以下である場合（Ｓ３１０におけるＮＯ）、追跡対象の信号機のポイントを１ポイント減算する（Ｓ３１４）。

そして、非点灯判定部１６８は、追跡対象の信号機のポイントの積算値が第３閾値以上であるか否かを判定する（Ｓ３１６）。第３閾値以上であれば（Ｓ３１６におけるＹＥＳ）、非点灯判定部１６８は、信号機が点滅状態となるように制御されていると判定する（Ｓ３１８）。

また、第３閾値未満であれば（Ｓ３１６におけるＮＯ）、非点灯判定部１６８は、信号機が点滅状態となるように制御されておらず、非点滅状態となるように制御されていると判定する（Ｓ３２０）。ここでは、上記のように、消灯状態となるように制御されている信号機は除外されていることから、信号機は点灯状態となるように制御されていることとなる。

上述したように、車外環境認識装置１２０によれば、点灯状態に制御されている信号機を、点滅状態に制御されていると誤判定する事態を回避することが可能となる。

また、非点灯判定部１６８は、複数フレームに亘る判定結果をポイントの積算によって反映することから、誤差の影響を抑えて、点滅状態となるように制御された信号機の判定精度を向上することが可能となる。

また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態では、非点灯判定部１６８は、追跡対象の信号機について、ポイントの加算および減算を行い、ポイントの積算値が第３閾値を超えると、点滅状態に制御されている信号機であると判定した。しかし、ポイントの加算や減算の結果による判定を行わずともよい。すなわち、非点灯判定部１６８は、第１所定数連続するフレームにおいて、信号機が消灯していると判定されたフレーム数が第１閾値を超え、かつ、第２所定数連続するフレームにおいて、第２所定数のフレーム数に対する信号機が消灯していると判定されたフレーム数の割合が第２閾値を超えると、信号機が点滅していると判定してもよい。

また、上述した実施形態では、非点灯判定部１６８は、第１所定数連続するフレームにおいて、信号機が消灯していると判定されたフレーム数が第１閾値を超えているかと、第２所定数連続するフレームにおいて、第２所定数のフレーム数に対する信号機が消灯していると判定されたフレーム数の割合が第２閾値を超えているかの２つの判定を行う場合について説明した。しかし、非点灯判定部１６８は、２つの判定のいずれか一方の判定のみを行い、その判定結果によって、信号機が点滅していると判定してもよい。ただし、２つの判定を併用することで、判定精度を向上することが可能となる。

また、上述した実施形態では、消灯状態となるように制御されている信号機は、予め除外した上で、信号機が点滅状態となるように制御されているか否かを判定する場合について説明した。しかし、消灯状態となるように制御されている信号機を予め除外せず、非点灯判定部１６８は、信号機が消灯状態または点滅状態となるように制御されているか否かを判定してもよい。

なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、信号機の点灯状態や点滅状態を識別する車外環境認識装置に利用することができる。

１自車両
１１０撮像部
１２０車外環境認識装置
１３０車両制御装置
１６４対象物特定部（信号機特定部）
１６６消灯判定部
１６８非点灯判定部

Claims

商用電源の交流電力の周波数および該周波数の約数と異なる予め定められたフレームレートで検出領域を撮像する撮像部と、
前記撮像部が撮像した画像内に含まれる信号機を特定する信号機特定部と、
フレームごとに前記信号機が消灯しているか否かを判定する消灯判定部と、
予め設定された第１所定数連続するフレームにおいて、前記信号機が消灯していると判定されたフレーム数が第１閾値を超えると、該信号機が消灯または点滅していると判定する非点灯判定部と、
を備えることを特徴とする車外環境認識装置。
前記非点灯判定部は、予め設定された第１所定数連続するフレームにおいて、前記信号機が消灯していると判定されたフレーム数が前記第１閾値を超え、かつ、該第１所定数以上の第２所定数連続するフレームにおいて、該第２所定数のフレーム数に対する該信号機が消灯していると判定されたフレーム数の割合が第２閾値を超えると、該信号機が消灯または点滅していると判定することを特徴とする請求項１に記載の車外環境認識装置。
商用電源の交流電力の周波数および該周波数の約数と異なる予め定められたフレームレートで検出領域を撮像する撮像部と、
前記撮像部が撮像した画像内に含まれる信号機を特定する信号機特定部と、
フレームごとに前記信号機が消灯しているか否かを判定する消灯判定部と、
予め設定された第２所定数連続するフレームにおいて、該第２所定数のフレーム数に対する前記信号機が消灯していると判定されたフレーム数の割合が第２閾値を超えると、該信号機が消灯または点滅していると判定する非点灯判定部と、
を備えることを特徴とする車外環境認識装置。