JP6310899B2 - 車外環境認識装置 - Google Patents

Description

本発明は、車外環境に応じてヘッドランプの配光制御を行う車外環境認識装置に関する。

従来、自車両の前方に位置する車両等の立体物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。

また、夜間の安全走行のため、車外の明るさが十分ではなくなると自動的にヘッドランプを点灯させるオートライト機能の採用が進んでいる。また、モニタセンサから得られた露光情報に基づいて周囲環境の明るさを判定し、オートライトに活用する技術が知られている（例えば、特許文献２）。さらに、先行車両のテールランプに基づいてヘッドランプの配光制御を行う技術も開示されている（例えば、特許文献３）。

特許第３３４９０６０号公報 特開平１１−１８７３９０号公報 特開２０１３−２０９０３５号公報

ヘッドランプの配光制御を行う場合、先行車両にハイビームを照射しないように、先行車両のテールランプを正確に特定する必要がある。しかし、テールランプの特徴量が閾値付近で変動した場合、テールランプの抽出自体が不安定になり、ハイビームとロービームのハンチングを招く場合がある。また、自発光しない立体物は、自車両のヘッドランプが当たっているときに輝度が高くなり、当たっていないときには輝度が低くなるので、やはり、テールランプの抽出自体が不安定になり、ハイビームとロービームのハンチングを招く場合がある。

ここで、ハイビームが当たっている領域では、ハイビームが当たっていない領域よりテールランプを抽出する閾値を高く（厳しく）して、テールランプの誤検出を防止することが考えられる。しかし、ハイビームからロービームに切り換わるとき、立体物には既にハイビームが当たっていないのに、車両内の通信の遅れによりハイビームが当たっている場合の閾値が用いられ、誤った閾値で立体物を判定してしまうおそれがある。

本発明は、このような課題に鑑み、ハイビームの有無による閾値を適切に設定可能な、車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、変更可能な閾値を用いて、画像から先行車両のテールランプを抽出する先行車両抽出部と、抽出されたテールランプに基づいて先行車両を認識する先行車両認識部と、先行車両認識部の認識結果に基づいてヘッドランプの配光を決定し、その決定結果に基づいて第１の情報を生成する配光制御部と、第１の情報に基づいてヘッドランプの配光をロービームとハイビームを切り換える照明機構と、を備え、先行車両抽出部は、第１の情報および照明機構が実行した結果を示す第２の情報のいずれも取得し、少なくともいずれか一方が画像内の任意の画像領域に対応する範囲に対するロービームの照射を示していれば、その画像領域についてロービームに対応する閾値を用いてテールランプを抽出する。
第１の情報および第２の情報は、ハイビームの照射範囲についての情報を含んでもよい。
上記課題を解決するために、本発明の他の車外環境認識装置は、変更可能な閾値を用いて、画像から先行車両のテールランプを抽出する先行車両抽出部と、抽出されたテールランプに基づいて先行車両を認識する先行車両認識部と、先行車両認識部の認識結果に基づいてヘッドランプの配光を決定し、その決定結果に基づいて第１の情報を生成する配光制御部と、第１の情報に基づいてヘッドランプの配光をロービームとハイビームとに切り換える照明機構と、を備え、先行車両抽出部は、第１の情報および照明機構が実行した結果を示す第２の情報のいずれも取得し、画像内の任意の画像領域に対応する画角および奥行き距離に基づいて、第１の情報および第２の情報のいずれかが、画像領域に対応する範囲に対するロービームの照射を示していれば、その画像領域についてロービームに対応する閾値を用いてテールランプを抽出する。

本発明によれば、ハイビームの有無による閾値を適切に設定可能となる。

車外環境認識システムの接続関係を示したブロック図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 車外環境認識処理の流れを示すフローチャートである。 輝度画像と距離画像を説明するための説明図である。 要否判定部の判定処理の一例を示した説明図である。 検出範囲を説明するための説明図である。 露光時間の異なる輝度画像を説明するための説明図である。 テールランプと赤反射板との関係を示した説明図である。 テールランプと赤反射板との関係を示した他の説明図である。 先行車両抽出部が累積するポイントを説明するための説明図である。 ヘッドランプの配光制御を説明するための機能ブロック図である。 カットライン角度と画角との関係を説明するための上視面図である。 カットライン角度のテーブルを説明するための説明図である。 配光制御部の動作を示した説明図である。 ＡＤＢの配光制御を説明した説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像（カラー画像やモノクロ画像）を生成することができる。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここでは、２つの撮像装置１１０によって異なる視点の輝度画像が生成されるので、立体物の距離も把握することが可能となる。ここで、撮像装置１１０によって認識する立体物は、車両（先行車両、対向車両）、歩行者、街灯、信号機、道路（進行路）、道路標識、ガードレール、建物といった独立して存在する物のみならず、その一部として特定できる物も含む。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック（複数の画素の集合体）に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて視差（奥行き距離）、および、任意のブロックの画面内の位置を示す画面位置を導出し、各ブロックの３次元位置を導出する。そして、車外環境認識装置１２０は、車外環境に存在する立体物、例えば、同方向に走行する先行車両や、対向して走行する対向車両を特定する。また、車外環境認識装置１２０は、このように立体物を特定すると、立体物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように自車両１を制御する（クルーズコントロール）。

また、車外環境認識装置１２０では、照明スイッチ１２２を通じて運転手の要求（意思）を受け付け、車外環境に応じ、照明機構１２４を通じてヘッドランプ等の配光制御を行う。かかる配光制御として、例えば、ハイビームを照射すべきではない、先行車両や対向車両等の立体物が前方に存在する場合はハイビームをＯＦＦにし、そうでない場合はＯＮにするＨＢＡ（High Beam Assist）や、ハイビームを照射する領域を可変とし、ハイビームを照射すべきではない立体物が存在する場合、その領域のみハイビームを照射せず、その他の、街灯、道路標識、看板、反射板等の立体物が存在するであろう領域にはハイビームを照射するＡＤＢ（Adaptive Driving Beam）が挙げられる。このような配光制御を実現すべく、例えば、照明スイッチ１２２として、ランプの点灯状態を、消灯、スモールランプ（ポジションランプ）、点灯（ロービーム）、オートライトのいずれかにポジションを切り換えるメインスイッチと、ハイビーム不可、ハイビーム可のいずれかにポジションを切り換えるディマースイッチを設けている。そして、照明機構１２４としては、ＨＢＡの場合、ロービームとハイビームを切り換える機構を有し、ＡＤＢの場合、ハイビームの領域を可変させる機構を有している。

また、車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

上述したように、車外環境認識システム１００では、先行車両に対しクルーズコントロールしたり、先行車両や対向車両へハイビームを照射するのを回避したりするために、先行車両や対向車両を迅速かつ正確に特定することが要求される。当該車外環境認識システム１００では、２つの撮像装置１１０による輝度画像を通じ、３次元位置の情報やカラー情報を取得することで、先行車両や対向車両を迅速かつ正確に特定し、ヘッドランプを適切に配光制御することを目的とする。

以下、このような目的を実現するための車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、ヘッドランプの配光制御について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像処理部１６０、３次元位置導出部１６２、積算値導出部１６４、要否判定部１６６、検出範囲設定部１６８、先行車両抽出部１７０、先行車両認識部１７２、対向車両抽出部１７４、対向車両認識部１７６、街灯抽出部１７８、街灯認識部１８０、走行シーン判定部１８２、配光制御部１８４としても機能する。以下、本実施形態に特徴的なヘッドランプを配光制御する車外環境認識処理について、当該中央制御部１５４の各機能部の動作も踏まえて詳述する。

（車外環境認識処理）
図３は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、画像処理部１６０が、撮像装置１１０から取得した画像を処理し（Ｓ２００）、３次元位置導出部１６２が、画像から３次元位置を導出し（Ｓ２０２）、要否判定部１６６が、ヘッドランプのハイビームが不要か否かを判定し（Ｓ２０４）、ハイビームが不要と判定されれば（Ｓ２０４におけるＹＥＳ）、当該車外環境認識処理を終了する。

また、ハイビームが不要ではないと判定されれば（Ｓ２０４におけるＮＯ）、検出範囲設定部１６８が、取得した画像において、テールランプ、ヘッドランプ、街灯それぞれの検出範囲を設定し（Ｓ２０６）、先行車両抽出部１７０が、先行車両検出範囲からテールランプを抽出し（Ｓ２０８）、先行車両認識部１７２が、先行車両を認識し（Ｓ２１０）、対向車両抽出部１７４が、対向車両検出範囲からヘッドランプを抽出し（Ｓ２１２）、対向車両認識部１７６が、対向車両を認識し（Ｓ２１４）、街灯抽出部１７８が、街灯検出範囲から街灯を抽出し（Ｓ２１６）、街灯認識部１８０が、街灯を認識し（Ｓ２１８）、走行シーン判定部１８２が、街灯の位置情報等からハイビームを照射可能な走行シーンであるか否か判定し（Ｓ２２０）、配光制御部１８４が、先行車両、対向車両、および、走行シーンに基づいてヘッドランプの配光制御を実行し（Ｓ２２２）、当該車外環境認識処理を終了する。以下、個々の処理を詳述する。

（画像処理Ｓ２００）
画像処理部１６０は、２つの撮像装置１１０それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は画面横方向を示し、「垂直」は画面縦方向を示す。

このパターンマッチングとしては、２つの輝度画像間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、画像処理部１６０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体物の一部であるかを認識できない。したがって、視差は、立体物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差の情報（後述する奥行き距離ｚに相当）を輝度画像に対応付けた画像を距離画像という。

図４は、輝度画像２１２と距離画像２１４を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、画像領域２１６について図４（ａ）のような輝度画像２１２が生成されたとする。ただし、ここでは、理解を容易にするため、撮像装置１１０それぞれが生成した２つの輝度画像２１２の一方のみを模式的に示している。本実施形態において、画像処理部１６０は、このような輝度画像２１２からブロック毎の視差を求め、図４（ｂ）のような距離画像２１４を形成する。距離画像２１４における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

（３次元位置導出処理Ｓ２０２）
続いて、３次元位置導出部１６２は、画像処理部１６０で生成された距離画像２１４に基づいて画像領域２１６内のブロック毎の視差の情報を、所謂ステレオ法を用いて、水平距離ｘ、高さｙおよび奥行き距離（相対距離）ｚを含む実空間における３次元位置に変換する。ここで、ステレオ法は、三角測量法を用いることで、立体部位（画素または複数の画素からなるブロック）の距離画像２１４における視差からその立体部位の撮像装置１１０に対する奥行き距離ｚを導出する方法である。このとき、３次元位置導出部１６２は、立体部位の奥行き距離ｚと、立体部位と同奥行き距離ｚにある道路表面上の点と立体部位との距離画像２１４上の検出距離とに基づいて、立体部位の道路表面からの高さｙを導出する。そして、導出された３次元位置を改めて距離画像２１４に対応付ける。かかる奥行き距離ｚの導出処理や３次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

（要否判定処理Ｓ２０４）
次に、要否判定部１６６は、車外が明るいか否（昼か夜）か、すなわち、ヘッドランプのハイビームが不要か否かを判定する。そして、要否判定部１６６が、ハイビームが不要（以下、かかる状態を単にハイビーム不要状態という）と判定すれば、以降のヘッドランプの配光制御Ｓ２０６〜Ｓ２２２を省略する。こうして、処理負荷を軽減できる。

ところで、撮像装置１１０では、露光量調整部（図示せず）が車外環境に基づいて露光量を調整している。ここで、露光量は、感度（本実施形態ではゲイン）と、絞りと、露光時間とに基づいて算出できる。例えば、露光量調整部は、生成された画像の一部の領域（例えば、路面領域）の輝度分布を用い、その領域の輝度が高ければゲインおよび露光時間を小さくし、その領域の輝度が低ければゲインおよび露光時間を大きくする。つまり、様々な立体物の認識に適した輝度となるように、ゲインおよび露光時間を調整している。かかる露光調整部は、車外の照度を導出する照度導出部として機能し、露光量が大きいと照度が低いことを示し、露光量が小さいと照度が高いことを示すこととなる。以下の実施形態では、車外の照度を露光量で表し、照度の閾値（照度閾値）を露光量の閾値（露光閾値）で表すが、例えば、画像から得られる照度や、照度センサから得られる照度に置換して考えることができるのは言うまでもない。

したがって、要否判定部１６６は、撮像装置１１０の露光量調整部が調整している露光量を参照することで、外部の明るさを把握することができる。例えば、所定の閾値と比較し、ゲインが小さく、露光時間が短いと（露光量が小さいと）車外が明るく（照度が高く）ハイビーム不要状態であると判断でき、逆に、ゲインが大きく、露光時間が長いと（露光量が大きいと）車外が暗く（照度が低く）ハイビームが利用可能である（以下、かかる状態を単にハイビーム許可状態という）と判断できる。

ただし、露光量を単に閾値と比較するだけでは、ゲインや露光時間の変動に応じてハイビーム不要状態か否かの判断が、例えばフレーム単位で頻繁に反転（チャタリング）するような場合に、ヘッドランプの点灯状態が安定しないという問題が生じる。そこで、本実施形態では、ある程度長い期間の情報を時系列に集約し、その結果に基づいてハイビーム不要状態であるか否かを判定する。具体的に、積算値導出部１６４は、露光量に応じた加減算値（例えば−１５〜＋１５の範囲内の値）を導出するとともに、加減算値を所定周期（フレーム）毎に積算した積算値（例えば０〜１００００の範囲内の値）を導出する。そして、要否判定部１６６は、このように導出された積算値に基づいて、例えば、積算値が小さいとハイビーム不要状態と判定し、積算値が大きいとハイビーム許可状態と判定する。また、ハイビーム不要状態か否かの判定が頻繁に反転するのを回避すべく、積算値を比較する閾値にヒステリシス特性を設ける。

図５は、要否判定部１６６の判定処理の一例を示した説明図である。要否判定部１６６は、積算値導出部１６４が、露光量が所定の露光閾値（例えば露光量の中央値、ＴＨ３とＴＨ４の中央値）未満であれば、負の加減算値を導出し、露光量が露光閾値以上であれば、正の加減算値を導出する。また、要否判定部１６６は、図５（ａ）のように、積算値が所定の第３積算閾値（例えば５０００）未満であれば、露光閾値より大きい露光量に対する加減算値が、露光閾値より小さい露光量に対する加減算値より絶対値が大きくなるように加減算値を導出し、積算値が第３積算閾値以上であれば、露光閾値より大きい露光量に対する加減算値が、露光閾値より小さい露光量に対する加減算値より絶対値が小さくなるように加減算値を導出する。

別の視点から見ると、積算値導出部１６４は、露光量が所定の露光閾値以上であれば、積算値が所定の第３積算閾値未満の場合の露光量に対する加減算値が、積算値が所定の第３積算閾値以上の場合の露光量に対する加減算値より絶対値が大きくなるように加減算値を導出し、露光量が露光閾値未満であれば、積算値が所定の第３積算閾値未満の場合の露光量に対する加減算値が、積算値が所定の第３積算閾値以上の場合の露光量に対する加減算値より絶対値が小さくなるように加減算値を導出する。ここで、ＴＨ１〜ＴＨ６は、露光量範囲内の各閾値を示し、ＴＨ１>ＴＨ２>ＴＨ３>ＴＨ４>ＴＨ５>ＴＨ６（値が大きいほど暗いことを示す）の関係を有している。

ここでは、露光量の閾値を細かく分割し、露光量に対して個々に加減算値を設定することで、以下のような特性を得ることができる。すなわち、図５（ｂ）のように、車外の明るさが明るい場面から暗くなる場面（１６時→２０時）では、図５（ｃ）のように、積算値が第３積算閾値（例えば５０００）未満の状態で、露光量に応じ積算値が第３積算閾値に近づく。このとき、露光量が大きければ大きいほど加減算値の絶対値が大きいので、より暗い場合に、より積算値が第３積算閾値に迅速に近づくこととなる。ただし、積算値が第３積算閾値以上となると、例えば、露光量がＴＨ１未満の状態で、その積算値の増加速度が落ち、第３積算閾値近傍で停滞する。そして、車外が十分に暗くなると（露光量≧ＴＨ１）、積算値が第１積算閾値（例えば６０００）以上となり、要否判定部１６６は、図５（ｄ）のように、ハイビーム許可状態と判定することになる。

かかる構成により、十分暗い場面において積算値は１００００となり、十分明るい場面において積算値は０となり、両者の中間程度の明るさにおいて積算値は５０００近傍となる。したがって、露光量がＴＨ３やＴＨ４近傍といったように少し暗い程度では、ハイビーム不要状態であるか否かの判定は行われない。仮に、積算値に拘わらず、露光量が十分に明るいか暗いかのみに基づいて加減算値を導出した場合、昼から夜になる場面において、十分暗くなるまで積算値は上がらない（０に滞在している）ので、夜になった後に、積算値が０から６０００まで上昇するのを待つ必要がある。これに対し、本実施形態では、夕方の時点で積算値が５０００まで上昇しているので、積算値が５０００から６０００まで上がるのを待てば足り、より短時間でハイビーム許可状態であることを判定することが可能となる。

一方、車外の明るさが暗い場面（積算値＝１００００）から明るくなる場面では、図５（ａ）のように、露光量が小さくなる（明るくなる）につれて加減算値の絶対値が大きく、かつ、積算値が第３積算閾値より小さい場合に比べて大きい方が、加減算値の絶対値が大きく設定されているので、図５（ｃ）のように、積算値が第３積算閾値に迅速に近づくこととなる。ただし、積算値が第３積算閾値未満となると、例えば、露光量がＴＨ６以上の状態で、その積算値の減少速度が落ち、第３積算閾値近傍で停滞する。そして、車外が十分に明るくなると（露光量<ＴＨ６）、積算値が第２積算閾値（例えば４０００）未満となり、要否判定部１６６は、図５（ｄ）のように、ハイビーム不要状態と判定することになる。こうして、仮に、夜から昼になる場面においても、明け方の時点で積算値が５０００まで下降しているので、積算値が５０００から４０００まで下がるのを待てば足り、単に、積算値に拘わらず、露光量が十分に明るいか暗いかのみに基づいて加減算値を導出する場合より短時間でハイビーム不要状態であることを判定することが可能となる。

また、積算値を第１積算閾値より小さく、第２積算閾値より大きい第３積算閾値近傍で停滞させ、積算値が第３積算閾値以上であるか第３積算閾値未満であるかに応じて加減算値を変える構成により、十分に暗い状態が継続しないと積算値が第１積算閾値以上となることはなく、また、十分に明るい状態が継続しないと積算値が第２積算閾値未満となることはない。したがって、昼に物影やトンネルを通過したり、夜に街中を通過する場合であっても、ハイビーム不要状態か否かの判定が不要に切り換わることがなく、安定した判定結果を得ることが可能となる。

なお、本実施形態ではヒステリシス特性を設けているので、要否判定部１６６は、積算値が、所定の第１積算閾値（例えば６０００）以上となるとハイビーム許可状態と判定し、積算値が、第１積算閾値より小さい第２積算閾値（４０００）未満となるとハイビーム不要状態と判定する。したがって、積算値が第１積算閾値以上となり、要否判定部１６６が、一旦ハイビーム許可状態と判定すると、積算値が第２積算閾値未満となるまでは、ハイビーム不要状態と判定される（判定が反転する）ことがなくなる。同様に、積算値が第２積算閾値未満となり、要否判定部１６６が、一旦ハイビーム不要状態と判定すると、積算値が第１積算閾値以上となるまでは、ハイビーム許可状態と判定されることもなくなる。

上述したように、要否判定部１６６が、ハイビーム不要状態であると判定すれば、以降のヘッドランプの配光制御Ｓ２０６〜Ｓ２２２を省略する。したがって、ハイビーム不要状態が継続している間、先行車両抽出処理Ｓ２０８、先行車両認識処理Ｓ２１０、対向車両抽出処理Ｓ２１２、および、対向車両認識処理Ｓ２１４は実行されない。しかし、ハイビーム不要状態からハイビーム許可状態に移行し、上記の処理Ｓ２０８〜Ｓ２１４が唐突に開始されると、ヘッドランプの配光処理が不安定になるおそれがある。そこで、ここでは、ハイビーム不要状態であっても、積算値が所定値（例えば５５００）以上であれば、ハイビーム許可状態へ移行する可能性が高くなるので、ヘッドランプの配光処理を開始する事前準備として、先行車両抽出処理Ｓ２０８、先行車両認識処理Ｓ２１０、対向車両抽出処理Ｓ２１２、および、対向車両認識処理Ｓ２１４を事前に実行させてもよい。

本実施形態では、図５を用いて説明したように、露光量に応じた加減算値を積算し、その積算値に基づいてハイビーム不要状態か否か判定している。以下では、かかる基本的な技術に対し、実際の車外環境をより反映させるべく、車外環境に応じて積算値等を変更する処理について（１）〜（９）で述べる。

（１）自動車の運転開始（起動）時は、１日のどの時間であるか定まっていない。したがって、その時点の積算値の値に拘わらず、積算値を強制的に第３積算閾値（例えば５０００）に設定するとともに、判定結果をハイビーム不要状態とする（既にハイビーム不要状態であれば維持、ハイビーム許可状態であればハイビーム不要状態に切り換える）。こうして、要否判定部１６６にハイビーム不要状態か否かを迅速に判定させることが可能となる。

（２）また、自動車に設けられているオートライト機能を利用して積算値を変更することもできる。ここで、オートライト機能は、照度センサの検出値が所定の照度閾値未満となると（車外の明るさが十分ではなくなると）ヘッドランプを自動的に点灯させる機能である。かかるヘッドランプの自動点灯が不要な状況下では、当然ハイビームも不要である。したがって、オートライトの照度センサの検出値が所定の照度閾値以上、すなわち、ヘッドランプの自動点灯が不要である場合、その時の積算値が第３積算閾値（例えば５０００）以上であれば、積算値を強制的に第３積算閾値（例えば５０００）に設定するとともに、判定結果をハイビーム不要状態とする。ただし、積算値が第３積算閾値未満の場合、積算値を変更することなく、判定結果のみをハイビーム不要状態とする。こうして、要否判定部１６６にハイビーム不要状態か否かを迅速に判定させることが可能となる。

ただし、照度センサとヘッドランプとの制御系は、当該車外環境認識装置１２０の制御系と独立している場合があり、照度センサの検出値を直接参照することができない場合がある。この場合、上記のオートライトの照度センサの検出値が所定の照度閾値以上か否かの判定の代わりに、オートライト機能が有効であり（メインスイッチがオートライトに位置しており）、かつ、ロービームが点灯していないことを条件に、積算値や判定結果を切り換えることができる。

（３）また、メインスイッチのみならずディマースイッチを利用して積算値を変更することもできる。例えば、ディマースイッチがハイビーム可となっている場合、これは、運転手がヘッドランプをハイビームとしたい意思を表しているとも認識することができる。しかし、運転手によっては、ＨＢＡやＡＤＢを常に有効にしておきたいと考え、ディマースイッチを常にハイビーム可の状態にし続ける場合がある。したがって、ディマースイッチがハイビーム可となっていることのみをもって単純に運転手がハイビームの点灯を望んでいると判断できない場合がある。

そこで、ディマースイッチが定常的にハイビーム可となっている状態ではなく、ハイビーム不可からハイビーム可にポジションが切り換わったことをもって、運転手がヘッドランプをハイビームとしたい意思を表していると判断する。すなわち、ディマースイッチがハイビーム不可からハイビーム可へと切り換わったことを契機に、積算値が、第３積算閾値以上でありかつ第１積算閾値未満である所定値（ここでは５５００）未満であれば、積算値を当該所定値（５５００）に切り換える。また、積算値が所定値以上であれば、積算値を切り換えない（維持する）。ただし、ハイビーム不要状態か否かの判定結果は変更しない。当該（３）の処理では、ディマースイッチといったハードウェアの情報を利用しているので、露光量に応じた加減算値を積算しなくとも、撮像装置１１０を用いず、照度センサ等により車外の照度を直接検出して、その照度に応じた加減算値を積算することで、積算値を変更する処理を実現することができる。

ここで、所定値を第３積算閾値以上の値（第１積算閾値より少し小さい値）を用いているのは、運転手がハイビームの点灯を望んでいるのを迅速に反映するためである。また、所定値を第１積算閾値未満としているのは、昼間にＨＢＡやＡＤＢを有効にするためにディマースイッチをハイビーム可に切り換えた場合であっても、安易にハイビーム許可状態と判定させないためである。こうして、要否判定部１６６にハイビーム不要状態か否かを迅速に判定させることが可能となる。

（４）また、車外が特殊な環境である場合に積算値を変更することができる。例えば、曇天の早朝明け方では、露光量がＴＨ６以上（図５（ａ）参照）という状態が長時間続き、ハイビーム不要状態への切り換えが迅速に行われない場合が生じうる。そこで、露光量が所定の露光閾値（例えばＴＨ５）未満となる状態（図５（ａ）参照）が所定の時間閾値（例えば、５〜１０分の間、または、それに相当するフレーム数）以上連続すると、積算値が、第３積算閾値以上であれば、積算値を第３積算閾値に切り換える。また、積算値が第３積算閾値未満であれば、積算値を切り換えない。このとき、いずれも、判定結果をハイビーム不要状態とする。

（５）また、車外が他の特殊な環境である場合に積算値を変更することができる。上述したように、露光量調整部は、生成された画像の一部の領域（例えば、路面領域）の輝度分布を用い、露光量を調整している。通常、路面は灰色から黒色の間の色となる場合が多いが、例えば、積雪があった場合の路面は白色となるため、輝度が比較的高くなる。そうすると、ハイビーム許可状態であるべき十分暗い状況下においても、露光量≧ＴＨ１を満たし、ハイビーム不要状態となる場合がある。

そこで、画像中の、露光量を調整するために参照する路面領域以外の、例えば、上空に相当する領域（そのうち例えば１００画素）を参照し、その輝度を取得する。そして、かかる領域の輝度が所定の暗さ条件、すなわち、輝度が所定値（例えば２５６段階の１０）未満となる画素数が所定値（例えば９０）以上の場合、その時点の積算値が第３積算閾値未満ならば、積算値に４を加算し、積算値が第３積算閾値以上ならば、積算値に２を加算する。ただし、かかる処理は露光量がＴＨ４以上である場合等の所定の条件を満たしているときのみ行う。こうして、夜間の積雪路面であってもハイビーム不要状態が不要に長時間継続する問題を解消することができる。

（６）また、車外環境に応じて積算値の積算処理を一時的に停止することもできる。例えば、先行車両や対向車両といった障害物が自車両１の直前に位置している場合、先行車両のテールランプやブレーキランプ、または、自車両１のヘッドランプの反射等の影響を受け、夜間においても露光量が小さくなる場合がある。そこで、画像処理Ｓ２００で導出した３次元位置を用い、直前の立体物の奥行き距離が所定の距離閾値（例えば１０ｍ）未満となると、その間は積算値の値を更新しない（積算しない）としてもよい。

なお、かかる処理を採用した場合、渋滞中に昼から夜になる状況下では積算値が変化しないこととなるが、そもそも直近に先行車両や障害物がある場合、ハイビームは必要ないので、支障は生じない。こうして、先行車両のテールランプやブレーキランプ、または、自車両１のヘッドランプの反射等の影響により、不要にハイビーム不要状態となるのを回避できる。

（７）また、車外環境に応じて他の積算値の積算処理を一時的に停止することもできる。例えば、夜間、交差点において、自車両が先頭に位置している状態で停止していると、対向車両のヘッドランプが明るい場合がある。この場合、対向車両のヘッドランプの影響で露光量が小さくなる場合がある。そこで、自車両１が停止状態であり、かつ、前方に対向車両が存在すると判定されている場合、積算値の値を更新しない（積算しない）としてもよい。こうして、対向車両のヘッドランプの影響により、不要にハイビーム不要状態となるのを回避できる。

（８）また、他の積算値の積算処理を一時的に停止することもできる。例えば、昼間であっても、撮像装置１１０の光軸を遮蔽されると、車外環境に拘わらず、露光量が大きくなり、ハイビーム許可状態となる場合がある。また、撮像装置１１０は天候等の影響を受けやすく、降雨や霧、あるいは逆光等によって先行車両等を認識できないことがある。そこで、このような撮像装置１１０による制御が一時的に禁止（ＨＡＬＴ判定）されていると判定された場合、積算値の値を更新しない（積算しない）としてもよい。こうして、撮像装置１１０が車外環境を正常に認識できない場合においても、不要にハイビーム許可状態となるのを回避できる。

（９）また、車外環境に応じて露光量の閾値を変更することもある。例えば、自車両１が市街地を走行している間、街灯の影響で露光量が小さくなる場合がある。そこで、前回フレームの走行シーン判定処理Ｓ２２０において、現在のシーンが市街地であると判定されている間、図５（ａ）の各閾値（ＴＨ１〜ＴＨ６）を所定比率（例えば、１０％）小さくするとしてもよい。こうして、市街地においても、街灯の影響で、不要にハイビーム不要状態となるのを回避できる。

（検出範囲設定処理Ｓ２０６）
要否判定部１６６が、ハイビーム許可状態と判定すると（Ｓ２０４におけるＮＯ）、検出範囲設定部１６８は、取得した画像において、立体物を検出する通常の範囲に加え、先行車両（テールランプ）、対向車両（ヘッドランプ）、街灯それぞれを検出するための処理リソースをかけて、より詳細かつ高精度に立体物を検出する範囲（検出範囲）を決定する。このように画像内で、通常の立体物の検出範囲に加え、詳細かつ高精度に検出する範囲を限定することで、先行車両や対向車両を抽出する処理時間の短縮を図るとともに、先行車両や対向車両が本来存在しない領域での誤検出を防止することができる。以下、このように立体物を詳細かつ高精度に検出する検出範囲について詳述する。

図６は、検出範囲を説明するための説明図である。検出範囲設定部１６８は、検出する対象である先行車両、対向車両、街灯それぞれに対し、画像領域２１６のうちの図６に示す予め定められた位置に、破線の矩形で示す先行車両検出範囲２２０ａ、一点鎖線の矩形で示す対向車両検出範囲２２０ｂ、二点鎖線の矩形で示す街灯検出範囲２２０ｃを設定する。図６を参照して理解できるように、先行車両検出範囲２２０ａは、対向車両検出範囲２２０ｂに含まれ、両者と街灯検出範囲２２０ｃとは排他的になっている。

このような先行車両検出範囲２２０ａ、対向車両検出範囲２２０ｂ、街灯検出範囲２２０ｃは、車外環境や進行路に応じてオフセット可能となっている。例えば、道路が湾曲していたり、勾配を有していると、その度合いに応じて先行車両検出範囲２２０ａ、対向車両検出範囲２２０ｂ、街灯検出範囲２２０ｃをオフセットさせる。例えば、進行路が左カーブであれば、検出範囲設定部１６８は、先行車両検出範囲２２０ａ、対向車両検出範囲２２０ｂ、街灯検出範囲２２０ｃそれぞれを、進行路に応じた分だけ左にオフセットする。こうして、先行車両、対向車両、街灯が存在する可能性が最も高い位置を検出範囲として設定することが可能となる。

（先行車両抽出処理Ｓ２０８）
続いて、先行車両抽出部１７０は、先行車両検出範囲２２０ａから、輝度およびカラー情報ならびに３次元位置に応じてテールランプを抽出する。ただし、先行車両のテールランプは、後述する対向車両のヘッドランプや街灯と光量が異なる。そうすると、撮像装置１１０において、テールランプを取得可能な露光時間で撮像すると、ヘッドランプや街灯の輝度が飽和し、逆にヘッドランプや街灯を取得可能な露光時間で撮像すると、テールランプを検出できなくなってしまう。そこで、撮像装置１１０は、フレームを異にして、少なくとも長短２つの露光時間で画像を生成する。

図７は、露光時間の異なる輝度画像２１２を説明するための説明図である。例えば、図７（ａ）は、露光時間が長く、図７（ｂ）は、露光時間が短い。したがって、図７（ａ）の輝度画像２１２を用いると、ヘッドランプや街灯の輝度が飽和するおそれはあるものの、テールランプを適切に抽出でき、図７（ｂ）の輝度画像２１２を用いると、テールランプを抽出できないおそれはあるものの、ヘッドランプや街灯を適切に抽出できる。

そして、先行車両抽出部１７０は、先行車両検出範囲２２０ａにおいて、カラー情報（ＲＧＢまたはＹＵＶ）が、赤色を示す所定の色範囲内にあり、３次元位置が所定の距離範囲（例えば１．５画素）内にある画素同士をグループ化する。ただし、先行車両抽出部１７０は、この条件を満たす画素を全て含む、水平線および垂直線からなる矩形状に画素同士をグループ化する。グループ化したテールランプ候補では、グループの上下左右座標、グループ内画素数、グループ内最大輝度値、最小輝度値、グループの平均奥行き距離（平均視差）といった基本特徴量を有する。

ここで、先行車両抽出部１７０は、グループの上下左右座標の差分（サイズ）が所定値（例えば２画素）以下、グループの上下左右座標の差分（サイズ）が所定値（奥行き距離によって決定）以上、グループ内画素数が所定値（例えば２）以下といった除外条件のいずれかを満たす場合、テールランプ候補として除外する。

また、先行車両検出範囲２２０ａに、テールランプに加え、赤反射板が含まれる場合があり、カラー情報のみで両者を区別するのは難しい。しかし、赤反射板が光の反射を利用しているのに対し、テールランプは自発光しているので、同一の奥行き距離において、テールランプの方が赤反射板より輝度が高くなる。ここでは、かかる特性を利用して、テールランプと赤反射板とを区別する。

図８は、テールランプと赤反射板との関係を示した説明図である。図８において実線で示したテールランプおよび破線で示した赤反射板のいずれも奥行き距離が大きくなるに連れ輝度が低下するが、いずれの距離においてもテールランプの方が赤反射板より輝度が高い。なお、図８では、距離と輝度の関係を、説明の便宜上、線形的に示しているが、実際は線形にはならない場合が多い。先行車両抽出部１７０は、テールランプ候補の奥行き距離と輝度とに基づき、その関係が図８における赤反射板に相当すると判断した場合、テールランプ候補から除外する。

上記のように、本実施形態では、先行車両検出範囲２２０ａにおいてテールランプの抽出を行う。しかし、先行車両検出範囲２２０ａの奥行き距離は、０ｍ〜数百ｍと非常に長く、遠方のテールランプを認識するために露光時間を長くせざるを得ない。そうすると、比較的奥行き距離が長いＡ領域に位置するテールランプは、奥行き距離と輝度との関係を特定でき、例えば、赤反射板と区別できるが、図８に示すように、奥行き距離が短いＢ領域に位置するテールランプは、輝度が最大値で飽和してしまい、奥行き距離と輝度との関係を特定できない。なお、輝度が飽和するのはテールランプの発光部分であって、その周囲では赤色が存在するため、テールランプ候補自体は抽出できる。

かかるテールランプについては、対向車両のヘッドランプに比べ、輝度が低いため、そもそもテールランプと赤反射板との輝度の差は小さい。ここでは、図８に示すように、Ｂ領域において奥行き距離が短くなれば、テールランプと赤反射板との差が縮み、ついには、テールランプと赤反射板のいずれも輝度が飽和してしまう。このように奥行き距離が短いところでは、テールランプと赤反射板とを区別できなくなってしまう。

なお、赤反射板は、走行中の運転手に注意喚起を促す表示として用いられるのに加え、車両のリフレクタとしても用いられている。本実施形態では、あくまで走行中の先行車両に対し、ハイビームによる眩惑（グレア）を与えないことが目的であり、テールランプが点灯していない、例えば、駐車車両にはハイビームを当てるのが望ましい。

例えば、米国の住宅街では路上の縦列駐車が一般的であるため、赤反射板とテールランプとを誤認識すると、路上駐車が多い場所でハイビーム点灯ができない、または、ハイビームとロービームとのハンチングが生じる等の問題が生じ得る。このような事態を回避すべく、テールランプ候補の形状や速度（≠０）を用いることが考えられるが、前者は形状では赤反射板を除外できない場合が多いこと、後者は静止している先行車両も存在すること等から精度の高い識別は難しい。

そこで、やはり、テールランプと赤反射板とは、奥行き距離と輝度との関係に基づいて区別するのが望ましい。ここでは、上述した、テールランプを抽出するため露光時間の長い図７（ａ）の輝度画像２１２に加え、異なるフレームで生成される、ヘッドランプや街灯を抽出するための図７（ｂ）の輝度画像２１２を用いる。

図９は、テールランプと赤反射板との関係を示した他の説明図である。先行車両抽出部１７０は、まず、図７（ａ）の輝度画像（第１画像）を用いる。かかる図７（ａ）の輝度画像２１２では、ブロックの輝度と奥行き距離との関係が図９（ａ）のようになり、Ａの領域に関し、ブロックの輝度と奥行き距離とに基づいて両者を区別し、先行車両のテールランプを抽出することができる。

そして、ブロックの奥行き距離が所定の距離閾値（例えば１５０ｍ）未満であれば、先行車両抽出部１７０は、図７（ａ）の輝度画像２１２より露光時間の短い図７（ｂ）の輝度画像（第２画像）を用いる。かかる図７（ｂ）の輝度画像２１２では、ブロックの輝度と奥行き距離との関係が図９（ｂ）のようになり、Ａの領域より奥行き距離の短いＢの領域に関しても、ブロックの輝度と奥行き距離とに基づいて両者を区別し、先行車両のテールランプを抽出することができる。

なお、露光時間の短い図７（ｂ）の輝度画像２１２からテールランプを抽出する場合の先行車両検出範囲２２０ａは、露光時間の長い図７（ａ）の輝度画像２１２からテールランプを抽出する場合の先行車両検出範囲２２０ａをそのまま利用するか、または、多少拡大（例えば１．１倍）して利用する。すなわち、先行車両検出範囲２２０ａは、露光時間の短い図７（ｂ）の輝度画像２１２における、既に導出されている先行車両検出範囲２２０ａに基づく範囲からテールランプを抽出することとなる。ここでは、フレームレートが十分に小さく、先行車両と自車両１との相対速度が小さいので、フレーム間で先行車両の位置が余り移動することはない。したがって、フレームの異なる輝度画像２１２に、このように先行車両検出範囲２２０ａを流用したとしても問題は生じない。こうして、先行車両検出範囲２２０ａの再導出処理を回避し、処理負荷の軽減を図ることができる。

以下、先行車両抽出部１７０が露光時間の短い図７（ｂ）の輝度画像２１２からテールランプを抽出する具体的な処理を説明する。まず、先行車両抽出部１７０は、テールランプの特徴量として、テールランプ候補の赤色成分（ＲＧＢのＲ）の最大値を用いる。ただし、最大値を求めるのはＲ≧Ｇ、Ｒ≧Ｂの条件を満たす画素のみとする。

また、テールランプの明るさは車両の種別や環境に応じてばらつきが生じるため、複数フレーム間の得点方式で累積した値を用いる。具体的に、いずれも初期値を０とする「テールランプらしさ」を示すテールランプポイントと、「テールランプではないらしさ」を示す非テールランプポイントをフレーム毎に累積する。

図１０は、先行車両抽出部１７０が累積するポイントを説明するための説明図である。かかる図１０では、図９（ｂ）のテールランプと赤反射板との奥行き距離と輝度との関係に基づいて４つの領域（（ａ）〜（ｄ））を設定している。ここでは、テールランプの奥行き距離と輝度との関係に相当するハッチングで示した（ｂ）の領域をテールランプらしいと判定し、赤反射板の奥行き距離と輝度との関係に相当するクロスハッチングで示した（ｄ）の領域をテールランプではないらしいと判定し、その間の（ｃ）の領域をどちらともいえないと判定し、（ｂ）の領域より輝度が高い（ブレーキランプに相当する程度輝度が高い）、（ａ）の領域を確実にテールランプらしいと判定する。なお、図１０では、説明の便宜上、奥行き距離に対して線形的に領域を示しているが、奥行き距離を複数の段階に分割し、それぞれの奥行き距離毎に離散化（階段状に）してもよい。

そして、先行車両抽出部１７０は、ブロックの奥行き距離と輝度の関係が、（ａ）の領域に含まれると判断すると、テールランプポイントに５点加算し、（ｂ）の領域に含まれると判断すると、テールランプポイントに１点加算し、（ｃ）の領域に含まれると判断すると、なんら処理を行わず、（ｄ）の領域に含まれると判断すると、非テールランプポイントに１点加算する。このようにして求められたテールランプポイントと、非テールランプポイントは、後述する先行車両認識処理Ｓ２１０で用いられる。具体的に、先行車両認識部１７２において、先行車両候補が先行車両であると判定された後、その補正を行うためにテールランプポイント、および、非テールランプポイントが用いられる。かかる補正については後程、先行車両認識処理Ｓ２１０において詳述する。

ところで、テールランプや後述するヘッドランプ（以下、簡潔に説明するためテールランプを対象に述べる）は、画像中の特徴量（輝度やカラー情報）に基づいて抽出されるが、その特徴量が閾値付近で変動した場合、テールランプの抽出自体が不安定になる場合がある。例えば、実際に存在する先行車両に対し、そのテールランプを、任意のフレームではテールランプであると判定するが、他のフレームではテールランプではないと判定するといった状況を繰り返す。このようにテールランプが不安定に抽出されると、それに伴って自車両１のヘッドランプの配光制御がハイビームとロービームとを繰り返すハンチングが生じる。

また、進行路近傍に位置する反射板等、自発光しない立体物は、自車両１のヘッドランプの当たり方で、画像の特徴量が異なることとなり、テールランプ（先行車両）やヘッドランプ（対向車両）と誤認識し易くなる。例えば、自車両１がハイビームに設定されると、その反射によりテールランプ（先行車両）と誤認識され、先行車両にハイビームを照射しないように、ハイビームがロービームに切り換わる。しかし、ロービームに切り換わることでハイビームの反射が無くなり、テールランプとは認識されなくなると、再びハイビームになるといったようにハンチングが生じ得る。

このようなハンチングに対し、先行車両や対向車両の認識後の配光制御において対策処理を実行することもできるが、配光制御の元となる認識自体が不安定であると、配光制御自体を複雑にせざるを得ず、結果としてロバスト性を失うこととなる。

そこで、本実施形態では、テールランプ等の抽出時点で、認識処理にヒステリシス特性を組み込んだ処理を行う。具体的には、抽出する対象にハイビームが当たっているか否かに応じて、特徴量を比較する閾値を異ならせる。

例えば、ハイビームが当たっている領域では、ハイビームが当たっていない領域より閾値を高く（厳しく）して、テールランプ等の誤検出を防止する。もしくは、ハイビームが当たっていない領域では、ハイビームが当たっている領域より閾値を低く（緩く）して、テールランプ等を抽出し易くする。こうして、テールランプ等を適切に抽出し、ハンチングを防止することができる。

このようにハイビームが当たっているか否かによって閾値を変更するため、まず、ハイビームが当たっている領域を判断しなければならない。

図１１は、ヘッドランプの配光制御を説明するための機能ブロック図である。本実施形態においては、当該先行車両抽出部１７０や対向車両抽出部１７４によってテールランプやヘッドランプが抽出される。そして、先行車両認識部１７２や対向車両認識部１７６が抽出されたテールランプやヘッドランプに基づいて先行車両や対向車両を認識する。そして、このような情報に基づき、配光制御部１８４が、ヘッドランプの配光、すなわち、ハイビームの照射範囲（もしくは照射有無）を決定し、照明機構１２４が、破線で示したＣＡＮ（Controller Area Network）通信を通じて取得したハイビームの照射範囲に基づき、ハイビームを照射する。

ここで、先行車両抽出部１７０が、図１１に破線で示したように、ＣＡＮ通信を通じて、照明機構１２４がどの照射範囲にハイビームを照射したかの結果的な情報を取得し、上記のように閾値を変更したとする。そうすると、以下のように、ＣＡＮ通信の遅れ等の影響を受ける場合がある。

すなわち、先行車両を認識すると、配光制御部１８４が、その領域のハイビームをロービームに切り換える指示を送る。照明機構１２４は、かかる指示に従ってハイビームをロービームに切り換える。しかし、配光制御部１８４から照明機構１２４まで、および、照明機構１２４から先行車両抽出部１７０までのＣＡＮ通信の遅れにより、配光制御部１８４でロービームへの切換を指示した時点では、まだ、先行車両抽出部１７０および対向車両抽出部１７４は、照明機構１２４がハイビームを照射しているという過去の情報しか得られない。

したがって、先行車両抽出部１７０は、次のフレームにおいても、ヘッドランプがハイビームであるという過去の情報に基づいて、かかる領域の閾値が高いままテールランプを抽出することとなり、折角、抽出したテールランプを次のフレームで見失ってしまうおそれがある。

そこで、先行車両抽出部１７０は、図１１に破線で示したように、ＣＡＮ通信を通じて、照明機構１２４がどの照射範囲にハイビームを照射したかの結果的な情報を取得するとともに、一点鎖線で示す、配光制御部１８４がどの照射範囲にハイビームを照射するように指示したかの情報も取得する。そして、先行車両抽出部１７０は、両情報を併用して閾値を変更する。

具体的に、先行車両抽出部１７０は、照明機構１２４がどの照射範囲にハイビームを照射したかの結果的な情報（照明機構１２４が実行した情報）と、配光制御部１８４がどの照射範囲にハイビームを照射するように指示したかの情報（配光制御部１８４が指示した情報）とのいずれかがロービーム（ハイビームではない）を示していれば、ロービームを照射する（ハイビームを照射しない）領域として認識する。例えば、ＨＢＡの場合は、いずれかがロービームを示していれば、ロービームを照射していると判断し、ＡＤＢの場合は、角度範囲（領域）毎にいずれかがロービームを示していれば、ロービームを照射していると判断する。

かかる構成により、ハイビームからロービームに切り換わった場面において、ＣＡＮ通信の遅れにより、照明機構１２４がどの照射範囲にハイビームを照射したかの結果的な情報が未だハイビームを示していても、配光制御部１８４がどの照射範囲にハイビームを照射するように指示したかの情報がロービーム（ハイビームではない）となっているので、閾値として低い（緩い）値が用いられ、先行車両（対向車両）を安定して検出し続けることが可能となる。こうして、先行車両（対向車両）に対し、ハイビームを当ててしまう可能性を削減することが可能となる。

また、ＡＤＢを用いている場合、照明機構１２４がどの照射範囲にハイビームを照射したかの情報は、照明機構１２４から伝達されるハイビームの照射角度を示すカットライン角度情報から得ることとなる。しかし、かかるカットライン角度情報のみでは、輝度画像２１２のどの範囲にハイビームが当たっているかを単純に特定することはできない。

図１２は、カットライン角度と画角との関係を説明するための上視面図である。例えば、図１２において、同一の任意の画角にＡとＢとが存在していたとする。カットライン角度を参照すると、ＡとＢとは撮像装置１１０で生成された輝度画像２１２中の水平位置は等しいが、Ａにはハッチングで示すようにハイビームが当たっており、Ｂにはハイビームが当たっていない。これは、図１２のように、撮像装置１１０とヘッドランプ（照明機構１２４）の位置の違いに基づくものである。したがって、ブロックの奥行き距離さえ把握できれば、先行車両抽出部１７０は、そのブロックの画角および奥行き距離と、カットライン角度とに基づいて、図１２のように幾何学的計算で輝度画像２１２のどの範囲（ブロック）にハイビームが当たっているか否かを判定することができる。

ただし、図１２におけるブロックの画角および奥行き距離とカットライン角度とに基づいて、ハイビームが当たっているか否かを計算するとなると、三角関数や除算など処理負荷の増大を招いてしまう。そこで、本実施形態では、奥行き距離を複数の距離範囲に分け、距離範囲毎にテーブルを用いて処理負荷を低減する。

図１３は、カットライン角度のテーブルを説明するための説明図である。ここでは、奥行き距離を５段階（０ｍ〜１０ｍ、１０ｍ〜３０ｍ、３０ｍ〜７０ｍ、７０ｍ〜２００ｍ、２００ｍ〜）に分け、それぞれの距離範囲において１つのカットライン角度（分解能０．１°）を対応付ける。ここで、図１３（ａ）においていずれも破線で示した、奥行き距離１０ｍのカットライン角度と、奥行き距離３０ｍのカットライン角度とを比較する。そうすると、奥行き距離が短い程、カットライン角度が広がっているのが理解できる。

そこで、図１３（ｂ）のように、距離範囲１０ｍ〜３０ｍの画像上のカットライン角度は、破線で示した奥行き距離が最短となる１０ｍのカットライン角度（ここでは２４．９°）を用いることとする。したがって、距離範囲１０ｍ〜３０ｍも含め、全ての奥行き距離において、真のカットライン角度よりもカットライン角度を広くとることとなり、先行車両に対し、ハイビームを当ててしまう可能性を削減することが可能となる。

なお、図１３（ｂ）に示すように、５段階の距離範囲は等分割ではなく、非線形に変化させている。これは、画像上のカットライン角度と真のカットライン角度の差分が、距離が短い程、急激に大きくなるためである。このように距離範囲を非線形に変化させることで、奥行き距離に応じた適切なカットライン角度を設定することが可能となる。

このようにして、先行車両抽出部１７０は、画像のブロックの画角および奥行き距離と、ハイビームのカットライン角度とに基づいて、そのブロックにハイビームが当たっているか否か判定し、その結果に応じてテールランプであるか否かを判定する閾値を変更し、先行車両のテールランプを抽出し、それに基づいて、後述するように先行車両認識部１７２が先行車両を認識する。

しかし、先行車両は水平方向にある程度の車幅を有しているため、例えば、先行車両の水平方向半分にハイビームが当たり、他の半分に当たっていないという状況も生じる。この場合、先行車両候補に対し、ハイビームが当たっている割合と、ハイビームが当たっていない割合とを比較し、その割合が大きい方に準じることとする。したがって、ハイビームが当たっている割合が大きければ先行車両候補全体にハイビームが当たっているとし、ハイビームが当たっていない割合が大きければ先行車両候補全体にハイビームが当たっていないとする。

なお、疑わしきは当たっていないと判断するという考えもあるが、上述したように、当該テーブルを用いることで、カットライン角度は真のカットライン角度より広く、ハイビームが当たっていない方向に寄せているので、過剰にハイビームが当たっていないとならないように、ここでは、単純に割合に応じてハイビームの当否を決定している。

こうして、ハイビームとロービームのハンチングを防止するとともに、先行車両に対し、ハイビームを当ててしまう可能性を削減することが可能となる。

（先行車両認識処理Ｓ２１０）
続いて、先行車両認識部１７２は、先行車両抽出部１７０が抽出したテールランプ同士をグループ化し、先行車両検出範囲２２０ａ中の先行車両を認識する。

具体的に、テールランプ（グループ）間の画像上の距離が同一の自動車に含まれる距離範囲（先行車両抽出処理Ｓ２０８の所定の距離範囲より長い）にあるか、平均奥行き距離（平均視差）の差が同一の自動車に含まれる距離範囲にあるか、最大輝度値の比が所定範囲にあるかの条件を全て満たした場合に、テールランプ同士をグループ化して先行車両候補とする。

このようにグループ化した先行車両候補は、グループ化する前のテールランプの基本特徴量を受け継ぐ。例えば、先行車両候補の上下左右座標は、先行車両候補外方に相当するテールランプの上下左右座標を受け継ぎ、先行車両候補のうち最大輝度値、最小輝度値はテールランプのうち最大輝度値、最小輝度値のいずれも大きい方を受け継ぎ、先行車両候補の平均奥行き距離はテールランプの平均奥行き距離が短い方（平均視差の大きい方）を受け継ぐ。そして、先行車両候補に含まれるテールランプ数も計数する。

また、先行車両認識部１７２は、過去のフレームにおいて同等の３次元位置に先行車両の存在が確認できていたか否か判定し、確認できた存在回数を計数する。かかる存在回数は先行車両らしさの信頼度に影響する。そして、先行車両認識部１７２は、先行車両としての信頼性があることを示す条件を満たすか、および、先行車両としての信頼性がないことを示す条件を満たすか判断し、その結果に応じて先行車両候補を先行車両として特定、もしくは、先行車両候補から除外する。このような先行車両認識処理Ｓ２１０は、例えば、特開２０１４−２３２４３１号等、既存の様々な技術を採用可能なので、ここでは、その詳細な説明を省略する。

続いて、先行車両認識部１７２は、先行車両抽出部１７０が累積しているテールランプポイント、および、非テールランプポイントに基づいて、特定された先行車両を補正する。具体的に、先行車両認識部１７２は、非テールランプポイントが所定値（例えば３）以上であれば、特定された先行車両を先行車両候補から除外する。その後、先行車両認識部１７２は、テールランプポイントが所定値以上であれば、除外された先行車両を改めて先行車両として特定する。こうして、「テールランプらしさ」を示すテールランプポイントを、「テールランプではないらしさ」を示す非テールランプポイントより強く反映する。ただし、先行車両から除外する補正は、ハイビームが当たっているとされる領域に存在する先行車両候補のみを対象とする。これは、先行車両の認識を安定化するためである。

ここで、テールランプポイントと比較する所定値は、テールランプ数に応じて異なり、例えば、テールランプが１つであれば８、２つ以上であれば５等を採用する。これは、路肩に存在する単独の反射板をテールランプと誤認識し難くするためである。

（対向車両抽出処理Ｓ２１２）
続いて、対向車両抽出部１７４は、対向車両検出範囲２２０ｂから、輝度およびカラー情報ならびに３次元位置に応じてヘッドランプを抽出する。ただし、上述したように、対向車両のヘッドランプは、先行車両のテールランプと光量が異なるので、図７（ｂ）に示した露光時間の短い輝度画像２１２を用いる。

次に、対向車両抽出部１７４は、対向車両検出範囲２２０ｂ内において、輝度が所定の輝度閾値（例えば２５６段階の５〜１０）以上であり、３次元位置が所定の距離範囲（例えば１．５画素）内にある画素同士をグループ化する。ただし、対向車両抽出部１７４は、この条件を満たす画素を全て含む、水平線および垂直線からなる矩形状に画素同士をグループ化する。グループ化したヘッドランプ候補では、グループの上下左右座標、グループ内画素数、グループ内最大輝度値、最小輝度値、グループの平均奥行き距離（平均視差）といった基本特徴量を有する。

ここで、対向車両抽出部１７４は、グループの上下左右座標の差分（サイズ）が所定値（例えば２画素）以下、グループの上下左右座標の差分（サイズ）が所定値（奥行き距離によって決定）以上、グループ内画素数が所定値（例えば２）以下といった除外条件のいずれかを満たす場合、ヘッドランプ候補として除外してもよい。ここで、輝度と比較する所定値は、前回フレームでの所定値を踏まえて調整される。このような対向車両抽出処理Ｓ２１２は、例えば、特開２０１４−２３２４３０号等、既存の様々な技術を採用可能なので、ここでは、その詳細な説明を省略する。

また、当該対向車両抽出処理Ｓ２１２において、上述した、先行車両抽出処理Ｓ２０８の技術をそのまま利用できる。すなわち、対向車両抽出部１７４は、照明機構１２４がどの照射範囲にハイビームを照射したかの結果的な情報と、配光制御部１８４がどの照射範囲にハイビームを照射するように指示したかの情報とのいずれかがロービーム（ハイビームではない）を示していれば、ロービームを照射する（ハイビームを照射しない）領域として認識する。例えば、ＨＢＡの場合は、いずれかがロービームを示していれば、ロービームを照射していると判断し、ＡＤＢの場合は、角度（領域）毎にいずれかがロービームを示していれば、ロービームを照射していると判断する。

かかる構成により、ハイビームからロービームに切り換わった場面において、ＣＡＮ通信の遅れにより、照明機構１２４がどの照射範囲にハイビームを照射したかの結果的な情報が未だハイビームを示していても、配光制御部１８４がどの照射範囲にハイビームを照射するように指示したかの情報がロービーム（ハイビームではない）となっているので、閾値として低い（緩い）値が用いられ、対向車両を安定して検出し続けることが可能となる。こうして、対向車両に対し、ハイビームを当ててしまう可能性を削減することが可能となる。

また、対向車両抽出部１７４は、ブロックの画角および奥行き距離と、カットライン角度とに基づいて、計算により輝度画像２１２のどの範囲にハイビームが当たっているかを特定することができる。こうして、ハイビームとロービームのハンチングを防止するとともに、対向車両に対し、ハイビームを当ててしまう可能性を削減することが可能となる。

（対向車両認識処理Ｓ２１４）
続いて、対向車両認識部１７６は、対向車両抽出部１７４が抽出したヘッドランプ同士をグループ化し、対向車両検出範囲２２０ｂ中の対向車両を認識する。

具体的に、ヘッドランプ（グループ）間の画像上の距離が同一の自動車に含まれる距離範囲（対向車両抽出処理Ｓ２１２の所定の距離範囲より長い）にあるか、平均奥行き距離の差が同一の自動車に含まれる距離範囲にあるか、最大輝度値の比が所定範囲にあるかの条件を全て満たした場合に、ヘッドランプ同士をグループ化して対向車両候補とする。

このようにグループ化した対向車両候補は、グループ化する前のヘッドランプの基本特徴量を受け継ぐ。例えば、対向車両候補の上下左右座標は、対向車両候補外方に相当するヘッドランプの上下左右座標を受け継ぎ、対向車両候補のうち最大輝度値、最小輝度値はヘッドランプのうち最大輝度値、最小輝度値のいずれも大きい方を受け継ぎ、対向車両候補の平均視差（奥行き距離）はヘッドランプの平均奥行き距離が短い方（平均視差の大きい方）を受け継ぐ。そして、対向車両候補に含まれるヘッドランプ数も計数する。

また、対向車両認識部１７６は、過去のフレームにおいて同等の３次元位置に対向車両の存在が確認できていたか否か判定し、確認できた存在回数を計数する。かかる存在回数は対向車両らしさの信頼度に影響する。そして、対向車両認識部１７６は、対向車両としての信頼性があることを示す条件を満たすか、および、対向車両としての信頼性がないことを示す条件を満たすか判断し、その結果に応じて対向車両候補を対向車両として特定、もしくは、対向車両候補から除外する。このような対向車両認識処理Ｓ２１４は、例えば、特開２０１４−２３１３０１号等、既存の様々な技術を採用可能なので、ここでは、その詳細な説明を省略する。

（街灯抽出処理Ｓ２１６）
続いて、街灯抽出部１７８は、対向車両抽出処理Ｓ２１２と同様の処理により、街灯検出範囲２２０ｃから、輝度およびカラー情報ならびに３次元位置に応じて街灯を抽出する。

（街灯認識処理Ｓ２１８）
街灯認識部１８０は、街灯抽出部１７８が抽出した街灯を認識する。ここで、街灯はハイビームを照射すべきでない立体物ではないが、後段の走行シーン判定処理Ｓ２２０において利用される。

（走行シーン判定処理Ｓ２２０）
走行シーン判定部１８２は、ハイビームを照射可能な走行シーンであるか否か判定する。例えば、走行シーン判定部１８２は、車速が所定値（例えば２０ｋｍ／ｈ）以下である場合、ハイビームが不要なシーンであると判定する。また、走行シーン判定部１８２は、自車両１が左右折する場合、ハイビームが不要なシーンであると判定する。さらに、走行シーン判定部１８２は、街灯の数が所定数（例えば３）以上存在する場合、車外が十分明るいとしてハイビームが不要なシーンであると判定する。このような走行シーン判定処理Ｓ２２０は、例えば、特開２０１４−２３２４０８号、特開２０１４−２３２４０９号等、既存の様々な技術を採用可能なので、ここでは、その詳細な説明を省略する。

（配光制御処理Ｓ２２２）
最後に、配光制御部１８４は、先行車両、対向車両、および、走行シーンに基づいて自車両１のヘッドランプの配光制御を実行する。

図１４は、配光制御部１８４の動作を示した説明図である。図１４に示すように、走行シーン判定部１８２が、ハイビームが不要なシーンであると判定すると、ＨＢＡであるかＡＤＢであるか、および、照射すべきではない立体物（先行車両、対向車両）の数に拘わらず、ハイビームの照射を行わない。また、走行シーン判定部１８２が、ハイビームの利用を許可するシーンであると判定すると、ＨＢＡの場合、照射すべきではない立体物が１以上あれば、ハイビームの照射を行わず、照射すべきではない立体物がなければ、ハイビームの照射を行う。また、ＡＤＢの場合、照射すべきではない立体物が１以上あれば、その立体物への照射を回避しつつ、一部の範囲にハイビームの照射を行い、照射すべきではない立体物がなければ、全範囲にハイビームの照射を行う。

図１５は、ＡＤＢの配光制御を説明した説明図である。ここで、ＡＤＢにおいて、照射すべきではない立体物が１以上あれば、図１５（ａ）のように、立体物全てにおける水平方向の最大幅Ｗを計算し、その位置より外側のみハイビームの照射を行う。ただし、ＡＤＢのハイビームを分割させて中央部分にも照射可能であれば、図１５（ｂ）のように、照射すべきではない先行車両と対向車両とのそれぞれ水平方向の最大幅Ｗ１、Ｗ２を計算し、中央および外側にハイビームの照射を行う。

なお、ＡＤＢの場合、対向車両が自車両１に非常に近くなると、対向車両検出範囲２２０ｂ外となる場合がある。そのため、対向車両がある程度の奥行き距離（例えば５０ｍ）まで近づくと、すれ違いが予想される方向への照射は一定期間（例えば１ｓｅｃ）行わないこととする。

かかる車外環境認識装置１２０によって、ヘッドランプの配光制御を適切に実行することが可能となる。

また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態では、その都度、ＨＢＡやＡＤＢによる配光制御を説明しているが、全ての処理がいずれの配光制御にも適用できる。

また、上述した実施形態では、様々な閾値を設定しているが、かかる値は、適宜変更可能であり、経験値や実験値によって設定することもできる。

なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、車外環境に応じてヘッドランプの配光制御を行う車外環境認識装置に利用することができる。

１２０ 車外環境認識装置
１２４ 照明機構
１６４ 積算値導出部
１６６ 要否判定部
１６８ 検出範囲設定部
１７０ 先行車両抽出部
１７２ 先行車両認識部
１７４ 対向車両抽出部
１７６ 対向車両認識部
１７８ 街灯抽出部
１８０ 街灯認識部
１８２ 走行シーン判定部
１８４ 配光制御部
２２０ａ 先行車両検出範囲
２２０ｂ 対向車両検出範囲
２２０ｃ 街灯検出範囲

Claims (3)

1. 変更可能な閾値を用いて、画像から先行車両のテールランプを抽出する先行車両抽出部と、
   抽出されたテールランプに基づいて先行車両を認識する先行車両認識部と、
   前記先行車両認識部の認識結果に基づいてヘッドランプの配光を決定し、その決定結果に基づいて第１の情報を生成する配光制御部と、
   前記第１の情報に基づいて前記ヘッドランプの配光をロービームとハイビームを切り換える照明機構と、
   を備え、
   前記先行車両抽出部は、前記第１の情報および前記照明機構が実行した結果を示す第２の情報のいずれも取得し、少なくともいずれか一方が前記画像内の任意の画像領域に対応する範囲に対する前記ロービームの照射を示していれば、その前記画像領域について前記ロービームに対応する閾値を用いてテールランプを抽出する車外環境認識装置。
2. 前記第１の情報および前記第２の情報は、前記ハイビームの照射範囲についての情報を含む請求項１に記載の車外環境認識装置。
3. 変更可能な閾値を用いて、画像から先行車両のテールランプを抽出する先行車両抽出部と、
   抽出されたテールランプに基づいて先行車両を認識する先行車両認識部と、
   前記先行車両認識部の認識結果に基づいてヘッドランプの配光を決定し、その決定結果に基づいて第１の情報を生成する配光制御部と、
   前記第１の情報に基づいて前記ヘッドランプの配光をロービームとハイビームとに切り換える照明機構と、
   を備え、
   前記先行車両抽出部は、前記第１の情報および前記照明機構が実行した結果を示す第２の情報のいずれも取得し、前記画像内の任意の画像領域に対応する画角および奥行き距離に基づいて、前記第１の情報および前記第２の情報のいずれかが、前記画像領域に対応する範囲に対する前記ロービームの照射を示していれば、その前記画像領域について前記ロービームに対応する閾値を用いてテールランプを抽出する車外環境認識装置。

Images