JP6939615B2 - 信号機認識装置 - Google Patents

Description

本発明は、信号機認識装置に関する。

従来、信号機認識装置に関する技術文献として、特開２００６−３０９４５０号公報が知られている。この公報には、信号機などの認識対象物の位置を記録した地図情報と車両（カメラ）の地図上の位置とに基づいて、カメラで撮像された画像内の認識対象物を探索する画像認識装置が示されている。この画像認識装置では、画像内において探索した認識対象物を含むように探索領域を設定し、探索領域に絞って画像認識を行うことで撮像画像全体の画像認識を行う場合と比べて、信号機などの認識処理の速度向上を行っている。

特開２００６−３０９４５０号公報

しかしながら、上述した従来の装置のように、カメラの撮像した画像のうち探索領域に絞って画像認識を行う場合、探索領域の位置ずれが生じて信号機の一部又は前部が探索領域から外れると、探索領域内の画像認識で信号機の点灯状態を認識できないことがある。このため、探索領域の位置ずれに対して適切な対策が求められている。

そこで、本技術分野では、探索領域の位置ずれにより信号機の点灯状態が認識できないことを抑制することができる信号機認識装置を提供することが望まれている。

上記課題を解決するため、本発明の一態様は、車両のカメラの撮像画像に対して探索領域を設定し、探索領域内の信号機を認識する信号機認識装置であって、車両の地図上の位置を認識する車両位置認識部と、車両のレーダセンサの検出結果及びカメラの撮像画像の少なくとも一方に基づいて、車両の周囲の物体を認識する物体認識部と、信号機の地図上の位置情報及び形状情報を含む信号機データと信号機の周辺に存在する周辺構造物の地図上の位置情報及び形状情報を含む周辺構造物データとを記憶する信号機関連データベースと、車両の地図上の位置と信号機の地図上の位置情報とに基づいて、車両が信号機認識範囲に位置するか否かを判定する位置判定部と、位置判定部により車両が信号機認識範囲に位置すると判定された場合に、車両の地図上の位置と物体認識部の認識結果と信号機データ及び周辺構造物データとに基づいて、カメラによって信号機を撮像可能であるか否かを判定する撮像可否判定部と、位置判定部により車両が信号機認識範囲に位置すると判定された場合に、物体認識部の認識結果と信号機データ及び周辺構造物データとに基づいて、車両に対する信号機の位置誤差範囲を認識する位置誤差範囲算出部と、撮像可否判定部によりカメラによって信号機を撮像可能であると判定された場合に、位置誤差範囲に応じた大きさの探索領域を撮像画像に設定する探索領域設定部と、探索領域が設定された場合に、探索領域内の信号機の点灯状態を認識する信号機認識部と、を備え、周辺構造物は、信号機と一体の構造物の少なくとも一部分を含み、信号機認識部は、探索領域内で信号機の点灯状態を認識できないとき、探索領域の拡大処理を行ってから探索領域内の信号機の点灯状態の再認識を行い、探索領域内の信号機の点灯状態を認識できない間、拡大処理の回数が回数閾値以上になるまで拡大処理と再認識とを繰り返す。

本発明の一態様の信号機認識装置によれば、車両が信号機認識範囲に位置すると判定された場合に、信号機データだけではなく周辺構造物データも用いて、カメラによる信号機の撮像可否を判定するので、信号機データのみを用いる場合と比べて撮像可否の判定精度を向上させることができる。また、この信号機認識装置では、カメラによって信号機を撮像可能であると判定された場合に、位置誤差範囲に応じた大きさの探索領域を撮像画像に設定するので、位置誤差範囲を考慮した適切な大きさの探索領域を設定することが可能となる。しかも、この信号機認識装置によれば、探索領域内で信号機の点灯状態を認識できないときには、探索領域の拡大処理を行ってから探索領域内の信号機の再認識を行い、信号機の点灯状態を認識できない間、拡大処理の回数が回数閾値以上になるまで拡大処理と再認識とを繰り返すので、探索領域の位置ずれが生じていても探索領域を拡大して信号機の点灯状態を認識することが可能となり、探索領域の位置ずれにより信号機の点灯状態を認識できないことを抑制することができる。

本発明の一態様の信号機認識装置において、信号機データには、信号機のタイプの情報が含まれており、探索領域設定部は、信号機のタイプが吊り下げ式である場合、位置誤差範囲に応じた大きさの探索領域ではなく、予め定められた吊り下げ式用の大きさの探索領域を設定し、信号機認識部は、信号機のタイプが吊り下げ式である場合、探索領域内で信号機の点灯状態を認識できないときであっても、拡大処理及び再認識を行わない態様としてもよい。
この信号機認識装置によれば、撮像対象の信号機のタイプが吊り下げ式である場合には、信号機の近くに看板などの周辺構造物が存在しないときが多く、風や吊り下げワイヤーのたわみなどで信号機の位置の変動が生じるため、位置誤差範囲に応じた大きさの探索領域ではなく、予め定められた吊り下げ式用の大きさの探索領域を設定する。また、この信号機認識装置では、信号機のタイプが吊り下げ式である場合には、探索領域の拡大処理及び再認識を行わない。これにより、この信号機認識装置では、信号機の位置及び位置誤差範囲を十分な精度で認識しにくい吊り下げ式の信号機において不要な演算処理を繰り返すことを避けることができる。

以上説明したように、本発明の一態様の信号機認識装置によれば、探索領域の位置ずれにより信号機の点灯状態が認識できないことを抑制することができる。

第１の実施形態の信号機認識装置を示すブロック図である。 車両が信号機撮像範囲に位置する場合の例を示す平面図である。 （ａ）信号機関連データベースから抽出された車両前方の信号機及び周辺構造物を示す図である。（ｂ）物体認識部の認識した車両前方の信号機及び周辺構造物を示す図である。（ｃ）物体認識部の認識した信号機及び周辺構造物と信号機関連データベースにおける信号機及び周辺構造物との照合を説明するための図である。 （ａ）カメラの撮像画像における探索領域の設定を示す図である。（ｂ）探索領域の拡大処理を説明するための図である。 信号機認識処理の一例を示すフローチャートである。 第２の実施形態の信号機認識装置を示すブロック図である。 （ａ）信号機関連データベースから抽出された車両前方の吊り下げ式の信号機及び周辺構造物を示す図である。（ｂ）物体認識部の認識した車両前方の吊り下げ式の信号機及び周辺構造物を示す図である。 吊り下げ式用の大きさの探索領域の設定を示す図である。 信号機タイプ判定処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。

［第１の実施形態］
図１は、一実施形態の信号機認識装置を示すブロック図である。図１に示す信号機認識装置１００は、乗用車等の車両に搭載されており、車両のカメラの撮像画像に含まれる信号機の点灯状態の認識を行う。信号機の点灯状態には、少なくとも通過許可点灯状態（例えば青信号）及び通過禁止点灯状態（例えば赤信号）が含まれる。信号機の点灯状態には、通過許可点灯状態から通過禁止点灯状態に遷移中であることを示す遷移点灯状態（例えば黄信号）が含まれていてもよい。信号機は、車両用の信号機に限られてもよく、歩行者用の信号機を認識可能であってもよい。

〈第１の実施形態の信号機認識装置の構成〉
以下、第１の実施形態の信号機認識装置１００の構成について図面を参照して説明を行う。図１に示すように、信号機認識装置１００は、装置を統括的に制御するＥＣＵ［Electronic Control Unit］１０を備えている。ＥＣＵ１０は、ＣＰＵ[CentralProcessing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等からなる電子制御ユニットである。ＥＣＵ１０では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、各種の車両制御を実行する。ＥＣＵ１０は、複数の電子制御ユニットから構成されていてもよい。

ＥＣＵ１０は、ＧＰＳ受信部１、カメラ２、レーダセンサ３、地図データベース４、及び信号機関連データベース５と接続されている。

ＧＰＳ受信部１は、３個以上のＧＰＳ衛星から信号を受信することにより、自車両の位置（例えば自車両の緯度及び経度）を測定する。ＧＰＳ受信部１は、測定した自車両の位置情報をＥＣＵ１０へ送信する。

カメラ２は、車両の外部状況を撮像する撮像機器である。カメラ２は、一例として車両のフロントガラスの裏側に設けられ、車両前方を撮像する。カメラ２は、車両前方の撮像画像をＥＣＵ１０へ送信する。カメラ２は、単眼カメラであってもよく、ステレオカメラであってもよい。また、カメラ２の取付け箇所はフロントガラスの裏側に限られず、少なくとも車両前方を撮像可能であればよい。カメラ２は、車両前方に限らず、車両の複数の方向をそれぞれ撮像する複数台のカメラから構成されていてもよい。

レーダセンサ３は、電波（例えばミリ波）又は光を利用して車両の周辺の物体（電柱、信号機など）を検出する検出機器である。レーダセンサ３には、例えば、ミリ波レーダ又はライダー［LIDAR：Light Detection and Ranging］が含まれる。レーダセンサ３は、電波又は光を車両の周辺に送信し、物体で反射された電波又は光を受信することで物体を検出する。レーダセンサ３は、検出した物体に関する検出結果をＥＣＵ１０へ送信する。

地図データベース４は、地図情報を記憶するデータベースである。地図データベース４は、例えば、車両に搭載されたＨＤＤ［Hard Disk Drive］内に形成されている。地図情報には、道路の位置情報、道路形状の情報（例えばカーブ、直線部の種別、カーブの曲率等）、交差点及び分岐点の位置情報などが含まれる。地図情報には、位置情報と関連付けられた法定速度などの交通規制情報が含まれていてもよい。なお、地図データベース４は、必ずしも車両に搭載されている必要はなく、車両と通信可能なサーバに形成されていてもよい。

信号機関連データベース５は、信号機データと周辺構造物データとを記憶するデータベースである。信号機データには、信号機の地図上の位置情報と信号機の形状情報とが含まれる。信号機の地図上の位置情報とは、信号機の地図上における位置座標の情報である。信号機の形状情報とは、信号機の三次元形状に関する情報である。

周辺構造物データには、信号機の周辺に存在する周辺構造物の地図上の位置情報と周辺構造物の形状情報とが含まれる。周辺構造物とは、信号機の周辺に存在する構造物のうち信号機と組み合わせて車両の自車位置推定（自車位置の認識）に用いられる構造物である。周辺構造物には、信号機を支持する支柱などの支持体、信号機と同じ支持体に取り付けられた道路標識などが含まれる。信号機を支持する支持体には、支柱、電柱、ポール、歩道橋、トンネルの内壁などが含まれてもよい。なお、周辺構造物には、必ずしも支持体の全体が含まれる必要はなく、支持体のうち信号機から一定範囲内の部分のみが含まれていてもよい。

周辺構造物には、信号機の周辺において信号機とは別に独立して設けられた別体構造物を含んでもよい。別体構造物は、道路に対して固定されている構造物であり、信号機を支持する支持体とは別の電柱などが含まれる。具体的に、別体構造物には、信号機と別体の電柱などに支持された道路標識、信号機と別体の道路照明灯などを含めることができる。周辺構造物の地図上の位置情報とは、周辺構造物の地図上における三次元位置の情報である。周辺構造物の形状情報とは、周辺構造物の三次元形状に関する情報である。なお、信号機関連データベース５は、地図データベース４と一体のデータベースとして構成されていてもよく、車両と通信可能なサーバに形成されていてもよい。

次に、ＥＣＵ１０の機能的構成について説明する。ＥＣＵ１０は、車両位置認識部１１、位置判定部１２、物体認識部１３、撮像可否判定部１４、位置誤差範囲算出部１５、探索領域設定部１６、及び信号機認識部１７を有している。なお、以下に記載するＥＣＵ１０の機能の一部は、車両と通信可能なサーバにおいて実行される態様であってもよい。

車両位置認識部１１は、ＧＰＳ受信部１の位置情報及び地図データベース４の地図情報に基づいて、車両の地図上の位置を認識する。また、車両位置認識部１１は、地図データベース４の地図情報に含まれた電柱等の固定障害物の位置情報とカメラ２の撮像画像又はレーダセンサ３の検出結果とを利用して、ＳＬＡＭ［Simultaneous Localization and Mapping］技術により車両の地図上の位置を認識してもよい。車両位置認識部１１は、地図データベース４の地図情報に加えて、信号機関連データベース５に記憶されている信号機データ及び周辺構造物データを利用してもよい。車両位置認識部１１は、その他、周知の手法により車両の地図上の位置を認識してもよい。

位置判定部１２は、車両位置認識部１１の認識した車両の地図上の位置と信号機データにおける信号機の地図上の位置とに基づいて、車両が信号機認識範囲に位置するか否かを判定する。信号機認識範囲とは、車両のカメラ２により信号機を撮像可能な地図上の範囲である。

位置判定部１２は、例えば、車両前方の信号機と車両との距離が距離閾値未満になった場合に、車両が信号機認識範囲に位置していると判定する。距離閾値は予め設定される値である。位置判定部１２は、地図データベース４の地図情報に関連付けて信号機認識範囲が信号機ごとに予め設定されている場合には、予め設定された信号機認識範囲に車両の地図上の位置が含まれるとき、車両が信号機認識範囲に位置していると判定してもよい。

ここで、図２は、車両が信号機撮像範囲に位置する場合の例を示す平面図である。図２に、車両Ｍ、一時停止線Ｅ、車両Ｍの前方の信号機１１０、信号機１１０を支える支柱５０、支柱５０に取付けられて横方向に延在する取付け腕部５１、取付け腕部５１において信号機１１０の隣に取付けられた道路案内標識５２、及び電柱６０を示す。信号機１１０は、通過許可点灯状態（例えば青信号）、遷移点灯状態（例えば黄信号）、及び通過禁止点灯状態（例えば赤信号）の三つの点灯状態を有する三灯式の信号機である。電柱６０は、信号機１１０の周辺において信号機１１０とは別に独立して設けられた別体構造物である。また、図２において、信号機認識範囲の判定に用いられる距離閾値をＬとして示している。

図２に示す状況において、位置判定部１２は、信号機関連データベース５に記憶された信号機１１０の地図上の位置情報と車両Ｍの地図上の位置とに基づいて、車両Ｍが信号機認識範囲（信号機１１０の信号機認識範囲）に位置していると判定する。位置判定部１２は、車両Ｍと信号機１１０との距離が距離閾値Ｌ未満であることから、車両Ｍが信号機認識範囲に位置していると判定する。

物体認識部１３は、カメラ２の撮像画像及びレーダセンサ３の検出結果に基づいて、車両Ｍの周囲の物体を認識する。物体認識部１３は、周知のセンサ情報統合処理によって、カメラ２の撮像画像及びレーダセンサ３の検出結果を統合して物体認識を行う。物体認識部１３は、例えば、レーダセンサ３の検出した三次元の検出点（光又はミリ波の反射点）にカメラ２の撮像した色情報を付加するなどのセンサ情報統合を行う。物体認識部１３は、車両Ｍに対する物体の相対位置及び物体の形状を認識する。

なお、物体認識部１３は、必ずしもカメラ２の撮像画像及びレーダセンサ３の検出結果の両方を用いる必要はない。物体認識部１３は、レーダセンサ３の検出結果のみを物体認識に用いてもよく、カメラ２の撮像画像のみを物体認識に用いてもよい。カメラ２の撮像画像のみを物体認識に用いる場合には、レーダセンサ３を備える必要はない。

撮像可否判定部１４は、位置判定部１２により車両が信号機認識範囲に位置すると判定された場合に、車両位置認識部１１の認識した車両の地図上の位置と物体認識部１３の認識結果と信号機関連データベース５の信号機データ及び周辺構造物データとに基づいて、カメラ２によって信号機を撮像可能であるか否かを判定する。

まず、撮像可否判定部１４は、車両の地図上の位置を参照して信号機関連データベース５に含まれる信号機データ及び周辺構造物データより、車両の周囲に存在する信号機及び周辺構造物を抽出する。図２に示す状況において、撮像可否判定部１４は、車両Ｍの前方の信号機１１０を抽出すると共に、支柱５０、道路案内標識５２、電柱６０を信号機１１０の周辺構造物として抽出する。

次に、撮像可否判定部１４は、信号機関連データベース５から抽出した信号機及び周辺構造物と物体認識部１３の認識結果との照合（整合）を行う。ここで、図３（ａ）は、信号機関連データベース５から抽出された車両前方の信号機１１０及び周辺構造物を示す図である。図３（ａ）に、信号機関連データベース５上の信号機１１０を符号１００Ｄ、支柱５０を符号５０Ｄ、道路案内標識５２を符号５２Ｄ、電柱６０を符号６０Ｄとして示す。

図３（ｂ）は、物体認識部１３の認識した車両前方の信号機１１０及び周辺構造物を示す図である。図３（ｂ）に、物体認識部１３の認識した信号機１１０を符号１００Ａ、支柱５０を符号５０Ａ、道路案内標識５２を符号５２Ａ、電柱６０を符号６０Ａとして示す。図３（ｂ）では、物体認識部１３は、車両Ｍの先行車などにレーダセンサ３の検出範囲が遮られ、支柱５０及び電柱６０の上部分のみを認識できた状況を示している。また、車両Ｍの走行中の振動などの影響により構造物が傾いて検出されたものとする。

図３（ｃ）は、物体認識部１３の認識した信号機１１０及び周辺構造物と信号機関連データベース５における信号機１１０及び周辺構造物との照合を説明するための図である。図３（ｃ）に示すように、撮像可否判定部１４は、信号機関連データベース５上の信号機１１０Ｄ、支柱５０Ｄ、道路案内標識５２Ｄ、及び電柱６０Ｄと、物体認識部１３の認識した信号機１１０Ａ、支柱５０Ａ、道路案内標識５２Ａ、及び電柱６０Ａとが一致するように照合を行う。撮像可否判定部１４は、信号機１１０だけではなく周辺構造物も含めた照合を行うことで、大型トラックなどの先行車の備品や看板などを誤って信号機１１０と誤認識することを抑制することができる。特に周辺構造物に別体構造物を含む場合、誤認識を一層抑制可能である。なお、周辺構造物に必ずしも別体構造物を含む必要はない。

撮像可否判定部１４は、照合結果に基づいて、車両Ｍに対する信号機１１０の相対位置（三次元位置）の推定を行う。ここで、物体認識部１３の認識した信号機１１０Ａ及び周辺構造物のデータをＭ（ｑ）とする。ｑは、カメラ２及び／又はレーダセンサ３からの三次元の相対座標である。Ｍ（ｑ）には、信号機１１０Ａ及び周辺構造物の形状のデータも含まれる。一方で、信号機関連データベース５における信号機データ及び周辺構造物データをＤ（ｑ）とする。車両位置認識部１１の認識した車両の地図上の位置（ＧＰＳなどから認識した位置）から信号機１１０までの相対位置をＭとＤの整合（照合の一致度合い）が最大化するように演算し、より正確な位置に補正する。例えば、下記の式（１）で示す両者の誤差ｆ（ｑ_補）を用いることができる。
（数１）
ｆ（ｑ_補）＝Σ｛Ｄ（ｑ_補）−Ｍ（ｑ）｝^２・・・（１）

撮像可否判定部１４は、上記の式（１）で示す誤差ｆ（ｑ_補）が最小化するような位置補正量を演算し、この位置補正量を使って車両Ｍに対する信号機１１０の相対位置を修正した結果を最終的な車両Ｍに対する信号機１１０の相対位置とする。車両Ｍに対する信号機１１０の相対位置（三次元位置）の推定方法は上述した内容に限られず、周知の方法を採用してもよい。

撮像可否判定部１４は、車両Ｍに対する信号機１１０の相対位置に基づいて、カメラ２によって信号機１１０を撮像可能であるか否かを判定する。撮像可否判定部１４は、車両Ｍに対する信号機１１０の相対位置がカメラ２の撮像範囲内である場合、カメラ２によって信号機１１０を撮像可能であると判定する。カメラ２の撮像範囲は、カメラ２の撮像性能に応じて決まる範囲（例えば信号機の点灯状態を認識可能な画像精度でカメラ２が撮像可能な距離）である。

撮像可否判定部１４は、物体認識部１３が信号機１１０を認識できておらず、信号機１１０の相対位置を演算できない場合、先行車などの遮蔽物によって物体認識部１３が信号機１１０を認識できていないと考えられることから、カメラ２によって信号機１１０を撮像可能ではないと判定する。また、撮像可否判定部１４は、物体認識部１３が信号機１１０を部分的に認識できており信号機１１０の相対位置を演算可能であったとしても、物体認識部１３が信号機１１０の点灯部（バルブなど）の少なくとも一つを認識できない場合には、カメラ２によって信号機１１０を撮像可能ではないと判定する。

なお、撮像可否判定部１４は、物体認識部１３が信号機１１０の点灯部のうち一つでも認識できる場合には、当該点灯部が現在の点灯箇所である可能性もあるため、カメラ２によって信号機を撮像可能と判定して処理を先に進めてもよい。

位置誤差範囲算出部１５は、位置判定部１２により車両が信号機認識範囲に位置すると判定された場合に、車両位置認識部１１の認識した車両の地図上の位置と物体認識部１３の認識結果と信号機データ及び周辺構造物データとに基づいて、車両に対する信号機の位置誤差範囲を算出する。

位置誤差範囲算出部１５は、上述した信号機関連データベース５から抽出した信号機及び周辺構造物と物体認識部１３の認識結果との照合結果に基づいて、信号機に対する自車位置の位置誤差範囲を求める。位置誤差範囲算出部１５は、一例として、信号機関連データベース５から抽出した信号機及び周辺構造物と物体認識部１３の認識した信号機及び周辺構造物との一致度合いから位置誤差範囲を算出する。位置誤差範囲算出部１５は、一致度合いが閾値以上である場合、一致度合いが閾値未満である場合と比べて、位置誤差範囲を狭い範囲として算出する。位置誤差範囲算出部１５は、一致度合いが高いほど、位置誤差範囲を狭い範囲として算出してもよい。

位置誤差範囲算出部１５は、例えば、上述した位置合わせからヤコビアンを演算し、その積で与えられる行列の逆行列の対角成分から求めることができる。具体的に、位置誤差範囲算出部１５は、下記の式（２）、（３）を用いて位置誤差範囲を算出してもよい。
（数２）
Ｊ（ｑ_補）＝｛∂／∂（ｑ_補）｝・Σ｛Ｄ（ｑ_補）−Ｍ（ｑ）｝・・・（２）
位置誤差範囲＝diag｛Ｊ（ｑ_補）・Ｊ（ｑ_補）^Ｔ｝^１／２・・・（３）

その他、位置誤差範囲算出部１５は、センサ精度を考慮して位置誤差範囲を算出してもよい。位置誤差範囲算出部１５は、自車位置認識の誤差の算出に用いられる周知の各種手法を採用して、信号機に対する自車位置の位置誤差範囲を求めることで、車両に対する信号機の位置誤差範囲を算出することも可能である。

探索領域設定部１６は、撮像可否判定部１４によりカメラ２によって信号機を撮像可能であると判定された場合に、探索領域［ＲＯＩ：Region of Interest］を撮像画像に設定する。探索領域とは、撮像画像のうち信号機の点灯状態の認識のための画像認識処理を施す領域である。

探索領域設定部１６は、撮像可否判定部１４によりカメラ２によって信号機を撮像可能であると判定された場合、信号機関連データベース５から抽出した信号機及び周辺構造物と物体認識部１３の認識結果との照合結果に基づいて、カメラ２の撮像画像上の信号機の位置を認識する。探索領域設定部１６は、周知の手法により撮像画像上の信号機の位置を認識することができる。探索領域設定部１６は、撮像画像における信号機の位置を含むように探索領域を設定する。

探索領域設定部１６は、位置誤差範囲算出部１５の算出した位置誤差範囲に応じた大きさの探索領域を設定する。探索領域設定部１６は、位置誤差範囲の大きさが誤差範囲閾値以上である場合、位置誤差範囲の大きさが誤差範囲閾値未満である場合と比べて、探索領域を大きい領域として設定する。或いは、探索領域設定部１６は、位置誤差範囲が大きいほど探索領域を大きい領域として設定する。

図４（ａ）は、カメラ２の撮像画像における探索領域の設定を示す図である。図４（ａ）に、撮像画像Ｇ、探索領域Ｒ、探索領域Ｒの中心位置Ｃを示す。ここでは、探索領域Ｒを横長の長方形状の領域として設定し、探索領域Ｒの幅をＷ１、高さをＨ１として示す。なお、探索領域Ｒの形状は長方形状に限られず、楕円形、円形、多角形その他の形状であってもよい。

図４（ａ）において、探索領域設定部１６は、信号機１１０の位置認識誤差に応じた大きさの探索領域Ｒを設定したが、例えばカメラ２の位置ずれなどの影響により、探索領域Ｒから信号機１１０が外れている状況を示している。図４（ａ）では、信号機１１０の三つの点灯部のうち一つが探索領域Ｒから外れている。

信号機認識部１７は、探索領域が設定された場合に、探索領域Ｒ内の信号機の点灯状態を認識する。信号機認識部１７は、探索領域Ｒ内の画像認識（例えば色を考慮したパターンマッチング）を行うことで信号機の点灯状態を認識する。画像認識の処理内容は特に限定されず、信号機の点灯状態を認識可能な処理であればよい。信号機認識部１７は、信号機の点灯状態が通過許可点灯状態、遷移点灯状態、及び通過禁止点灯状態の何れであるか認識する。

信号機認識部１７は、探索領域Ｒに信号機が含まれない場合などには、探索領域Ｒの拡大処理を行ってから探索領域Ｒ内の信号機の点灯状態の再認識を行い、探索領域Ｒ内の信号機の点灯状態を認識できない間、拡大処理の回数が回数閾値以上になるまで拡大処理と再認識とを繰り返す。拡大処理とは、探索領域Ｒの大きさを拡大する処理である。回数閾値は、予め設定された閾値である。回数閾値は固定値であってもよく、位置誤差範囲などに応じて変更される値であってもよい。

具体的に、図４（ａ）に示す状況において、信号機認識部１７は、探索領域Ｒ内の画像認識により、信号機１１０の点灯状態の認識を行う。信号機認識部１７は、信号機１１０の三つの点灯部のうち探索領域Ｒに含まれる二つの点灯部が点灯中である場合、画像認識により信号機１１０の点灯状態を認識することができる。

一方、信号機認識部１７は、信号機１１０の三つの点灯部のうち探索領域Ｒから外れた点灯部が点灯中である場合、探索領域Ｒ内の画像認識では信号機１１０の点灯状態を認識できない。この場合、信号機認識部１７は、探索領域Ｒの拡大処理を行う。図４（ｂ）は、探索領域Ｒの拡大処理を説明するための図である。図４（ｂ）に、拡大処理後の探索領域Ｒ、拡大処理後の探索領域Ｒの幅Ｗ２、拡大処理後の探索領域Ｒの高さＨ２を示す。拡大処理後の探索領域Ｒの幅Ｗ２は、図４（ａ）に示す探索領域Ｒの幅Ｗ１より大きく、拡大処理後の探索領域Ｒの高さＨ２は、図４（ａ）に示す探索領域Ｒの高さＨ１より大きい。

図４（ａ）に示すように、信号機認識部１７は、拡大処理により探索領域Ｒ内に信号機１１０の全体が含まれることから、探索領域Ｒ内の画像認識（再認識）により信号機１１０の点灯状態の認識を行うことができる。信号機認識部１７は、拡大処理後の再認識によっても、信号機１１０の点灯状態を認識できない場合、再び探索領域Ｒの拡大処理を行ってから再認識を繰り返す。信号機認識部１７は、拡大処理の回数が回数閾値以上になるまで拡大処理と再認識とを繰り返す。

〈第１の実施形態の信号機認識装置の処理〉
次に、本実施形態の信号機認識装置１００の信号機認識処理の一例について図５を参照して説明する。図５は、信号機認識処理の一例を示すフローチャートである。図５に示すフローチャートの処理は、例えば車両の走行中に実行される。

図５に示すように、信号機認識装置１００のＥＣＵ１０は、Ｓ１０として、位置判定部１２により車両が信号機認識範囲に位置するか否かを判定する。位置判定部１２は、車両位置認識部１１の認識した車両の地図上の位置と信号機データにおける信号機の地図上の位置とに基づいて上記判定を行う。ＥＣＵ１０は、車両が信号機認識範囲に位置すると判定されなかった場合（Ｓ１０：ＮＯ）、今回の処理を終了する。その後、ＥＣＵ１０は、一定時間経過後に再びＳ１０の判定を開始する。ＥＣＵ１０は、車両が信号機認識範囲に位置すると判定された場合（Ｓ１０：ＹＥＳ）、Ｓ１２に移行する。

Ｓ１２において、ＥＣＵ１０は、カメラ２の撮像画像及びレーダセンサ３の検出結果を取得する。物体認識部１３は、カメラ２の撮像画像及びレーダセンサ３の検出結果に基づいて、車両Ｍの周囲の物体を認識する。その後、ＥＣＵ１０はＳ１４に移行する。

Ｓ１４において、ＥＣＵ１０は、撮像可否判定部１４により、物体認識部１３の認識結果と信号機データ及び周辺構造物データとの照合を行う。まず、撮像可否判定部１４は、車両の地図上の位置を参照して信号機関連データベース５に含まれる信号機データ及び周辺構造物データより、車両の周囲に存在する信号機及び周辺構造物を抽出する。撮像可否判定部１４は、信号機関連データベース５から抽出した信号機及び周辺構造物と物体認識部１３の認識結果との照合を行う。その後、ＥＣＵ１０はＳ１６に移行する。

Ｓ１６において、ＥＣＵ１０は、撮像可否判定部１４によりカメラ２によって信号機を撮像可能であるか否かを判定する。撮像可否判定部１４は、照合結果に基づいて車両に対する信号機の相対位置を推定することで上記の判定を行う。ＥＣＵ１０は、カメラ２によって信号機を撮像可能ではないと判定された場合（Ｓ１６：ＮＯ）、今回の処理を終了する。その後、ＥＣＵ１０は、一定時間経過後に再びＳ１０の判定を開始する。ＥＣＵ１０は、カメラ２によって信号機を撮像可能であると判定された場合（Ｓ１６：ＹＥＳ）、Ｓ１８に移行する。

Ｓ１８において、ＥＣＵ１０は、位置誤差範囲算出部１５により車両に対する信号機の位置誤差範囲を算出する。位置誤差範囲算出部１５は、車両位置認識部１１の認識した車両の地図上の位置と物体認識部１３の認識結果と信号機データ及び周辺構造物データとに基づいて、車両に対する信号機の位置誤差範囲を算出する。その後、ＥＣＵ１０は、Ｓ２０に移行する。

Ｓ２０において、ＥＣＵ１０は、探索領域設定部１６により位置誤差範囲算出部１５の算出した位置誤差範囲に応じた大きさの探索領域を設定する。探索領域設定部１６は、位置誤差範囲の大きさが誤差範囲閾値以上である場合、位置誤差範囲の大きさが誤差範囲閾値未満である場合と比べて、探索領域を大きい領域として設定する。その後、ＥＣＵ１０は、Ｓ２２に移行する。

Ｓ２２において、ＥＣＵ１０は、信号機認識部１７は、探索領域Ｒが設定された場合に、探索領域Ｒ内の信号機の点灯状態を認識する信号機認識を行う。信号機認識部１７は、探索領域Ｒ内の画像認識を行うことで信号機の点灯状態を認識する。その後、ＥＣＵ１０は、Ｓ２４に移行する。

Ｓ２４において、ＥＣＵ１０は、信号機認識部１７により信号機の点灯状態を認識できないか否かを判定する。ＥＣＵ１０は、信号機の点灯状態を認識できたと判定された場合（Ｓ２４：ＮＯ）、Ｓ２６に移行する。ＥＣＵ１０は、信号機の点灯状態を認識できないと判定された場合（Ｓ２４：ＹＥＳ）、Ｓ２８に移行する。

Ｓ２６において、ＥＣＵ１０は、信号機認識結果の出力を行う。ＥＣＵ１０は、信号機認識装置１００に接続されている車両の自動運転システムなどに信号機認識結果を出力する。その後、ＥＣＵ１０は今回の処理を終了し、一定時間の経過後に再びＳ１０の判定を開始する。

Ｓ２８において、ＥＣＵ１０は、信号機認識部１７により拡大処理の回数が回数閾値以上であるか否かを判定する。ＥＣＵ１０は、拡大処理の回数が回数閾値以上ではないと判定した場合（Ｓ２８：ＮＯ）、Ｓ３０に移行する。ＥＣＵ１０は、拡大処理の回数が回数閾値以上であると判定した場合（Ｓ２８：ＹＥＳ）、Ｓ３２に移行する。

Ｓ３０において、ＥＣＵ１０は、信号機認識部１７により探索領域Ｒの拡大処理を行う。信号機認識部１７は、カメラ２による撮像画像上に大きさを拡大した探索領域Ｒを設定する。その後、ＥＣＵ１０は、Ｓ２２に戻って信号機認識（再認識）を行う。

Ｓ３２において、ＥＣＵ１０は、信号機を認識不能と判定する。ＥＣＵ１０は、探索領域Ｒの拡大処理を回数閾値以上になるまで繰り返しても信号機を認識できないことから、撮像不能と判定する。その後、ＥＣＵ１０は今回の処理を終了し、一定時間の経過後に再びＳ１０の判定を開始する。

〈第１の実施形態の信号機認識装置の作用効果〉
以上説明した第１の実施形態の信号機認識装置１００によれば、車両が信号機認識範囲に位置すると判定された場合に、信号機データだけではなく周辺構造物データも用いて、カメラによる信号機の撮像可否を判定するので、信号機データのみを用いる場合と比べて撮像可否の判定精度を向上させることができる。また、信号機認識装置１００では、カメラ２によって信号機を撮像可能であると判定された場合に、位置誤差範囲に応じた大きさの探索領域Ｒを撮像画像に設定するので、位置誤差範囲を考慮した適切な大きさの探索領域Ｒを設定することが可能となる。しかも、信号機認識装置１００では、探索領域Ｒ内で信号機の点灯状態を認識できないときには、探索領域Ｒの拡大処理を行ってから探索領域内の信号機の再認識を行い、信号機の点灯状態を認識できない間、拡大処理の回数が回数閾値以上になるまで拡大処理と再認識とを繰り返すので、探索領域Ｒの位置ずれが生じていても探索領域Ｒを拡大して信号機の点灯状態を認識することができ、探索領域Ｒの位置ずれにより信号機の点灯状態を認識できないことを抑制することができる。

［第２の実施形態］
続いて、第２の実施形態の信号機認識装置について図面を参照して説明する。第２の実施形態の信号機認識装置は、第１の実施形態と比べて、信号機のタイプを考慮した処理を行う点が異なっている。

〈第２の実施形態の信号機認識装置の構成〉
図６は、第２の実施形態の信号機認識装置を示すブロック図である。図６に示すように、第２の実施形態の信号機認識装置２００は、第１の実施形態と比べて、信号機関連データベース２１のデータ内容の追加とＥＣＵ２０の探索領域設定部２２及び信号機認識部２３の機能追加が行われている点が異なっている。

信号機関連データベース２１は、第１の実施形態の内容に加えて、信号機データに信号機のタイプの情報が記憶されている。信号機のタイプの情報には、少なくとも信号機が吊り下げ式であるか否かの情報が含まれる。信号機のタイプの情報には、信号機が横長配置のタイプであるか、縦長配置のタイプであるかの情報が含まれていてもよい。

ここで、図７（ａ）は、車両の地図上の位置及び信号機関連データベースから推定される車両前方の吊り下げ式の信号機を示す図である。図７（ａ）に、信号機関連データベース２１上の吊り下げ式の信号機を符号２１０Ｄ、吊り下げワイヤー（周辺構造物）を符号７０Ｄとして示す。図７（ａ）には、吊り下げ式の信号機を設置した設置初期の状況が示されている。

図７（ｂ）は、物体認識部１３の認識した車両前方の吊り下げ式の信号機及び周辺構造物を示す図である。図７（ｂ）に、物体認識部１３の認識した吊り下げ式の信号機を符号２１０Ａ、吊り下げワイヤー（周辺構造物）を符号７０Ａとして示す。図７（ｂ）には、風の影響や吊り下げワイヤーのたわみなどによって吊り下げ式の信号機の位置や傾きが設置初期から大きく変化した状況が示されている。

図７（ａ）及び図７（ｂ）に示すように、吊り下げ式の信号機では、風の影響や吊り下げワイヤーのたわみなどによって三次元位置が大きく変化する。また、吊り下げワイヤーは、風などによって三次元位置が変化するため周辺構造物として適切とは言えない。このような吊り下げ式の信号機を設ける場所では、周辺に電柱などの位置変化の少ない適切な周辺構造物が無い場合がある。

このため、探索領域設定部２２は、撮像可否判定部１４の判定した信号機と信号機関連データベース２１の信号機データとに基づいて、信号機のタイプが吊り下げ式であるか否かを判定する。探索領域設定部２２は、信号機のタイプが吊り下げ式である場合、予め設定された吊り下げ式用の大きさの探索領域Ｒを撮像画像に設定する。

ここで、図８は、吊り下げ式用の大きさの探索領域Ｒの設定を示す図である。図８に示すように、探索領域設定部２２は、信号機のタイプが吊り下げ式である場合、最初から大きい探索領域Ｒを設定する。探索領域Ｒの幅Ｗ３は例えば第１の実施形態における幅Ｗ１より大きく、探索領域Ｒの高さＨ３は第１の実施形態における高さＨ１より大きい。探索領域設定部２２は、信号機のタイプが吊り下げ式である場合、探索領域Ｒを縦長の長方形状の領域として設定してもよい。

その他、探索領域設定部２２は、信号機のタイプが吊り下げ式ではない場合において、信号機のタイプの情報から信号機が横長配置のタイプであるときには探索領域Ｒを横長の長方形状の領域として設定し、信号機が縦長配置のタイプであるときには探索領域Ｒを縦長の長方形状の領域として設定してもよい。

信号機認識部２３は、信号機のタイプが吊り下げ式である場合には、探索領域Ｒ内で信号機の点灯状態を認識できないときであっても、探索領域Ｒの拡大処理を行わない。すなわち、信号機認識部２３は、信号機のタイプが吊り下げ式である場合、信号機の三次元位置が信号機関連データベース２１に記憶されている位置から大幅にずれている可能性があることから、大きく設定された探索領域Ｒ内で信号機の点灯状態を認識できないときには、探索領域Ｒの拡大処理及び再認識を繰り返さず、不要な演算処理の発生を抑制する。

〈第２の実施形態の信号機認識装置の処理〉
次に、第２の実施形態の信号機認識装置２００の処理について図９を参照して説明する。図９は、信号機タイプ判定処理の一例を示すフローチャートである。図９に示すフローチャートの処理は、一例として、図５に示す信号機認識処理のＳ１６でカメラが信号機を撮像可能と判定された場合（すなわち撮像対象の信号機が特定された場合）に実行される。

図９に示すように、信号機認識装置２００のＥＣＵ２０は、Ｓ４０として、探索領域設定部２２により信号機のタイプが吊り下げ式であるか否かが判定される。探索領域設定部２２は、撮像可否判定部１４の判定した信号機と信号機関連データベース２１の信号機データとに基づいて、信号機のタイプが吊り下げ式であるか否かを判定する。ＥＣＵ２０は、信号機のタイプが吊り下げ式であると判定されなかった場合（Ｓ４０：ＮＯ）、今回の処理を終了する。ＥＣＵ２０は、信号機のタイプが吊り下げ式であると判定された場合（Ｓ４０：ＹＥＳ）、Ｓ４２に移行する。

Ｓ４２において、ＥＣＵ２０は、探索領域設定部２２により吊り下げ式用の大きさの探索領域Ｒを設定する。探索領域設定部２２は、予め設定された吊り下げ式用の大きさの探索領域Ｒを撮像画像に設定する。その後、ＥＣＵ２０は、Ｓ４４に移行する。

Ｓ４４において、ＥＣＵ２０は、信号機認識部２３により探索領域Ｒの拡大処理の禁止を行う。すなわち、信号機認識部２３は、吊り下げ式の信号機の点灯状態が認識できない場合でも、探索領域Ｒの拡大処理及び再認識を行わない。その後、ＥＣＵ２０は、今回の処理を終了する。

〈第２の実施形態の信号機認識装置の作用効果〉
以上説明した第２の実施形態の信号機認識装置２００によれば、撮像対象の信号機のタイプが吊り下げ式である場合には、信号機の近くに看板などの周辺構造物が存在しないときが多く、風や吊り下げワイヤーのたわみなどで信号機の位置の変動が生じるため、位置誤差範囲に応じた大きさの探索領域ではなく、予め定められた吊り下げ式用の大きさの探索領域を設定する。また、信号機認識装置２００では、信号機のタイプが吊り下げ式である場合には、探索領域の拡大処理及び再認識を行わない。これにより、信号機認識装置２００では、信号機の位置及び位置誤差範囲を十分な精度で認識しにくい吊り下げ式の信号機において不要な演算処理を繰り返すことを避けることができる。

以上、本発明の好適な実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

上述した実施形態では、車両の前方の信号機について説明したが、車両の周囲の信号機を撮像対象としてもよい。また、レーダセンサ３は必ずしも備える必要はない。

探索領域設定部１６は、位置誤差範囲算出部１５の算出した位置誤差範囲が判定閾値未満である場合、信号機のうち点灯部を含む大きさの探索領域Ｒを設定してもよい。判定閾値とは、位置誤差範囲が小さく、信号機の位置を高精度に認識できるかを判定するため予め設定される閾値である。探索領域設定部１６は、位置誤差範囲が判定閾値未満である場合、信号機の位置を高精度に認識できることから、信号機の点灯部のみを含むように狭い探索領域Ｒを設定することで、少ない画像認識の処理で信号機の点灯状態の認識が可能になる。この場合において、信号機認識部１７は、狭い探索領域Ｒ内で信号機の点灯状態を認識できなかった場合には、探索領域Ｒの拡大処理を行ってから再認識を行う。信号機認識部１７は、探索領域Ｒ内の信号機の点灯状態を認識できない間、拡大処理の回数が回数閾値以上になるまで拡大処理と再認識とを繰り返す。

回数閾値は、ＥＣＵ１０の処理負荷、車両の走行状況（車速、加速度、ヨーレートなど）、最初に設定された探索領域Ｒの大きさなどのうち少なくとも一つに基づいて、変更される値であってもよい。

１…ＧＰＳ受信部、２…カメラ、３…レーダセンサ、４…地図データベース、５，２１…信号機関連データベース、１０…ＥＣＵ、１１…車両位置認識部、１２…位置判定部、１３…物体認識部、１４…撮像可否判定部、１５…位置誤差範囲算出部、１６，２２…探索領域設定部、１７，２３…信号機認識部、１００，２００…信号機認識装置。

Claims (2)

1. 車両のカメラの撮像画像に対して探索領域を設定し、前記探索領域内の信号機を認識する信号機認識装置であって、
   前記車両の地図上の位置を認識する車両位置認識部と、
   前記車両のレーダセンサの検出結果及び前記カメラの撮像画像の少なくとも一方に基づいて、前記車両の周囲の物体を認識する物体認識部と、
   信号機の地図上の位置情報及び形状情報を含む信号機データと信号機の周辺に存在する周辺構造物の地図上の位置情報及び形状情報を含む周辺構造物データとを記憶する信号機関連データベースと、
   前記車両の地図上の位置と前記信号機の地図上の位置情報とに基づいて、前記車両が信号機認識範囲に位置するか否かを判定する位置判定部と、
   前記位置判定部により前記車両が信号機認識範囲に位置すると判定された場合に、前記車両の地図上の位置と前記物体認識部の認識結果と前記信号機データ及び前記周辺構造物データとに基づいて、前記カメラによって信号機を撮像可能であるか否かを判定する撮像可否判定部と、
   前記位置判定部により前記車両が信号機認識範囲に位置すると判定された場合に、前記物体認識部の認識結果と前記信号機データ及び前記周辺構造物データとに基づいて、前記車両に対する前記信号機の位置誤差範囲を認識する位置誤差範囲算出部と、
   前記撮像可否判定部により前記カメラによって信号機を撮像可能であると判定された場合に、前記位置誤差範囲に応じた大きさの前記探索領域を前記撮像画像に設定する探索領域設定部と、
   前記探索領域が設定された場合に、前記探索領域内の前記信号機の点灯状態を認識する信号機認識部と、
   を備え、
   前記周辺構造物は、前記信号機と一体の構造物の少なくとも一部分を含み、
   前記信号機認識部は、前記探索領域内で前記信号機の点灯状態を認識できないとき、前記探索領域の拡大処理を行ってから前記探索領域内の前記信号機の点灯状態の再認識を行い、前記探索領域内の前記信号機の点灯状態を認識できない間、前記拡大処理の回数が回数閾値以上になるまで前記拡大処理と前記再認識とを繰り返す、信号機認識装置。
2. 前記信号機データには、信号機のタイプの情報が含まれており、
   前記探索領域設定部は、前記信号機のタイプが吊り下げ式である場合、前記位置誤差範囲に応じた大きさの前記探索領域ではなく、予め定められた吊り下げ式用の大きさの前記探索領域を設定し、
   前記信号機認識部は、前記信号機のタイプが吊り下げ式である場合、前記探索領域内で前記信号機の点灯状態を認識できないときであっても、前記拡大処理及び前記再認識を行わない、請求項１に記載の信号機認識装置。

Images