JP6526449B2 - 道路附属物検出装置および道路附属物検出方法 - Google Patents

Description

本発明の実施形態は、道路附属物検出装置および道路附属物検出方法に関する。

道路標識や道路ミラー、街路灯等の道路の附属物は、道路を走行する車両にとって安全を確保するために重要である。このため、従来から、道路附属周辺の撮像画像に基づき道路附属物を検出する道路附属物検出装置が知られている。

特許第４３９４４７６号公報 特許第３００６４７１号公報 特開２０１３−５４５２２号公報

このような道路附属物検出装置では、できるだけ多くの種類の道路附属物を高精度に検出することが望まれている。

実施形態の道路附属物検出装置は、柱領域検出部と、特定色検出部と、特定形状検出部と、判定部と、出力部と、を備える。柱領域検出部は、車両が走行する道路の撮像画像から、撮像画像の画素に基づき、検出対象の柱部分の領域である柱領域を検出する。特定色検出部は、撮像画像から、検出対象の特定色を有する領域である特定色領域を検出する。
特定形状検出部は、撮像画像から、検出対象の特定形状を有する領域である特定形状領域を検出する。判定部は、撮像画像から、柱領域と特定色領域と特定形状領域とが検出され、かつ各領域間の撮像画像上での距離が所定の距離未満である場合には、柱領域と特定色領域と特定形状領域とが示す領域が、道路の周辺に配置された道路附属物であると判定する。出力部は、道路附属物に関する情報を出力する。

図１は、実施形態１の道路附属物検出装置の機能的構成を示すブロック図である。 図２は、実施形態１の道路附属物の構成の一例を示す図である。 図３は、実施形態１にかかる道路附属物検出処理の手順の一例を示すフローチャートである。 図４は、実施形態１の柱領域検出処理の手順の一例を示すフローチャートである。 図５は、実施形態１のエッジ強調処理を説明するための一例を示す図である。 図６は、実施形態１におけるエッジ特徴の画素抽出結果の一例を示す図である。 図７は、実施形態１の縦方向累積処理を説明するための図である。 図８は、実施形態１にかかる特定色検出処理の手順の一例を示すフローチャートである。 図９は、本実施形態の特定色検出処理を説明するための図である。 図１０は、本実施形態の特定色検出処理を説明するための図である。 図１１は、本実施形態の特定色検出処理を説明するための図である。 図１２は、実施形態１にかかる特定形状検出処理の手順の一例を示すフローチャートである。 図１３は、実施形態１の特定形状検出処理を説明するための図である。 図１４は、実施形態１の判定処理の手順の一例を示すフローチャートである。 図１５は、実施形態１の柱領域検出処理、特定色検出処理、特定形状検出処理の検出結果の一例を示す図である。 図１６は、実施形態１の判定結果の例を示す図である。 図１７は、実施形態１の判定結果の他の例を示す図である。 図１８は、実施形態１の判定結果の他の例を示す図である。 図１９は、実施形態１の道路附属物の出力結果の例を示す図である。 図２０は、実施形態２の道路附属物検出装置の機能的構成を示すブロック図である。 図２１は、実施形態２の形状パターンの変換の一例を示す図である。 図２２は、実施形態２の道路附属物検出処理の手順の一例を示すフローチャートである。 図２３は、実施形態２の円形の道路ミラーの車両からの見え方の例を示す図である。 図２４は、実施形態３の道路附属物検出装置の機能的構成を示すブロック図である。 図２５は、実施形態３の二つの撮像カメラの撮像方向の一例を示す図である。 図２６は、実施形態３の道路附属物検出の一例を説明するための図である。 図２７は、実施形態３の道路附属物検出処理の手順の一例を示すフローチャートである。

以下、実施形態について説明する。

（実施形態１）
図１は、実施形態１の道路附属物検出装置の機能的構成を示すブロック図である。実施形態１の道路附属物検出装置１００は、図１に示すように、撮像カメラ１１０と、柱領域検出部１０１と、特定色検出部１０２と、特定形状検出部１０３と、判定部１０４と、出力部１０５と、計時部１０６と、位置検出部１０７と、色データベース１２０（以下、「色ＤＢ１２０」という。）と、形状データベース１３０（以下、「形状ＤＢ１３０」という。）と、を主に備えている。ここで、色ＤＢ１２０と形状ＤＢ１３０は、ＨＤＤ（ＨＡｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、メモリ等の記憶媒体に記憶されている。

本実施形態の道路附属物検出装置１００は、道路を走行する車両に搭載されて、道路附属物を検出する装置である。ここで、道路附属物とは、道路の構造の保全、安全かつ円滑な道路の交通の確保その他道路の管理上必要な施設又は工作物である（道路法第２条第２項）。このような道路附属物としては、例えば、道路標識や道路ミラー、街路灯等が挙げられるが、これらに限定されるものではない。

図２は、実施形態１の道路附属物の構成の一例を示す図である。道路附属物の一例である道路標識や道路ミラーは、図２に示すように、一般的に、縁領域２０１と、中央領域２０２と、柱領域２０３とから構成される。縁領域２０１は、標識やミラーの縁部の領域である。中央領域２０２は、標識やミラーの縁領域２０１より内部の部分の領域である。柱領域２０３は、中央領域２０２および縁領域２０１からなる部分を支える柱部分の領域である。

図１に戻り、撮像カメラ１１０は、車両の外部または内部に設置され、走行する車両の前方の道路周辺を一定時間間隔で撮像し、撮像画像を出力する。

柱領域検出部１０１は、撮像カメラ１１０で撮像された道路の周辺の撮像画像を入力し、入力された撮像画像から、撮像画像を構成する画素に基づいて、縦方向の一対の線を道路附属物の柱領域として検出する。具体的には、柱領域検出部１０１は、撮像画像に対してエッジ強調を行い、エッジ強調された画素からエッジ特徴を抽出し、抽出画素を撮像画像の縦方向に累積することで縦方向の一対の線からなる柱部分を検出して柱領域とし、柱領域の座標範囲を出力する。

特定色検出部１０２は、撮像カメラ１１０で撮像された撮像画像を入力し、撮像画像のＲ値、Ｇ値、Ｂ値を用いて、検出対象である道路附属物の色（特定色）を有する特定色領域を検出する。具体的には、特定色検出部１０２は、撮像画像の各画素のＲ値、Ｇ値、Ｂ値を、検出する対象の特定色に応じて予め定めた範囲と比較し、当該範囲に含まれる画素を抽出し、特定色を有する領域（特定色領域）とし、特定色領域の座標範囲を出力する。色ＤＢ１２０は、上記範囲を定めるＲ，Ｇ，Ｂ各値の最大値と最小値とが登録されている。

特定形状検出部１０３は、撮像カメラ１１０で撮像された撮像画像を入力し、撮像画像から、検出対象である道路附属物の形状（特定形状）を有する領域である特定形状領域を検出する。具体的には、特定形状検出部１０３は、柱領域検出部１０１と同様に、撮像画像に対してエッジ強調を行い、エッジ強調された画素からエッジ特徴を抽出する。そして、特定形状検出部１０３は、抽出されたエッジ特徴に対して、予め定めれた道路附属物の形状パターンとパターンマッチングを行い、道路附属物の特定形状を抽出して特定形状領域とし、特定形状領域の座標範囲を出力する。ここで、形状ＤＢ１３０には、道路附属物ごとに、道路附属物の形状パターンが登録されている。

判定部１０４は、柱領域検出部１０１により検出された柱領域と、特定色検出部１０２により検出された特定色領域と、特定形状検出部１０３により検出された特定形状領域とに基づいて、撮像画像に、道路の周辺に配置された道路附属物が存在するか否かを判定する。具体的には、判定部１０４は、撮像画像に、柱領域、特定色領域、特定形状領域のいずれもが検出された場合、各領域の座標範囲から、各領域間の撮像画像上での距離が所定の距離未満であるか否かを判断する。そして、判定部１０４は、各領域間の撮像画像上での距離が所定の距離未満である場合には、撮像画像中の柱領域と特定色領域と特定形状領域とが示す領域が道路附属物である（存在する）と判定する。一方、判定部１０４は、各領域間の撮像画像上での距離のいずれかが所定の距離以上である場合には、撮像画像に道路附属物は存在しないと判定する。

また、判定部１０４は、柱領域、特定色領域、特定形状領域のいずれかが検出されなかった場合には、撮像画像に道路附属物は存在しないと判定する。

計時部１０６は、現在時刻を計時する。位置検出部１０７は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を利用して車両の現在位置を取得する。

出力部１０５は、判定部１０４で道路附属物が検出された場合に、道路附属物に関する情報を、現在時刻と車両の現在位置とともに車両の中のモニタ等に出力する。

次に、以上のように構成された本実施形態の道路附属物検出処理について詳細に説明する。図３は、実施形態１にかかる道路附属物検出処理の手順の一例を示すフローチャートである。ここで、図３に示すフローチャートの処理は、例えば、数秒毎などの所定時間間隔で実行される。

まず、撮像カメラ１１０は、車両の前方の周囲を撮像する。柱領域検出部１０１、特定色検出部１０２および特定形状検出部１０３は、撮像カメラ１１０から撮像画像を入力する（Ｓ１１）。そして、柱領域検出部１０１は撮像画像に対して柱領域検出処理を行う（Ｓ１２）。特定色検出部１０２は撮像画像に対して特定色検出処理を行う（Ｓ１３）。特定形状検出部１０３は撮像画像に対して特定形状検出処理を行う（Ｓ１４）。そして、判定部１０４は、Ｓ１２，Ｓ１３，Ｓ１４の検出結果に基づき、道路附属物の判定処理を行う（Ｓ１５）。

Ｓ１２の柱領域検出処理の詳細について説明する。図４は、実施形態１の柱領域検出処理の手順の一例を示すフローチャートである。柱領域検出部１０１は、撮像画像に対してエッジ強調処理を行う（Ｓ３１）。具体的には、柱領域検出部１０１は、撮像画像の各画素に対して近傍画素との差分を求める。図５は、実施形態１のエッジ強調処理を説明するための一例を示す図である。柱領域検出部１０１は、例えば、図５に示すように、周辺８画素に重み「−１」を乗じた画素値と、中心画素に重み「９」を乗じた画素値との和を求めることで、中心視野に輝度のピークがある画素を強調することができる。

次に、柱領域検出部１０１は、エッジ強調された撮像画像から、エッジ特徴の画素の抽出処理を行う（Ｓ３２）。具体的には、柱領域検出部１０１は、エッジ強調された画素に一定の閾値で二値画像としてエッジ特徴の画素を抽出する。図６は、実施形態１におけるエッジ特徴の画素抽出結果の一例を示す図である。図６において、黒色の線が抽出画素を示している。図６の例に示すように、抽出画素としては、道路附属物５０１だけでなく、道路の端などの画素も抽出される。

柱領域検出部１０１は、このようなエッジ特徴の画素抽出結果の画像に対して、図６に示す小領域５０２を移動させながら視野を設定して、縦方向累積処理を行う（Ｓ３３）。図７は、実施形態１の縦方向累積処理を説明するための図である。柱領域検出部１０１は、図７に示すように、エッジ特徴の画素抽出結果の撮像画像に対して小領域を移動させながら視野６０１を設定し、視野６０１に対して抽出画素を縦方向に累積し、１次元の累積データ６０２を収集する。これにより、柱領域検出部１０１は、一対の線Ｐ１、Ｐ２を検出する。

次に、柱領域検出部１０１は、Ｓ３３により得られた累積データ６０２に対して、柱領域の判定を行う（Ｓ３４）。具体的には、柱領域検出部１０１は、累積データ６０２の一対の線Ｐ１、Ｐ２に対して、一定の閾値Ｔｈｒ以上の累積値を有し、かつ、Ｐ１とＰ２の間隔ｗが所定の範囲内である場合に、一対の線Ｐ１，Ｐ２を柱領域と判定し、その座標範囲を道路附属物の柱領域の範囲として出力する。ここで、出力される座標範囲は、矩形の柱領域の左上の座標と右下の座標で示される。

なお、柱領域検出部１０１による柱領域の検出の手法は、これに限定されるものではない。例えば、予め柱のテンプレートを準備しておき、エッジ特徴の画素抽出結果の撮像画像とのマッチング手法を用いて柱領域を検出するように柱領域検出部１０１を構成してもよい。

次に、Ｓ１３の特定色検出処理の詳細について説明する。図８は、実施形態１にかかる特定色検出処理の手順の一例を示すフローチャートである。まず、特定色検出部１０２は、色ＤＢ１２０から、検出対象の色（特定色）の範囲である最小値ＲＬ、ＧＬ、ＢＬと、最大値ＲＨ、ＧＨ、ＢＨとを読み出して、撮像画像の各画素のＲ値、Ｇ値、Ｂ値を、最小値ＲＬ、ＧＬ、ＢＬと、最大値ＲＨ、ＧＨ、ＢＨと比較し、該当する範囲に含まれる画素を抽出する（Ｓ５１）。なお、本実施形態では、Ｒ値、Ｇ値、Ｂ値を用いているが、ＲＧＢの色空間に限定されるものではない。例えば、他の表色系として、Ｌ＊ａ＊ｂ＊、ｘｙ、ＨＳＶ値を用いることができる。

次に、特定色検出部１０２は、抽出された画素において、連結している画素グループ（連結成分）を抽出する（Ｓ５２）。そして、特定色検出部１０２は、抽出された連結成分を包含する外形の矩形を求める（Ｓ５３）。特定色検出部１０２は、外形矩形の座標範囲を特定色の判定結果、すなわち道路附属物の特定色領域の範囲として出力する（Ｓ５４）。ここで、出力される座標範囲は、外形矩形の左上の座標と右下の座標で示される。

図９〜図１１は、本実施形態の特定色検出処理を説明するための図である。図９は、図２に示す道路標識の例に対して、縁領域２０１だけが抽出対象の色であった場合の結果の例を示す。図１０は、縁領域２０１と柱領域２０３が抽出対象の色であった場合の例を示す。

図１０の例に対して、図１１の破線の枠で示すように、特定色検出部１０２は、連結している画素グループに対して外接矩形を求め、外形矩形の座標範囲を特定色領域１１０１として出力する。

次に、Ｓ１４の特定形状検出処理の詳細について説明する。図１２は、実施形態１にかかる特定形状検出処理の手順の一例を示すフローチャートである。特定形状検出部１０３は、柱領域検出処理と同様に、撮像画像に対してエッジ強調処理を行い、画像の各画素に対して近傍画素との差分を求める（Ｓ７１）。特定形状検出部１０３は、柱領域検出処理と同様に、エッジ強調された撮像画像から、エッジ特徴の画素の抽出処理を行う（Ｓ７２）。

そして、特定形状検出部１０３は、形状ＤＢ１３０から検出対象の道路附属物の形状パターンを読出し、エッジ特徴の抽出結果の撮像画像に対して、形状パターンを走査しながらパターンマッチングを行う（Ｓ７３）。そして、特定形状検出部１０３は、形状パターンと一致した領域と外接ずる矩形の座標範囲を、道路附属物の特定形状領域として判定して出力する（Ｓ７４）。

図１３は、実施形態１の特定形状検出処理を説明するための図である。図１３に示すように、特定形状検出部１０３は、撮像画像内に局所領域を視野として設定し、特定形状の形状パターン１２０１とマッチング処理を行う。形状パターン１２０１は、例えば円の部分が”１”それ以外が”０”という２値画像としてあらかじめ形状ＤＢ１３０に登録しておく。特定形状検出部１０３は、形状パターン１２０１のサイズを変えながら撮像画像内を移動させ、特定形状の形状パターン１２０１に一致する領域に外接する矩形領域１２０２を検出する。ここで、エッジを抽出した画像と形状パターン１２０１のマッチングの手法は、二値画像同士の一致度を測定する方式や、正規化相関など変動に強い方法を用いることができる。また、別の手法として、特許第５２１４３６７号公報に開示されているエッジ方向の共起ヒストグラムによるマッチングによる検出を用いるように特定形状検出部１０３を構成してもよい。

次に、Ｓ１５の判定処理の詳細について説明する。図１４は、実施形態１の判定処理の手順の一例を示すフローチャートである。柱領域検出部１０１、特定色検出部１０２、特定形状検出部１０３からは、図１５に示すように検出結果である各領域の座標範囲が出力される。まず、判定部１０４は、撮像画像に、柱領域、特定色領域、特定形状領域のすべてが検出されたか否かを判断する（Ｓ１００１）。

柱領域、特定色領域、特定形状領域のいずれかが検出されなかった場合には（Ｓ１００１：Ｎｏ）、判定部１０４は、撮像画像に道路附属物は存在しないと判定する（Ｓ１００５）。

一方、柱領域、特定色領域、特定形状領域の全てが検出された場合には（Ｓ１００１：Ｙｅｓ）、判定部１０４は、各領域の座標範囲から、各領域間の撮像画像上での距離を算出する（Ｓ１００２）。そして、判定部１０４は、各領域間の撮像画像上での全ての距離が所定の距離未満であるか否かを判断する（Ｓ１００３）。そして、各領域間の撮像画像上での全ての距離が所定の距離未満である場合には（Ｓ１００３：Ｙｅｓ）、判定部１０４は、撮像画像中の柱領域と特定色領域と特定形状領域とが示す領域が道路附属物であると判定する（Ｓ１００４）。一方、各領域間の撮像画像上での距離のいずれかが所定の距離以上離れている場合には（Ｓ１００３：Ｎｏ）、判定部１０４は、撮像画像に道路附属物は存在しないと判定する（Ｓ１００５）。

図１５は、実施形態１の柱領域と特定色領域と特定形状領域の検出結果の一例を示す図である。図１６〜１８は、実施形態１の判定結果の例を示す図である。

図１５の対象１では、柱領域と特定色領域が検出されているが、特定形状の検出結果がない例を示している。例えば、図１６に示すような検出結果の例が該当し、道路附属物の判定結果は「該当無」となる。図１６の例では、画像中の塗りつぶした領域が特定色を示しており、柱領域領域１４０１と、特定色領域１４０２の距離は所定距離未満で接近して抽出されているが、特定形状である円に対応する特定形状領域が検出されていない。

図１５の対象２では、柱領域領域、特定色領域および特定形状領域の全てが検出され、各領域が図１７に示すように、所定距離未満で接近している。このため、判定部１０４は、道路附属物の検出結果として「該当あり」と判定する。図１７では、画像中の塗りつぶした領域が特定色領域を示しており、柱領域領域１５０１と、特定色領域１５０２および特定形状領域１５０３が接近して抽出されている。この例では、道路ミラーのようにミラーの縁の特定色（黄）の面積が少なく、特定色領域１５０２が部分的に検出されている状況であるが、他の２つの特徴と合わせることで精度よく検出可能となる。

図１５の対象３では柱領域と特定色および特定形状が検出されているが、図１８に示すように、各領域が所定距離以上離れていることから、判定部１０４は、道路附属物の検出結果として「該当無」と判定する。図１８の例では、画像中の塗りつぶした領域が特定色領域１６０２を示しており、柱領域領域１６０１と特定形状領域１６０３は接近しているが、特定色領域１６０２は離れており別の対象を検出している。

図３に戻り、判定部１０４による判定処理が終了すると、計時部１０６は現在時刻を取得する（Ｓ１６）。そして、位置検出部１０７は、車両の現在位置を取得する（Ｓ１７）。例えば、位置検出部１０７は、ＧＰＳ衛星からＧＰＳデータを位置情報として取得することができる。このようなＧＰＳデータを取得して出力結果に利用することにより、道路付帯物の参照データとしてナビゲーションシステムなどでの利用も可能となる。

出力部１０５は、判定部１０４による判定結果と、現在時刻、現在位置をメモリ等に保存しておく。そして、出力部１０５は、ユーザの指示等により検出終了するか否かを判断する（Ｓ１８）。出力部１０５が検出終了でないと判断した場合には（Ｓ１８：Ｎｏ）、処理はＳ１１へ戻り、Ｓ１７までを繰り返し実行する。

一方、出力部１０５が検出終了と判断した場合には（Ｓ１８：Ｙｅｓ）、メモリ等に保存された判定結果、現在時刻、現在位置を用いて、道路附属物に関する情報としての出力結果を生成する（Ｓ１９）。ここで、出力部１０５は、現在位置および現在時刻が所定の範囲内にある判定結果は、同一の道路附属物の判定結果であると判断して、出力結果には一つの判定結果のみを記録するように構成してもよい。出力部１０５は、出力結果をモニタなどに表示することにより出力する（Ｓ２０）。

図１９は、実施形態１の道路附属物の出力結果の例を示す図である。図１９に示すように、出力結果には、収集日時、道路附属物の設置場所、道路附属物の種類、撮像画像等が含まれる。出力部１０５は、現在時刻を収集日時とし、位置情報に基づき設置場所の内容を生成し、検出された道路附属物の画像から道路附属物の種類を判断する。そして、出力部１０５は、収集日時、道路附属物の設置場所、道路附属物の種類、撮像画像を出力結果として生成する。

なお、出力結果は図１９に示す形式に限定されるものではなく、任意の形式で出力するように出力部１０５を構成することができる。例えば、車両に搭載されたナビゲーションシステム等で表示する電子地図の位置情報が示す座標位置に、検出された道路附属物の道路標識や道路ミラー等の画像を表示するように構成してもよい。

このように本実施形態によれば、多くの種類の道路附属物を高精度に検出することが可能となる。すなわち、従来の道路附属物検出装置では、すべての道路附属物を対象とできていない。色情報に基づき道路附属物を検出する手法では、黄色や青色の道路附属物に対しては、地面や空など背景との色差が大きくない場合が存在し、道路附属物の検出が困難となる場合がある。また、道路ミラーにおいて用いられる黄色は、ミラーの縁部分の限られた部分にしか用いられておらず、撮像画像から特徴をとらえるのは困難である。

一方、形状に基づいて道路附属物を検出する手法では、道路附属物の取り付け角度によっては、撮像時の撮影時の形状が変化する場合もある。このため、実施形態では、道路附属物検出装置１００は、柱領域、特定色領域、特定形状領域を検出して、各領域の検出結果を総合的に判断して道路附属物の判定を行っている。このため、本実施形態によれば、取り付けの柱領域と、特定色領域、特定形状領域を合わせて道路附属物を検出することができ、多くの種類の道路附属物を高精度に検出することが可能となる。

（実施形態２）
実施形態１では、特定形状の検出の際に、一つの道路附属物に対して一つの形状パターンを用いていたが、この実施形態２では、一つの道路附属物に対して一つの形状パターンを変化させながら用いている。

図２０は、実施形態２の道路附属物検出装置の機能的構成を示すブロック図である。実施形態２の道路附属物検出装置３０００は、図２０に示すように、撮像カメラ１１０と、柱領域検出部１０１と、特定色検出部１０２と、特定形状検出部１０３と、判定部１０４と、出力部１０５と、計時部１０６と、位置検出部１０７と、色ＤＢ１２０と、形状ＤＢ１３０と、特定形状変換部３０１０とを主に備えている。ここで、撮像カメラ１１０、柱領域検出部１０１、特定色検出部１０２、特定形状検出部１０３、判定部１０４、出力部１０５、計時部１０６、位置検出部１０７、色ＤＢ１２０、形状ＤＢ１３０の機能、構成については実施形態１と同様である。

特定形状変換部３０１０は、形状ＤＢ１３０から検出対象の特定形状の形状パターンを読み込んで形状を変換する。図２１は、実施形態２の形状パターンの変換の一例を示す図である。特定形状変換部３０１０は、形状パターンを、車両の走行により道路附属物の見え方が異なってくることにより、見え方の変化に併せて変換する。特定形状検出部１０３は、特定形状変換部３０１０により変化していく形状パターンごとに特定形状を検出する。

図２２は、実施形態２の道路附属物検出処理の手順の一例を示すフローチャートである。ここで、図２２に示すフローチャートの処理は、例えば、数秒毎などの所定時間間隔で実行される。Ｓ１１の撮像画像の入力からＳ１３の特定色検出処理までは実施形態１と同様に行われる。次に、特定形状変換部３０１０は、形状ＤＢ１３０から検出対象の特定形状の形状パターンを読み込んで、１パターンだけ変換する（Ｓ９１）。そして、特定形状検出部１０３は、１パターン変換された形状パターンにより特定形状検出処理を行う（Ｓ１４）。特定形状変換部３０１０は、形状パターンを、Ｓ１１からＳ１７の処理を繰り返すことたびに図２１に示すように１パターンずつ変換し、特定形状検出部１０３が特定形状を検出する。Ｓ１５以降の処理は実施形態１と同様に行われる。

形状に基づいて道路附属物を検出する手法があるが、道路附属物の取り付け角度によっては、撮像時の撮影時の形状が変化する場合もある。例えば、正面からみて円である道路ミラーは、道路の進行方向に対して斜めに取り付けるため、走行車両から観測すると楕円の画像が得られ、円の形状に基づく道路附属物の検出処理をそのまま適用できない。

図２３は、実施形態２の円形の道路ミラーの車両からの見え方の例を示す図である。道路ミラー２３０１は、車両からみて正面に向けて設置しておらず、車両から撮影した撮像画像では図２３に示すように楕円に変形する。特定形状検出部１０３は、このように複数種類の形状パターンを用いて、種々の角度に設置されている道路附属物の検出を行う。

このように実施形態では、道路附属物検出装置３０００は、道路附属物に対して形状パターンを変換しながら特定形状の検出を変化させながら特定形状の検出を行っている。このため、本実施形態によれば、取り付けの柱領域と、特定色領域、特定形状領域を合わせて道路附属物を検出することができ、かつ車両の走行に応じた見え方の変化に対応することができる。従って、本実施形態によれば、多くの種類の道路附属物をより高精度に検出することができる。

なお、本実施形態では、特定形状変換部３０１０により一種類の形状パターンを変換していたが、一種類の形状パターンに対して予め変換後の複数の形状パターンを形状ＤＢ１３０に登録しておき、これを特定形状検出で用いるように形状ＤＢ１３０、特定形状検出部１０３を構成してもよい。

（実施形態３）
実施形態３は、複数の撮像カメラを車両に搭載し、車両の前方向と後方向を撮像した二つの撮像画像を用いて道路附属物を検出している。

図２４は、実施形態３の道路附属物検出装置の機能的構成を示すブロック図である。実施形態２の道路附属物検出装置５０００は、図２４に示すように、二つの撮像カメラ１１０ａ，１１０ｂと、柱領域検出部１０１と、特定色検出部１０２と、特定形状検出部１０３と、判定部２４０４と、出力部１０５と、計時部１０６と、位置検出部１０７と、色ＤＢ１２０と、形状ＤＢ１３０と、特定形状変換部３０１０とを主に備えている。

撮像カメラ１１０ａは、車両の前方の道路周辺を撮像可能に車両に設置されている。撮像カメラ１１０ｂは、車両の後方の道路周辺を撮像可能に車両に設置されている。図２５は、実施形態３の二つの撮像カメラ１１０ａ，１１０ｂの撮像方向の一例を示す図である。図２５（ａ）は、撮像カメラ１１０ａが車両２５０１の進行方向に光軸を合わせた前方の方向２５０２を撮像方向とし、撮像カメラ１１０ｂが車両２５０１の進行方向と１８０°後方の方向２５０３を撮像方向として設置された例を示している。

図２５（ｂ）は、撮像カメラ１１０ｂが車両２５０１の進行方向に対して４５°斜めの方向２６０２を撮像方向とし、撮像カメラ１１０ｂが車両２５０１の進行方向の１８０°後方から４５°斜めの方向２６０３を撮像方向として設置した例を示している。撮像カメラ１１０ａ，１１０ｂの撮像方向は、撮像範囲に道路周辺に設置された道路附属物が含まれるような方向であれば、図２５（ａ），（ｂ）のいずれでも、あるいは図２５（ａ）、（ｂ）以外でもよい。

撮像カメラ１１０ａによる撮像画像を前方撮像画像といい、撮像カメラ１１０ｂによる撮像画像を後方撮像画像という。前方撮像画像は第１の撮像画像の一例であり、後方撮像画像は第２の撮像画像の一例である。

柱領域検出部１０１、特定色検出部１０２、特定形状検出部１０３、出力部１０５、計時部１０６、位置検出部１０７、色ＤＢ１２０、形状ＤＢ１３０、特定形状変換部３０１０の機能、構成については実施形態２と同様である。

但し、柱領域検出部１０１は、前方撮像画像と後方撮像画像のそれぞれから、柱領域を検出する。特定色検出部１０２は、前方撮像画像と後方撮像画像のそれぞれから、特定色領域を検出する。より具体的には、特定色検出部１０２は、前方撮像画像から、道路附属物の表面の特定色を有する特定色領域を検出し、後方撮像画像から、道路附属物の裏面の特定色を有する特定色領域を検出する。表面の特定色と裏面の特定色は、道路附属物によって同一の場合もあれば異なる場合もある。また、表面の特定色領域と裏面の特定色領域も、道路附属物によって同一の場合もあれば異なる場合もある。ここで、道路附属物の表面は、第１の面の一例であり、道路附属物の裏面は、第２の面の一例である。

特定形状検出部１０３は、前方撮像画像と後方撮像画像のそれぞれから、特定形状領域を検出する。より具体的には、特定形状検出部１０３は、前方撮像画像から、道路附属物の表面の特定形状を有する特定形状領域を検出し、後方撮像画像から、道路附属物の裏面の特定形状を有する特定形状領域を検出する。表面の特定形状と裏面の特定形状は、道路附属物によって同一の場合もあれば異なる場合もある。また、表面の特定形状領域と裏面の特定形状領域も、道路附属物によって同一の場合もあれば異なる場合もある。

判定部２４０４は、前方撮像画像から検出された柱領域と特定色領域と特定形状領域とに基づいて、前方撮像画像に道路附属物の表面が存在するか否かの第１判定を行う。判定部２４０４は、後方撮像画像から検出された柱領域と特定色領域と特定形状領域とに基づいて、前方撮像画像に道路附属物の裏面が存在するか否かの第２判定を行う。ここで、第１判定と第２判定のそれぞれの手法については、実施形態２と同様である。

また、判定部２４０４は、第１判定の結果と第２判定の結果とから、前方撮像画像と後方撮像画像に道路附属物が存在するか否かを判定する総合判定処理を行う。より具体的には、判定部２４０４は、第１判定により前方撮像画像に道路附属物の表面が存在し、かつ、第２判定により後方撮像画像に道路附属物の裏面が存在すると判定された場合に、道路附属物が存在すると判定する。従って、判定部２４０４は、第１判定により前方撮像画像に道路附属物の表面が存在しないか、または、第２判定により後方撮像画像に道路附属物の裏面が存在しないと判定された場合に、道路附属物が存在しないと判定する。

図２６は、実施形態３の道路附属物検出の一例を説明するための図である。図２６では、車両２５０１が道路を、図２６の上部から下部に向かって走行する際に、走行方向からみて左側に道路ミラー２６０１が斜めに設置されている例の俯瞰図を示している。

この場合、車両２５０１の走行位置でそれぞれ道路ミラー２６０１の見え方が変化する。図２６に示すように、車両２５０１が道路ミラー２６０１から遠方の位置を走行しているときには、前方を撮像する撮像カメラ１１０ａによる撮像画像では、道路ミラー２６０１の形状は楕円として撮像される（符号２６０２）。そして、車両２５０１が道路ミラー２６０１に接近するに従って、撮像カメラ１１０ａによる撮像画像における道路ミラー２６０１の形状は、円形に変化していく（符号２６０３）。このとき、車両２５０１の後方を撮像する撮像カメラ１１０ｂでは、道路ミラー２６０１は撮像されない（写らない）。

また、車両２５０１が道路ミラー２６０１の位置を通過した後は、後方を撮像する撮像カメラ１１０ｂで道路ミラー２６０１の裏２６０４を撮影する。

道路ミラー２６０１において、黄色で塗装されている領域は、ミラーの縁と裏面である。このため、車両２５０１が道路ミラー２６０１の位置を通過後に、後方を撮像する撮像カメラ１１０ｂで道路ミラー２６０１の裏面を撮像することにより、特定色検出部１０２による黄色の特定色領域の検出精度を高くすることができる。このとき、車両２５０１の前方を撮像する撮像カメラ１１０ａでは、道路ミラー２６０１は撮像されない（写らない）。

次に、以上のように構成された実施形態３の道路附属物検出処理について説明する。図２７は、実施形態３の道路附属物検出処理の手順の一例を示すフローチャートである。ここで、図２７に示すフローチャートの処理は、例えば、数秒毎などの所定時間間隔で実行される。

まず、車両の前方を撮像する撮像カメラ１１０ａは、車両の前方の周囲を撮像する。柱領域検出部１０１、特定色検出部１０２および特定形状検出部１０３は、撮像カメラ１１０ａから前方撮像画像を入力する（Ｓ１３０１）。そして、柱領域検出部１０１は前方撮像画像に対して柱領域検出処理を行う（Ｓ１３０２）。特定色検出部１０２は前方撮像画像に対して特定色検出処理を行う（Ｓ１３０３）。特定形状変換部３０１０は、形状ＤＢ１３０に保存されている形状パターンを変換する（Ｓ１３０４）。特定形状検出部１０３は、形状パターンを用いて前方撮像画像に対して特定形状検出処理を行う（Ｓ１３０５）。そして、判定部２４０４は、Ｓ１３０２、Ｓ１３０３、Ｓ１３０５の検出結果に基づき、道路附属物の表面の判定処理（第１判定）を行う（Ｓ１３０６）。Ｓ１３０２、Ｓ１３０３、Ｓ１３０５、Ｓ１３０６の各処理については実施形態１と同様に行われる。

そして、判定部２４０４は、検出対象物が前方撮像画像の範囲外になったか否かを判断する（Ｓ１３０７）。すなわち、判定部２４０４は、車両が検出対象物（道路附属物）の位置を通過したか否かを判断する。検出対象物が前方撮像画像の範囲内にある場合には（Ｓ１３０７：Ｎｏ）、車両は検出対象物をまだ通過しておらず、処理はＳ１３０１に戻り、Ｓ１３０６までの処理が繰り返し実行される。

一方、検出対象物が前方撮像画像の範囲外になった場合には（Ｓ１３０７：Ｙｅｓ）、車両は検出対象物を通過しており、車両の後方を撮像する撮像カメラ１１０ｂは、車両の後方の周囲を撮像する。柱領域検出部１０１、特定色検出部１０２および特定形状検出部１０３は、撮像カメラ１１０ｂから後方撮像画像を入力する（Ｓ１３０８）。そして、柱領域検出部１０１は後方撮像画像に対して柱領域検出処理を行う（Ｓ１３０９）。特定色検出部１０２は後方撮像画像に対して特定色検出処理を行う（Ｓ１３１０）。特定形状変換部３０１０は、形状ＤＢ１３０に保存されている形状パターンを変換する（Ｓ１３１１）。特定形状検出部１０３は、形状パターンを用いて後方撮像画像に対して特定形状検出処理を行う（Ｓ１３１２）。そして、判定部２４０４は、Ｓ１３０９、Ｓ１３１０、Ｓ１３１２の検出結果に基づき、道路附属物の裏面の判定処理（第２判定）を行う（Ｓ１３１３）。Ｓ１３０９、Ｓ１３１０、Ｓ１３１２、Ｓ１３１３の各処理については実施形態１と同様に行われる。

そして、判定部２４０４は、検出対象物が後方撮像画像の範囲外になったか否かを判断する（Ｓ１３１４）。すなわち、判定部２４０４は、車両が検出対象物（道路附属物）の位置から遠く離れて検出不能になったか否かを判断する。検出対象物が後方撮像画像の範囲内にある場合には（Ｓ１３１４：Ｎｏ）、処理はＳ１３０８に戻り、Ｓ１３１３までの処理が繰り返し実行される。

一方、検出対象物が前方撮像画像の範囲外になった場合には（Ｓ１３１４：Ｙｅｓ）、すなわち、車両が検出対象物（道路附属物）の位置から遠く離れて検出不能になった場合には、判定部２４０４は、第１判定（Ｓ１３０６）の結果と、第２判定（Ｓ１３１３）の結果から、道路附属物が検出されたか否かを判定する総合判定処理を行う（Ｓ１３１５）。

次に、計時部１０６は現在時刻を取得する（Ｓ１３１６）。そして、位置検出部１０７は、車両の現在位置を車両に搭載されたＧＰＳ等を利用して取得する（Ｓ１３１７）。

出力部１０５は、判定部１０４による判定結果と、現在時刻、現在位置をメモリ等に保存しておく。そして、出力部１０５は、ユーザの指示等により検出終了するか否かを判断する（Ｓ１３１８）。出力部１０５が検出終了でないと判断した場合には（Ｓ１３１８：Ｎｏ）、処理はＳ１３０１へ戻り、Ｓ１３１７までを繰り返し実行する。

一方、出力部１０５が検出終了と判断した場合には（Ｓ１３１８：Ｙｅｓ）、メモリ等に保存された判定結果、現在時刻、現在位置を用いて出力結果を生成する（Ｓ１３１９）。出力部１０５は、出力結果をモニタなどに表示することにより出力する（Ｓ１３２０）。

このように本実施形態では、二つの撮像カメラ１１０ａ，１１０ｂを車両に搭載し、道路附属物検出装置５０００は、車両の前方向と後方向を撮像した二つの撮像画像（前方撮像画像、後方撮像画像）を用いて道路附属物を検出している。すなわち、車両が道路附属物の位置の通過前においては、道路附属物検出装置５０００は、前方撮像画像から柱検出領域、特定色領域、特定形状領域を検出して、道路附属物の表面の検出を判定する。また、車両が道路附属物の位置の通過後においては、道路附属物検出装置５０００は、後方撮像画像から柱検出領域、特定色領域、特定形状領域を検出して、道路附属物の裏面の検出を判定する。そして、道路附属物検出装置５０００は、道路附属物の表面と裏面の双方が検出された場合に、道路附属物が存在すると判断する。

このため、本実施形態によれば、取り付けの柱領域と、特定色領域、特定形状領域を合わせて道路附属物を検出することができ、かつ車両の走行に応じた見え方の変化に対応することができる。このため、本実施形態によれば、多くの種類の道路附属物をより高精度に検出することができる。

なお、上記実施形態では、道路附属物検出装置１００、３０００、５０００を車両に搭載し、道路附属物検出装置１００、３０００、５０００は車両の走行中に撮像カメラ１１０で道路周辺を撮像しながら、撮像画像を逐次取得して、リアルタイムに道路附属物の存在を判定していたが、これに限定されるものではない。例えば、道路附属物検出装置１００、３０００、５０００と撮像カメラ１１０とを別体として、道路附属物検出装置１００、３０００、５０００を車両とは別個に設ける。そして、車両走行中に撮像カメラ１１０により道路周辺を撮像して動画として保存しておく。そして、後日、動画を取得して、柱領域、特定色領域、特定形状領域を検出して道路附属物の存在を検出するように道路附属物検出装置１００、３０００、５０００を構成してもよい。

また、上記実施形態では、道路附属物として、道路標識や道路ミラー、街路灯を例にあげて説明したが、これらに限定されるものではない。例えば、信号機や案内板等も道路附属物として検出するように道路附属物検出装置１００、３０００、５０００を構成することができる。これにより、より多数の種類の道路附属物を高精度に検出することが可能となる。

また、上記実施形態では、道路附属物検出装置１００、３０００、５０００は、道路の側方に配置された道路附属物を検出していたが、これに限定されるものではない。例えば、道路の上方あるいは下方に配置された道路附属物を検出するように道路附属物検出装置１００、３０００、５０００を構成することができる。これにより、より多数の種類の道路附属物を高精度に検出することが可能となる。

また、上記実施形態では、柱領域検出部１０１は、撮像画像中の縦方向の一対の黒色部分を柱領域として検出しているが、これに限定されるものではない。例えば、撮像画像中の横方向の一対の黒色部分を柱領域として検出するように柱領域検出部１０１を構成することができる。この場合には、横方向に延在する柱により支持される案内板等も、道路附属物として高精度に検出することが可能となる。

上記実施形態の道路附属物検出装置１００，３０００，５０００は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＳＳＤＣＤドライブ装置などの外部記憶装置と、モニタなどの表示装置と、タッチパネルや操作ボタンなどの入力装置を備えたハードウェア構成となっている。

なお、上記実施形態の道路附属物検出装置１００，３０００，５０００で実行される道路附属物検出プログラムは、ＲＯＭ等に予め組み込まれてコンピュータプログラムプロダクトとして提供される。

上記実施形態の道路附属物検出装置１００，３０００，５０００で実行される道路附属物検出プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供するように構成してもよい。

さらに、上記実施形態の道路附属物検出装置１００，３０００，５０００で実行される道路附属物検出プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることによりコンピュータプログラムプロダクトとして提供するように構成しても良い。また、上記実施形態の道路附属物検出装置１００，３０００，５０００で実行される道路附属物検出プログラムをコンピュータプログラムプロダクトとしてインターネット等のネットワーク経由で提供または配布するように構成しても良い。

上記実施形態の道路附属物検出装置１００，３０００，５０００で実行される道路附属物検出プログラムは、上述した各部（柱領域検出部１０１、特定色検出部１０２、特定形状変換部３０１０、特定形状検出部１０３、判定部１０４、２４０４、出力部１０５、計時部１０６、位置検出部１０７）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記ＲＯＭから道路附属物検出プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、柱領域検出部１０１、特定色検出部１０２、特定形状変換部３０１０、特定形状検出部１０３、判定部１０４，２４０４、出力部１０５、計時部１０６、位置検出部１０７がＲＡＭ上に生成されるようになっている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，３０００，５０００ 道路附属物検出装置
１１０，１１０ａ，１１０ｂ 撮像カメラ
１０１ 柱領域検出部
１０２ 特定色検出部
１０３ 特定形状検出部
１０４，２４０４ 判定部
１０５ 出力部
１０６ 計時部
１０７ 位置検出部
１２０ 色ＤＢ
１３０ 形状ＤＢ
３０１０ 特定形状変換部

Claims (9)

1. 車両が走行する道路の撮像画像から、前記撮像画像の画素に基づき、検出対象の柱部分の領域である柱領域を検出する柱領域検出部と、
   前記撮像画像から、前記検出対象の特定色を有する領域である特定色領域を検出する特定色検出部と、
   前記撮像画像から、前記検出対象の特定形状を有する領域である特定形状領域を検出する特定形状検出部と、
   前記撮像画像から、前記柱領域と前記特定色領域と前記特定形状領域とが検出され、かつ各領域間の前記撮像画像上での距離が所定の距離未満である場合には、前記柱領域と前記特定色領域と前記特定形状領域とが示す領域が、道路の周辺に配置された道路附属物であると判定する判定部と、
   前記道路附属物に関する情報を出力する出力部と、
   を備えた道路附属物検出装置。
2. 前記特定形状検出部は、前記道路附属物の形状に応じた形状パターンを、前記撮像画像を走査させながら、前記撮像画像とマッチングし、前記形状パターンを変化させながら前記撮像画像とマッチングすることを繰り返すことで、前記特定形状領域を検出する、
   請求項１に記載の道路附属物検出装置。
3. 前記形状パターンを変化させる特定形状変換部、
   をさらに備えた請求項２に記載の道路附属物検出装置。
4. 前記撮像画像は、前記車両の前方の第１の撮像画像と前記車両の後方の第２の撮像画像とを含み、
   前記柱領域検出部は、前記第１の撮像画像と前記第２の撮像画像のそれぞれから、前記柱領域を検出し、
   前記特定色検出部は、前記第１の撮像画像と前記第２の撮像画像のそれぞれから、前記特定色領域を検出し、
   前記特定形状検出部は、前記第１の撮像画像と前記第２の撮像画像のそれぞれから、前記特定形状領域を検出し、
   前記判定部は、前記第１の撮像画像から検出された前記柱領域と前記特定色領域と前記特定形状領域とに基づいて、前記第１の撮像画像に前記道路附属物が存在するか否かの第１判定を行い、前記第２の撮像画像から検出された前記柱領域と前記特定色領域と前記特定形状領域とに基づいて、前記第２の撮像画像に前記道路附属物が存在するか否かの第２判定を行い、前記第１判定の結果と前記第２判定の結果とから、前記第１の撮像画像と前記第２の撮像画像に前記道路附属物が存在するか否かを判定する、
   請求項１〜３のいずれか一つに記載の道路附属物検出装置。
5. 前記特定色検出部は、前記第１の撮像画像から、前記道路附属物の第１の面の特定色を有する前記特定色領域を検出し、前記第２の撮像画像から、前記道路附属物の第２の面の特定色を有する前記特定色領域を検出し、
   前記特定形状検出部は、前記第１の撮像画像から、前記道路附属物の第１の面の特定形状を有する前記特定形状領域を検出し、前記第２の撮像画像から、前記道路附属物の第２の面の特定形状を有する前記特定形状領域を検出し、
   前記判定部は、前記第１判定として、前記第１の撮像画像に前記道路附属物の第１の面が存在するか否かを判定し、前記第２判定として、前記第２の撮像画像に前記道路附属物の第２の面が存在するか否かを判定し、前記第１判定により前記第１の撮像画像に前記道路附属物の第１の面が存在し、かつ、前記第２判定により前記第２の撮像画像に前記道路附属物の第２の面が存在すると判定された場合に、前記道路附属物が存在すると判定する、
   請求項４に記載の道路附属物検出装置。
6. 前記判定部は、前記柱領域、前記特定色領域、前記特定形状領域のいずれも検出され、かつ各領域間の前記撮像画像上での距離のいずれかが前記所定の距離以上である場合には、前記撮像画像に前記道路附属物は存在しないと判定する、
   請求項５に記載の道路附属物検出装置。
7. 前記判定部は、前記柱領域、前記特定色領域、前記特定形状領域のいずれかが検出されなかった場合には、前記撮像画像に前記道路附属物は存在しないと判定する、
   請求項１〜６のいずれか一つに記載の道路附属物検出装置。
8. 前記車両が走行する道路の周辺を撮像して前記撮像画像を得る撮像部、
   をさらに備えた請求項１〜７のいずれか一つに記載の道路附属物検出装置。
9. 車両が走行する道路の周辺の撮像画像から、前記撮像画像の画素に基づき、検出対象の柱部分の領域である柱領域を検出し、
   前記撮像画像から、前記検出対象の特定色を有する領域である特定色領域を検出し、
   前記撮像画像から、前記検出対象の特定形状を有する領域である特定形状領域を検出し、
   前記撮像画像から、前記柱領域と前記特定色領域と前記特定形状領域とが検出され、かつ各領域間の前記撮像画像上での距離が所定の距離未満である場合には、前記柱領域と前記特定色領域と前記特定形状領域とが示す領域が、道路の周辺に配置された道路附属物であると判定し、
   前記道路附属物に関する情報を出力する、
   ことを含む道路附属物検出方法。

Images