JP6947566B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、道路標示の認識に係る画像処理装置及び道路標示の認識に係る画像処理方法に関する。

車両を所定の駐車領域に駐車する際、駐車を支援するために駐車領域を表す駐車枠等を車両の周辺を撮像したモニタ画像に表示する技術が知られている。また、車両が道路を走行する際、車線を認識させることで走行中の安全性を高めることができる。駐車枠や車道の区画線の検出に係る従来技術の例が特許文献１及び２に開示されている。

特許文献１に記載された従来の白線検出装置はカメラで撮像した画像を変換して得た俯瞰画像を複数の区画に区分し、その区画の画像において認識した白線とのパターンマッチングによって画像全体の白線を検出する。これにより、この従来の白線検出装置は、例えば駐車エリアの消えかけた白線を推定し、表示部に表示することができる。

特許文献２に記載された従来の車載カメラレンズ用異物付着判定装置は車載カメラの撮影映像の長尺状の検出対象物（例えば車道の白線）の長さ若しくは形成間隔についての所定の一定性に基づいて、レンズへの異物の有無を判定する。これにより、この従来の車載カメラレンズ用異物付着判定装置は車載カメラのレンズへの異物の付着の有無の判断を簡便、低コスト且つ適正に行うことができる。さらに、車道の白線の検出結果を車線逸脱防止用の警報の出力に活用することができる。

特開２０１０−１６５２９９号公報 特開２０１２−１６６７０５号公報

しかしながら、特許文献１及び２に記載の従来技術はカメラが撮像した画像上において、駐車枠や車道の白線が障害物で隠れている場合、障害物をカメラレンズに付着した汚れと判断する虞がある。これにより、障害物の箇所を白線で補完してしまう虞があることが課題であった。したがって、モニタの画面において、運転者が障害物を認識できなくなることが懸念された。また、障害物を検知して報知する駐車支援が実施できなくなることが懸念された。

本発明は、上記の課題に鑑みなされたものであり、障害物を認識し、視認性の低い道路標示に対して適正に補完処理を実施することが可能な道路標示の認識に係る画像処理技術を提供することを目的とする。

本発明に係る画像処理装置は、車両の周辺を撮像するカメラから取得した画像から道路標示及び当該道路標示における中断部を検出する検出部と、前記画像内の前記中断部に路面上の障害物が存在するか否かを判別する判別部と、前記道路標示の前記中断部に対する補完処理を実施する補完部と、を備え、前記補完部は、前記中断部に前記障害物が存在する場合に、前記道路標示の前記中断部に対する前記補完処理を禁止する構成（第１の構成）である。

また、上記第１の構成の画像処理装置において、前記判別部は、前記車両の移動過程の異なる位置で時系列に沿って撮像された複数の前記画像に基づき前記中断部に路面上の障害物が存在するか否かを判別する構成（第２の構成）であっても良い。

また、上記第１または第２の構成の画像処理装置において、前記補完部は、前記車両の移動過程の異なる位置で時系列に沿って撮像された複数の前記画像各々の前記道路標示の画素情報を利用して前記道路標示の前記中断部に対する補完処理を実施する構成（第３の構成）であっても良い。

また、上記第１または第２の構成の画像処理装置において、道路標示に係る道路標示情報を記憶する記憶部を備え、前記補完部は、前記道路標示情報に基づき前記道路標示の前記中断部に対する補完処理を実施する構成（第４の構成）であっても良い。

また、上記第１から第４の構成の画像処理装置において、前記判別部が、前記障害物の高さを認識し、前記補完部は、前記障害物の高さが予め定めた所定値以上の場合に、前記道路標示の前記中断部に対する補完処理を禁止し、前記障害物の高さが前記所定値未満の場合に、前記道路標示の前記中断部に対する補完処理を実施する構成（第５の構成）であっても良い。

また、上記第１から第４の構成の画像処理装置において、前記判別部が、前記障害物が移動体であるか否かを判別するとともに、前記移動体の予測移動経路及び当該予測移動経路と重畳する前記道路標示の重畳部を推定し、前記補完部は、前記重畳部における前記補完処理を禁止する構成（第６の構成）であっても良い。

また、本発明に係る画像処理方法は、車両の周辺を撮像するカメラから取得した画像から道路標示及び当該道路標示における中断部を検出する工程と、前記画像内の前記中断部に路面上の障害物が存在するか否かを判別する工程と、前記道路標示の前記中断部に対する補完処理を実施する工程と、を含み、前記中断部に前記障害物が存在する場合に、前記道路標示の前記中断部に対する補完処理を禁止する構成（第７の構成）である。

本発明の構成によれば、カメラから得た画像から、道路標示の中断部と、その中断部における障害物の有無とを認識することができる。そして、中断部における障害物の有無に基づいて、道路標示の中断部に対する補完処理の必要性を判別することができる。したがって、障害物を認識し、視認性の低い道路標示に対して適正に補完処理を実施することが可能になる。

第１実施形態の道路標示認識装置の構成を示す図 第１実施形態の道路標示認識装置が用いるカメラの画像の第一例を示す図 第１実施形態の道路標示認識装置が用いるカメラの画像の第二例を示す図 図３の所定時間後のカメラの画像を示す図 第１実施形態の道路標示認識装置が用いるカメラの画像の第三例を示す図 図５の所定時間後のカメラの画像を示す図 第１実施形態の道路標示認識装置が用いるカメラの画像の第四例を示す図 図７の所定時間後のカメラの画像を示す図 第１実施形態の道路標示認識装置が用いるカメラの画像の第五例を示す図 図９の所定時間後のカメラの画像を示す図 第１実施形態の道路標示認識装置の動作例を示すフローチャート 第２実施形態の道路標示認識装置が用いるカメラの画像の第六例を示す図 図１２の所定時間後のカメラの画像を示す図 第２実施形態の道路標示認識装置の動作例を示すフローチャート

以下、本発明に係る画像処理装置の例示的な実施形態である道路標示認識装置について、図面を参照しながら詳細に説明する。なお、本発明は以下の内容に限定されるものではない。また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向（前方）」と呼び、ハンドルから運転席に向かう方向を「後方向（後方）」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、車両の左右横方向を「幅方向」と呼ぶことがある。

＜１．第１実施形態＞
＜１−１．道路標示認識装置の全体構成＞
図１は、第１実施形態の道路標示認識装置１の構成を示す図である。図１に示すように、道路標示認識装置１は例えば道路標示認識ＥＣＵ（Electronic Control Unit）であって、カメラ１１０及び表示装置１２０が接続され、車両制御ＥＣＵ１３０等とともに車両のＣＡＮ（Controller Area Network）２００に接続される。カメラ１１０及び表示装置１２０は道路標示認識装置１が搭載される車両と同一の車両に搭載される。道路標示認識装置１、カメラ１１０及び表示装置１２０によって道路標示認識システムが構築される。

カメラ１１０は道路標示認識装置１が搭載される車両の周辺を撮像する。カメラ１１０は例えばバックカメラである。バックカメラは例えば車両の後端部に配置され、車両の後方を撮像する。カメラ１１０は有線または無線で道路標示認識装置１に接続され、撮像した画像に係る信号を道路標示認識装置１に送信する。

なお、カメラ１１０として、車両の前方を撮像するフロントカメラ、車両の左右の側方を撮像する右サイドカメラ及び左サイドカメラ等を設けても良い。そして、道路標示認識装置１は、実空間上における車両の位置を基準として、後述する駐車領域の位置を算出することが可能である。カメラ１１０で撮像した画像における各画素の座標は、実空間上における車両に対する座標（所謂ワールド座標）に１対１で対応する。これにより、画像上で検出した駐車領域の座標値をワールド座標に変換することで、実空間上における車両の位置を基準とした駐車領域の位置を算出することができる。

表示装置１２０は車室に設けられ、その表示面（画面）が車室内に臨む。表示装置１２０は道路標示認識装置１からの指令を受信し、各種の情報を表示する。また、表示装置１２０はカメラ１１０から画像信号を受信し、カメラ１１０が撮像した画像を表示することもできる。例えば、表示装置１２０の画面にはカメラ１１０が撮像した車両の後方の画像が表示される。図２は表示装置１２０に表示された、道路標示認識装置１が用いるカメラ１１０の画像１１１の第一例を示す図である。

車両制御ＥＣＵ１３０は運転者による運転操作に従い、例えば車両の向きや速度等を制御する。さらに、車両制御ＥＣＵ１３０は道路標示認識装置１からの情報を受信し、その情報に従い、例えば車両の向き、速度等を制御することもできる。

＜１−２．道路標示認識装置の詳細な構成＞
道路標示認識装置１は、図１に示す制御部１０及び記憶部２０を備える。

制御部１０は、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備えるコンピュータである。制御部１０は記憶部２０に記憶されたプログラムに基づいてＣＰＵが演算処理を行い、道路標示認識装置１の全体を統括的に制御する。

制御部１０はプログラムに基づいてＣＰＵが演算処理を行うことで実現される機能の一部として、映像取得部１１、検出部１２、判別部１３及び補完部１４を備える。

映像取得部１１はカメラ１１０が撮像した画像１１１を取得する。映像取得部１１は画像１１１を所定時間（例えば１／３０秒）ごとに時間的に連続して取得する。

図２に示す画像１１１は、駐車場でカメラ１１０が撮像して得られる画像の一例である。画像１１１には、道路標示のひとつである駐車枠１１２の像と、車止め１１３の像とが含まれる。

駐車枠１１２は、例えばひとつの矩形の駐車領域Ａの三辺に配置された３本の区画線１１２ａ、１１２ｂを含み、路面に所定幅の白線或いは黄線で描かれる。２本の区画線１１２ａは車両の左右各々において車両の前後方向長さに対応する所定長さで延びる。１本の区画線１１２ｂは例えば車両が後退して駐車領域Ａに進入する場合の後方側の、区画線１１２ａの端部において幅方向に沿って延びる。なお、以下の説明において、区画線１１２ａ、１１２ｂを限定する必要が無い場合、単に「駐車枠１１２」と総称することがある。また、区画線１１２ａ、１１２ｂ各々を形容する場合、「車両の左右の区画線１１２ａ」、「車両の後方の区画線１１２ｂ」と記述することがある。

車止め１１３は駐車枠１１２で囲まれたひとつの駐車領域Ａに対して、例えば車両の後方の区画線１１２ｂの近傍に、車両の幅方向に並べて２個設置される。車止め１１３は、例えばコンクリート製のブロックで構成され、略直方体形状である。

検出部１２はカメラ１１０から取得した画像１１１から駐車枠１１２及び車止め１１３を検出する。検出部１２は画像１１１に対して画像処理を行い、画像１１１中の所謂エッジを抽出することによって駐車枠１１２及び車止め１１３を検出する。

一般的に多くの駐車場では、路面がアスファルトであって、駐車枠１１２には白色または黄色等の明るい色彩が施され、車止め１１３は白色に近いコンクリート製である。いずれにせよ、路面に対して、駐車枠１１２及び車止め１１３には視認性が高い、目立つ色合いが用いられることが多い。これにより、駐車枠１１２及び車止め１１３の輝度と駐車場の路面表面の輝度との間に輝度差が発生する。この輝度差に基づく輝度変化は一定範囲になるために、輝度変化が一定範囲となるエッジを抽出することにより、駐車枠１１２及び車止め１１３の検出を行うことができる。なお、画像内の「エッジ」は、画素間の輝度が所定以上の大きさで変化する部分である。

また、検出部１２は車両の移動過程の異なる位置で撮像された２つの画像１１１内において抽出された路面の特徴点のベクトル（オプティカルフロー）から、車両の移動量及び方向を導出する。なお、画像内の「特徴点」は、エッジ抽出の結果として安定的に検出可能な画像内の特徴的な点であり、例えば駐車枠１１２や車止め１１３の一部、路面のヒビ、シミ、砂利等が該当する。そして、検出部１２は、導出した車両の移動量及び方向に基づいて画像１１１内における車両を駐車するための駐車領域Ａに注目し、駐車枠１１２及び車止め１１３を検出する。

ここで、カメラ１１０が撮像した画像１１１内の駐車枠１１２や車道の区画線（例えば車道中央線）等の道路標示には、路面上の障害物や、カメラレンズに付着した汚れ等のために、見かけ上欠損した中断部が生じる場合がある。また、駐車枠１１２や車道の区画線等は、経時劣化や車両のタイヤ等との摩擦などによって実際に消えてしまうという中断部が生じる場合がある。

検出部１２は画像１１１内の道路標示（例えば駐車枠１１２）におけるこれらの中断部を検出する。この中断部の検出に関して、記憶部２０は道路標示に係る情報である道路標示情報２１を記憶する。道路標示情報２１としては例えば道路標示の規則性や種類、仕様を表す情報を含む。検出部１２は道路標示情報２１として予め記憶された道路標示の規則性や種類、仕様に基づき道路標示の形状や大きさを認識するとともに、その道路標示における中断部を検出する。

判別部１３は画像１１１内の道路標示における中断部に路面上の障害物が存在するか否かを判別する。判別部１３は車両の移動過程の異なる位置で時系列に沿って撮像された複数の画像１１１に基づき中断部に路面上の障害物が存在するか否かを判別する。この障害物の判別には、例えば先に説明したオプティカルフローや移動ステレオ方式などの手法が用いられる。移動ステレオ方式では、車両の移動に伴って車載カメラが移動すると、路面上の比較的高い障害物の移動量（ベクトルの大きさ）が路面の移動量よりも大きくなるという特徴を利用して障害物を検出する。

判別部１３は画像１１１内の道路標示における中断部に路面上の障害物が存在するか否かに加えて、障害物の高さも認識することができる。障害物の高さの認識については、例えば予め定めた所定高さの障害物に関する画像パターンを道路標示情報２１として記憶させておくことで、障害物の高さの認識精度を向上させることができる。

補完部１４は、中断部に障害物が存在しない場合、道路標示の中断部を補完する補完処理を実施する。ここで言う補完処理としては、道路標示認識装置１の内部における処理と、表示装置１２０に表示する処理と、の２種類の処理がある。これら２種類の補完処理は、両方とも実施しても良いし、いずれかのみ実施しても良い。

道路標示認識装置１の内部における補完処理は、車両の進行方向における道路標示（例えば駐車枠１１２）の連続性、一定性、すなわち車両のこれまでの移動過程において撮像された画像内の道路標示のパターンや車両の進行方向における道路標示の存在に基づき、中断部の箇所において道路標示が車両の進行方向に繋がっていると、道路標示認識装置１の内部で認識する処理を意味する。この処理は、車両を自動的に駐車枠１１２内に駐車する自動駐車システム等の自動運転や、障害物検知に用いるカメラのキャリブレーション（カメラの角度設定等）に適用することができる。

表示装置１２０に表示する補完処理は、道路標示認識装置１の内部で中断部の箇所において繋がっている認識された道路標示を、像として画像上に形成して表示装置１２０の画面に表示する処理を意味する。このとき、例えば赤色等の目立つ色を用いて道路標示の像を表示することもできる。この処理は、運転者が、表示装置１２０の画像を後方確認に利用しながら自ら運転して駐車する場合に適用することができる。

中断部に障害物が存在しない場合、補完部１４は道路標示の中断部が道路標示の掠れやカメラレンズに付着した汚れであると判定し、道路標示の中断部を補完する補完処理を実施する。この場合、補完部１４は車両の移動過程の異なる位置で時系列に沿って撮像された複数の画像１１１各々に記録された道路標示を用いて、道路標示の中断部に対する補完処理を実施する。すなわち、補完部１４は車両の移動過程で時系列に沿って撮像された複数の画像のうち従前の画像から中断部に対応する領域である道路標示の一部分の画素情報（例えば、色相・明度・彩度の色の三要素）を利用し、道路標示の中断部に対して補完処理を実施する。

補完部１４は、中断部に障害物が存在する場合、障害物の高さに基づき道路標示の補完処理が必要であるか否かを判別する。すなわち、補完部１４は、障害物の高さが予め定めた所定値以上の場合に道路標示の中断部に対する補完処理を禁止し、障害物の高さが当該所定値未満の場合に道路標示の中断部に対する補完処理を実施する。道路標示の補完処理の要否を判断するための障害物の高さの所定値は、例えば３０ｃｍが予め定められ、記憶部２０等に記憶される。

例えば、障害物が駐車領域Ａに置かれた高さ３０ｃｍを超える荷物のようなものである場合、補完部１４は道路標示である駐車枠１１２に対する補完処理を禁止する。一方例えば、障害物が駐車領域Ａに置かれた板や紙である場合、補完部１４は駐車枠１１２に対する補完処理を実施する。これらの板や紙が移動しない場合、従前の画像から障害物の箇所に対応する領域である駐車枠１１２の一部分の画素情報を利用することができないので、補完部１４は道路標示情報２１として記憶された駐車枠１１２の規則性や種類、仕様に基づき駐車枠１１２の障害物の箇所に対する補完処理を実施する。

このように障害物の高さが所定値以上の場合に補完処理を禁止する理由は、補完してしまうと、補完した駐車枠１１２の像が障害物の像に重畳されて車両の運転者が障害物を視認できず、運転者が障害物を認識しないまま車両を移動させて障害物に衝突させてしまう虞があるためである。また、障害物の高さが所定値未満の場合に補完処理を実施する理由は、車両の移動により車両が障害物を乗り越えるなどして車両への危険性はないことから、障害物の位置に駐車枠１１２の像を重畳表示させることで、障害物によって運転者が視認できない駐車枠１１２を表示させ、運転者が車両を駐車枠１１２内に容易に駐車することができるようになるからである。

また、上記のように駐車枠１１２の中断部に対して補完処理を実施することで、自動駐車システム等の自動運転において容易に、車両を自動的に駐車枠１１２内に駐車することができる。そして、障害物の高さが所定値以上の場合に補完処理を禁止することにより、補完した駐車枠１１２が障害物の位置で繋がっていると道路標示認識装置１が誤認識することを抑制することができる。これにより、自動駐車時に、車両を障害物に衝突させてしまうことを防止することが可能である。また、障害物の高さが所定値未満の場合に補完処理を実施することにより、自動駐車時に、自動的に車両に障害物を乗り越えさせるなどして車両を駐車枠１１２内に駐車させることができる。

また、上記のような道路標示認識装置１の道路標示に対する補完処理に係る機能は、例えば障害物検知機能を有する従来の障害物検知ＥＣＵに付加することができる。これにより、画像内の補完された駐車枠等の道路標示を、障害物検知に用いるカメラの角度の算出に利用することが可能になる。カメラの角度は実測が困難であることから、画像内の補完された道路標示を利用することで、障害物検知に用いるカメラのキャリブレーションの精度を向上させることができる。さらに、障害物検知ＥＣＵにおける障害物検知の精度を高めることが可能になる。

＜１−３．障害物の判別及び道路標示の補完処理の具体例＞
続いて、障害物の判別及び道路標示の補完処理の具体例について、図３〜図１０に示した４つの例を用いて説明する。

図３は道路標示認識装置１が用いるカメラ１１０の画像の第二例を示す図である。図４は図３の所定時間後のカメラ１１０の画像を示す図である。すなわち、図３に示す画像１１１Ｐと、図４に示す画像１１１Ｎとは車両の移動過程の異なる位置で時系列に沿って撮像された２つの画像である。図３に示すように、駐車場には駐車枠１１２及び車止め１１３が設けられる。駐車枠１１２には中断部１１２ｚが１箇所存在する。

検出部１２は図３に示す画像１１１Ｐにおいて、駐車枠１１２、車止め１１３及び駐車領域Ａを検出する。さらに、検出部１２は駐車枠１１２に係る規則性や種類、仕様といった道路標示情報２１に基づき、車両の左右の区画線１１２ａの一方に中断部１１２ｚがあることを検出する。

判別部１３は図３に示す画像１１１Ｐと、図４に示す画像１１１Ｎとの２つの画像に基づき、駐車枠１１２の区画線１１２ａにおける中断部１１２ｚが画像上で移動していないことを判別する。すなわち、判別部１３は中断部１１２ｚに路面上の障害物が存在するわけではなく、中断部１１２ｚがカメラレンズに付着した汚れ等であることを判別する。

中断部１１２ｚが路面上の障害物ではないので、補完部１４は図４に示す画像１１１Ｎにおいて駐車枠１１２の区画線１１２ａに対する補完処理を実施する。補完部１４は、従前の画像である図３に示す画像１１１Ｐから中断部１１２ｚに対応する領域である区画線１１２ａの一部分（図３の破線円１１２ｃ内）の画素情報を利用し、図４に示すように区画線１１２ａの中断部１１２ｚに対する補完処理を実施する（図４の破線）。

図５は道路標示認識装置１が用いるカメラ１１０の画像の第三例を示す図である。図６は図５の所定時間後のカメラ１１０の画像を示す図である。すなわち、図５に示す画像１１１Ｐと、図６に示す画像１１１Ｎとは車両の移動過程の異なる位置で時系列に沿って撮像された２つの画像である。図５に示すように、駐車場には駐車枠１１２及び車止め１１３が設けられる。駐車枠１１２には中断部１１２ｚが１箇所存在する。

検出部１２は図５に示す画像１１１Ｐにおいて、駐車枠１１２、車止め１１３及び駐車領域Ａを検出する。さらに、検出部１２は駐車枠１１２に係る規則性や種類、仕様といった道路標示情報２１に基づき、車両の左右の区画線１１２ａの一方に中断部１１２ｚがあることを検出する。

判別部１３は図５に示す画像１１１Ｐと、図６に示す画像１１１Ｎとの２つの画像に基づき、駐車枠１１２の区画線１１２ａにおける中断部１１２ｚが画像上で区画線１１２ａとともに移動していることを判別する。すなわち、判別部１３は中断部１１２ｚに路面上の障害物１１４が存在することを判別する。さらに、判別部１３は障害物１１４の高さを認識する。なおここでは、例えば障害物１１４が所定値である３０ｃｍを超える高さの物体であるとする。

中断部１１２ｚに路面上の障害物１１４が存在するので、補完部１４は障害物１１４の高さに基づき区画線１１２ａの補完処理が必要であるか否かを判別する。障害物１１４の高さが３０ｃｍ（所定値）以上であるので、補完部１４は図６に示すように画像１１１Ｎにおいて駐車枠１１２の区画線１１２ａに対する補完処理を禁止する。

図７は道路標示認識装置１が用いるカメラ１１０の画像の第四例を示す図である。図８は図７の所定時間後のカメラ１１０の画像を示す図である。すなわち、図７に示す画像１１１Ｐと、図８に示す画像１１１Ｎとは車両の移動過程の異なる位置で時系列に沿って撮像された２つの画像である。図７に示すように、駐車場には駐車枠１１２及び車止め１１３が設けられる。駐車枠１１２には中断部１１２ｚが１箇所存在する。

検出部１２は図７に示す画像１１１Ｐにおいて、駐車枠１１２、車止め１１３及び駐車領域Ａを検出する。さらに、検出部１２は駐車枠１１２に係る規則性や種類、仕様といった道路標示情報２１に基づき、車両の左右の区画線１１２ａの一方に中断部１１２ｚがあることを検出する。

判別部１３は図７に示す画像１１１Ｐと、図８に示す画像１１１Ｎとの２つの画像に基づき、駐車枠１１２の区画線１１２ａにおける中断部１１２ｚが画像上で区画線１１２ａとともに移動していることを判別する。すなわち、判別部１３は中断部１１２ｚに路面上の障害物１１５が存在することを判別する。さらに、判別部１３は障害物１１５の高さを認識する。なおここでは、例えば障害物１１５が所定値である３０ｃｍ未満の高さの板状の物体であるとする。

中断部１１２ｚに路面上の障害物１１５が存在するので、補完部１４は障害物１１５の高さに基づき区画線１１２ａの補完処理が必要であるか否かを判別する。障害物１１５の高さが３０ｃｍ（所定値）未満であるので、補完部１４は図８に示す画像１１１Ｎにおいて駐車枠１１２の区画線１１２ａに対する補完処理を実施する。この場合、従前の画像である図７に示す画像１１１Ｐから障害物１１５の箇所に対応する領域である区画線１１２ａの一部分の画素情報を利用するが、２つの画像間で障害物１１５が移動していないので、画素情報を利用することができない。したがって、補完部１４は道路標示情報２１として記憶された区画線１１２ａの規則性や種類、仕様に基づき、図８に示すように区画線１１２ａの障害物１１５の箇所に対する補完処理を実施する（図８の破線）。

なお、高さが３０ｃｍ未満である物体としては、板のほか、例えば紙や、コインパーキング等で一般的に見られる車両ロック装置が相当する。

図９は道路標示認識装置１が用いるカメラ１１０の画像の第五例を示す図である。図１０は図９の所定時間後のカメラ１１０の画像を示す図である。すなわち、図９に示す画像１１１Ｐと、図１０に示す画像１１１Ｎとは車両の移動過程の異なる位置で時系列に沿って撮像された２つの画像である。図９に示すように、駐車場には駐車枠１１２及び車止め１１３が設けられる。駐車枠１１２には中断部１１２ｚが２箇所存在する。

検出部１２は図９に示す画像１１１Ｐにおいて、駐車枠１１２、車止め１１３及び駐車領域Ａを検出する。さらに、検出部１２は駐車枠１１２に係る規則性や種類、仕様といった道路標示情報２１に基づき、車両の左右の区画線１１２ａの両方に１箇所ずつ中断部１１２ｚがあることを検出する。

判別部１３は図９に示す画像１１１Ｐと、図１０に示す画像１１１Ｎとの２つの画像に基づき、駐車枠１１２の区画線１１２ａにおける中断部１１２ｚが画像上で区画線１１２ａとともに移動していることを判別する。そして、それらの２つの画像に基づき、判別部１３は中断部１１２ｚに路面上の障害物が存在しないことを判別し、さらに中断部１１２ｚが区画線１１２ａの掠れであることを判別する。

中断部１１２ｚが区画線１１２ａの掠れであるので、補完部１４は図１０に示す画像１１１Ｎにおいて駐車枠１１２の区画線１１２ａに対する補完処理を実施する。この場合、従前の画像である図９に示す画像１１１Ｐから中断部１１２ｚ（掠れ）の箇所に対応する領域である区画線１１２ａの一部分の画素情報を利用するが、２つの画像間で中断部１１２ｚが移動していないので、画素情報を利用することができない。したがって、補完部１４は道路標示情報２１として記憶された区画線１１２ａの規則性や種類、仕様に基づき、図１０示すように区画線１１２ａの中断部１１２ｚ（掠れ）の箇所に対する補完処理を実施する（図１０の破線）。

＜１−４．道路標示認識装置の動作＞
続いて、第１実施形態の道路標示認識装置１の動作について説明する。図１１は、道路標示認識装置１の動作例を示すフローチャートである。なお、このフローチャートを用いた説明において、カメラ１１０が撮像した画像としては、上記図３〜図１０の画像１１１Ｐ、１１１Ｂを適宜用いて説明する。

道路標示認識装置１はその動作開始を促すイベントの発生に基づき動作を開始する（図１１の「開始」）。道路標示認識装置１の動作開始イベントとしては、例えば車両のシフトレバーの位置がリバースレンジに切り替わったこと等を挙げることができる。なお、道路標示認識装置１の動作開始とともにカメラ１１０及び表示装置１２０も動作を開始し、表示装置１２０の画面にカメラ１１０が撮像した車両の後方の画像が表示される。

道路標示認識装置１が動作を開始すると、検出部１２が、カメラ１１０が取得した画像１１１Ｐから道路標示を検出する（図１１のステップＳ１０１）。なお、画像は、映像取得部１１が所定時間（例えば１／３０秒）ごとに時間的に連続して取得する。また、検出部１２は車両の移動量及び方向に基づいて車両を駐車するための駐車領域Ａに注目し、駐車枠１１２等の道路標示を検出する。

続いて、検出部１２は、画像１１１Ｐ内において検出した道路標示である駐車枠１１２に中断部があるか否かを判定する（ステップＳ１０２）。検出部１２は道路標示情報２１として予め記憶された駐車枠１１２の規則性や種類、仕様に基づき駐車枠１１２の形状や大きさを認識するとともに、その駐車枠１１２における中断部１１２ｚを検出する。

駐車枠１１２に中断部１１２ｚがある場合（ステップＳ１０２のＹｅｓ）、判別部１３は画像１１１Ｐ内の駐車枠１１２における中断部１１２ｚに路面上の障害物が存在するか否かを判別する（ステップＳ１０３）。判別部１３は、車両の移動過程の異なる位置で時系列に沿って撮像された２つの画像１１１に基づき中断部１１２ｚに路面上の障害物が存在するか否かを判別する。

例えば、図３及び図４を用いて先に説明したように、駐車枠１１２における中断部１１２ｚに路面上の障害物が存在しない場合（ステップＳ１０３のＮｏ）、補完部１４は図４に示すように画像１１１Ｎにおいて駐車枠１１２に対する補完処理を実施する（ステップＳ１０４）。

また例えば、図９及び図１０を用いて先に説明したように、中断部１１２ｚに路面上の障害物が存在せず（ステップＳ１０３のＮｏ）、中断部１１２ｚが駐車枠１１２の掠れであると判別された場合、補完部１４は図１０に示すように画像１１１Ｎにおいて駐車枠１１２の掠れの箇所（中断部１１２ｚ）に対する補完処理を実施する（ステップＳ１０４）。

一方、駐車枠１１２における中断部１１２ｚに路面上の障害物が存在する場合（ステップＳ１０３のＹｅｓ）、判別部１３が障害物の高さを認識する（ステップＳ１０５）。

続いて、補完部１４が路面上の障害物の高さに基づき駐車枠１１２の補完処理が必要であるか否かを判別する（ステップＳ１０６）。

例えば、図５及び図６を用いて先に説明したように、障害物１１４の高さが所定値（例えば３０ｃｍ）以上である場合、補完部１４は駐車枠１１２の補完処理が必要ないと判定する（ステップＳ１０６のＮｏ）。これにより、補完部１４は図６に示すように画像１１１Ｎにおいて駐車枠１１２に対する補完処理を禁止する。

一方例えば、図７及び図８を用いて先に説明したように、障害物１１５の高さが所定値（例えば３０ｃｍ）未満である場合、補完部１４は駐車枠１１２の補完処理が必要であると判定する（ステップＳ１０６のＹｅｓ）。これにより、補完部１４は図８に示すように画像１１１Ｎにおいて駐車枠１１２に対する補完処理を実施する（ステップＳ１０４）。

そして、道路標示認識装置１の動作を終了するか否かが判定される（ステップＳ１０７）。道路標示認識装置１の動作終了イベントとしては、例えば車両のシフトレバーの位置がリバースレンジから他のレンジに切り替わったこと等を挙げることができる。動作終了イベントが発生していれば（ステップＳ１０７のＹｅｓ）、道路標示認識装置１は動作を終了する（図１１の「終了」）。動作終了イベントが発生していなければ（ステップＳ１０７のＮｏ）、ステップＳ１０１に戻り、道路標示認識装置１は動作を継続する。

なお、道路標示認識装置１の動作終了イベントを常時監視し、上記フローの途中であっても、動作終了イベントが発生すれば、直ちに道路標示認識装置１が動作を終了することにしても良い。

上記第１実施形態のように、道路標示認識装置１は、車両の周辺を撮像するカメラ１１０から取得した画像１１１から道路標示である駐車枠１１２及び駐車枠１１２における中断部１１２ｚを検出する検出部１２と、画像１１１内の中断部１１２ｚに路面上の障害物が存在するか否かを判別する判別部１３と、駐車枠１１２の中断部１１２ｚに対する補完処理を実施する補完部１４と、を備える。そして、補完部１４は、中断部１１２ｚに障害物が存在する場合に、駐車枠１１２の中断部１１２ｚに対する補完処理を禁止する。

この構成によれば、カメラ１１０から得た画像１１１から、駐車枠１１２の中断部１１２ｚと、中断部１１２ｚにおける障害物の有無とを認識することができる。そして、中断部１１２ｚにおける障害物の有無に基づいて、駐車枠１１２の中断部１１２ｚに対する補完処理の必要性を判別することができる。したがって、障害物を認識し、視認性の低い駐車枠１１２に対して適正に補完処理を実施することが可能になる。障害物を認識することができ、障害物への対応を迅速且つ適正に実施することが可能になる。また、例えば雨滴や汚泥がカメラレンズに付着して汚れていても、障害物と認識されることなく、駐車枠１１２が適正に補完処理される。そして、例えば道路標示認識装置１が補完した駐車枠１１２の像を車両の後方の画像１１１内に重ねて明示すれば、運転者は駐車枠１１２を容易に認識することができ、駐車枠１１２内に容易に駐車することが可能になる。

また、判別部１３は、車両の移動過程の異なる位置で時系列に沿って撮像された２つの画像１１１に基づき駐車枠１１２の中断部１１２ｚに路面上の障害物が存在するか否かを判別する。この構成によれば、障害物と、カメラレンズに付着した汚れや駐車枠１１２の掠れ等とを適正に判別することが可能になる。

また、補完部１４は、車両の移動過程の異なる位置で時系列に沿って撮像された２つの画像１１１各々の駐車枠１１２の画素情報を利用して駐車枠１１２の中断部１１２ｚに対する補完処理を実施する。この構成によれば、駐車枠１１２の補完処理に対して画像１１１の駐車枠１１２の像を直接利用するので、より正確に駐車枠１１２に対する補完処理を実施することが可能になる。したがって、運転者が実際の駐車枠１１２内に駐車する精度を高めることができる。

また、補完部１４は、記憶部２０に記憶された駐車枠１１２の規則性や種類、仕様といった道路標示情報２１に基づき駐車枠１１２の中断部１１２ｚに対する補完処理を実施する。この構成によれば、例えば従前の画像から障害物の箇所に対応する領域である駐車枠１１２の一部分の画素情報（例えば、色相・明度・彩度の色の三要素）を利用することができない場合に、駐車枠１１２の中断部１１２ｚに対する補完処理を実施することが可能になる。したがって、高さが比較的低い障害物が駐車枠１１２と重畳する場合や、駐車枠１１２が掠れている場合等において、正確に駐車枠１１２の中断部１１２ｚに対する補完処理を実施することが可能になる。

そして、補完部１４は、障害物の高さが予め定めた所定値以上の場合に、駐車枠１１２の中断部１１２ｚに対する補完処理を禁止し、障害物の高さが所定値未満の場合に、駐車枠１１２の中断部１１２ｚに対する補完処理を実施する。この構成によれば、必要に応じて駐車枠１１２の中断部１１２ｚに対する補完処理を実施することができる。したがって、障害物と、カメラレンズに付着した汚れや駐車枠１１２の掠れ等との判別を高精度に実現することが可能になる。

なお、上記実施形態において、駐車枠１１２は区画線がひとつの矩形の駐車領域Ａの三辺に配置される形態であることとしたが、駐車枠はこのような形態に限定されるわけでない。例えば、駐車枠が、車両の前後方向長さに対応する所定長さで延びる車両の左右２本の区画線のみで構成され、車両の前後の区画線が無い形態であっても良い。また、上記実施形態の駐車枠１１２は隣り合う他の駐車領域と区画線を共用する形態であるが、区画線が駐車領域ごとに個別に設けられる形態であっても良い。駐車枠がこれらのいずれの形態であっても、道路標示認識装置１は駐車枠として補完することができ、運転者に明示することが可能である。

さらに、駐車枠は路面に描かれた所定幅の線（帯）に限定されるわけではない。例えば、ロープ、タイル等の駐車枠を提示する他のものであっても、道路標示認識装置１は駐車枠として補完することができ、運転者に明示することが可能である。

また、駐車領域Ａに複数の障害物が存在する場合、車両に近い障害物ほど道路標示認識装置１による処理の優先度を上げることが好ましい。これにより、車両に近い障害物を迅速に認識することができ、障害物への対応を一層早めることが可能になる。

＜２．第２実施形態＞
次に、第２実施形態について説明する。図１２は、車道区画線認識装置１が用いるカメラの画像の第六例を示す図である。図１３は、図１２の所定時間後のカメラの画像を示す図である。図１４は、道路標示認識装置１の動作例を示すフローチャートである。なお、第２実施形態の基本的な構成は先に説明した第１実施形態と同じであるので、第１実施形態と異なる構成要素については以下で説明し、第１実施形態と共通する構成要素については詳細な説明を省略する。

第２実施形態の道路標示認識装置１は判別部１３が、図１２に示す画像１１１Ｐ内の障害物１１６が移動体であるか否かを判別する。判別部１３は、例えば車両の移動過程の異なる位置で時系列に沿って撮像された複数の画像１１１に基づき障害物１１６が移動体であるか否かを判別する。なおここでは、例えば障害物１１６が駐車場内を歩く歩行者であるとする。

また、判別部１３は、図１２及び図１３に示すように車両の移動過程の異なる位置で時系列に沿って撮像された複数の画像１１１に基づき移動体である障害物１１６のこれまでの移動経路Ｒ１を導出する。そして、判別部１３は、障害物１１６のこれまでの移動経路Ｒ１に基づき予測される障害物１１６の今後の移動経路である予測移動経路Ｒ２を推定する。さらに、判別部１３は、引き続き障害物１１６が予測移動経路Ｒ２に沿って移動した場合に関して、予測移動経路Ｒ２と重畳する駐車枠１１２の重畳部１１２ｙを推定する。

補完部１４は重畳部１１２ｙにおいて駐車枠１１２に対する補完処理を禁止する。すなわち、以後の処理で取得された画像内で、重畳部１１２ｙにおいて駐車枠１１２に中断部が発生した場合、補完部１４は該中断部に対して補完処理を禁止する。

続いて、第２実施形態の道路標示認識装置１の動作について、図１２〜図１４を用いて説明する。

道路標示認識装置１が動作を開始すると（図１４の「開始」）、検出部１２が、カメラ１１０が取得した画像１１１Ｐ（図１２参照）から道路標示を検出する（ステップＳ２０１）。続いて、検出部１２は、画像１１１Ｐ内において検出した道路標示である駐車枠１１２に中断部があるか否かを判定する（ステップＳ２０２）。駐車枠１１２に中断部１１２ｚがある場合（ステップＳ２０２のＹｅｓ）、判別部１３は画像１１１Ｐ内の駐車枠１１２における中断部１１２ｚに路面上の障害物が存在するか否かを判別する（ステップＳ２０３）。

画像１１１Ｐ内に障害物１１６が存在する場合（ステップＳ２０３のＹｅｓ）、判別部１３は図１２に示す画像１１１Ｐと、図１３に示す画像１１１Ｎとの２つの画像に基づき、障害物１１６が移動体であるか否かを判別する（ステップＳ２０５）。障害物１１６が移動体である場合（ステップＳ２０５のＹｅｓ）、判別部１３は、図１３に示すように移動体である障害物１１６の予測移動経路Ｒ２及び当該予測移動経路Ｒ２における駐車枠１１２との重畳部１１２ｙを推定する（ステップＳ２０６）。

そして、補完部１４は重畳部１１２ｙにおいて駐車枠１１２に対して補完処理の禁止を設定する（ステップＳ２０７）。これにより、重畳部１１２ｙにおいて駐車枠１１２が補完されることなくステップＳ２１０に移行し、道路標示認識装置１の動作を終了するか否かが判定される。

なお、以後の処理で取得された画像内で、重畳部１１２ｙにおいて駐車枠１１２に中断部が発生した場合、予め補完処理の禁止が設定されているので、補完部１４は該中断部に対して補完処理を禁止する。

上記第２実施形態のように、道路標示認識装置１は判別部１３が、画像１１１Ｐ内の障害物１１６が移動体であるか否かを判別するとともに、移動体の予測移動経路Ｒ２及び当該予測移動経路Ｒ２と重畳する駐車枠１１２の重畳部１１２ｙを推定する。そして、補完部１４は、当該重畳部１１２ｙにおける駐車枠１１２に対する補完処理を禁止する。

この構成によれば、駐車枠１１２に対する補完処理の必要性を高精度に判別することができる。また、駐車枠１１２の重畳部１１２ｙにおいて不要な補完処理が禁止されるので、道路標示認識装置１における制御に係る負荷を低減させることが可能である。

＜３．留意事項＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、上記の複数の実施形態及び変形例は可能な範囲で組み合わせて実施しても良い。

また、上記実施形態において、道路標示認識装置１が駐車場の駐車枠１１２に対して補完処理を実施することとしたが、補完処理の対象となる道路標示は駐車枠に限定されるわけではない。道路標示認識装置１は、例えば車道中央線や車線境界線、横断歩道といった道路標示についても同様に補完処理を実施することが可能である。車道中央線や車線境界線に対して補完処理を実施すれば、走行中に車線を認識させる作用を向上させることができる。また、横断歩道などといった減速、停止の対象となる道路標示に対する認識も高まり、走行中の安全性をより一層向上させることが可能になる。さらに、障害物として、例えば横断歩道上の歩行者を認識することができ、歩行者への対応を迅速且つ適正に実施することが可能になる。

また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。

１ 道路標示認識装置（画像処理装置）
１０ 制御部
１１ 映像取得部
１２ 検出部
１３ 判別部
１４ 補完部
２０ 記憶部
２１ 道路標示情報
１１０ カメラ
１１１、１１１Ｐ、１１１Ｎ 画像
１１２ 駐車枠（道路標示）
１１２ｙ 重畳部
１１２ｚ 中断部
１１４、１１５、１１６ 障害物
１２０ 表示装置
１３０ 車両制御ＥＣＵ
Ｒ１ 移動経路
Ｒ２ 予測移動経路

Claims (7)

1. 車両の周辺を撮像するカメラから取得した画像から道路標示及び当該道路標示における中断部を検出する検出部と、
   前記画像内の前記中断部に路面上の障害物が存在するか否かを判別する判別部と、
   前記道路標示の前記中断部に対する補完処理を実施する補完部と、
   を備え、
   前記補完部は、前記中断部に前記障害物が存在する場合に、前記道路標示の前記中断部に対する前記補完処理を禁止する
   ことを特徴とする画像処理装置。
2. 前記判別部は、前記車両の移動過程の異なる位置で時系列に沿って撮像された複数の前記画像に基づき前記中断部に路面上の障害物が存在するか否かを判別することを特徴とする請求項１に記載の画像処理装置。
3. 前記補完部は、前記車両の移動過程の異なる位置で時系列に沿って撮像された複数の前記画像各々の前記道路標示の画素情報を利用して前記道路標示の前記中断部に対する補完処理を実施することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 道路標示に係る道路標示情報を記憶する記憶部を備え、
   前記補完部は、前記道路標示情報に基づき前記道路標示の前記中断部に対する補完処理を実施することを特徴とする請求項１または請求項２に記載の画像処理装置。
5. 前記判別部が、前記障害物の高さを認識し、
   前記補完部は、前記障害物の高さが予め定めた所定値以上の場合に、前記道路標示の前記中断部に対する補完処理を禁止し、前記障害物の高さが前記所定値未満の場合に、前記道路標示の前記中断部に対する補完処理を実施することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
6. 前記判別部が、前記障害物が移動体であるか否かを判別するとともに、前記移動体の予測移動経路及び当該予測移動経路と重畳する前記道路標示の重畳部を推定し、
   前記補完部は、前記重畳部における前記補完処理を禁止することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
7. 車両の周辺を撮像するカメラから取得した画像から道路標示及び当該道路標示における中断部を検出する工程と、
   前記画像内の前記中断部に路面上の障害物が存在するか否かを判別する工程と、
   前記道路標示の前記中断部に対する補完処理を実施する工程と、
   を含み、
   前記中断部に前記障害物が存在する場合に、前記道路標示の前記中断部に対する補完処理を禁止する
   ことを特徴とする画像処理方法。

Images