JP6548893B2

JP6548893B2 - 走行路認識装置及びそれを用いた走行支援システム

Info

Publication number: JP6548893B2
Application number: JP2014233528A
Authority: JP
Inventors: 晋司掛川; 隆筒井; 春樹的野; 雅幸竹村; 健志磨
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Astemo Ltd
Priority date: 2014-11-18
Filing date: 2014-11-18
Publication date: 2019-07-24
Anticipated expiration: 2034-11-18
Also published as: WO2016079591A1; CN107430774A; EP3223241A1; JP2016099650A; EP3223241A4; US20170300764A1

Description

本発明は、走行路認識装置及びそれを用いた走行支援システムに係り、例えば車両周囲の走行路の白線や路端を認識する走行路認識装置及びそれを用いた走行支援システムに関する。

従来、自動車等の車両に搭載されたカメラやレーダから得られる情報に基づいて当該車両が走行する道路（走行路）上の白線や路端（歩道や路側帯や縁石などとの境界）等を検知し、その検知結果をドライバーの運転支援に利用するシステムが開発されている。そのようなシステムの一例として、例えば、自車が白線に近づいて車線（自車が走行しているレーン）から逸脱する可能性が生じた際に警報等でドライバーに注意を促し、さらに車線逸脱が避けられない状況になった際に自動的にステアリングやアクセル、ブレーキ等を制御して車線逸脱を回避するシステム（車線逸脱回避システム）などが知られている。

ところで、カメラやレーダから得られる情報に基づいて道路上の白線や路端等を検知する場合、例えば、逆行などの光の具合や、天候状態（雨、霧、雪など）、道路上に存在する物体（水溜り、降雪、周囲の樹木、マンホール、標識など）、道路上の影、白線のかすれ、歩道や縁石の途切れ、その他のカメラ視野内に入る物（ワイパ、フロントガラス上に付着した汚れや雨滴など）などの様々な要因によって、その検知精度が低下することが知られている（図６参照）。

このような問題に対する従来技術として、ガードレール、植込み、パイロン列等の道路の境界となる連続した立体物としての側壁が別の物体によって部分的に隠れている場合に目的とする側壁だけを検出する技術（特許文献１）や、影や路上の標識文字、前方車両が存在している場合に標識線の位置を認識する技術（特許文献２）が知られている。

特許文献１に開示されている車両用車外監視装置は、車外の設定範囲の対象を検出し、この対象に対する位置情報を出力する計測手段と、前記計測手段からの位置情報に基づき、道路の境界となる連続した立体物としての側壁の有無とこの側壁の位置を近似する直線式とを検出する側壁直線検出手段と、前記側壁直線検出手段で検出した直線式の周囲に空間領域を設定し、この空間領域内のデータのみを抽出して前記側壁が存在する範囲を検出する側壁範囲検出手段とを備えたものである。

また、特許文献２に開示されている道路環境認識装置は、車両の進行方向前方を撮像する撮像手段と、該撮像手段により得られる画像から、物体の輪郭線のみを抽出したエッジ画像を作成する手段と、該エッジ画像中の自車両の近い路面に対応する部分で、かつ自車両の左側または右側の路面に対応する部分に存在する、所定の長さ以上連続するエッジ部分を抽出して、該抽出されたエッジ部分を自車両の左側または右側の標識線として認識する標識線認識手段とを備えるものである。

特開平６−２６６８２８号公報特開平７−２２０１９４号公報

しかしながら、特許文献１、２に開示されている従来技術では、道路の境界となる連続した立体物としての側壁や所定の長さ以上連続するエッジ部分のみを検出対象としており、上記した要因によってそれらの検出精度が低下した場合、依然として目的とする側壁や標識線の位置を精緻に検出し得ないといった問題があった。

すなわち、上記した車線逸脱回避システムにおいては、走行路上の白線や路端を検出対象としているが、それら白線と路端の双方の検出精度が低下する場合には、白線や路端の位置を精緻に検出できず、誤報や誤制御が発生する可能性があった。

本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、例えば走行路上の白線と路端の双方の検知精度が低下した場合であっても、その白線や路端の位置を精緻に認識することのできる走行路認識装置及びそれを用いた走行支援システムを提供することである。

上記する課題を解決するために、本発明に係る走行路認識装置は、車両が走行する走行路を認識するための走行路認識装置であって、前記車両に搭載された撮像部により取得された画像に含まれる線状部位の方向を抽出する線状部位方向抽出部と、前記撮像部により取得された画像もしくは前記車両に搭載された距離検出部により検出された距離情報から三次元的な距離情報を含む距離画像を生成する距離画像生成部と、前記距離画像生成部により生成された距離画像に含まれる面領域の端部の方向を抽出する端部方向抽出部と、前記線状部位の方向と前記面領域の端部の方向とに基づいて前記走行路の方向を推定する走行路方向推定部と、を備えることを特徴とする。

また、本発明に係る走行支援システムは、前記走行路認識装置と、該走行路認識装置により検出された区画線位置と路端位置とに基づいて前記車両の走行を支援する走行支援制御装置と、を備えることを特徴とする。

本発明によれば、撮像部により取得された画像に含まれる線状部位の方向と、撮像部により取得された画像もしくは距離検出部により検出された距離情報に基づいて生成された三次元的な距離情報を含む距離画像に含まれる面領域の端部の方向とに基づいて走行路の方向を推定することにより、例えば走行路上の白線と路端の双方の検知精度が低下した場合であっても、その白線や路端の位置を精緻に認識（推定）することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る走行路認識装置の実施形態１が適用された走行支援システムのシステム構成を概略的に示すシステム構成図。図１に示す走行路認識装置の内部構成を示す内部構成図。図２に示す特徴量統合部及び走行路方向推定部の処理内容を説明した図。本発明に係る走行路認識装置の実施形態２の内部構成を示す内部構成図。本発明に係る走行路認識装置の実施形態３の内部構成を示す内部構成図。車載カメラにより撮像される画像の一例を示す図。

以下、本発明に係る走行路認識装置及びそれを用いた走行支援システムの実施形態を図面を参照して説明する。

［実施形態１］
図１は、本発明に係る走行路認識装置の実施形態１が適用された走行支援システムのシステム構成を概略的に示したものである。

図示する走行支援システム１は、例えば自動車等の車両Ｖに搭載されており、主に、複数（本実施形態では、２つ）のカメラからなるステレオカメラ装置１１と、ステレオカメラ装置１１の各カメラで同期して撮像された複数の画像から当該車両Ｖの周囲の走行路を認識する走行路認識装置１０と、走行路認識装置１０の認識結果に基づいて車両Ｖに搭載された各種装置（例えば、アクセル１３、ブレーキ１４、スピーカ１５、ステアリング１６など）を制御して当該車両Ｖの走行を支援する走行支援制御装置１２と、から構成されている。

ステレオカメラ装置１１は、例えば車両Ｖの前方のフロントガラスの上部の手前に、車両Ｖの前方に向かって設置されており、車両Ｖの前方を撮像して画像情報を取得する一対の撮像部としての左カメラ１１ａと右カメラ１１ｂを備えている。左カメラ１１ａと右カメラ１１ｂはそれぞれ、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有しており、互いに車幅方向（左右方向）に離間した位置から車両Ｖの前方を撮像するように設置されている（図２参照）。

走行路認識装置１０は、ステレオカメラ装置１１で所定の周期で時系列的に取得した車両Ｖの前方の撮影対象領域の画像情報に基づいて走行路を認識する装置であり、特に、走行路上の白線（破線を含む）等の区画線や路端（走行路の端部であって、歩道や路側帯や縁石などとの境界）を認識し、その認識結果を走行支援制御装置１２へ出力する。なお、この走行路認識装置１０は、ステレオカメラ装置１１を制御する（例えば、各カメラ１１ａ、１１ｂの撮像タイミングや露光量を制御する）カメラ制御部、一時記憶領域であるＲＡＭ（Random Access Memory）、プログラムや各種初期値を格納するＲＯＭ（Read Only Memory）、システム全体の制御を行うＣＰＵ（Central Processing Unit）、認識情報等をシステム外へ出力する外部ＩＦ（Interface）、画像処理ＬＳＩ（Large Scale Integration）などから構成され、各構成要素はバスを介して通信可能に接続されている。

走行支援制御装置１２は、走行路認識装置１０から受信した認識結果（区画線や路端の認識結果）に基づいて、当該車両Ｖのスピーカ１５を作動させたり、当該車両Ｖの走行を支援するためのアクセル制御量、ブレーキ制御量、ステアリング制御量を算出して、アクセル１３やブレーキ１４やステアリング１６などの調整を行うようになっている。

図２は、図１に示す走行路認識装置の内部構成を具体的に示したものであり、図３は、図２に示す特徴量統合部及び走行路方向推定部の処理内容を説明したものである。

なお、以下では、走行路認識装置１０によって、当該車両Ｖの前方に存在する白線（区画線）と路端の位置を認識する場合について具体的に説明する。走行路上の白線と路端とは関連性を有している（例えば、略平行である）ため、走行路上の白線と路端の双方の検出精度が低下したとしても、白線と路端の双方を検出対象とし且つその双方の関連性を利用することで、白線と路端の双方の検出精度の低下を補完できると考えられる。

前記走行路認識装置１０は、図２に示すように、左画像取得部１０１と、右画像取得部１０２と、距離画像生成部１０３と、線状部位方向抽出部１０４と、端部方向抽出部１０５と、特徴量統合部１０６と、走行路方向推定部１０７と、区画線位置検出部１０８と、路端位置検出部１０９と、を備えている。

左画像取得部１０１及び右画像取得部１０２はそれぞれ、ステレオカメラ装置１１の左カメラ１１ａ及び右カメラ１１ｂで撮像された左画像及び右画像を取得し、取得した左画像及び右画像を距離画像生成部１０３に送信すると共に、左画像及び右画像のうちの一方（図示例では、左画像）を線状部位方向抽出部１０４に送信する。なお、左画像取得部１０１及び右画像取得部１０２は、一時記憶領域であるＲＡＭから左カメラ１１ａ及び右カメラ１１ｂで撮像された左画像及び右画像を取得してもよい。

距離画像生成部１０３は、左画像取得部１０１及び右画像取得部１０２で取得した左画像及び右画像を使用して距離画像（視差画像）を生成し、生成した距離画像を端部方向抽出部１０５に送信する。具体的には、左画像取得部１０１及び右画像取得部１０２で取得した左画像及び右画像に基づいて、ブロックマッチング処理により視差（画像間での位置ずれ）を算出し、算出された視差に基づいて三次元的な距離情報（空間情報）を含む距離画像（視差画像）を生成する。

より詳細には、距離画像生成部１０３は、ブロックマッチング処理にて、一方の画像（例えば左画像）を、所定形状の第１ブロックにより複数の画素を含むように区切り、他方の画像（例えば右画像）を、第１ブロックと同じサイズ・形状・位置の第２ブロックで区切り、この第２ブロックを１画素ずつ横方向にずらして各位置で第１ブロック内及び第２ブロック内における２つの輝度パターンについての相関値を算出し、その相関値が最も低くなる、即ち、相関が最も高い位置を探索（対応点検索）する。なお、この相関値の算出方法としては、例えば、ＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross Correlation）、勾配法などを用いることができる。探索の結果、相関が最も高くなる位置を特定した場合には、第１ブロック内の特定の画素と特定された位置における第２ブロック内の特定の画素との間の距離を視差として算出し、これを１つのステップとして同様のステップを全画素について実行することにより、前記距離画像を生成することができる。

線状部位方向抽出部１０４は、左画像取得部１０１で取得した左画像を使用して、走行路上の区画線（白線）候補となり得る線状部位及びその線状部位の方向を抽出し、抽出した線状部位の方向を特徴量統合部１０６に送信する。具体的には、ハフ（Hough）変換等の直線算出処理により、左画像取得部１０１で取得された距離情報を含まない左画像から複数の線状部位を検出すると共に、検出された各線状部位が有する方向のうちで最も検出頻度の高い方向を各線状部位の方向として抽出する。

なお、この線状部位には、一方向へ向かって連続的に延びる所定長さの直線の他、連続的な所定長さの曲線も含まれる。前記線状部位方向抽出部１０４により抽出される線状部位の方向は、線状部位が一方向へ向かって延びる直線である場合にはその直線に平行な方向、線状部位が曲線である場合にはその曲線の接線（法線）の方向を意味している。

一方、端部方向抽出部１０５は、距離画像生成部１０３により生成した距離画像を使用して、走行路上の路端候補となり得る面領域の端部（面領域同士の境界であって、例えば、路面と歩道や縁石の側面との境界）及びその面領域の端部の方向を抽出し、抽出した面領域の端部の方向を特徴量統合部１０６に送信する。具体的には、距離画像生成部１０３により生成した距離画像に基づいて、縦方向及び横方向に隣接する複数の画素の距離値が所定の連続性を有する場合に、その複数の画素に対応する領域を面領域として検出すると共に、縦方向及び横方向に隣接する複数の画素の距離値が所定の連続性を有していない（すなわち、不連続である）場合には、面領域の端部（隣接する面領域同士の境界）として検出する。そして、検出された各面領域の端部が有する方向のうちで最も検出頻度の高い方向を各面領域の端部の方向として抽出する。

なお、この面領域には平面と曲面とが含まれると共に、端部方向抽出部１０５により抽出される面領域の端部には、直線状の端部と曲線状の端部とが含まれる。

特徴量統合部１０６は、白線の方向と端部の方向とが関連性を有している（例えば、略平行である）ことを前提として、線状部位方向抽出部１０４により抽出された方向（白線候補となり得る線状部位の方向）と端部方向抽出部１０５により抽出された方向（路端候補となり得る面領域の端部の方向）を統合し、その統合結果を走行路方向推定部１０７に送信する。走行路方向推定部１０７は、特徴量統合部１０６により統合された統合結果から自車周囲の走行路の方向を推定し、推定した方向を区画線位置検出部１０８及び路端位置検出部１０９に送信する。

具体的には、図３に示すように、特徴量統合部１０６は、線状部位方向抽出部１０４により抽出された線状部位の方向と端部方向抽出部１０５により抽出された面領域の端部の方向を足し合わせ、走行路方向推定部１０７は、足し合わされた方向のうち支配的な方向（例えば、出現頻度が最も高い方向）を自車周囲の走行路の方向として認識する。

ここで、特徴量統合部１０６による足し合わせの方法としては、線状部位方向抽出部１０４により抽出された方向と端部方向抽出部１０５により抽出された方向を単純に足し合わせてもよいし、線状部位方向抽出部１０４により抽出された方向と端部方向抽出部１０５により抽出された方向の信頼度に応じた重み付けを行って双方を足し合わせてもよい。

例えば、白線は画像上のエッジが大きく出るので、一般に信頼度が高いと考えられるため、端部方向抽出部１０５により抽出された方向よりも線状部位方向抽出部１０４により抽出された方向に重み付けをして双方を足し合わせてもよい。また、後述するように、カメラにより取得された画像を使用するよりもレーダ等の距離検出センサにより検出された距離情報から生成した距離画像を使用する方が信頼度が高いと考えられる場合には、線状部位方向抽出部１０４により抽出された方向よりも端部方向抽出部１０５により抽出された方向に重み付けをして双方を足し合わせてもよい。すなわち、画像に映る走行路の状況や、線状部位方向抽出や面領域端部方向抽出に用いる情報を取得する手段の特性などに応じて、信頼度に応じた重み付けを調整してもよい。また、過去に取得した情報（例えば、線状部位の方向や面領域の端部の方向に関する情報）から、線状部位方向抽出部１０４により抽出された方向と端部方向抽出部１０５により抽出された方向の重み付けを調整してもよい。このように、信頼度に応じた重み付けを行うことにより、例えば線状部位方向抽出部１０４により抽出された方向と端部方向抽出部１０５により抽出された方向を単純に足し合わせる場合と比較して、より精緻に走行路の方向を推定できると考えられる。

また、特徴量統合部１０６は、ノイズの発生を抑制するために、線状部位方向抽出部１０４により抽出された方向と端部方向抽出部１０５により抽出された方向から、所定範囲の方向（例えば車両の進行方向に対して±30度）を有する方向を抽出した上で、線状部位方向抽出部１０４により抽出された線状部位の方向と端部方向抽出部１０５により抽出された面領域の端部の方向を足し合わせてもよい。

なお、図３では、俯瞰変換を用いて生成した俯瞰画像から線状部位の方向や面領域の端部の方向を特定しているが、必ずしも俯瞰画像を生成する必要がないことは勿論である。

上記したように、走行路方向推定部１０７により走行路の方向が推定されると、区画線位置検出部１０８は、走行路方向推定部１０７の推定結果を使用して、走行路上の白線（区画線）の位置を検出し、検出した白線位置を走行支援制御装置１２に出力する。具体的には、左画像取得部１０１により取得した左画像から、走行路方向推定部１０７により推定された方向に近い領域のみを抽出し、その抽出した領域を検索して白線位置を検出する。

また、路端位置検出部１０９は、走行路方向推定部１０７の推定結果を使用して、走行路中の路端の位置を検出し、検出した路端位置を走行支援制御装置１２に出力する。具体的には、距離画像生成部１０３により生成した距離画像から、走行路方向推定部１０７により推定された方向に近い領域のみを抽出し、その抽出した領域を検索して路端を検出する。

そして、走行支援制御装置１２は、区画線位置検出部１０８により検出された白線位置と路端位置検出部１０９により検出された路端位置とに基づいて、車両の走行支援を実施する。具体的には、区画線位置検出部１０８により検出された白線位置、路端位置検出部１０９により検出された路端位置、自車の状態（位置、進行方向、速度、加速度など）に基づいて、自車が車線を逸脱する可能性があるか否か、歩道や縁石などの路端に近いか否かなどを判断する。そして、自車が車線を逸脱したり、歩道や縁石などの路端に近いと判断した場合には、当該車両Ｖのスピーカ１５を作動させてドライバーに警告（注意喚起）を行ったり、当該車両Ｖの走行を支援するためのアクセル制御量、ブレーキ制御量、ステアリング制御量を算出して、アクセル１３やブレーキ１４やステアリング１６などの制御を行う。

このように、本実施形態１の走行路認識装置１０では、ステレオカメラ装置１１（の左カメラ１１ａ）により取得された画像に含まれる線状部位の方向と、ステレオカメラ装置１１（の各カメラ１１ａ、１１ｂ）により取得された複数の画像に基づいて生成された距離画像に含まれる面領域の端部の方向とに基づいて走行路の方向を推定し、その走行路の方向に基づいて走行路の区画線位置や路端位置を検出することにより、車両周囲の走行路の方向を精緻に推定でき、精度の高い拘束条件を付与した状態で走行路上の白線や路端を検出できるため、例えば走行路上の白線と路端の双方の検知精度が低下した場合であっても、その白線や路端の位置を精緻に且つ安定して認識（推定）でき、もって誤報や誤制御の発生を抑制することができる。

［実施形態２］
図４は、本発明に係る走行路認識装置の実施形態２の内部構成を示したものである。本実施形態２の走行路認識装置１０Ａは、上記した実施形態１の走行路認識装置１０に対し、主に距離画像の生成方法が相違しており、その他の構成は実施形態１の走行路認識装置１０とほぼ同様である。したがって、以下では、実施形態１の走行路認識装置１０と同様の構成についてはその詳細な説明は省略する。

本実施形態２では、図４に示すように、車両に一台のカメラ（単眼カメラ）１１ａＡが搭載されており、走行路認識装置１０Ａは、例えば走行中などの状況下（すなわち、車両の位置が変化する状況下）においてカメラ１１ａＡで時系列的に取得した車両の前方の撮影対象領域の画像情報に基づいて走行路を認識するようになっている。

具体的には、走行路認識装置１０Ａは、画像取得部１０１Ａと、距離画像生成部１０３Ａと、線状部位方向抽出部１０４Ａと、端部方向抽出部１０５Ａと、特徴量統合部１０６Ａと、走行路方向推定部１０７Ａと、区画線位置検出部１０８Ａと、路端位置検出部１０９Ａと、を備えている。

画像取得部１０１Ａは、カメラ１１ａＡから撮像位置に関する位置情報を含む画像を取得し、取得した画像を距離画像生成部１０３Ａ及び線状部位方向抽出部１０４Ａに送信する。

距離画像生成部１０３Ａは、画像取得部１０１Ａで取得した位置情報を含む複数の画像を使用して距離画像（視差画像）を生成し、生成した距離画像を端部方向抽出部１０５Ａに送信する。なお、距離画像生成部１０３Ａによる距離画像の生成方法は、実施形態１の距離画像生成部１０３による距離画像の生成方法とほぼ同様である。

そして、上記した実施形態１と同様、線状部位方向抽出部１０４Ａは、画像取得部１０１Ａで取得した画像を使用して、走行路上の線状部位の方向を抽出し、端部方向抽出部１０５Ａは、距離画像生成部１０３Ａにより生成した距離画像を使用して、走行路上の面領域の端部の方向を抽出し、特徴量統合部１０６Ａ及び走行路方向推定部１０７Ａは、線状部位方向抽出部１０４Ａにより抽出された方向と端部方向抽出部１０５Ａにより抽出された方向とに基づいて走行路の方向を推定する。また、区画線位置検出部１０８Ａ及び路端位置検出部１０９Ａは、走行路方向推定部１０７Ａの推定結果を使用して、走行路上の白線（区画線）位置及び路端位置を検出する。

このように、本実施形態２の走行路認識装置１０Ａによれば、一台のカメラ１１ａＡのみを使用して、車両の前方に存在する走行路の方向や走行路上の白線（区画線）及び路端の位置を認識することにより、当該走行路認識装置１０Ａの装置構成を格段に簡素化することができる。

［実施形態３］
図５は、本発明に係る走行路認識装置の実施形態３の内部構成を示したものである。本実施形態３の走行路認識装置１０Ｂは、上記した実施形態１、２の走行路認識装置１０、１０Ａに対し、主に距離画像の生成方法が相違しており、その他の構成は実施形態１、２の走行路認識装置１０、１０Ａとほぼ同様である。したがって、以下では、実施形態１、２の走行路認識装置１０、１０Ａと同様の構成についてはその詳細な説明は省略する。

本実施形態３では、図５に示すように、車両に一台のカメラ１１ａＢが搭載されると共に、その車両のフロント部分などに距離検出部としてのレーダ１１ｂＢが搭載されており、走行路認識装置１０Ｂは、カメラ１１ａＢで時系列的に取得した車両の前方の撮影対象領域の画像情報とレーダ１１ｂＢで時系列的に取得した車両周囲の検知対象領域の距離情報とに基づいて走行路を認識するようになっている。

具体的には、走行路認識装置１０Ｂは、画像取得部１０１Ｂと、距離情報取得部１０２Ｂと、距離画像生成部１０３Ｂと、線状部位方向抽出部１０４Ｂと、端部方向抽出部１０５Ｂと、特徴量統合部１０６Ｂと、走行路方向推定部１０７Ｂと、区画線位置検出部１０８Ｂと、路端位置検出部１０９Ｂと、を備えている。

画像取得部１０１Ｂは、カメラ１１ａＢで撮像された画像（距離情報を含まない画像）を取得し、取得した画像を線状部位方向抽出部１０４Ｂに送信する。

一方、距離情報取得部１０２Ｂは、レーダ１１ｂＢで検出された距離情報を取得し、取得した車両周囲の距離情報を距離画像生成部１０３Ｂに送信する。

距離画像生成部１０３Ｂは、距離情報取得部１０２Ｂで取得した距離情報を使用して距離画像（視差画像）を生成し、生成した距離画像を端部方向抽出部１０５Ｂに送信する。

そして、上記した実施形態１、２と同様、線状部位方向抽出部１０４Ｂは、画像取得部１０１Ｂで取得した画像を使用して、走行路上の線状部位の方向を抽出し、端部方向抽出部１０５Ｂは、距離画像生成部１０３Ｂにより生成した距離画像を使用して、走行路上の面領域の端部の方向を抽出し、特徴量統合部１０６Ｂ及び走行路方向推定部１０７Ｂは、線状部位方向抽出部１０４Ｂにより抽出された方向と端部方向抽出部１０５Ｂにより抽出された方向とに基づいて走行路の方向を推定する。また、区画線位置検出部１０８Ｂ及び路端位置検出部１０９Ｂは、走行路方向推定部１０７Ｂの推定結果を使用して、走行路上の白線（区画線）位置及び路端位置を検出する。

一般に、レーダ１１ｂＢで検出される距離情報は、複数のカメラで撮像された複数の画像から得られる距離情報よりも精度が高いと考えられる。そのため、本実施形態の場合には、前記特徴量統合部１０６Ｂの統合処理において、線状部位方向抽出部１０４Ｂにより抽出された方向よりも端部方向抽出部１０５Ｂにより抽出された方向に重み付けをして双方を足し合わせ、その統合結果を用いて走行路の方向を推定することが考えられる。

このように、本実施形態３の走行路認識装置１０Ｂによれば、レーダ１１ｂＢから得られる情報から距離画像を生成して、車両の前方に存在する走行路の方向や走行路上の白線（区画線）及び路端の位置を認識することにより、例えば走行路上の白線と路端の双方の検知精度が低下した場合であっても、その白線や路端の位置をより精緻に且つ安定して認識（推定）することができる。

なお、上記した実施形態１〜３では、車両の前方に存在する走行路の方向や走行路上の区画線位置及び路端位置等を認識しているが、例えば、カメラ等を車両の後方や側方に向けて設置し、当該車両の後方や側方に存在する走行路の方向や走行路上の区画線位置及び路端位置等を認識してもよいことは勿論である。

なお、本発明は上記した実施形態１〜３に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態１〜３は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…走行支援システム、１０…走行路認識装置、１１…ステレオカメラ装置、１１ａ…左カメラ（撮像部）、１１ｂ…右カメラ（撮像部）、１２…走行支援制御装置、１０１…左画像取得部、１０２…右画像取得部、１０３…距離画像生成部、１０４…線状部位方向抽出部、１０５…端部方向抽出部、１０６…特徴量統合部、１０７…走行路方向推定部、１０８…区画線位置検出部、１０９…路端位置検出部

Claims

車両が走行する走行路を認識するための走行路認識装置であって、
前記車両に搭載された撮像部により取得された画像に含まれる線状部位の方向を抽出する線状部位方向抽出部と、
前記撮像部により取得された画像もしくは前記車両に搭載された距離検出部により検出された距離情報から三次元的な距離情報を含む距離画像を生成する距離画像生成部と、
前記距離画像生成部により生成された距離画像に含まれる面領域の端部の方向を抽出する端部方向抽出部と、
前記線状部位の方向と前記面領域の端部の方向とに基づいて前記走行路の方向を推定する走行路方向推定部と、を備え、
前記走行路方向推定部は、前記線状部位の方向及び前記面領域の端部の方向の信頼度に応じた重み付けを行って前記走行路の方向を推定することを特徴とする、走行路認識装置。
車両が走行する走行路を認識するための走行路認識装置であって、
前記車両に搭載された撮像部により取得された画像に含まれる線状部位の方向を抽出する線状部位方向抽出部と、
前記撮像部により取得された画像もしくは前記車両に搭載された距離検出部により検出された距離情報から三次元的な距離情報を含む距離画像を生成する距離画像生成部と、
前記距離画像生成部により生成された距離画像に含まれる面領域の端部の方向を抽出する端部方向抽出部と、
前記線状部位の方向と前記面領域の端部の方向とに基づいて前記走行路の方向を推定する走行路方向推定部と、
前記走行路の方向に基づいて前記走行路の区画線位置を検出する区画線位置検出部と、
前記走行路の方向に基づいて前記走行路の路端位置を検出する路端位置検出部と、を備えることを特徴とする、走行路認識装置。
前記走行路方向推定部は、前記線状部位の方向及び前記面領域の端部の方向の信頼度に応じた重み付けを行って前記走行路の方向を推定することを特徴とする、請求項２に記載の走行路認識装置。
前記走行路方向推定部は、前記線状部位と前記面領域の端部との関連性に基づいて前記走行路の方向を推定することを特徴とする、請求項１又は２に記載の走行路認識装置。
前記走行路方向推定部は、前記線状部位の方向及び前記面領域の端部の方向から、所定範囲の方向を有する線状部位の方向と面領域の端部の方向とを抽出して前記走行路の方向を推定することを特徴とする、請求項１又は２に記載の走行路認識装置。
前記撮像部が複数設けられており、
前記距離画像生成部は、前記複数の撮像部により同期して取得された複数の画像から前記距離画像を生成することを特徴とする、請求項１又は２に記載の走行路認識装置。
前記撮像部が一つ設けられており、
前記距離画像生成部は、前記一つの撮像部により時系列で取得された複数の画像から前記距離画像を生成することを特徴とする、請求項１又は２に記載の走行路認識装置。
前記距離画像生成部は、前記距離検出部により検出された距離情報から前記距離画像を生成することを特徴とする、請求項１又は２に記載の走行路認識装置。
請求項２又は３に記載の走行路認識装置と、該走行路認識装置により検出された前記区画線位置と前記路端位置とに基づいて前記車両の走行を支援する走行支援制御装置と、を備えることを特徴とする、走行支援システム。