JP5502448B2 - 路面形状認識装置 - Google Patents

Description

本発明は、路面形状認識装置に係り、特に、距離画像生成手段により得られた位置のデータに基づいて路面形状モデルを生成する路面形状認識装置に関する。

近年、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮像装置やレーザレーダ測距装置を車両に搭載し、撮像手段で撮像した画像の画像解析やレーザレーダ測距装置から発射された電波やレーザビームの反射光解析等により、それらの装置を搭載した車両が走行する路面形状を認識する路面形状認識装置の開発が進められている（例えば特許文献１、２等参照）。

特許文献１では、ステレオカメラからなる撮像装置で撮像された一対の画像のうち、一方の画像の各画素の輝度に基づいて画像中から自車両の側方の車線に対応する各画素を検出し、検出した車線に対応する各画素の位置のデータを、自車両前方に設定した各区間ごとに直線近似して、水平方向および垂直方向の路面形状のモデルを算出する技術が開示されている。なお、車線とは、追い越し禁止線や路側帯と車道とを区画する区画線等の路面上に標示された連続線や破線をいう。

また、特許文献２では、物体までの距離を計測して得られた位置のデータを３次元座標に投影し、それらの分布に基づいて路面を割り出す技術が開示されている。

特開２００１−９２９７０号公報 特開平１０−１４３６５９号公報

しかしながら、特許文献１に記載された技術では、路面上に車線が標示されている通常の道路では車線を検出し、それに基づいて路面形状を検出することができるが、未舗装道路や山道等の路面上に車線が標示されていない路面ではその形状を検出することができなかった。

また、特許文献２に記載された技術では、ステレオカメラ等を用いて検出された位置のデータが正確であることが必要であるが、ステレオカメラで撮像された一対の画像に対するステレオマッチング処理では、ミスマッチが生じるケースが必ずしも少なくない。そして、位置のデータにばらつきが生じるため、位置のデータの３次元分布から路面を割り出すことは必ずしも容易ではない。

また、特許文献２に記載された技術では、未舗装道路や山道等の路面のようにテクスチャが多い路面ではその有効性が期待できるが、通常の道路のように比較的テクスチャが少ない場合には、路面に対応する位置のデータのデータ点数が少なくなる。そして、他の立体物等が存在すると、路面に対応する少ない位置のデータが立体物に対応する位置のデータと混ざり合ってしまうため、路面形状を安定して検出できない虞れがあった。

本発明は、以上のような事情に鑑みてなされたものであり、実際の路面形状を的確に検出することが可能であり、路面上に車線が標示されている場合は勿論、車線が標示されていない場合でも路面形状を的確に検出することが可能な路面形状認識装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、路面形状認識装置において、
自車両が走行する路面について実空間上の水平位置、高さおよび距離を含む位置のデータを互いに異なる複数の地点で検出して、前記各位置のデータを二次元平面上に表した距離画像を生成する距離画像生成手段と、
前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
を備え、
前記近似直線算出手段は、前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットについて、前記代表距離に基づいて、前記全てのプロットを、前記自車両に近い側の群と遠い側の群とに分割し、２つの前記群の境界部分の前記プロットを一方の前記群から他方の前記群に移し替えるごとに、前記群ごとに前記各プロットを近似する近似直線をそれぞれ算出し、
前記路面形状モデル生成手段は、前記プロットを移し替えた前記群ごとに、それぞれの前記近似直線に基づく統計値を算出し、算出した前記２つの群の前記各近似直線に基づく統計値に基づいて、前記２つの群の前記近似直線の組み合わせの中から１つを選択し、選択した前記近似直線の組み合わせを用いて前記路面形状モデルを生成することを特徴とする。

第２の発明は、第１の発明の路面形状認識装置において、
前記近似直線算出手段は、最小二乗法により、前記群ごとに前記各プロットをそれぞれ近似する前記近似直線を算出し、
前記路面形状モデル生成手段は、前記近似直線に基づく統計値として、前記各群に属する前記各プロットの前記近似直線に対する分散または標準偏差を前記群ごとに算出し、算出した前記２つの群の前記各近似直線に基づく統計値の合計値が最小となる前記近似直線の組み合わせを選択することを特徴とする。

第３の発明は、第２の発明の路面形状認識装置において、前記近似直線算出手段は、前記代表距離をｚ、前記距離画像における前記水平ラインの位置をｊと表し、移し替えられる前記境界部分の前記プロットにおける前記代表距離をｚａ、前記水平ラインの位置をｊａと表し、前記各群ごとの総和をΣを用いて表す場合、当該境界部分の前記プロットを一方の前記群から他方の前記群に移し替えるごとに、前記一方の群におけるΣｚ、Σｊ、Σｚ ^２ 、Σｚｊからそれぞれｚａ、ｊａ、ｚａ ^２ 、ｚａｊａを減算し、前記他方の群におけるΣｚ、Σｊ、Σｚ ^２ 、Σｚｊにそれぞれｚａ、ｊａ、ｚａ ^２ 、ｚａｊａを加算して、前記最小二乗法により、前記群ごとに前記プロットを近似する前記近似直線をそれぞれ算出することを特徴とする。

第４の発明は、第１から第３のいずれかの発明の路面形状認識装置において、前記路面形状モデル生成手段は、前記選択した前記２つの群の前記各近似直線の交点部分を、前記各近似直線を接線とする緩和曲線で置換して、生成した前記路面形状モデルを補正することを特徴とする。

第５の発明は、路面形状認識装置において、
自車両が走行する路面について実空間上の水平位置、高さおよび距離を含む位置のデータを互いに異なる複数の地点で検出して、前記各位置のデータを二次元平面上に表した距離画像を生成する距離画像生成手段と、
前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択する処理手段と、
を備えることを特徴とする。

第６の発明は、路面形状認識装置において、
自車両が走行する路面について実空間上の水平位置、高さおよび距離を含む位置のデータを互いに異なる複数の地点で検出して、前記各位置のデータを二次元平面上に表した距離画像を生成する距離画像生成手段と、
前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、両方の前記路面形状モデルを重み付け平均して路面形状モデルを生成する処理手段と、
を備えることを特徴とする。

第７の発明は、第５または第６の発明の路面形状認識装置において、前記処理手段は、前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとを、前記各路面形状モデルを検出する際に用いられたデータの点数、前記データが検出された範囲、過去のサンプリング周期において生成された前記各路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の各位置と前記各路面形状モデルの位置との差、または、前記各路面形状モデルを構成する前記各近似直線に対する前記データの分散または標準偏差のうちの少なくとも１つに基づいてそれぞれ評価することを特徴とする。

第８の発明は、路面形状認識装置において、
自車両が走行する路面について実空間上の水平位置、高さおよび距離を含む位置のデータを互いに異なる複数の地点で検出して、前記各位置のデータを二次元平面上に表した距離画像を生成する距離画像生成手段と、
前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
を備え、
前記代表距離検出手段は、前記ヒストグラムの度数の最頻値が属する階級の階級値を前記ヒストグラムにおける統計値とすることを特徴とする。

第９の発明は、路面形状認識装置において、
自車両が走行する路面について実空間上の水平位置、高さおよび距離を含む位置のデータを互いに異なる複数の地点で検出して、前記各位置のデータを二次元平面上に表した距離画像を生成する距離画像生成手段と、
前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
を備え、
前記代表距離検出手段は、前記距離画像生成手段が生成した前記距離画像に対して処理を行う前記水平ラインを上方にシフトさせながら下側の前記水平ラインから順に処理を行い、
前記評価手段は、
前記仮想平面上に後にプロットされた前記代表距離が、先にプロットされた前記代表距離よりも遠方側にない場合には、当該後のプロットは前記先のプロットと連続性を有しないと評価して、当該後のプロットを前記仮想平面上から除外し、
前記プロットを除外する処理を連続して行った前記水平ラインが所定の本数に達した場合には、前記先のプロットを除外することを特徴とする。

第１０の発明は、第１から第９のいずれかの発明の路面形状認識装置において、前記代表距離検出手段は、前記距離画像の各水平ライン上に存在する前記位置のデータのうち、過去のサンプリング周期において生成された前記路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の位置から所定の範囲内に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする。

第１１の発明は、第１から第１０のいずれかの発明の路面形状認識装置において、前記代表距離検出手段は、前記距離画像中に自車両の挙動から推定される自車両の進行路を含む所定の範囲を設定し、前記所定の範囲内の前記各水平ライン上に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする。

第１２の発明は、第１から第１１のいずれかの発明の路面形状認識装置において、
前記距離画像上に車線を検出する車線検出手段を備え、
前記代表距離検出手段は、前記距離画像の各水平ラインのうち、前記車線検出手段により検出された前記車線に基づいて所定の範囲を設定し、前記所定の範囲内の前記各水平ライン上に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする。

第１３の発明は、第１から第１２のいずれかの発明の路面形状認識装置において、前記路面形状モデル生成手段は、前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対してハフ変換を行い、２本の前記近似直線を算出して前記路面形状モデルを少なくとも前記仮想平面上の形状として生成することを特徴とする。

第１、第５、第６、第８および第９の発明によれば、距離画像の各水平ライン上の各画素の距離のデータを水平ラインごとのヒストグラムに投票して、その統計値を各水平ラインごとの代表距離として検出し、代表距離を各水平ラインごとに仮想平面上にプロットし、連続性を有しないプロットは除外し、仮想平面上に残存している全てのプロットに対して近似直線を算出して、最も適切な近似直線の組み合わせを選択して路面形状モデルを生成する。そのため、例えば後述する図２に示すような、未舗装道路や山道等の路面上に車線が標示されていない路面でも、その形状を的確かつ安定的に検出することが可能となる。

また、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、そのようなデータの各水平ライン上での出現頻度が正常な値の出現頻度より小さいため、そのようなデータは、距離画像の各水平ライン上の各画素の距離のデータの各ヒストグラムへの投票処理において振るい落とされる。また、仮にそのようなデータが代表距離として採用されたとしても、それに対応するプロットが連続性を有しない場合にはプロットが除外される。そのため、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、その路面形状を的確かつ安定的に検出することが可能となる。

さらに、車線等が標示されている路面では、例えば後述する図１６に例示する車線や道路面上に標示された矢印等の標示のエッジ部分に比較的多数の距離のデータが有効に検出されるため、それに基づいて路面形状を的確かつ安定的に検出することが可能となる。

第１の発明によれば、さらに、実際の道路設計においては、道路の仮想平面上の形状は２本の直線により構成されるが、群の境界を可変させながら２本の近似直線の適切な組み合わせを探索することで、その実際の道路設計に即して、路面形状モデルを２本の近似直線の組み合わせで的確かつ高速に生成することが可能となり、路面形状を的確に認識することが可能となる。また、近似直線に基づく統計値に基づいて２つの群の近似直線の組み合わせの中から選択した近似直線の組み合わせを用いて路面形状モデルを生成することで、生成された路面形状モデルの信頼性をより向上させることが可能となり、前記発明の効果がより的確に発揮される。

第２の発明によれば、第１の発明において、最小二乗法により群ごとに各プロットをそれぞれ近似する近似直線を算出し、近似直線に基づく統計値を各群に属する各プロットの近似直線に対する分散または標準偏差の合計値として算出することで、近似直線の組み合わせを的確かつ容易に選択することが可能となり、前記第１の発明の効果をより的確に発揮させることが可能となる。

第３の発明によれば、第２の発明において、最小二乗法を用いて近似直線を算出する際に、各群の境界部分の距離データＤａを一方の群から他方の群に移し替えるごとに、距離データＤａに対応するｚａ等を、一方の群における各総和Σｚ等から減算し、他方の群における各総和Σｚ等に加算するだけで近似直線の各式を算出することが可能となるため、近似直線の算出を容易かつ高速に行うことが可能となり、前記第２の発明の効果をより的確に発揮させることが可能となる。

第４の発明によれば、実際の道路設計においては、道路の仮想平面上の形状は２本の直線と緩和曲線により構成されるが、その実際の道路設計に即して、路面形状モデルを２本の近似直線の組み合わせと緩和曲線との組み合わせで的確に生成することが可能となり、路面形状を的確に認識することが可能となる。そのため、前記各発明の効果をより的確に発揮させることが可能となる。

第５の発明によれば、上記の路面形状モデル生成手段とは別に、車線検出手段で、撮像された画像上に検出した車線の情報に基づいて路面形状モデルを生成し、処理手段で、路面形状モデル生成手段が生成した路面形状モデルと、車線検出手段が生成した路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択するように構成することで、より的確で信頼性が高い路面形状モデルを選択して、路面上に車線が標示されている場合は勿論、車線が標示されていない未舗装道路や山道等の路面においても実際の路面形状を的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第６の発明によれば、上記の路面形状モデル生成手段とは別に、車線検出手段で、撮像された画像上に検出した車線の情報に基づいて路面形状モデルを生成し、処理手段で、路面形状モデル生成手段が生成した路面形状モデルと、車線検出手段が生成した路面形状モデルとをそれぞれ評価して、それらの評価に応じて両方の路面形状モデルを重み付け平均して新たに路面形状モデルを生成するように構成することで、新たに生成された路面形状モデルにより、路面上に車線が標示されている場合は勿論、車線が標示されていない未舗装道路や山道等の路面においても実際の路面形状を的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第７の発明によれば、前記２つの前記路面形状モデルを、各路面形状モデルを検出する際に用いられたデータの点数やデータが検出された範囲、過去のサンプリング周期において生成された各路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の各位置と各路面形状モデルの位置との差、各路面形状モデルを構成する各近似直線に対するデータの分散または標準偏差の少なくとも１つに基づいてそれぞれ評価することで、より信頼性が高い路面形状モデルを選択したり、評価に応じて両方の路面形状モデルを重み付け平均して新たに路面形状モデルを生成することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第８の発明によれば、ヒストグラムの度数の最頻値が属する階級の階級値をヒストグラムにおける統計値とすることで、当該水平ライン上で最も高い頻度で出現する距離の階級値を当該水平ラインの代表距離として検出し、それに基づいて路面形状モデルを的確に生成することが可能となる。

第９の発明によれば、路面形状では、距離画像の下側の水平ラインでは上側の水平ラインより自車両に近い側の代表距離が検出されるはずである。従って、距離画像の下側の水平ラインから順に代表距離検出手段における処理を行うことで、それらを仮想平面上にプロットした場合、後にプロットされたプロットの代表距離が、先にプロットされたプロットの代表距離よりも遠方側にない場合には、当該後のプロットが先のプロットと連続性を有しないと容易かつ的確に評価することが可能となる。

そのため、このような場合に当該後のプロットを仮想平面上から除外するように構成することで、路面形状としてふさわしくないプロットを的確に除外して路面形状モデルを生成することが可能となり、前記各発明の効果がより的確に発揮されるとともに、生成された路面形状モデルの信頼性をより向上させることが可能となる。

そして、第９の発明においては後のプロットを除外したが、もともと先のプロットが異常な代表距離に基づいてプロットされたものであれば、その後の正常なプロットが次々と除外されてしまい不都合である。そのため、プロットを除外する処理を連続して行った水平ラインが所定の本数に達した場合に当該先のプロットを除外するように構成することで、異常な先のプロットを除外して後の正常なプロットを路面形状モデル生成の対象とすることが可能となり、前記第９の発明の効果をより的確に発揮させることが可能となる。

第１０の発明によれば、過去のサンプリング周期において生成された路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の位置から所定の範囲内に存在する距離のデータのみをヒストグラムに投票する対象とすることで、前記各発明の効果が的確に発揮されるとともに、路面形状モデルをサンプリング周期ごとに安定的に生成することが可能となる。

第１１の発明によれば、前記各発明の効果に加え、各水平ライン上に存在する位置のデータの探索範囲を、路面が存在する可能性が高い自車両の進行路を含む所定の範囲に限定することで、処理の高速化を図ることが可能となるとともに、進行路外の立体物等の影響を受けずに路面形状モデルを生成することが可能となり、路面形状モデルを安定的に生成することが可能となる。

第１２の発明によれば、前記各発明の効果に加え、装置が車線検出手段を備える場合には、各水平ライン上に存在する位置のデータの探索範囲を、路面が存在する可能性が高い車線を含む所定の範囲に限定することで、処理の高速化を図ることが可能となるとともに、進行路外の立体物等の影響を受けずに路面形状モデルを生成することが可能となり、路面形状モデルを安定的に生成することが可能となる。

第１３の発明によれば、近似直線の組み合わせは、評価手段により除外されずに仮想平面上に残存している全てのプロットに対するハフ変換によっても得ることが可能である。そのため、ハフ変換により２本の近似直線を算出して路面形状モデルを生成することで、容易かつ的確に近似直線の組み合わせを選択して路面形状モデルを生成することが可能となり、前記各発明の効果を的確に発揮させることが可能となる。

第１の実施形態に係る路面形状認識装置の構成を示すブロック図である。 撮像手段で撮像される基準画像の例を示す図である。 ステレオマッチングの原理を説明する図である。 作成された距離画像の例を示す図である。 処理部における各処理の手順を示すフローチャートである。 処理部における各処理の手順を示すフローチャートである。 距離画像中に設定される所定の範囲および水平ラインごとに作成されるヒストグラム等を説明する図である。 仮想平面（ｚ−ｊ平面）上にプロットされた代表距離の例を説明する図である。 先にプロットされた代表距離よりも遠方側にないプロットの例を説明する図である。 異常な先のプロットにより除外される後のプロットの例を説明する図である。 図１０のプロットにおいて後のプロットを除外する処理を連続して行った場合に先のプロットが除外されることを説明する図である。 （Ａ）仮想平面上に残存している各プロットの例を説明する図であり、（Ｂ）（Ａ）において代表距離が２番目に遠いプロットと３番目に遠いプロットの間に設定された境界等を説明する図である。 境界部分のプロットを移し替えて境界を代表距離が３番目に遠いプロットと４番目に遠いプロットの間に設定した状態を説明する図である。 選択された近似直線の組み合わせや境界、交点等を表す図である。 各近似直線を接線とする緩和曲線である円弧を表す図である。 車線等が撮像された基準画像の例を示す図である。 図７においてヒストグラムの度数に２個のピーク値が現れた状態を説明する図である。 第２の実施形態に係る路面形状認識装置の構成を示すブロック図である。 水平ラインや探索領域、探索開始点、探索終了点等を説明する図である。 水平ライン上を探索して得られる各画素の輝度を表すグラフである。 基準画像上に検出された車線候補点を表す図である。 ハフ変換処理の結果、抽出される直線を表す図である。 図２２の各直線の中から車線にふさわしい直線として選択された直線を表す図である。 自車両に近い側に確定された直線を表す図である。 基準画像上に検出された左右の車線を表す図である。 車線検出手段で生成された路面モデルの例を示す図であり、（Ａ）は水平形状モデル、（Ｂ）は道路高モデルすなわち路面形状モデルを表す。

以下、本発明に係る路面形状認識装置の実施の形態について、図面を参照して説明する。

［第１の実施の形態］
本発明の第１の実施形態に係る路面形状認識装置１は、図１に示すように、撮像手段２や距離画像生成手段６、代表距離検出手段１０や評価手段１１、近似直線算出手段１２、路面形状モデル生成手段１３等を有する処理部９等を備えて構成されている。

なお、距離画像生成手段６等を含む処理部９の上流側の構成については、本願出願人により先に提出された前記特許文献１等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。

本実施形態では、撮像手段２は、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた運転者側のメインカメラ２ａと助手席側のサブカメラ２ｂとからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。

なお、以下では、メインカメラ２ａで撮像される図２に示すような一方の画像を基準画像Ｔ、サブカメラ２ｂで撮像される図示しない画像を比較画像Ｔｃという。また、以下では、基準画像Ｔを対象として近似直線算出手段１２等における処理を行う場合について説明するが、比較画像Ｔｃを対象として行ったり、両方の画像Ｔ、Ｔｃをそれぞれ処理するように構成することも可能である。

また、本実施形態では、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂでは、それぞれモノクロの画像データが取得されるようになっているが、ＲＧＢ値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。

メインカメラ２ａ等で基準画像Ｔ等を撮像する場合、例えば図２に示すように、基準画像Ｔ等の各水平ラインＪの最も左側の画素から撮像を開始し、その後、順に右方向に走査していく。また、走査する水平ラインＪを最も下側のラインから順に上方に切り替えながら撮像するようにして、各画素ごとに撮像された順に基準画像Ｔ等の各画素の輝度の画像データがそれぞれ変換手段３に順次送信されるようになっている。

変換手段３は、一対のＡ／Ｄコンバータ３ａ、３ｂで構成されており、撮像手段２のメインカメラ２ａやサブカメラ２ｂで撮像された基準画像Ｔ等の画素ごとの各画像データをそれぞれ例えば２５６階調のグレースケールの輝度としてのデジタル値の画像データに順次変換して画像補正部４に出力するようになっている。

また、画像補正部４では、各画像データに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、各画像データを画像データメモリ５に順次格納するとともに、処理部９に順次送信するようになっている。また、画像補正部４は、画像補正した基準画像Ｔと比較画像Ｔｃの各画像データを距離画像生成手段６にも順次送信するようになっている。

距離画像生成手段６は、イメージプロセッサ７を備えており、自車両が走行する路面について実空間上の水平位置ｘ、高さｙおよび距離ｚを含む位置のデータを互いに異なる複数の地点で検出し、また、各位置のデータを二次元平面上に表した距離画像Ｔｚを生成するようになっている。

距離画像生成手段６のイメージプロセッサ７では、基準画像Ｔと比較画像Ｔｃの各画像データに対して順次ステレオマッチングやフィルタリング処理を施して、基準画像Ｔの画素ごとに視差ｄｐを順次算出するようになっている。

イメージプロセッサ７で行われるステレオマッチングでは、図３に示すように、基準画像Ｔを例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックＰＢに分割する。そして、１つの基準画素ブロックＰＢに対して、比較画像Ｔｃ中の当該基準画素ブロックＰＢと同じＪ座標のエピポーララインＥＰＬ上の各比較画素ブロックＰＢｃを探索し、各比較画素ブロックＰＢｃについて、
ＳＡＤ＝Σ｜ｐ１st−ｐ２st｜ …（１）
を算出し、ＳＡＤ値が最小の比較画素ブロックＰＢｃを特定する。

なお、（１）式においてｐ１stは基準画素ブロックＰＢ内の各画素の輝度を表し、ｐ２stは比較画素ブロックＰＢｃ内の各画素の輝度を表す。また、上記の総和は、基準画素ブロックＰＢや比較画素ブロックＰＢｃが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について計算される。

そして、ステレオマッチングでは、基準画素ブロックＰＢの基準画像Ｔ上の位置と、当該基準画素ブロックＰＢについて特定した比較画素ブロックＰＢｃの比較画像Ｔｃ上の位置から基準画像Ｔの画素ごとに視差ｄｐが順次算出されるようになっている。

なお、実空間上において上記の一対のカメラ２ａ、２ｂの中央真下の路面上の点を原点とし、自車両の車幅方向（すなわち水平方向）をＸ軸方向、車高方向（すなわち高さ方向）をＹ軸方向、車長方向（すなわち距離方向）をＺ軸方向とした場合、実空間上の水平位置ｘ、高さｙおよび距離ｚを含む位置のデータ（ｘ，ｙ，ｚ）と、基準画像Ｔ上の画素の座標（Ｉ，Ｊ）および視差ｄｐとは、下記（２）〜（４）式で表される三角測量の原理に基づく座標変換により１対１に対応付けることができる。
ｘ＝ＣＤ／２＋ｚ×ＰＷ×（Ｉ−ＩＶ） …（２）
ｙ＝ＣＨ＋ｚ×ＰＷ×（Ｊ−ＪＶ） …（３）
ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）

上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の基準画像Ｔ上のＩ座標およびＪ座標、ＤＰは消失点視差を表す。

また、フィルタリング処理では、イメージプロセッサ７は、基準画像Ｔの基準画素ブロックと比較画像Ｔｃの画素ブロックとの輝度パターンの類似性の度合いが低い場合には、算出した視差ｄｐを無効と出力するようになっている。

そのため、本実施形態では、距離画像生成手段６は、このようにして基準画像Ｔの各画素に対して算出された視差ｄｐのうち、イメージプロセッサ７が有効として算出した視差ｄｐのみを上記（４）式に従って換算し、算出された実空間上の距離ｚを基準画像Ｔの対応する各画素（Ｉ，Ｊ）に割り当てて、図４に示すように、各位置のデータを二次元平面上に表した距離画像Ｔｚを生成するようになっている。

なお、前述したように、ステレオマッチングでは、基準画像Ｔ上の例えば３×３画素の基準画素ブロックＰＢに１つの視差ｄｐが割り当てられるため、上記のように、基準画像Ｔ上では３×３画素の９画素に同じ視差ｄｐが割り当てられる。

また、以下の処理では、基準画像Ｔ上の例えば３×３画素の１つの基準画素ブロックＰＢを、距離画像Ｔｚの１画素と見なすようにして、距離画像Ｔｚを生成することとする。

その場合、距離画像Ｔｚの各画素の座標（ｉ，ｊ）と基準画像Ｔの各画素の座標（Ｉ，Ｊ）とは異なるものとなるが、距離画像Ｔｚの各画素の座標（ｉ，ｊ）および視差ｄｐと、実空間上の水平位置ｘ、高さｙおよび距離ｚとを、上記（２）〜（４）式と同様の下記（５）〜（７）式に従って１対１に対応付けることができる。
ｘ＝ＣＤ／２＋ｚ×ＰＷ×（ｉ−ＩＶ） …（５）
ｙ＝ＣＨ＋ｚ×ＰＷ×（ｊ−ＪＶ） …（６）
ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（７）

この場合、上記のＣＤやＰＷ、ＣＨ、ＩＶ、ＪＶ、ＤＰの意味合いは上記（２）〜（４）式の場合と同様であるが、距離画像Ｔｚ用に各数値が置換されている。そして、上記（５）〜（７）式により、距離画像Ｔｚの各画素の座標（ｉ，ｊ）および視差ｄｐと、実空間上の水平位置ｘ、高さｙおよび距離ｚとが１対１に対応付けられる。

また、本実施形態のように、基準画像Ｔの各画素に実空間上の距離ｚを割り当てて距離画像Ｔｚを生成する代わりに、基準画像Ｔの各画素に有効な視差ｄｐを割り当てて距離画像Ｔｚを生成するように構成することも可能である。

距離画像生成手段６は、このようにして生成した距離画像Ｔｚを距離データメモリ８に順次格納させるとともに、処理部９に順次送信するようになっている。

なお、本実施形態では、上記のように、距離画像生成手段６が、メインカメラ２ａとサブカメラ２ｂで撮像された基準画像Ｔおよび比較画像Ｔｃに対するステレオマッチング等により算出した実空間上の距離ｚや視差ｄｐに基づいて距離画像Ｔｚを生成するように構成されている場合について説明するが、これに限定されない。

すなわち、距離画像生成手段６は、自車両が走行する路面について実空間上の水平位置ｘ、高さｙおよび距離ｚを含む位置のデータを互いに異なる複数の地点で検出することが可能であり、それらの各位置のデータを二次元平面上に表して距離画像Ｔｚを生成することが可能であればよい。例えば前述したレーザレーダ測距装置のように、自車両前方にレーザビームを照射してその反射光の情報に基づいて自車両が走行する路面についての位置のデータを複数の地点で検出することができるものであればよく、検出の手法は特定の手法に限定されない。

処理部９は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部９は、代表距離検出手段１０や評価手段１１、近似直線算出手段１２、路面形状モデル生成手段１３を備え、また、図示しないメモリを備えている。

なお、処理部９において先行車両等の物体を検出する物体検出等の他の処理を行うように構成することも可能である。また、処理部９には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されており、車速やヨーレート、舵角等の測定値が随時入力されるようになっている。

以下、処理部９における各処理について、図５および図６のフローチャートに従って説明するとともに、本実施形態に係る路面形状認識装置１の作用について説明する。

代表距離検出手段１０は、本実施形態では、まず、距離画像Ｔｚ中に、自車両の挙動すなわち自車両の車速やヨーレート等から自車両が今後進行すると推定される自車両の進行路を算出し、図７に示すように、距離画像Ｔｚ上に、算出した進行路を含む所定の範囲Ｒを設定するようになっている（ステップＳ１）。なお、この所定の範囲Ｒの設定は必ずしも行われなくてもよい。

そして、代表距離検出手段１０は、続いて、距離画像Ｔｚの各水平ラインｊ上に存在する実空間上の距離ｚのデータを、水平ラインｊごとに作成されたヒストグラムＨｊに投票するようになっている（ステップＳ２）。その際、本実施形態では、代表距離検出手段１０は、上記の所定範囲Ｒ内の水平ラインｊ上に存在する距離ｚのデータのみをヒストグラムＨｊに投票するようになっている。自車両の進行路を含む所定の範囲Ｒ以外の実空間上の距離ｚのデータは路面形状の検出には必ずしも必要がなく、処理の範囲を限定することで処理の高速化を図るためである。

また、本実施形態では、代表距離検出手段１０は、上記の各水平ラインｊ上に存在する位置のデータ、すなわち位置のデータ中の距離ｚを水平ラインｊごとに仮想平面上にプロットした場合のプロット（ｚ，ｊ）が、過去のサンプリング周期において生成された後述する路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の位置から所定の範囲内に存在するような距離ｚのデータのみを、それぞれヒストグラムＨｊに投票するようになっている。過去の路面形状モデル等から推定される路面の位置から遠く離れて存在する位置のデータは、路面形状の検出の対象としてふさわしくないためである。

また、上記のように、本実施形態では、基準画像Ｔの最も下側の水平ラインｊから順に画像データが撮像手段２から送信され、距離画像生成手段６により生成された距離画像Ｔｚの実空間上の距離ｚのデータも最も下側の水平ラインｊから順に入力される。そのため、代表距離検出手段１０も、距離画像Ｔｚの下側の水平ラインｊから順に実空間上の距離ｚのデータをヒストグラムＨｊに投票し、下側の水平ラインｊでの投票が終了すると、その直ぐ上側の水平ラインｊ＋１の実空間上の距離ｚのデータをヒストグラムＨｊ＋１に投票するようにして、各水平ラインｊごとに実空間上の距離ｚのデータを各ヒストグラムＨｊにそれぞれ投票する。

本実施形態では、代表距離検出手段１０は、このようにして、距離画像生成手段６が生成した距離画像Ｔｚに対して処理を行う水平ラインｊを上方にシフトさせながら下側の水平ラインｊから順に処理を行うようになっている。

代表距離検出手段１０は、このようにして当該水平ラインｊの所定の範囲Ｒ内に存在する実空間上の距離ｚのデータのヒストグラムＨｊへの投票を完了すると、当該水平ラインｊのヒストグラムＨｊにおける統計値を算出し、その統計値を当該水平ラインｊの代表距離ｚｊとして検出するようになっている（ステップＳ３）。

本実施形態では、代表距離検出手段１０は、図７に示したように、ヒストグラムＨｊの度数Ｆの最頻値が属する階級の階級値ｚｊをヒストグラムＨｊにおける統計値とするようになっており、代表距離検出手段１０は、この度数Ｆの最頻値が属する階級の階級値ｚｊを当該水平ラインｊの代表距離ｚｊとして検出するようになっている。

また、代表距離検出手段１０は、図８に示すように、検出した水平ラインｊの代表距離ｚｊを水平ラインｊごとに仮想平面（以下ｚ−ｊ平面という。）上にプロットするようになっている（ステップＳ４）。

また、上記のように、本実施形態では、代表距離検出手段１０は、処理を行う水平ラインｊを上方にシフトさせながら、代表距離ｚｊのｚ−ｊ平面上へのプロット処理を水平ラインｊごとに行うようになっている。

評価手段１１は、代表距離検出手段１０が行ったｚ−ｊ平面上への代表距離ｚのプロットの連続性を水平ラインｊごとに評価するようになっており（ステップＳ５）、連続性を有しない（ステップＳ５；ＮＯ）と評価したプロットをｚ−ｊ平面上から除外するようになっている（ステップＳ６）。前述したように、ステレオマッチング処理ではミスマッチが生じるケースが少なくなく、プロットが路面に対応するような連続性を有しない場合には当該プロットを路面形状の検出の対象としてふさわしくないためである。

本実施形態では、評価手段１１は、ｚ−ｊ平面上に後からプロットされた代表距離ｚｊnewが、先にプロットされた代表距離ｚｊoldよりも遠方側にない場合には、当該後のプロットを先のプロットとの連続性を有しないと評価して、当該後のプロットをｚ−ｊ平面上から除外するようになっている。

具体的には、図９に示すように、後でプロットされた代表距離ｚｊnewが、先にプロットされた代表距離ｚｊoldよりも近傍側に存在することになったり、先にプロットされた代表距離ｚｊoldと同じ実空間上の距離ｚｊoldに存在するのは路面形状としては異常である。そのため、評価手段１１は、このような場合には、当該後のプロット（ｚｊnew，ｊnew）を先のプロット（ｚｊold，ｊold）との連続性を有しないと評価して、当該後のプロット（ｚｊnew，ｊnew）をｚ−ｊ平面上から除外するようになっている（ステップＳ６）。

一方、図１０に示すように、例えば、最初の水平ラインｊ（ｊ＝０）でミスマッチが多数発生する等して代表距離検出手段１０で異常な代表距離ｚ０が検出されると、それ以降の水平ラインｊで正常な代表距離ｚｊが検出されても、上記の原則に従った場合、それらの正常な代表距離ｚｊを有するプロットが全て除外されてしまい、代表距離ｚ０より遠方側の代表距離ｚｊ^＊を有するプロット（ｚｊ^＊，ｊ^＊）が出現した時点でようやくｚ−ｊ平面上へのプロットが再開される状態となる。

また、このような状態では、図１０を見ても分かるように、例えば、プロット（ｚ０，０）とプロット（ｚｊ^＊，ｊ^＊）とのＺ軸方向に対する傾きと、プロット（ｚｊ^＊，ｊ^＊）とそれ以降の各プロットとのＺ軸方向に対する傾き連続性とが同様の傾きであるとは言い難く、路面形状を表すものとしてのプロットの連続性が確保されているとは言い難い。

そこで、本実施形態では、評価手段１１は、このような場合、すなわち、連続性を有しないと評価してプロットを除外する処理を連続して行った水平ラインｊが例えば４本等に設定される所定の本数に達した場合には（ステップＳ７；ＹＥＳ）、先のプロットを除外するように構成されている（ステップＳ８）。

そのため、例えば図１０に示したような状況になった場合、評価手段１１は、図１１に示すように、ｚ−ｊ平面上に水平ラインｊ（ｊ＝０）に対応するプロット（ｚ０，０）をプロットした後、連続性を有しないと評価して水平ラインｊ（ｊ＝１）、ｊ（ｊ＝２）、ｊ（ｊ＝３）、ｊ（ｊ＝４）に対応する各プロット（ｚ１，１）、（ｚ２，２）、（ｚ３，３）、（ｚ４，４）を除外する処理を連続して行った場合には、水平ラインｊ（ｊ＝０）に対応するプロット（ｚ０，０）の方が異常なプロットであるとして、ｚ−ｊ平面上からプロット（ｚ０，０）を除外する。そして、評価手段１１は、この場合、水平ラインｊ（ｊ＝５）に対応するプロット（ｚ５，５）からｚ−ｊ平面上へのプロットが再開させるようになっている。

近似直線算出手段１２は、評価手段１１により除外されずにｚ−ｊ平面（仮想平面）上に残存している全てのプロット（ｚｊ，ｊ）に対して近似直線を算出するようになっている。上記のように、評価手段１１で除外されたプロット（ｚｊ，ｊ）もあるため、以下では、プロットの座標を単に（ｚ，ｊ）で表し、上記の代表距離ｚｊを単に代表距離ｚと表す。

以下、まず、近似直線算出手段１２における処理の概要について説明する。

本実施形態では、近似直線算出手段１２は、評価手段１１により除外されずにｚ−ｊ平面上に残存している全てのプロット（ｚ，ｊ）について、その代表距離ｚに基づいて、全てのプロットを、自車両に近い側の群Ｇ_１と遠い側の群Ｇ_２とに分割するようになっている。そして、２つの群Ｇ_１、Ｇ_２の境界部分のプロットを一方の群から他方の群に移し替えるごとに、各群Ｇ_１、Ｇ_２に属する各プロットを近似する近似直線Ｌ_１、Ｌ_２をそれぞれ群Ｇ_１、Ｇ_２ごとに算出するようになっている。

また、本実施形態では、近似直線算出手段１２は、最小二乗法を用いて、群Ｇ_１、Ｇ_２ごとに、各群Ｇ_１、Ｇ_２に属する各プロットをそれぞれ近似する近似直線Ｌ_１、Ｌ_２を算出するようになっている。

なお、各プロット（ｚ，ｊ）を、
ｊ＝ａ×ｚ＋ｂ …（８）
の形で表される近似直線で近似する場合、周知のように、最小二乗法では、ａ、ｂは、
ａ＝（ｎΣｚｊ−Σｚ・Σｊ）／｛ｎΣｚ^２−（Σｚ）^２｝…（９）
ｂ＝（Σｚ^２・Σｊ−Σｚｊ・Σｚ）／｛ｎΣｚ^２−（Σｚ）^２｝…（１０）
の形で算出される。なお、上記（９）、（１０）式中のｎは各群中のプロットの数を表し、総和Σは各群中の全プロットについて行う。

本実施形態では、近似直線算出手段１２における群Ｇ_１、Ｇ_２の分割および近似直線Ｌ_１、Ｌ_２の算出は、以下のようにして行われるようになっている。

評価手段１１により除外されなかった各プロットが、例えば図１２（Ａ）に示すようにｚ−ｊ平面上に残存しているものとする。また、その際、上記（９）、（１０）式の演算に必要なΣｚ、Σｊ、Σｚ^２、Σｚｊは既に全プロットについて算出されているものとする。

近似直線算出手段１２は、まず、図１２（Ｂ）に示すように、残存している全てのプロットＤのうち、代表距離ｚが２番目に遠いプロットＤ_ｎ−１と３番目に遠いプロットＤ_ｎ−２の間に境界ＤＬを設定して、全てのプロットＤを、代表距離ｚが最も近いプロットＤ_１から３番目に遠いプロットＤ_ｎ−２までのｎ−２個のプロットＤからなる自車両（ｚ＝０）に近い側の群Ｇ_１と、代表距離ｚが２番目に遠いプロットＤ_ｎ−１と最も遠いプロットＤ_ｎの２つのプロットＤからなる自車両（ｚ＝０）から遠い側の群Ｇ_２に分割する。

そして、群Ｇ_１、Ｇ_２ごとに、各群Ｇ_１、Ｇ_２に属する複数のプロットＤを近似する近似直線Ｌ_１、Ｌ_２をそれぞれ算出する。すなわち、群Ｇ_１では、プロットＤ_１〜Ｄ_ｎ−２のｎ−２個のプロットＤに対して直線近似を行い、群Ｇ_２では、プロットＤ_ｎ−１、Ｄ_ｎの２つのプロットＤに対して直線近似を行って、それぞれ近似直線Ｌ_１、Ｌ_２を算出する。

その際、群Ｇ_１に属する各プロットＤ_１〜Ｄ_ｎ−２については、既に算出されているΣｚ、Σｊ、Σｚ^２、Σｚｊから群Ｇ_２のプロットＤ_ｎ−１、Ｄ_ｎのｚ、ｊ、ｚ^２、ｚｊをそれぞれ減算し、それらの値を上記（９）、（１０）式に代入してａ、ｂを算出し、それらを上記（８）式に代入して近似直線Ｌ_１の式ｊ＝ａ_１×ｚ＋ｂ_１を算出する。

また、群Ｇ_２に属する各プロットＤ_ｎ−１、Ｄ_ｎについては、各プロットＤ_ｎ−１、Ｄ_ｎについてそれぞれ算出したｚ、ｊ、ｚ^２、ｚｊを加算し、すなわちΣｚ、Σｊ、Σｚ^２、Σｚｊを算出し、それらの値を上記（９）、（１０）式に代入してａ、ｂを算出し、それらを上記（８）式に代入して近似直線Ｌ_２の式ｊ＝ａ_２×ｚ＋ｂ_２を算出する。

続いて、境界ＤＬ部分のプロットＤ_ｎ−２を群Ｇ_１から群Ｇ_２に移し替えて、群Ｇ_１と群Ｇ_２とを分割する境界ＤＬの位置を図１３に示すように手前側すなわち自車両（ｚ＝０）側に１つ分移動させる。すなわち、境界ＤＬを、代表距離ｚが３番目に遠いプロットＤ_ｎ−２と４番目に遠いプロットＤ_ｎ−３の間に設定する。

そして、上記のようにして算出した群Ｇ_１に属する各プロットＤ_１〜Ｄ_ｎ−２についての各総和Σｚ、Σｊ、Σｚ^２、Σｚｊから、移し替えられるプロットＤ_ｎ−２に対応するｚ_ｎ−２、ｊ_ｎ−２、ｚ_ｎ−２ ^２、ｚ_ｎ−２ｊ_ｎ−２をそれぞれ減算して、群Ｇ_１に属する各プロットＤ_１〜Ｄ_ｎ−３についての各総和Σｚ、Σｊ、Σｚ^２、Σｚｊを算出する。

また、群Ｇ_２については、上記のようにして算出した群Ｇ_２に属する各プロットＤ_ｎ−１、Ｄ_ｎについての各総和Σｚ、Σｊ、Σｚ^２、Σｚｊに、移し替えられるプロットＤ_ｎ−２に対応するｚ_ｎ−２、ｊ_ｎ−２、ｚ_ｎ−２ ^２、ｚ_ｎ−２ｊ_ｎ−２を加算して、群Ｇ_２に属する各プロットＤ_ｎ−２〜Ｄ_ｎについての各総和Σｚ、Σｊ、Σｚ^２、Σｚｊを算出する。

そして、上記と同様にして群Ｇ_１に属する各プロットＤ_１〜Ｄ_ｎ−３について近似直線Ｌ_１の式ｊ＝ａ_１×ｚ＋ｂ_１を算出し、群Ｇ_２に属する各プロットＤ_ｎ−２〜Ｄ_ｎについて近似直線Ｌ_２の式ｊ＝ａ_２×ｚ＋ｂ_２を算出する。

本実施形態では、近似直線算出手段１２は、このようにして評価手段１１により除外されずにｚ−ｊ平面（仮想平面）上に残存している全てのプロットＤについて、代表距離ｚに基づいて全てのプロットＤを自車両に近い側の群Ｇ_１と遠い側の群Ｇ_２とに分割し、２つの群Ｇ_１、Ｇ_２の境界ＤＬ部分のプロットＤａを一方の群Ｇ_１から他方の群Ｇ_２に移し替えるごとに、プロットＤａ（ｘａ，ｊａ）から算出されるｚａ、ｊａ、ｚａ^２、ｚａｊａを、群Ｇ_１における各総和Σｚ、Σｊ、Σｚ^２、Σｚｊからは減算し、群Ｇ_２における各総和Σｚ、Σｊ、Σｚ^２、Σｚｊには加算して、群Ｇ_１、Ｇ_２ごとに各プロットを近似する近似直線Ｌ_１、Ｌ_２をそれぞれ算出するようになっている。

このように構成すれば、各群Ｇ_１、Ｇ_２における各総和Σｚ、Σｊ、Σｚ^２、Σｚｊをそれぞれ容易かつ高速に算出して、群Ｇ_１、Ｇ_２ごとに各プロットを近似する近似直線Ｌ_１、Ｌ_２をそれぞれ容易かつ高速に算出することが可能となる。

なお、上記の構成例では、群Ｇ_１と群Ｇ_２を分割する境界ＤＬの位置を自車両から最も遠い側に設定し、境界ＤＬの位置を自車両に近づく方向に移動させながら近似直線Ｌ_１、Ｌ_２の算出処理を行う場合について説明したが、その逆に、境界ＤＬの位置を自車両から最も近い側、すなわち代表距離ｚが２番目に近いプロットＤ_２と３番目に近いプロットＤ_３の間に設定し、境界ＤＬの位置を自車両から遠ざかる方向に移動させながら近似直線Ｌ_１、Ｌ_２の算出処理を行うように構成することも可能である。

その場合も、境界部分のプロットＤａを群Ｇ_２から群Ｇ_１に移し替えるごとに、プロットＤａに対応するｚａ、ｊａ、ｚａ^２、ｚａｊａを、群Ｇ_１における各総和Σｚ、Σｊ、Σｚ^２、Σｚｊに加算し、群Ｇ_２における各総和Σｚ、Σｊ、Σｚ^２、Σｚｊから減算するだけで、各群Ｇ_１、Ｇ_２における各総和Σｚ、Σｊ、Σｚ^２、Σｚｊをそれぞれ容易かつ高速に算出することが可能となる。

そこで、図５のフローチャートに示すように、近似直線算出手段１２は、まず、上記（９）、（１０）式の演算に必要なΣｚ、Σｊ、Σｚ^２、Σｚｊを算出するために、ｚ−ｊ平面上に対するプロットが評価手段１１により連続性を有すると評価され除外されずにプロットされるごとに（ステップＳ５；ＹＥＳ）、それまでに算出されているΣｚ、Σｊ、Σｚ^２、Σｚｊに、今回のプロット（ｚ，ｊ）から算出されるｚ、ｊ、ｚ^２、ｚｊをそれぞれ加算していく（ステップＳ９）。

また、ｚ−ｊ平面上に対するプロットが、評価手段１１により連続性を有しないと評価されて除外されると（ステップＳ８）、近似直線算出手段１２は、それまでにΣｚ、Σｊ、Σｚ^２、Σｚｊが算出されていれば、それらのΣｚ、Σｊ、Σｚ^２、Σｚｊから、今回のプロット（ｚ，ｊ）から算出されるｚ、ｊ、ｚ^２、ｚｊをそれぞれ減算する（ステップＳ１０）。

代表距離検出手段１０や評価手段１１、近似直線算出手段１２は、以上の処理を、距離画像生成手段６から距離画像Ｔｚの各水平ラインｊごとの距離ｚのデータが送信されてくるごとに行い、全ての水平ラインｊについて処理を終了していなければ（ステップＳ１１；ＮＯ）、次の水平ラインｊ＋１（すなわち本実施形態では水平ラインｊの直ぐ上側の水平ラインｊ＋１）に対して上記の処理を繰り返すようになっている。

なお、本実施形態では、上記のように、距離画像Ｔｚ上に所定の範囲Ｒ（図７参照）を設定して（ステップＳ１）、所定の範囲Ｒの距離ｚのデータについて処理を行うため、ステップＳ１１の判断処理における全ての水平ラインｊとは所定の範囲Ｒが存在する水平ラインｊを指す。

一方、全ての水平ラインｊについて処理を終了すると（ステップＳ１１；ＹＥＳ）、近似直線算出手段１２は、上記のようにして、ｚ−ｊ平面（仮想平面）上に残存している全てのプロットＤのうち、まず、代表距離ｚが２番目に遠いプロットＤ_ｎ−１と３番目に遠いプロットＤ_ｎ−２の間に境界ＤＬを設定して全てのプロットＤを自車両に近い側の群Ｇ_１と遠い側の群Ｇ_２とに分割して（図６のステップＳ１２）、群Ｇ_１、Ｇ_２ごとに各プロットを近似する近似直線Ｌ_１、Ｌ_２をそれぞれ算出して、群Ｇ_１、Ｇ_２を分割する境界ＤＬの位置と群Ｇ_１、Ｇ_２ごとの近似直線Ｌ_１、Ｌ_２のａ_１、ｂ_１、ａ_２、ｂ_２等の情報とを対応付けてメモリに保存するようになっている（ステップＳ１３）。

また、路面形状モデル生成手段１３は、近似直線算出手段１２がプロットＤを移し替えて群Ｇ_１、Ｇ_２ごとに算出した近似直線Ｌ_１、Ｌ_２に基づいてそれぞれ統計値を算出してメモリに保存するようになっている（ステップＳ１４）。

本実施形態では、路面形状モデル生成手段１３は、近似直線Ｌ_１、Ｌ_２に基づく統計値として、各群Ｇ_１、Ｇ_２に属する各プロットＤの近似直線Ｌ_１、Ｌ_２に対する分散σ_１ ^２、σ_２ ^２を下記（１１）、（１２）式に従ってそれぞれ算出するようになっている。
σ_１ ^２＝Σ｛（ａ_１×ｚ＋ｂ_１）−ｊ｝^２／ｎ_１ …（１１）
σ_２ ^２＝Σ｛（ａ_２×ｚ＋ｂ_２）−ｊ｝^２／ｎ_２ …（１２）

なお、ｎ_１、ｎ_２はそれぞれ群Ｇ_１、Ｇ_２に属する各プロットＤの数を表す。また、統計値として、分散σ^２の代わりに、各群Ｇ_１、Ｇ_２に属する各プロットＤの標準偏差を群Ｇ_１、Ｇ_２ごとに算出するように構成することも可能である。

そして、２つの群Ｇ_１、Ｇ_２の境界ＤＬ部分のプロットＤａの自車両に近い側の群Ｇ_１から遠い側の群Ｇ_２への移し替えが全て終了していなければ（ステップＳ１５；ＮＯ）、境界ＤＬ部分のプロットＤａを群Ｇ_１から群Ｇ_２に移し替えて（ステップＳ１６）、上記のステップＳ１３、Ｓ１４の処理を繰り返す。

また、２つの群Ｇ_１、Ｇ_２の境界ＤＬ部分のプロットＤａの自車両に近い側の群Ｇ_１から遠い側の群Ｇ_２への移し替えが全て終了すると（ステップＳ１５；ＹＥＳ）、路面形状モデル生成手段１３は、近似直線Ｌ_１、Ｌ_２の組み合わせのうち、各近似直線Ｌ_１、Ｌ_２の組み合わせごとに算出した統計値に基づいて、例えばσ_１ ^２、σ_２ ^２の合計値が最小となる近似直線Ｌ_１、Ｌ_２の組み合わせを選択する等して、２つの群Ｇ_１、Ｇ_２の近似直線Ｌ_１、Ｌ_２の組み合わせの中から１つの組み合わせを選択する（ステップＳ１７）。

そして、路面形状モデル生成手段１３は、選択した近似直線Ｌ_１、Ｌ_２の組み合わせを用いて路面形状モデルをｚ−ｊ平面（仮想平面）上の形状として生成するようになっている（ステップＳ１８）。

例えば、図１２（Ａ）に示したようにｚ−ｊ平面上に行われたプロットＤの場合、路面形状モデル生成手段１３は、図１４に示すような近似直線Ｌ_１、Ｌ_２の組み合わせを選択して、ｚ−ｊ平面（仮想平面）上の形状として路面形状モデルを生成する。すなわち、この場合、自車両（ｚ＝０）から境界ＤＬまでの範囲では近似直線Ｌ_１、境界ＤＬよりも遠方の範囲では近似直線Ｌ_２をモデルとする路面形状モデルが生成される。

また、本実施形態では、路面形状モデル生成手段１３は、さらに、図１４のように選択した２つの群Ｇ_１、Ｇ_２の各近似直線Ｌ_１、Ｌ_２の交点Ｃの部分を、各近似直線Ｌ_１、Ｌ_２を接線とする緩和曲線で置換して、生成した路面形状モデルＬ_１、Ｌ_２を補正するようになっている。

本実施形態では、緩和曲線として、図１５に示すような円弧Ｒａが用いられるようになっている。また、緩和曲線として、二次曲線等を用いるように構成することも可能である。そして、緩和曲線として円弧Ｒａを用いる場合、その曲率半径ｒを、予め設定された固定値としてもよく、また、近似直線Ｌ_１、Ｌ_２の傾きａ_１、ａ_２の差分等に依存して変化するように構成してもよい。さらに、曲率半径ｒを種々変化させ、プロットされた各プロットＤの円弧Ｒａに対する分散等に基づいて最適な曲率半径ｒを算出するように構成することも可能である。

路面形状モデル生成手段１３は、以上のようにして算出した路面形状モデル、すなわち選択した近似直線Ｌ_１、Ｌ_２のａ_１、ｂ_１、ａ_２、ｂ_２等の情報や境界ＤＬの位置の情報、また、必要に応じて上記の各手段が算出等した結果を、メモリに保存するとともに、外部装置に出力するようになっている。

なお、図２に示した例では、自車両の前方に上り坂や平坦な路面が存在する場合について説明したが、自車両の前方に下り坂が存在する場合にも同様にして処理が行われる。そして、そのような場合でも、的確に境界ＤＬが設定され、自車両に近い側の群Ｇ_１と遠い側の群Ｇ_２について、それぞれ的確に近似直線Ｌ_１、Ｌ_２を選択して路面形状モデルを生成することが可能となる。

以上のように、本実施形態に係る路面形状認識装置１によれば、距離画像Ｔｚの各水平ラインｊ上の各画素の距離ｚのデータを水平ラインｊごとのヒストグラムＨｊに投票して、その統計値を各水平ラインｊごとの代表距離ｚｊとして検出し、水平ラインｊごとに代表距離ｚｊをｚ−ｊ平面（仮想平面）上にプロットし、連続性を有しないプロットは除外し、ｚ−ｊ平面上に残存している全てのプロット（ｚ，ｊ）に対して近似直線Ｌ_１、Ｌ_２を算出して、最も適切な近似直線Ｌ_１、Ｌ_２の組み合わせを選択して路面形状モデルを生成する。

そのため、本実施形態に係る路面形状認識装置１では、例えば図２に示したような、未舗装道路や山道等の路面上に車線が標示されていない路面でも、その形状を的確かつ安定的に検出することが可能となる。

また、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、そのようなデータの各水平ラインｊ上での出現頻度は正常な値の出現頻度より小さいため、そのようなデータは、距離画像Ｔｚの各水平ラインｊ上の各画素の距離ｚのデータの各ヒストグラムＨｊへの投票処理において振るい落とされる。また、仮にそのようなデータが代表距離ｚｊとして採用されたとしても、それに対応するプロットが連続性を有しない場合にはプロットが除外される。

そのため、本実施形態に係る路面形状認識装置１では、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、その路面形状を的確かつ安定的に検出することが可能となる。

さらに、車線等が標示されている路面では、例えば図１６に例示する車線や道路面上に標示された矢印等の標示のエッジ部分に比較的多数の距離ｚのデータが有効に検出されるため、それに基づいて路面形状を的確かつ安定的に検出することが可能となる。

このように、本実施形態に係る路面形状認識装置１によれば、実際の路面形状を的確に検出することが可能であり、路面上に車線が標示されている場合は勿論、車線が標示されていない場合でも路面形状を的確に検出することが可能となる。

なお、本実施形態では、距離画像Ｔｚ中に設定する所定の範囲Ｒ（図７参照）として、自車両の進行路を含む所定の範囲Ｒを設定する場合について説明したが、例えば図１６に示したように、基準画像Ｔ中に車線が撮像されるようなシーンでは、上記のように、図示しない距離画像Ｔｚ中の車線等のエッジ部分に比較的多数の距離ｚのデータが有効に検出される。

そのため、例えば後述する第２の実施形態のように、基準画像Ｔや距離画像Ｔｚ上に車線を検出する車線検出手段を設けておき、距離画像Ｔｚ中に設定する所定の範囲Ｒを、車線検出手段が検出した車線に基づき、例えばそれらの車線を含む所定の範囲に設定するように構成することも可能である。

また、本実施形態では、図７に示したように、代表距離検出手段１０において、ヒストグラムＨｊの度数Ｆの最頻値が属する階級の階級値ｚｊを当該水平ラインｊの代表距離ｚｊとして検出する場合について説明したが、例えば図１７に示すように、ヒストグラムＨｊの度数Ｆにおける例えば２個等の所定個数のピーク値がそれぞれ属する階級の各階級値ｚｊ１、ｚｊ２をヒストグラムＨｊにおける統計値とし、各階級値ｚｊ１、ｚｊ２をそれぞれ当該水平ラインｊの代表距離ｚｊ１、ｚｊ２として検出するように構成することも可能である。

また、ヒストグラムＨｊの度数Ｆの最頻値やピーク値に対して予め閾値を設けておき、最頻値やピーク値が閾値以上の場合にのみ、最頻値やピーク値が属する階級の階級値を当該水平ラインｊの代表距離ｚｊとして検出するように構成することも可能である。

さらに、本実施形態では、近似直線算出手段１２で評価手段１１により除外されずにｚ−ｊ平面（仮想平面）上に残存している全てのプロットＤに対して境界ＤＬを設定し、その境界ＤＬを移動させながら自車両に近い側の群Ｇ_１と遠い側の群Ｇ_２についてそれぞれ近似直線Ｌ_１、Ｌ_２を算出し、路面形状モデル生成手段１３で最適な近似直線Ｌ_１、Ｌ_２の組み合わせを選択して路面形状モデルを生成する場合について説明した。

しかし、路面形状モデルの生成のさせ方は、これに限定されず、例えば、路面形状モデル生成手段１３が、プロット（ｚｊ，ｊ）が評価手段１１により除外されずにｚ−ｊ平面上にプロットされるごとに、当該プロットの座標（ｚｊ，ｊ）を図示しないハフ平面に投票してハフ変換を行い、その結果から適切な２本の直線を選択することで２本の近似直線Ｌ_１、Ｌ_２を算出して前述した路面形状モデルを生成するように構成することも可能である。

［第２の実施の形態］
自車両が走行する路面の形状は、例えば図１６に示したようなカメラ等の撮像手段で撮像した画像Ｔ中から車線を検出し、検出した車線に基づいて路面形状モデルを生成するようにして認識することも可能である。本発明の第２の実施形態では、第１の実施形態に係る路面形状認識装置１の機能のほかに、さらに、上記のように画像Ｔ中に検出した車線に基づいて路面形状モデルを生成する機能を備えた路面形状認識装置２０について説明する。

なお、以下では、前述した路面形状モデル生成手段１３により生成された路面形状モデルを第１の路面形状モデルといい、後述する車線検出手段１４により画像Ｔ中に検出した車線に基づいて生成された路面形状モデルを第２の路面形状モデルという。また、第１の実施形態で説明したように、代表距離検出手段１０から近似直線算出手段１２までの処理に基づいて路面形状モデル生成手段１３で生成された路面形状モデルを第１の路面形状モデルという。

図１８に示すように、第２の実施形態に係る路面形状認識装置２０においても、撮像手段２や距離画像生成手段６、代表距離検出手段１０や評価手段１１、近似直線算出手段１２、路面形状モデル生成手段１３が設けられており、これらの構成は第１の実施形態に係る路面形状認識装置１の場合と同様である。

本実施形態では、処理部９に、さらに、車線検出手段１４と処理手段１５とが設けられており、車線検出手段１４は、代表距離検出手段１０や路面形状モデル生成手段１３等とは独立して、それらの処理と同時並行で車線検出等を行うようになっている。

車線検出手段１４は、本実施形態では、自車両の前方を撮像した基準画像Ｔ上に車線を検出するようになっている。なお、以下では、基準画像Ｔ上に車線を検出する場合について説明するが、比較画像Ｔｃ上に車線を検出するように構成することも可能である。また、車線検出手段１４における車線検出処理の構成は、本願出願人により先に提出された特開２００６−３３１３８９号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。

車線検出手段１４は、撮像手段２から画像データメモリ５等を介して基準画像Ｔの水平ラインＪの画像データが送信されてくると、当該水平ラインＪ上を探索して、互いに隣接する画素の輝度ｐの差Δｐが所定の閾値Δｐth１以上である画素であって、道路面の位置にある画素を車線候補点ｃｒ、ｃｌとして検出するようになっている。そして、この車線候補点ｃｒ、ｃｌの検出処理を、探索する水平ラインＪを本実施形態では基準画像Ｔの上方向にシフトさせながら行い、検出した車線候補点ｃｒ、ｃｌをつなぎ合わせて、今回のサンプリング周期で撮像された基準画像Ｔ上に車線ＬＲ、ＬＬを検出するようになっている。

なお、本実施形態では、前述したように、撮像手段２から、撮像した基準画像Ｔの各画素の輝度ｐのデータが、１画素幅の水平ラインＪごとに、かつ、下方の水平ラインＪから順に送信されてくるため、車線検出手段１４は上記のように探索する水平ラインＪを基準画像Ｔの上方向にシフトさせながら車線候補点ｃｒ、ｃｌの検出処理を行うように構成されている。

具体的には、車線検出手段１４は、本実施形態では、まず、前回のサンプリング周期で検出した右側の車線ＬＲlastと左側の車線ＬＬlastの基準画像Ｔ上での位置を、センサ類Ｑから送信されてくる自車両の車速Ｖやヨーレートγ等から算出される前回のサンプリング周期から今回のサンプリング周期までの間の自車両の挙動に基づいて修正して、今回のサンプリング周期における基準画像Ｔ上での車線の各位置を推定する。

そして、例えば図１９に示すように、推定した今回のサンプリング周期での基準画像Ｔ上での車線の各位置を基準として、その左右方向に実空間上でそれぞれ所定距離離れた範囲を、各水平ラインＪ上で車線候補点ｃｒ、ｃｌを探索する探索領域Ｓｒ、Ｓｌとしてそれぞれ自車両の左右に設定するようになっている。

そして、図１９に示すように、撮像手段２から、撮像した基準画像Ｔのうち１画素幅の水平ラインＪの各画素の輝度ｐが入力されてくると、本実施形態では、車線検出手段１４は、まず、右側の探索領域Ｓｒにおける水平ラインＪ上を領域Ｓｒの左端の探索開始点isrから右方向に右端の探索終了点ierまで探索する。そして、図２０に示すように、ある画素の輝度ｐとそれに隣接する画素の輝度ｐとの差（すなわちエッジ強度）Δｐが予め設定された所定の閾値Δｐth１以上となり輝度ｐが大きく変化する画素を車線候補点ｃｒとして検出するようになっている。

車線検出手段１４は、水平ラインＪ上における右側の探索領域Ｓｒでの探索を終了すると、続いて、同じ水平ラインＪ上における左側の探索領域Ｓｌでの探索を領域Ｓｌの右端の探索開始点islから左方向に左端の探索終了点ielまで探索して、上記と同様にして、車線候補点ｃｌを検出するようになっている。

車線検出手段１４は、撮像手段２から、撮像した基準画像Ｔの１画素幅の水平ラインＪの各画素の輝度ｐが入力されてくるごとに、上記の処理を繰り返し、探索する水平ラインＪを本実施形態では基準画像Ｔの上方向にシフトさせながら車線候補点ｃｒ、ｃｌを検出するようになっている。

このようにして検出された車線候補点ｃｒ、ｃｌを基準画像Ｔ上にプロットすると、図２１に示すように、右側の車線付近の領域Ａと左側の車線付近の領域Ｂにそれぞれ車線候補点ｃｒ、ｃｌがプロットされる。なお、図２１や以下の各図では、右側と左側の車線候補点ｃｒ、ｃｌがそれぞれ十数点しか検出されないように記載されているが、実際には、通常、非常に多くの車線候補点ｃｒ、ｃｌが検出される。

また、本実施形態では、車線検出手段１４は、例えば右側の車線に対応する車線候補点ｃｒを検出するごとに、検出した車線候補点ｃｒの座標（Ｉ，Ｊ）を図示しないハフ平面に投票するようになっており、上記のように各水平ラインＪでの車線候補点ｃｒの検出が終了すると、ハフ平面への投票結果に基づいてハフ変換処理を行って、右側の車線にふさわしい直線を抽出するようになっている。

左側の車線に対応する車線候補点ｃｌについても同様にハフ変換処理を行うと、図２１に示した結果から、例えば図２２に示すように、右側の車線に対応する直線として直線ｒ１、ｒ２が、また、左側の車線に対応する直線として直線ｌ１、ｌ２がそれぞれ抽出される。そこで、車線検出手段１４は、自車両の進行方向との平行度や左右の直線の平行度等の種々の条件を参酌して、図２３に示すように、右側および左側の車線にふさわしい直線として直線ｒ１、ｌ１をそれぞれ選択するようになっている。

そして、車線検出手段１４は、自車両に近い側では、図２４に示すように、選択した直線ｒ１、ｌ１の手前側の部分を車線にふさわしい直線として確定し、それより遠方の車線については、下側の車線候補点ｃｒ、ｃｌからのＩ軸方向およびＪ軸方向の各変位が所定範囲内にある車線候補点ｃｒ、ｃｌをそれぞれ追跡しながらつなぎ合わせていくことで、図２５に示すように、基準画像Ｔ上に車線ＬＲ、ＬＬをそれぞれ検出するようになっている。

車線検出手段１４は、このようにして検出した車線ＬＲ、ＬＬの情報、車線ＬＲ、ＬＬ検出の基となった車線候補点ｃｒ、ｃｌの各座標等をそれぞれメモリに保存するようになっている。

また、車線検出手段１４は、このようにして検出した左右の車線ＬＲ、ＬＬの情報に基づいて、実空間上における車線の三次元的なモデルを形成して路面形状モデル（すなわち第２の路面形状モデル）を生成するようになっている。

本実施形態では、車線検出手段１４は、例えば図２６（Ａ）、（Ｂ）に示すように、検出した車線ＬＬ、ＬＲを所定区間ごとに三次元の近似直線で近似し、それらを折れ線状に連結して表現して路面モデルを形成するようになっている。なお、図２６（Ａ）では車線ＬＲ、ＬＬを自車両前方の７つの区間でそれぞれ近似直線で近似し、図２６（Ｂ）では車線ＬＲ、ＬＬを自車両前方の２つの区間に分割してそれぞれ近似直線で近似する場合が示されているが、これに限定されない。

本実施形態では、各所定区間ごとの直線式を、下記（１３）、（１４）式で表され図２６（Ａ）に示される仮想平面（すなわちＺ−Ｘ平面）上の路面モデルである水平形状モデルと、下記（１５）、（１６）式で表され図２６（Ｂ）に示される仮想平面（すなわちＺ−Ｙ平面）上の路面モデルである道路高モデルで表すようになっている。なお、検出された路面モデルの情報はメモリに保存される。

［水平形状モデル］
左車線ＬＬ ｘ＝ａ_Ｌ・ｚ＋ｂ_Ｌ …（１３）
右車線ＬＲ ｘ＝ａ_Ｒ・ｚ＋ｂ_Ｒ …（１４）
［道路高モデル］
左車線ＬＬ ｙ＝ｃ_Ｌ・ｚ＋ｄ_Ｌ …（１５）
右車線ＬＲ ｙ＝ｃ_Ｒ・ｚ＋ｄ_Ｒ …（１６）

なお、図２６（Ｂ）では、右車線ＬＲの場合が代表して示されているが、左車線ＬＬについても同様に道路高モデルが生成されるようになっており、本実施形態では、第２の路面形状モデルは、左右の車線ＬＲ、ＬＬの道路高モデルの各距離Ｚでの平均値として算出されるようになっている。

また、図２６（Ｂ）に示した道路高モデル（第２の路面形状モデル）において自車両前方の２つの区間に分割する境界Ｚ０は、第１の実施形態において示した境界ＤＬと、その実空間上の距離ｚが必ずしも同じになるように設定される必要はなく、また、境界Ｚ０の位置は固定の位置でもよく、或いはサンプリング周期ごとに位置が可変されるように構成されていてもよい。

処理手段１５は、代表距離検出手段１０から近似直線算出手段１２までの処理に基づいて路面形状モデル生成手段１３で生成された第１の路面形状モデルと、車線検出手段１４により生成された第２の路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択して、必要に応じて外部装置に出力するようになっている。なお、上記のように第１の路面形状モデルはｚ−ｊ平面上のモデルであり、第２の路面形状モデルはＺ−Ｙ平面上のモデルであるため、評価においては、例えば上記（６）式に従ってｊをｙに適宜変換し、或いはｙをｊに適宜変換して評価が行われる。

本実施形態では、処理手段１５は、下記の各観点を総合的に評価して、第１および第２の路面形状モデルのいずれかを選択するようになっている。

（１）各路面形状モデルを検出する際に用いられたデータの点数。
第１の路面形状モデルにおけるデータの点数とは、評価手段１１により除外されずにｚ−ｊ平面（仮想平面）上に残存しているプロット（ｚｊ，ｊ）の数である。また、第２の路面形状モデルにおけるデータの点数とは、車線ＬＲ、ＬＬの検出に用いられた車線候補点ｃｒ、ｃｌ、すなわち検出された車線ＬＲ、ＬＬ上またはその所定の近傍範囲内に存在する車線候補点ｃｒ、ｃｌの数である。

なお、プロット（ｚｊ，ｊ）は距離画像Ｔｚの各水平ラインｊ上に最大でも１つ検出されるのに対し、車線候補点ｃｒ、ｃｌは基準画像Ｔの各水平ラインＪ上に左右に２つずつ検出される可能性があるため、プロット（ｚｊ，ｊ）の数や車線候補点ｃｒ、ｃｌの数を比較できる形に変換して比較される。また、データの点数が多いほど、評価が高くなる。

（２）データが検出された範囲。
すなわち、評価手段１１により除外されずにｚ−ｊ平面（仮想平面）上に残存しているプロット（ｚｊ，ｊ）や、検出された車線ＬＲ、ＬＬ上またはその所定の近傍範囲内に存在する車線候補点ｃｒ、ｃｌが、自車両前方のどの距離からどの距離までの間に検出されているかに関する観点である。データが検出された範囲が大きいほど、評価が高くなる。

（３）過去のサンプリング周期において生成された各路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の各位置と、各路面形状モデルの位置との差。
この場合は、サンプリング周期ごとの位置のずれが小さいほど、路面形状モデルが安定的に生成されているとして評価が高くなる。

（４）各路面形状モデルを構成する各近似直線に対するデータの分散または標準偏差。
第１の実施形態で説明したように、境界ＤＬで区分される２つの２つの群Ｇ_１、Ｇ_２の各近似直線Ｌ_１、Ｌ_２に対するデータ（すなわちプロット）の分散σ_１ ^２、σ_２ ^２は上記（１１）、（１２）式で算出されている。また、標準偏差を用いる場合には、標準偏差は各分散σ^２の平方根として算出することができる。

また、車線検出手段１４は、検出した車線ＬＬ、ＬＲを近似した上記（１５）、（１６）式で表される近似直線に対する検出された各データ（すなわち車線候補点ｃｒ、ｃｌ）の分散σ^２または標準偏差を、上記（１１）、（１２）式と同様の式に従って算出するようになっている。そして、この場合は、分散や標準偏差が小さいほど、評価が高くなる。

なお、上記の各観点を全て評価するように構成する必要はなく、それらの観点のうち少なくとも１つに基づいて第１の路面形状モデルと第２の路面形状モデルとがそれぞれ評価される。

また、第１の路面形状モデルと第２の路面形状モデルとのいずれかを選択するように構成する代わりに、処理手段１５で、それらの路面形状モデルを評価に応じて重み付け平均して新たに路面形状モデルを生成するように構成することも可能である。

この場合、処理手段１５は、例えば、上記の各観点から第１および第２の路面形状モデルに対してそれぞれ評価ポイントｓ１、ｓ２を割り当て、評価ポイントｓ１、ｓ２にそれぞれ依存して変わる重みをそれぞれ第１および第２の路面形状モデルにつけて平均化して、新たに路面形状モデルを生成するように構成することができる。

次に、本実施形態に係る路面形状認識装置２０の作用について説明する。

例えば、例えば図１６に示したような画像Ｔが撮像されるシーンでは、道路面に標示された車線や矢印等の標示のエッジ部分に比較的多数の距離ｚのデータが有効に検出されるため、路面形状モデル生成手段１３においても車線検出手段１４においても路面形状モデルがそれぞれ的確に生成できる。

そのため、上記のように、処理手段１５で、上記の各観点から第１の路面形状モデルと第２の路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択し、或いは、評価に応じてそれらの路面形状モデルを重み付け平均して新たに路面形状モデルを生成することで、自車両前方の路面の形状を的確に反映した路面形状モデルを得ることが可能となる。

また、例えば図２に示したような画像Ｔが撮像されるシーンでは、路面上に車線が標示されていないため、車線検出手段１４による第２の路面形状モデルを生成することができず、或いは仮に生成されたとしても、非常に評価が低く信頼性に乏しい路面形状モデルしか得ることができない。

しかし、このような場合でも、本実施形態では、上記の第１の実施形態で説明したように、距離画像生成手段６におけるステレオマッチングで各画素ブロックごとに得られた実空間上の距離ｚの情報が割り当てられた距離画像Ｔｚに基づいて代表距離検出手段１０で的確に代表距離ｚｊを算出し、評価手段１１や近似直線算出手段１２での処理を経て、路面形状モデル生成手段１３で的確に第１の路面形状モデルを生成することができる。

そのため、処理手段１５では、上記の各観点からこの第１の路面形状モデルが的確に選択され、或いは、第２の路面形状モデルに対して第１の路面形状モデルが圧倒的に大きな重み付けをされた状態で重み付け平均が行われるため、この場合も、自車両前方の路面の形状を的確に反映した路面形状モデルを得ることが可能となる。

以上のように、本実施形態に係る路面形状認識装置２０によれば、上記の第１の実施形態に係る路面形状認識装置１の効果が的確に発揮されるとともに、路面形状モデル生成手段１３により生成された第１の路面形状モデルと、車線検出手段１４により生成された第２の路面形状モデルとのいずれかを選択し、或いは、それらの路面形状モデルを評価に応じて重み付け平均して新たに路面形状モデルを生成して、路面上に車線ＬＲ、ＬＬが標示されている場合は勿論、車線ＬＲ、ＬＬが標示されていない未舗装道路や山道等の路面においても実際の路面形状を的確に検出することが可能となる。

１、２０ 路面形状認識装置
２ 撮像手段
６ 距離画像生成手段
１０ 代表距離検出手段
１１ 評価手段
１２ 近似直線算出手段
１３ 路面形状モデル生成手段
１４ 車線検出手段
１５ 処理手段
Ｃ 交点
ｃｒ、ｃｌ 車線候補点
Ｄ、（ｚ，ｊ）、（ｚｊ，ｊ） プロット
Ｄａ 群の境界部分のプロット
ＤＬ 境界
Ｆ 度数
Ｇ_１ 自車両に近い側の群
Ｇ_２ 自車両から遠い側の群
Ｈｊ ヒストグラム
Ｊ 水平ライン
ｊ 水平ライン（水平ラインの位置）
ＬＲ、ＬＬ 車線
Ｌ_１、Ｌ_２ 近似直線
ｐ 輝度
Ｒ 所定の範囲
Ｒａ 円弧（緩和曲線）
Ｔ 基準画像（画像）
Ｔｚ 距離画像
ｘ 実空間上の水平位置
ｙ 実空間上の高さ
ｚ 実空間上の距離、代表距離
ｚａ 群の境界部分のプロットの実空間上の距離
ｚｊ 代表距離
（ｚｊnew，ｊnew） 後のプロット
（ｚｊold，ｊold） 先のプロット
Δｐ 輝度差
Δｐth１ 所定の閾値
σ_１ ^２、σ_２ ^２ 分散（統計値）

Claims (13)

1. 自車両が走行する路面について実空間上の水平位置、高さおよび距離を含む位置のデータを互いに異なる複数の地点で検出して、前記各位置のデータを二次元平面上に表した距離画像を生成する距離画像生成手段と、
   前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
   前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
   前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
   前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
   を備え、
   前記近似直線算出手段は、前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットについて、前記代表距離に基づいて、前記全てのプロットを、前記自車両に近い側の群と遠い側の群とに分割し、２つの前記群の境界部分の前記プロットを一方の前記群から他方の前記群に移し替えるごとに、前記群ごとに前記各プロットを近似する近似直線をそれぞれ算出し、
   前記路面形状モデル生成手段は、前記プロットを移し替えた前記群ごとに、それぞれの前記近似直線に基づく統計値を算出し、算出した前記２つの群の前記各近似直線に基づく統計値に基づいて、前記２つの群の前記近似直線の組み合わせの中から１つを選択し、選択した前記近似直線の組み合わせを用いて前記路面形状モデルを生成することを特徴とする路面形状認識装置。
2. 前記近似直線算出手段は、最小二乗法により、前記群ごとに前記各プロットをそれぞれ近似する前記近似直線を算出し、
   前記路面形状モデル生成手段は、前記近似直線に基づく統計値として、前記各群に属する前記各プロットの前記近似直線に対する分散または標準偏差を前記群ごとに算出し、算出した前記２つの群の前記各近似直線に基づく統計値の合計値が最小となる前記近似直線の組み合わせを選択することを特徴とする請求項１に記載の路面形状認識装置。
3. 前記近似直線算出手段は、前記代表距離をｚ、前記距離画像における前記水平ラインの位置をｊと表し、移し替えられる前記境界部分の前記プロットにおける前記代表距離をｚａ、前記水平ラインの位置をｊａと表し、前記各群ごとの総和をΣを用いて表す場合、当該境界部分の前記プロットを一方の前記群から他方の前記群に移し替えるごとに、前記一方の群におけるΣｚ、Σｊ、Σｚ^２、Σｚｊからそれぞれｚａ、ｊａ、ｚａ^２、ｚａｊａを減算し、前記他方の群におけるΣｚ、Σｊ、Σｚ^２、Σｚｊにそれぞれｚａ、ｊａ、ｚａ^２、ｚａｊａを加算して、前記最小二乗法により、前記群ごとに前記プロットを近似する前記近似直線をそれぞれ算出することを特徴とする請求項２に記載の路面形状認識装置。
4. 前記路面形状モデル生成手段は、前記選択した前記２つの群の前記各近似直線の交点部分を、前記各近似直線を接線とする緩和曲線で置換して、生成した前記路面形状モデルを補正することを特徴とする請求項１から請求項３のいずれか一項に記載の路面形状認識装置。
5. 自車両が走行する路面について実空間上の水平位置、高さおよび距離を含む位置のデータを互いに異なる複数の地点で検出して、前記各位置のデータを二次元平面上に表した距離画像を生成する距離画像生成手段と、
   前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
   前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
   前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
   前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
   自車両の前方を撮像して画像を取得する撮像手段と、
   前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
   前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択する処理手段と、
   を備えることを特徴とする路面形状認識装置。
6. 自車両が走行する路面について実空間上の水平位置、高さおよび距離を含む位置のデータを互いに異なる複数の地点で検出して、前記各位置のデータを二次元平面上に表した距離画像を生成する距離画像生成手段と、
   前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
   前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
   前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
   前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
   自車両の前方を撮像して画像を取得する撮像手段と、
   前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
   前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、両方の前記路面形状モデルを重み付け平均して路面形状モデルを生成する処理手段と、
   を備えることを特徴とする路面形状認識装置。
7. 前記処理手段は、前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとを、前記各路面形状モデルを検出する際に用いられたデータの点数、前記データが検出された範囲、過去のサンプリング周期において生成された前記各路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の各位置と前記各路面形状モデルの位置との差、または、前記各路面形状モデルを構成する前記各近似直線に対する前記データの分散または標準偏差のうちの少なくとも１つに基づいてそれぞれ評価することを特徴とする請求項５または請求項６に記載の路面形状認識装置。
8. 自車両が走行する路面について実空間上の水平位置、高さおよび距離を含む位置のデータを互いに異なる複数の地点で検出して、前記各位置のデータを二次元平面上に表した距離画像を生成する距離画像生成手段と、
   前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
   前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
   前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
   前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
   を備え、
   前記代表距離検出手段は、前記ヒストグラムの度数の最頻値が属する階級の階級値を前記ヒストグラムにおける統計値とすることを特徴とする路面形状認識装置。
9. 自車両が走行する路面について実空間上の水平位置、高さおよび距離を含む位置のデータを互いに異なる複数の地点で検出して、前記各位置のデータを二次元平面上に表した距離画像を生成する距離画像生成手段と、
   前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
   前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
   前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
   前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
   を備え、
   前記代表距離検出手段は、前記距離画像生成手段が生成した前記距離画像に対して処理を行う前記水平ラインを上方にシフトさせながら下側の前記水平ラインから順に処理を行い、
   前記評価手段は、
   前記仮想平面上に後にプロットされた前記代表距離が、先にプロットされた前記代表距離よりも遠方側にない場合には、当該後のプロットは前記先のプロットと連続性を有しないと評価して、当該後のプロットを前記仮想平面上から除外し、
   前記プロットを除外する処理を連続して行った前記水平ラインが所定の本数に達した場合には、前記先のプロットを除外することを特徴とする路面形状認識装置。
10. 前記代表距離検出手段は、前記距離画像の各水平ライン上に存在する前記位置のデータのうち、過去のサンプリング周期において生成された前記路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の位置から所定の範囲内に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする請求項１から請求項９のいずれか一項に記載の路面形状認識装置。
11. 前記代表距離検出手段は、前記距離画像中に自車両の挙動から推定される自車両の進行路を含む所定の範囲を設定し、前記所定の範囲内の前記各水平ライン上に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする請求項１から請求項１０のいずれか一項に記載の路面形状認識装置。
12. 前記距離画像上に車線を検出する車線検出手段を備え、
    前記代表距離検出手段は、前記距離画像の各水平ラインのうち、前記車線検出手段により検出された前記車線に基づいて所定の範囲を設定し、前記所定の範囲内の前記各水平ライン上に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする請求項１から請求項１１のいずれか一項に記載の路面形状認識装置。
13. 前記路面形状モデル生成手段は、前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対してハフ変換を行い、２本の前記近似直線を算出して前記路面形状モデルを少なくとも前記仮想平面上の形状として生成することを特徴とする請求項１から請求項１２のいずれか一項に記載の路面形状認識装置。

Images