JP7359715B2 - 道路形状推定装置 - Google Patents

Description

本開示は、車両から撮影された画像に基づいて、車両の前方の車線の道路形状を推定する技術に関する。

特許文献１には、車両（即ち、自車両）の進行方向の前方を撮影し、その撮影した画像に基づいて道路領域を検出し、その検出した道路領域に基づいて道路形状を推定する技術が記載されている。

この特許文献１に記載の技術では、車載のステレオカメラで車両の前方を撮影し、それによって得られた各画像を処理し、その処理した画像に基づいてアスファルト等からなる道路領域を検出している。詳しくは、ステレオカメラにおける左右のカメラの画像を取得し、その左右のカメラによる両画像の相関値の系列を用いて、道路領域を検出している。そして、そのようにして検出した道路領域に基づいて道路の左右の白線等の情報を取得し、その白線等の情報に基づいて道路形状を推定している。

特開２０１１－２８６５９号公報

しかしながら、上述した従来技術では、道路の左右の白線等を精度良く認識することができないことがあり、そのため、その白線等の認識に基づいて道路形状を精度良く推定でないことがあった。つまり、自車両が走行する自車線の前方の道路形状を、精度良く推定できないことがあった。

この対策として、本発明者により、道路等の状態を学習により取得する機械学習の技術を利用する研究がなされている。
本開示の一つの局面は、道路の白線等の認識が容易ではない等の各種の環境においても、機械学習の技術を考慮に入れて、自車線の前方の道路の形状を精度良く推定することが可能な技術を提供することにある。

（１）本開示の一態様の道路形状推定装置（９）は、画像取得部（１５、Ｓ１００）と推定処理部（１７）とを備えている。推定処理部は、学習認識部（３１、Ｓ１２０）とマーカ抽出部（２３、Ｓ１１０）と状態遷移判定部（４１、Ｓ１７０）とを備えている。さらに、推定処理部は、非学習推定部（４５、Ｓ１４０）と部分学習推定部（３７、Ｓ１５０）と全学習推定部（３９、Ｓ１６０）とのうち、少なくとも２種の推定部を備えている。

なお、少なくとも２種の推定部の組み合わせとしては、非学習推定部と部分学習推定部との組み合わせ、部分学習推定部と全学習推定部との組み合わせ、全学習推定部と非学習推定部との組み合わせ、非学習推定部と部分学習推定部と全学習推定部との組み合わせの、４通りが挙げられる。

画像取得部は、自車両の前方を撮影した車載カメラの画像を取得するように構成されている。
推定処理部は、画像取得部によって取得された画像に基づいて、自車両が走行する自車両の前方の自車線の形状を推定するように構成されている。

学習認識部は、画像取得部によって取得された自車両の前方の画像に対して、自車両の前方の画像のディープラーニングによる機械学習の結果を用いて、自車両の前方の自車線の領域を認識するように構成されている。

マーカ抽出部は、学習認識部による認識結果を利用することなく、画像取得部によって取得された自車両の前方の画像に基づいて、自車両の前方の自車線の幅方向における領域の区分を示す区分線を構成するマーカを抽出するように構成されている。

非学習推定部は、学習認識部による認識結果を利用することなく、マーカ抽出部によって抽出されたマーカを用いて区分線を抽出し、その区分線に基づいて自車両の前方の自車線の道路の形状を推定するように構成されている。

部分学習推定部は、マーカ抽出部によって抽出されたマーカが、学習認識部によって得られた自車線の領域の境界を示す画像境界線に沿ったマーカである場合に、マーカを用いて得られた区分線に基づいて自車両の前方の自車線の道路の形状を推定するように構成されている。

全学習推定部は、学習認識部によって得られた自車線の領域の境界を示す画像境界線に基づいて、自車両の前方の自車線の道路の形状を推定するように構成されている。
状態遷移判定部は、非学習推定部で用いた区分線に関する情報と、部分学習推定部で用いた区分線に関する情報と、全学習推定部で用いた画像境界線に関する情報と、のうち少なくとも２種の推定部おける情報を比較し、非学習推定部による自車線の道路の形状の推定結果と、部分学習推定部による自車線の道路の形状の推定結果と、全学習推定部による自車線の道路の形状の推定結果と、のうちいずれの推定結果を用いるかを判定するように構成されている。

このような構成によれば、例えば、部分学習推定部で用いた区分線に関する情報と、全学習推定部で用いた画像境界線に関する情報と、を比較する。この比較により、部分学習推定部による自車線の道路の形状の推定結果と、全学習推定部による自車線の道路の形状の推定結果と、のどちらの推定結果を用いるかを判定する。

また、非学習推定部で用いた区分線に関する情報と、全学習推定部で用いた画像境界線に関する情報と、を比較する。この比較により、非学習推定部による自車線の道路の形状の推定結果と、全学習推定部による自車線の道路の形状の推定結果と、のどちらの推定結果を用いるかを判定する。

或いは、非学習推定部で用いた区分線に関する情報と、部分学習推定部で用いた区分線に関する情報と、を比較する。この比較により、非学習推定部による自車線の道路の形状の推定結果と、部分学習推定部による自車線の道路の形状の推定結果と、のどちらの推定結果を用いるかを判定する。

また、非学習推定部で用いた区分線に関する情報と、部分学習推定部で用いた区分線に関する情報と、全学習推定部で用いた画像境界線に関する情報と、を比較する。この比較により、非学習推定部による自車線の道路の形状の推定結果と、部分学習推定部による自車線の道路の形状の推定結果と、全学習推定部による自車線の道路の形状の推定結果と、のうちどの推定結果を用いるかを判定する。

このように、道路形状の推定にとって好ましい推定結果を採用することにより、精度良く道路形状の推定を行うことができる。
これにより、各種の道路の環境においても、機械学習の技術を考慮に入れて、自車線の前方の道路の形状を精度良く推定することができるという顕著な効果を奏する。

なお、区分線に関する情報や画像境界線に関する情報としては、区分線や画像境界線から得られる情報が挙げられる。例えば、区分線や画像境界線から得られる、どこまで自車線として認識できるかを示す認識距離や、自車線の道路形状が挙げられる。

（２）本開示の他の一態様の道路形状推定装置（９）は、画像取得部（１５、Ｓ３００）と推定処理部（１７）と学習認識部（３１、Ｓ３２０）とマーカ抽出部（２３、Ｓ３１０）とマーカ除外部（５３、Ｓ３３０）とを備えている。

画像取得部は、自車両の前方を撮影した車載カメラの画像を取得するように構成されている。
推定処理部は、画像取得部によって取得された画像に基づいて、自車両が走行する自車両の前方の自車線の形状を推定するように構成されている。

学習認識部は、画像取得部によって取得された自車両の前方の画像に対して、自車両の前方の画像のディープラーニングによる機械学習の結果を用いて、自車両の前方の道路の領域と道路以外の領域及び／又は他車両の領域とを認識するように構成されている。

マーカ抽出部は、学習認識部による認識結果を利用することなく、画像取得部によって取得された自車両の前方の画像に基づいて、自車両の前方の自車線の幅方向における領域の区分を示す区分線を構成するマーカを抽出するように構成されている。

マーカ除外部は、学習認識部の認識結果に基づいて、マーカ抽出部によって抽出されたマーカのうち、区分線を構成するマーカとして適切でないマーカを除外するように構成されている。

このような構成によれば、学習認識部による認識結果を利用することなく、マーカ抽出部によって抽出されたマーカに対して、学習認識部の認識結果に基づいて、区分線を構成するマーカとして適切でないマーカを除外することができる。例えば、抽出されたマーカのうち、道路以外の領域や他車両の領域に一部又は全部がかかるマーカを除外することができる。よって、抽出されたマーカのうち、除外されていないマーカを選択することにより、区分線を構成するマーカとして確からしいマーカを選択することができる。

なお、マーカ抽出部の処理と学習認識部の処理との順番は、特に限定はなく、学習認識部の認識結果に基づいて、区分線を構成するマーカとして適切でないマーカを除外できればよい。

従って、このようにして選択されたマーカを用いて区分線を求めることにより、精度良く区分線を形成できる。よって、この区分線に基づいて、精度良く道路形状の推定を行うことができる。

これにより、各種の道路の環境においても、機械学習の技術を考慮に入れて、自車線の前方の道路の形状を精度良く推定することができるという顕著な効果を奏する。
（３）本開示の更に他の一態様の道路形状推定装置（９）は、画像取得部（１５、Ｓ１００）と推定処理部（１７）と学習認識部（３１、Ｓ１２０）と利用判定部（３３、Ｓ１７０）と非学習取得部（４３、Ｓ１１０）とを備えている。

画像取得部は、自車両の前方を撮影した車載カメラの画像を取得するように構成されている。
推定処理部は、画像取得部によって取得された画像に基づいて、自車両が走行する自車両の前方の自車線の形状を推定するように構成されている。

学習認識部は、画像取得部によって取得された自車両の前方の画像に対して、自車両の前方の画像のディープラーニングによる機械学習の結果を用いて、少なくとも自車両の前方の自車線の領域を認識するように構成されている。

利用判定部は、自車両の前方の自車線の形状を推定するために、学習認識部によって得られた自車線の領域の認識結果を利用するか否かを判定するように構成されている。
非学習取得部は、学習認識部による認識結果を利用することなく、画像取得部によって取得された自車両の前方の画像に基づいて、自車両の前方の自車線の情報を取得するように構成されている。

そして、この道路形状推定装置は、利用判定部によって、認識結果を利用すると判定された場合には、認識結果を用いて自車両の前方の自車線の形状を推定し、一方、認識結果を利用しないと判定された場合には、非学習取得部によって取得された自車線の情報を用いて自車両の前方の前記自車線の形状を推定するように構成されている。

このような構成によれば、道路形状の推定に、学習認識部による認識結果を利用するか否かを判定するので、学習認識部による認識結果に応じて、好ましい道路形状の推定の構成を選択することができる。その結果、精度の高い道路推定を行うことができる。

つまり、学習認識部による認識結果を利用するのが好ましい場合には、その認識結果を利用し、一方、学習認識部による認識結果を利用するのが好ましくない場合には、その認識結果を利用せずに、道路形状を推定するので、道路等の状況に応じて、精度良く道路形状の推定を行うことができる。

これにより、各種の道路の環境においても、機械学習の技術を考慮に入れて、自車線の前方の道路の形状を精度良く推定することができるという顕著な効果を奏する。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

第１実施形態における車両の構成と車載カメラの撮影領域とを車両の側面側から見た状態を示す説明図。 第１実施形態における車両の構成と車載カメラの撮影領域とを車両の上面側から見た状態を示す説明図。 第１実施形態における車両システムの構成を示すブロック図。 第１実施形態における推定処理部の構成を機能的に示すブロック図。 道路上のマーカと区分線との関係を示す説明図。 車載カメラの画像に対して機械学習を適用して得られた学習画像おいて、道路の自車線等の各領域を示す説明図。 学習画像において、自車線の領域と境界点との関係を示す説明図。 フィッティング線と境界点との関係を示す説明図。 フィッティング線とマーカから得られた区分線との関係を示す説明図。 フィッティング線と所定範囲内の逆引きされる境界点との関係を示す説明図。 第１実施形態の道路形状推定装置にて実施される処理を示すフローチャート。 学習画像において、自車線の領域と画像境界線とマーカとの関係を示す説明図。 画像境界線とマーカとの位置関係を示す説明図。 学習画像による画像境界線を利用して、区分線を形成するマーカ同士を接続する方法を説明する説明図。 第１実施形態の変形例１にて実施される処理を示すフローチャート。 第２実施形態における分岐判定の方法を示す説明図。 第２実施形態における分岐判定の処理を示すフローチャート。 第３実施形態における推定処理部の構成を機能的に示すブロック図。 第３実施形態において、学習画像を用いてマーカ同士を接続する方法を示す説明図。 第３実施形態における道路形状の推定処理を示すフローチャート。 第４実施形態における暫定供用道路を示す斜視図。 第４実施形態における暫定供用道路の判定の処理を示すフローチャート。 第５実施形態において、機械学習を利用しない道路の非学習画像と機械学習を利用した道路の学習画像とを示す説明図。 図２３の上図である非学習画像を鳥瞰図変換し、早期に抽出した区分線を示す説明図。 第５実施形態の区分線の早期抽出の処理を利用しない改善前の区分線を示す画像と区分線の早期抽出の処理を利用した改善後の区分線を示す画像とを示す説明図。 第５実施形態の道路パラメータの処理を利用しない改善前の区分線を示す画像と道路パラメータの処理を利用した改善後の区分線を示す画像とを示す説明図。 第５実施形態における推定処理部の構成を機能的に示すブロック図。 第５実施形態における推定処理部の処理を示すフローチャート。

以下に、本開示の実施形態を、図面を参照しながら説明する。
［１．第１実施形態］
［１－１．全体構成］
まず、本第１実施形態の道路形状推定装置を備えた車両システムの全体構成について説明する。

図１に示すように、本第１実施形態では、車両１に搭載された車両システム３は、車載カメラ５と、車載センサ部７と、道路形状推定装置９と、車両制御装置１１とを備える。なお、以下では、車両１を自車両と記すことがある。

車載カメラ５は、周知のＣＣＤカメラ等からなるカメラであり、図１及び図２に示すように、自車両１の室内におけるフロントガラス１３の上部近傍に搭載されている。この車載カメラ５は、自車両１の前方を撮影（即ち、撮像）し、その撮影した前方の画像の画像データを生成する。なお、車載カメラ５により撮影される画像には、自車両１の前方の路面が含まれる。

車載カメラ５は、予め設定された時間間隔で、繰り返し撮影して、前方の画像を得る。車載カメラ５は、カラーの画像を撮影可能である。車載カメラ５で撮影された画像の画像データは、道路形状推定装置９へ出力される。

車載センサ部７は、自車両１の状態量を測定する各種のセンサから構成される。センサとしては、例えば、車速センサやヨーレートセンサが含まれる。それ以外に、例えば、ピッチ角センサやステアリング角センサ等が含まれていてもよい。センサは、予め設定された時間間隔で、繰り返して車両１の状態を示す状態量を測定し、その測定結果は、道路形状推定装置９へ出力される。なお、車載センサ部７として、周知のナビゲーション装置を備えていてもよい。このナビゲーション装置では、道路形状等の情報を含む地図情報を記憶していてもよい。

車両制御装置１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成されている。車両制御装置１１は、道路形状推定装置９の推定結果に基づいて、警報を出力する警報出力制御や、自車両１の走行状態を制御する走行制御を実施する。警報出力制御としては、自車両１が車線（即ち、自車線）を逸脱しそうになった場合に、警報を出力する制御が挙げられる。走行制御としては、自車両１が車線を逸脱しそうになった場合に実施される、操舵の制御やブレーキの制御が挙げられる。

道路形状推定装置９は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成されている。道路形状推定装置９は、ＣＰＵが非遷移有形記録媒体に格納されたプログラムを実行することにより、図３及び図４に示すような各種の機能を実行する。この例では、半導体メモリが、プログラムを格納した非遷移有形記録媒体に該当する。

なお、道路形状推定装置９が備えるマイクロコンピュータの数は１つでも複数でもよい。また、道路形状推定装置９により実現される各種の機能は、ＣＰＵがプログラムを実行することによって実現することに限るものではなく、その一部又は全部について、一つあるいは複数のハードウェアを用いて実現してもよい。

道路形状推定装置９は、図３に機能的に示すように、画像取得部１５と推定処理部１７とを備えている。
画像取得部１５は、自車両１の前方を撮影した車載カメラ５の画像を取得するように構成されている。

推定処理部１７は、図４に機能的に示すように、画像取得部１５によって取得された画像に基づいて、自車両１が走行する自車両１の前方の自車線の形状を推定するように構成されている。

［１－２．推定処理部の構成］
次に、推定処理部１７の構成について説明する。
推定処理部１７は、図４に機能的に示すように、エッジ抽出部２１、マーカ抽出部２３、マーカ判定部２５、線候補抽出部２７、境界線選択部２９、学習認識部３１、利用判定部３３、道路形状推定部３５を備えている。また、道路形状推定部３５は、部分学習推定部３７、全学習推定部３９、状態遷移判定部４１を備えている。

推定処理部１７は、上述した構成によって、以下のような３通りの手順にて道路形状を推定することができる。
（手順Ａ）
手順Ａは、ディープラーニングによる機械学習を利用することなく、車載カメラ５によって撮影された画像を用いて、道路に描かれたレーンマーカ（以下、マーカ）の抽出を行い、そのマーカを利用して道路形状を推定する手順である。例えば、図４で「非学習」と記載の経路による手順である。

なお、以下では、ディープラーニングによる機械学習を、単に機械学習と記すことがある。また、マーカとは、道路の幅方向における領域を区分するために、道路の延びる方向に沿って、道路上に破線や実線にて形成された白線や黄線等の線を構成するペイントである。

この手順Ａは、周知のように、マーカから道路の車線に沿って延びる複数の区分線、即ち、道路を幅方向において区分する区分線を求め、この複数の区分線から、車線の境界を規定する左右一対の境界線を求め、この境界線の形状から道路形状を推定するものである。なお、車線としては、自車両が走行する車線である自車線等が挙げられる。

（手順Ｂ）
手順Ｂは、まず、機械学習を利用することなく、車載カメラ５によって撮影された画像を用いて、道路上のマーカの抽出を行い、さらに、そのマーカを利用するとともに機械学習を利用して道路形状を推定する手順である。例えば、図４で「一部学習利用」と記載の経路による手順である。

（手順Ｃ）
手順Ｃは、主として機械学習を利用して道路形状を推定する手順である。例えば、図４で「全学習利用」と記載の経路による手順である。

次に、上述した手順Ａ～Ｃにて道路形状の推定を行うための前記各構成について、詳細に説明する。
エッジ抽出部２１は、車載カメラ５にて撮影された画像から、輝度値の変化が大きい画素であるエッジ点を抽出するように構成されている。

撮影された画像からエッジ点を抽出する具体的方法については、周知であるため、ここでは詳しい説明を省略し、概要のみ簡潔に述べる。エッジ抽出部２１は、画像の左端から右端へ水平方向に走査しながら、輝度値の変化量が閾値以上となる画素を探索し、アップエッジ点及びダウンエッジ点を抽出する。

アップエッジ点は、低い輝度値から高い輝度値へ変化する輝度値の立ち上がり点であり、より具体的には、低い輝度値から高い輝度値への輝度値の変化量が輝度閾値以上となる点である。ダウンエッジ点は、高い輝度値から低い輝度値へ変化する輝度値の立下り点であり、より具体的には、高い輝度値から低い輝度値への輝度値の変化量が輝度閾値以上となる点である。

エッジ抽出部２１は、このような水平方向への走査によるエッジ点の抽出を、画像の上下方向、即ち画像の奥行き方向へ位置をずらしながら繰り返すことで、画像のほぼ全領域からエッジ点を抽出する。

マーカ抽出部２３は、図５にて実線で示すように、エッジ抽出部２１で抽出されたエッジ点同士を繋げることによって、区分線を構成するペイントの塊であるマーカを抽出するように構成されている。

具体的には、抽出された各エッジ点から、複数のエッジ点によって形成される略矩形状の領域をマーカとして抽出する。詳しくは、アップエッジ点と、そのアップエッジ点に対して右側に位置し、且つ、そのアップエッジ点に最も近い位置のダウンエッジ点とをペアとする。そして、そのペアが自車両１の走行方向において予め設定された間隔閾値以内の間隔で配列されている略矩形の領域を、マーカとして抽出する。

線候補抽出部２７は、自車両１の走行方向に沿って延びるように存在する線を抽出するように構成されている。つまり、線候補抽出部２７では、マーカ抽出部２３で抽出されたマーカ同士を、走行方向に繋げることで、図５に示すように、自車両１の走行方向に沿って延びるように存在する区分線を抽出する。

なお、マーカを繋げた区分線は、一定の幅を有するので、例えば、図５にて一点鎖線で示すように、マーカの幅方向における中央に線を引き、その線を区分線としてもよい。或いは、図５にて破線で示すように、マーカの幅方向における一方の側（例えば、右側）又は他方の側（例えば、左側）の線を区分線として採用してもよい。例えば、前記マーカの両側の破線のうち、車線の内側（即ち、車両１が走行する側）の線を、区分線として採用してもよい。

境界線選択部２９は、線候補抽出部２７にて抽出された複数の区分線、即ち区分線の候補から、車線（例えば、自車線）の左右の境界を規定する左右一対の境界線として適した区分線を選択し、この選択された区分線を境界線として設定するように構成されている。

例えば、線候補抽出部２７で抽出された複数の区分線のうち、自車両１の左右方向において、それぞれ自車両１に最も近い一対の区分線であって、所定の距離以上の間隔を有する区分線を、自車線の境界線として選択することができる。なお、その他、道路状況に応じて、各種の選択条件を加味してもよい。

学習認識部３１は、画像取得部１５によって取得された自車両１の前方の画像に対して、自車両１の前方の画像のディープラーニングによる機械学習の結果を用いて、自車両１の前方の自車線の領域を認識するように構成されている。

この画像に対するディープラーニングによる機械学習については、周知であるので簡単に説明する。
例えば、自車両１の前方を撮影して多数の画像を取得する。そして、多数の画像に対して、映っている物体等が、例えば、道路の領域と、他車両の領域と、他車両や道路以外の領域とに区分し、更に道路の領域を自車線の領域とそれ以外の領域とに区分する。そして、このように複数の領域に区分した多数の画像に対してディープラーニングによる学習を行う。

なお、ディープラーニングを行う際に使用する画像の数、モデル、モデルの層の数等については、公知技術に基づいて適宜選択することができる。このディープラーニングのモデルとして、ニューラルネットワークを採用できる。ニューラルネットワークは、相互接続する複数のノードからなる多層で構成できる。このネットワークは、数十から数百の隠れ層を持つことができる。

このようなディープラーニングのモデルは、ディープニューラルネットワークと呼ばれており、大規模なラベル付されたデータとニューラルネットワークの構造を利用して学習を行うことができる。なお、ディープニューラルネットワークとしては、畳み込みニューラルネットワークを採用できる。

学習認識部３１は、上述したようにして学習した結果を用いて、例えば今回取得した最新の画像に対して、図６に例示するように、自車両１の前方において、同図の斜線で示す自車線の領域と、同図の異なる向きの斜線で示す自車線以外の道路の領域と、同図の白色で示す道路以外の領域と、同図のメッシュで示す他車両の領域とに区分することができる。つまり、学習認識部３１により、今回取得した画像において、自車線の領域がどの部分であるかを示す自車線の領域の認識結果が得られる。

利用判定部３３は、自車両１の前方の自車線の形状を推定するために、学習認識部３１によって得られた自車線の領域の認識結果を利用するか否かを判定するように構成されている。

そして、後述するように、利用判定部３３によって、前記認識結果を利用すると判定された場合には、前記認識結果を用いて自車両１の前方の自車線の形状を推定する。一方、認識結果を利用しないと判定された場合には、非学習取得部４３によって取得された自車線の情報を用いて自車両１の前方の自車線の形状を推定する。

なお、非学習取得部４３とは、学習認識部３１による認識結果を利用することなく、画像取得部１５によって取得された自車両１の前方の画像に基づいて、自車両１の前方の自車線の情報を取得する構成である。この非学習取得部４３は、図４のエッジ抽出部２１、マーカ抽出部２３、線候補抽出部２７、境界線選択部２９から構成できる。

マーカ判定部２５は、利用判定部３３によって、学習認識部３１によって得られた自車両１の領域の認識結果を利用すると判定された場合には、マーカ抽出部２３によって抽出されたマーカが、学習認識部３１によって得られた自車線の領域の境界を示す画像境界線ＧＫに沿ったマーカであるか否かを判定するように構成されている。なお、画像境界線ＧＫは、図６参照。

そして、このマーカ判定部２５によって、マーカ抽出部２３によって抽出されたマーカが、学習認識部３１によって得られた自車線の領域の境界を示す画像境界線ＧＫに沿ったマーカであると判定された場合には、そのマーカを用いて、線候補抽出部２７にて、区分線の候補を抽出する。

道路形状推定部３５は、例えば現在選択されている左右一対の境界線に基づいて、自車線を含む、現在走行中の道路の形状を推定する。
具体的には、道路形状推定部３５は、現在走行中の道路の形状等の特徴を示す道路パラメータとして、例えば車線位置，車線傾き，車線曲率，車線幅などの各種の道路パラメータを推定する。

ここで、車線幅は、左右一対の境界線の間隔である。車線位置とは、自車両１の中心を基準とした車線幅上の中心である中心位置であって、自車両１の中心からその中心位置までの距離で表すことができる。車線傾きとは、左右の境界線の中央を通過する仮想的な車線中心の上記中心位置における接線の車両進行方向に対する傾きである。車線曲率とは、車線中心の曲率である。

この道路形状推定部３５で推定された道路形状、即ち各種の道路パラメータは車両制御装置１１へ出力される。
部分学習推定部３７は、マーカ抽出部２３によって抽出されたマーカが、学習認識部３１によって得られた自車線の領域の境界を示す画像境界線ＧＫに沿ったマーカである場合に、マーカを用いて得られた区分線に基づいて、詳しくは区分線の候補から選択された境界線に基づいて、自車両１の前方の自車線の道路の形状を推定するように構成されている。

なお、部分学習推定部３７は、エッジ抽出部２１、マーカ抽出部２３、マーカ判定部２５、線候補抽出部２７、境界線選択部２９の処理によって得られた結果を用いて、道路形状の推定を行うことができる。

全学習推定部３９は、学習認識部３１によって得られた自車線の領域の境界を示す画像境界線ＧＫに基づいて、自車両の前方の自車線の道路の形状を推定するように構成されている。

なお、全学習推定部３９は、学習認識部３１及び利用判定部３３の処理によって得られた結果を用いて、道路形状の推定を行うことができる。
状態遷移判定部４１は、部分学習推定部３７によって得られた区分線における認識可能な距離、即ち、マーカから得られた区分線における第１認識距離と、全学習推定部３９によって得られた認識可能な距離、即ち、画像境界線ＧＫにおける第２認識距離と、を比較する。そして、この比較により、好ましい（即ち、大きな）認識距離を有する方の道路の形状の推定結果を採用するように構成されている。

この第１認識距離とは、部分学習推定部３７での処理の際に用いる、境界線選択部２９によって得られた境界線、即ち、区分線から選択された境界線の最遠の位置を示している。また、第２認識距離とは、学習認識部３１によって得られた画像境界線ＧＫの最遠の位置を示している。

従って、状態遷移判定部４１では、第１認識距離と第２認識距離とを比較し、認識距離が大である方、即ち遠くまで認識できている方の道路形状の推定結果を採用する。
なお、後述する変形例１に示すように、道路形状推定部３５は、非学習推定部４５を備えていてもよい。この非学習推定部４５は、学習認識部３１による認識結果を利用することなく、マーカ抽出部２３によって抽出されたマーカを用いて区分線を抽出し、その区分線に基づいて自車両１の前方の自車線の道路の形状を推定するように構成されている。

［１－３．利用判定部の判定内容］
次に、上述した利用判定部３３における判定の条件について、詳細に説明する。
利用判定部３３は、下記の（条件Ａ）～（条件Ｅ）のいずれかの判定条件に基づいて、学習認識部３１によって得られた自車線の領域の認識結果を利用するか否かを判定する。以下、各条件について説明する。

（条件Ａ）
条件Ａとして、学習認識部３１による自車線の領域の幅方向における境界を示す複数の境界点と、複数の境界点の配置を近似線にて近似したフィッティング線と、のフィッティング誤差を用いる。

そして、このフィッティング誤差が、例えば所定の判定値より小さい場合、即ち、複数の境界点とフィッティング線とのずれが小さい場合には、 学習認識部３１によって得られた自車線の領域の認識結果の精度が高いと考えられるので、前記認識結果を利用すると判定することができる。逆に、フィッティング誤差が、例えば所定の判定値以上の場合には、学習認識部３１による認識結果を利用しないと判定することができる。

以下、詳細に説明する。
例えば、図７に示すように、学習認識部３１によって、最新の撮影された画像について、自車線の領域と他の領域とを区分した画像、即ち学習に基づいて形成された画像である学習画像が得られた場合を例に挙げて説明する。この学習画像において、自車線の領域にて、同図の横方向に延びる線を同図の上下方向に等間隔で複数引き、それらの線と自車線の領域の左右の境界との交点を境界点とする。これにより、自車線の左右の境界に沿って複数の境界点が得られる。

次に、図８に示すように、自車線の左右の一方（例えば、右側）の境界に沿った境界点に基づいて、その境界点の配置に沿った近似線（即ち、フィッティング線）を求める。このフィッティング線の求め方としては周知の方法を採用できる。例えば、最小二乗法を用いることができる。

次に、フィッティング線と各境界点との距離、例えば左右方向の距離を求める。この距離はフィッティング線と各境界点との誤差を示す。従って、フィッティング線に対する所定の個数または所定の範囲における複数の境界点の各誤差の合計または平均値等が、所定の判定値より大か否かを判定することにより、フィッティング線と各境界点との誤差（即ち、フィッティング誤差）の程度を総合的に判断することができる。

このように、フィッティング誤差に応じて、学習認識部３１によって得られた認識結果を利用するか否かを判定することができる。つまり、フィッティング誤差が所定の判定値より大きな場合には、学習認識部３１によって得られた認識結果を利用しないと判定することができる。

（条件Ｂ）
条件Ｂとして、学習認識部３１による自車線の領域の幅方向における境界を示す複数の境界点の配置を近似線にて近似したフィッティング線と、学習認識部３１による前記認識結果を利用することなく、画像取得部１５による自車両１の前方の画像に基づいて得られた自車線の幅方向における領域の区分を示す区分線と、の位置の誤差を用いる。

このフィッティング線と前記区分線との位置の誤差が、例えば所定の判定値より小さい場合、即ち、フィッティング線と区分線とのずれが小さい場合には、 学習認識部３１によって得られた自車線の領域の認識結果の精度が高いと考えられるので、前記認識結果を利用すると判定することができる。逆に、フィッティング線と区分線との位置の誤差が、例えば所定の判定値以上の場合には、学習認識部３１による認識結果を利用しないと判定することができる。

以下、詳細に説明する。
図９に示すように、上述したフィッティング線を作成する。また、学習認識部３１による認識結果を利用することなく、上述した公知の方法によって、マーカ抽出部２３にて抽出されたマーカを線候補抽出部２７にて接続して、自車線の境界を示す区分線である境界線を取得する。例えば、マーカの幅方向の両側の線のうち、例えば車線の内側の線を用いて、同図の一点鎖線で示す境界線を作成する。

そして、フィッティング線と区分線との位置の誤差を求める。例えば、自車両１の進行方向（即ち、図９の上下方向）における所定の範囲において、複数箇所の位置におけるフィッティング線と区分線との位置の誤差の合計または平均値等を求める。なお、位置の誤差は、例えば、フィッティング線または区分線の法線等を用いて、フィッティング線と区分線との距離（即ち、間隔）として求めることができる。

このようにして求めた値は、フィッティング線と区分線との位置のずれを表す。従って、この値が所定の判定値より大か否かをすることにより、フィッティング線と区分線との位置のずれの程度を判定することができる。

このように、フィッティング線と区分線との位置の誤差に応じて、学習認識部３１によって得られた認識結果を利用するか否かを判定することができる。
（条件Ｃ）
条件Ｃとして、自車両１の前方の道路が、学習認識部３１による前記認識結果を利用する処理に適しない所定の道路であることを認識するシーン認識の結果を用いる。

つまり、シーン認識の結果が、前記認識結果を利用する処理に適しない所定の道路、例えば、機械学習を利用した場合に道路の形状等の認識に間違いが生じやすい道路である場合には、前記認識結果を利用しないようにする。

シーン認識されるシーンとしては、例えば複合線が存在する道路状況、暫定供用道路の存在する道路状況、カープールが存在する道路状況、自車両１が区分線等を跨ぐような状況などが挙げられる。

ここで、各シーンの認識については、従来の各種の技術を採用できる。
例えば、複合線とは、自車線の幅方向における一方の側に、複数の区分線等が存在するものである。複合線を検出する技術は、例えば特許第４２０７９３５号公報等に記載がある。

暫定供用道路やカープールを検出する技術は、例えば特開２０１４－１６４４９２号公報等に記載がある。
自車両１が区分線等を跨ぐ跨ぎ路を検出する技術は、例えば特開２０１５－１７４４９４号公報等に記載がある。

（条件Ｄ）
条件Ｄとして、学習認識部３１による自車線の領域の幅方向における境界を示す複数の境界点の配置を近似線にて近似したフィッティング線を使用する場合に、フィッティング線を挟む所定幅の範囲において、誤差が少ない境界点数を示す逆引きされる境界点数、または、全境界点数における前記逆引きされる境界点数の割合を示す逆引き率を用いる。

つまり、前記所定幅の範囲において、誤差が少ない境界点数を示す逆引きされる境界点数が所定の判定値より多い場合、または、全境界点数における逆引きされる境界点数の割合を示す逆引き率が所定の判定値より大きい場合には、学習認識部３１によって得られた自車線の領域の認識結果の精度が高いと考えられるので、前記認識結果を利用するようにする。

例えば、図１０に示すように、自車両１の進行方向（即ち、図１０の上下方向）の所定範囲において、同図の斜線で示す所定幅の範囲内にある境界点の数を「逆引きされる境界点数」とすると、「逆引きされる境界点数」が多いほど、認識結果を利用したフィッティング線の精度が高いと考えられる。同様に、例えば、自車両１の進行方向の所定範囲において、全境界点数における「逆引きされる境界点数」の割合を示す逆引き率が大きいほど、フィッティング線の精度が高いと考えられる。

このように、「逆引きされる境界点数」や逆引き率に応じて、学習認識部３１によって得られた認識結果を利用するか否かを判定することができる。つまり、「逆引きされる境界点数」や逆引き率が所定の判定値より大きい場合には、学習認識部３１によって得られた認識結果を利用すると判定することができる。逆に、「逆引きされる境界点数」や逆引き率が所定の判定値以下の場合には、学習認識部３１によって得られた認識結果を利用しないと判定することができる。

（条件Ｅ）
条件Ｅとして、学習認識部３１による自車線の領域の幅方向における境界を示す複数の境界点の配置を近似線にて近似したフィッティング線を使用して求めた道路の形状の認識距離と、学習認識部３１による前記認識結果を利用することなく、画像取得部１５による自車両の前方の画像に基づいて得られた自車線の幅方向における領域の区分を示す区分線を使用して求めた道路の形状の認識距離と、の差分を用いる。

ここでは、学習認識部３１による学習結果を用い、フィッティング線を利用して求めた道路の形状の認識距離（即ち、第３認識距離）と、学習認識部３１を利用することなく求めた道路の形状の認識距離（即ち、第４認識距離）と、を比べる。そして、第３認識距離が第４認識距離より大である場合に、学習認識部３１による認識結果を利用すると判定する。逆に、第３認識距離が第４認識距離以下である場合に、学習認識部３１による認識結果を利用しないと判定する。

［１－４．道路形状推定装置の処理］
次に、道路形状推定装置９にて実施される処理について、図１１を用いて説明する。道路形状推定装置９は、自車両１の走行中、図１１の推定処理を周期的に繰り返し実行する。

本第１実施形態の推定処理では、部分学習推定部３７による自車線の道路の形状の推定において、どこまで自車線として認識できるかを示す第１認識距離と、全学習推定部３９による自車線の道路の形状の推定において、どこまで自車線として認識できるかを示す第２認識距離と、を比較する。そして、認識距離が長いほうの道路形状の推定結果を採用することにより、遠方に到るまで好適に道路形状を推定する。以下、詳細に説明する。

道路形状推定装置９は、図１１の推定処理を開始すると、ステップ（以下、Ｓ）１００で、車載カメラ５で撮影した画像を読む込む処理を行う。
Ｓ１００の処理の後に、Ｓ１１０及びＳ１２０にて、読み込んだ画像をそれぞれ処理する。

つまり、Ｓ１１０では、従来と同様な方法で、エッジ抽出部２１及びマーカ抽出部２３にて、読み込んだ画像から、前記図５に示すようなマーカを抽出する処理を行う。なお、従来の方法としては、例えば特開２０１８－１８１０９３号公報に記載の処理を採用できる。

また、Ｓ１２０では、学習認識部３１にて、ディープラーニングによる機械学習を用いて、読み込んだ画像から、前記図６に示すように、自車線の領域と自車線以外の道路の領域等を区分した画像（即ち、学習画像）を作成する。

Ｓ１１０及びＳ１２０の処理の後に、Ｓ１３０に進む。このＳ１３０では、利用判定部３３にて、学習認識部３１によって得られた自車線の領域の認識結果を利用するか否かを判定する。即ち、機械学習を利用するか否かを判定する。ここで肯定判断されるとＳ１５０及びＳ１６０に進み、一方否定判断されるとＳ１４０に進む。

なお、この利用判定部３３の判定では、上述した条件Ａ～条件Ｅのいずれかの判定条件を採用できる。
Ｓ１４０では、機械学習を利用しないので、例えば前記特開２０１８－１８１０９３号公報に記載のような従来の方法で道路形状を推定し、一旦本処理を終了する。

具体的には、マーカ抽出部２３で抽出したマーカを用いて、線候補抽出部２７でマーカ同士を接続して区分線の候補を抽出する。このマーカ同士を接続する場合には、例えばマーカ間の距離や方向等のように、マーカの位置関係等に関する所定の接続条件を満たす必要がある。なお、例えば、マーカが複数列配置される場合のように、マーカの配置によっては、複数の区分線が抽出されることがある。

次に、境界線選択部２９にて、従来と同様に、区分線のうちから最も自車線の境界線として確からしい区分線を境界線として選択する。そして、その選択した境界線を用いて道路形状を推定する。

一方、Ｓ１５０では、従来の方法に機械学習を適用して道路形状の推定を行う。
具体的には、マーカ判定部２５にて、マーカ抽出部２３で抽出したマーカが、学習認識部３１によって得られた自車線の領域の境界を示す画像境界線ＧＫに沿ったマーカであるか否かを判定する。

そして、マーカ抽出部２３で抽出したマーカが画像境界線ＧＫに沿ったマーカであると判定された場合には、そのマーカを区分線を形成するマーカとして選択し、マーカ同士を接続して区分線を抽出する。

つまり、図１２に示すように、マーカが、学習認識部３１によって得られた自車線の領域（即ち、図１２の斜線部分）の境界を示す画像境界線ＧＫに沿ったマーカである場合には、マーカの長手方向にて隣り合うマーカ同士を接続して区分線を形成する。

なお、画像境界線ＧＫに沿ったマーカであるか否かの判定は、例えば、画像境界線ＧＫとマーカとの距離に基づいて行うことができる。例えば、図１３に示すように、画像境界線ＧＫとマーカとを表示した画像において、左右方向に延びる複数の平行線を、上下方向（例えば、車両の前後方向）に等間隔で引いた場合に、画像境界線ＧＫとマーカとの複数の間隔の平均値が所定値以下の場合に、画像境界線ＧＫに沿ったマーカであると判定することが可能である。

なお、図１４にて黒色のマーカで示すように、従来の方法では、接続するマーカとして選択されない場合でも、ここでは、そのマーカが画像境界線ＧＫに沿ったマーカである場合には、マーカ同士を接続することができる。

次に、境界線選択部２９にて、従来と同様に、区分線のうちから最も自車線の境界線として確からしい区分線を境界線として選択する。そして、その選択した境界線を用いて道路形状を推定する。また、選択した境界線の最も遠い位置、即ち自車両１から最も遠い距離を、第１認識距離として求める。

また、Ｓ１６０では、学習認識部３１にて認識された、例えば図６に示したような自車両１の前方の自車線の領域に基づいて、道路形状を推定する。つまり、機械学習のみを用いて道路形状を推定する。

具体的には、図６の学習画像から、自車線の幅方向の境界を示す画像境界線ＧＫが分かるので、この画像境界線ＧＫから道路形状を推定することができる。
また、画像境界線ＧＫの最も遠い位置、即ち自車両１から最も遠い距離を、第２認識距離として求める。

Ｓ１５０及びＳ１６０の処理の後に、Ｓ１７０に進む。
なお、Ｓ１５０での処理が、部分学習推定部３７での処理に該当し、Ｓ１５０での処理が、全学習推定部３９での処理に該当する。

このＳ１７０では、状態遷移判定部４１にて、Ｓ１５０で求めた第１認識距離、即ち、従来方法に機械学習を一部適用した場合の第１認識距離と、Ｓ１６０で求めた第２認識距離、即ち機械学習のみを用いて求めた第２認識距離と、の大小を判定する。

ここでは、認識距離が大きな方の道路形状の推定結果を採用し、一旦本処理を終了する。
［１－５．効果］
本第１実施形態では、上述した構成によって、以下の効果を得ることができる。

（１ａ）本第１実施形態では、部分学習推定部３７による第１認識距離と全学習推定部３９による第２認識距離とを比較する。そして、その結果に基づいて、部分学習推定部３７による自車線の道路の形状の推定結果と全学習推定部３９による自車線の道路の形状の推定結果とのどちらの推定結果を用いるかを判定する。そのため、道路形状の推定にとって好ましい推定結果を採用することにより、精度良く道路形状の推定を行うことができる。

例えば、部分学習推定部３７による第１認識距離と全学習推定部３９による第２認識距離とを比較し、認識距離が長いほうの道路形状の推定結果を採用することにより、遠方に到るまで好適に道路形状を推定することができる。

つまり、本第１実施形態では、道路の白線等の認識が容易ではない等の各種の環境においても、機械学習の技術を考慮に入れて、自車線の前方の道路の形状を精度良く推定することができるという顕著な効果を奏する。

（１ｂ）本第１実施形態では、道路形状の推定に、学習認識部３１による認識結果を利用するか否かを判定するので、学習認識部３１による認識結果に応じて、好ましい道路形状の推定を行うことができる。その結果、精度の高い道路推定を行うことができる。

つまり、学習認識部３１による認識結果を利用するのが好ましい場合には、その認識結果を利用し、一方、学習認識部３１による認識結果を利用するのが好ましくない場合には、その認識結果を利用せずに、道路形状を推定するので、道路等の状況に応じて、精度良く道路形状の推定を行うことができる。

（１ｃ）本第１実施形態では、利用判定部３３において、上述した（条件Ａ）～（条件Ｅ）のいずれかの判定条件に基づいて、学習認識部３１による認識結果を利用するか否かの判定を行う。従って、学習認識部３１による認識結果を利用するか否かの判定を精度良く行うことができる。

（１ｄ）本第１実施形態では、利用判定部３３によって、学習認識部３１によって得られた自車両１の領域の認識結果を利用すると判定された場合には、学習認識部３１による認識結果を利用することなくマーカ抽出部２３によって抽出されたマーカが、学習認識部３１によって得られた自車線の領域の境界を示す画像境界線ＧＫに沿ったマーカであるか否かを判定する。

従って、学習認識部３１によって得られた自車線の領域の境界を示す画像境界線ＧＫに沿ったマーカを用いることにより、自車線に沿った区分線を精度良く求めることができる。

また、従来では、例えばマーカ同士を接続する条件に合わないため、区分線に沿ったマーカでないと判定されていたマーカでも、本第１実施形態では、画像境界線ＧＫに沿ったマーカを区分線を作成するマーカとして採用できる。よって、区分線を遠方まで延ばすことができる場合があり、その場合には認識距離が増加するという利点がある。

なお、区分線の認識距離が大きくなる場合には、道路形状の推定が遠方まで可能になるので、自車両１の走行における制御を安定して実施することができる。
［１－６．文言の対応関係］
本第１実施形態と本開示との関係において、自車両１が自車両に対応し、車載カメラ５が車載カメラに対応し、道路形状推定装置９が道路形状推定装置に対応し、画像取得部１５が画像取得部に対応し、推定処理部１７が推定処理部に対応する。マーカ抽出部２３がマーカ抽出部に対応し、マーカ判定部２５がマーカ判定部に対応し、学習認識部３１が学習認識部に対応し、利用判定部３３が利用判定部に対応する。部分学習推定部３７が部分学習推定部に対応し、全学習推定部３９が全学習推定部に対応し、状態遷移判定部４１が状態遷移判定部に対応し、非学習推定部４５が非学習推定部に対応し、非学習取得部４３が非学習推定部に対応する。なお、マーカ抽出部２３と線候補抽出部２７と境界線選択部２９とが非学習取得部に対応する。

［１－７．変形例１］
次に、第１実施形態の変形例１について説明する。本変形例１は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。

本変形例１は、第１実施形態とは主として前記図１１に示す処理の内容が異なるので、図１５に基づいて、異なる点を中心に説明する。なお、各ステップにおける処理が同様なものは、図１１のステップの番号と同じ番号を使用する。

（１）図１５のＳ１００～Ｓ１３０、Ｓ１５０、Ｓ１６０の処理は、図１１のＳ１００～Ｓ１３０、Ｓ１５０、Ｓ１６０の処理と同様であるので説明は省略する。
但し、本変形例１では、Ｓ１３０で機械学習を利用すると判定された場合でも、図１５のＳ１４０にて、前記図１１のＳ１４０での処理と同様に、従来方法にて道路形状の推定を行う。

また、その際には、Ｓ１４０にて、上述した第４認識距離の算出を行う。なお、第４認識距離とは、学習認識部３１を利用することなく、従来のように、マーカを接続して得られた区分線を認識できる距離、即ち、従来方法による道路の形状の認識距離である。

そして、Ｓ１８０では、機械学習のみの処理を行うＳ１６０と、従来方法と機械学習とを組み合わせた処理を行うＳ１５０と、従来方法の処理を行うＳ１４０と、にて得られた、第２認識距離、第１認識距離、第４認識距離のうち、どの認識距離が最も大きいかを判定する。

そして、その判定の結果、最も認識距離が大きな値が得られたステップにおける道路形状の推定値を選択する。つまり、認識距離が最大である道路形状の推定結果を採用し、一旦本処理を終了する。

（２）また、他の方法として、Ｓ１８０では、機械学習のみのＳ１６０で得られた第２認識距離と、従来方法のＳ１４０で得られた第４認識距離とを比較し、認識距離が大きな方の道路形状の推定結果を採用してもよい。

この場合は、Ｓ１５０の処理結果を使用しないので、Ｓ１５０の処理は実施しないようにしてもよい。
（３）さらに、他の方法として、Ｓ１８０では、従来方法と機械学習とを組み合わせたＳ１５０で得られた第１認識距離と、従来方法のＳ１４０で得られた第４認識距離とを比較し、認識距離が大きな方の道路形状の推定結果を採用してもよい。

この場合は、Ｓ１６０の処理結果を使用しないので、Ｓ１６０の処理は実施しないようにしてもよい。
この変形例１においても、第１実施形態と同様な効果を奏する。

［１－８．変形例２］
次に、第１実施形態の変形例２について説明する。本変形例２は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。

本変形例２では、前記第１実施形態又は前記変形例１において推定された道路形状について、更に他の情報を利用して、その推定が適切かどうかを判定する。
（１）例えば、自車両１の前方の他車両が走行した経路（即ち、軌跡）から道路形状を推定し、この推定結果を用いて、上述した第１実施形態等による道路形状の推定結果の適否を判定してもよい。例えば、他車両の軌跡から得られたカーブの向きが前記第１実施形態の方法によって得られたカーブの向きと反対の場合等のように、前記第１実施形態による推定結果が適切でない可能性があるときには、前記第１実施形態による推定結果を採用しないようにしてもよい。

なお、他車両の軌跡は、例えば、車載カメラ５によって撮影された画像等を利用して求めることができる。
（２）また、例えば、ヨーレートセンサによって求めた自車両１のヨーレートを用いて、公知の方法で車線曲率等の道路形状を推定し、この推定結果を用いて、上述した第１実施形態等による道路形状の推定結果の適否を判定してもよい。

（３）さらに、ナビゲーション装置等の地図情報を参照し、上述した第１実施形態等による道路形状の推定結果の適否を判定してもよい。
（４）前記第１実施形態又は前記変形例１においては、認識距離の大きさを用いて比較したが、推定した道路の形状自体を比較して、いずれかの推定部３９、３７、４５の推定結果を採用するようにしてもよい。

例えば、全学習推定部３９で推定された道路形状（例えば、車線曲率）と、部分学習推定部３７で推定された道路形状（例えば、車線曲率）と、を比較する場合を例に挙げて説明する。この場合に、例えば、その道路のおおよその曲がり具合等が分かっているとき、例えば直線道路であることがナビゲーション装置等から分かるときには、その情報を考慮に入れる。

つまり、仮に、全学習推定部３９にて道路がまっすぐであるとの道路形状の推定が得られ、一方、部分学習推定部３７にて道路がカーブしているとの道路形状の推定が得られた場合には、ナビゲーション装置の情報に基づいて、道路形状がまっすぐであると推定した全学習推定部３９の推定結果が適切であるとみなしてもよい。この場合には、全学習推定部３９の推定結果を採用してもよい。

この変形例２においても、第１実施形態と同様な効果を奏する。
［２．第２実施形態］
次に、第２実施形態について説明する。本第２実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。

本第２実施形態では、自車両１の前方の自車線が分岐しているかどうかを判定し、その判定結果に基づいて自車線の選択の処理を行う。なお、この分岐時の処理は、例えば境界線選択部２９の分岐判定部５１（例えば、図４参照）にて実施される。

以下、自車線が分岐する場合の処理について詳細に説明する。
例えば、図１６の右図及び左図に示すように、左側走行において自車両１の前方にて自車線が分岐する場合、例えば左に分岐する場合には、自車線の左側の境界に沿って、所定幅の実線で示す左側の境界線ＫＬ１が引かれている。また、例えば自車線の右側の境界に沿って、所定幅の破線で示す右側の境界線ＫＲが引かれている。

このうち、左側の境界線ＫＬ１は、自車両１に近い（即ち、図１６の下方の）位置から分岐路に沿って左側にカーブするが、分岐する部分からは、左側の境界線ＫＬ１から分岐するように、所定幅の破線で示す左側の境界線ＫＬ２が引かれている。この左側の境界線ＫＬ２は、自車線である本線と本線から分岐する分岐路とを区分する区分線である。

なお、図１６では、後述する認識中のペアを示す線や再選択のペアを示す線は、各境界線に対応するものであるが、見やすくするために、各境界線との重なりを避けて、大よその位置にて細い線にて記載してある。

次に、前記図１６のような分岐路に関して、その分岐を判定する分岐判定処理について、図１７のフローチャートに基づいて説明する。
図１７のＳ２００では、学習認識部３１による認識結果を利用することなく、線候補抽出部２７にて、マーカ同士を接続して区分線の候補を抽出する。つまり、自車線に沿って延びる線を抽出する。そして、その抽出した線のうち、Ｙ字形状又はＶ字形状の線が存在するか否かを判定する。ここで肯定判断されるとＳ２１０に進み、一方否定判断されると一旦本処理を終了する。

ここで、例えば図１６の左図のように、自車線が左側に分岐する場合には、左側の境界線ＫＬ１、ＫＬ２がＹ字形状となっているので、肯定判断される。なお、この時点までに、自車線の左右の境界線として認識されている線、即ち、左側の境界線ＫＬ１と右側の境界線ＫＲとが、認識中のペアである。なお、前記認識されている線を認識線と称する。

Ｓ２１０では、左にカーブする分岐路に沿った最も左側の境界線ＫＬ１ではなく、それよりも右側に位置する境界線ＫＬ２を、自車両１が走行する予定の自車線の左側の境界線として選択した場合（即ち、再選択した場合）に、その左側の境界線ＫＬ２が右側の境界線ＫＲと平行であるか否かを判定する。ここで肯定判断されるとＳ２２０に進み、一方否定判断されると一旦本処理を終了する。

なお、再選択された時点では、左側の境界線ＫＬ２と右側の境界線ＫＲとは、自車線の左右の境界線として認識（即ち、確定）されたものではない。
Ｓ２２０では、図１６の左図に示すように、現時点で、自車線の境界線として認識している、左側の境界線ＫＬ１と右側の境界線ＫＲとの間隔、即ち認識中のペアの間隔が、進行方向（即ち、同図上側）に行くほど広がっているか否かを判定する。ここで肯定判断されるとＳ２３０に進み、一方否定判断されると一旦本処理を終了する。

なお、認識中のペアの間隔が広がっているか否かは、例えば進行方向における所定の距離において、認識中のペアの間隔が所定の幅以上である場合に、広がっていると判定することができる。

Ｓ２３０では、認識中のペアの間隔が広がっているので、上述した再選択された、左側の境界線ＫＬ２と右側の境界線ＫＲとの間隔、即ち再選択のペアの間隔が、通常の車線幅と比べて狭すぎないか（即ち、十分に広いか）否かを判定する。ここで肯定判断されるとＳ２４０に進み、一方否定判断されると一旦本処理を終了する。

Ｓ２４０では、前記図６に示すように、学習認識部３１によって得られた、自車線の領域を示す画像中の左右の画像境界線ＧＫを用いた処理を行う。つまり、図１６の右図に示すように、左側の画像境界線ＧＫと左側の境界線ＫＬ２との間の間隔（即ち、ずれ）と、右側の画像境界線ＧＫと右側の境界線ＫＲとの間の間隔（即ち、ずれ）とが、それぞれ所定の閾値以下か否かを判定する。

つまり、左右の画像境界線ＧＫと再選択されたペアとのずれが少ないか否かを判定する。すなわち、再選択されたペアは、認識線として確からしいか否かを判定する。ここで肯定判断されるとＳ２５０に進み、一方否定判断されると一旦本処理を終了する。

Ｓ２５０では、再選択された左側の境界線ＫＬ２と右側の境界線ＫＲと（即ち、再選択されたペア）が、自車線の左右の境界線として適切なものであると判断されたので、その再選択されたペアを新たな認識線として決定し、一旦本処理を終了する。

つまり、前記Ｓ２００～Ｓ２４０の処理で全て肯定判断された場合のみ、再選択された左側の境界線ＫＬ２と右側の境界線ＫＲとが、自車線の境界線として適切なものとして決定する。一方、前記Ｓ２００～Ｓ２４０のいずれか一つでも否定判断された場合には、再選択された左側の境界線ＫＬ２と右側の境界線ＫＲとが、自車線の左右の境界線として適切なものとみなさない。

なお、前記Ｓ２００～Ｓ２４０の順番は、適宜変更してもよい。
以上詳述したように、本第２実施形態では、学習認識部３１による認識結果を利用することなく、自車両１の前方の画像に基づいて、自車両１の前方の自車線の幅が、自車両１の位置より前方の方が広がっていると判断された場合に、自車線の左側又は右側の境界を示す境界線の候補が複数あるときには、前記所定の選択条件に基づいて、複数の境界線の候補から自車線として確からしい境界線の候補を再選択する。

そして、再選択した自車線の境界線の候補について、学習認識部３１によって得られた自車両１の前方の自車線の領域に基づいて、再選択した自車線の境界線の候補が適切であるか否かを判定する。

このような構成により、本第２実施形態では、第１実施形態と同様な効果を奏する。また、本第２実施形態では、精度良く分岐判定を行うことができる。さらに、自車線に分岐路がある場合に、適切に自車線の境界線を決定することができる。

また、本第２実施形態では、消し残し線やノイズ線に基づいて、誤った分岐判定をすることを抑制することができる。なお、消し残し線とは、例えばマーカから複数の線候補が得られた場合には、適切でない候補線を削除するが、その場合に、削除されないで残った線である。また、ノイズ線とは、電気的なノイズ等のように、何からの原因で、画像に発生する不要な線である。

［３．第３実施形態］
次に、第３実施形態について説明する。本第３実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。

［３－１．構成］
本第３実施形態は、道路形状推定装置９にて、主として、学習認識部３１による認識結果を用いて道路形状の推定を行うものである。

本第３実施形態では、図１８に示すように、推定処理部１７として、学習認識部３１、エッジ抽出部２１、マーカ抽出部２３、マーカ除外部５３、線候補抽出部２７、境界線選択部２９、道路形状推定部３５を備えている。

このうち、エッジ抽出部２１、マーカ抽出部２３、線候補抽出部２７、境界線選択部２９、道路形状推定部３５は、第１実施形態と同様な機能を有する。
学習認識部３１は、画像取得部１５によって取得された自車両１の前方の画像に対して、自車両１の前方の画像のディープラーニングによる機械学習の結果を用いて、自車両１の前方の道路の領域と道路以外の領域と他車両の領域とを（即ち、３つのクラスを）認識するように構成されている。

なお、上述した３クラスの領域の区分以外に、信号、空、歩道、ガードレール、歩行者、自車両等のうちの１又は複数のように、更に他の領域を区分してもよい。
マーカ除外部５３は、学習認識部３１の認識結果に基づいて、マーカ抽出部２３によって抽出されたマーカのうち、区分線を構成するマーカとして適切でないマーカを除外するように構成されている。

［３－２．処理の概要］
次に、本第３実施形態における処理の概要について、図１９に基づいて説明する。
例えば、学習認識部３１によって、図１９の上図に示すような画像（即ち、学習画像）が得られた場合を考える。ここでは、ディープラーニングの機械学習を利用した学習画像として、道路の領域と道路以外の領域（即ちその他の領域）と他車両の領域とが区分されている画像が得られている。

図１９では、道路の領域を斜線で示し、他車両の領域をメッシュで示し、それ以外の領域をブランク（即ち、白色）で示している。なお、図１９では、理解のために、破線で自車線の左右の境界線を示すが、自車線の境界線は、図１９の学習画像では得られない。

また、学習認識部３１とは別に、機械学習を用いない従来の方法で、マーカ抽出部２３等により、道路上のマーカを抽出する。図１９の上図と下図との間の中図では、図１９の上図にマーカを重ねて表示している。このとき、マーカは、主として道路の領域に存在するが、道路にないマーカ（即ち、路外マーカ）もある。なお、他車両の領域に存在するマーカも路外マーカとする。図１９の中図では、路外マーカを破線で示している。

次に、図１９の下図に示すように、路外マーカは、自車線の境界線に該当するマーカではない可能性が高いので、抽出されたマーカから路外マーカを除外する。そして、路外マーカ以外のマーカを、従来と同様に接続して、自車線の境界線の候補（即ち、区分線）を抽出する。

［３－３．推定処理］
次に、本第３実施形態における道路形状の推定処理について、図２０のフローチャートに基づいて説明する。

道路形状推定装置９は、図２０の推定処理を開始すると、Ｓ３００では、前記図１１のＳ１００と同様に、車載カメラ５で撮影した画像を読む込む処理を行う。
Ｓ３００の処理の後に、Ｓ３１０及びＳ３２０にて、読み込んだ画像をそれぞれ処理する。なお、Ｓ３２０の処理とＳ３１０の処理とは、並列に行ってもよいが、直列に行ってもよい。例えばＳ３１０の処理の後にＳ３２０の処理を行っても、その逆に、Ｓ３２０の処理の後にＳ３１０の処理を行ってもよい。

つまり、Ｓ３１０では、前記Ｓ１１０と同様に、従来と同様な方法で、マーカ抽出部２３にて、読み込んだ画像からマーカを抽出する処理を行う。
また、Ｓ３２０では、学習認識部３１にて、読み込んだ画像から、前記図１９の上図に示すように、道路の領域と道路以外の領域と他車両の領域とを区分した画像（即ち、学習画像）を作成する。

なお、上述した３クラスの領域の区分以外に、信号、空、歩道、ガードレール、歩行者、自車両等のうちの１又は複数のように、更に他の領域を区分してもよい。
Ｓ３１０及びＳ３２０の処理の後に、Ｓ３３０に進む。このＳ３３０では、マーカ抽出部２３にて抽出したマーカから、不要なマーカを除外する。つまり、前記図１９に示した路外マーカを除外する。

続くＳ３４０では、路外マーカを除外したマーカを用いて、前記Ｓ１５０と同様に、線候補抽出部２７にて、マーカ同士を接続して、境界線の候補となる線（即ち、区分線）を抽出する。

続くＳ３５０では、前記Ｓ１５０と同様に、境界線選択部２９にて、複数の線候補から、自車線の境界線として確からしい線を選択して境界線とする。
続くＳ３６０では、前記Ｓ１５０と同様に、道路形状推定部３５にて、自車線の境界線から道路形状を推定して、一旦本処理を終了する。

本第３実施形態は、第１実施形態と同様な効果を奏する。また、本第３実施形態では、路外マーカを除外したマーカを用いて、自車線の境界線を選択するので、境界線を推定する精度が高いという利点がある。例えば、他車両の側面をマーカと誤認したり、境界線を示す線を除外するミス等を防ぐことができるので、境界線を推定する精度を高めることができる。

［４．第４実施形態］
次に、第４実施形態について説明する。本第４実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。

［４－１．処理の概要］
まず、本第４実施形態における処理の概要について説明する。
本第４実施形態では、下記（ａ）～（ｃ）の内容に基づいて、道路の暫定供用区間を検出する。

（ａ）例えば日本では、対面通行がなされる暫定２車線道路の区間である暫定供用区間では、白色線（即ち、白線）と黄色線（即ち、黄線）とが並んで引かれた複合線が、中央線として用いられる。従って、本第４実施形態では、道路を撮影した画像から、そのような複合線が抽出された場合には、暫定供用区間の可能性が高いと判定する。

ここで、暫定供用区間における道路について説明する。
図２１に例示するように、２車線の道路では、自車線の左側に、白線である左側の境界線６１があり、対向車線の右側に、白線である右側の境界線６３がある。そして、暫定供用区間では、自車線と対向車線との間に、特別な構成の中央帯６５がある。中央帯６５は、自車線側に、黄線である左側の中央線６７と白線である左側の中央線６９とを備え、対向車線側に、黄線である右側の中央線７１と白線である右側の中央線７３とを備えている。

（ｂ）前記複合線のうち、黄線は、白線に比べて路面とのコントラストが低く、道路を撮影した画像からエッジを抽出することは容易ではない。また、黄線は、掠れていたり、色が薄い場合には、黄色を定義するＲＧＢによる線色判定が困難になる。なお、ＲはＲＥＤ、ＧがＧＲＥＥＮ、ＢはＢＬＵＥの略である。

そこで、本第４実施形態では、暫定供用区間である可能性が高い場合には、黄線を抽出する条件を調整することにより、黄線を抽出し易くしている。
なお、道路を撮影した画像は、各画素のデータとして、赤色成分値（即ち、Ｒ値）、緑色成分値（即ち、Ｇ値）、及び青色成分値（即ち、Ｂ値）を有するカラー画像である。これらの、Ｒ値、Ｇ値、Ｂ値は、各色における輝度のデータである。

（ｃ）更に、暫定供給区間では、前記図２１に示すように、道路の中央の複合線に沿って、ポール７５や縁石７７が配置されている場合がある。つまり、中央帯６５の中央には、ポール７５と縁石７７とが、道路の延びる方向に沿って配置されている場合がある。

そこで、本第４実施形態では、予めディープラーニングによる機械学習によって、暫定供給区間におけるポール７５や縁石７７を示す領域を学習し、その学習による認識結果を利用して、ポール７５や縁石７７を検出している。

つまり、ポール７５や縁石７７が検出された場合には、暫定供給区間である可能性が高いと判定する。
［４－２．処理の原理］
次に、上述した（ａ）～（ｃ）に関する線色判定処理の原理について説明する。

なお、線色判定処理とは、道路の画像から得られた複数の線から黄線を抽出するために、黄線を抽出するための条件を変更するための処理であり、図４の境界線選択部２９に設けられた線色判定部５５により実施される。

上述したように、暫定供給区間では、例えば自車線の右側において、黄線である左側の中央線６７と白線である左側の中央線６９とが並んで引かれている。よって、従来では、第１実施形態における機械学習を用いない場合には、この２つの中央線６７、６９が検出された場合には、暫定供給区間であると判定している。

そのため、従来では、白線や黄線を検出するために、各線の色を検出するための判定値が設定されている。
この色は、ＲＧＢにより規定できるので、道路を撮影した画像から例えば白線を抽出するために、白色に対応したＲＧＢの各輝度の判定値を設定し、この判定値を満たす場合には、その線を白線と認定している。

一方、黄線は、白線に比べてＲの輝度は高いが、Ｇ、Ｂの輝度は低く、さらに、Ｂの輝度が路面領域よりも低い。そこで、この特性を踏まえて、黄線を抽出するために、黄色に対応したＲＧＢの各輝度の判定値を設定し、この判定値を満たす場合には、その線を黄線と認定している。

ところで、上述したように、白線に比べて黄線の抽出は容易ではない、従って、予め定められた単一の判定値で黄色を判定する方法では、精度良く暫定供給区間を判定できない恐れがある。

そこで、本第４実施形態では、線色判定部５５により行われる下記の線色判定処理によって、黄線を抽出し易くし、その結果を利用して、精度よく暫定供用区間を検出する。
［４－３．処理］
以下、図２２のフローチャートに従って、線色判定処理について説明する。

この線色判定処理は、暫定供用区間の可能性の高い条件を満たした場合において、自車線における例えば黄色の中央線６７をより確実に抽出するための条件を調整するための処理である。なお、ここでは、日本のように車両１の左側走行の場合を例に挙げる。

図２２に示すように、Ｓ４００では、自車線の右側にて道路に沿って延びる多重線が存在するか否かを判定する。ここで肯定判断されるとステップ４１０に進み、一方否定判断されると一旦本処理を終了する。

つまり、前記図２１に示すように、暫定供用区間では、中央帯６５に複数の線である中央線６７、６９、７１、７３が存在するので、そのような状況であるかあるか否か、即ち、暫定供用区間の可能性が高い状況であるか否かを判定する。

Ｓ４１０では、自車線の左側にて道路に沿って延びる実線が存在するか否かを判定する。ここで肯定判断されるとステップ４２０に進み、一方否定判断されると一旦本処理を終了する。

Ｓ４２０では、自車線の右側にて道路に沿って延びる黄線が存在するか否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されるとＳ４３０に進む。

ここでは、暫定供用区間では存在する自車線の右側の黄線が検出できない状況、即ち、暫定供用区間であるとは判断できない状況を判定している。
Ｓ４３０では、自車線の右側にて道路に沿って延びる線がある場合に、当該線の線幅が閾値以上であるか否かを判定する。ここで肯定判断されるとステップ４４０に進み、一方否定判断されると一旦本処理を終了する。

暫定供用区間では、前記図２１に示すように、黄線である左側の中央線６７と白線である左側の中央線６９とが近接して設けられている。従って、撮影された道路の画像から、両中央線６７、６９が一体となった１本の線として抽出される恐れがある。そのような線は、通常の白線や黄線の幅よりも広いので、所定の閾値により、暫定供用区間である可能性が高い幅の広い線を検出する。

Ｓ４４０では、上述した機械学習による認識結果を利用して、自車線の右側に沿って、ポール７５及び／又は縁石７７による境界を示す構造物が存在するか否かを判定する。ここでは、ポール７５及び縁石７７が存在することを判定してもよいし、ポール７５及び縁石７７のうち一方が存在することを判定してもよい。ここで肯定判断されるとステップ４５０に進み、一方否定判断されると一旦本処理を終了する。

Ｓ４５０では、黄線が検出し易くなるように、黄線を抽出する条件を調整して、一旦本処理を終了する。つまり、黄色を抽出する条件を緩和して、一旦本処理を終了する。
また、ある線（例えば、ある中央線）に対して、白線であるという白線判定と、黄線であるという黄線判定との両方が成立する場合が考えられるが、その場合には、黄線であると判定するようにしてもよい。つまり、線の色をＲＧＢの各値の組み合わせによって判定する場合には、白線と判定する条件と黄線と判定する条件とを一部重なるように設定することがある。このようなときには、同じ線が白線の判定条件と黄線の判定条件との両方を満たす場合が考えられるが、その場合には、その線を黄線と判定するようにしてもよい。

また、暫定供給区間を判定する場合に、車線幅の条件を加味する場合において、例えば、ある中央線に対して、一旦黄線が存在すると判定された場合には、車線幅の条件を考慮しなくともよい。

なお、ここでは、前記Ｓ４００～４４０の全ての条件が満たされた場合に、黄線を抽出する条件を変更したが、それとは別に、前記Ｓ４００～４３０の全ての条件が満たされた場合に、黄線を抽出する条件を変更してもよい。

そして、前記Ｓ４５０の処理後は、黄線が検出し易い調整後の条件を用いて、例えば前記多重線に対して黄線を抽出する処理を行うことができる。この処理により、前記多重線において黄線が抽出された場合には、暫定供用区間であると判定してもよい。詳しくは、前記黄線（例えば、中央線６７）と白線（例えば、中央線６９）とが並んで引かれた複合線が抽出された場合には、暫定供用区間と判定してもよい。

なお、抽出された黄線等に基づいた暫定供用区間の判定は、例えば図４の境界線選択部２９に設けられた暫定供用判定部５７により実施することができる。
本第４実施形態は、第１実施形態と同様な効果を奏する。また、本第４実施形態では、上述した線色判定処理を用いることによって、黄線を好適に抽出できるので、暫定供用区間を精度よく検出することができる。

［５．第５実施形態］
次に、第５実施形態について説明する。本第５実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。

第５実施形態では、道路が分岐する区間、例えば本線から分岐路が分岐する区間である分岐区間において、自車両１が走行する道路形状を早めに推定するために、早めに区分線を抽出する処理を行う。以下、詳細に説明する。

［５－１．原理］
まず、本第５実施形態の道路形状推定装置９で実施される処理の原理について説明する。

（１）図２３の上図に示すように、例えば、車両１の左側通行の道路が本線から左方向に分岐する分岐路を有する場合を例に挙げる。この場合には、道路の左側の境界を示す実線のマーカ、即ち左側の境界を示す白線の境界線は、左側にカーブする。ここでは、境界線のうち、同図下方（即ち、自車両１に近い手前）の境界線から分岐する部分を分岐線と称する。なお、図２３の上図は、学習認識部３１による認識結果を使用せずに、車載カメラ５で撮影されたカメラ画像（即ち、非学習画像）である。

また、図２３の上図に示すように、分岐区間が始まる分岐点からは、例えば、本線と分岐路との間に、本線と分岐路とを区分するように、本線に沿ってマーカが複数配置されている。つまり、本線と分岐路との間には、複数のマーカが順次配列されてなる、破線の白線（以下、分岐破線）が引かれている。

前記分岐破線は、マーカ同士を長手方向に沿って（即ち、本線に沿って）順次接続した区分線に相当するものである。なお、図２３の上図では、所定個のマーカを接続した区分線の一部、即ち、自車両１に近いマーカから、順次所定個のマーカを接続した領域（以下、近接領域）を太線で囲って示している。

ところで、従来では、実線の白線からなる境界線や破線の白線からなる分岐破線を認識する、いわゆる白線認識は、分岐路への誤認識の抑制のために、分岐線と分岐破線とのＹ字特徴やマーカの特徴等に着目して行われていた。そして、この白線認識の結果に基づいて、分岐区間を判定し、判定された時に認識していた線、即ち区分線よりも外側の分岐線を、白線認識に用いないことにより、レーンキープ制御の誤作動を抑制するようにしていた。

また、従来では、白線認識の検出精度の向上のために、例えば、自車両１に最も近い分岐破線のマーカが所定距離内（例えば、２０ｍ内）の場合に、そのマーカに基づいて区分線を抽出するように構成されていた。

しかしながら、今日のレーンキープ制御は、急カーブにも対応できるように、操舵制御量が増しており、一時的な分岐線の誤認識でも誤作動になる恐れがある。そのため、早期に区分線を認識することが望ましい。

そこで、本第５実施形態では、ディープラーニングを用いた機械学習によって得られた学習結果を、自車線の境界を認識する際に利用することで、分岐区間における区分線を早期に線候補として抽出するようにしている。

つまり、図２３の上図に示す非学習画像から得られるマーカに関する情報と、図２３の下図に示す学習画像から得られる自車線の境界に関する情報と、を組み合わせて、区分線の早期抽出を行うか否かを判定している。

なお、図２３の下図は、学習認識部３１による認識結果を使用して得られた学習画像であり、斜線が自車線の領域を示し、自車両の領域の左側の白色部分が自車線以外の道路の領域を示し、メッシュ部分が他車両の領域を示している。なお、学習画像ではないが、図２３の下図では、前記図２３の上図おける道路の左側の境界線及び分岐線も破線で示している。

具体的には、非学習画像から得られた分岐破線における複数のマーカの長さ、即ち近接領域の道路に沿った長さが、所定値を上回るほど十分に長く、しかも、その近接領域が学習画像から得られる自車線の左側の境界に沿っていると判定された場合には、区分線の早期抽出の条件が満たされたとして、区分線の抽出を行う。つまり、この判定により、分岐破線に沿った区分線の抽出を従来より早期に開始することができる。

例えば、図２４に路面の鳥瞰図を示すように、複数のマーカによって構成される近接領域に基づいて、同図の下方の０ｍの位置の自車両１に向かうように、区分線の早期抽出を行う。なお、図２４では、この早期抽出された区分線を破線で示し、境界線に沿った線Ｋ１を一点鎖線で示している。

詳しくは、複数のマーカを囲んだ近接領域のうち、例えば、同図の上下方向である外周に沿った線Ｌ１を、同図下方の自車両１側に延長することで、区分線を早期に抽出することができる。

従って、このようにして早期に抽出された区分線に基づいて、道路形状を推定することができる。つまり、道路形状を示す道路パラメータを求めることができる。
このような処理を行うことにより、下記の効果が得られる。

例えば、図２５の上図（即ち、「改善前」の図面）に示すように、従来では、区分線の抽出が遅いので、自車両１が走行する自車線の左側に沿った線として確定された認識線は、分岐点において、本線から外れて分岐路に沿って左側に曲がった線となる。

それに対して、本第５実施形態では、図２５の下図（即ち、「改善後」の図面）に示すように、区分線の抽出が早いので、分岐点から本線の左側に沿った線が認識線となる。つまり、分岐破線に沿った正しい区分線を認識線とすることができる。

（２）ところで、このようにして道路パラメータを求めた場合でも、実際の道路状況等によっては、道路パラメータが適切でない場合がある。
例えば前記図２４に示すように、早期抽出された区分線が自車両１の車両幅を通る場合がある。このような場合には、早期抽出された区分線を、レーンキープ制御等を行う車両において、レーンキープ制御等に用いる区分線として採用することは適当ではない。

同様に、急カーブなどのような所定の道路状況の場合に、早期抽出された区分線をレーンキープ制御等に用いる区分線として採用することが適当ではないことがある。つまり、急カーブ等のように、道路形状を示す道路パラメータが急変する場合には、早期抽出された区分線を、レーンキープ制御等に用いる区分線として採用することは適当ではない恐れがある。

そこで、本第５実施形態では、道路パラメータが急変するような場合には、早期抽出された区分線に対応した道路パラメータを、レーンキープ制御等に用いる区分線（即ち、認識線）の道路パラメータとして採用すること（即ち、差し替えること）を無効化している。即ち、差し替えを禁止している。

例えば図２６の上図（即ち、「改善前」の図面）に示すように、早期抽出された区分線に対応した道路パラメータを、認識線の道路パラメータとして差し替えて採用する場合には、分岐点より手前では、認識線の形状は実際の道路の境界線の形状からずれることがある。同図に、この誤認識された認識線（即ち、誤認識線）を太線で示す。

それに対して、本第５実施形態では、図２６の下図（即ち、「改善後」の図面）に示すように、道路パラメータが急変する場合には、道路パラメータの差し替えを禁止しているので、認識線は、分岐点の前後で、境界線及び分岐破線に沿った正しい認識線となる。同図に、この正しく認識された認識線（即ち、正認識線）を太線で示す。

［５－２．構成］
次に、本第５実施形態における推定処理部１７の構成について説明する。つまり、早期に区分線を抽出するとともに、道路パラメータの差し替えを禁止するための構成について説明する。

本第５実施形態では、図２７に示すように、推定処理部１７は、エッジ抽出部２１、マーカ抽出部２３、マーカ判定部２５、線候補抽出部２７、境界線選択部２９、学習認識部３１、利用判定部３３、道路形状推定部３５を備えている。

これらの、エッジ抽出部２１、マーカ抽出部２３、マーカ判定部２５、線候補抽出部２７、境界線選択部２９、学習認識部３１、利用判定部３３、道路形状推定部３５は、第１実施形態と同様な機能を有している。

さらに、前記線候補抽出部２７は早期抽出部８１を備え、前記境界線選択部２９は分岐判定部８３を備え、道路形状推定部３５は急変判定部８５を備えている。
以下、各部における機能について説明する。

線候補抽出部２７は、マーカ抽出部２３によって抽出されたマーカに基づいて、自車両１の前方の道路の幅方向における領域を区分する区分線の候補を抽出するように構成されている。

早期抽出部８１は、マーカ抽出部２３によって抽出されたマーカ、詳しくは、複数のマーカからなる近接領域が、区分線の候補を早期に抽出する所定の条件を満たした場合には、前記条件を満たさない場合に比べて、遠方より区分線の候補を抽出するように構成されている。

分岐判定部８３は、自車両１の前方の道路が分岐する分岐区間であるか否かを判定するように構成されている。なお、この分岐判定部８３としては、上述した第２実施形態における分岐判定の構成を採用できるが、それ以外に、従来の各種の分岐判定を採用することができる。例えば、特開２０１１－１９８１１０号公報参照。

境界線選択部２９は、分岐判定部８３によって分岐区間であると判定された場合には、区分線の候補を、自車線の幅方向における境界を示す区分線（即ち、境界線）として選択するように構成されている。

急変判定部８５は、前記区分線の候補を、自車線の幅方向における境界を示す区分線（即ち、境界線）として選択する場合に、当該選択前及び／又は後の道路の形状の特徴を示す道路パラメータについて、当該道路パラメータの所定の条件以上の急変を判定するように構成されている。ここで、「選択前及び／又は後」としては、選択時の前や後において、選択時から所定の期間を採用できる。

道路形状推定部３５は、急変判定部８５によって、道路パラメータが急変したと判定された場合には、自車両１の制御に用いる道路パラメータを、前記選択された区分線における道路パラメータに差し替える処理を無効とするように構成されている。

［５－３．処理］
次に、本第５実施形態の道路形状推定装置９で実施される処理について説明する。
図２８のフローチャートに示すように、Ｓ５００では、分岐区間において早期の区分線を抽出するための条件（即ち、早期判定条件）が成立したか否かを判定する。ここで肯定判断されるとＳ５１０に進み、一方否定判断されると一旦本処理を終了する。

この早期判定条件としては、下記の（条件１）、（条件２）、（条件３）の全てが成立する条件が挙げられる。
（条件１）
マーカから構成された近接領域の道路に沿った長さが２０ｍ以上。

（条件２）
マーカから構成された近接領域のうち最も近い位置と最も遠い位置と、学習画像から得られた自車線の境界とのズレ量とを比較し、両方の位置ともズレ量が所定位置未満。例えば、画像において１２ピクセル未満。

（条件３）
前記条件１、２の状態が、画像の３フレーム連続して成立。
なお、このＳ５００で否定された場合には、上述した従来と同様な条件が成立したときと同様に、区画線の抽出を行い、その区分線に基づいて道路パラメータを算出する。例えば、マーカから構成された近接領域の最も近い位置が自車両１から２０ｍ未満となった場合に、その近接領域から自車両１側に引いた区分線が、車両幅よりも外側（即ち、図２４の左側）にある場合には、その区分線に基づいて道路パラメータを抽出する。

一方、Ｓ５１０では、早期判定条件が成立しているので、早期判定条件が成立してから、速やかに、近接領域から例えば近接領域の内側（即ち、図２４の右側）の線に沿って自車両１側の区分線を伸ばすことにより、早期に区分線を抽出する。なお、区分線の伸ばす方法としては、近接領域の内側の線の先端（即ち、自車両１側の先端）を、その位置における接線に沿って伸ばす方法などを採用できる。

続くＳ５２０では、道路が分岐するか否か、即ち、分岐路が存在するか否かの分岐路判定を行う。この分岐路判定としては、上述した第３実施形態の方法や周知の方法を採用できる。ここで肯定判断されるとＳ５３０に進み、一方否定判断されると一旦本処理を終了する。

Ｓ５３０では、分岐路がある分岐区間であるので、前記Ｓ５１０で抽出した区分線の候補を、前記自車線の幅方向における境界、即ち本線と分岐路とを区分する前記区分線（即ち、分岐破線）として選択する。

続くＳ５４０では、選択された区分線に基づいて、道路パラメータを算出する。
続くＳ５５０では、道路パラメータが、例えば前回の値に比べて所定の判定値以上に変化（即ち、急変）したか否かを判定する。つまり、道路の形状等の状況が、例えば前回検出した状態から所定以上に変化（即ち、急変）したか否か、例えば急カーブであるか否かを判定する。ここで肯定判断されるとＳ５６０に進み、一方否定判断されると一旦本処理を終了する。

なお、前記判定の条件としては、急変に限らず、所定の道路パラメータが、所定期間内に所定以上変化したか否かなど、所定の条件を満たしているか否かにより判定してもよい。

Ｓ５６０では、道路パラメータが急変したので、その道路パラメータを採用しないようにする。つまり、道路パラメータの差し替えを無効とし、一旦本処理を終了する。
なお、道路パラメータは、道路の形状（例えば、カーブ）等の状況を示す指標であるので、上述のような車線曲率や車線幅などの各種の道路パラメータを採用できるが、それ以外の道路の形状等の状況を示す指標を採用することもできる。

例えば、上述したフィッティング誤差を採用し、フィッティング誤差が、所定の判定値以上となった場合や、所定期間において所定以上となった場合などのよう、道路の形状等の推定精度が低下したと考えられる場合には、車両の制御に用いる道路パラメータの差し替えを禁止するようにしてもよい。

このように、今までと同様に道路パラメータを採用すると、車両の制御性が低下するような場合には、道路パラメータの差し替えを禁止するようにしてもよい。
［５－４．道路パラメータ］
ここで、道路パラメータについて簡単に説明する。

道路の曲率（即ち、車線曲率）等の道路パラメータは、周知のカルマンフィルタ（例えば、拡張カルマンフィルタ）と、境界線や区分線において道路の延びる方向に沿った複数の位置（即ち、測定点）と、を用いることにより求めることができる。なお、測定点とは、路面における前後方向や左右方向の位置を示す位置のデータである。

つまり、境界線や区分線の測定点と、過去に推定された道路パラメータから予測した道路パラメータの予測値とに基づいて、現在の道路パラメータを推定することができる。言い替えれば、過去に推定した道路パラメータと、境界線や区分線の測定点とに基づいて、現在の道路パラメータの推定値を算出することができる。

なお、カルマンフィルタを用いて道路パラメータを推定する方法については、例えば特開２０１６－１９９１９６号公報、特開２０１３－１９６３４１号公報等に記載のように周知であるので、その説明は省略する。

従って、上述したように、道路パラメータの差し替えを禁止しない場合には、複数の測定点のデータを、今までの境界線の全てのデータから新たな区分線の全てのデータに入れ替えることによって、新たな道路パラメータを求めることができる。

一方、差し替えを禁止した場合には、下記に示すように、測定点のデータを、時系列に沿って、順次、境界線のデータから区分線のデータに入れ替えることによって、徐々に道路パラメータを修正する方法を採用できる。

例えば、ある時点ｔ１における境界線の測定点のデータｄ１と、過去に推定された道路パラメータから予測した道路パラメータｐ１とに基づいて、次の時点ｔ２における道路パラメータｐ２を推定する。

次に、時点ｔ２における境界線の測定点のデータｄ２と、前回予測した道路パラメータｐ２とに基づいて、次の時点ｔ３における道路パラメータｐ３を推定する。
次に、境界線のデータを区分線のデータに差し替える場合には、時点ｔ３における区分線の測定点のデータｄ３と、前回予測した道路パラメータｐ３とに基づいて、次の時点ｔ４における道路パラメータｐ４を推定する。

次に、時点ｔ４における区分線の測定点のデータｄ４と、前回予測した道路パラメータｐ４とに基づいて、次の時点ｔ５における道路パラメータｐ５を推定する。
このようにして、道路の境界として確定する認識線として、今までの認識線である境界線を新たに早期に抽出した区分線に切り替えた場合に、道路パラメータが急変するような状況では、道路パラメータが急変しないように、徐々に変更するようにする。

［５－５．効果］
本第５実施形態は第１実施形態と同様な効果を奏する。
また、本第５実施形態では、分岐路がある道路において早期に区分線を抽出できるので、レーンキープ制御等の車両の制御を安定して行うことができる。

さらに、本第５実施形態では、道路パラメータ急変する場合には、道路パラメータの差し替えを禁止するので、急変する道路パラメータに基づく車両１の好ましくない制御を抑制することができる。例えば、急変する道路パラメータに基づく自車両１の走行方向を急変させる制御等を抑制することができる。

［６．他の実施形態等］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（６ａ）本開示は、車両が道路の左側を走行する場合に限らず、車両が道路の右側を走行する場合に適用できる。
（６ｂ）本開示において、学習認識部の認識結果を用いて自車両の前方の自車線の形状を推定する方法としては、部分学習推定部又は全学習推定部によって自車線の形状を推定する方法を採用できる。

つまり、部分学習推定部により、マーカ抽出部によって抽出されたマーカが、学習認識部によって得られた自車線の領域の境界を示す画像境界線に沿ったマーカである場合に、マーカを用いて得られた区分線に基づいて自車両の前方の自車線の道路の形状を推定するようにしてもよい。

また、全学習推定部により、学習認識部によって得られた自車線の領域の境界を示す画像境界線に基づいて、自車両の前方の自車線の道路の形状を推定するようにしてもよい。
（６ｃ）本開示に記載の道路形状推定装置での処理の手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の道路形状推定装置での処理の手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。

もしくは、本開示に記載の道路形状推定装置での処理の手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。

また、道路形状推定装置に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

（６ｄ）前記各実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、前記各実施形態の構成の一部を省略してもよい。また、前記各実施形態の構成の少なくとも一部を、他の前記各実施形態の構成に対して付加又は置換してもよい。

（６ｅ）また、上述した道路形状推定装置の他、当該道路形状推定装置を構成要素とするシステム、当該道路形状推定装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移有形記録媒体など、種々の形態で本開示を実現することもできる。

１：自車両、５：車載カメラ、９：道路形状推定装置、１５：画像取得部、１７：推定処理部、２３：マーカ抽出部、２５：マーカ判定部、２７：線候補抽出部、２９：境界線選択部、３１：学習認識部、３３：利用判定部、３７：部分学習推定部、３９：全学習推定部、４１：状態遷移判定部、４３：非学習取得部、４５：非学習推定部、５３：マーカ除外部

Claims (4)

1. 自車両（１）の前方を撮影した車載カメラ（５）の画像を取得するように構成された画像取得部（１５、Ｓ１００）と、
   前記画像取得部によって取得された画像に基づいて、前記自車両が走行する前記自車両の前方の自車線の形状を推定するように構成された推定処理部（１７）と、
   を備え、
   前記推定処理部は、
   前記画像取得部によって取得された前記自車両の前方の画像に対して、前記自車両の前方の画像のディープラーニングによる機械学習の結果を用いて、前記自車両の前方の前記自車線の領域を認識するように構成された学習認識部（３１、Ｓ１２０）と、
   前記学習認識部による前記認識の結果を利用することなく、前記画像取得部によって取得された前記自車両の前方の画像に基づいて、前記自車両の前方の前記自車線の幅方向における領域の区分を示す区分線を構成するマーカを抽出するように構成されたマーカ抽出部（２３、Ｓ１１０）と、
   を備えるとともに、
   前記学習認識部による前記認識の結果を利用することなく、前記マーカ抽出部によって抽出された前記マーカを用いて前記区分線を抽出し、前記区分線に基づいて前記自車両の前方の前記自車線の道路の形状を推定するように構成された非学習推定部（４５、Ｓ１４０）と、
   前記マーカ抽出部によって抽出された前記マーカが、前記学習認識部によって得られた前記自車線の領域の境界を示す画像境界線に沿ったマーカである場合に、当該マーカを用いて得られた前記区分線に基づいて前記自車両の前方の前記自車線の道路の形状を推定するように構成された部分学習推定部（３７、Ｓ１５０）と、
   前記学習認識部によって得られた前記自車線の領域の境界を示す画像境界線に基づいて、前記自車両の前方の前記自車線の道路の形状を推定するように構成された全学習推定部（３９、Ｓ１６０）と、
   のうち、少なくとも２種の前記推定部（４５、３７、３９）を備え、
   前記非学習推定部で用いた前記区分線から得られる前記自車線として認識できる認識距離と、前記部分学習推定部で用いた前記区分線から得られる前記自車線として認識できる認識距離と、前記全学習推定部で用いた前記画像境界線から得られる前記自車線として認識できる認識距離と、のうち少なくとも２種の前記推定部における前記認識距離を比較し、前記比較の結果に基づいて、前記非学習推定部による前記自車線の道路の形状の推定結果と、前記部分学習推定部による前記自車線の道路の形状の推定結果と、前記全学習推定部による前記自車線の道路の形状の推定結果と、のうちいずれの推定結果を用いるかを判定するように構成された状態遷移判定部（４１、Ｓ１７０）と、
   を備えるとともに、
   前記状態遷移判定部は、前記比較する対象の前記認識距離のうち、当該認識距離が最大である前記推定部による前記推定結果を用いるように構成された、
   道路形状推定装置。
2. 請求項１に記載の道路形状推定装置であって、
   前記推定処理部は、
   前記画像取得部から得られる前記自車両の前方の画像を用い、前記道路の暫定供用区間を示す前記道路の中央側に沿った黄色線の有無に基づいて、前記道路が前記暫定供用区間であるか否かを判定するように構成された暫定供用判定部（５７）、
   を備えた、道路形状推定装置。
3. 請求項２に記載の道路形状推定装置であって、
   前記暫定供用判定部は、
   以下の（Ｆ）～（Ｊ）のうち、少なくとも（Ｆ）～（Ｉ）の全ての条件が満たされた場合には、前記暫定供用区間を示す前記黄色線を検出するための条件を調整するように構成された線色判定部、
   を備えた、道路形状推定装置。
   （Ｆ）前記自車線の右側にて前記道路に沿って延びる多重線が存在すること
   （Ｇ）前記自車線の左側にて前記道路に沿って延びる線が実線であること
   （Ｈ）前記自車線の右側にて前記道路に沿って延びる黄色線がないこと
   （Ｉ）前記自車線の右側にて前記道路に沿って延びる線がある場合に、当該線の線幅が閾値以上であること
   （Ｊ）前記自車線の右側に沿って、ポール及び／又は縁石による境界を示す構造物が存在すること
4. 請求項３に記載の道路形状推定装置であって、
   前記暫定供用判定部は、前記線色判定部にて調整された条件に基づいて、前記黄色線が認識された場合に、前記暫定供用区間であると判定するように構成された、
   道路形状推定装置。

Images