JP7301138B2 - ポットホール検出システム - Google Patents

Description

本開示は、一般に、先進運転支援システム（ＡＤＡＳ）コントローラに関し、より具体的には、ポットホールなどの道路の窪みを検出し、それに応じてＡＤＡＳコントローラを構成するように構成されたシステムに関する。

自動車産業は自動運転の未来に向かって競争しているので、乗客だけでなく運転者にも安全性を提供することに力を入れる必要がある。関連技術では、アダプティブクルーズコントローラ、歩行者検出、車線逸脱警告システム、および自動運転車の将来を保証する他のアプリケーションなどのＡＤＡＳ実装のバージョンは、遠くない。

レーダ、ＬＩＤＡＲ、カメラ、および暗視デバイスなどの物理センサが使用されることが多く、これは、車両があらゆる方向の近距離および遠距離を監視することを可能にし、交通、天候、危険な状態などの要因に基づいて車両、運転者、乗客、および歩行者の安全を確保するセンサ融合アルゴリズムを進化および改善することを可能にする。現代のＡＤＡＳシステムは、運転者への警告を介して、または制御システムの作動によって直接リアルタイムで動作し、将来の自律型車両の前身である。

快適さとともに安全性を提供するＡＤＡＳアプリケーションが必要とされている。特に、ポットホールなどの窪みが対象となるので、車両が道路内でそのような窪みに遭遇したとき、ＡＤＡＳは、サスペンションシステムに起こり得る事故および損傷を回避しながらサスペンションシステムを支援することによって、窪みを通過して円滑な運転体験を提供するように車両を制御することができる。

特に、ポットホールは、直径が１５０ｍｍを超えるアスファルト舗装上の任意のタイプの路面損傷を指す。ポットホールはほとんどの場合冬と春に発生するが、これらの季節には水が舗装に浸透することが多いためである。このようなタイプの窪みは運転の快適さを低下させ、多くの場合運転者を危険にさらす可能性があるため（例えば、衝突を引き起こす、または運転者の突然のブレーキ操作による突然の停止を誘発する）、安全性と快適性の両方の観点から道路内のこのような窪みを検出する必要がある。本明細書に記載の例示的な実装形態は、サスペンションシステムを支援するために使用することができる、ポットホールおよび道路亀裂などの窪みを検出するためにカメラベースのシステムを利用することを対象とする。

ポットホール検出システムは、ＡＤＡＳコントローラを支援することによって、安全性および快適な運転体験を改善することができる。本開示は、検出されたポットホール位置およびその深度を使用して安全性および快適性を改善するためにＡＤＡＳコントローラを支援するカメラシステムを使用して、ポットホールおよび道路亀裂を検出するためのシステムおよび方法を含む。本明細書に記載の例示的な実施形態はポットホールを対象としているが、本明細書の例示的な実施形態を通して任意のタイプの窪み（例えば、道路亀裂、道路／橋梁パネルの隙間、道路の窪みなど）を検出することもできる。

本開示の態様は方法を含み、方法は、車両の１つまたは複数のカメラから受信した道路の画像の差分画像を決定するステップと、差分画像から道路上の１つまたは複数の候補窪みを識別するステップと、負のガウス分布との比較に基づいて１つまたは複数の候補窪みの各々について窪みのタイプを決定するために、１つまたは複数の候補窪みを分類するステップと、１つまたは複数の候補窪みの各々について決定された窪みのタイプから、車両のサスペンション、ステアリング、または速度のうちの少なくとも１つを制御するステップと、を含む。

本開示の態様はコンピュータプログラムを含み、これは、車両の１つまたは複数のカメラから受信した道路の画像の差分画像を決定し、差分画像から道路上の１つまたは複数の候補窪みを識別し、負のガウス分布との比較に基づいて１つまたは複数の候補窪みの各々について窪みのタイプを決定するために、１つまたは複数の候補窪みを分類し、１つまたは複数の候補窪みの各々について決定された窪みのタイプから、車両のサスペンション、ステアリング、または速度のうちの少なくとも１つを制御するための命令を含む。コンピュータプログラムは、非一時的コンピュータ可読媒体に記憶され、１つまたは複数のプロセッサによって実行されてもよい。

本開示の態様は車両システムを含み、これは、車両システムの１つまたは複数のカメラから受信した道路の画像の差分画像を決定する手段、差分画像から道路上の１つまたは複数の候補窪みを識別する手段、負のガウス分布との比較に基づいて１つまたは複数の候補窪みの各々に対する窪みのタイプを決定するために、１つまたは複数の候補窪みを分類する手段、１つまたは複数の候補窪みの各々について決定された窪みのタイプから、車両のサスペンション、ステアリング、または速度のうちの少なくとも１つを制御するための手段を含む。

本開示の態様は１つまたは複数のカメラとプロセッサとを含む車両システムを含み、プロセッサは、車両の１つまたは複数のカメラから受信した道路の画像の差分画像を決定し、差分画像から道路上の１つまたは複数の候補窪みを識別し、負のガウス分布との比較に基づいて１つまたは複数の候補窪みの各々について窪みのタイプを決定するために、１つまたは複数の候補窪みを分類し、１つまたは複数の候補窪みの各々について決定された窪みのタイプから、車両システムのサスペンション、ステアリング、または速度のうちの少なくとも１つを制御するように電子コントローラユニット（ＥＣＵ）に命令するように構成される。

例示的な実装形態による、モノカメラからのカメラシステムからの例示的な画像を示す。 例示的な実装形態による、ステレオまたはマルチプルカメラシステムからの例示的な画像を示す。 例示的な実装形態による、ステレオまたはマルチプルカメラシステムからの例示的な画像を示す。 例示的な実装形態による、システムの例示的なフロー図を示す。 例示的な実装形態による、候補抽出方法の概要を示す。 ２つのカメラを距離ｂに配置することによってステレオカメラを示す概略図を示す。 例示的な実装形態による、潜在的なポットホールの候補を有する視差画像、エッジ画像、およびセグメント化画像を示す。 例示的な実装形態による、ＲＯＩ検出のフロー図を示す。 例示的な実装形態による、検出されたレーンマーカを濃い黒色の線で示す。 例示的な実装形態による、検出されたＲＯＩを濃い黒色の領域として示す。 例示的な実装形態による、エッジ画像画素が対応する閾値視差マップと比較され、重みが計算されるセグメント化アルゴリズムフローチャートを示す。 左右画像を示す。 候補抽出出力を示す。 例示的な実装形態による、分類器の例示的なフローを示す。 例示的な実装形態による、強度分類器のフローチャートを示す。 例示的な実装形態による、異なる領域に分割された抽出された候補を有する例示的なサンプル画像を示す。 例示的な実装形態による、抽出された候補を異なる事例に基づいて分割する例を示す。 例示的な実装形態による、分割された候補領域の出力の例を示す。 例示的な実装形態による、分割された候補領域の出力の例を示す。 例示的な実装形態による、深度分類器の例示的なフローチャートを示す。 例示的な実装態様による、具体的には有効画素および無効画素を含む２つの事例による、抽出された候補領域の例を示す。 例示的な実装形態による、候補の内側領域の周りに境界ボックスを拡張した後の抽出された候補領域の出力の例を示す。 例示的な実装形態による、カメラ座標系を示す。 左／右画像が与えられた車両のカメラ座標系に対する変換データ点を決定する例示的な実装形態を示す。 左／右画像が与えられた車両のカメラ座標系に対する変換データ点を決定する例示的な実装形態を示す。 例示的な実装形態による推定路面を示す。 例示的な実装形態による、推定深度データを示す。 例示的な実装形態による、クラスタアルゴリズムの例示的な出力を示す。 例示的な実装形態による、深度分布によってカバーされるコア画素の分布および領域の曲線を示す。 例示的な実装形態による、検出された候補の実際の深度の例示的な推定を示す。 提案する深度および強度分類器を使用して検出されたポットホールおよび道路亀裂の例を示す。 例示的な実装形態による、水平線道路亀裂の例示的な検出を示す。 例示的な実装形態による、ラインスキャン検出の例示的なフロー図を示す。 例示的な実装形態による、候補抽出の例示的な入力を示す。 例示的な実装形態による、候補抽出の例示的な出力を示す。 例示的な実装形態による、水平方向の道路亀裂を判定するための領域分割の例を示す。 例示的な実装形態による、表示出力の例を示す。 例示的な実装形態による、窪みの可視領域および死角領域を有する窪みのための窪み検出システムを示す。 例示的な実装形態による、窪みの可視領域および死角領域を有する窪みのための窪み検出システムを示す。 例示的な実装形態による、窪みの可視領域および死角領域を有する窪みのための窪み検出システムを示す。 例示的な実装形態による、窪みの可視領域および死角領域を有する窪みのための窪み検出システムを示す。 例示的な実装形態による、車両コントローラシステムの例示的な決定表を示す。 例示的な実装形態による、車両システムを示す。 例示的な実装形態による、複数の車両システムおよび管理装置を示す。 いくつかの例示的な実装形態での使用に適した例示的なコンピュータ装置を有する例示的なコンピューティング環境を示す。

以下の詳細な説明は、本出願の図面および例示的な実施態様のさらなる詳細を提供する。図面間の重複する要素の参照番号および説明は、明確にするために省略されている。説明全体を通して使用される用語は、例として提供されており、限定することを意図するものではない。例えば、「自動」という用語の使用は、本出願の実装形態を実施する当業者の所望の実装形態に応じて、実装形態の特定の態様に対するユーザまたは管理者の制御を含む完全自動または半自動の実装形態を含み得る。選択は、ユーザインターフェースまたは他の入力手段を介してユーザによって行うことができ、または所望のアルゴリズムを介して実施することができる。本明細書に記載の例示的な実装形態は、単独でまたは組み合わせて利用することができ、例示的な実装形態の機能は、所望の実装形態による任意の手段を介して実装することができる。

本明細書に記載の例示的な実装形態は、車両に取り付けられたカメラシステム（例えば、モノカメラまたは複数のカメラ）を含む。カメラ視野は、図１、図２（ａ）、図２（ｂ）に示すように、前方の道路を取り込むのに十分な広さである。カメラシステムは、画像を連続的に取り込む。モノカメラ画像／または複数のカメラで撮影された画像を使用して、深度マップが生成される。

図１は、例示的な実装形態による、モノカメラからのカメラシステムからの例示的な画像を示す。図２（ａ）および図２（ｂ）は、例示的な実装形態による、ステレオまたはマルチプルカメラシステムからの例示的な画像を示し、図２（ａ）は左カメラ画像であり、図２（ｂ）は右カメラ画像である。モノカメラの状況では、教師付き学習手法を使用して深度マップを計算することができ、この手法では、単眼の訓練セットおよびそれらの対応するグラウンドトゥルース深度マップが取り込まれる。そして、教師付き学習法を用いることで、画像の関数として深度マップの近似値を予測することができる。

ステレオまたは複数のカメラの状況では、ブロックマッチング技術を使用して深度マップを計算するために使用される複数のカメラによって画像が撮影される。本明細書に記載の例示的な実装形態では、説明はステレオカメラシステムに基づいているが、所望の実装形態に従って他のカメラシステムを利用することができる。

ステレオカメラシステムには、同じシーンを観察する右カメラと左カメラの２つのカメラがある。したがって、２つの画像が２つの異なる画角から得られる。２つのステレオ画像が取り込まれると、画像はポットホール検出システムによって処理される。

図３は、例示的な実装形態による、システムの例示的なフロー図を示す。最初に、カメラシステムは３０１で画像を取り込む。そして、モノカメラまたはマルチプルカメラから撮影した画像から視差画像３０２－２とグレースケール画像３０２－１を計算する。次いで、関心領域（ＲＯＩ）が検出され、それは、ポットホール、道路亀裂などの窪み、および／または車両もしくは道路標柱などの障害物などを含み得る路面である。ＲＯＩから、ポットホールなどの道路窪み候補が３０３で抽出され、３０４でノイズがフィルタリングされる。検出段階３２０では、深度分類器３０５－１および強度分類器３０５－２を使用して、抽出された候補から窪みが検出される。最後に、３０６で追跡システムを使用して窪み位置を予測し、３０７で窪み位置が出力される。各ステップで使用されるアルゴリズムおよびプロセスは、以下のように説明される。

候補抽出３１０は、ＲＯＩ検出と、窪み候補の抽出という２つの態様を含む。ＲＯＩの検出には、ステレオ画像、視差画像（深度マップ）、エッジ画像、検出されたレーンマーカ情報が利用される。

図４は、例示的な実装形態による、候補抽出方法３１０の概要を示す。４００において、車線情報、障害物情報、および他の情報などの情報を、クラウドまたは所望の実装形態による他の方法のいずれかを介してシステムに提供することができる。

視差画像４０１－１を計算する。

単一のカメラを有する車両システムでは、クラウドシステムから受信した機械学習処理を使用して視差画像４０１－１を生成する。機械学習プロセスは、道路の予想されるものに対する道路の受信画像に基づいて視差画像を生成するように訓練される。そのような機械学習プロセスは、所望の実装形態に従って当技術分野で既知の任意の方法を使用して構築することができる。

複数のカメラを有する車両システムにおいて、視差画像４０１－１は、ブロッキングマッチング法を使用して、図２に示すような左画像と右画像の２つのステレオ画像を使用して計算される。一方の画像内の点ｍ１＝（ｕ１、ｖ１）の場合、他方の画像内の対応する点ｍ２＝（ｕ２、ｖ２）はｍ１と同じ高さにある、すなわち、ｖ１＝ｖ２であると考える。視差測定技術は、図５に示すような単純なステレオカメラ理論を使用して説明することができる。図５は、２つのカメラを距離ｂに配置することによってステレオカメラを示す概略図を示す。これに関連して、視差は以下のように定義される。

Ｄ＝ｕ２－ｕ１
３Ｄ点の深度情報は、その深度が対応する視差に反比例するため、視差から取得することができる。視差マップ４０１－１は、左右画像と実際の視差を使用して計算される。

Ｚ＝ｆｂ／ｄ
ここで、
Ｚ＝カメラＺ軸に沿った距離（深度）
ｆ＝焦点距離（画素）
ｂ＝ベースライン（メートル）
ｄ＝視差（画素）
視差マップから信頼できない視差を除去するために、エッジ情報４０１－２が利用され、これは、階調が隣接する画素の階調と異なる画素として定義される。視差マップでは、実現不可能な視差を破棄するために、各視差の信頼度が計算される。得られた修正視差マップは図６に示すようなものであり、これは閾値視差画像として知られており、閾値画像を得るために使用されるエッジ画像は図６に示すようなものである。

エッジ画像の閾値を制御することにより、視差マップから除去する必要がある視差の量を決定することができ、これは潜在的なポットホールの候補をセグメント化するために使用される。

ＲＯＩ検出／抽出４０２
図７は、例示的な実装形態による、ＲＯＩ検出のフロー図を示す。左右画像７０１－１とレーンマーカ検出アルゴリズム７０１－２の出力を使用して、画像上の左右のレーンマーカ（カメラから４ｍ間隔毎）の画素位置（行、列）を計算する。このレーン情報を使用して、画像全体に対して行毎にＲＯＩ境界（左右両側）を計算する。７０２で、検出範囲に応じて上部および下部の境界を選択し、７０３でＲＯＩを形成し、ポットホールの候補を抽出することができる。

例示的な実装形態では、視差画像は異なる閾値で分析され、閾値＝５では、他の閾値と比較してポットホールの存在を示すことが分かった。図６より、閾値＝５の視差は、閾値＝８に比べてノイズレベルが大きいが、いずれの場合もノイズレベルは１０メートル（ｍ）からＺメートル（Ｚが最大検出範囲）と小さい。サンプル検出されたレーンマーカおよびＲＯＩは、図８（ａ）および図８（ｂ）に示す通りである。具体的には、図８（ａ）は、検出されたレーンマーカを濃い黒色の線で示し、図８（ｂ）は、検出されたＲＯＩを濃い黒色の領域として示す。ＲＯＩは、自車両の車線に限定されるだけでなく、左右の隣接車線にも拡張することができる。

４０３のセグメント化に基づいて検出されたＲＯＩにおける候補を抽出する。

ＲＯＩが検出されると、セグメント化モジュール－テクスチャを使用して、前景画素を背景画素からセグメント化する。次の処理に渡される非窪み候補の数を減らして処理時間を短縮するために、セグメント化時にエッジ画像を使用する。

図９は、エッジ画像ピクセルが対応する閾値視差マップと比較され、重みが例示的な実施態様に従って計算されるセグメント化アルゴリズムフローチャートを示す。これらの重みに基づいて、現在の画素は前景画素または背景画素として分類される。同様に、閾値操作を使用することによって、前景は強度またはグレースケール画像からセグメント化される。

９００で、セグメント化モジュールによるセグメント化のために関心領域（ＲＯＩ）が取得される。９０１で、セグメント化モジュールは、現在の画素エッジ情報と、閾値を満たす隣接画素のエッジ情報とを比較する。９０２で、セグメント化モジュールは、現在の画素の視差マップを閾値と比較する。９０３－１で、セグメント化モジュールは、修正された視差マップを生成するために重み＿１を計算し、９０３－２で、修正された視差マップを生成するために重み＿２を計算する。９０４で、前景ポットホール候補をセグメント化するために閾値操作が行われる。ポットホール候補がセグメント化されると、図１０（ａ）および図１０（ｂ）に示すように、さらにノイズの多い候補および抽出された最終候補を除去するために処理される。具体的には、図１０（ａ）は左右画像を示し、図１０（ｂ）は候補抽出出力を示す。

強度分類器３０５－２および深度分類器３０５－１を含む検出３２０。

図１１は、例示的な実装形態による、分類器の例示的なフローを示す。候補抽出方法を使用して候補が抽出されると、候補の各々は深度および強度分類器を通過し（ここでは両方の分類器が並行して動作する）、両方の出力に基づいて、抽出候補はポットホールまたは非ポットホールのいずれかに分類される。例示的な実装形態では、深度１１１１および強度１１１２に基づく分類器を利用して、１１３０で、抽出された候補からポットホールの候補を検出する。２つの分類器に加えて、ラインスキャン方法１１１０を利用して水平方向の道路亀裂を検出し、分類１１２０－１、１１２０－２中に影を除去する。分類器を操作するために、ラインスキャン検出１１１０には、カメラ画像の強度情報１１０１（例えば、グレースケール画像）が提供される。深度分類器１１１１には、図６および図９に関して説明した視差情報１１０２、ならびに図３に関して説明した抽出ポットホール候補１１０３が提供される。強度分類器１１１２は、強度情報１１０１および抽出ポットホール候補１１０３を受け取る。

強度分類器３０５－２－候補領域を分割する
強度分類器１１１２では、候補から抽出された様々な強度（グレースケール画像）特徴に基づいて分類が行われる。図１２は、例示的な実装形態による、強度分類器のフローチャートを示す。グレースケールまたは強度画像１２０１に基づいて抽出された候補は、内側領域１２０２－２と外側領域とに分割され、外側領域は、所望の実施態様に従って、左側１２０２－１、右側１２０２－３、ならびに上部領域および下部領域などの領域にさらに分割することができる。図１３は、例示的な実装形態による、異なる領域に分割された抽出された候補を有する例示的なサンプル画像を示す。

図１４は、例示的な実装形態による、抽出された候補を異なる事例に基づいて分割する例を示す。抽出された候補を異なる領域に分割する際、図１４に示すように２つの事例が考えられる。

事例１：ポットホールの周りの４つの外側領域（左右両方の領域）はすべて、ほぼ同じ数の画素を含む。そのため、各領域から特徴を抽出する場合、ノイズの影響は小さい。

事例２：左側の外側領域（上下領域の両方）は、右側の外側領域よりも少ない画素を含む。したがって、左側の領域のノイズが少量であっても、分類器出力に影響を及ぼす可能性がある（すなわち、ノイズの存在は、抽出された特徴に影響を及ぼす可能性があり、誤検出につながる可能性がある）。

候補が事例２に該当する場合、ポットホール領域の周りの境界ボックス（すなわち、隣接領域）は、少なくとも２画素（行および列の両方）だけ拡張される。ここで、隣接領域拡張サイズ（行および列）は、候補の内側領域サイズ、ならびに自車両からの候補の距離に依存する。

したがって、図１２に示すように、１２０３で各領域から特徴が抽出され、次いで１２０４で、図１３および図１４に示すように、領域の特徴が指定された条件を満たすかどうかの判定が行われる。判定により、候補はポットホール１２０５－１または非ポットホール１２０５－２のいずれかに分類される。

図１３および図１４に示す方法は、画像に存在するノイズの影響を低減し、それによって誤検出を低減するために使用される。図１５（ａ）および図１５（ｂ）は、上記２つの事例を考慮した分割候補領域（拡張後）の出力例を示す。

強度分類器３０５－２－統計分析および分類
図１５（ａ）に示すように、候補の周囲の境界ボックスが（候補の距離およびサイズを使用して）拡張されると、図１５（ｂ）に示すように、統計分析のために各領域から特徴が抽出される。統計的な分析および分類を行うために、図１５（ｂ）に示すように、外側領域をサブ領域（例えば、少なくとも２つ）に分割する。次に、強度の分布が各領域で別々に分析され、そのような分布は他の領域と比較され、最後に内側領域と比較される。続いて、これらの特徴の各々が特定の閾値と比較される（例えば、統計分析によって以前に分析されたデータを使用して計算される）。指定された閾値条件に基づいて、強度分類器の結果が深度分類器の結果とともに使用される。

深度分類器３０５－１－有効画素の抽出
１．深度分類器については、各候補からのデータまたは視差情報から抽出された特徴（候補抽出出力）を使用して分類が行われる。図１６は、例示的な実装形態による、深度分類器の例示的なフローチャートを示す。

最初に、抽出ポットホール候補１６００が提供され、１６０１で、候補画素の深度マップがグランドプレーン（例えば、実世界座標系として）に変換される。１６０２で、個々の候補の隣接画素を使用して、路面平面が局所的に推定される。路面推定は、視差情報を使用して行われる。路面全体を計算する代わりに、処理速度を高め、メモリ要件を低減するために、抽出候補領域および隣接領域のみを路面推定に使用する。路面推定は、候補の内側領域の周囲の画素を使用して行われ、以下のような処理を伴う。最初に、各隣接画素（候補の内側領域の周囲の画素）について、視差値が検証される。計算された視差値が正しい（例えば、以前に計算された閾値を使用して実証される）場合、それらは「有効画素」として指定され、そうでない場合、それらはノイズの多い画素であることを示す「無効画素」として指定される。候補の内側領域の周りに十分な数の有効画素がない場合、路面推定は不正確であり、誤った深度測定（例えば、候補の内側領域の深度）および誤検出につながる可能性がある。

図１７は、例示的な実装態様による、具体的には有効画素および無効画素を含む２つの事例による、抽出された候補領域の例を示す。

事例１：候補の外側領域は、内側候補の領域（例えば、２０）の周りに閾値数を超える有効画素を含み、ノイズの存在は路面推定への影響が低い。

事例２：候補の外側領域は閾値未満の有効画素を含み、したがって不正確な路面推定につながる。

有効画素数が閾値未満であれば、図１８に示すように境界ボックスを（例えば、行方向に２つの画素および列方向に２つの画素によって）大きくすることができる。図１８は、レーンマーカ（例えば、隣接する無効画素）画像を関心領域（拡張隣接領域画素で囲まれる領域）とともに検出した例を示す。図１８に示すように、画素拡張のサイズは、候補のサイズおよび距離に依存する。

深度分類器３０５－２－座標変換
有効画素が抽出されると、図１８に示すように、内側候補領域の周囲の画素（隣接有効画素および拡張隣接領域画素）を使用して、１６０２で路面を推定することができる。

例示的な実装形態では、カメラは、図１９に示すように、自動車のシャーシ上に規定の位置を有する。位置は、カメラのｚ軸と平坦な路面との間の角度αと、車の中心からの変位とを含む。ここで、カメラ座標系に関連する３Ｄデータを計算するために、較正行列Ｃを使用することができる。以下の式は、ＵＶＤ空間からＸＹＺ_ｃａｍ空間への変換を記述する。

較正行列について、u_cおよびｖ_ｃは画像の中心を記述する。使用されるカメラシステムの場合、理論式に関していくつかの調整を行わなければならない。画像座標系のｖ軸は、同じ方向を向いていない。これにより、ｙ_ｃａｍ値の符号が変化する。

上述したように、較正行列Ｃを使用して、データ点をＵＶＤ空間からＸＹＣ_ｃａｍ空間に変換することができる。以下では、ＸＹＣ_ｃａｍ空間内のデータ点を変換してＵＶＤ空間に戻す式について説明する。較正行列Ｃを使用して、以下の単一の方程式を形成することができる。

ｕおよびｖについて２つの結果として得られる式を得るために上記の式を使用すると、結果は以下のように与えられる。

得られた式を使用して、ｚ_ｃａｍ＝０を有するデータ点を除いてＸＹＺ_ｃａｍ間内の任意のデータ点をＵＶＤ空間に変換することができるが、これは一般に、実際的な制限がないことを示す。図２０（ａ）、図２０（ｂ）に示すように、図２０（ａ）の左右画像から、変換後のデータ点は、図２０（ｂ）に示すように、カメラ座標系に対して３次元のデータ点で表すことができる。

深度分類器３０５－２－路面推定１６０２
最小二乗アルゴリズムまたは同様のアルゴリズムを使用して、路面を推定することができる。最小二乗アルゴリズムを設定するには、路面の関数モデルを定義する必要がある。

路面モデルは、３つのパラメータを含む。モデル複雑度を低く保つために、線形モデルのみが考慮されている。この関数モデルを使用して、曲率情報を抽出することはできない。路面を抽出すべき領域が十分に小さい限り、このモデルは十分に正確である。アルゴリズムの測定モデルは以下のように与えられる。

測定行列をデータで満たすために、非ポットホール点のみが考慮され、そうでなければ、パラメータ計算自体に対するポットホール点の影響のために、深度情報は正確ではなくなる。測定行列の式を解き、路面パラメータを抽出するために、が抽出される。図２１は例示的な実装形態による推定路面を示し、図２２は例示的な実装形態による推定深度データを示す。

深度分類器３０５－２－深度推定１６０３
１６０３で、推定路面を利用することによって各画素の深度が推定される。１６０２で候補の内側領域の周りの有効画素を使用して路面が推定されると、路面の高さおよび各画素の高さを使用することにより、各画素の実際の深度を計算することができる。出力は図２２に示す通りであり、これに使用される式は以下の通りである。

深度分類器３０５－２－クラスタリング１６０４
１６０４で、ポットホールに属するコア画素のみを選択するためにクラスタリング方法が利用され、選択された画素は、１６０５で、推定深度データにおけるノイズレベルを低減するために使用される。例示的な実装形態では、クラスタリング方法は、データセットを、実際の深度情報を示すコアクラスタと、不正確な深度情報を示す外れ値とに分割するために使用される。図２３は、例示的な実装形態による、クラスタアルゴリズムの例示的な出力を示す。

深度分類器３０５－２－特徴抽出および分類１６０６－１６１３
図２４は、例示的な実装形態による、深度分布によってカバーされるコア画素の分布および領域の曲線を示す。本明細書に記載の例示的な実装形態では、特徴抽出モジュールを利用して特徴抽出および分類を行う。クラスタリング操作から、１６０６で、有効画素が特徴抽出に使用される。すなわち、クラスタリング出力からのコア画素およびその深度値のみが、実際のポットホールの候補に属するため、推定のために抽出される。コア画素が抽出されると、以下の特徴、すなわち、コア画素の分布１６０７（例えば、各領域内のコア画素の数）、コア画素の分布に基づくポットホールの曲率１６０８、および深度分布によってカバーされる領域の数１６０９が、特徴抽出モジュールによって計算される。特徴は、使用のために１６１０で記憶される。

有効なコア画素のみを使用して抽出された特徴を分析すると、コア画素の深度分布の曲線は、傾き「Ｍ」を有する逆ガウス曲線（ポットホール形状に類似）に似ていることが示される。また、有効コア画素の深度分布は、ノイズよりもポットホールの場合の方が常に多くの領域をカバーする。

これらの特徴は、１６１１で特定の閾値（以前に計算された）と比較される。閾値条件を満たす場合、深度分類器出力は強度分類器と比較され、１６１３でそれをポットホールとして分類するか否かを決定する。

深度分類器３０５－２－ポットホール１６１２の実際の深度を推定する
コア画素クラスタを使用して、１６１２で、検出された各ポットホールの実際の深度を推定することができる。図２５は、例示的な実装形態による、検出された候補の実際の深度の例示的な推定を示す。図２５の例では、（例えば、指定された閾値内で）最も「負」の深度の最大コア画素数を有するクラスタ領域が決定される。領域内の各画素の深度値およびそのような画素の３Ｄ情報を使用して、実際の最大深度が推定される。図２６は、提案する深度および強度分類器を使用して検出されたポットホールおよび道路亀裂の例を示す。

ラインスキャンモジュール１１１０－候補抽出
図２６に示すようなポットホールや垂直方向の道路亀裂の検出に伴い、図２７に示すような水平方向の道路亀裂を検出する必要がある。そのような水平方向の道路亀裂を検出するために、本明細書に記載の例示的な実装形態は、新規なラインスキャン検出モジュールを含む。

図２８は、例示的な実装形態による、ラインスキャン検出の例示的なフロー図を示す。２８００で、右／左画像が提供される。２８０１で、画像は関心領域内でスキャンされる。最初に、垂直線（例えば、１６本の縦線）を使用してＲＯＩをスキャンすることによって候補抽出が行われる。検出が必要な物体は他のポットホールよりも幅が広いため、水平方向のダウンサンプリングが可能である。これにより、メモリ量および画像をスキャンするのに必要な処理時間が削減される。

候補を抽出するために、２８０２で閾値操作が行われて道路亀裂候補が抽出される。例示的な実装形態では、平均ＲＯＩ強度から閾値（例えば、２０）を引いたものよりも小さい強度を有する画素の位置が保持され、他の全ての画素は破棄される。図２９（ａ）および図２９（ｂ）は、例示的な実装形態による、候補抽出の例示的な入力（図２９（ａ））および出力（図２９（ｂ））を示す。

ラインスキャンモジュール１１１０－分類
図３０は、例示的な実装形態による、水平方向の道路亀裂を判定するための領域分割の例を示す。候補が抽出されると、深度分類器および強度情報を使用することによって、２８０４で、特徴抽出を使用することによって水平方向の道路亀裂が検出される。強度情報は影を除去するために使用され、深度分類器は、２８０５で深度を検出するために使用され、結果として生じる特徴は、２８０６で水平方向の道路亀裂として利用される。影を除去するために、抽出された候補は、図３０に示すように、少なくとも３つの領域、すなわち、上部領域２８０３－１、内側領域２８０３－２、および下部領域２８０３－３に分割される。ここで、自由行の数は、距離および車速に依存する。

２８０５の統計的分析および分類を行って２８０６で水平方向の道路亀裂を検出するために、以下のフローが実行される。

ａ．各領域における強度の分布を別々に分析し、分布は他の領域の各々と比較され、最後に内側領域と比較される。

ｂ．以下の式によって軽減条件を分析する。

Ａ＝候補の境界ボックス内の分散
Ｂ＝候補の内側領域内の分散
ｃ．各特徴を特定の閾値（例えば、統計分析によって以前に分析されたデータを使用して計算される）と比較する。

ｄ．指定された閾値条件に基づいて、結果は深度分類器の結果とともに利用され、現在の候補は水平方向の道路亀裂または影／平坦道路のいずれかとして分類される。

検出された候補３０６および表示出力３０７の追跡
候補が検出されると、候補は残りのフレームについて追跡され、対応する寸法情報が出力に表示される。車両速度、ポットホールの位置およびサイズに基づいて、システムは、ポットホールを回避するために、またはサスペンションシステムの減衰および／またはばね係数を変更するために、必要なコマンドを決定し、電子コントローラユニット（ＥＣＵ）に送信する。すべてのルートについて、システムは、将来のルート生成優先度のためにデータを使用するために、ポットホール／道路亀裂の数、それらの位置およびサイズをマップ／ルート生成システムに提供する。図３１は、ラインスキャン検出の出力の形態の表示出力３０７の例を示す。

例示的な実装－負のガウス分布を使用して窪みおよび窪み内の死角を分類する
図３２（ａ）は、窪みの可視領域および死角領域を有する窪みのための窪み検出システムを示す。図３２（ａ）に示すように、そのような窪みを検出すると、道路の画像を受信しているときに車両のカメラシステムがどのように配向されているかに起因して、窪みの死角が存在する可能性がある。カメラシステムの観点から、例示的な実装形態は、深度情報が利用可能な領域の深度情報を決定することができる。しかしながら、そのような窪みは、深度情報が利用できない場合がある死角を有する場合もある。窪みの死角を補償し、窪みの真の深度を決定するために、本明細書に記載の例示的な実装形態は、窪みの深度および窪み曲線を推定するために反転ガウス曲線（すなわち、負のガウス分布）を利用する。例示的な実装形態では、道路窪みの大部分が何らかの形の負のガウス形状である傾向があるため、窪みの深度を推定するために負のガウス分布が利用される。

図３２（ｂ）は、例示的な実装形態による、死角分類のための例示的なフロー図を示す。本明細書に記載の例示的な実施態様から、最初に、深度分類器は、３２０１で可視領域からの各画素の窪みの推定深度、ならびに３２０２で可視領域の推定窪み曲線を提供する。

３２０３で、推定窪み深度（「－」ｖｅ）が決定され、窪みの傾きが、３次元平面内のｘ位置における各画素において推定される。窪みの傾きは、図３２（ｃ）に示すように、可視領域の画素の推定窪み深度から決定することができ、これは、例示的な実装形態による、窪みの異なる領域および推定の例を示す。図３２（ｃ）の近似曲線フィッティングに示すように、窪みの傾きおよび推定窪み曲線に基づいて、推定曲線および傾きに負のガウス分布を適用して死角を推定する負のガウス分布による曲線フィッティングを行うことができる。死角が推定されると、死角の深度は、推定された死角と窪みの傾きとに従って３２０６で推定することもできる。

３２０５で、深度画素－Ｐ１（前のフレームから決定された深度画素－死角）と深度画素－Ｐ１（現在のフレームから決定された深度画素－現在の可視領域内）との差分に基づいて、３２０６の死角内の推定深度に補正係数が適用されて、リアルタイムで受信された新しい画像に基づいて窪みの特性が更新される。

死角領域の深度が推定されると、深度情報に基づいて、窪みの死角領域の面積が推定される。図３２（ｄ）は、例示的な実施態様による、近似窪み深度を有する窪み候補の例示的なサンプル画像を示す。したがって、その深度を含む窪みの特性は、カメラシステムの死角を考慮することによってより正確に推定することができる。

車両コントローラシステム用の決定表
図３３は、例示的な実装形態による、車両コントローラシステムの例示的な決定表を示す。例えば、図３２（ｂ）のフローに基づいて、到来する窪みの特性を推定する場合、車両コントローラは、窪みを１つまたは複数のタイプに分類し、これに応じて車両の速度、サスペンション、ステアリングの少なくとも１つを制御することができる。例示的な実装形態では、窪みを、窪み深度（所望の実装形態に従って、深すぎる、中間である、浅い、またはその他）および／または窪みサイズ（例えば、所望の実装形態に応じて、大、中、小、またはその他）、ならびに距離（所望の実装形態に従って設定されるように、近い、遠い）に基づいて分類することができる。

図３３に示すように、分類に応じて、速度、サスペンション、およびステアリングを所望の実装形態に従って制御することができる。例えば、到来する窪みが大きくて深いと分類された場合、その窪みは危険であると考えることができ、したがって、車両の速度を低下させ、その間安全に行うことができる場合には車線変更または他の回避操作を実行するようにステアリングを制御する。一方、到来する窪みが、中程度の大きさおよび中程度の深度であると分類された場合、サスペンション（例えば、ばね、減衰係数）が、所望の実装形態に従って、窪みにぶつかるのに備えて車両コントローラによって調整される。決定表は、任意の車両の任意の所望の実装形態に従って修正することができる。さらに、所望の実施態様に従ってそのような窪みが検出および分類されたときに、車両によって警告信号を提供することができる。異なる車線に複数の窪みがある場合、本明細書の例示的な実装形態は、窪みのすべてを検出し、適宜分類するように構成することができる。窪みのタイプ（サイズおよび深度）に基づいて、例示的な実装形態はまた、最大の安全性および快適性が達成されるように、特定の車線を使用するように適切な制御信号を車両に送信することを含むことができる。例えば、窪みがすべての車線にわたって検出された場合、例示的な実装形態は、最も低いサイズ／深度を有する窪みを有する車線を決定し、車両の構成を調整し、安全性および快適性のためにその車線に移るように車両に指示することができる。例示的な実装形態はまた、利用可能である場合、窪みのない車線を選択することができ、車両は、窪みのない車線に移る。別の例示的な実装形態では、検出された窪みが別の車線にある場合でも、運転者が手動でその車線を利用する必要がある場合には、車両は速度およびサスペンションを調整することができる。

図３４（ａ）は、例示的な実装形態による、車両システムを示す。具体的には、図３４（ａ）は、人間操作モードおよび自律モードで動作するように構成された例示的な人間操作車両システムを示す。ＥＣＵ１は、地図測位ユニット６に接続され、地図測位ユニット６からの信号を受信する。これらの信号は、設定された経路、地図データ、地図上の車両の位置、車両の進行方向、車線数などの車線情報、制限速度、道路のタイプ／車両の位置（例えば、高速道路および一般自動車道路、分岐路、料金所、駐車場または車庫など）、および必要に応じて、クラウドシステムまたは他の車両から受信した所与の道路の１つまたは複数の既知の窪みを表す。

車両には、車両の動作状態を示すパラメータの値を測定するための動作パラメータ測定ユニットが設けられており、これは車輪速測定装置７と車両挙動測定装置８とを含むことができる。これらの装置からの信号は、ＥＣＵ１に送信される。車両挙動測定装置８は、前後加速度、横加速度、ヨーレートを計測する。

車両には、前方カメラ１０ｆ、前方レーダ１１ｆ、後方カメラ１０ｒ、後方レーダ１１ｒ、左前方カメラ１２Ｌ、右前方カメラ１２Ｒ、左後方カメラ１３Ｌおよび右後方カメラ１３Ｒを含む、車両の周囲の環境の状態を測定するための環境状態測定装置が設けられている。これらの環境状態計測装置は、車両周辺のレーンマーク、障害物、非対称な標識の情報をＥＣＵ１に送信する。

車両のカメラは、所望の実装形態に応じて、サラウンドアイカメラ、シングルカメラ、ステレオカメラシステム、または他のカメラの形態であってもよい。車両のカメラシステムにおいて、前方カメラ１０ｆには、道路の画像を取得する撮像ユニットと、受信した道路の画像を提供する出力ユニットとが設けられている。前方レーダ１１ｆは、他の車両および歩行者を検出および位置特定し、車両とそれらの物体との間の位置関係を表す信号を提供する。後方カメラ１０ｒ、左前方カメラ１２Ｌ、右前方カメラ１２Ｒ、左後方カメラ１３Ｌおよび右後方カメラ１３Ｒは、前方カメラ１０ｆ、前方レーダ１１ｆおよび後方レーダ１１ｒと同様の機能を有する。

車両には、エンジン２１、電子制御ブレーキシステム２２、電子制御差動機構２３、および電子制御ステアリングシステム２４が設けられている。ＥＣＵ１は、例えば、図３３の車両制御システム表に従って、または車載コンピュータから受信した命令に基づいて、運転者によって与えられた操作変数の値および／または本明細書に記載の車両システムのための様々なタイプの窪みの検出もしくは様々な自律モードの係合などの環境条件に基づいて、それらのシステム２２、２３、および２４に含まれるアクチュエータに駆動信号を与える。車両を加速させる必要がある場合、コントローラ１は、エンジン２１に加速信号を与える。車両を減速させる必要がある場合、コントローラは、電子制御ブレーキシステム２２に減速信号を与える。車両を旋回させる必要がある場合、ＥＣＵ１は、電子制御ブレーキシステム２２、電子制御差動機構２３、および電子制御ステアリングシステム２４の少なくとも１つに旋回信号を与える。ＥＣＵ１はまた、所望の実装形態に従って、サスペンションのばね係数または他のパラメータ、ならびにステアリングを同様に構成することができる。

電子制御ブレーキシステム２２は、車輪にそれぞれ加えられる個々の制動力を制御することができる油圧ブレーキシステムである。電子制御ブレーキシステムは、旋回要求に応答して右車輪または左車輪のいずれかに制動力を加えて、車両にヨーイングモーメントを付与する。電子制御差動機構２３は、旋回要求に応じて電動モータやクラッチを駆動して右車軸と左車軸との間にトルク差を発生させ、車両にヨーイングモーメントを付与する。電子制御ステアリングシステム２４は、例えば、旋回要求に応じてステアリングホイールの旋回角度とは独立してステアリング角を補正して車両にヨーモーメントを付与することが可能なステアバイワイヤステアリングシステムである。

車両には、情報出力ユニット２６が設けられている。情報出力ユニット２６は、運転支援動作のタイプに応じて、画像を表示したり、音声を生成したり、支援動作の情報を示す警告灯を点灯させたりする。情報出力ユニット２６は、例えば、スピーカを内蔵したモニタである。車両には、複数の情報出力ユニットが設けられてもよい。

図３４（ａ）に示すシステムは、本明細書に記載の車両システムの例示的な実装形態であるが、他の構成も可能であり、例示的な実装形態の範囲内に含まれ、本開示は図３４（ａ）に示す構成に限定されない。例えば、道路上の窪みを検出する目的で、車両の上部またはルーフにカメラを設けることができる。カメラシステムは、単一のカメラ、またはステレオシステムなどの複数のカメラから受信した画像に基づいて差分画像を生成するように構成された機械学習プロセスと結合された単一のカメラであってもよい。

図３４（ｂ）は、例示的な実装形態による、複数の車両システムおよび管理装置を示す。図３４（ａ）に関して説明したような１つまたは複数の車両システム１０１－１、１０１－２、１０１－３、および１０１－４は、管理装置１０２に接続されたネットワーク１００に通信可能に結合される。管理装置１０２は、ネットワーク１００内の車両システムから集約されたデータフィードバックを含むデータベース１０３を管理する。代替の例示的な実装形態では、車両システム１０１－１、１０１－２、１０１－３、および１０１－４からのデータフィードバックは、企業リソース計画システムなどのシステムからのデータを集約する専用データベースなどの中央リポジトリまたは中央データベースに集約することができ、管理装置１０２は、中央リポジトリまたは中央データベースからデータにアクセスまたは取得することができる。そのような車両システムは、所望の実装形態に応じて、車、トラック、トラクタ、バンなどの人間が操作する車両を含むことができる。

例示的な実装形態では、管理装置１０２は、１つまたは複数の車両システム１０１－１、１０１－２、１０１－３によって道路上で検出された窪みのインスタンスを記録するように実装されるクラウドシステムとして機能する。１つまたは複数の車両システム１０１－１、１０１－２、１０１－３は、車両システムを管理装置１０２に接続するネットワークインターフェースを介してそのような情報を送信することができる。

さらに、管理装置１０２は、所望の実装形態に応じて、特定の車両システムに対応する、以前に検出された道路上の窪みのインスタンスおよびそれらの位置に関する情報を提供することができる。例えば、窪みが部分的に埋まっているか、そうでなければ視界不良のために検出が困難なようにレンダリングされる気象条件（例えば、雨水、雪、または窪みを満たす葉、濃霧、暗闇など）では、車両システムは、図３３の車両コントローラ表に従って車両の検出および／または制御を支援するために組み込まれる管理装置１０２からの以前に検出された窪みのインスタンスを利用する。例えば、車両システムが道路上の１つまたは複数の候補窪みを識別できない場合、車両システムは、取得された道路上の窪みの位置および取得された窪みの各々の窪みのタイプを検出の代わりに使用することができる。

所望の実装形態に応じて、管理装置１０２は、限定はしないが、更新された閾値またはパラメータ（例えば、画素強度閾値、単一カメラシステム用の更新された機械学習アルゴリズム、更新された車両制御システム表など）などの他の更新を、管理対象車両システム１０１－１、１０１－２、１０１－３に提供することができる。例えば、車両の位置（例えば、車両がオフロードにあるか、または道路品質が悪い場所にある）に応じて、管理装置は、異なる閾値および車両制御システム表を送信して、位置に基づいて車両システムを管理することができる。

図３５は、車両システムの車載コンピュータが、図３４（ａ）に示すような車両システムのＥＣＵ１および地図測位ユニット６、または図３４（ｂ）に示すような管理装置１０２と対話する機能を容易にするためなど、いくつかの例示的な実装形態での使用に適した例示的なコンピュータ装置を有する例示的なコンピューティング環境を示す。本明細書に記載のすべての機能は、所望の実装形態に応じて、管理装置１０２において、車両システムにおいて、またはそのような要素のいくつかの組み合わせに基づくシステムを介して実装することができる。

コンピューティング環境３５００内のコンピュータ装置３５０５は、１つまたは複数の処理ユニット、コア、またはプロセッサ３５１０、メモリ３５１５（例えば、ＲＡＭ、ＲＯＭなど）、内部記憶装置３５２０（例えば、磁気、光学、固体ストレージ、および／または有機ストレージ）、および／またはＩ／Ｏインターフェース３５２５を含むことができ、それらのいずれも、情報を通信するための通信機構またはバス３５３０上に結合することができ、またはコンピュータ装置３５０５に組み込むことができる。Ｉ／Ｏインターフェース３５２５はまた、所望の実装形態に応じて、カメラから画像を受信するか、またはプロジェクタもしくはディスプレイに画像を提供するように構成される。

コンピュータ装置３５０５は、入力／ユーザインターフェース３５３５および出力装置／インターフェース３５４０に通信可能に結合することができる。入力／ユーザインターフェース３５３５および出力装置／インターフェース３５４０のいずれか一方または両方は、有線または無線インターフェースとすることができ、取り外し可能とすることができる。入力／ユーザインターフェース３５３５は、入力を提供するために使用することができる物理的または仮想的な任意の装置、構成要素、センサ、またはインターフェース（例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字、モーションセンサ、光学式リーダなど）を含むことができる。出力装置／インターフェース３５４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含むことができる。いくつかの例示的な実装形態では、入力／ユーザインターフェース３５３５および出力装置／インターフェース３５４０は、コンピュータ装置３５０５に組み込まれるかまたは物理的に結合され得る。他の例示的な実装形態では、他のコンピュータ装置は、コンピュータ装置３５０５のための入力／ユーザインターフェース３５３５および出力装置／インターフェース３５４０として機能するか、またはその機能を提供することができる。

コンピュータ装置３５０５の例は、高移動性装置（例えば、スマートフォン、車両および他の機械内の装置、人間および動物によって携行される装置など）、移動装置（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、および移動用に設計されていない装置（例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、１つまたは複数のプロセッサが組み込まれたおよび／または結合されたテレビ、ラジオなど）を含むことができるが、これらに限定されない。

コンピュータ装置３５０５は、同じまたは異なる構成の１つまたは複数のコンピュータ装置を含む、任意の数のネットワーク構成要素、装置、およびシステムと通信するために、外部記憶装置３５４５およびネットワーク３５５０に（例えば、Ｉ／Ｏインターフェース３５２５を介して）通信可能に結合することができる。 コンピュータ装置３５０５または任意の接続されたコンピュータ装置は、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン、または別のラベルとして機能し、そのサービスを提供し、またはそのように呼ばれ得る。

Ｉ／Ｏインターフェース３５２５は、コンピューティング環境３５００内の少なくともすべての接続された構成要素、装置、およびネットワークとの間で情報を通信するために、任意の通信またはＩ／Ｏプロトコルまたは規格（例えば、イーサネット、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラーネットワークプロトコルなど）を使用する有線および／または無線インターフェースを含むことができるが、これらに限定されない。 ネットワーク３５５０は、任意のネットワークまたはネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）とすることができる。

コンピュータ装置３５０５は、一時的媒体および非一時的媒体を含むコンピュータ使用可能またはコンピュータ可読媒体を使用するおよび／またはこれらを使用して通信することができる。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスクおよびテープ）、光学媒体（例えば、ＣＤ－ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、固体媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、固体記憶装置）、および他の不揮発性記憶装置またはメモリを含む。

コンピュータ装置３５０５は、いくつかの例示的なコンピューティング環境において、技法、方法、アプリケーション、プロセス、またはコンピュータ実行可能命令を実装するために使用することができる。コンピュータ実行可能命令は、一時的媒体から取得され、非一時的媒体に記憶され、そこから取得され得る。 実行可能命令は、任意のプログラミング言語、スクリプト言語、および機械語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔなど）のうちの１つまたは複数から発することができる。

プロセッサ３５１０は、ネイティブ環境または仮想環境において、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行することができる。 論理ユニット３５６０、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット３５６５、入力ユニット３５７０、出力ユニット３５７５、および異なるユニットが互いに、ＯＳと、および他のアプリケーション（図示せず）と通信するためのユニット間通信機構３５９５を含む、１つまたは複数のアプリケーションを配備することができる。 記載されたユニットおよび要素は、設計、機能、構成、または実装形態において変更することができ、提供された説明に限定されない。

いくつかの例示的な実装形態では、情報または実行命令がＡＰＩユニット３５６５によって受信されると、それは１つまたは複数の他のユニット（例えば、論理ユニット３５６０、入力ユニット３５７０、出力ユニット３５７５）に通信されてもよい。場合によっては、論理ユニット３５６０は、上述したいくつかの例示的な実装形態において、ユニット間の情報フローを制御し、ＡＰＩユニット３５６５、入力ユニット３５７０、出力ユニット３５７５によって提供されるサービスを指示するように構成されてもよい。例えば、一つ以上のプロセスまたは実装形態のフローは、論理ユニット３５６０によって単独でまたはＡＰＩユニット３５６５と連携して制御されてもよい。入力ユニット３５７０は、例示的な実装形態に記載された計算のための入力を取得するように構成されてもよく、出力ユニット３５７５は、例示的な実装形態に記載された計算に基づいて出力を提供するように構成されてもよい。

車載コンピュータの例示的な実装形態では、プロセッサ３５１０は、図３に示すように、車両の１つまたは複数のカメラから受信した道路の画像の差分（すなわち、視差）画像を決定し、図３に示すように、差分画像から道路上の１つまたは複数の候補窪みを識別し、図３２（ａ）～図３２（ｃ）に示すように、負のガウス分布との比較に基づいて１つまたは複数の候補窪みの各々について窪みのタイプを決定するために、１つまたは複数の候補窪みを分類し、図３３に示すように、１つまたは複数の候補窪みの各々について決定された窪みのタイプから、車両システムのサスペンション、ステアリング、または速度のうちの少なくとも１つを制御するように電子コントローラユニット（ＥＣＵ）に命令するように構成され得る。

所望の実装形態に応じて、単一のカメラを有する車両システムの場合、プロセッサ３５１０は、機械学習プロセスを介してカメラから受信した道路の画像から差分画像を生成するように構成される。複数のステレオカメラを有する車両システムの場合、図４で説明したように、複数のステレオカメラから受信した画像から差分画像が組み立てられる。

プロセッサ３５１０は、図３～図９で説明したように、差分画像のエッジ画像画素を閾値視差マップと比較するステップと、エッジ画像画素の各々を比較に基づく重みと関連付けるステップと、エッジ画像画素の各々に関連付けられた重みに基づいて１つまたは複数の候補窪みを識別するステップとによって、差分画像から道路上の１つまたは複数の候補窪みを識別するように構成され得る。

プロセッサ３５１０は、図３２（ａ）～図３２（ｃ）に示すように、１つまたは複数の候補窪みの可視画素の推定された傾きに負のガウス分布を適用することに基づいて１つまたは複数の候補窪みの死角領域を識別し、負のガウス分布の適用に基づいて１つまたは複数の候補窪みの深度を推定し、推定された深度と、１つまたは複数の候補窪みの推定された形状とに基づいて、１つまたは複数の候補窪みの各々について窪みのタイプを決定することによって、負のガウス分布との比較に基づいて１つまたは複数の候補窪みの各々について窪みのタイプを決定するために、１つまたは複数の候補窪みを分類するように構成され得る。

さらに、プロセッサ３５１０は、道路上の１つまたは複数の候補窪みの識別に失敗した場合に、図３４（ｂ）に関して説明したように、車両と通信するクラウドシステムから、道路上の窪みの位置および取得した窪みの各々の窪みのタイプを取得するように構成され得る。

管理装置１０２の例示的な実装形態では、プロセッサ３５１０は、図３４に記載のように、管理装置１０２に関連付けられた１つまたは複数の車両システムから道路上の１つまたは複数の候補窪みの位置を受信し、１つまたは複数の車両システムから車両システムに関連付けられた位置について発生する気象条件（例えば、雨、雪、暗闇、霧など）について、道路に関連付けられた候補窪みの位置を、位置に関連付けられた車両システムに提供するように構成され得る。

先進運転支援システム（ＡＤＡＳ）として本明細書に記載されるポットホールおよび他の窪み検出システムを使用することにより、例示的な実装形態を使用して、車のサスペンションシステムを適合させることによって安全かつ快適な運転を提供することができる。現在のステレオカメラは、運転者の安全を支援するために多くのＡＤ／ＡＤＡＳアプリケーションで利用されている。例示的な実装形態を実装することにより、サスペンションシステムを支援することによって快適な乗車を提供するとともに、運転者の安全性を向上させることができる。また、位置情報を使用することにより、特定の経路または車線を回避することができ、それによって車両の損傷を回避することができる。したがって、本明細書に記載の提案されたポットホール検出システムを実装することにより、カメラを備えた車両システムの性能が向上する。

詳細な説明のいくつかの部分は、コンピュータ内の動作のアルゴリズムおよび記号表現に関して提示されている。これらのアルゴリズム記述および記号表現は、データ処理技術の当業者によって、それらの革新の本質を他の当業者に伝えるために使用される手段である。アルゴリズムは、所望の最終状態または結果をもたらす一連の定義されたステップである。例示的な実装形態では、実行されるステップは、有形の結果を達成するために有形の量の物理的操作を必要とする。

特に明記しない限り、説明から明らかなように、説明全体を通して、「処理する」、「計算する（ｃｏｍｐｕｔｉｎｇ）」、「計算する（ｃａｌｃｕｌａｔｉｎｇ）」、「決定する」、「表示する」などの用語を利用する説明は、コンピュータシステムのレジスタおよびメモリ内の物理（電子）量として表されるデータを操作し、コンピュータシステムのメモリもしくはレジスタまたは他の情報記憶装置、伝送装置もしくは表示装置内の物理量として同様に表される他のデータに変換するコンピュータシステムまたは他の情報処理装置の動作およびプロセスを含むことができることが理解される。

例示的な実装形態はまた、本明細書の動作を実行するための装置に関することができる。この装置は、必要な目的のために特別に構成されてもよく、または１つまたは複数のコンピュータプログラムによって選択的に起動または再構成される１つまたは複数の汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、コンピュータ可読記憶媒体またはコンピュータ可読信号媒体などのコンピュータ可読媒体に記憶されてもよい。コンピュータ可読記憶媒体は、光ディスク、磁気ディスク、読み出し専用メモリ、ランダムアクセスメモリ、固体デバイスおよびドライブ、または電子情報を記憶するのに適した任意の他のタイプの有形または非一時的媒体などの有形媒体を含むことができるが、これらに限定されない。コンピュータ可読信号媒体は、搬送波などの媒体を含むことができる。本明細書に提示されるアルゴリズムおよびディスプレイは、いかなる特定のコンピュータまたは他の装置にも本質的に関連しない。コンピュータプログラムは、所望の実装形態の動作を実行する命令を含む純粋なソフトウェア実装形態を含むことができる。

様々な汎用システムは、本明細書の例によるプログラムおよびモジュールとともに使用されてもよく、または所望の方法ステップを実行するためのより特殊化された装置を構築することが好都合であることが判明してもよい。さらに、例示的な実装形態は、特定のプログラミング言語を参照して説明されていない。本明細書に記載の例示的な実装形態の教示を実施するために、様々なプログラミング言語を使用できることが理解されよう。プログラミング言語の命令は、１つまたは複数の処理装置、例えば、中央処理装置（ＣＰＵ）、プロセッサ、またはコントローラによって実行されてもよい。

当技術分野で知られているように、上述の動作は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの何らかの組み合わせによって実行することができる。例示的な実装形態の様々な態様は、回路および論理デバイス（ハードウェア）を使用して実装されてもよく、他の態様は、機械可読媒体（ソフトウェア）に記憶された命令を使用して実装されてもよく、命令は、プロセッサによって実行されると、プロセッサに、本出願の実装形態を実行する方法を実行させる。さらに、本出願のいくつかの例示的な実装形態は、ハードウェアでのみ実行されてもよく、他の例示的な実装形態は、ソフトウェアでのみ実行されてもよい。さらに、記載された様々な機能は、単一のユニットで実行することができ、または任意の数の方法で複数の構成要素に分散することができる。ソフトウェアによって実行される場合、方法は、コンピュータ可読媒体に記憶された命令に基づいて、汎用コンピュータなどのプロセッサによって実行されてもよい。必要に応じて、命令は、圧縮および／または暗号化された形式で媒体に記憶することができる。

さらに、本出願の他の実施態様は、本明細書の考察および本出願の教示の実施から当業者には明らかであろう。記載された例示的な実装形態の様々な態様および／または構成要素は、単独で、または任意の組み合わせで使用することができる。本明細書および例示的な実施態様は、例としてのみ考慮されることが意図されており、本出願の真の範囲および精神は、以下の特許請求の範囲によって示される。

Claims (9)

1. 方法であって、
   車両の１つまたは複数のカメラから受信した道路の画像の差分画像を決定するステップと、
   前記差分画像から前記道路上の１つまたは複数の候補窪みを識別するステップと、
   前記１つまたは複数の候補窪みの各々について窪みのタイプを決定するステップと、
   前記１つまたは複数の候補窪みの各々について決定された前記窪みのタイプから、前記車両のサスペンション、ステアリング、または速度のうちの少なくとも１つを制御するステップと、を含み、
   前記１つまたは複数のカメラは単一のカメラであり、前記差分画像は、前記道路の予想されるものに対する前記道路の受信画像に基づいて差分画像を生成するように訓練される機械学習プロセスを介して、前記カメラから受信した前記道路の前記画像から生成される、方法。
2. 方法であって、
   車両の１つまたは複数のカメラから受信した道路の画像の差分画像を決定するステップと、
   前記差分画像から前記道路上の１つまたは複数の候補窪みを識別するステップと、
   前記１つまたは複数の候補窪みの各々について窪みのタイプを決定するステップと、
   前記１つまたは複数の候補窪みの各々について決定された前記窪みのタイプから、前記車両のサスペンション、ステアリング、または速度のうちの少なくとも１つを制御するステップと、を含み、
   前記差分画像から前記道路上の１つまたは複数の候補窪みを識別する前記ステップは、
   前記差分画像のエッジ画像画素の視差マップを閾値と比較するステップと、
   前記エッジ画像画素の各々を前記比較に基づく重みと関連付けるステップと、
   前記エッジ画像画素の前記各々に関連付けられた前記重みに基づいて前記１つまたは複数の候補窪みを識別するステップと、を含む、方法。
3. 方法であって、
   車両の１つまたは複数のカメラから受信した道路の画像の差分画像を決定するステップと、
   前記差分画像から前記道路上の１つまたは複数の候補窪みを識別するステップと、
   前記１つまたは複数の候補窪みの各々について窪みのタイプを決定するステップと、
   前記１つまたは複数の候補窪みの各々について決定された前記窪みのタイプから、前記車両のサスペンション、ステアリング、または速度のうちの少なくとも１つを制御するステップと、を含み、
   前記１つまたは複数の候補窪みの各々について前記窪みのタイプを決定する前記ステップは、
   前記１つまたは複数の候補窪みの可視画素の推定された傾きに負のガウス分布を適用することに基づいて前記１つまたは複数の候補窪みの死角領域を識別するステップと、
   前記負のガウス分布の前記適用に基づいて前記１つまたは複数の候補窪みの深度を推定するステップと、
   前記推定された深度と、前記１つまたは複数の候補窪みの推定された形状とに基づいて、前記１つまたは複数の候補窪みの前記各々について前記窪みのタイプを決定するステップと、を含む、方法。
4. プロセスを実行するための命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、
   車両の１つまたは複数のカメラから受信した道路の画像の差分画像を決定するステップと、
   前記差分画像から前記道路上の１つまたは複数の候補窪みを識別するステップと、
   前記１つまたは複数の候補窪みの各々について窪みのタイプを決定するステップと、
   前記１つまたは複数の候補窪みの各々について決定された前記窪みのタイプから、前記車両のサスペンション、ステアリング、または速度のうちの少なくとも１つを制御するステップと、を含み、
   前記１つまたは複数のカメラは単一のカメラであり、前記差分画像は、前記道路の予想されるものに対する前記道路の受信画像に基づいて差分画像を生成するように訓練される機械学習プロセスを介して、前記カメラから受信した前記道路の前記画像から生成される、非一時的コンピュータ可読媒体。
5. プロセスを実行するための命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、
   車両の１つまたは複数のカメラから受信した道路の画像の差分画像を決定するステップと、
   前記差分画像から前記道路上の１つまたは複数の候補窪みを識別するステップと、
   前記１つまたは複数の候補窪みの各々について窪みのタイプを決定するステップと、
   前記１つまたは複数の候補窪みの各々について決定された前記窪みのタイプから、前記車両のサスペンション、ステアリング、または速度のうちの少なくとも１つを制御するステップと、を含み、
   前記差分画像から前記道路上の１つまたは複数の候補窪みを識別する前記ステップは、
   前記差分画像のエッジ画像画素の視差マップを閾値と比較するステップと、
   前記エッジ画像画素の各々を前記比較に基づく重みと関連付けるステップと、
   前記エッジ画像画素の前記各々に関連付けられた前記重みに基づいて前記１つまたは複数の候補窪みを識別するステップと、を含む、非一時的コンピュータ可読媒体。
6. プロセスを実行するための命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、
   車両の１つまたは複数のカメラから受信した道路の画像の差分画像を決定するステップと、
   前記差分画像から前記道路上の１つまたは複数の候補窪みを識別するステップと、
   前記１つまたは複数の候補窪みの各々について窪みのタイプを決定するステップと、
   前記１つまたは複数の候補窪みの各々について決定された前記窪みのタイプから、前記車両のサスペンション、ステアリング、または速度のうちの少なくとも１つを制御するステップと、を含み、
   前記１つまたは複数の候補窪みの各々について前記窪みのタイプを決定する前記ステップは、
   前記１つまたは複数の候補窪みの可視画素の推定された傾きに負のガウス分布を適用することに基づいて前記１つまたは複数の候補窪みの死角領域を識別するステップと、
   前記負のガウス分布の前記適用に基づいて前記１つまたは複数の候補窪みの深度を推定するステップと、
   前記推定された深度と、前記１つまたは複数の候補窪みの推定された形状とに基づいて、前記１つまたは複数の候補窪みの前記各々について前記窪みのタイプを決定するステップと、を含む、非一時的コンピュータ可読媒体。
7. 車両システムであって、
   １つまたは複数のカメラと、
   プロセッサであって、
   車両の１つまたは複数のカメラから受信した道路の画像の差分画像を決定し、
   前記差分画像から前記道路上の１つまたは複数の候補窪みを識別し、
   前記１つまたは複数の候補窪みの各々について窪みのタイプを決定し、
   前記１つまたは複数の候補窪みの各々について決定された前記窪みのタイプから、前記車両システムのサスペンション、ステアリング、または速度のうちの少なくとも１つを制御するように電子コントローラユニット（ＥＣＵ）に命令するように構成される、プロセッサと、を含み、
   前記１つまたは複数のカメラは単一のカメラであり、前記差分画像は、前記道路の予想されるものに対する前記道路の受信画像に基づいて差分画像を生成するように訓練される機械学習プロセスを介して、前記カメラから受信した前記道路の前記画像から生成される、車両システム。
8. 車両システムであって、
   １つまたは複数のカメラと、
   プロセッサであって、
   車両の１つまたは複数のカメラから受信した道路の画像の差分画像を決定し、
   前記差分画像から前記道路上の１つまたは複数の候補窪みを識別し、
   前記１つまたは複数の候補窪みの各々について窪みのタイプを決定し、
   前記１つまたは複数の候補窪みの各々について決定された前記窪みのタイプから、前記車両システムのサスペンション、ステアリング、または速度のうちの少なくとも１つを制御するように電子コントローラユニット（ＥＣＵ）に命令するように構成される、プロセッサと、を含み、
   前記プロセッサは、
   前記差分画像のエッジ画像画素の視差マップを閾値と比較するステップと、
   前記エッジ画像画素の各々を前記比較に基づく重みと関連付けるステップと、
   前記エッジ画像画素の前記各々に関連付けられた前記重みに基づいて前記１つまたは複数の候補窪みを識別するステップとによって、前記差分画像から前記道路上の１つまたは複数の候補窪みを識別するように構成される、車両システム。
9. 車両システムであって、
   １つまたは複数のカメラと、
   プロセッサであって、
   車両の１つまたは複数のカメラから受信した道路の画像の差分画像を決定し、
   前記差分画像から前記道路上の１つまたは複数の候補窪みを識別し、
   前記１つまたは複数の候補窪みの各々について窪みのタイプを決定し、
   前記１つまたは複数の候補窪みの各々について決定された前記窪みのタイプから、前記車両システムのサスペンション、ステアリング、または速度のうちの少なくとも１つを制御するように電子コントローラユニット（ＥＣＵ）に命令するように構成される、プロセッサと、を含み、
   前記プロセッサは、
   前記１つまたは複数の候補窪みの可視画素の推定された傾きに負のガウス分布を適用することに基づいて前記１つまたは複数の候補窪みの死角領域を識別するステップと、
   前記負のガウス分布の前記適用に基づいて前記１つまたは複数の候補窪みの深度を推定するステップと、
   前記推定された深度と、前記１つまたは複数の候補窪みの推定された形状とに基づいて、前記１つまたは複数の候補窪みの前記各々について前記窪みのタイプを決定するステップと、によって、前記１つまたは複数の候補窪みの各々について窪みのタイプを決定するように構成される、車両システム。

Images