JP7639889B2

JP7639889B2 - 画像解析装置、画像解析方法及びプログラム

Info

Publication number: JP7639889B2
Application number: JP2023505010A
Authority: JP
Inventors: 好実笹山
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2021-03-11
Filing date: 2021-03-11
Publication date: 2025-03-05
Anticipated expiration: 2041-03-11
Also published as: WO2022190314A1; US20240161260A1; JPWO2022190314A1; EP4287160A4; EP4287160A1

Description

本開示は、画像解析装置、画像解析方法及びプログラムが格納されたコンピュータ可読媒体に関する。

特許文献１には、車載カメラを用いて自車両の周囲を監視する装置が記載されている。この車両用周囲監視装置は、車両の左側ドアミラーに内蔵されるＣＣＤカメラにより撮像された画像に基づいて、道路と平行な方向のエッジを検出し、検出された複数のエッジのうち、道路上に描かれるペイント表示に対応するエッジを除外して、立体障害物のエッジを抽出する。抽出された立体障害物のエッジと車両との距離が所定距離以下の場合、ディスプレイ又はスピーカを用いて、立体障害物と車両との接触の可能性を運転者に報知する。

特開２０２０－１１２９７７号公報

左右に縁石や側溝のある狭い道路では、運転に不安を感じる人が多い。狭い道路での対向車とのすれ違いで車両を道路の側縁に寄せる際、運転の不注意により、車輪の縁石への接触や側溝への脱輪が発生するおそれがある。

本開示の目的は、路面に存在する凹凸を選択的に検出することが可能な画像解析装置、画像解析方法及びプログラムが格納されたコンピュータ可読媒体を提供することにある。

一態様に係る画像解析装置は、路面を撮像した画像に対して領域分割を行い、前記画像を複数のカテゴリの画像領域に分類した領域分割結果を生成する領域分割手段と、前記画像に対して深度推定を行い、深度推定情報を生成する深度推定手段と、前記領域分割結果と前記深度推定情報とに基づいて、前記路面に存在する凹凸を検出する検出手段とを備えるものである。

一態様に係る画像解析方法は、路面を撮像した画像に対して領域分割を行い、前記画像を複数のカテゴリの画像領域に分類した領域分割結果を生成し、前記画像に対して深度推定を行い、深度推定情報を生成し、前記領域分割結果と前記深度推定情報とに基づいて、前記路面に存在する凹凸を検出する。

一態様に係るコンピュータ可読媒体は、路面を撮像した画像に対して領域分割を行い、前記画像を複数のカテゴリの画像領域に分類した領域分割結果を生成する処理と、前記画像に対して深度推定を行い、深度推定情報を生成する処理と、前記領域分割結果と前記深度推定情報とに基づいて、前記路面に存在する凹凸を検出する処理とをコンピュータに実行させるプログラムが格納されたものである。

上述の態様によれば、路面に存在する凹凸を選択的に検出することが可能な画像解析装置、画像解析方法及びプログラムが格納されたコンピュータ可読媒体を提供することができる。

実施の形態に係る画像解析装置の構成を示すブロック図である。周辺の路面を撮像した画像の一例を示す図である図２の画像から生成される領域分割結果を示す図である。図２の画像から生成される深度推定情報を示す図である。領域分割結果と深度推定情報とを重ね合わせた、検出結果を示す図である。実施の形態に係る画像解析方法を示すフロー図である。実施の形態に係る画像解析装置を実現するコンピュータのハードウェア構成を示すブロック図である。

以下、図面を参照して本開示の実施の形態について説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化がなされている。また、以下の各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。また、以下で示す具体的な数値などは、本開示の理解を容易とするための例示にすぎず、これに限定されるものではない。

実施の形態は、例えば、車両の運転時に用いられ、自車両の周囲の路面に存在する凹凸を検出する技術に関する。図１は、実施の形態に係る画像解析装置１０の構成を示すブロック図である。画像解析装置１０は、車載安全装置の一つとして、車両に搭載される。

車両には、複数のカメラが搭載されている。例えば、カメラは車両の車体左側に搭載され得る。このカメラで、運転者にとって死角となる車両の左前輪付近を撮像することができる。図２は、車両周辺の路面を撮像した画像の一例を示す図である。図２では、撮像した画像に、道路１、車両２の車体左側の一部が映っている。この例では、道路１は、白線により区画される、車両２が走行する車道１ａと路肩１ｂとを含む。

図１に示すように、画像解析装置１０は、領域分割部１１、深度推定部１２、検出部１３を備える。領域分割部１１は、上述した周辺の路面を撮像した画像に対して領域分割（領域認識又はセグメンテーションともいう）を行い、画像を複数のカテゴリの画像領域に分類した領域分割結果を生成する。領域分割技術としては、例えば、Fully Convolutional Network（ＦＣＮ：全層畳み込みネットワーク）を用いたSemantic Segmentation（セマンティック・セグメンテーション）を用いることができる。

セマンティック・セグメンテーションは、入力された画像に対して、ピクセル単位でのクラス分類（推論）を行い、クラス分けした各ピクセル対してカテゴリをラベリングすることで、画像を複数のカテゴリの画像領域に分割し、領域分割結果として出力する。領域分割結果は、例えば、分割された画像領域ごとに色分けされた画像である。

なお、車載カメラは、例えば、車両の走行状況を所定のフレームレートでリアルタイムに撮像し、撮像した画像を画像解析装置１０に入力してもよい。画像解析装置１０は、所定のフレームレートで入力される画像を取得し、該画像に含まれるオブジェクトをクラス分類して、クラス分類された画像を領域分割結果として、所定のフレームレートで出力することができる。

図３は、図２の画像から生成される領域分割結果を示す図である。説明のため、図３では、撮像画像上に領域分割結果が重ね合わされている。また、図３には、各画像領域を明確にするために、複数の画像領域をそれぞれ囲む一点鎖線が追加されている。複数のカテゴリは、道路のカテゴリを含む。図３の例では、入力された画像は、道路のカテゴリである道路領域１Ａ（チェックパターンの網掛け領域）と車両領域２Ａ（斜線の網掛け領域）の２つの画像領域に分割されている。

深度推定部１２は、入力された画像に対して深度推定を行い、深度推定情報を生成する。深度推定部１２は、例えば、畳み込みニューラルネットワークを用いた深度推定アルゴリズムに基づくモデルを使用して撮像画像を解析し、各画素の深度を推定する。深度推定アルゴリズムは、例えば、ＣＮＮ－Ｄｅｐｔｈである。深度推定情報は、撮影画像の各画素について、その位置座標と深度との対応関係を示すものである。

図４は、図２の画像から生成される深度推定情報を示す図である。図４は、推定深度情報を視覚化した深度マップであり、深度が高い（深い）箇所が濃い色で描かれ、深度が低い（浅い）箇所が薄い色で描かれている。なお、説明のため、図４では、撮像画像上に深度推定情報が重ね合わされている。また、図４には、深度が同等の領域を囲む破線が追加されている。図４に示すように、路肩１ｂ内に高深度領域１Ｂが存在することがわかる。このように、側溝や、道路と歩道との境界を定める縁石等が存在する箇所に、深度マップ上の境界が発生する。

検出部１３は、領域分割結果と深度推定情報とに基づいて、路面に存在する凹凸を検出する。図５は、領域分割結果と深度推定情報とを重ね合わせた、検出結果を示す図である。説明のため、図５では、撮像画像上に、領域分割結果と深度推定情報とが重ね合わされている。検出部１３は、図５に示す、道路領域１Ａ内の高深度領域１Ｂを検出する。

このように、領域分割結果と深度推定情報とを用いることで、カテゴリに分割された画像領域毎に凹凸を検出することが可能となる。これにより、例えば、左右に側溝のある狭い道路を運転する際に、路面に存在する凹凸を認識することができ、側溝への脱輪や縁石への接触を防止することが可能となる。複数のカメラの画像を画像解析装置１０で解析することで、車両周囲の路面上の凹凸を認識し、より安全に車両を運行することが可能となる。

検出部１３は、分割された複数のカテゴリのうち、道路領域１Ａ内の路面に存在する凹凸を選択的に検出することが好ましい。これにより、車両２の進入が想定される道路上の凹凸を選択的に検出することができ、運転者に適切な注意喚起を行うことが可能となる。

なお、上述の例では、深度推定部１２は、撮像された画像全体に対して深度推定を行ったが、これに限定されない。深度推定部１２は、領域分割部１１により分割された画像領域のうち、少なくとも１つ（例えば、道路領域１Ａ）のみに深度推定を行ってもよい。

また、路面上の溝や段差は、その高さ（深さ）によっては、車両の通行に支障を生じない場合もある。このため、検出部１３は、推定された深度が所定の閾値範囲外となる箇所のみを、路面に存在する凹凸として検出することができる。すなわち、車両のタイヤが嵌ってしまうような深い溝や、乗り越えられない高さの段差を適切に検出することが可能となる。なお、深度推定情報に基づいて、溝等の幅や長さのサイズを算出し、算出したサイズを用いて路面上の凹凸を検出してもよい。

ここで、図６を参照して、画像解析装置１０による、路面の凹凸の検出処理について説明する。図６は、実施の形態に係る画像解析方法を示すフロー図である。図６に示すように、まず、画像解析装置１０は、車両の搭載カメラにより撮像された周辺の路面の画像（図２）を取得する（ステップＳ１０）。

次に、領域分割部１１は、Ｓ１０で取得した画像を領域分割し、領域分割結果を生成する（ステップＳ１１）。その後、深度推定部１２は、Ｓ１０で取得した画像を深度推定し、深度推定情報を生成する（ステップＳ１２）。なお、領域分割と深度推定の処理はいずれを先に行ってもよいし、同時に行ってもよい。

そして、検出部１３は、領域分割結果と深度推定情報とに基づいて、路面に存在する凹凸を検出し（ステップＳ１３）、検出結果を出力する（ステップＳ１４）。検出結果は、例えば、車内の表示装置に表示することができる。また、例えば、検出された路面の凹凸と車両との距離が所定値以下である場合に警告音を出力し、運転者に危険を報知してもよい。

また、検出された路面の凹凸から車両を遠ざけるように、ハンドルの操作に介入する操舵介入命令を生成することも可能である。これにより、側溝への脱輪を強制的に回避することが可能となる。

さらに、路面上の凹凸の存在について、他車両へ通知する機能を備えてもよい。他車両へ検出結果を通知する場合、車車間通信（Ｖ２Ｖ通信とも呼ばれる）を用いて通知してもよい。また、信号機に設置された通信機器等の道路のインフラストラクチャを介して、路車間通信（Ｖ２Ｉ通信とも呼ばれる）を用いて、他車両へ検出結果を通知してもよい。

なお、図６に示した処理を開始するタイミングとしては、以下の例が挙げられる。まず、画像解析装置１０は車載用である場合、車両の運転状況に関する所定の条件が満たされた場合に、凹凸の検出処理を開始することができる。車両の運転に関する所定の条件としては、運転者や同乗者による処理開始ボタンの押下がある。また、車両に搭載されたＧＰＳ（Global Positioning System）を用いて車両の位置情報を取得し、該車両が、例えば、狭い路地に侵入したことを契機に上記処理を開始することができる。

また、車両の運転に関する所定の条件には、車両が走行している車線が含まれ得る。すなわち、車両が走行している車線に応じて、路面の凹凸の検出処理を開始することができる。車両が走行している車線は、地図情報と、ＧＰＳ、ＧＮＳＳ等の位置情報とに基づいて判定することができる。また、撮像した画像から道路の区画線（路面に白色又は黄色等で形成される線）を検出し、その検出結果に基づいて車両が走行している車線を判定することも可能である。

撮像画像から道路の区画線を検出する手法は、画像に含まれる路面に描かれるペイント表示のエッジに基づくものや、機械学習を用いるものなど、既知の手法を採用することができる。また、領域分割部１１により領域分割されるカテゴリに、路面上の白線のカテゴリが含まれる場合、その結果を用いて道路の区画線を検出してもよい。

例えば、車両が走行している車線が道路の端の車線である場合に、路面の凹凸の検出処理を開始することができる。これにより、車線変更により端の車線に移動した場合、車線数が減少して走行車線が端の車線となった場合、右左折等で一車線の道路に移動した場合などに、路肩の縁石や側溝等の危険を適切に検出できる。

さらに、車両に、ミリ波レーダ、レーザレーダ、ステレオカメラ等の測距機能が搭載されている場合、該車両と道路脇の側壁との距離が所定値以下となった場合に、上記処理を開始することもできる。

なお、図面に記載された様々な処理を行う各機能ブロックは、ハードウェア的には、プロセッサ、メモリ、その他の回路で構成することができる。また、上述した処理を、プロセッサにプログラムを実行させることにより実現することも可能である。従って、これらの機能ブロックは、ハードウェアのみ、ソフトウェアのみ、又はそれらの組合せによっていろいろな形で実現でき、いずれかに限定されるものではない。

次に、実施の形態に係る画像解析装置１０のハードウェア構成について説明する。図７は、画像解析装置１０を実現するコンピュータ２０のハードウェア構成を示すブロック図である。但し、図７に示す構成は、画像解析装置１０の構成を限定する趣旨ではない。

図７に示すように、コンピュータ２０は、プロセッサ２１、メモリ２２、ストレージ２３、入出力インターフェース（入出力Ｉ／Ｆ）２４、及び通信インターフェース（通信Ｉ／Ｆ）２５などを備えており、これらはバス２６により相互に接続されている。

プロセッサ２１は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の演算処理装置である。メモリ２２は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリである。ストレージ２３は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はメモリカード等の記憶装置である。

ストレージ２３は、画像解析装置１０が備える構成要素の各機能を実現するプログラムを記憶している。プロセッサ２１がこのプログラムを実行することで、画像解析装置１０が備える構成要素の各機能が実現される。ここで、プロセッサ２１は、上記プログラムを実行する際、これらのプログラムをメモリ２２上に読み出してから実行しても良いし、メモリ２２上に読み出さずに実行しても良い。また、メモリ２２やストレージ２３は、画像解析装置１０が備える構成要素が保持する情報やデータを記憶する役割も果たす。

上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

入出力インターフェース２４は、表示装置３０、入力装置３１、音出力装置３２などと接続される。表示装置３０は、ＬＣＤ（Liquid Crystal Display）等であり、撮像された路面の画像や、プロセッサ２１により処理された領域分割結果、深度推定情報に対応する画像を表示する。表示装置３０は、例えば、領域分割結果と深度推定情報とに基づいて得られた路面の凹凸と車両との距離が所定値以下である場合、運転者に危険を報知する警告表示をすることができる。

入力装置３１は、運転者の操作入力を受け付ける装置であり、例えば、タッチセンサなどである。表示装置３０及び入力装置３１は一体化され、タッチパネルとして実現してもよい。音出力装置３２は、プロセッサ２１により処理された音響データに対応する音を出力する。音出力装置３２は、例えば、領域分割結果と深度推定情報とに基づいて得られた路面の凹凸と車両との距離が所定値以下である場合に警告音を出力し、運転者に危険を報知することができる。

通信インターフェース２５は、例えば無線通信路を介して外部の装置との間でデータを送受信する。例えば、道路の幅や側溝の有無等の道路状況情報を外部から通信Ｉ／Ｆ２５を介して取得することができる。画像解析装置１０は、道路状況情報に応じて、路面の凹凸の検知処理を開始するようにしてもよい。

なお、画像解析装置１０は、他の形態として、データセンター等に設置されたサーバとして実現することも可能である。車両に搭載されたカメラで撮像された画像データは、該サーバに送信され、路面の凹凸の検知処理が実行される。また、サーバからの検知結果は、車両に搭載された通信Ｉ／Ｆで受信され、警告表示や警告音の出力等を行うことができる。

以上、実施の形態を参照して本開示を説明したが、本開示は上述した実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

また、上述した実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
路面を撮像した画像に対して領域分割を行い、前記画像を複数のカテゴリの画像領域に分類した領域分割結果を生成する領域分割手段と、
前記画像に対して深度推定を行い、深度推定情報を生成する深度推定手段と、
前記領域分割結果と前記深度推定情報とに基づいて、前記路面に存在する凹凸を検出する検出手段と、
を備える、
画像解析装置。
（付記２）
複数の前記カテゴリは、道路のカテゴリを含み、
前記検出手段は、道路のカテゴリに分類された画像領域内の前記路面に存在する凹凸を検出する、
付記１に記載の画像解析装置。
（付記３）
前記検出手段は、推定された深度が所定の閾値範囲外の箇所を前記路面に存在する凹凸として検出する、
付記１又は２に記載の画像解析装置。
（付記４）
前記画像解析装置は車両に搭載される装置であり、
前記検出手段は車両の運転に関する所定の条件が満たされた場合に、前記凹凸の検出処理を開始する、
付記１～３のいずれか１項に記載の画像解析装置。
（付記５）
前記検出手段は、前記車両が走行する車線が所定の条件である場合に、前記凹凸の検出処理を開始する、
付記４に記載の画像解析装置。
（付記６）
前記検出手段は、前記画像に含まれる区画線に基づいて、前記車両が走行する車線を特定する、
付記５に記載の画像解析装置。
（付記７）
路面を撮像した画像に対して領域分割を行い、前記画像を複数のカテゴリの画像領域に分類した領域分割結果を生成し、
前記画像に対して深度推定を行い、深度推定情報を生成し、
前記領域分割結果と前記深度推定情報とに基づいて、前記路面に存在する凹凸を検出する、
画像解析方法。
（付記８）
複数の前記カテゴリは、道路のカテゴリを含み、
道路のカテゴリに分類された画像領域内の前記路面に存在する凹凸を検出する、
付記７に記載の画像解析方法。
（付記９）
推定された深度が所定の閾値範囲外の箇所を、前記路面に存在する凹凸として検出する、
付記７又は８に記載の画像解析方法。
（付記１０）
前記画像解析方法は車両の運転時に用いられるものであり、
車両の運転に関する所定の条件が満たされた場合に、前記凹凸の検出処理を開始する、
付記７～９のいずれか１項に記載の画像解析方法。
（付記１１）
前記車両が走行する車線が所定の条件である場合に、前記凹凸の検出処理が開始される、
付記１０に記載の画像解析方法。
（付記１２）
前記画像に含まれる区画線に基づいて、前記車両が走行する車線を特定する、
付記１１に記載の画像解析方法。
（付記１３）
路面を撮像した画像に対して領域分割を行い、前記画像を複数のカテゴリの画像領域に分類した領域分割結果を生成する処理と、
前記画像に対して深度推定を行い、深度推定情報を生成する処理と、
前記領域分割結果と前記深度推定情報とに基づいて、前記路面に存在する凹凸を検出する処理と、
をコンピュータに実行させるプログラムが格納されたコンピュータ可読媒体。
（付記１４）
複数の前記カテゴリは、道路のカテゴリを含み、
凹凸を検出する処理では、道路のカテゴリに分類された画像領域内の前記路面に存在する凹凸を検出する、
付記１３に記載のコンピュータ可読媒体。
（付記１５）
凹凸を検出する処理では、推定された深度が所定の閾値範囲外の箇所を前記路面に存在する凹凸として検出する、
付記１３又は１４に記載のコンピュータ可読媒体。
（付記１６）
前記プログラムは車両の運転時に実行され、
車両の運転に関する所定の条件が満たされた場合に、凹凸を検出する処理が開始される、
付記１３～１５のいずれか１項に記載のコンピュータ可読媒体。
（付記１７）
前記車両が走行する車線が所定の条件である場合に、前記凹凸の検出処理が開始される、
付記１６に記載のコンピュータ可読媒体。
（付記１８）
前記画像に含まれる区画線に基づいて、前記車両が走行する車線を特定する、
付記１７に記載のコンピュータ可読媒体。

１道路
１ａ車道
１ｂ路肩
１Ａ道路領域
１Ｂ高深度領域
２車両
２Ａ車両領域
１０画像解析装置
１１領域分割部
１２深度推定部
１３検出部
２０コンピュータ
２１プロセッサ
２２メモリ
２３ストレージ
２４入出力Ｉ／Ｆ
２５通信Ｉ／Ｆ
２６バス
３０表示装置
３１入力装置
３２音出力装置

Claims

走行する車両から路面を撮像した画像に対して領域分割を行い、前記画像を複数のカテゴリの画像領域に分類した領域分割結果を生成する領域分割手段と、
前記画像に対して深度推定を行い、深度推定情報を生成する深度推定手段と、
前記領域分割結果と前記深度推定情報とに基づいて、前記路面に存在する凹凸を検出する検出手段と、
を備え、
前記検出手段は、前記車両が走行している車線が道路の端の車線である場合に、路面の凹凸の検出処理を開始する、
画像解析装置。
複数の前記カテゴリは、道路のカテゴリを含み、
前記検出手段は、道路のカテゴリに分類された画像領域内の前記路面に存在する凹凸を検出する、
請求項１に記載の画像解析装置。
前記検出手段は、推定された深度が所定の閾値範囲外の箇所を前記路面に存在する凹凸として検出する、
請求項１又は２に記載の画像解析装置。
前記検出手段は、前記画像に含まれる区画線に基づいて、前記車両が走行する車線を特定する、
請求項１～３のいずれか１項に記載の画像解析装置。
コンピュータが、
走行する車両から路面を撮像した画像に対して領域分割を行い、前記画像を複数のカテゴリの画像領域に分類した領域分割結果を生成し、
前記画像に対して深度推定を行い、深度推定情報を生成し、
前記領域分割結果と前記深度推定情報とに基づいて、前記路面に存在する凹凸を検出する処理を実行し、
前記路面の凹凸の検出処理は、前記車両が走行している車線が道路の端の車線である場合に開始される、
画像解析方法。
複数の前記カテゴリは、道路のカテゴリを含み、
道路のカテゴリに分類された画像領域内の前記路面に存在する凹凸を検出する、
請求項５に記載の画像解析方法。
走行する車両から路面を撮像した画像に対して領域分割を行い、前記画像を複数のカテゴリの画像領域に分類した領域分割結果を生成する処理と、
前記画像に対して深度推定を行い、深度推定情報を生成する処理と、
前記領域分割結果と前記深度推定情報とに基づいて、前記路面に存在する凹凸を検出する処理と、
をコンピュータに実行させるプログラムであって、
前記路面の凹凸の検出処理は、前記車両が走行している車線が道路の端の車線である場合に開始される、
プログラム。
複数の前記カテゴリは、道路のカテゴリを含み、
凹凸を検出する処理では、道路のカテゴリに分類された画像領域内の前記路面に存在する凹凸を検出する、
請求項７に記載のプログラム。