JP6833668B2 - 画像特徴強調装置、路面特徴解析装置、画像特徴強調方法及び路面特徴解析方法 - Google Patents

Description

本発明の実施形態は、画像特徴強調装置、路面特徴解析装置、画像特徴強調方法及び路面特徴解析方法に関する。

従来、可視カメラによって路面が撮像された路面画像を用いて、路面の特徴を検出することが行われている。専用の固定式カメラを用いた場合には、路面のみを撮像した路面画像が得られるため、路面の特徴を検出することは容易である。しかしながら、可搬式カメラや車載カメラ等の移動式カメラを用いた場合には、道路周辺の環境により路面画像内に路面以外に移動体や樹木等の物体が撮像されてしまうことがある。このような路面画像を用いると、路面画像における路面の特徴検出の精度が低下する場合があった。

特開２００４−２７４４３１号公報 国際公開第２０１７／１４２８８号 特開２００７−２６５０１６号公報

本発明が解決しようとする課題は、路面画像における路面の特徴検出の精度を向上することができる画像特徴強調装置、路面特徴解析装置、画像特徴強調方法及び路面特徴解析方法を提供することである。

実施形態の画像特徴強調装置は、画像入力部と、画像データ記憶部と、路面領域取得部と、画像特徴強調処理部と、画像出力部とを持つ。画像入力部は、路面が撮像された路面画像を入力する。画像データ記憶部は、前記画像入力部が入力した前記路面画像を記憶する。路面領域取得部は、前記画像データ記憶部に記憶されている前記路面画像から撮像されている物体を判別し、判別した物体の周辺で、画素の画素値が路面の画素値に類似する領域を路面領域として取得する。画像特徴強調処理部は、取得された前記路面領域内の最高輝度値と最低輝度値とに基づいて、前記路面領域内の輝度値を変更することによって前記路面領域の特徴を強調する。画像出力部は、前記画像特徴強調処理部によって前記路面領域の特徴が強調された強調画像を出力する。

道路維持管理システムの概要を示す概略図。 第１の施形態における各装置の機能構成を表す概略ブロック図。 画像特徴強調装置の処理の流れを示すフローチャート。 路面画像の一例を示す図。 部分領域画像の一例を示す図。 検出窓の一例を示す図。 検出窓内の輝度値の分布を示す図。 路面画像の輝度値の分布を示す図。 本実施形態で用いるＬＰＦの一例を示す図。 ＬＰＦ後の輝度分布を示す図。 コントラスト調整の詳細を示す図。 コントラスト強調後の路面部分の領域の状態を示す図。 第２の施形態における各装置の機能構成を表す概略ブロック図。

以下、実施形態の画像特徴強調装置、路面特徴解析装置、画像特徴強調方法及び路面特徴解析方法を、図面を参照して説明する。
図１は、道路維持管理システム１００の概要を示す概略図である。
道路維持管理システム１００は、道路管理者に対して、道路の補修や修繕等の工事等の維持管理業務を支援するシステムである。なお、ここでいう道路とは、国や地方公共団体等の公共機関、または道路事業者によって管理される公道（一般道の他、高速道路も含む）のことである。

道路維持管理システム１００は、管理対象の道路に関する、道路ＩＤ、道路名、点検区間（点検開始位置と点検終了位置で定義）、属性情報を外部システム２００から予め登録しておく。そして、路面補修の順番の判断に当たり、「参照情報」となる点検情報、工事情報、住民提供情報を提供することで、道路の補修を行う上で、より効果的な順番の判断のサポートを行うシステムである。

外部システム２００から登録される属性情報は、幅員や延長、位置、舗設時期、供用年数、道路の利用用途、道路の利用頻度などの道路の属性を示す情報である。
点検情報は、管理対象の道路に対して、点検により得られた舗装の状態を示す情報である。住民通報情報は、住民等から日常的に発信される道路に関する様々な情報や要望である。工事情報は、管理対象の道路に対して、補修や修繕等の工事が行われた工事の状況やその履歴に関する情報である。

また、道路維持管理システム１００は、図２に示す舗装ひび割れ解析装置１及び画像特徴強調装置１０を備える。画像特徴強調装置１０は、路面が撮像された路面画像の路面部分の領域の特徴を強調する処理を装置である。
舗装ひび割れ解析装置１は、路面の点検時に撮影された路面画像から画像処理によって自動的に舗装ひび割れを検出し、舗装の劣化を評価する指標の一つである「ひび割れ率」を算出する装置である。

（第１の実施形態）
まず、第１の実施形態について、説明する。第１の実施形態は、撮像画像に対し、予め路面部分に対して強調処理を行ってから、ひび割れ解析を行う、実施の形態である。
図２は、第１の施形態における機能構成を表す概略ブロック図である。
まず画像特徴強調装置１０の構成について説明する。画像特徴強調装置１０は、撮像画像から路面部分に検出して、予め強調処理を行う装置である。

画像特徴強調装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、プログラムを実行する。プログラムの実行によって、画像特徴強調装置１０は、画像入力部１１、画像取得部１２、画像データ記憶部１３、領域取得部１４及び画像特徴強調処理部１５を備える装置として機能する。なお、画像特徴強調装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、プログラムは、電気通信回線を介して送受信されてもよい。

画像入力部１１は、画像特徴強調装置１０に路面画像を入力する入力部である。画像入力方法の一例としては、車載カメラ、市販のカメラ及びスマートフォン等に備えられたカメラによって撮像された路面画像を入力してもよいし、磁気ハードディスク装置や半導体記憶装置などの記憶装置に記憶されている路面画像を入力してもよいし、インターネット上から路面画像を入力してもよい。

路面画像は、画像全体に路面が撮像されている画像であってもよいし、画像の一部に路面が撮像されていて、路面が撮像されていない領域に物体（例えば、移動体や樹木等）が撮像されている画像であってもよい。また、路面画像は、例えば、画像サイズがフルＨＤ（High Definition）で白黒の画像である。

画像取得部１２は、画像入力部１１が入力した路面画像を取得する画像取得部である。
画像データ記憶部１３は、画像取得部１２によって取得された路面画像を記憶する記憶部である。画像データ記憶部１３は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。なお、画像データ記憶部１３は、不揮発性メモリであってもよい。

領域取得部１４は、画像データ記憶部１３に記憶されている路面画像から路面部分の領域を取得することによって部分領域画像を生成する領域取得部である。画像領域の取得方法については、後述する。
画像特徴強調処理部１５は、領域取得部１４で取得した部分領域画像内の路面部分の領域の特徴を強調する処理を行う処理部である。路面部分の領域の特徴を強調する処理は、路面領域の輝度の差異を強調する、コントラスト強調処理である。以下の説明では、路面部分の領域の特徴を強調する処理を単に強調処理と記載する。

なお、画像特徴強調装置１０は、少なくとも領域取得部１４及び画像特徴強調処理部１５を備えていればよい。

次に、舗装ひび割れ解析装置１の構成について説明する。舗装ひび割れ解析装置１は、画像特徴強調装置１０で生成された強調画像を用いて、舗装ひび割れを解析する装置である。
舗装ひび割れ解析装置１は、撮影画像入力部１０１、道路属性入力部１０２、解析作業者登録部１０３、入力情報記憶部１０５、舗装ひび割れ検出部１０６、ひび割れ率算出部１０７、点検結果データ記憶部１０８、点検結果出力部１０９、帳票作成・出力部１１０、表示制御部１１１、表示部１１２及び出力部１１３を備える。

撮影画像入力部１０１は、撮影画像取得部１０１１を持つ。撮影画像取得部１０１１は、路面部分の領域の特徴が強調された部分領域画像（以下「強調画像」という。）を画像特徴強調装置１０から取得する取得部である。撮影画像取得部１０１１と画像特徴強調装置１０の接続は、有線による接続でも、無線による接続のどちらでもよい。また、撮影画像入力部１０１は、強調画像を記憶している記憶部から強調画像を取得してもよい。撮影画像入力部１０１は、入力された取得した強調画像を入力情報記憶部１０５に記憶する。

道路属性入力部１０２は、区間属性情報入力部１０２１、及び位置データ取得部１０２２を持つ。
区間属性情報入力部１０２１は、路面を撮影する路線の区間属性情報を取得する入力部である。区間属性情報は、路面を撮影する路線の区間毎に定められた属性の情報である。属性の情報とは、例えば、「道路」、「橋梁」、「トンネル」等の情報である。区間属性情報には、路線名、区間番号、区間の起点、区間の終点等の情報が含まれていてもよい。

各路線は、起点からの距離に対応した区間に区切られており、区間毎に区間の属性（区間属性）が定められる。路線の区間属性情報は、図示しないＰＣ等において作成することができる。区間属性情報入力部１０２１は、作成された区間属性情報を、ネットワークを介して接続されたＰＣ等から取得したり、又は記録媒体を介して取得したりするようにしてもよい。

位置データ取得部１０２２は、撮影画像入力部１０１から取得される撮影画像を撮影したカメラの位置データを取得する取得部である。位置データ（位置情報）は、例えば、カメラと共に車載されるＧＰＳ（Global Positioning System）の利用者受信機（ＧＰＳ受信機）から取得される経緯度情報である。位置データには、経緯度の情報に加えて、高度、速度、日時等の情報が含まれていてもよい。位置データは、ＧＰＳ衛星からの電波が届きにくい山間部やトンネル内においては、カメラを搭載した車両の速度の情報や加速度の情報を用いて補正されてもよい。

解析作業者登録部１０３は、カメラ向き入力部１０３１、カメラ高さ入力部１０３２、カメラ機種情報等入力部１０３３及び解析作業者情報入力部１０３４を持つ。
カメラ向き入力部１０３１は、カメラの向きの情報を取得する取得部である。カメラの向きは、例えば路面に対するカメラの俯角、車載カメラの場合にはカメラを積んだ車両の進行方向に対する撮影方向の偏角等である。
カメラ高さ入力部１０３２は、カメラの路面からの高さの情報を取得する入力部である。なお、俯角とは、カメラと同じ高さの水平面から下にある物を撮影するときのカメラから撮影物方向の視線と、水平面とが成す角度である。水平方向の俯角は０°である。カメラから真下の方向の俯角は９０°である。

カメラ機種情報等入力部１０３３は、カメラ機種情報等の情報を取得する入力部である。カメラ機種情報等の情報には、例えば、カメラの型式、カメラのレンズの焦点距離、撮影する画像サイズ等の情報が含まれていてもよい。
解析作業者情報入力部１０３４は、舗装ひび割れ解析装置１において解析作業を行なう解析作業者の情報を取得する。解析作業者の情報は、例えば解析作業者の氏名、ＩＤ（identification）等である。

解析作業者登録部１０３は、カメラの向きの情報、カメラの高さの情報、カメラ機種情報及び解析作業者の情報を取得し、解析作業者登録情報として入力情報記憶部１０５に記憶する。

なお、本実施形態では、入力部を、撮影画像入力部１０１、道路属性入力部１０２と解析作業者登録部１０３の３つに分けて、それぞれの情報を取得する場合を説明したが、一つの機能として実装するようにしてもよい。

入力情報記憶部１０５は、路面領域が強調された撮像画像である強調画像と、道路属性情報と、解析作業者登録情報とを記憶する記憶部である。入力情報記憶部１０５は、例えば、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。入力情報記憶部１０５は、撮像画像入力部１０１が取得した強調画像のデータを、位置データ取得部１０２２が取得した位置データに対応付けて記憶する。すなわち、入力情報記憶部１０５は、撮影画像取得部１０１１が取得した強調画像のデータを、撮影時の位置データに対応付けて記憶する。

舗装ひび割れ検出部１０６は、入力情報記憶部１０５に記憶された路面部分の領域から、画像処理によって路面を検出する検出部である。
カメラが車載カメラである場合、路面に対して所定の俯角で配置されるため、撮影される画像が路面を斜めから撮像した画像となる。このため、舗装ひび割れ検出部１０６は、強調画像を正射影変換することで、強調画像は路面を真上から見たオルソ画像（Ortho Image）に変換される。舗装ひび割れ検出部１０６は、生成したひび割れ形状データと、オルソ画像と、検出したひび割れが路面のどの位置あったかを示す位置データとをひび割れ率算出部１０７に出力する。

また、オルソ画像は、複数のフレーム画像において作成された画像を重ね合わせて作成されてもよい。例えば、舗装ひび割れ検出部１０６は、露出を変えて撮影された複数のフレーム画像に基づきオルソ画像を生成して合成することにより、ダイナミックレンジの広いオルソ画像を生成することができる。また、舗装ひび割れ検出部１０６は、撮影位置が異なる複数のフレーム画像に基づきオルソ画像を生成するようにしてもよい。撮影位置が異なる複数のフレーム画像に基づきオルソ画像を生成することにより、例えば車両に対する振動等によってフレーム画像にブレ等の撮影トラブルが発生した場合でも、撮影に成功したフレーム画像に基づきオルソ画像を生成することが可能となる。

次に、生成されたオルソ画像から、ひび割れ形状データを算出する。ここで、ひび割れ形状データとは、ひび割れの形状を示すデータである。ひび割れ形状データのデータ形式は、ひび割れの形状を画像で表したラスタデータ、又はひび割れの形状を数値で表したベクタデータのいずれであってもよい。ひび割れの形状は、ひび割れの長さ、ひび割れの位置、ひび割れの幅、ひび割れの深さ等で表される。なお、舗装ひび割れ検出部１０６は、例えば、路面の輝度情報を基に舗装のひび割れを検出する。ここで、舗装のひび割れとは、舗装表面に発生したアスファルトのひび割れである。

更に、舗装ひび割れ検出部１０６は、オルソ画像と検出したひび割れ形状データとを重畳したひび割れ重畳画像を、点検結果データ記憶部１０８に記憶する。点検結果データ記憶部１０８に記憶させるひび割れ重畳画像は、所定の圧縮方式によってデータ量を圧縮したものであってもよい。

次に、ひび割れ率算出部１０７は、舗装ひび割れ検出部１０６から取得されたひび割れ形状データと、オルソ画像と、位置データとに基づいて、ひび割れ率を算出する算出部である。ひび割れ率算出部１０７は、算出したひび割れ率を点検結果データ記憶部１０８に記憶する。

ひび割れ率とは、真上から見た路面上に１辺が０．５ｍのマス目（メッシュ）を想定し、マス目の中に存在するひびの本数に基づき、舗装ひび割れの面積を算出するものである。例えば、マス目の中にひびが２本以上ある場合は、０．２５ｍ^２（１００％）であると算出する。同様に、マス目の中にひびが１本の場合は、０．１５ｍ^２（６０％）、マス目の中にひびが０本の場合は、０ｍ^２（０％）と算出する。すなわち、ひび割れ率は次式で表される。
ひび割れ率（％）＝１００×（ひび割れの面積）／（調査区間の面積）

なお、本実施形態では、マス目は、ひび割れ率算出部１０７が位置データ取得部１０２２から取得された位置データに基づき設定するものとする。また、調査区間の面積は、例えば１つのマス目（０．２５ｍ^２）であってもよく、所定の道路の距離（例えば、１３ｍ、１００ｍ、路線全区間の距離等）における路面の面積であってもよい。本実施形態では、マス目毎、および路線の区間（１２．５ｍ、１００ｍ）毎の平均値としてひび割れ率を算出した場合を例示して後述する。

ひび割れ率算出部１０７は、ひび割れ率と、ひび割れ本数と、ひび割れ率の算出に用いたマス目毎の位置データとをひび割れデータとして点検結果データ記憶部１０８に記憶する。

点検結果出力部１０９は、点検結果データ記憶部１０８に記憶されたひび割れ重畳画像を舗装ひび割れ解析装置１の外部の装置に出力する出力部である。外部の装置とは、例えば図示しない他のコンピュータシステム、記録メディアにデータを記憶する記憶装置等である。点検結果出力部１０９は、ひび割れ重畳画像を、例えば、フレーム画像又はオルソ画像として舗装ひび割れ解析装置の外部の装置に出力する。フレーム画像とは、路面を斜めから見た撮影画像の１フレーム毎の画像である。本実施形態において路面の撮影画像は車載カメラによって車両の後方を撮影することにより取得される。

また、点検結果出力部１０９は、点検結果データ記憶部１０８に記憶されたひび割れデータを、ひび割れデータとひび割れ重畳画像に対応付けて、舗装ひび割れ解析装置１の外部の装置に出力する。ひび割れ重畳画像とひび割れデータとを対応させて出力することにより、例えば他のコンピュータにシステムにおいて、ひび割れデータとひび割れ重畳画像とを対応付けて表示することが可能となる。なお、ひび割れ重畳画像とひび割れデータとを対応させる表示とは、例えば、ひび割れ重畳画像にひび割れデータを重畳した表示、ひび割れ重畳画像とひび割れデータを並列させた表示である。

また、点検結果出力部１０９は、ひび割れ率算出部１０７において算出されて点検結果データ記憶部１０８に記憶されたひび割れ率を出力する。点検結果出力部１０９は、例えば、マス目毎のひび割れ率、及び路線の区間毎に算出されたひび割れ率（平均値）を出力する。なお、点検結果出力部１０９は、路線の区間毎のひび割れ率の平均値の代わりに、平均前のひび割れ率のデータ、所定の区間内におけるひび割れ率の最大値等を出力するようにしてもよい。また、点検結果出力部１０９は、ひび割れ重畳画像と併せて対応する区間のひび割れ率を出力するようにしてもよい。

また、点検結果出力部１０９は、検証データを出力する。検証データとは、ひび割れ率を算出した路面が正しい点検対象であることを検証するためのデータである。例えば、路線の起点と終点が指定され、起点から終点までの路面が点検対象である場合、検証データは、起点から終点までの間の全ての路面について舗装ひび割れを点検したことを後日検証するためのデータである。検証データとして、例えば撮影された全ての画像（フレーム画像又はオルソ画像）を用いることができる。

点検結果出力部１０９が出力する、ひび割れ重畳画像、ひび割れ率、又は検証データ等の出力情報の出力のタイミングは任意である、点検結果出力部１０９は、例えば、所定の区間のひび割れ重畳画像等のデータが点検結果データ記憶部１０８に記憶されたときに出力情報を出力するようにしてもよい。また、点検結果出力部１０９は、利用者の明示的な操作に基づき出力情報を出力するようにしてもよい。

帳票作成・出力部１１０は、点検結果データ記憶部１０８に記憶されたひび割れデータに基づき、所定の帳票を作成して舗装ひび割れ解析装置１の外部又は表示制御部１１１に出力する出力部である。帳票作成・出力部１１０は、ひび割れデータとともにひび割れ重畳画像を含めて所定の帳票を作成してもよい。帳票作成・出力部１１０は、作成した帳票を、画像データとして出力するが、所定のファイル形式の文章ファイルとして出力してもよい。また、帳票作成・出力部１１０は、表示制御部１１１に対して作成した帳票を出力する。

また、帳票作成・出力部１１０は、出力する帳票に上述した検証データを含めることができる。検証データを帳票として出力することにより、出力する帳票の点検結果について検証が可能となる。なお、検証データは、舗装ひび割れ解析装置１を用いて舗装ひび割れ検出のサービスを提供するときの課金データとして利用するようにしてもよい。例えば、フレーム間距離の累積値又はフレーム画像の枚数に対して所定の単価を掛けた料金を自動的に計算するようにして検証データを課金データとして利用する。

表示制御部１１１は、ひび割れ重畳画像、ひび割れ率等の点検結果に基づき表示用の画面データを生成して表示部１１２に表示させる表示制御部である。表示制御部１１１は、表示用画像として、例えば、点検結果データ記憶部１０８に記憶されたひび割れ重畳画像を含む画面データを生成する。

表示制御部１１１は、撮影日時の異なる複数のひび割れ重畳画像から撮影日時の異なる複数のひび割れ重畳画像同士を比較可能な画面データを生成する。比較の対象となる複数のひび割れ重畳画像は、位置データが略同一であって、同一の撮影位置（多少の誤差を含んでいてもよい）から撮影された撮影画像に基づき生成されたものである。画面データは、ＧＩＳ（Geographic Information System：地理情報システム）を利用したデータ（ＧＩＳ画面データ）を含むものであってもよい。

表示部１１２は、表示制御部１１１から入力された画面データを画面表示する表示部である。表示部１１２は、例えば、液晶表示装置である。表示する画面データは、例えば、図９を用いて後述するような地図情報を含んでいてもよい。
出力部１１３は、点検結果データ記憶部１０８に記憶されたデータを他の装置に出力する出力部である。

出力部１１３は、例えば他の装置からのデータ取得要求に対して要求されたデータを出力するＷｅｂサーバであってもよい。出力部１１３から出力されるデータは、点検結果データ記憶部１０８に記憶されたデータであって、例えば、オルソ画像に変換された撮影画像、ひび割れ重畳画像、ひび割れ形状データ（ひび割れの形状を示すベクタデータ又はラスタデータ）、又はひび割れデータ（ひび割れ率、ひび割れ本数等）である。出力部１１３から出力されるデータの種類は、他の装置からの要求に応じて決定されるようにしてもよい。また、出力部１１３は、他の装置からデータを受信する機能を持っていてもよい。

なお、出力部１１３から出力されるデータは、点検結果出力部１０９から記録メディアに出力するようにしてもよい。例えば、ネットワーク３を介して出力部１１３からデータを取得出来ない他の装置に対しては、出力部１１３からデータを取得する代わりに記録メディアによって点検結果データ記憶部１０８に記憶されたデータを提供するようにすることができる。記録メディアとは、例えば、ハードディスクドライブ、メモリーカード、光ディスク等である。出力部１１３は、図示しない記録メディアの記録部を持つ。

次に、第１の実施形態の動作について説明する。
図３は、本実施の形態の画像特徴強調装置１０の処理の流れを示すフローチャートである。
図３の処理開始時には、既に画像データ記憶部１３に路面画像が記憶されているものとする。
まず、領域取得部１４が、画像データ記憶部１３に記憶されている路面画像を取得する（ステップＳ１０１）。ここで、取得する画像は、画像データ記憶部１３から最新の路面画像でもよいし、時系列順に最も先に画像データ記憶部１３に記憶された路面画像でもよいし、ユーザに選択された路面画像でもよい。

図４は、路面画像の一例を示す図である。
図４に示す路面画像２５０には、路面２０１の他に、多くの物体２０２（例えば、バス、車両、人物、樹木等）が撮像されている。特に、図４の路面画像２５０では、太陽光及びカメラの自動調整機能により、樹木やバス等の物体２０２が明瞭に映る。これに対し、路面２０１部分が、ぼやけて撮像されているため、ひび割れの検出精度が低くなってしまう場合がある。

次に、領域取得部１４が、取得した路面画像から路面画像に撮像されている物体２０２（例えば、車両やバス等の移動体、人物、建物、樹木）を、それぞれ判別していく（ステップＳ１０２）。物体２０２の判別手法については既存の技術が用いられてもよい。例えば、領域取得部１４は、物体２０２として車両やバス等の移動体が判別できている場合には、移動体のタイヤの位置から上下方向を判別し、車両の下部で、かつ、画素値が、予め登録されている路面の画素値に類似する部分（グレーに近い色が広がっている部分）を路面として検出する。

次に、領域取得部１４は、検出した路面部分の画素を基準として、路面画像内から検出した路面部分の画素の画素値に類似する部分を探索し、探索した結果から得られる領域を路面部分の領域として検出する。そして、領域取得部１４は、路面画像から、検出した路面部分の領域を取得することによって部分領域画像を生成する。また、領域取得部１４は、カメラの種類、路面撮影時の高さ及び路面撮影時の方向の組み合わせ毎に予め作成されたマスク領域（マスク画像）を、路面画像に適用（重ね合わせる）して路面部分の領域を取得することによって部分領域画像を生成してもよい。なお、マスク画像は、路面画像と同様の大きさを有する画像である。

また、マスク画像は、例えば、路面部分の領域内の画素が“１”、路面部分以外の領域内の画素が“０”の画素値を有する画像である。領域取得部１４は、路面画像にマスク画像を重ね合わせて、マスク画像の画素が“１”である領域を、路面部分の領域として路面画像から取得する。

図５は、部分領域画像の一例を示す図である。
図５に示すように、部分領域画像３００では、路面部分の領域以外の領域がマスク画像により描画されておらず、路面部分の領域が抽出されている。領域取得部１４は、生成した部分領域画像を画像特徴強調処理部１５に出力する。

次に、画像特徴強調処理部１５は、取得した部分領域画像内の路面部分の領域に複数の検出窓を設定する（ステップＳ１０３）。検出窓の位置及び大きさは、マスク画像毎に予め設定されていてもよいし、ユーザが設定してもよい。

画像特徴強調装置１０に入力される路面画像は、画像サイズがフルＨＤ（High Definition）で白黒の画像であるため、水平画素数が１９２０ピクセル、垂直画素数が１０８０ピクセルで、それぞれの画素が０〜２５５の８ビットの諧調をもつ。ここで、それぞれの画素をＰ（ｖ，ｈ）とする。ｖは画像の垂直位置０〜１０７９を表し、ｈは画像の水平位置０〜１９１９を表す。また、それぞれの画素の輝度値をＹ（ｖ，ｈ）とする。

図６は、検出窓の一例を示す図である。
図６では、路面画像の中で特に主要な路面部分が現れる範囲に、検出窓１、検出窓２、検出窓３の複数の検出窓が設定された場合を示している。それぞれの検出窓の位置は、検出窓１がＰ（１００，５１０）〜Ｐ（４９９，８０９）、検出窓２がＰ（１００，８１０）〜Ｐ（４９９，１１０９）、検出窓３がＰ（１００，１１１０）〜Ｐ（４９９，１４０９）の位置である。なお、検出窓の形状は、図６のような長方形に限らず、正方形や台形、多角形のいずれであっても。また、検出窓の大きさや配置は路面画像によって変更可能である。

検出窓内の輝度値Ｙ（ｖ，ｈ）の分布は、一般に図７のように０〜２５５に拡がっておらず一定の値に固まっている。これは路面が特定の輝度を持っているためである。それに比べて、路面部分の領域以外の領域を含む路面画像全体では図８のように検出窓内だけよりも幅広い輝度値を有する。

次に、画像特徴強調処理部１５は、設定した検出窓内の輝度値を算出する（ステップＳ１０４）。具体的には、画像特徴強調処理部１５は、検出窓内の画素のｖとｈの空間方向について、以下の演算でＬＰＦ(Low-Pass Filter：ローパスフィルタ)を掛けた輝度値を算出する。ＬＰＦ前の輝度値をＹ（ｖ,ｈ）、ＬＰＦ後の輝度値をＹ９（ｖ，ｈ）とすると、ＬＰＦ後の輝度値Ｙ９（ｖ，ｈ）は以下の式１のように表される。

ＬＰＦで扱う画素の位置関係の様子を図９に示す。
図９は、本実施形態で用いるＬＰＦの一例を示す図である。本実施形態では、図９に示すように、輝度値を算出する対象となる画素と、対象となる画素に隣接する８画素とを加えた９画素の輝度値を平均することでＬＰＦとしている。これにより、１画素単位の突発的な不良値の影響を緩和する。なお、画像特徴強調処理部１５は、９画素ＬＰＦの代わりに９画素メジアンフィルターなどを用いてもよい。画像特徴強調処理部１５は、この処理を検出窓内の各画素に対して行うことによって、検出窓内の輝度値を算出する。

図１０は、ＬＰＦ後の輝度分布を示す図である。図１０に示すように、ＬＰＦを適用する前の図７及び図８よりもノイズが落ちて輝度分布が狭くなっていることが分かる。

次に、図３に戻り、画像特徴強調処理部１５が、検出窓毎に、最高輝度値と最低輝度値とを算出する（ステップＳ１０５）。ここで、検出窓１の最高輝度値をＷ１Ｙｍａｘ、最低輝度値をＷ１Ｙｍｉｎすると、検出窓１の最高輝度値Ｗ１Ｙｍａｘ及び最低輝度値Ｗ１Ｙｍｉｎは以下の式２のように表される。

検出窓１と同様に、検出窓２の最高輝度値をＷ２Ｙｍａｘ、最低輝度値をＷ２Ｙｍｉｎ、検出窓３の最高輝度値をＷ３Ｙｍａｘ、最低輝度値をＷ３Ｙｍｉｎとすると、検出窓２の最高輝度値Ｗ２Ｙｍａｘ及び最低輝度値Ｗ２Ｙｍｉｎと、検出窓３の最高輝度値Ｗ３Ｙｍａｘ及び最低輝度値Ｗ３Ｙｍｉｎとはそれぞれ以下の式３及び４のように表される。

画像特徴強調処理部１５は、上記式２から式４により、各検出窓の最高輝度値及び最低輝度値を算出する。これにより、個々の検出窓内の輝度値の範囲の情報が得られる。次に、画像特徴強調処理部１５は、算出した各検出窓内の最高輝度値及び最低輝度値を用いて、全検出窓の代表輝度値を算出する（ステップＳ１０６）。ここで、最高代表輝度値をＹｍａｘ、最低代表輝度値をＹｍｉｎとすると、最高代表輝度値Ｙｍａｘ及び最低代表輝度値Ｙｍｉｎは以下の式５のように表される。

上記式５により、路面部分の領域の輝度値の範囲の情報が得られる。画像特徴強調処理部１５は、式５により求めた最高代表輝度値Ｙｍａｘと最低代表輝度値Ｙｍｉｎとを用いて、部分領域画像全体にコントラスト調整を行う（ステップＳ１０７）。具体的には、画像特徴強調処理部１５は、輝度値の範囲を最低代表輝度値Ｙｍｉｎから最高代表輝度値Ｙｍａｘまでの範囲に変更することによってコントラスト調整を行う。これにより、強調画像が生成される。
図１１は、コントラスト調整の詳細の位置ずれを示す図である。図１１に示すように、コントラスト調整前では輝度値の範囲が幅広い範囲であったが、コントラスト調整後では輝度値の範囲が最低代表輝度値Ｙｍｉｎから最高代表輝度値Ｙｍａｘまでの範囲に調整されている。

そして、画像特徴強調処理部１５は、部分領域画像に対して最低代表輝度値Ｙｍｉｎから最高代表輝度値Ｙｍａｘまでの輝度変化を０〜２５５に拡大することによってコントラスト強調する。これにより、路面画像における路面部分の領域が特徴認識しやすくなる。
図１２は、コントラスト強調後の路面部分の領域の状態を示す図である。図１２に示すように、図４の路面画像に比べて路面部分の領域のひび割れが強調されている。

以上のように構成された画像特徴強調装置１０によれば、路面画像から路面部分の領域を取得し、取得した路面部分の領域に対して強調処理を行う。路面部分の領域以外の領域（例えば、物体等が撮像されている領域）が撮像されている路面画像では、画像内において使用されている輝度値の幅が広い。そのため、強調処理を行ったとしても路面部分の領域の特徴が強調されづらい。それに比べ、路面部分の領域では路面画像全体よりも輝度値の幅が狭い。そのため、路面部分の領域に対して強調処理を行うことによって路面部分の領域の特徴が強調される。これにより、路面画像における路面の特徴検出の精度を向上させることが可能になる。その結果、精度よく画像の特徴を検出することができる。

また、画像特徴強調装置１０は、路面部分の領域内の最高輝度値と最低輝度値とに基づいて得られる最高代表輝度値と最低代表輝度値を用いてコントラスト調整を行う。そして、画像特徴強調装置１０は、最高代表輝度値と最低代表輝度値の輝度変化を拡大することによって路面部分の領域内の輝度値を変更して特徴を強調する。このように、画像特徴強調装置１０は、路面部分の領域以外の領域の輝度値の影響を受けずに強調処理を行うことができる。そのため、路面画像における路面部分の特徴の検出精度を向上させることが可能になる。

画像特徴強調装置１０は、路面部分の領域に対して複数の検出窓を設定し、検出窓内の最高輝度値と最低輝度値とをそれぞれ算出し、算出した最高輝度値と最低輝度値とを用いて最高代表輝度値と最低代表輝度値とを算出し、算出した最高代表輝度値と、最低代表輝度値とに基づいて、路面部分の領域内の輝度値を変更することによって画像の特徴を強調する。画像特徴強調装置１０は、最高代表輝度値及び最低代表輝度値の算出において、各検出窓の最高輝度値及び最低輝度値それぞれの中央値を最高代表輝度値及び最低代表輝度値としている。このように、複数の検出窓の中央値を取ることにより、いずれかの検出窓でイレギュラーな状態(物体)の部分が含まれていても回避することができる。

＜第１の実施形態の変形例＞
以下、第１の実施の形態の変形例について説明する。
図３のステップＳ１０１における路面部分の領域の取得方法は、検出した物体の位置関係他から示度的な自動的に取得していたが、図２の領域取得部１４は、ユーザによって選択された領域を路面部分の領域として取得してもよい。このように構成される場合、例えば画像特徴強調装置１０は、不図示の表示部に路面部分の設定画面を表示し、ユーザが、マウス等の入力装置を用いて路面画像内の特定の領域を選択する。領域取得部１４は、選択された特定の領域を路面部分の領域として取得する。

また、別の変形例としては、図３のステップＳ１０５において、画像特徴強調処理部１５は、最高輝度値（Ｗ１Ｙｍａｘ、Ｗ２Ｙｍａｘ、Ｗ３Ｙｍａｘ）及び最低輝度値（Ｗ１Ｙｍｉｎ、Ｗ２Ｙｍｉｎ、Ｗ３Ｙｍｉｎ）として、単に検出窓内の全ての輝度値の中でｍａｘ、ｍｉｎを取るのではなく、検出窓内の画素輝度順位で上位から１００００位目、下位から１００００位目を不良値として排除し、排除後の残りの中で最高輝度値及び最低輝度値を算出してもよい。

更に、別の変形例として、図３のステップＳ１０４の処理において、検出窓内の輝度値を算出する際にＬＰＦを適用する構成を示したが、この処理は必ずしも実行されなくてもよい。ＬＰＦを適用しない場合、画像特徴強調処理部１５は、各検出窓内の各画素の画素値の値をそのまま検出窓内の画素値として使用する。

画像特徴強調処理部１５は、全検出窓のうち検出窓内の代表輝度値が外れ値の検出窓がある場合、外れ値の検出窓を除いた残りの検出窓内の輝度値を用いて最高代表輝度値と最低代表輝度値とを算出するように構成されてもよい。検出窓内の代表輝度値は、１つの検出窓における輝度値の代表値である。画像特徴強調処理部１５は、１つの検出窓内の全ての画素値を用いて、全ての画素値の中央値を代表輝度値として算出する。また、外れ値とは、代表輝度値が他の検出窓における代表輝度値と比べて大きくずれている値である。例えば、外れ値は、検定等の手法によって求められてもよい。
このように構成されることによって、建物や車両や影等による影響で輝度値に変化が生じてしまった路面部分の領域を除外することができる。そのため、強調処理の精度低下を抑制することができる。

更に、別の変形例としては、画像特徴強調処理部１５は、動画のように路面画像が時系列順に連続して入力された場合、検出窓内の代表輝度値の変化が閾値以上の検出窓を除いた残りの検出窓内の輝度値を用いて最高代表輝度値と最低代表輝度値とを算出するように構成されてもよい。
このように構成されることによって、建物や車両や影等による影響で輝度値に変化が生じてしまった路面部分の領域を除外することができる。そのため、強調処理の精度低下を抑制することができる。

（第２の実施形態）
第２の実施形態は、路面画像に対して予め強調処理を施すのではなく、舗装ひび割れ解析装置内で、路面領域を抽出して強調処理を行ってから、ひび割れ解析を行う実施形態である。
第２の実施形態では、道路維持管理システム１００が、図１３に示す舗装ひび割れ解析装置１ａを備える。
図１３は、第２の施形態における舗装ひび割れ解析装置１ａを表す概略ブロック図である。なお、図１３において図２に示す舗装ひび割れ解析装置１と同様の構成については同様の符号を付して説明を省略する。

舗装ひび割れ解析装置１ａの構成について説明する。舗装ひび割れ解析装置１ａは、撮影画像入力部１０１及び舗装ひび割れ検出部１０６に代えて、撮影画像入力部１０１ａ及び舗装ひび割れ検出部１０６ａを備え、領域取得部１１４及び画像特徴強調処理部１１５を新たに備える点で舗装ひび割れ解析装置１と構成が異なる。以下、相違点についてのみ説明する。

撮影画像入力部１０１は、車載カメラにより得られる路面画像を取得する入力部である。撮影画像取得部１０１１と車載カメラの接続は、有線による接続でも、無線による接続のどちらでもよい。また、撮影画像入力部１０１に入力される路面画像のデータは、現在車載カメラで撮影されているデータであってもよい。また、撮影画像入力部１０１に入力される路面画像のデータは、過去に車載カメラで撮影されて録画された撮影画像のデータであってもよい。

領域取得部１１４は、入力情報記憶部１０５に記憶されている路面画像から、路面部分の領域を取得することによって部分領域画像を生成する領域取得部である。なお、領域取得部１１４の具体的な処理は、領域取得部１４と同様である。
画像特徴強調処理部１１５は、領域取得部１１４で取得した部分領域画像内の路面部分の領域の特徴を強調する処理を行う処理部である。なお、画像特徴強調処理部１１５の具体的な処理は、画像特徴強調処理部１５と同様である。

ここで、撮影画像入力部１０１ａ、道路属性入力部１０２、入力情報記憶部１０５、領域取得部１１４及び画像特徴強調処理部１１５は、画像特徴強調装置として構成される。なお、画像特徴強調装置は、少なくとも領域取得部１１４及び画像特徴強調処理部１１５を備えていればよい。

舗装ひび割れ検出部１０６ａは、画像特徴強調処理部１１５によって生成された強調画像内の路面部分の領域から画像処理によって路面の特徴を検出する特徴検出部である。舗装ひび割れ検出部１０６ａの具体的な処理は、舗装ひび割れ検出部１０６と同様である。

以上のように構成された舗装ひび割れ解析装置１ａによれば、第１の実施形態における画像特徴強調装置１０と同様の効果を得ることができる。
また、舗装ひび割れ解析装置１ａは、１つの装置で画像に対する強調処理と、ひび割れの解析とが可能になる。そのため、利便性を向上させることができる。

＜第２の実施形態の変形例＞
以下、本実施の形態の変形例について説明する。
本実施の形態における舗装ひび割れ解析装置１ａは、第１の実施形態における画像特徴強調装置１０と同様に変形されてもよい。

＜各実施の形態に共通の変形例＞
以下、上記の各実施の形態に共通の変形例について説明する。
上記の各実施の形態において、ひび割れの形状には、ひび割れの方向を示すものを含んでもよい。ひび割れの方向とは、例えば、車両の進行方向に対する角度である。車両の進行方向に対する角度は、車両の進行方向を０°として−９０°〜９０°の範囲で表すようにしてもよい。ひび割れの方向は、所定の長さのひび割れを直線近似したものであってもよい。また、ひび割れの形状は、直線状、曲線状、複数の直線又は曲線が分岐する枝状、ひび割れによって多角形状等を構成する形状（本実施形態では、「亀甲状」という。但し、６角形には限定されない。）を表すものであってもよい。

上記各実施の形態の形態では、舗装ひび割れ解析装置１及び舗装ひび割れ解析装置１ａが、強調画像を用いて画像処理によって、強調画像内の特徴として路面の舗装ひび割れを検出する構成を示したが、舗装ひび割れ解析装置１及び舗装ひび割れ解析装置１ａは強調画像内の特徴としてポットホール、くぼみ、白線や道路標示のかすれ、落下物、動物の死骸、漏水等の道路の不具合、補修跡、人物、車両を検出するように構成されてもよい。

以上説明した少なくともひとつの実施形態によれば、路面画像から路面部分の領域を取得する領域取得部１４と、取得された路面部分の領域に対して、画像の特徴を強調する処理を行う画像特徴強調処理部１５とを持つことにより、路面画像における路面の特徴検出の精度を向上させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１、１ａ…舗装ひび割れ解析装置，１０…画像特徴強調装置，１１…画像入力部，１２…画像取得部，１３…画像データ記憶部，１４…領域取得部，１５…画像特徴強調処理部，１０１、１０１ａ…撮影画像入力部，１０２…道路属性入力部，１０３…解析作業者登録部，１０５…入力情報記憶部，１０６、１０６ａ…舗装ひび割れ検出部，１０７…ひび割れ率算出部，１０８…点検結果データ記憶部，１０９…点検結果出力部，１１０…帳票作成・出力部，１１１…表示制御部，１１２…表示部，１１３…出力部，１１４…領域取得部，１１５…画像特徴強調処理部

Claims (14)

1. 路面が撮像された路面画像を入力する画像入力部と、
   前記画像入力部が入力した前記路面画像を記憶する画像データ記憶部と、
   前記画像データ記憶部に記憶されている前記路面画像から撮像されている物体を判別し、判別した物体の周辺で、画素の画素値が路面の画素値に類似する領域を路面領域として取得する路面領域抽出部と、
   取得された前記路面領域内の最高輝度値と最低輝度値とに基づいて、前記路面領域内の輝度値を変更することによって前記路面領域の特徴を強調する画像特徴強調処理部と、
   前記画像特徴強調処理部によって前記路面領域の特徴が強調された強調画像を出力する画像出力部と、
   を備える画像特徴強調装置。
2. 前記路面領域抽出部は、前記路面画像から、撮像された移動体を検出し、当該移動体のタイヤ部分位置を上下方向を判定し、
   車両の下部で、かつ画素値が予め登録されている路面の画素値に類似する部分を路面領域として取得する、
   請求項１に記載の画像特徴強調装置。
3. 路面部分を設定する設定画面を、更に有し、
   前記路面領域抽出部は、操作者が指定した領域を路面領域として路面として取得する、
   請求項１に記載の画像特徴強調装置。
4. 前記画像特徴強調処理部は、前記路面領域に対して複数の検出窓を設定し、前記検出窓内の最高輝度値と最低輝度値とをそれぞれ算出し、算出した前記最高輝度値と前記最低輝度値とを用いて全検出窓の最高代表輝度値と最低代表輝度値とを算出し、算出した前記最高代表輝度値と、前記最低代表輝度値とに基づいて、前記路面領域内の輝度値を変更することによって前記路面領域の特徴を強調する、
   請求項１に記載の画像特徴強調装置。
5. 前記画像特徴強調処理部は、全検出窓のうち検出窓内の代表輝度値が外れ値の検出窓がある場合、前記外れ値の検出窓を除いた残りの検出窓内の輝度値を用いて最高代表輝度値と最低代表輝度値とを算出する、
   請求項４に記載の画像特徴強調装置。
6. 前記画像特徴強調処理部は、前記路面画像が連続して入力された場合、検出窓内の代表輝度値の変化が閾値以上の検出窓を除いた残りの検出窓内の輝度値を用いて最高代表輝度値と最低代表輝度値とを算出する、
   請求項４に記載の画像特徴強調装置。
7. 路面が撮像された路面画像を入力する画像入力部と、
   前記画像入力部が入力した前記路面画像を記憶する画像データ記憶部と、
   前記画像データ記憶部に記憶されている前記路面画像から撮像されている物体を判別し、判別した物体の周辺で、画素の画素値が路面の画素値に類似する領域を路面領域として取得する路面領域抽出部と、
   取得された前記路面領域内の最高輝度値と最低輝度値とに基づいて、前記路面領域内の輝度値を変更することによって前記路面領域の特徴を強調する画像特徴強調処理部と、
   前記画像特徴強調処理部によって前記路面領域の特徴が強調された強調画像を取得し、取得した前記強調画像内の前記路面領域から画像処理によって路面の劣化を検出する路面特徴検出部と、
   前記路面特徴検出部によって検出された前記路面の劣化に応じた点検結果を出力する点検結果出力部と、
   を備える路面特徴解析装置。
8. 前記路面特徴検出部は、路面領域の特徴が強調された強調画像内の前記路面領域から画像処理によって路面の舗装ひび割れを検出する、
   請求項７に記載の路面特徴解析装置。
9. 路面が撮像された路面画像を入力する画像入力ステップと、
   前記画像入力ステップにおいて入力した前記路面画像を画像データ記憶部に記録する画像データ記録ステップと、
   前記画像データ記憶部に記録された前記路面画像に撮像されている物体を判別し、判別した物体の周辺で、画素の画素値が、路面の画素値に類似する領域を路面領域として取得する路面領域抽出ステップと、
   取得された前記路面領域内の最高輝度値と最低輝度値とに基づいて、前記路面領域内の輝度値を変更することによって前記路面領域の特徴を強調する画像特徴強調処理ステップと、
   前記画像特徴強調処理ステップにおいて前記路面領域の特徴が強調された強調画像を出力する画像出力ステップと、
   を有する画像特徴強調方法。
10. 前記画像特徴強調処理ステップにおいて、
    前記路面領域に対して複数の検出窓を設定し、前記検出窓内の最高輝度値と最低輝度値とをそれぞれ算出し、算出した前記最高輝度値と前記最低輝度値とを用いて全検出窓の最高代表輝度値と最低代表輝度値とを算出し、算出した前記最高代表輝度値と、前記最低代表輝度値とに基づいて、前記路面領域内の輝度値を変更することによって前記路面領域の特徴を強調する、
    請求項９に記載の画像特徴強調方法。
11. 前記画像特徴強調処理ステップにおいて、
    全検出窓のうち検出窓内の代表輝度値が外れ値の検出窓がある場合、前記外れ値の検出窓を除いた残りの検出窓内の輝度値を用いて最高代表輝度値と最低代表輝度値とを算出する、
    請求項１０に記載の画像特徴強調方法。
12. 前記画像特徴強調処理ステップにおいて、
    前記路面画像が連続して入力された場合、検出窓内の代表輝度値の変化が閾値以上の検出窓を除いた残りの検出窓内の輝度値を用いて最高代表輝度値と最低代表輝度値とを算出する、
    請求項１０に記載の画像特徴強調方法。
13. 路面が撮像された路面画像を入力する画像入力ステップと、
    前記画像入力ステップにおいて入力した前記路面画像を画像データ記憶部に記録する画像データ記録ステップと、
    前記画像データ記憶部に記録された前記路面画像に撮像されている物体を判別し、判別した物体の周辺で、画素の画素値が路面の画素値に類似する領域を路面領域として取得する路面領域抽出ステップと、
    取得された前記路面領域内の最高輝度値と最低輝度値とに基づいて、前記路面領域内の輝度値を変更することによって前記路面領域の特徴を強調する画像特徴強調処理ステップと、
    前記画像特徴強調処理ステップにおいて前記路面領域の特徴が強調された強調画像を取得し、取得した前記路面画像内の前記路面領域から画像処理によって路面の特徴を検出する路面特徴検出ステップと、
    前記路面特徴検出ステップにおいて検出された前記路面の劣化に応じた点検結果を出力する点検結果出力ステップと、
    を有する路面特徴解析方法。
14. 前記路面特徴検出ステップにおいて、
    路面領域の特徴が強調された強調画像内の前記路面領域から画像処理によって路面の舗装ひび割れを検出する、
    請求項１３に記載の路面特徴解析方法。