JP7662969B2 - 学習モデル構築装置、推定装置、学習モデル構築方法、推定方法、及びプログラム - Google Patents

Description

本開示は、学習モデル構築装置、推定装置、学習モデル構築方法、推定方法、及びプログラムに関する。

近年、画像処理技術を用いて画像から対象物の像を検出することが知られている。特に、セグメンテーション等の手法を用いることによって、画像から対象物の像を画素単位で検出することも可能となっている。このように対象物の像を検出する技術を活用して、対象物である構造物の点検及び診断を効率化する手法が研究され、開発されている。例えば、対象物がコンクリート構造物である場合、該コンクリート構造物の表面に発生する、ひび割れ、鉄筋の露出等の損傷を検出することにより、コンクリート構造物の劣化を診断することが知られている。

さらに、損傷が検出された構造物の像を示す画像のスケール（単位は「ｃｍ／ｐｉｘｅｌ」又は「ｐｉｘｅｌ／ｃｍ」）を判定することによって、構造物における損傷部分の大きさ（面積、長さ等）を定量的に評価することが知られている。例えば、非特許文献１では、ＣＮＮ（Convolutional Neural Network）による深層学習を用いて、コンクリート構造物の表面を撮影した画像のスケールを推定することが提案されている。具体的には、歩道橋、コンクリート壁等のコンクリート構造物の表面における凹凸、陰影、空隙等によって形成されるテクスチャの特徴に基づいて、画像のスケールを推定することが提案されている。

Ju An Park、外２名、"Learning-based image scale estimation using surface texture for quantitative visual inspection of regions-of interest"、Computer-Aided Civil and Infrastructure engineering、Vol.36、pp.227-241、2020

しかしながら、例えば、通信用とう道の内側のような、コンクリート構造物の表面が屋内に配設されている環境においては、屋外の環境に比べて光量が少ない。そのため、屋内において、カメラがコンクリート構造物を撮像した画像にはノイズが発生することがある。このようなノイズにより、コンクリート構造物の表面を撮影した画像のスケールを高い精度で推定することが困難となることがある。

かかる事情に鑑みてなされた本開示の目的は、コンクリート構造物の表面のスケールを高い精度で推定することができる学習モデル構築装置、推定装置、学習モデル構築方法、推定方法、及びプログラムを提供することにある。

上記課題を解決するため、本開示に係る学習モデル構築装置は、コンクリートの表面を撮像した、スケールの真値が既知である学習用画像を示す画像データと、該学習用画像のスケールの真値とを対応付けた教師データに基づいて、互いに異なる複数の損失関数それぞれを用いて複数の学習モデルそれぞれを構築する複数の学習部と、スケールの真値が既知である、前記学習用画像とは異なる最適検証用画像について、前記複数の学習モデルそれぞれを用いて、前記スケールの複数の推定値それぞれを算出する複数の検証部と、前記最適検証用画像についての、前記スケールの真値に対する、前記複数の前記スケールの推定値の相関関係それぞれを算出する複数の相関関係算出部と、前記複数の学習モデルのうちの、前記相関関係が最も高い学習モデルである最適学習モデルを選択する最適学習モデル選択部と、を備える。

また、上記課題を解決するため、本開示に係る推定装置は、学習モデル構築装置によって選択された前記最適学習モデルを記憶する学習モデル記憶部と、前記最適学習モデルを用いて、前記スケールの真値が未知である未知画像のスケールの推定値を算出する推定部と、を備える。

また、上記課題を解決するため、本開示に係る学習モデル構築方法は、コンクリートの表面を撮像した、スケールの真値が既知である学習用画像を示す画像データと、該学習用画像のスケールの真値とを対応付けた教師データに基づいて、互いに異なる複数の損失関数それぞれを用いて複数の学習モデルそれぞれを構築するステップと、スケールの真値が既知である、前記学習用画像とは異なる最適検証用画像について、前記複数の学習モデルそれぞれを用いて、前記スケールの複数の推定値それぞれを算出するステップと、前記最適検証用画像についての、前記スケールの真値に対する、前記複数の前記スケールの推定値の相関関係それぞれを算出するステップと、前記複数の学習モデルのうちの、前記相関関係が最も高い学習モデルである最適学習モデルを選択するステップと、を含む。

また、上記課題を解決するため、本開示に係る推定方法は、上記の学習モデル構築装置によって選択された前記最適学習モデルを記憶する学習モデル記憶部を備える推定装置が実行する推定方法であって、前記最適学習モデルを用いて、前記スケールの真値が未知である未知画像のスケールの推定値を算出するステップを含む。

また、上記課題を解決するため、本開示に係るプログラムは、コンピュータを上述した学習モデル構築装置として機能させる。

本開示に係る学習モデル構築装置、推定装置、学習モデル構築方法、推定方法、及びプログラムによれば、高い精度で、コンクリート構造物の表面のスケールを推定することができる。

第１の実施形態に係る推定システムの一例を示す概略図である。 図１に示すモデル構築部の一例を示す概略図である。 図１に示すスケール推定部の一例を示す概略図である。 第１の実施形態に係る推定システムの他の例を示す概略図である。 図１に示す推定装置における、教師データを記憶するための動作の一例を示すシーケンス図である。 図１に示す推定装置における、学習モデルを構築するための動作の一例を示すシーケンス図である。 図６に示す動作の詳細である第１例を示すシーケンス図である。 図６に示す動作の詳細である第２例を示すシーケンス図である。 図１に示す推定装置における、スケールの推定値を算出するための動作の一例を示すシーケンス図である。 第２の実施形態に係る推定システムの一例を示す概略図である。 第２の実施形態に係る推定システムの他の例を示す概略図である。 図１０に示す推定装置における、教師データを記憶するための動作の一例を示すシーケンス図である。 図１０に示す推定装置における、スケールの推定値を算出するための動作の一例を示すシーケンス図である。 第３の実施形態に係る推定システムの一例を示す概略図である。 図１４に示すノイズ画像除去部の一例を示す概略図である。 カラーノイズが含まれている画像におけるａ^＊成分の画素値の度数分布の一例を示す図である。 カラーノイズが含まれていない画像におけるａ^＊成分の画素値の度数分布の一例を示す図である。 カラーノイズが含まれている画像におけるｂ^＊成分の画素値の度数分布の一例を示す図である。 カラーノイズが含まれていない画像におけるｂ^＊成分の画素値の度数分布の一例を示す図である。 第３の実施形態に係る推定システムの他の例を示す概略図である。 図１４に示す推定装置における、教師データを記憶するための動作の一例を示すシーケンス図である。 図１４に示す推定装置における、スケールの推定値を算出するための動作の一例を示すシーケンス図である。 推定装置及び学習データ構築装置のハードウェアブロック図である。

＜＜第１の実施形態＞＞
図１から図３を参照して第１の実施形態の全体構成について説明する。

図１に示すように、第１の実施形態に係る推定システム１００は、画像撮影装置１と、データ格納装置２と、推定装置３と、データ保存装置４とを備える。

＜画像撮影装置の構成＞
画像撮影装置１は、光学素子、撮影素子、及び出力インターフェースを備えるカメラによって構成されてもよい。出力インターフェースは、撮影素子によって撮影された画像を示す画像データを出力するためのインターフェースである。

画像撮影装置１は、被写体を撮影した画像を生成する。被写体は、コンクリートの表面とすることができる。コンクリートは、例えば、歩道橋、壁面、舗装された道路等を形成するものとすることができる。被写体の表面には、表面模様が表されており、骨材が露出されていることもある。また、画像の形式は任意であってよく、例えば、ＪＰＧ形式であってもよいし、ＰＮＧ形式であってもよい。

また、画像撮影装置１は、データ格納装置２に画像を示す画像データを出力する。

＜データ格納装置の構成＞
データ格納装置２は、メモリ、コントローラ、入力インターフェース、及び出力インターフェースを備えるコンピュータによって構成されてもよい。メモリは、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）及びＲＡＭ（Random Access Memory）等によって構成されてもよい。コントローラは、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)等の専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。入力インターフェースは、ポインティングデバイス、キーボード、マウス等とすることができる。また、入力インターフェースは、通信インターフェースによって受信された情報の入力を受け付けるインターフェースであってもよい。通信インターフェースには、例えば、イーサネット（登録商標）、ＦＤＤＩ（Fiber Distributed Data Interface）、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられてもよい。

データ格納装置２は、画像撮影装置１によって出力された画像データの入力を受け付け、該画像データを格納する。また、データ格納装置２は、推定装置３に画像データを出力する。

＜推定装置の構成＞
推定装置３は、入力部３１と、教師データ記憶部３２と、学習モデル記憶部３３と、損失関数記憶部３４－ｋ（ｋ＝１～ｎ、ｎは２以上の整数）、モデル構築部３５と、スケール推定部３６と、出力部３７とを備える。図１に示す例では、ｎ＝２である。入力部３１は、入力インターフェースによって構成される。教師データ記憶部３２、学習モデル記憶部３３、及び損失関数記憶部３４－ｋは、メモリによって構成される。モデル構築部３５及びスケール推定部３６は、コントローラによって構成される。出力部３７は、出力インターフェースによって構成される。

入力部３１は、データ格納装置２から出力された画像データの入力を受け付ける。入力部３１は、画像撮影装置１から、データ格納装置２を介さずに、画像データの入力を受け付けてもよい。

具体的には、入力部３１は、スケールの真値が既知である画像を示す画像データと、該画像データが示す画像のスケールの真値ｙ_trueとを対応付けた教師データの入力を受け付けてもよい。スケールの真値が既知である画像には、学習用画像、学習検証用画像、及び最適検証用画像が含まれ、学習用画像、学習検証用画像、及び最適検証用画像は、互いに異なる画像である。また、入力部３１は、スケールの真値ｙ_trueが未知である未知画像を示す画像データの入力を受け付ける。

スケールは、画像における１画素の長さと実空間における長さとの比率を示す値であって、１画素の長さに対する実空間における長さ（ｃｍ／ｐｉｘｅｌ）であってもよいし、実空間における長さに対する１画素の長さ（ｐｉｘｅｌ／ｃｍ）であってもよい。

教師データ記憶部３２は、スケールの真値ｙ_trueが既知である画像を示す画像データと、画像のスケールの真値ｙ_trueとを対応付けた教師データを記憶する。具体的には、教師データ記憶部３２は、入力部３１によって入力が受け付けられた教師データを記憶してもよい。また、教師データ記憶部３２は、入力部３１によって入力が受け付けられた画像データと、追って詳細に説明するスケール算出部３５１によって算出されたスケールの真値ｙ_trueとを対応付けた教師データを記憶してもよい。また、教師データ記憶部３２は、入力部３１によって入力が受け付けられ、追って詳細に説明するデータ加工部３５２によって加工された画像を示す画像データと、画像のスケールの真値ｙ_trueとを対応付けた教師データを記憶してもよい。

教師データ記憶部３２によって記憶される画像には、学習用画像、学習検証用画像、及び最適検証用画像が含まれる。

学習モデル記憶部３３は、画像データが入力されると、該画像データが示す画像のスケールの推定値ｙ_predを算出する学習モデルを記憶する。また、学習モデル記憶部３３は、追って詳細に説明する学習部３５４－ｋそれぞれによって学習モデルが構築されると、構築された学習モデルそれぞれを記憶する。また、学習モデル記憶部３３は、追って詳細に説明する最適学習モデルを記憶する。学習モデルは、任意のモデルであってよく、例えば深層学習モデルとすることができる。また、学習モデルは、１つの画像データが入力されると、スケールについての１つの推定値ｙ_predを出力するように構成されている。

複数の損失関数記憶部３４－ｋは、それぞれ互いに異なる損失関数（損失関数に設定されるパラメータ）を記憶している。損失関数は、Ｎ個の画像データｉ（ｉ＝１～Ｎ、Ｎは整数）における損失値Ｌを算出するための関数である。損失値Ｌは、スケールの真値ｙ_true,iに対する、スケールの推定値ｙ_pred,iの誤差に基づく、学習モデルの精度を評価するための値である。損失関数は、例えば、式（１）～式（４）に示される関数とすることができる。なお、式（１）及び式（２）において、αは、予め設定される係数である。

式（１）に示す損失関数によって算出される損失値Ｌは、真値ｙ_true,iに対する推定値ｙ_pred,iの平均絶対誤差（ＭＡＥ（Mean Absolute Error））と、真値ｙ_true,iに対する推定値ｙ_pred,iの平均絶対パーセント誤差（ＭＡＰＥ（Mean Absolute Percentage Error））との合計値である。そのため、式（１）に示す損失関数を用いることによって、真値ｙ_true,iと推定値ｙ_pred,iとの平均絶対パーセント誤差に加えて、平均絶対誤差の値が考慮される。そのため、スケールの真値ｙ_true,iが大きいほど、損失値Ｌが大きくなる。また、スケールの推定値ｙ_pred,iが真値ｙ_true,iに対して大きく外れた外れ値となった場合に、損失値Ｌが大きくなる。

式（２）に示す損失関数によって算出される損失値Ｌは、真値ｙ_true,iに対する推定値ｙ_pred,iの平均二乗誤差と、真値ｙ_true,iに対する推定値ｙ_pred,iの平均絶対パーセント誤差との合計値である。式（２）に示す損失関数を用いることによって、損失値Ｌは、式（１）に示す損失関数を用いた場合と同様の傾向を示すことができ、さらに式（１）に示す損失関数を用いた場合よりも、外れ値に対して大きくなる。また、式（２）の第１項は、真値ｙ_true,iに対する推定値ｙ_pred,iの分散を示しており、推定値ｙ_pred,iと真値ｙ_true,iとの差が大きい撮像データが多いほど、損失値Ｌが大きくなる。このため、学習部３５４－ｋは、推測値ｙ_pred,iが真値ｙ_true,iに対して大きく外れた場合に、より大きく外れた推測値ｙ_pred,iに対して損失をより大きくすることができる。式（２）に示す第２項は、式（２）に示す第１項と比較して、外れ値の大きさを損失値Ｌにより大きく反映することが可能である。

式（３）に示す損失関数によって算出される損失値Ｌは、真値ｙ_true,iに対する推定値ｙ_pred,iの平均絶対パーセント誤差である。式（３）に示す損失関数を用いることによって、損失値Ｌは、平均絶対パーセント誤差で表される。このため、損失値Ｌは、スケールの推定値ｙ_pred,iの大きさに依存せずに、真値ｙ_true,iに対する、真値ｙ_true,iと推測値ｙ_pred,iとの誤差の割合を示すことができる。これにより、式（３）に示す損失関数は、式（１）及び式（２）に示す損失関数のように係数αを設定するための作業を要することなく用いることができる。

式（４）に示す損失関数によって算出される損失値Ｌは、式（１）に示す損失関数における平均絶対パーセント誤差の分母を真値ｙ_true,iから推定値ｙ_pred,iに置換した値である。式（４）に示す損失関数を用いることによって、推定値ｙ_pred,iと真値ｙ_true,iとの大小関係に応じて損失値Ｌを変化させることができる。例えば、推定値ｙ_pred,iが真値ｙ_true,iより小さい場合、推定値ｙ_pred,iが真値ｙ_true,iより大きい場合に比べて、損失値Ｌは大きく変化する。

図２に示すように、モデル構築部３５は、スケール算出部３５１と、データ加工部３５２と、学習モデル読込部３５３と、学習部３５４－ｋと、検証部３５５－ｋと、相関関係算出部３５６－ｋと、最適学習モデル選択部３５７とを含む。

スケール算出部３５１は、入力部３１によって入力が受け付けられた画像データが示す画像のスケールの真値ｙ_true,iを算出する。

具体的には、スケール算出部３５１は、画像データが示す画像に含まれる、実空間における寸法が既知であるメジャーの像の、画像空間における長さと、該メジャーの実空間における長さとに基づいてスケールの真値ｙ_true,iを算出してもよい。また、スケール算出部３５１は、画像データが示す画像に含まれるＡＲ（Augmented Reality）マーカー等の既知のライブラリを用いてスケールの真値ｙ_true,iを算出してもよい。なお、スケール算出部３５１は、これらの方法に限られず、任意の方法にてスケールの真値ｙ_true,iを算出することができる。

データ加工部３５２は、スケール算出部３５１によってスケールの真値ｙ_true,iが算出された画像を示す画像データを加工する。具体的には、データ加工部３５２は、画像データのサイズを変更してもよいし、形式を変更してもよい。

例えば、データ加工部３５２は、画像データが示す画像を分割することによって複数の画像を生成することができる。これにより、追って詳細に説明する学習部３５４－ｋは、複数の画像それぞれを示す複数の画像データを教師データとして学習することができ、１つの画像データを教師データとして学習する場合に比べて、効率的に精度の高い学習モデルを生成することができる。

また、データ加工部３５２は、画像データが示す画像の形状を正方形に変換し、正方形に変換された正方形画像を回転させた回転画像、正方形画像を反転させた反転画像等を作成することができる。これにより、学習部３５４－ｋは、複数パターンの画像をそれぞれ示す複数の画像データを教師データとして学習することができ、１つの画像データを教師データとして学習する場合に比べて、効率的に精度の高い学習モデルを生成することができる。また、データ加工部３５２は、画像データが示す画像にコンクリート構造物以外の被写体の像が含まれている場合に、該像を示す画素を除去するように画像データを加工してもよい。

データ加工部３５２は、加工された画像データと、加工前の画像データが示す画像のスケールの真値ｙ_true,iとを対応付けた教師データを教師データ記憶部３２に記憶させる。

学習モデル読込部３５３は、学習モデル記憶部３３に記憶されている学習モデルを読み込む。また、学習モデル読込部３５３は、教師データ記憶部３２に記憶されている、教師データとして対応付けられている、画像データと該画像データが示す画像のスケールの真値ｙ_true,iとを読み込む。

複数の学習部３５４－ｋは、コンクリートの表面を撮像した、スケールの真値ｙ_true,iが既知である学習用画像を示す画像データと、該学習用画像のスケールの真値ｙ_true,iとを対応付けた教師データに基づいて、互いに異なる複数の損失関数それぞれを用いて複数の学習モデルそれぞれを構築する。例えば、ｎ＝２である構成において、学習部３５４－１は、損失関数記憶部３４－１で記憶されている損失関数を用いて学習モデルを構築する。学習部３５４－２は、損失関数記憶部３４－２で記憶されている損失関数を用いて学習モデルを構築する。

具体的には、複数の学習部３５４－ｋは、それぞれ複数の学習モデルを学習し、スケールの真値ｙ_true,iが既知である、学習用画像及び最適検証用画像とは異なる学習検証用画像について、複数の学習モデルそれぞれを用いてスケールの推定値ｙ_pred,iを算出する。そして、複数の学習部３５４－ｋは、学習検証用画像についての複数のスケールの推定値ｙ_pred,i、及び学習検証用画像についてのスケールの真値ｙ_true,iを用いて損失関数により算出した損失値Ｌに基づいて学習モデルを構築する。

例えば、学習モデルがＣＮＮである構成において、学習部３５４－ｋそれぞれは、学習モデル読込部３５３によって読み込まれた深層学習モデル、画像データが示す学習用画像、及び、スケールの真値ｙ_true,iに基づいて学習モデルを構築する。そして、学習部３５４－ｋは、学習検証用画像を畳み込んでスケールの推定値ｙ_pred,iを算出する。そして、学習部３５４－ｋは、学習検証用画像の真値ｙ_true,iと推定値ｙ_pred,iとに基づいて算出される損失値Ｌが最低値となるように重みパラメータを調整した学習モデル（重みファイル）を構築する。また、学習部３５４－ｋは、構築された学習モデルを学習モデル記憶部３３に記憶させる。

複数の検証部３５５－ｋは、スケールの真値ｙ_true,iが既知である、学習用画像とは異なる最適検証用画像について、複数の学習モデルそれぞれを用いて、スケールの複数の推定値ｙ_pred,iそれぞれを算出する。例えば、ｎ＝２である構成において、検証部３５５－１は、学習部３５４－１によって構築された学習モデルを用いて、スケールの推定値ｙ_pred,iを算出する。検証部３５５－２は、学習部３５４－２によって構築された学習モデルを用いて、スケールの推定値ｙ_pred,iを算出する。検証部３５５－ｋは、それぞれ複数の画像のスケールの推定値ｙ_pred,iを算出することが好ましい。

複数の相関関係算出部３５６－ｋは、最適検証用画像についての、スケールの真値ｙ_true,iに対する、複数のスケールの推定値ｙ_pred,iの相関関係それぞれを算出する。相関関係は、相関係数、決定係数等の指標とすることができる。例えば、ｎ＝２である構成において、相関関係算出部３５６－１は、真値ｙ_true,iに対する、検証部３５５－１によって算出された推定値ｙ_pred,iの相関関係を算出する。相関関係算出部３５６－２は、真値ｙ_true,iに対する、検証部３５５－２によって算出された推定値ｙ_pred,iの相関関係を算出する。

最適学習モデル選択部３５７は、複数の学習モデルのうちの、相関関係が最も高い学習モデルである最適学習モデルを選択する。例えば、ｎ＝２である構成において、最適学習モデル選択部３５７は、相関関係算出部３５６－１によって算出された相関関係と、相関関係算出部３５６－２によって算出された相関関係とのうち、最も高い相関関係の学習モデルを最適学習モデルとして選択する。

図３に示すように、スケール推定部３６は、データ加工部３６１と、学習モデル読込部３６２と、推定部３６３と、データ復元部３６４とを含む。

データ加工部３６１は、入力部３１によって入力された、未知画像を示す画像データを加工する。データ加工部３６１が実行する処理の詳細は、データ加工部３５２が実行する処理の詳細と同様である。

学習モデル読込部３６２は、学習モデル記憶部３３に記憶されている、最適学習モデル選択部３５７によって選択された最適学習モデルを読み込む。

推定部３６３は、最適学習モデルを用いて、スケールの真値ｙ_true,iが未知である未知画像のスケールの推定値ｙ_pred,iを算出する。

データ復元部３６４は、データ加工部３６１によって加工された画像データを復元する。

例えば、入力部３１によって入力された画像データが示す未知画像が、データ加工部３６１によって分割されていた場合、データ復元部３６４は、分割された画像を分割前の未知画像に戻すように加工することによって画像データを復元する。この場合、データ復元部３６４は、分割された画像それぞれについて算出されたスケールの推定値ｙ_pred,iの代表値を、復元された画像データが示す未知画像のスケールの推定値ｙ_pred,iとして算出してもよい。代表値は、平均値、中央値等の統計値とすることができる。

また、入力部３１によって入力が受け付けられた画像データが示す未知画像のサイズが、データ加工部３６１によって変更されていた場合、データ復元部３６４は、サイズが変更されていた画像を分割前の未知画像に戻すように加工することによって画像データを復元する。

出力部３７は、画像データと、該画像データが示す画像のスケールの推定値ｙ_pred,iとを含むスケール推定情報を出力する。具体的には、出力部３７は、通信ネットワークを介してデータ保存装置４にスケール推定情報を出力してもよい。出力部３７は、有機ＥＬ（Electro Luminescence）、液晶パネル等によって構成される表示装置にスケール推定情報を出力してもよい。

＜データ保存装置の構成＞
図１に示すデータ保存装置４は、メモリ、コントローラ、及び入力インターフェースを備えるコンピュータによって構成される。データ保存装置４は、推定装置３から出力されたスケール推定情報を保存する。

なお、図４に示すように、第１の実施形態の他の例の、推定システム１００Ａは、画像撮影装置１と、データ格納装置２と、学習モデル構築装置３Ａと、推定装置３Ｂと、データ保存装置４とを備える。推定システム１００Ａにおいて、学習モデル構築装置３Ａは、入力部３１と、教師データ記憶部３２と、学習モデル記憶部３３と、損失関数記憶部３４－ｋと、モデル構築部３５と、を備える。また、推定装置３Ｂは、入力部３１と、学習モデル記憶部３３と、スケール推定部３６と、出力部３７とを備える。なお、推定システム１００Ａにおいて、推定システム１００と同じ符号を付した機能部は同じ機能を有する。ただし、推定システム１００Ａにおいては、推定装置３Ｂが備える学習モデル記憶部３３は、学習モデル構築装置３Ａによって選択された最適学習モデルを記憶する。

＜推定装置の動作＞
ここで、第１の実施形態に係る推定装置３の動作について、図５～図９を参照して説明する。図５～図９は、第１の実施形態に係る推定装置３の動作の一例を示すフローチャートである。図５～図９を参照して説明する推定装置３における動作は第１の実施形態に係る推定装置３の推定方法の一例に相当する。

（教師データの記憶）
図５を参照して、推定装置３が教師データを記憶する方法を説明する。

ステップＳ１１において、入力部３１が、データ格納装置２から出力された画像データの入力を受け付ける。

ステップＳ１２において、スケール算出部３５１が、画像データが示す画像のスケールの真値ｙ_true,iを算出する。

ステップＳ１３において、データ加工部３５２が、画像データを加工する。

ステップＳ１４において、教師データ記憶部３２が、ステップＳ１３で加工された画像データと、ステップＳ１２で算出された画像のスケールの真値ｙ_true,iとを対応付けた教師データを記憶する。

（学習モデルの構築）
図６を参照して、推定装置３が学習モデルを構築する方法を説明する。

ステップＳ２１において、学習モデル読込部３５３が、教師データ記憶部３２に記憶されている教師データを読み込む。また、学習モデル読込部３５３は、学習モデル記憶部３３から学習モデルを読み込む。

ステップＳ２２において、複数の学習部３５４－ｋが、コンクリートの表面を撮像した、スケールの真値ｙ_true,iが既知である学習用画像を示す画像データと、該学習用画像のスケールの真値ｙ_true,iとを対応付けた教師データに基づいて、互いに異なる複数の損失関数それぞれを用いて複数の学習モデルそれぞれを構築する。

ステップＳ２３において、複数の検証部３５５－ｋが、スケールの真値ｙ_true,iが既知である、学習用画像とは異なる最適検証用画像について、複数の学習モデルそれぞれを用いて、スケールの複数の推定値ｙ_pred,iそれぞれを算出する。

ステップＳ２４において、複数の相関関係算出部３５６－ｋが、最適検証用画像についての、スケールの真値ｙ_true,iに対する、複数のスケールの推定値推定値ｙ_pred,iの相関関係それぞれを算出する。

ステップＳ２５において、最適学習モデル選択部３５７が、複数の学習モデルのうちの、相関関係が最も高い学習モデルである最適学習モデルを選択する。

ここで、ｎ＝２である構成における、推定装置３が学習モデルを構築する方法の第１例について、図７を参照して詳細に説明する。

図７に示すように、ステップＳ２１において、学習モデル読込部３５３が、教師データ記憶部３２に記憶されている教師データを読み込む。また、学習モデル読込部３５３は、学習モデル記憶部３３から学習モデルを読み込む。

ステップＳ２２－１１において、学習部３５４－１が、コンクリートの表面を撮像した、スケールの真値ｙ_true,iが既知である学習用画像と、該学習用画像のスケールの真値ｙ_true,iとを対応付けた教師データに基づいて、第１の損失関数を用いて第１の学習モデルを構築する。

ステップＳ２３－１１において、検証部３５５－１が、スケールの真値ｙ_true,iが既知である、学習用画像とは異なる最適検証用画像について、第１の学習モデルを用いてスケールの第１の推定値ｙ_pred,iを算出する。

ステップＳ２４－１１において、相関関係算出部３５６－１が、最適検証用画像についての、スケールの真値ｙ_true,iに対する、スケールの第１の推定値ｙ_pred,iの相関関係を算出する。

続いて、ステップＳ２２－１２において、学習部３５４－２が、コンクリートの表面を撮像した、スケールの真値ｙ_true,iが既知である学習用画像と、該学習用画像のスケールの真値ｙ_true,iとを対応付けた教師データに基づいて、第２の損失関数を用いて第２の学習モデルを構築する。

ステップＳ２３－１２において、検証部３５５－２が、スケールの真値ｙ_true,iが既知である、学習用画像とは異なる最適検証用画像について、第２の学習モデルを用いてスケールの第２の推定値ｙ_pred,iを算出する。

ステップＳ２４－１２において、相関関係算出部３５６－２が、最適検証用画像についての、スケールの真値ｙ_true,iに対する、スケールの第２の推定値ｙ_pred,iの相関関係を算出する。

ステップＳ２５において、最適学習モデル選択部３５７が、複数の学習モデルのうちの、相関関係が最も高い学習モデルである最適学習モデルを選択する。

次に、ｎ＝２である構成における、推定装置３が学習モデルを構築する方法の第２例について、図８を参照して詳細に説明する。

図８に示すように、ステップＳ２１において、学習モデル読込部３５３が、教師データ記憶部３２に記憶されている教師データを読み込む。また、学習モデル読込部３５３は、学習モデル記憶部３３から学習モデルを読み込む。

ステップＳ２２－２１において、学習部３５４－１が、コンクリートの表面を撮像した、スケールの真値ｙ_true,iが既知である学習用画像と、該学習用画像のスケールの真値ｙ_true,iとを対応付けた教師データに基づいて、第１の損失関数を用いて第１の学習モデルを構築する。

ステップＳ２３－２１において、検証部３５５－１が、スケールの真値ｙ_true,iが既知である、学習用画像とは異なる最適検証用画像について、第１の学習モデルを用いてスケールの第１の推定値ｙ_pred,iを算出する。

ステップＳ２４－２１において、相関関係算出部３５６－１が、最適検証用画像についての、スケールの真値ｙ_true,iに対する、スケールの第１の推定値ｙ_pred,iの相関関係を算出する。

また、ステップＳ２２－２１の処理と同じタイミングで、ステップＳ２２－２２において、学習部３５４－２が、コンクリートの表面を撮像した、スケールの真値ｙ_true,iが既知である学習用画像と、該学習用画像のスケールの真値ｙ_true,iとを対応付けた教師データに基づいて、第２の損失関数を用いて第２の学習モデルを構築する。

ステップＳ２３－２２において、検証部３５５－２が、スケールの真値ｙ_true,iが既知である、学習用画像とは異なる最適検証用画像について、第２の学習モデルを用いてスケールの第２の推定値ｙ_pred,iを算出する。

ステップＳ２４－２２において、相関関係算出部３５６－２が、最適検証用画像についての、スケールの真値ｙ_true,iに対する、スケールの第２の推定値ｙ_pred,iの相関関係を算出する。

ステップＳ２５において、最適学習モデル選択部３５７が、複数の学習モデルのうちの、相関関係が最も高い学習モデルである最適学習モデルを選択する。

（スケールの推定値の算出）
図９を参照して、推定装置３が、画像のスケールの推定値ｙ_pred,iを算出する方法を説明する。

ステップＳ３１において、入力部３１が、データ格納装置２から出力された、スケールが未知である未知画像を示す画像データの入力を受け付ける。

ステップＳ３２において、データ加工部３６１が、未知画像を示す画像データを加工する。

ステップＳ３３において、学習モデル読込部３６２が、最適学習モデル選択部３５７によって選択された最適学習モデルを読み込む。

ステップＳ３４において、推定部３６３が、学習モデル読込部３６２によって読み込まれた最適学習モデルを用いて、スケールの真値ｙ_true,iが未知である未知画像のスケールの推定値ｙ_pred,iを算出する。

ステップＳ３５において、データ復元部３６４が、データ加工部３６１によって加工された未知画像を示す画像データを復元する。

ステップＳ３６において、出力部３７が、ステップＳ３５で復元された画像データと、ステップＳ３４で算出された、画像データが示す画像のスケールの推定値ｙ_pred,iとを含むスケール推定情報を出力する。

なお、推定システム１００Ａにおいて、学習モデル構築装置３Ａが教師データを記憶する方法、及び学習モデルを構築する方法は、推定装置３がそれぞれ教師データを記憶する方法、及び学習モデルを構築する方法と同じである。また、推定装置３Ｂがスケールの推定値ｙ_pred,iを算出する方法は、推定装置３がスケールの推定値ｙ_pred,iを算出する方法と同じである。

上述したように、第１の実施形態によれば、複数の学習部３５４－ｋは、コンクリートの表面を撮像した、スケールの真値ｙ_true,iが既知である学習用画像と、該学習用画像のスケールの真値ｙ_true,iとを対応付けた教師データに基づいて、互いに異なる複数の損失関数それぞれを用いて複数の学習モデルをそれぞれ構築する。また、検証部３５５－ｋは、スケールの真値ｙ_true,iが既知である、学習用画像とは異なる最適検証用画像について、複数の学習モデルそれぞれを用いて、スケールの推定値ｙ_pred,iをそれぞれ算出する。また、相関関係算出部３５６－１は、最適検証用画像についての、スケールの真値ｙ_true,iに対する、複数のスケールの推定値ｙ_pred,iの相関関係それぞれを算出する。また、最適学習モデル選択部３５７は、複数の学習モデルのうちの、相関関係が最も高い学習モデルである最適学習モデルを選択する。これにより、推定装置３及び学習モデル構築装置３Ａは、高い精度で、コンクリート構造物の表面のスケールを推定する（スケールの推定値ｙ_pred,iを算出する）ことができる学習モデルを構築することができる。

特に、通信用とう道等のような、屋内の暗所に配設されたコンクリート構造物の表面を撮像した画像には、多くのノイズが含まれている。そのため、例えば、１つの損失関数のみを用いた場合、外れ値となるノイズも考慮して学習モデルを構築することが困難であることがある。これに対して、本実施形態の推定装置３のように複数の損失関数を用いることによって、１つの損失関数では考慮されにくい外れ値に大きく影響を受けるような他の損失関数によっても学習モデルが構築される。したがって、本実施形態の推定装置３は、このような複数の損失関数を用いて構築された学習モデルのうち真値ｙ_true,iとの相関関係が最も高い最適学習モデルを選択することによって、外れ値をも考慮した高い精度でスケールを推定することができる。

また、第１の実施形態によれば、複数の学習部３５４－ｋは、それぞれ複数の学習モデルを構築する。複数の学習部３５４－ｋは、スケールの真値ｙ_true,iが既知である、学習用画像及び最適検証用画像とは異なる学習検証用画像について、複数の学習モデルそれぞれを用いてスケールの推定値ｙ_pred,iを算出する。複数の学習部３５４－ｋは、学習検証用画像についての複数のスケールの推定値ｙ_pred,i、及び学習検証用画像についてのスケールの真値ｙ_true,iを用いて損失関数により算出した損失値Ｌに基づいて学習モデルを構築する。これにより、推定装置３及び学習モデル構築装置３Ａは、コンクリート構造物の表面のスケールをさらに高い精度で推定することができるできる学習モデルを構築することができる。

また、第１の実施形態によれば、学習モデル記憶部３３は、最適学習モデル選択部３５７によって選択された最適学習モデルを記憶する。推定部３６３は、最適学習モデルを用いて、スケールの真値が未知である未知画像のスケールの推定値を算出する。これにより、推定装置３及び推定装置３Ａは、コンクリート構造物の表面のスケールを高い精度で推定することができる。

また、第１の実施形態によれば、図７を参照して説明したように、推定装置３は、第１の学習モデルを構築し、第１の推定値ｙ_pred,iを算出し、スケールの真値ｙ_true,iに対する第１の推定値ｙ_pred,iの相関関係を算出してから、第２の学習モデルを構築し、第２の推定値ｙ_pred,iを算出し、スケールの真値ｙ_true,iに対する第２の推定値ｙ_pred,iの相関関係を算出してもよい。また、ｎ≧３である構成においては、推定装置３は、同様の順にて、学習モデルの構築、推定値ｙ_pred,iの算出、及び相関関係の算出を繰り返してもよい。これにより、推定装置３は、複数のプロセッサを有することなく、１つのプロセッサを備えていればよく、簡易な構成とすることができる。同様の理由により、学習モデル構築装置３Ａも簡易な構成とすることができる。

また、第１の実施形態によれば、図８を参照して説明したように推定装置３は、第１の学習モデルを構築し、第１の推定値ｙ_pred,iを算出し、スケールの真値ｙ_true,iに対する第１の推定値ｙ_pred,iの相関関係を算出し、さらに、同じタイミングで、第２の学習モデルを構築し、第２の推定値ｙ_pred,iを算出し、スケールの真値ｙ_true,iに対する第２の推定値ｙ_pred,iの相関関係を算出してもよい。また、ｎ≧３である構成においては、推定装置３は、ｎ個の損失関数それぞれに基づく、学習モデルの構築、推定値ｙ_pred,iの算出、及び相関関係の算出を同じタイミングで実行してもよい。これにより、推定装置３は、図７を参照して説明した例に比べて、計算時間を短縮することができる。同様の理由により、学習モデル構築装置３Ａも計算時間を短縮することができる。

＜＜第２の実施形態＞＞
図１０を参照して第２の実施形態の全体構成について説明する。第２の実施形態において、第１の実施形態と同一の機能部については同じ符号を付加し、説明を省略する。

図１０に示すように、第２の実施形態に係る推定システム１００－１は、画像撮影装置１と、データ格納装置２と、推定装置３－１と、データ保存装置４とを備える。

＜推定装置の構成＞
推定装置３－１は、入力部３１と、教師データ記憶部３２と、学習モデル記憶部３３と、損失関数記憶部３４－ｋと、モデル構築部３５と、スケール推定部３６と、出力部３７と、ピント補正部３８とを備える。ピント補正部３８は、コントローラによって構成される。

ピント補正部３８は、学習用画像及び最適検証用画像を含む画像を示す画像データを、該画像にピントボケの部分が含まれないように補正する。ピント補正部３８は、未知画像をさらに含む画像を、該画像にピントボケの部分が含まれないように補正してもよい。ピント補正部３８は、学習検証用画像をさらに含む画像を、該画像にピントボケの部分が含まれないように補正してもよい。

具体的には、ピント補正部３８は、入力部３１によって入力が受け付けられた画像データが示す画像にピントボケしている部分であるピントボケ部分があるか否かを判定する。例えば、ピント補正部３８は、高速フーリエ変換（ＦＦＴ（Fast Fourier Transform））、ラプラシアン微分を用いたエッジ検出のような画像処理方法、深層学習手法等を用いて、画像にピントボケ部分があるか否かを判定してもよい。

また、ピント補正部３８は、画像にピントボケ部分があると判定すると、ピントボケ部分が含まれないように画像を補正する。例えば、ピント補正部３８は、画像からピントボケ部分を除去してもよいし、ピントボケ部分をピントボケしていないように変換してもよい。また、ピント補正部３８は、該変換において、アンシャープマスク等を用いた鮮鋭化処理を実行してもよい。

モデル構築部３５は、ピント補正部３８によって補正された画像を用いて、第１の実施形態と同様の処理を実行する。

スケール推定部３６は、ピント補正部３８によって補正された画像を用いて、第１の実施形態と同様の処理を実行する。

図１１に示すように、第２の実施形態の他の例の推定システム１００－１Ａは、画像撮影装置１と、データ格納装置２と、学習モデル構築装置３－１Ａと、推定装置３－１Ｂと、データ保存装置４とを備える。推定システム１００－１Ａにおいて、学習モデル構築装置３－１Ａは、入力部３１と、教師データ記憶部３２と、学習モデル記憶部３３と、損失関数記憶部３４－ｋと、モデル構築部３５と、ピント補正部３８とを備える。また、推定装置３－１Ｂは、入力部３１と、学習モデル記憶部３３と、スケール推定部３６と、出力部３７と、ピント補正部３８とを備える。なお、推定システム１００－１Ａにおいて、推定システム１００－１と同じ符号を付した機能部は同じ機能を有する。ただし、推定システム１００－１Ａにおいては、学習モデル構築装置３－１Ａのピント補正部３８が、学習用画像、最適検証用画像、及び学習検証用画像を補正し、推定装置３－１Ｂのピント補正部３８が未知画像を補正する。

＜推定装置の動作＞
ここで、第２の実施形態に係る推定装置３－１の動作について、図１２及び図１３を参照して説明する。図１２及び図１３は、第２の実施形態に係る推定装置３－１の動作の一例を示すフローチャートである。図１２及び図１３を参照して説明する推定装置３－１における動作は第２の実施形態に係る推定装置３－１の推定方法の一例に相当する。

（教師データの記憶）
図１２を参照して、推定装置３－１が教師データを記憶する方法を説明する。

推定装置３－１は、ステップＳ４１の処理を実行する。ステップＳ４１の処理は、第１の実施形態におけるステップＳ１１の処理と同じである。

ステップＳ４２において、ピント補正部３８が、学習用画像及び最適検証用画像を含む画像を、該画像にピントボケの部分が含まれないように補正する。

ステップＳ４３において、スケール算出部３５１が、ピント補正部３８によって補正された画像のスケールの真値ｙ_true,iを算出する。

その後、推定装置３－１は、ステップＳ４４及びステップＳ４５の処理を実行する。ステップＳ４５及びステップＳ４６までの処理は、第１の実施形態におけるステップＳ１３及びステップＳ１４の処理と同じである。

（学習モデルの構築）
推定装置３－１が学習モデルを構築する方法を説明する。

推定装置３－１が学習モデルを構築する方法は、第１の実施形態における推定装置３が学習モデルを構築する方法と同じである。

（スケールの推定値の算出）
図１３を参照して、推定装置３－１が画像のスケールの推定値ｙ_pred,iを算出する方法を説明する。

推定装置３－１は、ステップＳ５１の処理を実行する。ステップＳ５１の処理は、第１の実施形態におけるステップＳ３１の処理と同じである。

ステップＳ５２において、ピント補正部３８が、未知画像を、該未知画像にピントボケの部分が含まれないように補正する。

ステップＳ５３において、データ加工部３５２が、ステップＳ５２で補正された画像を示す画像データを加工する。

その後、推定装置３－１は、ステップＳ５４からステップＳ５７までの処理を実行する。ステップＳ５４からステップＳ５７までの処理は、第１の実施形態におけるステップＳ３３からステップＳ３６までの処理と同じである。

なお、学習モデル構築装置３－１Ａが教師データを記憶する方法、及び学習モデルを構築する方法は、学習モデル構築装置３－１がそれぞれ教師データを記憶する方法、及び学習モデルを構築する方法と同じである。また、推定装置３－１Ｂがスケールの推定値ｙ_pred,iを算出する方法は、推定装置３－１がスケールの推定値ｙ_pred,iを算出する方法と同じである。

上述したように、第２の実施形態によれば、推定装置３－１及び学習モデル構築装置３－１Ａは、学習用画像及び最適検証用画像を含む画像を、該画像にピントボケの部分が含まれないように補正する。これにより、推定装置３－１及び学習モデル構築装置３－１Ａは、通信用とう道等のようなコンクリートの表面に形成されている空隙、陰影等を示す画像のピントが合っていないことに起因して、学習モデルの精度が低下することを抑制することができる。また、推定装置３－１及び推定装置３－１Ｂは、ピントが合っていない画像のスケールも高い精度で推定することができる。

＜＜第３の実施形態＞＞
図１４及び図１５を参照して第３の実施形態の全体構成について説明する。第３の実施形態において、第１の実施形態と同一の機能部については同じ符号を付加し、説明を省略する。

図１４に示すように、第３の実施形態に係る推定システム１００－２は、画像撮影装置１と、データ格納装置２と、推定装置３－２と、データ保存装置４とを備える。

＜推定装置の構成＞
推定装置３－２は、入力部３１と、教師データ記憶部３２と、学習モデル記憶部３３と、損失関数記憶部３４－ｋと、モデル構築部３５と、スケール推定部３６と、出力部３７と、ノイズ画像除去部３９とを備える。ノイズ画像除去部３９は、コントローラによって構成される。

図１５に示すように、ノイズ画像除去部３９は、色空間変換部３９１と、ノイズ判定部３９２と、画像除去部３９３とを含む。

色空間変換部３９１は、入力部３１によって入力が受け付けられた画像データが示す画像の色空間を変換する。例えば、入力部３１によって入力が受け付けられた画像データが示す画像の色空間がＲＧＢ色空間である場合、色空間変換部３９１は、該画像の色空間をＲＧＢ色空間からＬ^＊ａ^＊ｂ^＊色空間に変換する。Ｌ^＊ａ^＊ｂ^＊色空間におけるＬ*成分は、明度を表す成分であり、ａ*（緑－赤）成分及びｂ*（青－黄）成分は色度成分である。このように、色空間変換部３９１は、コンクリート構造物を被写体として撮像した画像の色空間をＬ^＊ａ^＊ｂ^＊色空間とすることにより、カラーノイズの色と、コンクリートの色とを明確に分けて表すことができる。同様の理由により、色空間変換部３９１は、画像の色空間をＬｕｖ色空間に変換してもよい。

ノイズ判定部３９２は、学習用画像及び最適検証用画像を含む画像の色空間における色度成分に基づいて、該画像にカラーノイズが含まれているか否かを判定する。ノイズ判定部３９２は、学習用検証用画像をさらに含む画像の色空間における色度成分に基づいて、該画像にカラーノイズが含まれているか否かを判定してもよい。ノイズ判定部３９２は、未知画像をさらに含む画像の色空間における色度成分に基づいて、該画像にカラーノイズが含まれているか否かを判定してもよい。例えば、色空間変換部３９１が、該画像の色空間をＬ^＊ａ^＊ｂ^＊色空間に変換した場合、ノイズ判定部３９２は、Ｌ^＊ａ^＊ｂ^＊色空間における色成分である、ａ^＊成分又はｂ^＊成分の画素値に基づいて、画像にカラーノイズが含まれているか否かを判定する。

画像にカラーノイズが発生している場合、図１６Ａに示すように、ａ*成分の画素値は第１の閾値（本例では１２０）未満の範囲にも、第１の閾値より大きい第２の閾値（本例では１４０）より大きい範囲にも分布している。これに対して、画像にカラーノイズが発生していない場合、図１６Ｂに示すように、ａ*成分の画素値は第１の閾値未満の範囲、及び第２の閾値より大きい範囲には、ほとんど分布していない。このため、ノイズ判定部３９２は、画像を構成する画素のａ*成分の画素値と第１の閾値及び第２の閾値とに基づいて、画像にカラーノイズが発生しているか否かを判定することができる。

そこで、第１例として、ノイズ判定部３９２は、画像を構成するいずれかの画素のａ*成分の画素値が、第１の閾値未満、又は第２の閾値より大きい範囲にある場合（式（５）を満たさない場合）、当該画像にはカラーノイズが発生していると判定する。また、ノイズ判定部３９２は、画像を構成する全ての画素のａ*成分の画素値が第１の閾値以上、かつ第２の閾値以下の範囲にある場合（式（５）を満たす場合）、当該画像にはカラーノイズが発生していないと判定する。なお、ａ*_i,jは、画像における座標（ｉ，ｊ）に位置する画素のａ*成分の画素値であり、iは、画素のｘ座標であり、ｊは、画素のｙ座標である。

第２例として、ノイズ判定部３９２は、式（６）に示すように、画像における画素値のａ*成分の分散が第３の閾値βより大きいか否かに基づいてノイズを判定してもよい。具体的には、ノイズ判定部３９２は、画像におけるａ*成分の画素値の分散が第３の閾値βより大きい場合（式（６）を満たす場合）、当該画像にはカラーノイズが発生していると判定する。ノイズ判定部３９２は、画像におけるａ*成分の画素値の分散が第３の閾値β以下である場合（式（６）を満たさない場合）、当該画像にはカラーノイズが発生していないと判定する。なお、ａ*_aveは、複数の画像をそれぞれ構成する複数の画素におけるａ*成分の平均値であってもよいし、１つの画像を構成する複数の画素におけるａ*成分の平均値であってもよい。

また、画像にカラーノイズが発生している場合、図１７Ａに示すように、ｂ*成分の画素値は第４の閾値（本例では１２０）未満の範囲にも分布している。これに対して、画像にカラーノイズが発生していない場合、図１７Ｂに示すように、ｂ*成分の画素値は第４の閾値未満の範囲には、ほとんど分布していない。このため、ノイズ判定部３９２は、画像を構成する画素のｂ*成分の画素値と第４の閾値とに基づいて、画像におけるノイズを判定することができる。

そこで、第３例として、ノイズ判定部３９２は、画像を構成するいずれかの画素のｂ*成分の画素値が第４の閾値未満である場合（式（７）を満たさない場合）、当該画像にはカラーノイズが発生していると判定する。また、ノイズ判定部３９２は、画像を構成する全ての画素の画素値のｂ*成分が第４の閾値以上である場合（式（７）を満たす場合）、当該画像にはカラーノイズが発生していないと判定する。なお、ｂ*_i,jは、画像の座標（i，j）におけるｂ*成分の画素値である。

また、ノイズ判定部３９２は、上述した第１例から第３例において説明した、いずれか２つ以上の方法を用いて、ノイズを判定してもよい。

画像除去部３９３は、ノイズ判定部３９２によってカラーノイズが発生していると判定された画像を示す画像データを、画像データのセットから除去する。例えば、画像除去部３９３は、カラーノイズが発生していると判定された画像を示す画像データを消去してもよい。また、画像除去部３９３は、複数の画像データを記憶しているフォルダ（メモリにおける論理的な領域）とは異なるフォルダに、カラーノイズが発生していると判定された画像を示す画像データを移動させてもよい。

モデル構築部３５は、ノイズ画像除去部３９によって除去されなかった画像を用いて、第１の実施形態と同様の処理を実行する。

例えば、学習部３５４－ｋは、カラーノイズが含まれていないと判定された学習用画像を示す画像データと、該学習用画像のスケールの真値とを対応付けた教師データに基づいて、第１の実施形態と同様に、学習モデルを構築する。また、検証部３５５－ｋは、カラーノイズが含まれていないと判定された最適検証用画像についてのスケールの推定値ｙ_pred,iを第１の実施形態と同様に算出する。

また、スケール推定部３６は、ノイズ画像除去部３９によって除去されなかった画像を用いて、第１の実施形態と同様の処理を実行する。

例えば、スケール推定部３６は、カラーノイズが含まれていないと判定された未知画像についてのスケールの推定値ｙ_pred,iを第１の実施形態と同様に算出する。

図１８に示すように、第３の実施形態の他の例の推定システム１００－２Ａは、画像撮影装置１と、データ格納装置２と、学習モデル構築装置３－２Ａと、推定装置３－２Ｂと、データ保存装置４とを備える。学習モデル構築装置３－２Ａは、入力部３１と、教師データ記憶部３２と、学習モデル記憶部３３と、損失関数記憶部３４－ｋと、モデル構築部３５と、ノイズ画像除去部３９とを備える。また、推定装置３－２Ｂは、入力部３１と、学習モデル記憶部３３と、スケール推定部３６と、出力部３７と、ノイズ画像除去部３９とを備える。なお、推定システム１００－２Ａにおいて、推定システム１００－２と同じ符号を付した機能部は同じ機能を有する。ただし、推定システム１００－２Ａにおいては、学習モデル構築装置３－１Ａのノイズ判定部３９２が、学習用画像、最適検証用画像、及び学習用検証用画像にカラーノイズが含まれているか否かを判定し、推定装置３－２Ｂのノイズ判定部３９２が未知画像にカラーノイズが含まれているか否かを判定する。

＜推定装置の動作＞
ここで、第３の実施形態に係る推定装置３－２の動作について、図１９及び図２０を参照して説明する。図１９及び図２０は、第３の実施形態に係る推定装置３－２の動作の一例を示すフローチャートである。図１９及び図２０を参照して説明する推定装置３－２における動作は第３の実施形態に係る推定装置３－２の推定方法の一例に相当する。

（教師データの記憶）
図１９を参照して、推定装置３－２が教師データを記憶する方法を説明する。

推定装置３－２は、ステップＳ６１の処理を実行する。ステップＳ６１の処理は、第１の実施形態におけるステップＳ１１の処理と同じである。

ステップＳ６２において、色空間変換部３９１が、入力部３１によって入力が受け付けられた画像の色空間を変換する。

ステップＳ６３において、ノイズ判定部３９２は、学習用画像、最適検証用画像、及び未知画像を含む画像の色空間における色度成分に基づいて、該画像にカラーノイズが含まれているか否かを判定する。

ステップＳ６３でカラーノイズが含まれていると判定されると、ステップＳ６４において、画像除去部３９３が、画像データを、複数の画像データのセットから除去する。

ステップＳ６３でカラーノイズが含まれていると判定されると、ステップＳ６５において、画像除去部３９３が、画像データを、複数の画像データのセットから除去しない。

ステップＳ６４が実行されると、推定装置３－２は、ステップＳ６６からステップＳ６８の処理を実行する。ステップＳ６５からステップＳ６８の処理は、第１の実施形態におけるステップＳ１２からステップＳ１４の処理と同じである。

ステップＳ６５又はステップS６８の処理が実行されると、推定装置３－２は、教師データを記憶する処理を終了する。

（学習モデルの構築）
推定装置３－２が学習モデルを構築する方法を説明する。

推定装置３－２が学習モデルを構築する方法は、第１の実施形態における推定装置３が学習モデルを構築する方法と同じである。

（スケールの推定）
図２０を参照して、推定装置３－２が画像のスケールの推定値ｙ_pred,iを算出する方法を説明する。

推定装置３－２は、ステップＳ７１からステップＳ７５の処理を実行する。ステップＳ７１からステップＳ７５の処理は、推定装置３－２が教師データを記憶する方法におけるステップＳ６１からステップＳ６５の処理と同じである。ただし、ステップＳ７１において、入力部３１が入力を受け付ける画像データは、スケールの真値ｙ_true,iが未知である未知画像を示す画像データである。

ステップＳ７４で画像データが除去されると、推定装置３－２は、スケールの推定値ｙ_pred,iを算出する処理を終了する。

ステップＳ７５で画像データが除去されないと、推定装置３－２は、ステップＳ７６からステップＳ８０の処理を実行する。ステップＳ７６からステップＳ８０の処理は、第１の実施形態におけるステップＳ３２からステップＳ３６の処理と同じである。

なお、学習モデル構築装置３－２Ａが教師データを記憶する方法、及び学習モデルを構築する方法は、学習モデル構築装置３－２がそれぞれ教師データを記憶する方法、及び学習モデルを構築する方法と同じである。また、推定装置３－２Ｂがスケールの推定値ｙ_pred,iを算出する方法は、推定装置３－２がスケールの推定値ｙ_pred,iを算出する方法と同じである。

上述したように、第３の実施形態によれば、推定装置３－２及び学習モデル構築装置３－２Ａは、学習用画像、最適検証用画像、及び未知画像を含む画像の色空間における色度成分に基づいて、該画像にカラーノイズが含まれているか否かを判定する。推定装置３－２及び学習モデル構築装置３－２Ａは、カラーノイズが含まれていないと判定された学習用画像と該学習用画像のスケールの真値ｙ_true,iとを対応付けた教師データに基づいて学習モデルを構築する。また、推定装置３－２及び推定装置３－２Ｂは、カラーノイズが含まれていないと判定された未知画像についてのスケールの推定値ｙ_pred,iを算出する。

屋内に配設されている、コンクリート構造物の表面を撮像するにあたって、カメラがより多くの光を受光するこができるように、該カメラのシャッタースピードは低速に調整される。これにより、カメラが屋内コンクリート構造物を撮像した画像を構成する画素に赤色、青色、緑色等の、実空間における被写体が有さない色であるカラーノイズ（偽色）が発生することがある。これに伴い、該画像において、コンクリート構造物の表面に形成されているテクスチャの特徴が失われたり、分断されたりすることがある。したがって、該表面を撮像した画像のスケールの推定における精度が低下することがある。

このようなカラーノイズを抑制させるためにメディアンフィルタを用いることが知られている。メディアンフィルタを用いることによって、画像における中心画像と該中心画素の近傍に位置する近傍画素との関係に基づいて、カラーノイズを有すると見込まれる画素の画素値が変換される。このとき、画像に含まれる、コンクリート構造物の表面に形成されている凹凸、陰影等を示す画素の画素値が変換される可能性がある。このため、メディアンフィルタを用いることによっても画像のスケールを高い精度で推定することができないことがある。

これに対して、第３の実施形態における推定装置３－２及び学習モデル構築装置３－２Ａは、カラーノイズが含まれている画像を用いることに起因して学習モデルの精度が低下するのを抑制することができる。すなわち、推定装置３－２及び学習モデル構築装置３－２Ａは、カラーノイズが含まれている画像を用いないことによって、高い精度でスケールの推定値ｙ_pred,iを算出することができる学習モデルを構築するすることができる。また、推定装置３－２及び推定装置３－２Ｂは、スケールの推定値ｙ_pred,iを算出する処理において、カラーノイズが含まれている画像を除去することによって、低い精度でスケールが推定されることを抑制することができる。

＜第１の変形例＞
なお、上述した第１の実施形態において、推定装置３及び学習モデル構築装置３Ａは、スケール算出部３５１を備えなくてもよい。このような構成において、推定装置３及び学習モデル構築装置３Ａは、入力部３１によって画像データとともに、該画像データが示す画像のスケールの真値ｙ_true,iの入力を受け付けてもよい。これにより、推定装置３及び学習モデル構築装置３Ａは、画像のスケールの真値ｙ_true,iを算出する必要がなく、処理負荷を抑制することができる。なお、推定装置３及び学習モデル構築装置３Ａは、スケール算出部３５１を備えない構成において、上述した教師データを記憶する処理で、ステップＳ１２を実行しない。

また、第２の実施形態の推定装置３－１及び学習モデル構築装置３－１Ａ、並びに第３の実施形態の推定装置３－２及び学習モデル構築装置３－２Ａも、同様にしてスケール算出部３５１を備えなくてもよい。また、このような構成において、推定装置３－１、学習モデル構築装置３－１Ａ、推定装置３－２、及び学習モデル構築装置３－２Ａは、教師データを記憶する処理におけるステップＳ４３及びステップＳ６６を実行しない。

＜第２の変形例＞
また、上述した第１の実施形態において、推定装置３及び学習モデル構築装置３Ａは、データ加工部３５２、データ加工部３６１、及びデータ復元部３６４を備えなくてもよい。このような構成において、上述したように、教師データ記憶部３２は、加工されていない画像データと、該画像データが示す画像のスケールの真値ｙ_true,iとを関連付けた教師データを記憶してもよい。なお、推定装置３及び学習モデル構築装置３Ａは、データ加工部３５２、データ加工部３６１、及びデータ復元部３６４を備えない構成において、上述した教師データを記憶する処理で、ステップＳ１３を実行しない。また、推定装置３及び学習モデル構築装置３Ａは、上述したスケールの推定値ｙ_pred,iを算出する処理で、ステップＳ３２及びＳ３５を実行しない。

また、第２の実施形態の推定装置３－１及び学習モデル構築装置３－１Ａ、並びに第２の実施形態の推定装置３－２及び学習モデル構築装置３－２Ａも、同様にしてデータ加工部３５２、データ加工部３６１、及びデータ復元部３６４を備えなくてもよい。また、このような構成において、推定装置３－１、学習モデル構築装置３－１Ａ、推定装置３－２、及び学習モデル構築装置３－２Ａは、教師データを記憶する処理における、それぞれステップＳ４４及びステップＳ６７を実行しない。推定装置３－１及び推定装置３－２は、教師データを記憶する処理における、それぞれステップＳ４４及びステップＳ６７を実行しない。また、推定装置３－１、及び学習モデル構築装置３－１Ａ、推定装置３－２、及び、及び学習モデル構築装置３－２Ａは、上述したスケールの推定値ｙ_pred,iを算出する処理で、ステップＳ５３、Ｓ５６、Ｓ７６、及びＳ７９を実行しない。

＜プログラム＞
上述した推定装置３、３－１、３－２は、コンピュータ１０１によって実現することができる。また、推定装置３、３－１、３－２として機能させるためのプログラムが提供されてもよい。また、該プログラムは、記憶媒体に記憶されてもよいし、ネットワークを通して提供されてもよい。図２１は、推定装置３、３－１、３－２としてそれぞれ機能するコンピュータ１０１の概略構成を示すブロック図である。ここで、コンピュータ１０１は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。学習モデル構築装置３Ａ、３－１Ａ、３－２Ａ、及び推定装置３Ｂ、３－１Ｂ、３－２Ｂについても同様である。

図２１に示すように、コンピュータ１０１は、プロセッサ１１０と、ＲＯＭ（Read Only Memory）１２０と、ＲＡＭ（Random Access Memory）１３０と、ストレージ１４０と、入力部１５０と、表示部１６０と、通信インターフェース（Ｉ／Ｆ）１７０とを備える。各構成は、バス１８０を介して相互に通信可能に接続されている。プロセッサ１１０は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。

プロセッサ１１０は、各構成の制御、及び各種の演算処理を実行する。すなわち、プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行する。プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。上述した実施形態では、ＲＯＭ１２０又はストレージ１４０に、本開示に係るプログラムが記憶されている。

プログラムは、コンピュータ１０１が読み取り可能な記憶媒体に記憶されていてもよい。このような記憶媒体を用いれば、プログラムをコンピュータ１０１にインストールすることが可能である。ここで、プログラムが記憶された記憶媒体は、非一時的（non-transitory）記憶媒体であってもよい。非一時的記憶媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

ＲＯＭ１２０は、各種プログラム及び各種データを記憶する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム及び各種データを記憶する。

入力部１５０は、ユーザの入力操作を受け付けて、ユーザの操作に基づく情報を取得する１つ以上の入力インターフェースを含む。例えば、入力部１５０は、ポインティングデバイス、キーボード、マウスなどであるが、これらに限定されない。

表示部１６０は、情報を出力する１つ以上の出力インターフェースを含む。例えば、表示部１６０は、情報を映像で出力するディスプレイ、又は情報を音声で出力するスピーカであるが、これらに限定されない。なお、表示部１６０は、タッチパネル方式のディスプレイである場合には、入力部１５０としても機能する。

通信インターフェース（Ｉ／Ｆ）１７０は、外部の装置と通信するためのインターフェースである。

以上の実施形態に関し、更に以下の付記を開示する。

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのコントローラと、を備え、
前記コントローラは、
コンクリートの表面を撮像した、スケールの真値が既知である学習用画像を示す画像データと、該学習用画像のスケールの真値とを対応付けた教師データに基づいて、互いに異なる複数の損失関数それぞれを用いて複数の学習モデルそれぞれを構築し、
スケールの真値が既知である、前記学習用画像とは異なる最適検証用画像について、前記複数の学習モデルそれぞれを用いて、前記スケールの複数の推定値それぞれを算出し、
前記最適検証用画像についての、前記スケールの真値に対する、前記複数の前記スケールの推定値の相関関係それぞれを算出し、
前記複数の学習モデルのうちの、前記相関関係が最も高い学習モデルである最適学習モデルを選択する、
学習モデル構築装置。
（付記項２）
前記コントローラは、それぞれ複数の学習モデルを学習し、スケールの真値が既知である、前記学習用画像及び前記最適検証用画像とは異なる学習検証用画像について、前記複数の学習モデルそれぞれを用いて前記スケールの推定値を算出し、前記学習検証用画像についての複数の前記スケールの推定値、及び前記学習検証用画像についての前記スケールの真値を用いて前記損失関数により算出した損失値に基づいて前記学習モデルを構築する、付記項１に記載の学習モデル構築装置。
（付記項３）
前記コントローラは、前記学習用画像及び前記最適検証用画像を含む画像を、該画像にピントボケした部分であるピントボケ部分が含まれないように補正する、付記項１又は２に記載の学習モデル構築装置。
（付記項４）
前記コントローラは、
前記学習用画像及び前記最適検証用画像を含む画像の色空間における色度成分に基づいて、該画像にカラーノイズが含まれているか否かを判定し、
前記カラーノイズが含まれていないと判定された前記学習用画像を示す画像データと該学習用画像のスケールの真値とを対応付けた前記教師データに基づいて前記学習モデルを構築する、付記項１から３のいずれか一項に記載の学習モデル構築装置。
（付記項５）
付記項１から４に記載の学習モデル構築装置によって構築された前記最適学習モデルを記憶するメモリと、
前記最適学習モデルを用いて、前記スケールの真値が未知である未知画像のスケールの推定値を算出するコントローラと、
を備える推定装置。
（付記項６）
コンクリートの表面を撮像した、スケールの真値が既知である学習用画像を示す画像データと、該学習用画像のスケールの真値とを対応付けた教師データに基づいて、互いに異なる複数の損失関数それぞれを用いて複数の学習モデルそれぞれを構築するステップと、
スケールの真値が既知である、前記学習用画像とは異なる最適検証用画像について、前記複数の学習モデルそれぞれを用いて、前記スケールの複数の推定値それぞれを算出するステップと、
前記最適検証用画像についての、前記スケールの真値に対する、前記複数の前記スケールの推定値の相関関係それぞれを算出するステップと、
前記複数の学習モデルのうちの、前記相関関係が最も高い学習モデルである最適学習モデルを選択するステップと、
を含む学習モデル構築方法。
（付記項７）
付記項６に記載の学習モデル構築方法によって選択された前記最適学習モデルを記憶するメモリを備える推定装置が実行する推定方法であって、
前記最適学習モデルを用いて、前記スケールの真値が未知である未知画像のスケールの推定値を算出するステップを含む推定方法。
（付記項８）
コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項１から４のいずれか一項に記載の推定装置として機能させるプログラムを記憶した非一時的記憶媒体。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。

上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１ 画像撮影装置
２ データ格納装置
３、３－１、３―２ 推定装置
３Ａ、３－１Ａ、３―２Ａ 学習モデル構築装置
３Ｂ、３－１Ｂ、３―２Ｂ 推定装置
４ データ保存装置
３１ 入力部
３２ 教師データ記憶部
３３ 学習モデル記憶部
３４－ｋ 損失関数記憶部
３５ モデル構築部
３６ スケール推定部
３７ 出力部
３８ ピント補正部
３９ ノイズ画像除去部
１００、１００－１、１００－２ 推定システム
１００Ａ、１００－１Ａ、１００－２Ａ 推定システム
１０１ コンピュータ
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 入力部
１６０ 出力部
１７０ 通信インターフェース
１８０ バス
３５１ スケール算出部
３５２ データ加工部
３５３ 学習モデル読込部
３５４－ｋ 学習部
３５５－ｋ 検証部
３５６―ｋ 相関関係算出部
３５７ 最適学習モデル選択部
３６１ データ加工部
３６２ 学習モデル読込部
３６３ 推定部
３６４ データ復元部
３９１ 色空間変換部
３９２ ノイズ判定部
３９３ 画像除去部

Claims (8)

1. コンクリートの表面を撮像した、スケールの真値が既知である学習用画像を示す画像データと、該学習用画像のスケールの真値とを対応付けた教師データに基づいて、互いに異なる複数の損失関数それぞれを用いて複数の学習モデルそれぞれを構築する複数の学習部と、
   スケールの真値が既知である、前記学習用画像とは異なる最適検証用画像について、前記複数の学習モデルそれぞれを用いて、前記スケールの複数の推定値それぞれを算出する複数の検証部と、
   前記最適検証用画像についての、前記スケールの真値に対する、前記複数の前記スケールの推定値の相関関係それぞれを算出する複数の相関関係算出部と、
   前記複数の学習モデルのうちの、前記相関関係が最も高い学習モデルである最適学習モデルを選択する最適学習モデル選択部と、
   を備える学習モデル構築装置。
2. 前記複数の学習部は、それぞれ複数の学習モデルを学習し、スケールの真値が既知である、前記学習用画像及び前記最適検証用画像とは異なる学習検証用画像について、前記複数の学習モデルそれぞれを用いて前記スケールの推定値を算出し、前記学習検証用画像についての複数の前記スケールの推定値、及び前記学習検証用画像についての前記スケールの真値を用いて前記損失関数により算出した損失値に基づいて前記学習モデルを構築する、請求項１に記載の学習モデル構築装置。
3. 前記学習用画像及び前記最適検証用画像を含む画像を、該画像にピントボケした部分であるピントボケ部分が含まれないように補正するピント補正部をさらに備える、請求項１又は２に記載の学習モデル構築装置。
4. 前記学習用画像及び前記最適検証用画像を含む画像の色空間における色度成分に基づいて、該画像にカラーノイズが含まれているか否かを判定するノイズ判定部をさらに備え、
   前記学習部は、前記カラーノイズが含まれていないと判定された前記学習用画像を示す画像データと該学習用画像のスケールの真値とを対応付けた前記教師データに基づいて前記学習モデルを構築する、請求項１から３のいずれか一項に記載の学習モデル構築装置。
5. 請求項１から４に記載の学習モデル構築装置によって選択された前記最適学習モデルを記憶する学習モデル記憶部と、
   前記最適学習モデルを用いて、前記スケールの真値が未知である未知画像のスケールの推定値を算出する推定部と、
   を備える推定装置。
6. コンクリートの表面を撮像した、スケールの真値が既知である学習用画像を示す画像データと、該学習用画像のスケールの真値とを対応付けた教師データに基づいて、互いに異なる複数の損失関数それぞれを用いて複数の学習モデルそれぞれを構築するステップと、
   スケールの真値が既知である、前記学習用画像とは異なる最適検証用画像について、前記複数の学習モデルそれぞれを用いて、前記スケールの複数の推定値それぞれを算出するステップと、
   前記最適検証用画像についての、前記スケールの真値に対する、前記複数の前記スケールの推定値の相関関係それぞれを算出するステップと、
   前記複数の学習モデルのうちの、前記相関関係が最も高い学習モデルである最適学習モデルを選択するステップと、
   を含む学習モデル構築方法。
7. 請求項６に記載の学習モデル構築方法によって選択された前記最適学習モデルを記憶する学習モデル記憶部を備える推定装置が実行する推定方法であって、
   前記最適学習モデルを用いて、前記スケールの真値が未知である未知画像のスケールの推定値を算出するステップを含む推定方法。
8. コンピュータを、請求項１から４のいずれか一項に記載の学習モデル構築装置として機能させるためのプログラム。

Images