JP7814535B2 - 配筋検査装置、学習装置、配筋検査システムおよび配筋検査方法 - Google Patents

Description

本開示は、配筋検査装置、学習装置、配筋検査システムおよび配筋検査方法に関する。

鉄筋コンクリート構造物の施工では、複数の鉄筋を配筋した配筋構造体において、鉄筋が設計通りに配筋されたかどうかの検査（配筋検査）が行われる。例えば、特許文献１には、パターンマッチングまたは機械学習の少なくとも一方の手法を用いて、設定された撮影範囲内における鉄筋の種類、鉄筋の本数、配筋ピッチ、鉄筋の長さ、鉄筋の太さ、継手の形状および位置等のデータを生成する配筋出来形管理システムが記載されている。

特開２０２０－２７０５８号公報

実際の配筋構造体は、主要な鉄筋である主筋に加え、主筋以外に設けられる様々な部材を含んで構成されている。配筋構造体において主筋以外に設けられる部材には、継手等のように主筋の一部として設けられる部材があり、さらにせん断補強筋等のように主筋とは別の部材として設けられるものもある。しかしながら、従来の配筋検査において、主筋を自動で検出する技術は提案されているが、主筋とは別の様々な部材を自動で検出するものはなく、検査者が手動で検査するのが現状であった。

特許文献１に記載される配筋出来形管理システムは、主筋およびその一部に設けられた継手を自動で検出するものであるが、せん断補強筋等のように主筋とは別の部材の検出は想定されていない。このため、特許文献１に記載される配筋出来形管理システムにおいても、配筋構造体において主筋とは別に設けられる部材は、検査者が手動で検査することになると予想される。

本開示は上記課題を解決するものであって、配筋構造体において主筋以外に設けられる副構成部材を自動で検出することができる配筋検査装置、学習装置、配筋検査システムおよび配筋検査方法を得ることを目的とする。

本開示に係る配筋検査装置は、複数の鉄筋が主筋として配筋され、主筋以外の副構成部材を含んで構成される配筋構造体を検査する配筋検査装置であって、画像情報を取得する取得部と、配筋構造体を含む構造物の設計データに基づいて、画像情報に映った副構成部材を推論するための学習モデルであって、同じ種類の副構成部材について色および形状を含む外観的特徴ごとに複数設けられた学習モデルの中から、配筋構造体に含まれる副構成部材を推論するための学習モデルを自動で選択する選択部と、選択された学習モデルを用いて、画像情報から副構成部材を推論する推論部と、を備える。

本開示によれば、副構成部材の種類、色および形状を含む外観的特徴ごとに設けられ、画像情報に映った副構成部材を推論するための複数の学習モデルのうち、指定された学習モデルを選択し、選択した学習モデルを用いて画像情報から副構成部材を推論する。これにより、本開示に係る配筋検査装置は、配筋構造体において主筋以外に設けられる副構成部材を自動で検出することができる。

実施の形態１に係る配筋検査システムの構成を示すブロック図である。 実施の形態１に係る配筋検査装置の機能を実現するハードウェア構成を示すブロック図である。 操作画面の例を示す画面図である。 選択候補データベース（以下、ＤＢと記載する。）の登録内容の例を示す図である。 配筋構造体を撮影した画像情報の例を示す画面図である。 実施の形態１に係る配筋検査方法を示すフローチャートである。 学習データの例を示す図である。 学習部の構成を示すブロック図である。 学習モデルの評価結果を示す図である。 学習モデルにおける埋め込みベクトルの一致判定を概略的に示す説明図である。 プリセットモデルの作成処理を示すフローチャートである。 カスタムモデルの作成処理を示すフローチャートである。

実施の形態１．
図１は、実施の形態１に係る配筋検査システム１の構成を示すブロック図である。図１において、配筋検査システム１は、配筋検査装置２と学習装置３との間が通信接続されたシステムであり、コンクリートを打ち込む前の配筋構造体の検査を行う。配筋検査装置２は、配筋構造体が映った画像情報を取得し、取得した画像情報に映る配筋構造体における副構成部材を推論するための学習モデルを用いて、配筋構造体における副構成部材を検出する。学習装置３は、配筋検査装置２による副構成部材の検出に用いられる学習モデルを作成する。

配筋検査装置２は、カメラ装置が撮影した配筋構造体の画像情報を用いて、配筋構造体における少なくとも副構成部材を検査して、検査結果を表示部２３に出力する。例えば、配筋検査装置２は、配筋構造体に含まれる複数種類の副構成部材のそれぞれが配置された数を検査し、または、副構成部材が設計通りに作成されているかどうかを検査する。配筋検査装置２は、例えば、タブレット端末、スマートフォンまたはパーソナルコンピュータ（ＰＣ）である。また、学習装置３は、例えば、副構成部材の検出に用いる学習モデルを配筋検査装置２に与えるサーバである。

配筋構造体は、配筋された複数の鉄筋である主筋と、主筋以外の副構成部材とを含んで構成される。主筋は、配筋構造体を基礎とする建物等の荷重を受ける主要な鉄筋であり、配力筋とも呼ばれる。配筋構造体には、例えば、複数の主筋が格子状に配筋された平面が複数層設けられた構造を有するものがある。

副構成部材は、配筋構造体において主筋を補助するため、または、配筋構造体に主筋とは別の機能を持たせるために設けられる部材であり、主筋の一部または主筋とは全く別の部材である。例えば、副構成部材には、せん断補強筋、重ね継手、スペーサブロック、シース管または圧縮継手がある。以下、配筋検査システム１が検査を行う配筋構造体には、せん断補強筋、重ね継手、スペーサブロック、シース管または圧縮継手の少なくとも一つが設けられているものとする。

せん断補強筋は、主筋を拘束して補強する鉄筋である。せん断補強筋を主筋に取り付けることにより、主筋にかかるせん断力が抑制される。また、せん断補強筋には、例えば、Ｕ字形状、Ｖ字形状、またはＣ字形状等がある。Ｕ字形状またはＶ字形状のせん断補強筋は、両側の鉄筋が長く、柱などを構成する主筋を囲むように設けられる場合がある。Ｃ字形状のせん断補強筋は、Ｕ字形状またはＶ字形状よりも両側の鉄筋が短く、例えば、間隔を空けて配置された一方の主筋に一方の端部が接続され、他方の主筋に他方の端部が接続される。

せん断補強筋の端部は、主筋に接続するためにフック形状になっている。フック形状にもバリエーションがあり、例えば、直角フック、鋭角フック、または半円フックがある。
また、主筋およびせん断補強筋を構成する鉄筋は、防食性を向上させるため、樹脂塗装が施されたものがあり、その外観は地金と異なる色になっている。例えば、エポキシ樹脂塗装が施された鉄筋には青色または緑色のものがあり、さらに特殊な表面加工が施されたものでは、灰色の鉄筋もある。このように、せん断補強筋には、色および形状を含む様々な外観的特徴がある。さらに、せん断補強筋の外観的特徴は、製造メーカごとおよびその型式ごとに異なる。

重ね継手は、主筋である２本の鉄筋の端部を重ねて接合した部分である。副構成部材には、このような主筋の一部として設けられる部材も含まれる。すなわち、重ね継手を構成する鉄筋も、防食性を向上させるため、樹脂塗装が施されたものがあり、その外観は地金と異なる色になっている。

また、重ね継手には、鉄筋の種類および配筋構造体の用途に応じて様々な形状がある。例えば、配筋構造体の用途に応じて重ね継手における２本の鉄筋の端部が重なり合う長さが異なる。重ね継手の形状は、鉄筋の端部にフックがある場合およびフックがない場合で異なり、さらにフックの形状によっても異なる。フック形状には、例えば、直角フック、鋭角フック、または半円フックがある。このように、重ね継手には、色および形状を含む様々な外観的特徴がある。

スペーサブロックは、鉄筋のかぶりの保持と作業中の配筋の乱れを防止するための部材である。「かぶり」とは、コンクリート面から鉄筋までの最小距離である。また、スペーサブロックには、スペーサとバーサポートとがある。スペーサは、側面の鉄筋のかぶりを確保するものであり、バーサポートは、水平方向の鉄筋のかぶりを確保するものである。

また、スペーサブロックには、コンクリート製、鋼製、またはプラスチック製があり、その材質に応じた色になっている。さらに、スペーサブロックには、サイコロ形状、サイコロに鉄筋を通す溝を設けた溝付き形状、または、逆Ｖ字形状がある。このように、スペーサブロックには、色および形状を含む様々な外観的特徴がある。さらに、スペーサブロックの外観的特徴は、製造メーカごとおよびその型式ごとに異なる。

シース管は、内部に鋼線を通して使用される金属製の管である。例えば、シース管は、亜鉛メッキ鋼板で作成され、銀色の外観を呈している。シース管は、その用途によって、配筋構造体における様々な位置に設けられ、さらに、その長さも異なる。また、シース管は、その材質に応じた色になっている。このように、シース管には、色および形状を含む様々な外観的特徴がある。さらに、シース管の外観的特徴は、製造メーカごとおよびその型式ごとに異なる。

圧縮継手は、主筋である２本の鉄筋の端部を突き合わせて接合した部分である。すなわち、圧縮継手は、主筋の一部として設けられる副構成部材である。また、圧縮継手を構成する鉄筋も、防食性を向上させるため、樹脂塗装が施されたものがあり、その外観は地金と異なる色になっている。

圧縮継手の形状は、配筋検査対象である。例えば、法律上、鉄筋の端部を突き合わせて接合した部分の膨らみの直径は、鉄筋径の１．４倍以上であり、かつ、鉄筋の端部を突き合わせて接合した部分の長さは、鉄筋径の１．１倍以上であることが要求される。また、圧縮継手における鉄筋の中心軸からの偏心量は、鉄筋径の５分の１以下、かつ、膨らみの頂部からの圧縮面のずれは、鉄筋径の４分の１以下であることが要求される。
このように、圧縮継手には、色および形状を含む様々な外観的特徴がある。

配筋検査装置２は、図１に示すように、通信部２１、演算部２２、表示部２３、操作入力部２４および記憶部２５を備える。学習装置３は、通信部３１、演算部３２および記憶部３３を備える。なお、図１では、配筋検査装置２と学習装置３が別々の装置である場合を示したが、配筋検査装置２は学習装置３を備えてもよい。この場合、通信部２１および通信部３１は、共通の装置内部でデータをやり取りする通信装置であってもよい。また、記憶部２５および記憶部３３は、共通の記憶装置に構築された記憶領域であってもよい。

また、配筋検査システム１、または、学習装置３を備える配筋検査装置２は、配筋検査装置２と通信接続が可能なユーザ端末（図１において不図示）に対して、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）の形態で配筋検査サービスを提供するものであってもよい。例えば、配筋検査サービスを提供するための配筋検査用アプリケーションは、配筋検査装置２で実行され、ユーザ端末は、サービス専用のアプリケーションをインストールすることなく、Ｗｅｂブラウザ上で配筋検査サービスの提供を受けることが可能である。

ユーザ端末は、例えば、当該端末が備えるカメラで撮影した配筋構造体の画像情報を、配筋検査装置２に送信する。配筋検査装置２は、ユーザ端末から受信した画像情報を用いて、当該画像情報に映る副構成部材等の検査を行い、検査結果をユーザ端末に返信する。ユーザ端末は、配筋検査装置２から検査結果を受信し、当該ユーザ端末が有する表示部（不図示）に、適宜の態様で検査結果を表示することができる。

通信部２１は、通信回線を介して学習装置３との通信を行う。例えば、通信部２１は、ＬＴＥ、３Ｇ、４Ｇまたは５Ｇ等の通信方式の通信が可能な学習装置３との間で、通信回線を介して通信可能である。通信部３１は、通信回線を介して配筋検査装置２との通信を行う。例えば、通信部３１は、通信部２１と同様に、ＬＴＥ、３Ｇ、４Ｇまたは５Ｇ等の通信方式の通信が可能な配筋検査装置２との間で、通信回線を介して通信可能である。

演算部２２は、配筋検査装置２の全体動作を制御する。演算部２２は、取得部２２１、前処理部２２２、選択部２２３および推論部２２４を備える。演算部２２が、配筋検査用アプリケーションを実行することにより、取得部２２１、前処理部２２２、選択部２２３および推論部２２４の各機能が実現される。

演算部３２は、学習装置３の全体動作を制御する。演算部３２は、データ取得部３２１、学習部３２２および検索部３２３を備える。演算部３２が、学習用アプリケーションを実行することにより、データ取得部３２１、学習部３２２および検索部３２３の各機能が実現される。

表示部２３は、配筋検査装置２が備える表示装置である。表示部２３は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置である。

操作入力部２４は、表示部２３に表示された後述の操作画面に対する操作を受け付ける入力装置である。配筋検査装置２がスマートフォンまたはタブレット端末である場合に、操作入力部２４は、例えば、表示部２３の画面と一体に設けられたタッチパネルである。配筋検査装置２がＰＣである場合、操作入力部２４は、例えば、マウスまたはキーボードである。

記憶部２５は、例えば、配筋検査用アプリケーションと、演算部２２による演算処理に用いられる情報を記憶する。記憶部２５は、演算処理に用いられる情報として、例えば、画像情報、画像情報に映る物体の位置情報、および学習装置３から取得した学習モデルを記憶する。記憶部２５は、配筋検査装置２として機能するコンピュータが備える記憶装置であり、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）もしくはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージ、または後述する図２のメモリ１０３等を含むものである。

記憶部３３は、例えば、学習用アプリケーションに加えて、選択候補ＤＢ３３１、事前学習モデルＤＢ３３２および学習用ＤＢ３３３を記憶する。記憶部３３は、学習装置３として機能するコンピュータが備える記憶装置であって、例えば、ＨＤＤまたはＳＳＤ等のストレージ、または後述する図２のメモリ１０３等を含むものである。

選択候補ＤＢ３３１は、一つまたは複数のプリセットモデルが格納される。プリセットモデルとは、副構成部材の種類、色および形状を含む外観的特徴ごとに設けられ、取得部２２１が取得した画像情報に映った副構成部材を推論するための第１学習モデルである。プリセットモデルは、選択部２２３において指定される前に、学習装置３によって予め作成されたものである。これらのプリセットモデルは、副構成部材の種類、色および形状を含む外観的特徴ごとに紐付けられて選択候補ＤＢ３３１に格納される。

事前学習モデルＤＢ３３２は、事前学習モデルが格納される。事前学習モデルは、画像情報に映った物体を推論するように学習された学習モデルである。例えば、事前学習モデルは、ＣＯＣＯ（Ｃｏｍｍｏｎ Ｏｂｊｅｃｔｓ ｉｎ ＣＯｎｔｅｘｔ）のような大量の学習データセットを用いて学習された学習モデルである。学習方法としては、例えば、確率的勾配降下法を用いてニューラルネットワークのパラメータを設定することが考えられる。

学習用ＤＢ３３３には、画像情報と、当該画像情報に映る物体の位置情報とを含む学習データが格納される。画像情報に映る物体の位置情報は、例えば、配筋検査装置２における操作入力部２４を用いて設定される。学習装置３は、配筋検査装置２からの学習モデルの指定情報を受信すると、事前学習モデルＤＢ３３２から事前学習モデルを読み出し、学習用ＤＢ３３３から学習データを読み出す。学習装置３は、事前学習モデルに学習データを入力することにより、画像情報に映った副構成部材を推論するためのカスタムモデルを作成する。カスタムモデルは、副構成部材の種類、色および形状を含む外観的特徴ごとに作成され、取得部２２１が取得した画像情報に映った副構成部材を推論するための第２学習モデルである。

図２は、配筋検査装置２の機能を実現するハードウェア構成を示すブロック図である。例えば、配筋検査装置２は、ハードウェア構成として通信インタフェース１００、入出力インタフェース１０１、プロセッサ１０２およびメモリ１０３を有する。配筋検査装置２が備える取得部２２１、前処理部２２２、選択部２２３および推論部２２４の各機能は、これらのハードウェア構成において配筋検査用アプリケーションが実行されることで実現される。

通信インタフェース１００は、通信回線を介して学習装置３から受信した学習モデルをプロセッサ１０２へ出力し、プロセッサ１０２が生成した学習モデルの指定情報を、通信回線を介して学習装置３へ送信する。プロセッサ１０２は、入出力インタフェース１０１を介して、図１における記憶部２５に対してデータを読み書きする。さらに、プロセッサ１０２は、入出力インタフェース１０１を介して外部装置から画像情報を取得する。外部装置は、例えば、配筋構造体を撮影するカメラ装置、または、カメラ装置が撮影した画像情報を保存する外部記憶装置である。

取得部２２１、前処理部２２２、選択部２２３および推論部２２４の各機能を実現するための配筋検査用アプリケーションを構成するプログラムは、記憶部２５に記憶されている。プロセッサ１０２は、入出力インタフェース１０１を介して記憶部２５に記憶されたプログラムを読み出してメモリ１０３にロードし、メモリ１０３にロードされたプログラムを実行する。これにより、プロセッサ１０２は、取得部２２１、前処理部２２２、選択部２２３および推論部２２４の各機能を実現する。メモリ１０３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

学習装置３の機能を図２に示したハードウェア構成で実現する場合、学習装置３が備えるデータ取得部３２１、学習部３２２および検索部３２３の各機能は、上記ハードウェア構成において学習用アプリケーションが実行されることで実現される。

通信インタフェース１００は、通信回線を介して配筋検査装置２から受信した学習モデルの指定情報をプロセッサ１０２へ出力し、プロセッサ１０２が検索した学習モデルを、通信回線を介して配筋検査装置２へ送信する。プロセッサ１０２は、入出力インタフェース１０１を介して、図１における記憶部３３に対してデータを読み書きする。

データ取得部３２１、学習部３２２および検索部３２３の各機能を実現するための学習用アプリケーションを構成するプログラムは、記憶部３３に記憶されている。プロセッサ１０２は、入出力インタフェース１０１を介して記憶部３３に記憶されたプログラムを読み出してメモリ１０３にロードし、メモリ１０３にロードされたプログラムを実行する。これにより、プロセッサ１０２は、データ取得部３２１、学習部３２２および検索部３２３の各機能を実現する。

配筋検査装置２の機能構成要素について説明する。
取得部２２１は、画像情報を取得する。例えば、取得部２２１は、無線通信または有線通信を介してカメラ装置と接続されており、配筋構造体の画像情報（静止画または動画）をカメラ装置から受信する。取得部２２１が取得した情報は、前処理部２２２に出力される。また、取得部２２１は、取得した情報を、図２に示したメモリ１０３に出力して保存してもよい。

カメラ装置としては、例えば、単眼カメラを想定しているが、ステレオカメラであってもよいし、赤外線カメラであってもよい。ステレオカメラまたは赤外線カメラでは、配筋構造体とカメラ装置との間の距離情報も得られる。取得部２２１は、この距離情報を画像情報に加えて取得してもよい。配筋検査装置２がスマートフォンまたはタブレット端末である場合、カメラ装置は、スマートフォンまたはタブレット端末が備えるカメラであってもよい。

前処理部２２２は、取得部２２１が取得した画像情報を、推論部２２４が行う推論処理に適した形態になるように前処理する。例えば、前処理部２２２は、画像情報を正規化する。正規化とは、画像情報を表示する表示部２３の画面上の画素値を一定の範囲内の値に整える処理である。画像情報がカラー画像である場合、画像におけるｉ番目の画素の色値は、０～２５５の値をとる、ｒ_ｉ（赤）、ｇ_ｉ（緑）およびｂ_ｉ（青）を用いた（ｒ_ｉ，ｇ_ｉ，ｂ_ｉ）で表すことができる。

学習モデルがディープラーニング（以下、ＤＬと記載する。）で作成されるものである場合、ＤＬでは、０～２５５の色値を０～１の範囲で扱うことが一般的である。そこで、前処理部２２２は、下記式（１）に従って、ｉ番目の画素の色値（ｒ_ｉ，ｇ_ｉ，ｂ_ｉ）を正規化した色値（ｒ_ｉハット，ｇ_ｉハット，ｂ_ｉハット）を算出する。なお、正規化は、画像情報が一定のフレームレイトで撮影されたフレーム画像からなる動画像である場合、フレーム画像ごとに実施される。これにより、推論部２２４は、副構成部材の推論を円滑に行うことが可能である。

また、前処理部２２２は、画像情報が示す画像を正対化した後に、正規化を実施してもよい。正対化画像とは、カメラ装置と配筋構造体との距離が一定で、カメラ装置に対して配筋構造体が正対した画像である。例えば、前処理部２２２は、画像情報における格子状に配筋された鉄筋上の任意の矩形の４隅の頂点を指定して、指定した４頂点の位置座標を用いて変換行列を推定する。そして、前処理部２２２は、推定した変換行列に基づいて、画像情報が示す画像を、カメラ装置に検査対象の平面が正対した正対化画像に変換する。

選択部２２３は、副構成部材の種類、色および形状を含む外観的特徴ごとに設けられ、画像情報に映った副構成部材を推論するための複数の学習モデルのうち、指定された学習モデルを選択する。例えば、選択部２２３は、操作画面を表示させるための表示制御情報を表示部２３に出力する。表示部２３は、選択部２２３からの表示制御情報に従って操作画面を表示する。この操作画面は、学習モデルを指定する操作を行わせる画面である。

選択部２２３は、操作画面に基づいて、操作入力部２４を用いて受け付けられた操作により学習モデルが指定された場合、学習モデルの指定情報を作成し、通信部２１により、通信回線を介して学習装置３に上記指定情報を送信する。学習装置３は、配筋検査装置２から上記指定情報を受信すると、記憶部３３に格納されている複数の学習モデルのうち、指定情報が示す学習モデルを検索し、検索結果の学習モデルを示す情報を配筋検査装置２に返信する。

さらに、選択対象の学習モデルには、プリセットモデルおよびカスタムモデルがある。プリセットモデルは、配筋構造体における副構成部材を画像情報から推論するための学習モデルであって、学習装置３が事前に作成したものである。例えば、プリセットモデルの作成には、ＣＯＣＯのような大量の学習データセットが用いられ、選択候補ＤＢ３３１には、評価結果が許容下限以上のプリセットモデルが格納される。なお、評価には、例えば正解データとの適合率（Ｐｒｅｃｉｓｉｏｎ）および推論結果の再現率（Ｒｅｃａｌｌ）が用いられる。

カスタムモデルは、プリセットモデルと同様に、配筋構造体における副構成部材を画像情報から推論するための学習モデルである。ただし、カスタムモデルは、選択部２２３が当該カスタムモデルの指定を受け付けたことを契機として、学習装置３により作成が開始される。カスタムモデルの作成には、学習データとして大量のデータセットを用意できないが、現場で撮影され、かつ副構成部材の位置が特定された画像情報が学習データとして用いられる。これにより、配筋検査装置２は、評価が高いプリセットモデルを用いた副構成部材の推論と、現場の状況に即したカスタムモデルを用いた副構成部材の推論とが可能である。

図３は、操作画面２３Ａの例を示す画面図である。選択部２２３は、プリセットモデルとカスタムモデルを指定する操作を行わせる操作画面を表示させるための表示制御情報を表示部２３に出力する。表示部２３は、選択部２２３からの表示制御情報に従って、図３に示すような操作画面２３Ａを表示する。操作画面２３Ａには、複数のプリセットモデルをそれぞれ選択するための選択ボタン２３Ａ－１，２３Ａ－２，２３Ａ－３，・・・が表示されている。

図３において、選択ボタン２３Ａ－１は、茶色かつＵ字形状という外観的特徴を有したせん断補強筋を推論するためのプリセットモデルを指定するための選択ボタンである。選択ボタン２３Ａ－２は、青色かつＣ字形状という外観的特徴を有したせん断補強筋を推論するためのプリセットモデルを指定するための選択ボタンである。選択ボタン２３Ａ－３は、青色かつ円柱形状という外観的特徴を有した鉄筋の重ね継手を推論するためのプリセットモデルを指定するための選択ボタンである。これらの選択ボタンは、操作入力部２４を用いてスライドバー２３Ａｂを操作することにより、操作画面２３Ａ上で視認可能かつ選択可能な位置にスライドする。

例えば、配筋構造体の検査者は、当該配筋構造体を含む構造物の設計データを参照して配筋構造体に使用される予定の副構成部材を特定し、操作入力部２４を用いて、特定した副構成部材に対応する学習モデルの選択ボタンを押下する。どの選択ボタンが押下されたかを示す操作情報は、操作入力部２４から選択部２２３に出力される。選択部２２３は、操作情報に対応するプリセットモデルの指定情報を作成し、通信部２１により、通信回線を介して当該指定情報を学習装置３に送信する。

図４は、選択候補ＤＢ３３１の登録内容の例を示す図である。学習装置３が備える記憶部３３には、図４に示すように、副構成部材の種類、色および形状を含む外観的特徴に紐付けられて複数のプリセットモデルが格納された選択候補ＤＢ３３１が記憶されている。学習装置３は、配筋検査装置２からの上記指定情報を受信すると、選択候補ＤＢ３３１に格納されている複数のプリセットモデルのうち、指定情報が示すプリセットモデルを検索し、検索結果のプリセットモデルを示す情報を配筋検査装置２に返信する。

例えば、図３に示す選択ボタン２３Ａ－１、２３Ａ－２および２３Ａ－３が押下された場合、学習装置３は、選択候補ＤＢ３３１から図４に示すモデルＡ１、Ａ２およびＢ１を検索し、検索結果のモデルＡ１、Ａ２およびＢ１をそれぞれ示す情報を配筋検査装置２に返信する。モデルＡ１等の学習モデルを示す情報は、例えば、学習モデルとして機能するニューラルネットワークを構築するために必要なパラメータであり、ノードに対する重み付け係数等である。選択部２２３は、通信部２１により通信回線を介して、モデルＡ１、Ａ２およびＢ１をそれぞれ示す情報を受信すると、受信した情報を、推論部２２４に出力し、さらに記憶部２５に格納する。これにより、選択部２２３は、副構成部材を推論するためのプリセットモデルを的確に選択することができる。

なお、図４には、青色かつ円柱形状という外観的特徴を有した鉄筋の重ね継手を推論するモデルＢ１を示したが、重ね継手の形状は、重ね継手が形成される鉄筋の形状に限定されるものではない。例えば、重ね継手の形状には、２本の鉄筋の端部が重なり合う長さが含まれる。さらに、重ね継手の形状には、鉄筋の端部におけるフックの有無も含まれる。さらに、鉄筋がフックを有する場合には、例えば、直角フック、鋭角フック、または半円フックといったフックの形状も含まれる。

圧縮継手の形状には、圧縮継手が形成される鉄筋の形状に加え、鉄筋の端部を突き合わせて接合した部分の膨らみの形状が含まれる。膨らみの形状は、例えば、膨らみの直径、鉄筋の端部を突き合わせて接合した膨らみ部分の長さ、膨らみにおける鉄筋の中心軸からの偏心量、および、膨らみの頂部からの圧縮面のずれにより決定される形状である。

また、選択部２２３は、複数のプリセットモデルから、プリセットモデルを自動で指定して選択してもよい。例えば、配筋構造体を含む構造物の設計データを記憶部２５に格納しておく。選択部２２３は、配筋構造体の検査者が操作入力部２４を用いて配筋構造体の検査開始を指示すると、記憶部２５に格納された設計データから、配筋構造体に含まれる副構成部材を自動で特定する。

設計データとしては、例えば、配筋構造体を含む構造物に関するビルディングインフォメーションモデリング（ＢＩＭ）を実現する３次元モデルがあり、または、配筋構造体を含む構造物の設計図面データであってもよい。選択部２２３は、特定した副構成部材を推論するためのプリセットモデルを指定する指定情報を作成して、当該指定情報に基づいて学習装置３が検索したプリセットモデルを取得する。これにより、選択部２２３は、副構成部材を推論するためのプリセットモデルを的確に選択することが可能である。

さらに、選択部２２３は、選択候補ＤＢ３３１に格納された全てのプリセットモデルを選択してもよい。例えば、選択部２２３は、操作入力部２４を用いて配筋構造体の検査の開始が指示されると、選択候補ＤＢ３３１に格納されている全てのプリセットモデルを選択する。推論部２２４は、選択部２２３が選択した全てのプリセットモデルのそれぞれを用いて副構成部材を推論し、評価が最も高いモデルから得られた結果を最終的な推論結果として出力する。

図３において、選択ボタン２３Ａｃは、カスタムモデルを作成するための選択ボタンである。操作入力部２４を用いて選択ボタン２３Ａｃが押下された場合、選択部２２３は、カスタムモデルの指定を示す指定情報を作成し、さらに、カスタムモデルの作成に用いられる画像情報を含む学習データを作成する。選択部２２３は、カスタムモデルの指定情報および画像情報含む学習データを、通信部２１により通信回線を介して学習装置３に送信する。

学習装置３は、配筋検査装置２から受信した学習データを用いて、指定情報に対応するカスタムモデルを作成して、作成したカスタムモデルを、通信部３１により、通信回線を介して配筋検査装置２に送信する。選択部２２３は、通信部２１により、通信回線を介して、カスタムモデルを示す情報を受信すると、受信した情報を、推論部２２４に出力し、さらに記憶部２５に格納する。

カスタムモデルの作成に用いられる学習データは、現場で撮影され、かつ副構成部材の位置が特定された画像情報である。
図５は、配筋構造体を撮影した画像情報の例を示す画面図である。図５に示す画像情報に映る配筋構造体は、主筋である複数の鉄筋１１が格子状に配置されており、副構成部材として、せん断補強筋１２、スペーサブロック１３、重ね継手１４、シース管１５および圧縮継手１６を備える。

操作入力部２４を用いて選択ボタン２３Ａｃが押下されると、選択部２２３は、図５に示す画面を表示部２３に表示させる。検査者は、操作入力部２４を用いて画面上の副構成部材をそれぞれ特定する。例えば、検査者は、操作入力部２４を用いて、図５に示す画面上のせん断補強筋１２が映る箇所をバウンディングボックス２３Ｂ－１で囲み、バウンディングボックス２３Ｂ－１で囲まれたせん断補強筋１２の色および名称（この場合、「せん断補強筋」）を入力する。

また、検査者は、操作入力部２４を用いて、図５に示す画面上のスペーサブロック１３が映る箇所をバウンディングボックス２３Ｂ－２で囲み、バウンディングボックス２３Ｂ－２で囲まれたスペーサブロック１３の色および名称（この場合、「スペーサブロック」）を入力する。さらに、検査者は、操作入力部２４を用いて、図５に示す画面上の重ね継手１４が映る箇所をバウンディングボックス２３Ｂ－３で囲んで、バウンディングボックス２３Ｂ－３で囲まれた重ね継手１４の色および名称（この場合、「重ね継手」）を入力する。

さらに、検査者は、操作入力部２４を用いて、図５に示す画面上のシース管１５が映る箇所をバウンディングボックス２３Ｂ－４で囲んで、バウンディングボックス２３Ｂ－４で囲まれたシース管１５の色および名称（この場合、「シース管」）を入力する。
さらに、検査者は、操作入力部２４を用いて、図５に示す画面上の圧縮継手１６が映る箇所をバウンディングボックス２３Ｂ－５で囲んで、バウンディングボックス２３Ｂ－５で囲まれた圧縮継手１６の色および名称（この場合、「圧縮継手」）を入力する。

選択部２２３は、バウンディングボックスの入力が完了すると、例えば、バウンディングボックスである矩形の左上の頂点の位置座標と右下の頂点の位置座標とを抽出し、抽出した位置座標を含む位置情報を作成する。この位置情報は、バウンディングボックス内の副構成部材の色および名称に紐付けられている。すなわち、位置情報は、副構成部材の正解ラベルを表すバウンディングボックスを特定するための情報である。バウンディングボックスで副構成部材を特定した画像情報と選択部２２３が作成した上記位置情報とを含むデータが学習データとして、カスタムモデルの作成に用いられる。

図５の例では、バウンディングボックス２３Ｂ－１にせん断補強筋１２が紐付けられ、バウンディングボックス２３Ｂ－２にスペーサブロック１３が紐付けられ、バウンディングボックス２３Ｂ－３に重ね継手１４が紐付けられ、バウンディングボックス２３Ｂ－４にシース管１５が紐付けられ、バウンディングボックス２３Ｂ－５に圧縮継手１６が紐付けられている。学習装置３は、せん断補強筋１２、スペーサブロック１３、重ね継手１４、シース管１５および圧縮継手１６のそれぞれについてのカスタムモデルを作成する。

なお、副構成部材の正解ラベルをバウンディングボックス形式で示す場合を示したが、これに限定されるものではなく、線またはマスク画像で表してもよい。
例えば、検査者が、操作入力部２４を用いて、図５に示す画面におけるシース管１５の長手方向に沿って線を引く。選択部２２３は、線の始点の位置座標および終点の位置座標を抽出し、抽出した位置座標とシース管１５とを紐付けた位置情報を作成する。選択部２２３は、この位置情報を含む学習データを作成する。

また、検査者が、操作入力部２４を用いて、図５に示す画面におけるシース管１５以外にマスクをかける。選択部２２３が、図５に示す画面におけるマスクされていないシース管１５が映っている領域の位置座標を抽出し、抽出した位置座標とシース管１５とを紐付けた位置情報を作成する。選択部２２３は、この位置情報を含む学習データを作成する。

選択部２２３が、画像情報に対してパターンマッチング等の画像解析を施すか、または画像情報に映る物体を大まかに検出する学習モデルを用いることにより、図５の画面上に存在する物体を囲むバウンディングボックスを自動で設定してもよい。この場合、検査者が、操作入力部２４を用いて、自動で設定されたバウンディングボックス内に副構成部材が存在するかどうかを確認する。選択部２２３は、内部に副構成部材が存在することが確認されたバウンディングボックスについて上記位置情報を作成することになる。

また、配筋検査装置２は、プリセットモデルまたはカスタムモデルの少なくとも一方を用いて画像情報から副構成部材を推論するものであってもよい。例えば、配筋検査装置２がカスタムモデルのみを用いて副構成部材を推論する場合、選択部２２３は、操作入力部２４を用いて配筋検査の開始が指示されると、カスタムモデルを自動で指定し、上述したカスタムモデルの作成処理に移行する。

また、選択部２２３は、共通の副構成部材に対して複数のプリセットモデルを選択してもよい。この場合、選択部２２３は、操作入力部２４を用いてプリセットモデルを指定するか、あるいは自動でプリセットモデルを指定することにより、共通の副構成部材に対して複数のプリセットモデルを選択する。例えば、副構成部材の種類が「せん断補強筋」である場合に、選択部２２３は、種類が「せん断補強筋」である全てのプリセットモデルを選択する。推論部２２４は、選択部２２３が選択した全てのプリセットモデルのそれぞれを用いて副構成部材を推論し、評価が最も高いモデルから得られた結果を最終的な推論結果として出力する。

推論部２２４は、上述のように選択された学習モデルを用いて、前処理された画像情報から副構成部材を推論する。例えば、推論部２２４は、選択部２２３によって選択されたプリセットモデルまたはカスタムモデルに対して、前処理部２２２が前処理を施した画像情報を入力する。プリセットモデルまたはカスタムモデルが、入力された画像情報に映る副構成部材を推論する。例えば、これらの学習モデルによって画像上の副構成部材の位置および外観的特徴が推論される。
なお、画像情報の前処理は、配筋検査装置２とは別に設けられた外部装置が行う処理であってもよい。この場合、配筋検査装置２は、前処理部２２２を備えていなくてもよい。取得部２２１は、上記外部装置から前処理済の画像情報を取得し、推論部２２４は、取得部２２１が取得した画像情報をそのまま用いて、画像情報に映る副構成部材を推論する。
さらに、推論部２２４は、配筋構造体が撮影された、前処理を行っていない画像情報をそのまま用いて、画像情報に映る副構成部材を推論してもよい。この場合も同様に、配筋検査装置２は、前処理部２２２を備えていなくてもよい。例えば、学習装置３が、前処理を行っていない画像情報を、学習データとして学習モデルを作成する。推論部２２４は、この学習モデルを用いることにより、前処理を行っていない画像情報を用いた副構成部材の推論が可能である。

推論部２２４は、推論結果に基づいて副構成部材を検査し、検査結果を表示するための表示制御情報を作成し、作成した表示制御情報を表示部２３に出力する。
例えば、推論部２２４は、学習モデルを用いて推論した画像上のせん断補強筋の位置および外観的特徴に基づいて、配筋構造体におけるせん断補強筋の数を検査する。そして、推論部２２４は、検査結果を記述した電子黒板を配筋構造体が映る画像情報に重畳させて表示するための表示制御情報を作成する。表示部２３は、当該表示制御情報に基づいて、配筋構造体が映る画像上に、せん断補強筋の数、色および形状が記述された電子黒板を重畳表示する。電子黒板は、検査結果が記述される電子的な画像データである。

また、推論部２２４は、学習モデルを用いて推論した画像上の重ね継手の位置および外観的特徴に基づいて、配筋構造体における重ね継手の数および設計値からの形状のずれ度合いを検査する。例えば、推論部２２４は、２本の鉄筋の端部が重なり合う長さの設計値からのずれ量を重ね継手ごとに検査し、重ね継手ごとの検査結果を電子黒板に表示させてもよい。

さらに、推論部２２４は、学習モデルを用いて推論した画像上の圧縮継手の位置および外観的特徴に基づいて、配筋構造体における圧縮継手の数および設計値からの形状のずれ度合いを検査する。例えば、推論部２２４は、推論した圧縮継手における膨らみの直径、膨らみ部分の長さ、膨らみにおける鉄筋の中心軸からの偏心量、および膨らみの頂部からの圧縮面のずれの少なくとも一つについて設計値からのずれ量を検査し、これを検査結果として電子黒板に表示させてもよい。
例えば、検査対象の配筋構造体に設けられた圧縮継手ごとに、鉄筋の端部を突き合わせて接合した部分の膨らみの直径が、鉄筋径の１．４倍以上であり、かつ、鉄筋の端部を突き合わせて接合した部分の長さが、鉄筋径の１．１倍以上であるか、および、鉄筋の中心軸からの偏心量が鉄筋径の５分の１以下であり、かつ、膨らみの頂部からの圧縮面のずれが鉄筋径の４分の１以下であるかの検査結果が電子黒板に表示される。

推論部２２４は、副構成部材の計測結果を用いて推論結果が誤っているかどうかを判定してもよい。例えば、取得部２２１は、配筋構造体を３次元点群で表す点群データを取得する。上記点群データは、ステレオカメラ、赤外線カメラまたはＬＩＤＡＲ等のセンサが検出した配筋構造体との距離を示すデータである。推論部２２４は、取得部２２１により取得されて記憶部２５に保存された画像情報を読み出し、画像情報において物体が映る画像領域における画素値（ｒ_ｉ，ｇ_ｉ，ｂ_ｉ）に対し、当該物体における３次元点とセンサとの距離ｄ_ｉを付与する。これにより、物体が映る画像領域における画素値として４つの要素を有した画素値（ｒ_ｉ，ｇ_ｉ，ｂ_ｉ，ｄ_ｉ）が得られる。

推論部２２４は、副構成部材が映っている画像領域の広さを推定し、この推定値に基づいて副構成部材の大きさ（１）を算出し、さらに、副構成部材が映っている画像領域における３次元点と当該３次元点に対応する画素の画素値における距離ｄ_ｉとを用いて、当該副構成部材の大きさ（２）を算出する。そして、推論部２２４は、副構成部材の大きさ（１）と大きさ（２）とを比較した結果に基づいて、副構成部材を誤って推論したか否かを判定する。ここで、大きさ（２）は副構成部材の実サイズに相当する。推論部２２４は、大きさ（２）の値に対して大きさ（１）の値が許容閾値範囲の上限を超える場合、または許容閾値範囲の下限を下回る場合、学習モデルによる当該副構成部材の推論は誤りであると判定する。

また、推論部２２４は、推論結果が誤っているかどうかの判定結果を用いて学習モデルの推論精度を算出してもよい。例えば、共通した画像情報を用いて、複数の学習モデルのそれぞれに推論を行わせ、推論部２２４は、これらの推論結果が誤っているか否かの判定をそれぞれで行い、推論回数に対する推論結果の正解数の比を推論精度として算出する。
このように推論結果の誤りを判定することで、配筋検査装置２は、副構成部材を正確に推論することができる。

これまで、配筋検査装置２が、配筋構造体における副構成部材を検出する場合を示したが、副構成部材に加え、主筋を自動で検出してもよい。例えば、プリセットモデルおよびカスタムモデルには、副構成部材に関するモデルの他、主筋に関するモデルも含まれる。主筋に関するモデルとは、主筋の種類、色および形状を含む外観的特徴ごとに設けられ、画像情報に映る主筋を推論するための第３学習モデルである。第３学習モデルは、プリセットモデルであってもよいし、カスタムモデルであってもよい。

選択部２２３は、図３に示した操作画面２３Ａにおいて、主筋を推論するためのプリセットモデルを指定するための選択ボタンも表示する。選択部２２３は、操作入力部２４を用いて主筋に関するプリセットモデルの選択ボタンが操作されると、主筋に関するプリセットモデルの指定情報を作成する。推論部２２４は、学習装置３から当該指定情報が示す学習モデルを取得すると、取得した学習モデルを用いて、前処理部２２２によって前処理された画像情報から主筋を推論する。これにより、配筋検査装置２は、配筋構造体において副構成部材に加え、主筋を自動で検出することができる。

学習装置３の機能構成要素について説明する。
データ取得部３２１は、画像情報と画像情報における物体の位置情報とを含む学習データを取得する。例えば、データ取得部３２１は、通信部３１により、通信回線を介して、配筋検査装置２からカスタムモデルの指定情報を受信すると、配筋構造体が撮影された画像情報とこの画像情報に映る副構成部材の位置情報とを含む学習データを配筋検査装置２から取得する。データ取得部３２１は、配筋検査装置２から取得した学習データを学習用ＤＢ３３３に保存する。

学習部３２２は、学習データを用いて、画像情報に映った副構成部材を推論するための学習モデルを作成して保存する。例えば、学習部３２２は、事前学習モデルＤＢ３３２に格納される事前学習モデルと、学習用ＤＢ３３３に保存された学習データを用いて、プリセットモデルまたはカスタムモデルを作成する。さらに、学習部３２２は、作成した学習モデルを評価し、評価値が許容値以上である学習モデルを、配筋検査装置２が用いる学習モデルに決定する。学習モデルの評価には、例えば、正解データに対する適合率および推論結果の再現率が指標として用いられる。

検索部３２３は、副構成部材の種類、色および形状を含む外観的特徴ごとに作成された学習モデルから、配筋検査装置２において指定された学習モデルを検索し、検索により得られた学習モデルを配筋検査装置２に出力する。例えば、検索部３２３は、配筋検査装置２からのプリセットモデルの指定情報を取得すると、取得した指定情報に含まれる副構成部材に関する情報に基づいて選択候補ＤＢ３３１を検索する。そして、検索部３２３は、検索結果のプリセットモデルを示す情報を、通信部３１により、通信回線を介して、配筋検査装置２に送信する。これにより、配筋検査装置２は、指定した学習モデルを取得することができる。

図６は、実施の形態１に係る配筋検査方法を示すフローチャートである。
取得部２２１が、画像情報を取得する（ステップＳＴ１）。例えば、取得部２２１は、配筋検査装置２が備える単眼カメラまたはステレオカメラから、配筋構造体が撮影された画像情報を取得する。
前処理部２２２が画像情報を前処理する（ステップＳＴ２）。例えば、前処理部２２２は、画素の色値を色値の最大値で正規化した画像情報を算出する。
なお、取得部２２１が前処理済の画像情報を取得する場合、または、推論部２２４が、前処理を行わない画像情報を用いて副構成部材の推論を行う場合には、ステップＳＴ２の処理を行わずに、ステップＳＴ３の処理に移行してもよい。

選択部２２３が、学習装置３が保持する複数の学習モデルのうちから、指定された学習モデルを選択する（ステップＳＴ３）。例えば、学習装置３は、副構成部材の種類、色および形状を含む外観的特徴ごとに設けられた複数のプリセットモデルを管理し、さらに、配筋検査装置２から指定されたカスタムモデルを作成する。選択部２２３は、学習装置３に対してプリセットモデルまたはカスタムモデルを指定することにより、推論部２２４が用いる学習モデルを選択する。

推論部２２４が、選択部２２３により選択された学習モデルを用いて、前処理された画像情報から副構成部材を推論する（ステップＳＴ４）。例えば、推論部２２４は、副構成部材の推論結果と、推論結果を用いた副構成部材の検査結果を表示部２３に表示させる。
配筋検査装置２がこの方法を実行することにより、配筋構造体において主筋以外に設けられる副構成部材を自動で検出することができる。

次に、学習装置３によるプリセットモデルの事前作成について説明する。
まず、データ取得部３２１がプリセットモデルの作成に用いる学習データを取得する。当該学習データは、例えば、操作入力部２４を用いて画像上の物体が特定された画像情報を含む。これらの学習データは、データ取得部３２１によって学習用ＤＢ３３３に保存される。図７は、学習データの例を示す図である。図７に示すように、学習データは、副構成部材の種類、色および形状を含む外観的特徴ごとに設けられたデータである。

例えば、図７における、Ｎｏ．１の学習データには、画像Ａにおける、青色でかつＵ字形状を有したせん断補強筋がそれぞれ映っている画像領域に設定されたバウンディングボックスの位置Ａ，Ｂ，Ｃが設定されている。また、Ｎｏ．２の学習データには、画像Ｂにおける、青色でかつ円柱形状の鉄筋に設けられた重ね継手がそれぞれ映っている画像領域に設定されたバウンディングボックスの位置Ｄ，Ｅが設定されている。さらに、Ｎｏ．３の学習データには、画像Ｃにおける、銀色でかつ円柱形状を有したシース管が映っている画像領域に設定されたバウンディングボックスの位置Ｆが設定されている。

図８は、学習部３２２の構成を示すブロック図である。図８に示すように、学習部３２２は、データ分類部３２２１、モデル作成部３２２２および評価部３２２３を備える。
データ分類部３２２１は、データ取得部３２１によって学習用ＤＢ３３３に保存された画像情報から、副構成部材が映った複数の画像情報を抽出し、抽出した画像情報を学習用と評価用とに分ける。

例えば、青色かつＵ字形状を有したせん断補強筋を推論するためのプリセットモデルを作成する場合、データ分類部３２２１は、図７に示したＮｏ．１の学習データを学習用ＤＢ３３３から読み出し、このデータを学習用と評価用とに分ける。これにより、同じせん断補強筋に関する画像情報が学習用と評価用とに分類される。

モデル作成部３２２２は、学習用の画像情報を用いて、画像情報に映った副構成部材を推論するための学習モデルを作成する。例えば、モデル作成部３２２２は、事前学習モデルＤＢ３３２から取り出した事前学習モデルを用いて、学習用の画像情報に映る副構成部材を学習することにより、当該副構成部材を推論するための学習モデルを作成する。
なお、事前学習モデルを含む学習モデルには、例えば、サイアミーズネットワーク（Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋ）が用いられる。

評価部３２２３は、評価用の画像情報を用いて学習モデルを評価し、評価条件を満たした学習モデルを、プリセットモデルとして保存する。例えば、評価部３２２３は、データ分類部３２２１から取得した評価用の画像情報を用いて、モデル作成部３２２２によって作成された学習モデルを評価する。

図９は、学習モデルの評価結果を示す図であり、図７に示したＮｏ．１の学習データに関する評価結果である。図９における学習データと評価データは、データ分類部３２２１によって学習用と評価用に分類された画像情報である。評価部３２２３は、学習データおよび評価データに対して、モデル作成部３２２２が学習モデルを作成する際に用いられた事前学習モデルの種類と、その学習方法（例えば、確率的勾配降下法等）とを対応付けたデータセットを作成する。

評価部３２２３は、図９に示すＮｏ．１のデータセットにおいて、事前学習モデルであるモデルＡを用いて、画像Ａ、画像Ｉおよび画像Ｊとこれらの画像におけるせん断補強筋の位置情報とを学習データとしてせん断補強筋を推論する。次に、評価部３２２３は、同じモデルＡを用いて、画像Ｋ、画像Ｌおよび画像Ｍとこれらの画像におけるせん断補強筋の位置情報とを評価データとしてせん断補強筋を推論する。これらの結果を用いて、評価部３２２３は、適合率Ａおよび再現率Ａを算出する。

評価部３２２３は、Ｎｏ．２のデータセット以降のデータセットについても、同様に、適合率および再現率を算出する。評価部３２２３は、最も適合率および再現率が高い学習モデルを選択するという評価条件に基づき、図７に示したＮｏ．１の学習データに関する全てのデータセットについての適合率および再現率をそれぞれ比較する。評価部３２２３は、これらの比較結果から適合率および再現率が最も高い学習モデルをプリセットモデルに決定し、このモデルを選択候補ＤＢ３３１に保存する。なお、適合率および再現率が最も高い学習モデルを選択する評価条件を示したが、これに限定されるものではない。例えば、適合率および再現率が一定の閾値よりも高い学習モデルを選択するという評価条件であってもよい。また、評価条件は、適合率または再現率のいずれか一方が最も高いまたは閾値よりも高い学習モデルを選択するものであってもよい。

また、学習モデルの評価指標として適合率および再現率を示したが、他の評価指標でも構わない。例えば、正解データである副構成部材を囲むバウンディングボックス（正解矩形）と、推定した副構成部材を囲むバウンディングボックス（推論矩形）とがオーバーラップした面積の割合である、ＭＩＯＵ（Ｍｅａｎ Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ）を評価指標としてもよい。

図１０は、学習モデルにおける埋め込みベクトルの一致判定を概略的に示す説明図である。図１０において、画像情報（１）が入力されるネットワークおよび画像情報（２）が入力されるネットワークは、共通のネットワークである。画像情報（１）は、バウンディングボックス等を用いて正解ラベルを付与した画像情報である。画像情報（２）は、学習用ＤＢ３３３に保存された画像情報のうち、データ分類部３２２１が、学習用として分類したデータである。例えば、画像情報（２）はいずれかの副構成部材が映った画像領域を抽出した部分画像である。なお、上記共通のネットワークである機械学習モデルとして、例えば、Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋを用いてもよい。

モデル作成部３２２２は、画像情報（１）である正解データをネットワークに入力することにより、画像情報（１）に対応する埋め込みベクトル（Ｅｍｂｅｄｄｉｎｇ Ｖｅｃｔｏｒ）が算出される。例えば、ＰａＤｉＭでは、１層目から３層目までの出力を結合することにより、埋め込みベクトルを算出する。この埋め込みベクトルは、モデル作成部３２２２により記憶部３３に保存される。

次に、モデル作成部３２２２は、学習用の画像情報（２）を用いて画像情報に対応する埋め込みベクトルを算出し、算出した埋め込みベクトルと、記憶部３３に保存した埋め込みベクトルとが一致すると判定した学習モデルを、プリセットモデルとして作成する。
このように最終的な推論結果を算出する前に作成可能な埋め込みベクトルを用いることにより、学習モデルの作成に要する時間を削減できる。

図１１は、プリセットモデルの作成処理を示すフローチャートである。
データ分類部３２２１が、データ取得部３２１が取得して学習用ＤＢ３３３に順次保存した画像情報から、副構成部材が映った複数の画像情報を抽出して、抽出した画像情報を学習用と評価用とに分ける（ステップＳＴ１Ａ）。
モデル作成部３２２２が、学習用の画像情報を用いて、画像情報に映った副構成部材を推論するための学習モデルを作成する（ステップＳＴ２Ａ）。
評価部３２２３が、評価用の画像情報を用いて学習モデルを評価し、評価条件を満たす学習モデルを、プリセットモデルとして保存する（ステップＳＴ３Ａ）。

図１２は、カスタムモデルの作成処理を示すフローチャートである。
データ分類部３２２１が、学習用ＤＢ３３３に保存された画像情報から、副構成部材が映った複数の画像情報を取得し、取得した複数の画像情報を学習用と評価用とにそれぞれ分類し、学習用の画像情報を学習データとしてモデル作成部３２２２に出力する（ステップＳＴ１Ｂ）。
次に、モデル作成部３２２２が、事前学習モデルＤＢ３３２から事前学習モデルを取得する（ステップＳＴ２Ｂ）。
モデル作成部３２２２は、事前学習モデルおよび学習データを用いて、上記画像情報に映った副構成部材を推論するための学習モデルを作成する（ステップＳＴ３Ｂ）。

評価部３２２３が、データ分類部３２２１からの評価用の画像情報を用いて学習モデルを評価し、評価条件を満たした学習モデルをカスタムモデルとして、通信部３１により、通信回線を介して配筋検査装置２に送信する（ステップＳＴ４Ｂ）。
なお、検査者が、カスタムモデルの推論精度に満足しない場合には、操作入力部２４を用いて再作成を指示することにより、配筋検査システム１において、学習データの作成、図１２に示したカスタムモデルの作成、およびカスタムモデルの性能評価を繰り返し実行してもよい。さらに、カスタムモデルの性能評価には適合率および再現率を用いてもよいし、ＭＩＯＵを用いてもよい。

以上のように、実施の形態１に係る配筋検査装置２は、画像情報を取得する取得部２２１と、副構成部材の種類、色および形状を含む外観的特徴ごとに設けられ、画像情報に映った副構成部材を推論するための複数の学習モデルのうち、指定された学習モデルを選択する選択部２２３と、選択された学習モデルを用いて、画像情報から副構成部材を推論する推論部２２４を備える。これにより、配筋検査装置２は、配筋構造体において主筋以外に設けられる副構成部材を自動で検出することができる。

実施の形態１に係る配筋検査装置２において、複数の学習モデルには、指定される前に予め作成された一つまたは複数のプリセットモデルと、指定されてから作成されるカスタムモデルとが含まれる。これにより、配筋検査装置２は、事前に用意された推論精度の高いプリセットモデルを用いた副構成部材の推論と、現場の状況に即したカスタムモデルを用いた副構成部材の推論とが可能である。

実施の形態１に係る配筋検査装置２は、画像情報を、推論部２２４が行う推論処理に適した形態になるように前処理する前処理部２２２を備える。推論部２２４は、学習モデルを用いて、前処理された画像情報から副構成部材を推論する。これにより、推論部２２４は、副構成部材の推論を円滑に行うことができる。

実施の形態１に係る配筋検査装置２において、前処理部２２２は、画像情報を正規化する。正規化された画像情報は、ＤＬで作成された学習モデルの入力データとして用いることができる。

実施の形態１に係る配筋検査装置２において、選択部２２３は、学習モデルを指定する操作を行わせる操作画面を表示させるための表示制御情報を出力し、操作画面に基づき、受け付けられた操作により指定された学習モデルを選択する。これにより、選択部２２３は、副構成部材を推論するための学習モデルを的確に選択することが可能である。

実施の形態１に係る配筋検査装置２は、表示制御情報に基づいて操作画面２３Ａを表示する表示部２３を備える。これにより、配筋検査装置２は、学習モデルを指定する操作を行わせる操作画面を表示させることができる。

実施の形態１に係る配筋検査装置２は、表示部２３に表示された操作画面２３Ａ上の複数の学習モデルから学習モデルを指定する操作を受け付ける操作入力部２４を備える。
これにより、操作入力部２４を用いた操作で学習モデルを指定することができる。

実施の形態１に係る配筋検査装置２において、選択部２２３は、複数の学習モデルから学習モデルを自動で指定して選択する。これにより、選択部２２３は、副構成部材を推論するための学習モデルを的確に選択することが可能である。

実施の形態１に係る配筋検査装置２において、取得部２２１は、配筋構造体を３次元点群で表す点群データを取得する。推論部２２４は、画像情報を用いて算出された副構成部材と、点群データを用いて算出された副構成部材とを比較した結果に基づいて、副構成部材を誤って推論したか否かを判定する。これにより、配筋検査装置２は、副構成部材を正確に推論することができる。

実施の形態１に係る配筋検査装置２において、プリセットモデルおよびカスタムモデルには、主筋の種類、色および形状を含む外観的特徴ごとに設けられ、画像情報に映る主筋を推論するための学習モデルが含まれる。推論部２２４は、これら学習モデルを用いて、前処理された画像情報から主筋を推論する。これにより、配筋検査装置２は、配筋構造体における副構成部材に加え、主筋を自動で検出することができる。

実施の形態１に係る配筋検査装置２において、副構成部材は、せん断補強筋、重ね継手、スペーサブロック、シース管、または圧縮継手のうちの少なくとも一つである。このように、配筋検査装置２は、副構成部材として様々な部材の検出が可能である。

実施の形態１に係る学習装置３は、画像情報と画像情報における物体の位置情報とを含む学習データを取得するデータ取得部３２１と、学習データを用いて、画像情報に映った副構成部材を推論するための学習モデルを作成して保存する学習部３２２と、副構成部材の種類、色および形状を含む外観的特徴ごとに作成された学習モデルから、配筋検査装置２において指定された学習モデルを検索し、検索により得られた学習モデルを配筋検査装置２に出力する検索部３２３を備える。これにより、学習装置３は、画像情報に映った副構成部材を推論するための学習モデルを、副構成部材の種類、色および形状を含む外観的特徴ごとに作成することができる。

実施の形態１に係る学習装置３において、複数の学習モデルには、指定される前に予め作成された一つまたは複数のプリセットモデルと、指定されてから作成されるカスタムモデルとが含まれる。データ取得部３２１は、画像情報を取得して順次保存する。学習部３２２は、保存された画像情報から、副構成部材が映った複数の画像情報を抽出し、抽出した画像情報を学習用と評価用とに分けるデータ分類部３２２１と、学習用の画像情報を用いて、画像情報に映った副構成部材を推論するための学習モデルを作成するモデル作成部３２２２と、評価用の画像情報を用いて学習モデルを評価し、評価条件を満たした学習モデルを、プリセットモデルとして保存する評価部３２２３を備える。これにより、学習装置３は、推論精度が高い学習モデルをプリセットモデルとして作成することができる。

実施の形態１に係る学習装置３において、モデル作成部３２２２は、画像情報である正解データに対応する埋め込みベクトルを算出して保存し、学習用の画像情報を用いて画像情報に対応する埋め込みベクトルを算出し、算出した埋め込みベクトルと保存した埋め込みベクトルとが一致すると判定した学習モデルを作成する。これにより、モデル作成部３２２２は、学習モデルの作成に要する時間を削減できる。

実施の形態１に係る学習装置３において、学習部３２２は、画像情報に映った物体を推論するように学習された事前学習モデルを用いて、配筋検査装置２において指定されたカスタムモデルを作成する。これにより、学習装置３は、学習データが少ない場合であっても、推論精度の高いカスタムモデルを作成することができる。

実施の形態１に係る学習装置３において、カスタムモデルが目標推論精度を満たすまで、データ取得部３２１による学習データの取得と学習部３２２によるカスタムモデルの作成とを繰り返し実行する。これにより、学習装置３は、推論精度の高いカスタムモデルを作成することができる。

実施の形態１に係る配筋検査システム１は、配筋検査装置２と学習装置３とを備える。これにより、配筋検査システム１は、配筋構造体において主筋以外に設けられる副構成部材を自動で検出できる配筋検査装置２を提供することが可能である。

実施の形態１に係る配筋検査方法は、取得部２２１が画像情報を取得するステップと、選択部２２３が、副構成部材の種類、色および形状を含む外観的特徴ごとに設けられ、画像情報に映った副構成部材を推論するための複数の学習モデルのうち、指定された学習モデルを選択するステップと、推論部２２４が、選択された学習モデルを用いて、画像情報から副構成部材を推論するステップを備える。配筋検査装置２がこの方法を実行することにより、配筋構造体において主筋以外に設けられる副構成部材を自動で検出することができる。

なお、実施の形態の任意の構成要素の変形もしくは実施の形態の任意の構成要素の省略が可能である。

本開示に係る配筋検査装置は、例えばコンクリートを打ち込む前の配筋構造体の検査に利用可能である。

１ 配筋検査システム、２ 配筋検査装置、３ 学習装置、１１ 鉄筋、１２ せん断補強筋、１３ スペーサブロック、１４ 重ね継手、１５ シース管、１６ 圧縮継手、２１ 通信部、２２ 演算部、２３ 表示部、２３Ａ 操作画面、２３Ａ－１～２３Ａ－３，２３Ａｃ 選択ボタン、２３Ａｂ スライドバー、２３Ｂ－１～２３Ｂ－５ バウンディングボックス、２４ 操作入力部、２５ 記憶部、３１ 通信部、３２ 演算部、３３ 記憶部、１００ 通信インタフェース、１０１ 入出力インタフェース、１０２ プロセッサ、１０３ メモリ、２２１ 取得部、２２２ 前処理部、２２３ 選択部、２２４ 推論部、３２１ データ取得部、３２２ 学習部、３２３ 検索部、３２２１ データ分類部、３２２２ モデル作成部、３２２３ 評価部。

Claims (16)

1. 複数の鉄筋が主筋として配筋され、前記主筋以外の副構成部材を含んで構成される配筋構造体を検査する配筋検査装置であって、
   画像情報を取得する取得部と、
   前記配筋構造体を含む構造物の設計データに基づいて、前記画像情報に映った前記副構成部材を推論するための学習モデルであって、同じ種類の前記副構成部材について色および形状を含む外観的特徴ごとに複数設けられた前記学習モデルの中から、前記配筋構造体に含まれる前記副構成部材を推論するための前記学習モデルを自動で選択する選択部と、
   選択された前記学習モデルを用いて、前記画像情報から前記副構成部材を推論する推論部と、を備えた
   ことを特徴とする配筋検査装置。
2. 複数の前記学習モデルには、指定される前に予め作成された一つまたは複数の第１学習モデルと、指定されてから作成される第２学習モデルとが含まれる
   ことを特徴とする請求項１に記載の配筋検査装置。
3. 前記画像情報を、前記推論部が行う推論処理に適した形態になるように前処理する前処理部を備え、
   前記推論部は、前記学習モデルを用いて、前処理された前記画像情報から前記副構成部材を推論する
   ことを特徴とする請求項１に記載の配筋検査装置。
4. 前記前処理部は、前記画像情報を正規化する
   ことを特徴とする請求項３に記載の配筋検査装置。
5. 前記選択部は、前記学習モデルを指定する操作を行わせる操作画面を表示させるための表示制御情報を出力し、前記操作画面に基づき受け付けられた操作により指定された前記学習モデルを選択する
   ことを特徴とする請求項１に記載の配筋検査装置。
6. 前記表示制御情報に基づいて前記操作画面を表示する表示部を備えた
   ことを特徴とする請求項５に記載の配筋検査装置。
7. 前記表示部に表示された前記操作画面上の複数の前記学習モデルから前記学習モデルを指定する操作を受け付ける操作入力部を備えた
   ことを特徴とする請求項６に記載の配筋検査装置。
8. 前記取得部は、さらに前記配筋構造体を３次元点群で表す点群データを取得し、
   前記推論部は、前記画像情報を用いて算出された前記副構成部材と、前記点群データを用いて算出された前記副構成部材とを比較した結果に基づいて、前記副構成部材を誤って推論したか否かを判定する
   ことを特徴とする請求項１に記載の配筋検査装置。
9. 前記第１学習モデルおよび前記第２学習モデルには、前記主筋の種類、色および形状を含む外観的特徴ごとに設けられ、前記画像情報に映る前記主筋を推論するための第３学習モデルが含まれ、
   前記推論部は、前記第３学習モデルを用いて、前処理された前記画像情報から前記主筋を推論する
   ことを特徴とする請求項２に記載の配筋検査装置。
10. 前記副構成部材は、せん断補強筋、重ね継手、スペーサブロック、シース管または圧縮継手の少なくとも一つである
    ことを特徴とする請求項１に記載の配筋検査装置。
11. 複数の鉄筋が主筋として配筋され、前記主筋以外の副構成部材を含んで構成される配筋構造体が撮影された画像情報を用いて、前記画像情報に映った前記副構成部材を推論するための学習モデルを作成する学習装置であって、
    前記画像情報と、当該画像情報における物体の位置情報とを含む学習データを取得するデータ取得部と、
    前記学習データを用いて、前記画像情報に映った前記副構成部材を推論するための前記学習モデルを作成して保存する学習部と、
    前記副構成部材の種類、色および形状を含む外観的特徴ごとに作成された前記学習モデルから、配筋検査装置において指定された前記学習モデルを検索し、検索により得られた前記学習モデルを配筋検査装置に出力する検索部と、を備え、
    前記データ取得部は、前記画像情報を取得して順次保存し、
    前記学習部は、
    保存された前記画像情報から、前記副構成部材が映った複数の前記画像情報を抽出し、抽出した前記画像情報を学習用と評価用とに分けるデータ分類部と、
    前記学習用の前記画像情報を用いて、前記画像情報に映った前記副構成部材を推論するための前記学習モデルを作成するモデル作成部と、
    前記評価用の前記画像情報を用いて前記学習モデルを評価し、評価条件を満たした前記学習モデルを第１学習モデルとして保存する評価部と、を備えた
    ことを特徴とする学習装置。
12. 前記モデル作成部は、前記画像情報である正解データに対応する埋め込みベクトルを算出して保存し、前記学習用の前記画像情報を用いて当該画像情報に対応する埋め込みベクトルを算出し、算出した埋め込みベクトルと保存した埋め込みベクトルとが一致すると判定した前記学習モデルを作成する
    ことを特徴とする請求項１１に記載の学習装置。
13. 複数の前記学習モデルには、指定される前に予め作成された一つまたは複数の前記第１学習モデルと、指定されてから作成される第２学習モデルとが含まれ、
    前記学習部は、前記画像情報に映った物体を推論するように学習された事前学習モデルを用いて、配筋検査装置において指定された前記第２学習モデルを作成する
    ことを特徴とする請求項１１に記載の学習装置。
14. 前記第２学習モデルが目標推論精度を満たすまで、前記データ取得部による前記学習データの取得と、前記学習部による前記第２学習モデルの作成と、を繰り返し実行する
    ことを特徴とする請求項１３に記載の学習装置。
15. 請求項１から請求項１０のいずれか１項に記載の配筋検査装置と、
    請求項１１から請求項１４のいずれか１項に記載の学習装置と、
    を備えた配筋検査システム。
16. 複数の鉄筋が主筋として配筋され、前記主筋以外の副構成部材を含んで構成される配筋構造体を検査する配筋検査装置の配筋検査方法であって、
    取得部が、画像情報を取得するステップと、
    選択部が、前記配筋構造体を含む構造物の設計データに基づいて、前記画像情報に映った前記副構成部材を推論するための複数の学習モデルであって、同じ種類の前記副構成部材について色および形状を含む外観的特徴ごとに複数設けられた前記学習モデルの中から、前記配筋構造体に含まれる前記副構成部材を推論するための前記学習モデルを自動で選択するステップと、
    推論部が、選択された前記学習モデルを用いて、前記画像情報から前記副構成部材を推論するステップと、を備えた
    ことを特徴とする配筋検査方法。