JP7740965B2 - 検査システム、検査方法、及びプログラム - Google Patents

Description

本開示は、検査システム、検査方法、及びプログラムに関する。

特許文献１では、鉄筋コンクリート構造物の建設工事現場において、配列された鉄筋が打設されたコンクリートの内部に埋没する前に、鉄筋が正しく配列されていることを確認するために、配列された鉄筋の径、ピッチ及び本数等が検査される。

具体的に、特許文献１の配筋検査装置は、ステレオ撮影部と、配列平面特定部と、検査部と、を備える。ステレオ撮影部は、三次元空間の中の平面に配列された複数の鉄筋を異なる２点から撮像することで、三次元空間における複数の鉄筋の位置情報を取得する。配列平面特定部は、ステレオ撮影部により取得された鉄筋の位置情報に基づいて、複数の鉄筋が配列された平面を特定する。検査部は、配列平面特定部により特定された平面に配列された複数の鉄筋を検査対象として、鉄筋の検査を行う。

特開２０１９－２７３７号公報

三次元空間に複数の部材が配置されていれば、ステレオ撮影部（撮像部）が撮像した画像（撮像画像）に、検査対象となる部材以外に、他の部材が写り込むことがある。このとき、撮像画像において検査対象となる部材が写っている範囲（検査範囲）を、他の部材が写っている範囲と区別できないことがあった。この結果、検査範囲を正確に設定することが困難であった。

本開示の目的は、撮像画像内の検査範囲をより正確に設定できる検査システム、検査方法、及びプログラムを提供することにある。

本開示の一態様に係る検査システムは、画像取得部と、表示制御部と、検査範囲設定部と、検査部と、を備える。前記画像取得部は、立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する。前記表示制御部は、前記撮像画像を画面に表示する。前記検査範囲設定部は、人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する。前記検査部は、前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う。前記検査範囲設定部は、前記画面に表示されている前記撮像画像において前記人の操作によって指定された４つの点が４つの頂点に対応する矩形体を撮像した撮像領域を前記検査範囲として設定する。前記４つの点のうち１つの点は、前記４つの頂点のうち、前記矩形体の輪郭の互いに直交する３つの面に共通する頂点に対応する。前記４つの点のうち残りの３つの点は、前記４つの頂点のうち、前記３つの面に共通する頂点から延びる３辺の各端に対応する。
本開示の一態様に係る検査システムは、画像取得部と、表示制御部と、検査範囲設定部と、検査部と、を備える。前記画像取得部は、立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する。前記表示制御部は、前記撮像画像を画面に表示する。前記検査範囲設定部は、人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する。前記検査部は、前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う。前記検査範囲設定部は、前記検査対象の寸法の情報を用いて前記検査範囲を設定する。
本開示の一態様に係る検査システムは、画像取得部と、表示制御部と、検査範囲設定部と、検査部と、マーカ生成部と、を備える。前記画像取得部は、立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する。前記表示制御部は、前記撮像画像を画面に表示する。前記検査範囲設定部は、人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する。前記検査部は、前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う。前記マーカ生成部は、前記撮像画像における前記検査範囲を示すマーカ画像を生成する。前記表示制御部は、前記マーカ画像を前記撮像画像に重畳させて前記画面に表示する。前記マーカ生成部は、前記検査範囲に含まれる前記三次元の位置情報に基づいて、前記検査範囲の三次元モデルを生成し、前記三次元モデルの投影画像を前記マーカ画像とする。
本開示の一態様に係る検査システムは、画像取得部と、表示制御部と、検査範囲設定部と、検査部と、マーカ生成部と、を備える。前記画像取得部は、立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する。前記表示制御部は、前記撮像画像を画面に表示する。前記検査範囲設定部は、人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する。前記検査部は、前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う。前記マーカ生成部は、前記撮像画像における前記検査範囲を示すマーカ画像を生成する。前記表示制御部は、前記マーカ画像を前記撮像画像に重畳させて前記画面に表示する。前記マーカ画像は、三次元モデルの投影画像である。前記マーカ生成部は、前記検査対象が存在する三次元空間における前記検査対象の位置を示す座標情報に基づいて、前記三次元モデルの三次元座標を二次元座標に変換することで、前記画面に前記マーカ画像を表示する。
本開示の一態様に係る検査システムは、画像取得部と、表示制御部と、検査範囲設定部と、検査部と、マーカ生成部と、マーカ処理部と、を備える。前記画像取得部は、立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する。前記表示制御部は、前記撮像画像を画面に表示する。前記検査範囲設定部は、人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する。前記検査部は、前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う。前記マーカ生成部は、前記撮像画像における前記検査範囲を示すマーカ画像を生成する。前記表示制御部は、前記マーカ画像を前記撮像画像に重畳させて前記画面に表示する。前記マーカ処理部は、前記人の操作に応じて、前記画面に表示されている前記マーカ画像に対して、移動、回転、拡大、及び縮小の少なくとも１つの処理を施す。前記検査範囲設定部は、前記マーカ画像に対して施された前記少なくとも１つの処理に応じて、前記検査範囲を修正する。

本開示の一態様に係る検査方法は、画像取得ステップと、表示ステップと、検査範囲設定ステップと、検査ステップと、を備える。前記画像取得ステップは、立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する。前記表示ステップは、前記撮像画像を画面に表示する。前記検査範囲設定ステップは、人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する。前記検査ステップは、前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う。前記検査範囲設定ステップでは、前記画面に表示されている前記撮像画像において前記人の操作によって指定された４つの点が４つの頂点に対応する矩形体を撮像した撮像領域を前記検査範囲として設定する。前記４つの点のうち１つの点は、前記４つの頂点のうち、前記矩形体の輪郭の互いに直交する３つの面に共通する頂点に対応する。前記４つの点のうち残りの３つの点は、前記４つの頂点のうち、前記３つの面に共通する頂点から延びる３辺の各端に対応する。
本開示の一態様に係る検査方法は、画像取得ステップと、表示ステップと、検査範囲設定ステップと、検査ステップと、を備える。前記画像取得ステップは、立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する。前記表示ステップは、前記撮像画像を画面に表示する。前記検査範囲設定ステップは、人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する。前記検査ステップは、前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う。前記検査範囲設定ステップでは、前記検査対象の寸法の情報を用いて前記検査範囲を設定する。
本開示の一態様に係る検査方法は、画像取得ステップと、表示ステップと、検査範囲設定ステップと、検査ステップと、マーカ画像設定ステップと、を備える。前記画像取得ステップは、立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する。前記表示ステップは、前記撮像画像を画面に表示する。前記検査範囲設定ステップは、人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する。前記検査ステップは、前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う。前記マーカ画像設定ステップでは、前記撮像画像における前記検査範囲を示すマーカ画像を生成する。前記マーカ画像設定ステップでは、前記マーカ画像を前記撮像画像に重畳させて前記画面に表示する。前記マーカ画像設定ステップでは、前記検査範囲に含まれる前記三次元の位置情報に基づいて、前記検査範囲の三次元モデルを生成し、前記三次元モデルの投影画像を前記マーカ画像とする。
本開示の一態様に係る検査方法は、画像取得ステップと、表示ステップと、検査範囲設定ステップと、検査ステップと、マーカ画像設定ステップと、を備える。前記画像取得ステップは、立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する。前記表示ステップは、前記撮像画像を画面に表示する。前記検査範囲設定ステップは、人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する。前記検査ステップは、前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う。前記マーカ画像設定ステップでは、前記撮像画像における前記検査範囲を示すマーカ画像を生成する。前記マーカ画像設定ステップでは、前記マーカ画像を前記撮像画像に重畳させて前記画面に表示する。前記マーカ画像は、三次元モデルの投影画像である。前記マーカ画像設定ステップでは、前記検査対象が存在する三次元空間における前記検査対象の位置を示す座標情報に基づいて、前記三次元モデルの三次元座標を二次元座標に変換することで、前記画面に前記マーカ画像を表示する。
本開示の一態様に係る検査方法は、画像取得ステップと、表示ステップと、検査範囲設定ステップと、検査ステップと、マーカ画像設定ステップと、マーカ処理ステップと、を備える。前記画像取得ステップは、立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する。前記表示ステップは、前記撮像画像を画面に表示する。前記検査範囲設定ステップは、人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する。前記検査ステップは、前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う。前記マーカ画像設定ステップでは、前記撮像画像における前記検査範囲を示すマーカ画像を生成する。前記マーカ画像設定ステップでは、前記マーカ画像を前記撮像画像に重畳させて前記画面に表示する。前記マーカ処理ステップでは、前記人の操作に応じて、前記画面に表示されている前記マーカ画像に対して、移動、回転、拡大、及び縮小の少なくとも１つの処理を施す。前記検査範囲設定ステップでは、前記マーカ画像に対して施された前記少なくとも１つの処理に応じて、前記検査範囲を修正する。

本開示の一態様に係るプログラムは、コンピュータシステムに上述の検査方法を実行させる。

以上説明したように、本開示は、撮像画像内の検査範囲をより正確に設定できるという効果がある。

図１は、実施形態の検査システムの構成を示すブロック図である。 図２は、同上の検査システムの使用例を示す斜視図である。 図３は、同上の検査システムを構成するタブレット端末の撮像部を示す平面図である。 図４は、同上の検査システムの撮像画像を示す図である。 図５は、同上の検査システムの撮像画像に検査対象を指定した図である。 図６は、同上の検査システムの撮像画像に検査範囲を設定した図である。 図７は、同上の検査システムの三次元モデルを示す斜視図である。 図８は、同上の検査システムの撮像画像にマーカ画像を設定した図である。 図９は、同上の検査システムの検査方法を示すフローチャートである。 図１０は、第２変形例の検査システムの撮像画像に検査対象を指定した図である。 図１１は、同上の検査システムの撮像画像に検査範囲を設定した図である。 図１２は、同上の検査システムの三次元モデルを示す斜視図である。 図１３は、同上の検査システムの撮像画像にマーカ画像を設定した図である。 図１４は、第３変形例及び第４変形例の検査システムの撮像画像に検査対象を指定した図である。 図１５は、第５変形例の検査システムの構成を示すブロック図である。 図１６は、第５変形例の別の検査システムの構成を示すブロック図である。

以下の実施形態は、一般に検査システム、検査方法、及びプログラムに関する。より詳細に、以下の実施形態は、撮像画像に画像認識処理を施すことで検査対象を検査する検査システム、検査方法、及びプログラムに関する。

以下、実施形態に係る検査システム、検査方法、及びプログラムについて、図面を参照して詳細に説明する。ただし、下記の実施形態において説明する各図は模式的な図であり、各構成要素の大きさや厚さそれぞれの比が必ずしも実際の寸法比を反映しているとは限らない。

また、以下に説明する実施形態は、本開示の実施形態の一例にすぎない。本開示は、以下の実施形態に限定されず、本開示の効果を奏することができれば、設計等に応じて種々の変更が可能である。

（１）概要
建築物の工事では、各工程において様々な検査が行われる。例えば、配筋、壁紙、配線器具、配線、又は配管などの部材を検査対象として、検査対象の配置、形状、及びサイズなどの検査が行われる。また、建物自体を検査対象として、検査対象の構造、配置、及び形状などの検査が行われる。このような検査では、検査対象を撮像した撮像画像に画像認識処理を施すことで、検査対象の配置、形状、サイズ、及び構造などの検査項目を評価することがある。なお、建築物の工事は、建築物の施工に関する工事であればよく、例えば建設工事、電気工事、給排水工事、及び土木工事などが含まれる。

近年、二次元の撮像画像ではなく、三次元の位置情報を含む撮像画像を生成することが容易になっている。そこで、図１に示す本実施形態の検査システムは、三次元の位置情報を含む撮像画像を用いて検査対象９の検査を行う。

検査システム１は、画像取得部１ｂ、表示制御部１ｃ、検査範囲設定部１ｅ、及び検査部１ｈ、を備える。画像取得部１ｂは、立体形状の検査対象９を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する。表示制御部１ｃは、撮像画像を画面Ｄ１に表示する。検査範囲設定部１ｅは、人の操作によって、撮像画像において検査対象９が写っている範囲を示す検査範囲を設定する。検査部１ｈは、検査範囲に画像認識処理を施すことで、検査対象９の検査を行う。

したがって、検査システム１は、人の操作によって撮像画像における検査範囲を設定するので、検査対象以外の構造が検査範囲に含まれることを抑制でき、撮像画像内の検査範囲をより正確に設定できる。

（２）詳細
以下、本実施形態の検査システム１の詳細を説明する。

（２．１）検査対象
本実施形態の検査対象９は、建築物の柱、梁、壁、スラブ、及び基礎などの配筋である。図２は、配筋９１、９２を示す。配筋９１、９２は、施工途中の建築物の内部の三次元空間Ｗ１に存在している。配筋９１、９２は梁の配筋である。配筋９１の輪郭、及び配筋９２の輪郭は、矩形体状である。

配筋９１、９２のそれぞれは、格子状に組まれた複数の鉄筋９ａで構成されており、三次元の立体形状を有する部材である。配筋の検査は、配筋９１、９２のそれぞれに対して、複数の鉄筋９ａの配置及び組み方、並びに鉄筋９ａのサイズなどが、予め決められた仕様を満たしているか否かを個別に判定する。

なお、本実施形態では、配筋の矩形体状の輪郭は、三次元空間Ｗ１において鉛直方向及び水平方向に沿って延びる８つの辺で構成されていることを前提とする。

（２．２）検査システム
検査システム１は、コンピュータシステムを備えることが好ましい。コンピュータシステムは、プログラムを実行することによって、検査システム１の一部又は全部を実現する。コンピュータシステムは、プログラムに従って動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は複数の電子回路で構成される。ここでは、ＩＣやＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ(very large scale integration)、若しくはＵＬＳＩ(ultra large scale integration) と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、フィールド・プログラマブル・ゲート・アレイ(FPGA)、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができる再構成可能な論理デバイスも同じ目的で使うことができる。複数の電子回路は、一つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは一つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータシステムが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、非一時的記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して非一時的記録媒体に供給されてもよい。

コンピュータシステムは、１台のコンピュータ装置に限らず、互いに連携した複数台のコンピュータ装置で実現されていてもよい。また、コンピュータシステムは、クラウドコンピューティングシステムとして構築されていてもよい。

本実施形態の検査システム１は、図１に示すように、撮像部１ａ、画像取得部１ｂ、表示制御部１ｃ、操作部１ｄ、検査範囲設定部１ｅ、マーカ生成部１ｆ、マーカ処理部１ｇ、検査部１ｈ、及び通信部１ｉを備える。また、検査システム１は、画面Ｄ１を更に備えることが好ましい。本実施形態の検査システム１は、図１及び図２に示すように、作業者Ｈ１が携行可能なタブレット端末Ｔ１で構成された検査装置である。作業者Ｈ１は、タブレット端末Ｔ１を携行して、三次元空間Ｗ１内を移動する。そして、作業者Ｈ１がタブレット端末Ｔ１で検査対象９となる配筋を撮像することで、検査システム１が検査対象９となる配筋の検査を行う。なお、本実施形態では、作業者Ｈ１が、撮像画像内に検査範囲を指定する人に相当する。

（２．２．１）撮像部
撮像部１ａは、図３に示すように、３つのレンズ１０１を有する３眼のステレオカメラである。撮像部１ａは、３つのレンズ１０１のそれぞれで撮像した画像データに基づいて、三次元の位置情報を含む撮像画像のデータを生成する。三次元の位置情報は、例えば、撮像部１ａの撮像範囲に含まれている物体の三次元座標（例えばワールド座標）である。すなわち、撮像部１ａは、撮像画像のデータとして三次元画像のデータを生成する。

撮像部１ａは、立体形状の検査対象９を含む三次元空間Ｗ１を撮像して、撮像画像のデータを生成する。本実施形態では、配筋９１、９２のうち配筋９１を検査対象９とする。そこで、作業者Ｈ１は、撮像画像に配筋９１が写るようにタブレット端末Ｔ１を操作する。しかしながら、配筋９１、９２の配置、及び作業者Ｈ１の位置によっては、配筋９１だけでなく、配筋９２も撮像画像に写り込むことがある。

そして、撮像部１ａは、撮像画像のデータをリアルタイムの動画データとして出力する。すなわち、撮像部１ａは、撮像画像のデータとして、移動可能な撮像部１ａによって撮像されたライブビュー画像のデータを生成する。

（２．２．２）画像取得部
画像取得部１ｂは、撮像部１ａから、ライブビュー画像のデータ（撮像画像のデータ）を取得する。

なお、本実施形態では、撮像部１ａと画像取得部１ｂとが同一の装置であるタブレット端末Ｔ１に設けられているが、撮像部１ａは、タブレット端末Ｔ１とは別体に設けられていてもよい。

（２．２．３）表示制御部
表示制御部１ｃは、画像取得部１ｂが取得した撮像画像を画面Ｄ１に表示する。画面Ｄ１は、例えば液晶ディスプレイ又は有機ＥＬディスプレイなどである。本実施形態の画面Ｄ１は、タブレット端末Ｔ１が具備するディスプレイ装置である。

そして、表示制御部１ｃは、画像取得部１ｂが取得したライブビュー画像のデータを入力され、ライブビュー画像を画面Ｄ１に表示する。

タブレット端末Ｔ１を携行している作業者Ｈ１は、画面Ｄ１を見ることで、撮像画像を確認できる。本実施形態の撮像画像は、ライブビュー画像であるので、作業者Ｈ１は、撮像画像をリアルタイムでモニタできる。

図４は、画面Ｄ１に表示されている撮像画像Ｇ１である。撮像画像Ｇ１には、検査対象９である配筋９１だけでなく、検査対象９でない配筋９２も写っている。撮像画像Ｇ１では、配筋９１が写っている領域をＱ９１とし、配筋９２が写っている領域をＱ９２としている。撮像画像Ｇ１のデータは、領域Ｑ９１の三次元の位置情報、及び領域Ｑ９２の三次元の位置情報を含んでいる。

（２．２．４）操作部
操作部１ｄは、画面Ｄ１に重ねて配置されたタッチセンサであり、画面Ｄ１と操作部１ｄとでタッチパネルを構成している。作業者Ｈ１は、タッチセンサである操作部１ｄを指又はタッチペンで触れることで、画面Ｄ１上で撮像画像Ｇ１における任意の位置を指定できる。撮像画像Ｇ１における任意の位置は、例えば撮像画像Ｇ１における任意の点、線、及び範囲などである。

例えば、作業者Ｈ１は、撮像画像Ｇ１において配筋９１が写っている領域Ｑ９１内の少なくとも１点、又は領域Ｑ９１近傍の少なくとも１点を指定する。

本実施形態では、配筋９１の輪郭は６つの面を有する矩形体状である。そして、作業者Ｈ１は、領域Ｑ９１において配筋９１の矩形体状の輪郭を構成する６つの面のうち少なくとも１つの面が写るように、配筋９１を斜めから撮像する（図４では、３つの面が写るように、配筋９１を斜めから撮像している）。そして、作業者Ｈ１は、図５に示すように、配筋９１が写っている領域Ｑ９１に対して、矩形体状の検査範囲Ｒ１（図６参照）の輪郭の４つの頂点にそれぞれ対応する４つの点Ｐ１－Ｐ４を指定する。点Ｐ１は、矩形体状の輪郭の互いに直交する３つの面に共通する頂点に対応する。点Ｐ２－Ｐ４のそれぞれは、矩形体の互いに直交する３つの面に共通する頂点から延びる３辺の各端に対応する。すなわち、作業者Ｈ１は、撮像画像Ｇ１において４つの点Ｐ１－Ｐ４を指定することで、検査範囲Ｒ１（図６参照）の輪郭を構成する６つの矩形状の面のうち、互いに直交する３つの面に対応する領域を、撮像画像Ｇ１内に指定することができる。

図５では、配筋９１の全体が写っている領域Ｑ９１に対して４つの点Ｐ１－Ｐ４を指定することで、検査範囲Ｒ１（図６参照）には配筋９１の全体が写っている。しかしながら、領域Ｑ９１に配筋９１の全体が写っておらず、配筋９１の一部が写っていることもある。このような場合でも、上述のように、領域Ｑ９１に対して、矩形体状の検査範囲Ｒ１（図６参照）の輪郭の４つの頂点にそれぞれ対応する４つの点Ｐ１－Ｐ４を指定することで、配筋９１の一部が写っている範囲を検査範囲とすることができる。

なお、操作部１ｄは、マウス、及びキーボードなどであってもよい。

（２．２．５）検査範囲設定部
検査範囲設定部１ｅは、作業者Ｈ１が撮像画像Ｇ１内に指定した位置に基づいて、図６に示す検査範囲Ｒ１を撮像画像Ｇ１内に設定する。検査範囲Ｒ１は、撮像画像Ｇ１において検査対象である配筋９１が写っている領域Ｑ９１を含む。

検査範囲設定部１ｅは、撮像画像Ｇ１に設定された４つの点Ｐ１－Ｐ４に基づいて、撮像画像Ｇ１内に検査範囲Ｒ１を設定する。

具体的に、検査範囲設定部１ｅは、タブレット端末Ｔ１に内蔵されている加速度センサ、ジャイロセンサ、又は傾きセンサなどのモーションセンサの検出結果に基づいて、撮像画像Ｇ１における鉛直方向及び水平方向を認識できる。また、検査範囲設定部１ｅは、モーションセンサの検出結果と、撮像画像Ｇ１の変化（画像フレームの差分）との少なくとも一方（両方でもよい）を用いて、タブレット端末Ｔ１の位置及び向きを認識できる。そこで、検査範囲設定部１ｅは、撮像画像Ｇ１において、４つの点Ｐ１－Ｐ４が４つの頂点に対応する矩形体を撮像した撮像領域を検査範囲Ｒ１（図６参照）として設定する。本実施形態では、配筋の矩形体状の輪郭は、三次元空間Ｗ１において鉛直方向及び水平方向に沿って延びる８つの辺で構成されていることを前提としており、検査範囲設定部１ｅは、この前提の下で、４つの点Ｐ１－Ｐ４を４つの頂点として有する矩形体を撮像した撮像領域を推定する。

したがって、検査システム１は、配筋９１が写っている領域Ｑ９１を配筋９２が写っている領域Ｑ９２と区別して、領域Ｑ９２を検査範囲に含めることなく、領域Ｑ９１を検査範囲Ｒ１とすることができる。すなわち、検査システム１は、撮像画像Ｇ１内の検査範囲Ｒ１をより正確に設定できる。

（２．２．６）マーカ生成部
マーカ生成部１ｆは、撮像画像Ｇ１における検査範囲Ｒ１を示すマーカ画像Ｍ１（図８参照）を生成する。

本実施形態では、マーカ生成部１ｆは、４つの点Ｐ１－Ｐ４を頂点とする互いに直交する３つの面を含む矩形体状の三次元モデルＫ１（図７参照）を生成する。矩形体の対称性から、矩形体の外面を構成する６つの面のうち互いに直交する３つの面がわかっていれば、矩形体の外面を構成する残りの３つの面を推定することは可能である。そこで、マーカ生成部１ｆは、４つの点Ｐ１－Ｐ４が４つの頂点に対応する矩形体状の三次元モデルＫ１を生成する。すなわち、マーカ生成部１ｆは、三次元モデルＫ１の形状を、撮像画像Ｇ１において４つの点Ｐ１－Ｐ４によって指定された、互いに直交する３つの面を含む矩形体の形状としている。

そして、マーカ生成部１ｆは、三次元モデルＫ１を撮像画像Ｇ１に透視投影することで、図８に示すマーカ画像Ｍ１を生成する。このマーカ画像Ｍ１は、三次元モデルＫ１を撮像画像Ｇ１内に透視投影した領域に生成され、三次元モデルＫ１を撮像画像Ｇ１内に表示した立体図形画像となる。この結果、表示制御部１ｃは、図８に示すように、マーカ画像Ｍ１を撮像画像Ｇ１に重畳させて画面Ｄ１に表示する。マーカ画像Ｍ１は、撮像画像Ｇ１と区別できるように、色、パターン、模様を有する画像である。撮像画像Ｇ１におけるマーカ画像Ｍ１の範囲は、検査範囲Ｒ１と同じになる。すなわち、撮像画像Ｇ１に対するマーカ画像Ｍ１の範囲は、配筋９１が写っている領域Ｑ９１を含んでいる。

したがって、作業者Ｈ１は、画面Ｄ１に表示された撮像画像Ｇ１内のマーカ画像Ｍ１を見ることで、撮像画像Ｇ１内の検査範囲Ｒ１を確認できる。この結果、検査システム１は、撮像画像Ｇ１内の検査範囲Ｒ１をより正確に設定できる。

（２．２．７）マーカ処理部
検査システム１は、上述のように撮像画像Ｇ１に検査範囲Ｒ１及びマーカ画像Ｍ１を設定した後、以降の撮像画像Ｇ１とマーカ画像Ｍ１とを連動させる。すなわち、マーカ画像Ｍ１の範囲を検査範囲Ｒ１とみなすことができ、検査範囲Ｒ１は、マーカ画像Ｍ１の変化に追従して、マーカ画像Ｍ１と同様に変化する。

本実施形態では、マーカ処理部１ｇは、画面Ｄ１に表示されているマーカ画像Ｍ１に対して、移動、回転、拡大、及び縮小の少なくとも１つの処理を施す。

本実施形態では、マーカ処理部１ｇは、操作部１ｄに対する作業者Ｈ１の操作に応じて、画面Ｄ１に表示されているマーカ画像Ｍ１に対して、移動、回転、拡大、及び縮小の各処理を施す。

具体的に、作業者Ｈ１は、画面Ｄ１に重なっているタッチセンサである操作部１ｄを指又はタッチペンで操作する。作業者Ｈ１は、画面Ｄ１に表示されているマーカ画像Ｍ１に対してスライド操作を行うことで、マーカ画像Ｍ１を移動又は回転させる。作業者Ｈ１は、画面Ｄ１に表示されているマーカ画像Ｍ１に対してピンチアウト操作を行うことで、マーカ画像Ｍ１を拡大する。作業者Ｈ１は、画面Ｄ１に表示されているマーカ画像Ｍ１に対してピンチイン操作を行うことで、マーカ画像Ｍ１を縮小する。

マーカ処理部１ｇは、マーカ画像Ｍ１に対する移動、回転、拡大、及び縮小の各処理を三次元モデルＫ１に反映させて、投影面に対する三次元モデルＫ１の移動、並びに三次元モデルＫ１の回転、拡大、及び縮小の各補正処理を行う。

検査範囲設定部１ｅは、マーカ画像Ｍ１に対する移動、回転、拡大、及び縮小の各処理に応じて、マーカ画像Ｍ１に対する処理と同様に、検査範囲Ｒ１に移動、回転、拡大、及び縮小の各補正処理を施す。すなわち、検査範囲設定部１ｅは、マーカ画像Ｍ１に対して施された処理に応じて、検査範囲Ｒ１を修正する。

したがって、検査システム１は、マーカ画像Ｍ１の表示領域の修正を行うことで、検査範囲Ｒ１を修正できる。この結果、検査システム１は、撮像画像Ｇ１内の検査範囲Ｒ１をより正確に設定できる。

（２．２．８）検査部
検査部１ｈは、撮像画像Ｇ１の検査範囲Ｒ１に画像認識処理を施すことで、検査対象９である配筋９１の検査を行う。

具体的に、検査部１ｈは、撮像画像Ｇ１の検査範囲Ｒ１に対して、二値化処理、フィルタリング処理、エッジ抽出処理などを施すことで、検査範囲Ｒ１の特徴量を抽出する。また、検査部１ｈは、通信部１ｉを介してサーバ装置２の設計情報記憶部２ａから設計情報を取得する。設計情報は、配筋９１の設計仕様として、複数の鉄筋９ａの配置及び組み方、並びに鉄筋９ａのサイズなどの情報を含んでいる。そして、検査部１ｈは、検査範囲Ｒ１の特徴量を設計情報と比較することで、配筋９１が設計仕様を満たしているか否かを判定する。検査部１ｈは、当該判定結果を配筋９１の検査結果とし、配筋９１の検査結果を通知するための画像データとして、検査通知データを生成する。

表示制御部１ｃは、配筋９１の検査通知データを画面Ｄ１に表示する。したがって、作業者Ｈ１は、画面Ｄ１に表示された検査通知データを見ることで、配筋９１の検査結果を確認できる。

（２．２．９）通信部
通信部１ｉは、インターネットを含むネットワークＮＴ１に接続し、ネットワークＮＴ１上の機器と通信を行い、信号の送信及び受信を行う通信インタフェースの機能を有する。ネットワークＮＴ１には、サーバ装置２が接続しており、通信部１ｉは、ネットワークＮＴ１を介して、サーバ装置２と通信を行うことができる。

サーバ装置２は、例えば建築物の設計又は施工を請け負った業者によって管理されており、設計情報記憶部２ａを備えている。設計情報記憶部２ａは、建築物の仕様、設計及び施工に関する各種情報を記憶している。設計情報記憶部２ａが記憶している情報には、配筋９１、９２の設計情報も含まれている。

したがって、検査システム１は、通信部１ｉを介してサーバ装置２から配筋９１、９２の設計情報などを取得できる。

（２．２．１０）撮像画像とマーカ画像との連動
上述のように、検査システム１は、配筋９１を撮像した撮像画像Ｇ１に検査範囲Ｒ１及びマーカ画像Ｍ１を設定して配筋９１の検査を行う。

そして、検査システム１は、撮像画像Ｇ１に検査範囲Ｒ１及びマーカ画像Ｍ１を設定した後、以降の撮像画像Ｇ１と、マーカ画像Ｍ１及び検査範囲Ｒ１と、を連動させる。作業者Ｈ１がタブレット端末Ｔ１で配筋９１を撮像しながら三次元空間Ｗ１内を移動すると、画面Ｄ１に表示されている撮像画像Ｇ１が変化し、撮像画像Ｇ１において配筋９１が写っている領域Ｑ９１も変化する。タブレット端末Ｔ１が三次元空間Ｗ１内を移動すると、撮像画像Ｇ１におけるマーカ画像Ｍ１及び検査範囲Ｒ１の位置及び形状も変化させる。

具体的に、撮像画像Ｇ１は、三次元の位置情報を含む。そこで、マーカ生成部１ｆは、撮像画像Ｇ１の検査範囲Ｒ１（すなわち、領域Ｑ９１）における三次元の位置情報を用いて、三次元空間Ｗ１における配筋９１（検査対象９）の位置を示す座標情報として、三次元座標（例えばワールド座標）の情報を取得する。また、マーカ生成部１ｆは、タブレット端末Ｔ１に内蔵されている加速度センサ、ジャイロセンサ、又は傾きセンサなどのモーションセンサの検出結果、及び撮像画像Ｇ１の変化（画像フレームの差分）の少なくとも一方（両方でもよい）に基づいて、タブレット端末Ｔ１の移動距離及び移動方向を検知できる。そこで、マーカ生成部１ｆは、タブレット端末Ｔ１の移動距離及び移動方向に基づいて、三次元空間Ｗ１における配筋９１の位置を示す三次元座標を補正する。すなわち、マーカ生成部１ｆは、タブレット端末Ｔ１が移動しても、撮像部１ａに対する配筋９１の位置を検出できる。

そして、マーカ生成部１ｆは、配筋９１の位置を示す三次元座標に基づいて、撮像画像Ｇ１に対する三次元モデルＫ１の投影距離及び投影方向を調整することで、撮像画像Ｇ１におけるマーカ画像Ｍ１の位置及び形状を、撮像画像Ｇ１における検査範囲Ｒ１の変化に追従させる。

また、検査範囲設定部１ｅは、マーカ画像Ｍ１と同様に検査範囲Ｒ１を変化させる。

したがって、検査システム１は、撮像画像Ｇ１がライブビュー画像であっても、マーカ画像Ｍ１を撮像画像Ｇ１に連動させることができる。また、検査システム１は、撮像画像Ｇ１がライブビュー画像であっても、検査範囲Ｒ１を撮像画像Ｇ１に連動させることができる。

（２．２．１１）検査方法
上述の検査システム１による検査方法をまとめると、図９のフローチャートで表される。例えば、検査システム１が備えるコンピュータシステムがプログラムを実行することで、検査方法は実行される。

検査方法は、画像取得ステップＳ１と、表示ステップＳ２と、検査範囲設定ステップＳ３と、検査ステップＳ５と、を備える。また、検査方法は、マーカ画像設定ステップＳ４を更に備えることが好ましい。

画像取得ステップＳ１では、画像取得部１ｂは、撮像画像Ｇ１のデータを取得する。撮像画像Ｇ１は、立体形状の検査対象９を撮像した画像であり、三次元の位置情報を含む。

表示ステップＳ２では、表示制御部１ｃは、撮像画像Ｇ１を画面Ｄ１に表示する。

検査範囲設定ステップＳ３では、検査範囲設定部１ｅは、作業者Ｈ１の操作によって、撮像画像Ｇ１において検査対象９が写っている範囲を示す検査範囲Ｒ１を設定する。

マーカ画像設定ステップＳ４では、マーカ生成部１ｆは、撮像画像Ｇ１において検査範囲Ｒ１を示すマーカ画像Ｍ１を生成し、マーカ画像Ｍ１を撮像画像Ｇ１に重畳して画面Ｄ１に表示させる。

検査ステップＳ５では、検査部１ｈは、検査範囲Ｒ１に画像認識処理を施すことで、検査対象９の検査を行う。

上述の検査方法は、撮像画像Ｇ１内の検査範囲Ｒ１をより正確に設定できる。

（３）第１変形例
マーカ生成部１ｆは、撮像画像、及び撮像画像におけるマーカ画像の範囲を教師データとする機械学習によって構築された学習モデルに撮像画像Ｇ１を入力することで、マーカ画像Ｍ１が重畳した撮像画像Ｇ１を学習モデルから取得してもよい。

具体的に、多数の教師データを用いた学習による学習モデルを構築しておく。学習モデルは、ディープラーニング（Deep Learning）などの機械学習によって構築されたニューラルネットワークを用いることが好ましい。また、学習モデルは、サポートベクターマシン（Support Vector Machine）などの他のアルゴリズムを用いてもよい。

学習モデルを構築する機械学習システムは、検査システム１が備える構成、検査システム１の外部に設けられる構成のいずれでもよい。

（４）第２変形例
検査範囲設定部１ｅは、検査対象９の寸法の情報を用いて検査範囲を設定してもよい。

以下、図１０の撮像画像Ｇ１１を用いて説明する。

画面Ｄ１に表示されている撮像画像Ｇ１１は、領域Ｑ９３、Ｑ９４を含む。領域Ｑ９３に写っている配筋は、柱の配筋である。領域Ｑ９４に写っている配筋は、基礎の配筋である。基礎の配筋の輪郭は、水平に延びる矩形板状に形成されており、柱の配筋の輪郭は、鉛直方向に長い矩形体状に形成されている。本変形例では、作業者Ｈ１は、領域Ｑ９３に写っている柱の配筋を検査対象９として、柱の配筋を正面から撮像している。

作業者Ｈ１は、タブレット端末Ｔ１を操作することで、サーバ装置２の設計情報記憶部２ａから通信部１ｉを介して、領域Ｑ９３に対応する柱の配筋（検査対象９である配筋）の設計情報をタブレット端末Ｔ１に予めダウンロード（タブレット端末Ｔ１に予め保存）しておく。設計情報は、領域Ｑ９３に対応する柱の配筋の設計仕様として、配筋の寸法情報を含んでいる。

そして、作業者Ｈ１は、図１０に示すように、領域Ｑ９３に対して３つの点Ｐ１１－Ｐ１３を指定することで、柱の配筋の矩形体状の輪郭の１つの面を領域Ｑ９３に対して指定する。点Ｐ１１－Ｐ１３は、配筋の矩形体状の輪郭の前面を規定する。すなわち、作業者Ｈ１は、撮像画像Ｇ１１において３つの点Ｐ１１－Ｐ１３を指定することで、配筋の輪郭を構成する６つの矩形状の面のうち、１つの面に対応する領域を撮像画像Ｇ１１内に指定することができる。

検査範囲設定部１ｅは、タブレット端末Ｔ１に内蔵されている加速度センサ、ジャイロセンサ、又は傾きセンサなどのモーションセンサの検出結果に基づいて、撮像画像Ｇ１１における鉛直方向及び水平方向を認識できる。また、検査範囲設定部１ｅは、モーションセンサの検出結果と、撮像画像Ｇ１の変化（画像フレームの差分）との少なくとも一方（両方でもよい）を用いて、タブレット端末Ｔ１の位置及び向きを認識できる。そこで、検査範囲設定部１ｅは、撮像画像Ｇ１１において指定された３つの点Ｐ１１－Ｐ１３を、領域Ｑ９３に写っている配筋の設計情報と照合することで、検査範囲Ｒ１１（図１１参照）を設定する。この検査範囲Ｒ１１は、３つの点Ｐ１１－Ｐ１３で規定される１つの面を含む矩形体を撮像した撮像領域に相当する。

したがって、検査システム１は、検査対象の配筋が写っている領域Ｑ９３を、検査対象９ではない配筋が写っている領域Ｑ９４と区別して、領域Ｑ９４を検査範囲に含めることなく、領域Ｑ９３を検査範囲Ｒ１１とすることができる。すなわち、検査システム１は、撮像画像Ｇ１１内の検査範囲Ｒ１１をより正確に設定できる。

また、検査システム１は、配筋９３の寸法の情報を用いることで、作業者Ｈ１の操作を簡略化できる。

そして、マーカ生成部１ｆは、撮像画像Ｇ１１における検査範囲Ｒ１１を示すマーカ画像Ｍ１１（図１３参照）を生成する。

本実施形態では、マーカ生成部１ｆは、検査対象９である配筋の寸法の情報を用いて、撮像画像Ｇ１１において指定された１つの面を含む矩形体状の三次元モデルＫ１１（図１２参照）を生成する。すなわち、マーカ生成部１ｆは、撮像画像Ｇ１１において指定された３つの点Ｐ１１－Ｐ１３を、検査対象９である配筋の設計情報と照合することで、矩形体状の三次元モデルＫ１１を生成する。すなわち、マーカ生成部１ｆは、三次元モデルＫ１１の形状を、撮像画像Ｇ１１において３つの点Ｐ１１－Ｐ１３によって指定された１つの面を含む矩形体の形状としている。

そして、マーカ生成部１ｆは、三次元モデルＫ１１を撮像画像Ｇ１１に透視投影することで、図１３に示すマーカ画像Ｍ１１を生成する。このマーカ画像Ｍ１１は、三次元モデルＫ１１を撮像画像Ｇ１１内に透視投影した領域に生成され、三次元モデルＫ１１を撮像画像Ｇ１１内に表示した立体図形画像となる。この結果、表示制御部１ｃは、図１３に示すように、マーカ画像Ｍ１１を撮像画像Ｇ１１に重畳させて画面Ｄ１に表示する。マーカ画像Ｍ１１は、撮像画像Ｇ１１と区別できるように、色、パターン、模様を有する画像である。撮像画像Ｇ１１におけるマーカ画像Ｍ１１の範囲は、検査範囲Ｒ１１と同じになる。すなわち、撮像画像Ｇ１１に対するマーカ画像Ｍ１１の範囲は、検査対象９となる配筋が写っている領域Ｑ９３を含んでいる。

したがって、作業者Ｈ１は、画面Ｄ１に表示された撮像画像Ｇ１１内のマーカ画像Ｍ１１を見ることで、撮像画像Ｇ１１内の検査範囲Ｒ１１を確認できる。この結果、検査システム１は、撮像画像Ｇ１１内の検査範囲Ｒ１１をより正確に設定できる。

なお、作業者Ｈ１は、撮像画像Ｇ１１の領域Ｑ９３に対して、配筋の矩形体状の輪郭の複数の面を指定してもよい。この場合、検査範囲設定部１ｅは、撮像画像Ｇ１１において指定された複数の面を、検査対象９である配筋（領域Ｑ９３に写っている配筋）の設計情報と照合することで、検査範囲Ｒ１１（図１１参照）を設定する。この検査範囲Ｒ１１は、撮像画像Ｇ１１において指定された複数の面を含む矩形体を撮像した撮像領域に相当する。また、マーカ生成部１ｆは、三次元モデルＫ１１の形状を、撮像画像Ｇ１１において指定された複数の面を含む矩形体の形状とする。

（５）第３変形例
作業者Ｈ１は、図１４に示すように、画面Ｄ１に表示されている撮像画像Ｇ１１の領域Ｑ９３に対して１つの点Ｐ２１を指定することで、配筋の矩形体状の輪郭の１つの辺を領域Ｑ９３に対して指定してもよい。本変形例の点Ｐ２１は、配筋の矩形体状の輪郭の上前辺を規定する。すなわち、作業者Ｈ１は、撮像画像Ｇ１１において１つの点Ｐ２１を指定することで、配筋の輪郭を構成する８つの辺のうち、１つの辺を、撮像画像Ｇ１１内に指定することができる。

この場合、検査範囲設定部１ｅは、撮像画像Ｇ１１において指定された１つの点Ｐ２１を、検査対象９である配筋（領域Ｑ９３に写っている配筋）の設計情報と照合することで、検査範囲Ｒ１１（図１１参照）を設定する。この検査範囲Ｒ１１は、１つの点Ｐ２１で規定される１つの辺を含む矩形体を撮像した撮像領域に相当する。

そして、マーカ生成部１ｆは、撮像画像Ｇ１１における検査範囲Ｒ１１を示すマーカ画像Ｍ１１（図１３参照）を生成する。ここでは、マーカ生成部１ｆは、三次元モデルＫ１１の形状を、撮像画像Ｇ１１において１つの点Ｐ２１によって指定された１つの辺を含む矩形体の形状としている。

なお、作業者Ｈ１は、撮像画像Ｇ１１の領域Ｑ９３に対して、配筋の矩形体状の輪郭の複数の辺を指定してもよい。この場合、検査範囲設定部１ｅは、撮像画像Ｇ１１において指定された複数の辺を、検査対象９である配筋（領域Ｑ９３に写っている配筋）の設計情報と照合することで、検査範囲Ｒ１１（図１１参照）を設定する。この検査範囲Ｒ１１は、撮像画像Ｇ１１において指定された複数の辺を含む矩形体を撮像した撮像領域に相当する。また、マーカ生成部１ｆは、三次元モデルＫ１１の形状を、撮像画像Ｇ１１において指定された複数の辺を含む矩形体の形状とする。

（６）第４変形例
作業者Ｈ１は、図１４に示すように、画面Ｄ１に表示されている撮像画像Ｇ１１の領域Ｑ９３に対して１つの点Ｐ２１を指定することで、配筋の矩形体状の輪郭の１つの点を領域Ｑ９３に対して指定してもよい。本変形例の点Ｐ３１は、配筋の矩形体状の輪郭の上前辺に含まれる１点を規定する。

この場合、検査範囲設定部１ｅは、撮像画像Ｇ１１において指定された１つの点Ｐ２１を、検査対象９である配筋（領域Ｑ９３に写っている配筋）の設計情報と照合することで、検査範囲Ｒ１１（図１１参照）を設定する。この検査範囲Ｒ１１は、１つの点Ｐ２１を含む矩形体を撮像した撮像領域に相当する。

そして、マーカ生成部１ｆは、撮像画像Ｇ１１における検査範囲Ｒ１１を示すマーカ画像Ｍ１１（図１３参照）を生成する。ここでは、マーカ生成部１ｆは、三次元モデルＫ１１の形状を、撮像画像Ｇ１１における１つの点Ｐ２１を含む矩形体の形状としている。

なお、作業者Ｈ１は、撮像画像Ｇ１１の領域Ｑ９３に対して、配筋の矩形体状の輪郭の複数の点を指定してもよい。この場合、検査範囲設定部１ｅは、撮像画像Ｇ１１において指定された複数の点を、検査対象９である配筋（領域Ｑ９３に写っている配筋）の設計情報と照合することで、検査範囲Ｒ１１（図１１参照）を設定する。この検査範囲Ｒ１１は、撮像画像Ｇ１１において指定された複数の点を含む矩形体を撮像した撮像領域に相当する。また、マーカ生成部１ｆは、三次元モデルＫ１１の形状を、撮像画像Ｇ１１において指定された複数の点を含む矩形体の形状とする。

（７）第５変形例
図１５は、検査システム１の変形例として、検査システム１Ａを示す。

検査システム１Ａでは、検査部１ｈがサーバ装置２に設けられている。タブレット端末Ｔ１とサーバ装置２とは、ネットワークＮＴ１を介して互いに通信可能に構成されており、検査部１ｈは、撮像画像の検査範囲に画像認識処理を施すことで、検査対象９の検査を行う。

図１６は、検査システム１の別の変形例として、検査システム１Ｂを示す。

検査システム１Ｂでは、検査部１ｈに加えて、検査範囲設定部１ｅ、マーカ生成部１ｆ、及びマーカ処理部１ｇもサーバ装置２に設けられている。タブレット端末Ｔ１とサーバ装置２とは、ネットワークＮＴ１を介して互いに通信可能に構成されており、検査範囲設定部１ｅ、マーカ生成部１ｆ、及びマーカ処理部１ｇも上記同様の機能を有する。

検査システム１を構成する各部は、検査システム１のように１つの装置にまとめて設けられる構成、又は検査システム１Ａ、１Ｂのように２つの装置に分散して設けられる構成に限定されず、３つ以上の装置に分散して設けられる構成であってもよい。

（８）第６変形例
検査システム１は、画面Ｄ１を備えていなくてよい。例えば、画面Ｄ１は、検査システム１と通信可能に構成されたタブレット端末、スマートフォン、及びパーソナルコンピュータなどの外部端末が備えていてもよい。

検査対象９は配筋以外の部材、例えば壁紙、配線器具、配線、又は配管などであってもよい。すなわち、検査対象９は、特定の部材に限定されず、三次元の立体形状を有する部材であればよい。

また、作業者Ｈ１は、タブレット端末Ｔ１を操作することで、所望のタイミングでライブビュー画像を静止画像にし、静止画像に対して検査範囲を設定してもよい。この場合、作業者Ｈ１は、ライブビュー画像をモニタしながら、検査対象９がライブビュー画像に写っているときに、ライブビュー画像を静止画像に切り替えることで、検査対象９が写っている静止画像を画面Ｄ１に表示する。なお、ライブビュー画像及び静止画像ともに、撮像画像のデータに相当する。

撮像部１ａは、３つのレンズを有するステレオカメラに限定されず、２つ、又は４つ以上のレンズを有するステレオカメラであってもよい。また、撮像部１ａは、単眼カメラであってもよく、この場合、撮像画像の系列から３次元の位置情報を含む撮像画像のデータを生成できる。また、撮像部１ａは、３次元レーザスキャナ、又はＬｉＤＡＲ（Light Detection and Ranging）などのように、レーザを用いた構成であってもよい。

検査対象９は、配筋９１、９３に限定されず、配筋９２、９４であってもよい。また、検査対象９は、配筋以外であってもよく、例えば壁紙、配線器具、配線、又は配管などの部材であってもよい。また、検査対象９は、建物であってもよい。

また、上述の実施形態では、配筋の矩形体状の輪郭が、三次元空間Ｗ１において鉛直方向及び水平方向に沿って延びる８つの辺で構成されていることを前提として、検査範囲設定部１ｅ及びマーカ生成部１ｆは、この前提の下で検査範囲を設定し、マーカ画像を生成している。しかしながら、検査システム１が用いる前提は、検査対象９の形状、構造、及び配置などに応じて適宜設定されればよく、特定の前提に限定されない。

（９）まとめ
上述の実施形態に係る第１の態様の検査システム（１、１Ａ、１Ｂ）は、画像取得部（１ｂ）と、表示制御部（１ｃ）と、検査範囲設定部（１ｅ）と、検査部（１ｈ）と、を備える。画像取得部（１ｂ）は、立体形状の検査対象（９）を撮像した画像であり、三次元の位置情報を含む撮像画像（Ｇ１、Ｇ１１）のデータを取得する。表示制御部（１ｃ）は、撮像画像（Ｇ１、Ｇ１１）を画面（Ｄ１）に表示する。検査範囲設定部（１ｅ）は、人（Ｈ１）の操作によって、撮像画像（Ｇ１、Ｇ１１）において検査対象（９）が写っている範囲を示す検査範囲（Ｒ１、Ｒ１１）を設定する。検査部（１ｈ）は、検査範囲（Ｒ１、Ｒ１１）に画像認識処理を施すことで、検査対象（９）の検査を行う。

上述の検査システム（１、１Ａ、１Ｂ）は、撮像画像（Ｇ１、Ｇ１１）内の検査範囲（Ｒ１、Ｒ１１）をより正確に設定できる。

上述の実施形態に係る第２の態様の検査システム（１、１Ａ、１Ｂ）では、第１の態様において、検査範囲設定部（１ｅ）は、画面（Ｄ１）に表示されている撮像画像（Ｇ１、Ｇ１１）に人（Ｈ１）の操作によって指定された位置に基づいて、検査範囲（Ｒ１、Ｒ１１）を設定することが好ましい。

上述の検査システム（１、１Ａ、１Ｂ）は、撮像画像（Ｇ１、Ｇ１１）内の検査範囲（Ｒ１、Ｒ１１）をより正確に設定できる。

上述の実施形態に係る第３の態様の検査システム（１、１Ａ、１Ｂ）では、第２の態様において、検査範囲設定部（１ｅ）は、撮像画像（Ｇ１、Ｇ１１）において指定された少なくとも１つの点（Ｐ１－Ｐ４、Ｐ１１－Ｐ１３、Ｐ２１）を含む検査範囲（Ｒ１、Ｒ１１）を設定することが好ましい。

上述の検査システム（１、１Ａ、１Ｂ）は、撮像画像（Ｇ１、Ｇ１１）内の検査範囲（Ｒ１、Ｒ１１）をより正確に設定できる。

上述の実施形態に係る第４の態様の検査システム（１、１Ａ、１Ｂ）では、第２の態様において、検査範囲設定部（１ｅ）は、撮像画像（Ｇ１、Ｇ１１）において指定された少なくとも１つの範囲を含む検査範囲（Ｒ１、Ｒ１１）を設定することが好ましい。

上述の検査システム（１、１Ａ、１Ｂ）は、撮像画像（Ｇ１、Ｇ１１）内の検査範囲（Ｒ１、Ｒ１１）をより正確に設定できる。

上述の実施形態に係る第５の態様の検査システム（１、１Ａ、１Ｂ）では、第１乃至第４の態様のいずれか１つにおいて、検査範囲設定部（１ｅ）は、検査対象（９）の寸法の情報を用いて検査範囲（Ｒ１１）を設定することが好ましい。

上述の検査システム（１、１Ａ、１Ｂ）は、検査対象（９）の寸法の情報を用いることで、人（Ｈ１）の操作を簡略化できる。

上述の実施形態に係る第６の態様の検査システム（１、１Ａ、１Ｂ）は、第１乃至第５の態様のいずれか１つにおいて、撮像画像（Ｇ１、Ｇ１１）における検査範囲（Ｒ１、Ｒ１１）を示すマーカ画像（Ｍ１、Ｍ１１）を生成するマーカ生成部（１ｆ）を更に備えることが好ましい。表示制御部（１ｃ）は、マーカ画像（Ｍ１、Ｍ１１）を撮像画像（Ｇ１、Ｇ１１）に重畳させて画面（Ｄ１）に表示する。

上述の検査システム（１、１Ａ、１Ｂ）では、人（Ｈ１）は、画面（Ｄ１）に表示された撮像画像（Ｇ１、Ｇ１１）内のマーカ画像（Ｍ１、Ｍ１１）を見ることで、撮像画像（Ｇ１、Ｇ１１）内の検査範囲（Ｒ１、Ｒ１１）を確認できる。この結果、検査システム（１、１Ａ、１Ｂ）は、撮像画像（Ｇ１、Ｇ１１）内の検査範囲（Ｒ１、Ｒ１１）をより正確に設定できる。

上述の実施形態に係る第７の態様の検査システム（１、１Ａ、１Ｂ）では、第６の態様において、マーカ生成部（１ｆ）は、検査範囲（Ｒ１、Ｒ１１）に含まれる三次元の位置情報に基づいて、検査範囲（Ｒ１、Ｒ１１）の三次元モデル（Ｋ１、Ｋ１１）を生成することが好ましい。マーカ生成部（１ｆ）は、三次元モデル（Ｋ１、Ｋ１１）の投影画像をマーカ画像（Ｍ１、Ｍ１１）とする。

上述の検査システム（１、１Ａ、１Ｂ）では、人（Ｈ１）は、撮像画像（Ｇ１、Ｇ１１）内の検査範囲（Ｒ１、Ｒ１１）を容易に確認できる。

上述の実施形態に係る第８の態様の検査システム（１、１Ａ、１Ｂ）では、第７の態様において、マーカ生成部（１ｆ）は、三次元モデル（Ｋ１、Ｋ１１）の形状を、撮像画像（Ｇ１、Ｇ１１）において指定された互いに直交する３つの面を含む矩形体形状とすることが好ましい。

上述の検査システム（１、１Ａ、１Ｂ）は、マーカ画像（Ｍ１、Ｍ１１）を容易に生成できる。

上述の実施形態に係る第９の態様の検査システム（１、１Ａ、１Ｂ）では、第７の態様において、マーカ生成部（１ｆ）は、検査対象（９）の寸法の情報を用いて、三次元モデル（Ｋ１１）の形状を、撮像画像（Ｇ１１）において指定された少なくとも１つの面を含む三次元の形状とすることが好ましい。

上述の検査システム（１、１Ａ、１Ｂ）は、マーカ画像（Ｍ１、Ｍ１１）を容易に生成できる。

上述の実施形態に係る第１０の態様の検査システム（１、１Ａ、１Ｂ）では、第７の態様において、マーカ生成部（１ｆ）は、検査対象（９）の寸法の情報を用いて、三次元モデル（Ｋ１１）の形状を、撮像画像（Ｇ１１）において指定された少なくとも１つの辺を含む三次元の形状とすることが好ましい。

上述の検査システム（１、１Ａ、１Ｂ）は、マーカ画像（Ｍ１、Ｍ１１）を容易に生成できる。

上述の実施形態に係る第１１の態様の検査システム（１、１Ａ、１Ｂ）では、第７の態様において、マーカ生成部（１ｆ）は、検査対象（９）の寸法の情報を用いて、三次元モデル（Ｋ１１）の形状を、撮像画像（Ｇ１１）において指定された少なくとも１つの点を含む三次元の形状とすることが好ましい。

上述の検査システム（１、１Ａ、１Ｂ）は、マーカ画像（Ｍ１、Ｍ１１）を容易に生成できる。

上述の実施形態に係る第１２の態様の検査システム（１、１Ａ、１Ｂ）では、第６の態様において、マーカ生成部（１ｆ）は、撮像画像（Ｇ１、Ｇ１１）、及び撮像画像（Ｇ１、Ｇ１１）におけるマーカ画像（Ｍ１、Ｍ１１）の範囲を教師データとする機械学習によって構築された学習モデルに撮像画像（Ｇ１、Ｇ１１）を入力することで、マーカ画像（Ｍ１、Ｍ１１）が重畳した撮像画像（Ｇ１、Ｇ１１）を学習モデルから取得することが好ましい。

上述の検査システム（１、１Ａ、１Ｂ）は、マーカ画像（Ｍ１、Ｍ１１）を容易に生成できる。

上述の実施形態に係る第１３の態様の検査システム（１、１Ａ、１Ｂ）では、第６乃至第１２の態様のいずれか１つにおいて、マーカ画像（Ｍ１、Ｍ１１）は、三次元モデル（Ｋ１、Ｋ１１）の投影画像である。マーカ生成部（１ｆ）は、検査対象（９）が存在する三次元空間（Ｗ１）における検査対象（９）の位置を示す座標情報に基づいて、三次元モデル（Ｋ１、Ｋ１１）の三次元座標を二次元座標に変換することで、画面（Ｄ１）にマーカ画像（Ｍ１、Ｍ１１）を表示することが好ましい。

上述の検査システム（１、１Ａ、１Ｂ）は、マーカ画像（Ｍ１、Ｍ１１）を撮像画像（Ｇ１、Ｇ１１）に連動させることができる。

上述の実施形態に係る第１４の態様の検査システム（１、１Ａ、１Ｂ）は、第６乃至第１３の態様のいずれか１つにおいて、人（Ｈ１）の操作に応じて、画面（Ｄ１）に表示されているマーカ画像（Ｍ１、Ｍ１１）に対して、移動、回転、拡大、及び縮小の少なくとも１つの処理を施すマーカ処理部（１ｇ）を更に備えることが好ましい。検査範囲設定部（１ｅ）は、マーカ画像（Ｍ１、Ｍ１１）に対して施された少なくとも１つの処理に応じて、検査範囲（Ｒ１、Ｒ１１）を修正する。

上述の検査システム（１、１Ａ、１Ｂ）は、マーカ画像（Ｍ１、Ｍ１１）を修正することで、検査範囲（Ｒ１、Ｒ１１）を修正できる。

上述の実施形態に係る第１５の態様の検査システム（１、１Ａ、１Ｂ）では、第１乃至第１４の態様のいずれか１つにおいて、撮像画像（Ｇ１、Ｇ１１）は、移動可能な撮像部（１ａ）によって撮像されたライブビュー画像であることが好ましい。

上述の検査システム（１、１Ａ、１Ｂ）は、撮像画像（Ｇ１、Ｇ１１）をリアルタイムでモニタできる。

上述の実施形態に係る第１６の態様の検査システム（１、１Ａ、１Ｂ）では、第１乃至第１５の態様のいずれか１つにおいて、検査対象（９）は、配筋（９１－９４）であることが好ましい。

上述の検査システム（１、１Ａ、１Ｂ）は、配筋（９１－９４）の検査を行うことができる。

上述の実施形態に係る第１７の態様の検査システム（１、１Ａ、１Ｂ）では、第１乃至第１５の態様のいずれか１つにおいて、検査対象（９）は、建築物であることが好ましい。

上述の検査システム（１、１Ａ、１Ｂ）は、建築物の検査を行うことができる。

上述の実施形態に係る第１８の態様の検査方法は、画像取得ステップ（Ｓ１）と、表示ステップ（Ｓ２）と、検査範囲設定ステップ（Ｓ３）と、検査ステップ（Ｓ５）と、を含む。画像取得ステップ（Ｓ１）は、立体形状の検査対象（９）を撮像した画像であり、三次元の位置情報を含む撮像画像（Ｇ１、Ｇ１１）のデータを取得する。表示ステップ（Ｓ２）は、撮像画像（Ｇ１、Ｇ１１）を画面（Ｄ１）に表示する。検査範囲設定ステップ（Ｓ３）は、人（Ｈ１）の操作によって、撮像画像（Ｇ１、Ｇ１１）において検査対象（９）が写っている範囲を示す検査範囲（Ｒ１、Ｒ１１）を設定する。検査ステップ（Ｓ５）は、検査範囲（Ｒ１、Ｒ１１）に画像認識処理を施すことで、検査対象（９）の検査を行う。

上述の検査方法は、撮像画像（Ｇ１、Ｇ１１）内の検査範囲（Ｒ１、Ｒ１１）をより正確に設定できる。

上述の実施形態に係る第１９の態様のプログラムは、コンピュータシステムに第１８の態様の検査方法を実行させる。

上述のプログラムは、撮像画像（Ｇ１、Ｇ１１）内の検査範囲（Ｒ１、Ｒ１１）をより正確に設定できる。

１、１Ａ、１Ｂ 検査システム
１ａ 撮像部
１ｂ 画像取得部
１ｃ 表示制御部
１ｅ 検査範囲設定部
１ｆ マーカ生成部
１ｇ マーカ処理部
１ｈ 検査部
９ 検査対象
９１－９４ 配筋
Ｄ１ 画面
Ｗ１ 三次元空間
Ｈ１ 作業者（人）
Ｇ１、Ｇ１１ 撮像画像
Ｒ１、Ｒ１１ 検査範囲
Ｍ１、Ｍ１１ マーカ画像
Ｋ１、Ｋ１１ 三次元モデル
Ｐ１－Ｐ４、Ｐ１１－Ｐ１３、Ｐ２１ 点
Ｓ１ 画像取得ステップ
Ｓ２ 表示ステップ
Ｓ３ 検査範囲設定ステップ
Ｓ５ 検査ステップ

Claims (20)

1. 立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する画像取得部と、
   前記撮像画像を画面に表示する表示制御部と、
   人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する検査範囲設定部と、
   前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う検査部と、を備え、
   前記検査範囲設定部は、前記画面に表示されている前記撮像画像において前記人の操作によって指定された４つの点が４つの頂点に対応する矩形体を撮像した撮像領域を前記検査範囲として設定し、
   前記４つの点のうち１つの点は、前記４つの頂点のうち、前記矩形体の輪郭の互いに直交する３つの面に共通する頂点に対応し、
   前記４つの点のうち残りの３つの点は、前記４つの頂点のうち、前記３つの面に共通する頂点から延びる３辺の各端に対応する
   検査システム。
2. 立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する画像取得部と、
   前記撮像画像を画面に表示する表示制御部と、
   人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する検査範囲設定部と、
   前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う検査部と、を備え、
   前記検査範囲設定部は、前記検査対象の寸法の情報を用いて前記検査範囲を設定する
   検査システム。
3. 前記撮像画像における前記検査範囲を示すマーカ画像を生成するマーカ生成部を更に備え、
   前記表示制御部は、前記マーカ画像を前記撮像画像に重畳させて前記画面に表示する
   請求項１又は２の検査システム。
4. 立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する画像取得部と、
   前記撮像画像を画面に表示する表示制御部と、
   人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する検査範囲設定部と、
   前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う検査部と、
   前記撮像画像における前記検査範囲を示すマーカ画像を生成するマーカ生成部と、を備え、
   前記表示制御部は、前記マーカ画像を前記撮像画像に重畳させて前記画面に表示し、
   前記マーカ生成部は、
   前記検査範囲に含まれる前記三次元の位置情報に基づいて、前記検査範囲の三次元モデルを生成し、
   前記三次元モデルの投影画像を前記マーカ画像とする
   検査システム。
5. 前記マーカ生成部は、前記三次元モデルの形状を、前記撮像画像において指定された互いに直交する３つの面を含む矩形体形状とする
   請求項４の検査システム。
6. 前記マーカ生成部は、前記検査対象の寸法の情報を用いて、前記三次元モデルの形状を、前記撮像画像において指定された少なくとも１つの面を含む三次元の形状とする
   請求項４の検査システム。
7. 前記マーカ生成部は、前記検査対象の寸法の情報を用いて、前記三次元モデルの形状を、前記撮像画像において指定された少なくとも１つの辺を含む三次元の形状とする
   請求項４の検査システム。
8. 前記マーカ生成部は、前記検査対象の寸法の情報を用いて、前記三次元モデルの形状を、前記撮像画像において指定された少なくとも１つの点を含む三次元の形状とする
   請求項４の検査システム。
9. 前記マーカ生成部は、前記撮像画像、及び前記撮像画像における前記マーカ画像の範囲を教師データとする機械学習によって構築された学習モデルに前記撮像画像を入力することで、前記マーカ画像が重畳した前記撮像画像を前記学習モデルから取得する
   請求項３の検査システム。
10. 立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する画像取得部と、
    前記撮像画像を画面に表示する表示制御部と、
    人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する検査範囲設定部と、
    前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う検査部と、
    前記撮像画像における前記検査範囲を示すマーカ画像を生成するマーカ生成部と、を備え、
    前記表示制御部は、前記マーカ画像を前記撮像画像に重畳させて前記画面に表示し、
    前記マーカ画像は、三次元モデルの投影画像であり、
    前記マーカ生成部は、前記検査対象が存在する三次元空間における前記検査対象の位置を示す座標情報に基づいて、前記三次元モデルの三次元座標を二次元座標に変換することで、前記画面に前記マーカ画像を表示する
    検査システム。
11. 立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する画像取得部と、
    前記撮像画像を画面に表示する表示制御部と、
    人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する検査範囲設定部と、
    前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う検査部と、
    前記撮像画像における前記検査範囲を示すマーカ画像を生成するマーカ生成部と、を備え、
    前記表示制御部は、前記マーカ画像を前記撮像画像に重畳させて前記画面に表示し、
    前記人の操作に応じて、前記画面に表示されている前記マーカ画像に対して、移動、回転、拡大、及び縮小の少なくとも１つの処理を施すマーカ処理部を更に備え、
    前記検査範囲設定部は、前記マーカ画像に対して施された前記少なくとも１つの処理に応じて、前記検査範囲を修正する
    検査システム。
12. 前記撮像画像は、移動可能な撮像部によって撮像されたライブビュー画像である
    請求項１乃至１１のいずれか１つの検査システム。
13. 前記検査対象は、配筋である
    請求項１乃至１２のいずれか１つの検査システム。
14. 前記検査対象は、建築物である
    請求項１乃至１２のいずれか１つの検査システム。
15. 立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する画像取得ステップと、
    前記撮像画像を画面に表示する表示ステップと、
    人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する検査範囲設定ステップと、
    前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う検査ステップと、を含み、
    前記検査範囲設定ステップでは、前記画面に表示されている前記撮像画像において前記人の操作によって指定された４つの点が４つの頂点に対応する矩形体を撮像した撮像領域を前記検査範囲として設定し、
    前記４つの点のうち１つの点は、前記４つの頂点のうち、前記矩形体の輪郭の互いに直交する３つの面に共通する頂点に対応し、
    前記４つの点のうち残りの３つの点は、前記４つの頂点のうち、前記３つの面に共通する頂点から延びる３辺の各端に対応する
    検査方法。
16. 立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する画像取得ステップと、
    前記撮像画像を画面に表示する表示ステップと、
    人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する検査範囲設定ステップと、
    前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う検査ステップと、を含み
    前記検査範囲設定ステップでは、前記検査対象の寸法の情報を用いて前記検査範囲を設定する
    検査方法。
17. 立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する画像取得ステップと、
    前記撮像画像を画面に表示する表示ステップと、
    人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する検査範囲設定ステップと、
    前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う検査ステップと、
    前記撮像画像における前記検査範囲を示すマーカ画像を生成するマーカ画像設定ステップと、を含み、
    前記マーカ画像設定ステップでは、
    前記マーカ画像を前記撮像画像に重畳させて前記画面に表示し、
    前記検査範囲に含まれる前記三次元の位置情報に基づいて、前記検査範囲の三次元モデルを生成し、
    前記三次元モデルの投影画像を前記マーカ画像とする
    検査方法。
18. 立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する画像取得ステップと、
    前記撮像画像を画面に表示する表示ステップと、
    人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する検査範囲設定ステップと、
    前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う検査ステップと、
    前記撮像画像における前記検査範囲を示すマーカ画像を生成するマーカ画像設定ステップと、を含み、
    前記マーカ画像設定ステップでは、前記マーカ画像を前記撮像画像に重畳させて前記画面に表示し、
    前記マーカ画像は、三次元モデルの投影画像であり、
    前記マーカ画像設定ステップでは、前記検査対象が存在する三次元空間における前記検査対象の位置を示す座標情報に基づいて、前記三次元モデルの三次元座標を二次元座標に変換することで、前記画面に前記マーカ画像を表示する
    検査方法。
19. 立体形状の検査対象を撮像した画像であり、三次元の位置情報を含む撮像画像のデータを取得する画像取得ステップと、
    前記撮像画像を画面に表示する表示ステップと、
    人の操作によって、前記撮像画像において前記検査対象が写っている範囲を示す検査範囲を設定する検査範囲設定ステップと、
    前記検査範囲に画像認識処理を施すことで、前記検査対象の検査を行う検査ステップと、
    前記撮像画像における前記検査範囲を示すマーカ画像を生成するマーカ画像設定ステップと、を含み、
    前記マーカ画像設定ステップでは、前記マーカ画像を前記撮像画像に重畳させて前記画面に表示し、
    前記人の操作に応じて、前記画面に表示されている前記マーカ画像に対して、移動、回転、拡大、及び縮小の少なくとも１つの処理を施すマーカ処理ステップを更に含み、
    前記検査範囲設定ステップでは、前記マーカ画像に対して施された前記少なくとも１つの処理に応じて、前記検査範囲を修正する
    検査方法。
20. コンピュータシステムに請求項１５乃至１９のいずれか１つに記載の検査方法を実行させる
    プログラム。