JP7542846B2

JP7542846B2 - 情報処理システム

Info

Publication number: JP7542846B2
Application number: JP2020090199A
Authority: JP
Inventors: 信義武藤; 周雄今道
Original assignee: 株式会社ソーシャル・キャピタル・デザイン
Priority date: 2020-05-25
Filing date: 2020-05-25
Publication date: 2024-09-02
Anticipated expiration: 2040-05-25
Also published as: JP2021185644A

Description

構造物の損傷の状況をトレースするための情報処理システムに関する。とくに，構造物を適切に撮影し，その撮影した画像情報に基づいて，損傷の状況をトレース可能とするための画像情報に対する情報処理システムに関する。

ビルや道路の擁壁，橋梁などのさまざまなコンクリート構造物（以下，「構造物」という）は，経年劣化やほかの物体が衝突するなどのさまざまな事象によって，クラック（ひび割れ）や剥離などの損傷が発生する。構造物の損傷を放置は，損傷箇所から水が浸入して内部が腐食し，構造物自体の耐久性に影響を与える可能性があるなど，さまざまな問題の原因となる。そこで，構造物に損傷が発生した場合には，修復がなされることが求められる。

一方，すべての損傷をすぐに修復するのは，作業的にも費用的にも容易ではない。そのため，構造物に生じた損傷の状況を管理することで，許容限度を上回った，あるいは許容限度に近くなった損傷から修復をすることとなる。それを実現するため，構造物の損傷の状況，たとえばクラックの幅や長さ，剥離の大きさなどを適切に管理することが求められている。

従来，構造物の損傷状況の管理は目視を基本としている。たとえば，検査担当者が構造物を実際に目視し，クラックや剥離などの損傷を見つけ，その箇所をチョークなどでなぞり，それをカメラで撮影をする。そして，撮影した画像情報を見ながら，チョークでなぞった部分をＣＡＤ図面にトレースすることで，損傷状況の管理をしていた。なお，ＣＡＤ図面で損傷状況の管理をするのは，検査結果の公式資料としてＣＡＤ図面を作成することが求められているからである。

このような作業は，検査担当者の作業負担がきわめて重い。そのため，その作業の負担軽減を図るため，下記非特許文献１に示すようなシステムが開発されている。

首都高技術株式会社，"コンクリートのひび割れ点検支援システム"，[online]，インターネット＜ＵＲＬ：https://www.shutoko-eng.jp/technology/concrete.php＞

上述の非特許文献１のようなシステムを用いることで，構造物を撮影した画像情報からクラック等を適切に検出することはできる。しかし，クラックや剥離などの損傷を管理するためには，その幅や大きさを適切に把握しなければならず，そのためには，適切に構造物を撮影できていなければならない。すなわち，構造物の撮影対象面に対して正対した状態で撮影を行うことが求められる。

また橋梁などの巨大構造物の場合，一度の撮影で全体を撮影することはできないことも多い。そのため，構造物を複数回に分けて正対した位置から撮影し，それらを一枚の画像に合成している。しかし，巨大構造物を正対した位置から複数回撮影することはきわめて困難である。たとえばクレーンで構造物を撮影する場合，クレーンを設置できる場所に限界がある。

このことから，近年ではドローンなどのＵＡＶ（Unmanned Aerial Vehicle）を用いて，構造物の撮影対象面を撮影することが試みられているが，ＵＡＶを使った撮影では風や機体そのものの振動などによって，安定的に撮影を行うことができず，正対した位置から撮影することが困難である。正対した位置から安定的に撮影できず，撮影対象面とＵＡＶとの間の距離が変わるため，複数枚の画像情報を１枚の画像情報として合成する場合に，その精度が悪化することとなる。また，橋脚などを撮影する場合には，ＵＡＶでＧＰＳの位置情報を正確に取得できないことから，撮影に向いていない。また，空港にある構造物などについては，航空法などの諸法令の関係上，ＵＡＶを飛ばせない，あるいは事前の許可が必要になるなどの課題もある。

そこで本発明者は，上記課題に鑑み，撮影装置は固定した状態で構造物を撮影することで安定的に撮影をした上で，その撮影した画像情報に基づいて，損傷状況をトレース可能とするための画像情報に対する情報処理システムを発明した。

請求項１に記載の発明は，構造物の損傷状況を管理するための情報処理システムであって，前記情報処理システムは，固定的に設置し，少なくとも自動雲台とカメラとを備える撮影装置で撮影する向きを変更することによって撮影した複数の撮影画像情報の入力を受け付ける撮影画像情報入力受付処理部と，前記撮影画像情報に対する正置化処理を実行し，正置化画像情報を生成する正置化処理部と，隣接する前記正置化画像情報を合成し，前記撮影画像情報および／または前記正置化画像情報よりは低解像度の全体画像情報を生成する全体画像情報処理部と，前記全体画像情報に部分領域を設定し，前記部分領域に対応する前記正置化画像情報を合成することで部分画像情報を生成する部分画像情報処理部と，前記生成した部分画像情報ごとにトレース処理を行うトレース処理部と，を有しており，前記情報処理システムは，前記カメラから撮影対象面までの距離と，前記カメラの撮影範囲角とを用いて全体撮影可能範囲を算出し，前記算出した全体撮影可能範囲と，検出する損傷の精度と前記カメラの画素数とを用いて算出した個別撮影可能範囲とを用いて水平方向および垂直方向の撮影回数を算出し，前記算出した撮影回数と前記撮影範囲角とに基づいて，前記カメラの撮影する向きを変更する角度を算出し，前記撮影装置の自動雲台は，前記算出した角度を用いて，前記カメラの撮影方向を自動制御する，情報処理システムである。

本発明のように構成することで，固定した状態で構造物を撮影できるので，画像情報などを合成する際に精度よく合成することができる。また撮影した画像情報は高解像度であることが一般的であるから，それらを合成した全体画像情報を生成した場合，高解像度のままではデータ量が多くなってしまう。全体画像情報は部分領域を設定するために用いることから，部分領域の位置関係が特定できればよい。そのため，全体画像情報は高解像度である必要はないことから，データ量を減らすため低解像度にすることがよい。一方，部分画像情報はトレース処理に用いる。そのため，高解像度を維持する必要がある。したがって全体画像情報とは別に生成する部分画像情報については，高解像度のまま生成し，それに基づいてトレース処理が行われることがよい。
従来は，正対した状態で撮影をすることが一般的であったため，クレーンで撮影装置を移動しながら撮影をする，ＵＡＶで撮影をするなどの方法が用いられていた。しかしクレーンで撮影をすることが困難な場合や，ＵＡＶの不安定さなどの課題がある。そのため，本発明のように，従来のように撮影装置を移動させるのではなく，撮影装置を固定させて，撮影装置におけるカメラの撮影する向きを変更することで安定的に撮影を行うことが好ましい。
カメラの撮影する向きを変更するためには，本発明のように算出した角度を用いて，カメラの撮影方向を自動制御することが好ましい。
自動雲台を用いてカメラの向きを自動制御して撮影をすることは従来も行えたが，従来の方法では，撮影対象面に仮想的にＸ軸，Ｙ軸からなるＸＹ平面を設定し，Ｘ座標，Ｙ座標を設定することでカメラの向きの自動制御を行っていた。この場合，カメラの画角を元としてカメラの撮影する向きを変更する角度を計算しなければならない。しかし，本発明のように，撮影範囲角を設定し，それを用いてカメラの撮影方向の自動制御を行うことで，より簡便に自動制御を実行することができる。

上述の発明において，前記正置化処理部は，前記算出したカメラの撮影する向きを変更する角度を用いて特定した，前記撮影画像情報を撮影したときのカメラの傾きの角度を用いて，前記正置化処理を実行する，情報処理システムのように構成することができる。

上述の発明において，前記部分画像情報処理部は，前記撮影画像情報および／または前記正置化画像情報の解像度と同一またはほぼ同一である前記部分画像情報を生成する，情報処理システムのように構成することができる。

上述のように全体画像情報はデータ量の観点から撮影画像情報，正置化画像情報よりは低解像度とすることが好ましいが，部分画像情報は，トレース処理に用いるので高解像度のまま，少なくとも損傷の判別の精度に影響を与えない程度に高解像度とすることが好ましい。

上述の発明において，前記トレース処理部は，前記トレース処理を実行した部分画像情報をＣＡＤ図面に変換して記憶する，情報処理システムのように構成することがよい。

トレース処理を実行した部分画像情報は，ＣＡＤ図面に変換して記憶することで，検査結果の公式資料として用いることができる。

請求項１に記載の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現することができる。すなわち，コンピュータを，固定的に設置し，少なくとも自動雲台とカメラとを備える撮影装置で撮影する向きを変更することによって撮影した複数の撮影画像情報の入力を受け付ける撮影画像情報入力受付処理部，前記撮影画像情報に対する正置化処理を実行し，正置化画像情報を生成する正置化処理部，隣接する前記正置化画像情報を合成し，前記撮影画像情報および／または前記正置化画像情報よりは低解像度の全体画像情報を生成する全体画像情報処理部，前記全体画像情報に部分領域を設定し，前記部分領域に対応する前記正置化画像情報を合成することで部分画像情報を生成する部分画像情報処理部，前記生成した部分画像情報ごとにトレース処理を実行するトレース処理部，として機能させる情報処理プログラムであって，前記カメラから撮影対象面までの距離と，前記カメラの撮影範囲角とを用いて全体撮影可能範囲を算出し，前記算出した全体撮影可能範囲と，検出する損傷の精度と前記カメラの画素数とを用いて算出した個別撮影可能範囲とを用いて水平方向および垂直方向の撮影回数を算出し，前記算出した撮影回数と前記撮影範囲角とに基づいて，前記カメラの撮影する向きを変更する角度を算出し，前記撮影装置の自動雲台は，前記算出した角度を用いて，前記カメラの撮影方向を自動制御する，情報処理プログラムである。

請求項６に記載の発明は，構造物の撮影対象面を撮影する撮影装置であって，前記撮影装置は，カメラと前記カメラの撮影する向きを自動制御する自動雲台とを有しており，前記自動雲台は，前記撮影対象面の撮影回数と前記カメラの撮影範囲角とを用いて算出する前記カメラの撮影する向きを変更する角度によって，前記カメラの撮影する向きを自動制御し，前記カメラの撮影する向きを変更する前記角度は，前記カメラから前記撮影対象面までの距離と，前記カメラの前記撮影範囲角とを用いて全体撮影可能範囲を算出し，前記算出した全体撮影可能範囲と，検出する損傷の精度と前記カメラの画素数とを用いて算出した個別撮影可能範囲とを用いて水平方向および垂直方向の撮影回数を算出し，前記算出した撮影回数と前記撮影範囲角とに基づいて算出する，撮影装置である。

本発明の撮影装置とすることによって，構造物の撮影対象面を安定的に撮影をすることができる。そのため，撮影した画像情報を合成する際に，精度よく合成することができる。
上述の発明と同様に，本発明のように，撮影範囲角を設定し，それを用いてカメラの撮影方向の自動制御を行うことで，より簡便に自動制御を実行することができる。

撮影装置におけるカメラの撮影方向の自動制御は，本発明のプログラムを用いて行うことが好ましい。すなわち，コンピュータに，カメラから撮影対象面までの距離と，前記カメラの撮影範囲角とを用いて全体撮影可能範囲を算出する手順，前記算出した全体撮影可能範囲と，検出する損傷の精度と前記カメラの画素数とを用いて算出した個別撮影可能範囲とを用いて水平方向および垂直方向の撮影回数を算出する手順，前記算出した撮影回数と前記撮影範囲角とに基づいて，前記カメラの撮影する向きを変更する角度を算出する手順，とを実行させるプログラムのように構成することができる。

本発明の情報処理システムを用いることで，構造物を適切に撮影し，その撮影した画像情報に基づいて，損傷状況をトレースが可能となる。

本発明の情報処理システムの全体の構成の一例を模式的に示すブロック図である。本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。本発明の情報処理システムにおける全体の処理プロセスの一例を示すフローチャートである。本発明の情報処理システムにおける構造物の撮影の処理プロセスの一例を示すフローチャートである。本発明の情報処理システムにおける全体画像生成処理の処理プロセスの一例を示すフローチャートである。本発明の情報処理システムにおける部分画像生成処理の処理プロセスの一例を示すフローチャートである。本発明の情報処理システムにおけるトレース処理の処理プロセスの一例を示すフローチャートである。撮影装置による構造物の撮影を模式的に示す図である。撮影条件設定画面の一例を示す図である。水平方向の撮影条件を設定する際の処理の一例を模式的に示す図である。垂直方向の撮影条件を設定する際の処理の一例を模式的に示す図である。設定した撮影条件に基づいて自動雲台がカメラを自動的に制御し，構造物の撮影対象面を撮影する場合を模式的に示す図である。操作画面の一例を示す図である。処理対象とする撮影画像情報が記憶されている領域の入力を受け付ける画面の一例を示す図である。全体画像情報の生成処理が終了した場合の画面の一例を模式的に示す図である。全体画像情報を部分領域に分割した画面の一例を模式的に示す図である。操作画面の一例を模式的に示す図である。部分画像情報にクラックに対するトレース処理をした場合の一例を模式的に示す図である。部分画像情報にクラックおよび剥離などの損傷に対するトレース処理をした場合の一例を模式的に示す図である。

本発明の情報処理システム１の全体の構成の一例のブロック図を図１に示す。また，本発明の情報処理システム１で用いるコンピュータのハードウェア構成の一例のブロック図を図２に示す。

情報処理システム１は，撮影装置２と，撮影装置２で撮影した画像情報（撮影画像情報）の入力を受け付け，撮影画像情報に対する処理を実行する作業端末３とを用いる。

撮影装置２は構造物を自動的に撮影する装置であって，三脚などの支持具２２に自動雲台２１が取り付けられ，その自動雲台２１にカメラ２０が固定される。そして，あらかじめ定められた制御にしたがって，自動雲台２１がカメラ２０の撮影方向を自動的に制御し，構造物の撮影対象面を撮影する。たとえば三脚に設置したパンチルト雲台に望遠レンズを装着した８Ｋカメラを固定し，あらかじめ定められた撮影範囲角にしたがい，パンチルト雲台が８Ｋカメラの撮影方向を上下左右方向に変化させて撮影を行う。撮影装置２による構造物の撮影対象面の撮影を模式的に示すのが図８である。

撮影装置２における自動雲台２１やカメラ２０の制御は，所定のコンピュータによって制御される。本明細書では作業端末３と兼ねる場合を説明するが，異なるコンピュータによって制御されてもよい。また自動雲台２１に自らを制御するコンピュータが内蔵されていてもよいし，カメラ２０が自動雲台２１を制御してもよい。また，撮影を行う者が利用するスマートフォンなどの可搬型通信端末によって自動雲台２１を制御してもよい。

撮影装置２は，構造物の撮影対象面を複数回に分けて撮影し，それぞれ撮影した撮影画像情報を作業端末３に読み込ませる。撮影装置２による構造物の撮影の自動制御の処理は後述する。

作業端末３は，撮影装置２で撮影した撮影画像情報に対する処理を実行するコンピュータである。

本発明で用いるコンピュータ（可搬型通信端末を含む）は，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，ディスプレイなどの表示装置７２と，情報の入力を行う入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報の通信をする通信装置７４とを有している。なお，コンピュータがタッチパネルディスプレイを備えている場合には表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

情報処理システム１におけるコンピュータは，一台のコンピュータであってもよいし，その機能が複数のコンピュータによって実現されていてもよい。この場合のコンピュータとして，たとえばクラウドサーバであってもよい。

本発明の情報処理システム１における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。

作業端末３は，撮影画像情報入力受付処理部３０と正置化処理部３１と全体画像情報処理部３２と部分画像情報処理部３３とトレース処理部３４と画像情報記憶部３５とを有する。

撮影画像情報入力受付処理部３０は，撮影装置２で撮影した構造物の撮影画像情報の入力を受け付け，後述する画像情報記憶部３５に記憶させる。撮影装置２では，構造物を撮影する際に，撮影画像情報に識別情報を付している。したがってその識別情報も合わせて入力を受け付け，画像情報記憶部３５に記憶させる。なお，識別情報の入力を受け付けていない場合には，撮影画像情報入力受付処理部３０がそれを付して，画像情報記憶部３５に記憶させてもよい。

正置化処理部３１は，撮影画像情報入力受付処理部３０で入力を受け付けた画像情報について，正置化処理を実行する。正置化処理とは，撮影画像情報における撮影角度および距離差によって生じる歪みを，幾何学的変換処理によりあたかも正対して撮影したかのように変換する処理である。幾何学的変換処理としては，いわゆる透視変換処理を用いることができる。正置化処理部３１は，撮影画像情報に写っている構造物を，正対した位置から撮影した状態の画像情報（正置化画像情報）として生成することができる。

全体画像情報処理部３２は，分割して撮影した構造物の撮影対象面について，各正置化画像情報に基づいて一枚の全体画像情報に合成する処理を実行する。具体的には隣接する箇所を撮影した撮影画像情報に対応する正置化画像情報の重畳範囲同士の共通する特徴点を特定し，その特徴点同士を合わせることで，隣接する箇所を撮影した正置化画像情報を合成する。この合成処理を各正置化画像情報について実行することで，構造物の撮影対象面を撮影した一枚の画像情報（全体画像情報）を生成する。

全体画像情報処理部３２は，正置化画像情報同士を合成する場合，その解像度を撮影画像情報，正置化画像情報よりも低解像度に変換してもよい。低解像度に変換する場合には，隣接する正置化画像情報を合成する場合に，低解像度に変換した正置化画像情報同士を合成してもよいし，全体画像情報を生成したあとに全体画像情報を低解像度に変換してもよい。

部分画像情報処理部３３は，全体画像情報処理部３２で生成した全体画像情報を，あらかじめ定めた大きさまたはあらかじめ定めた分割数に基づいて，全体画像情報に部分領域を設定し，その部分領域ごとの画像情報（部分画像情報）を，各正置化画像情報に基づいて合成する処理を実行する。部分領域の大きさはＣＡＤ図面の大きさ（たとえば，Ａ２サイズ，Ａ３サイズなど）であるとよい。

部分画像情報処理部３３は，具体的には全体画像情報において設定した部分領域の座標に基づいて，当該部分領域に該当する正置化画像情報を特定する。特定した正置化画像情報はいずれも隣接する画像情報であるので，全体画像情報処理部３２の処理と同様に，隣接する箇所を撮影した正置化画像情報の重畳範囲同士の共通する特徴点を特定し，その特徴点同士の位置を合わせることで，隣接する正置化画像情報を一枚の部分画像情報として合成する。また，部分画像情報処理部３３は，隣接する正置化画像情報を合成して生成した部分画像情報のうち，部分領域の範囲外あるいは部分領域から所定範囲より外側の領域についてはトリミングあるいは削除などをしてもよい。

部分画像情報の解像度は，撮影画像情報，正置化画像情報と同一の解像度またはほぼ同一（クラック等の損傷の判別の精度に影響を与えない程度に同一）の解像度であることが好ましい。

トレース処理部３４は，部分画像情報に対する検査担当者による損傷へのトレースの入力を受け付け，当該トレースに基づいて損傷状況を算出する。具体的には部分画像情報にあるクラック部分についてそれをなぞる入力を受け付け，また剥離部分についてその箇所を囲う入力などを受け付ける。なお，トレースの入力は検査担当者が行うのではなく，公知技術などを用いて自動的に検出してもよい。

トレースによる入力の場合には，クラックの幅に沿って入力するトレースの線の幅が変更可能となっており，これによってクラックの幅が特定できる。またクラックの長さは，公知技術によりトレースした線の距離が算出可能であるので，その距離をクラックの長さとして算出できる。また剥離部分などの囲われた領域については，囲われた領域についての面積が公知技術により算出可能であるので，その面積を剥離部分などの面積として算出できる。トレースした線の距離，囲われた領域の面積の算出などは，たとえばマイクロソフト社が提供するMicrosoft Office Visioなどに搭載されている機能により実現することができる。

トレース処理部３４は，部分画像情報にトレース処理がされた画像情報について，ＣＡＤ図面に変換して記憶する。また部分画像情報に対応づけて，トレース処理が完了したか否かを示す情報が記憶されている。最初は「未了」などのトレース処理が完了していないことを示す情報が対応づけられており，検査担当者による「完了」の操作を受け付けた場合には，「完了」などのトレース処理が完了したことを示す情報が対応づけられる。

画像情報記憶部３５は，撮影画像情報，正置化処理部３１，全体画像情報，部分画像情報，トレース処理された画像情報，ＣＡＤ図面などを記憶しており，これらはいずれも識別情報などにより対応づけて記憶されていることが好ましい。また，部分画像情報にはトレース処理が完了したか否かを示す情報が記憶されている。

つぎに本発明の情報処理システム１を用いる処理プロセスの一例を図３乃至図７のフローチャートを用いて説明する。

まず構造物の撮影対象面を連続して自動的に撮影する処理を説明する（Ｓ１００）。構造物の撮影対象面には，撮影装置２による撮影の原点となるマーカ２３を設ける。マーカ２３はどのようなものであってもよく，撮影をしたときに，撮影画像情報にマーカ２３の領域が写るようなものであればよい。マーカ２３は貼付や載置などのほか，撮影対象面にチョーク等でマーキングしてもよい。

このマーカ２３が含まれる位置を原点とし，後述する撮影条件にしたがって，逐次，撮影装置２による構造物の撮影対象面を撮影する。

撮影装置２においては，自動雲台２１を制御するための撮影条件の設定を受け付ける（Ｓ２００）。撮影条件の設定としては，たとえば図９に示すような撮影条件設定画面から撮影条件の入力を受け付け，それが撮影装置２に送られ，この設定条件で自動雲台２１が制御され，カメラ２０による撮影が行われる。

撮影条件設定画面では，撮影対象面までの距離，レンズの焦点距離，上下左右方向の撮影範囲角，隣接する撮影画像情報との重畳割合，撮影開始時のカメラ２０のレンズを移動させる方向，撮影画像情報を出力するフォルダなどの設定を行う。

ここで撮影対象面までの距離とは，撮影装置２のカメラ２０のレンズから撮影対象面までの最短距離であり，巻き尺やレーザ測距計などによって計測をした距離でよい。レンズの焦点距離は，撮影装置２におけるカメラ２０が使用するレンズの焦点距離である。レンズの焦点距離によって画角を特定することができる。またズームレンズを使用する場合には，撮影時に設定した焦点距離でよい。上下左右方向の撮影範囲角とは，自動雲台２１に装着したカメラ２０を正面に向けた状態を中心として，左方向，右方向，上方向，下方向に最大で傾ける角度である。

撮影条件を設定する際の処理を模式的に図１０および図１１に示す。図１０は水平方向の撮影条件を設定する際の処理であり，図１１は垂直方向の撮影条件を設定する際の処理を示している。

情報処理システム１における作業端末３では，検出するクラックなどの損傷の精度（クラックの幅など）とカメラ２０の画素数とから水平方向，垂直方向への１回の撮影での撮影可能範囲（個別撮影可能範囲）ｗ，ｖを算出する。また水平方向，垂直方向の個別撮影可能範囲と画角とから構造物の撮影対象面までの距離を算出する。算出した個別撮影可能範囲ｗ，ｖを用いて，水平方向，垂直方向での重畳範囲を算出する。そして，カメラ２０から撮影対象面までの距離と水平方向，垂直方向へカメラ２０を傾ける角度である撮影範囲角とを用いて全体の撮影可能範囲（全体撮影可能範囲）Ｗ，Ｖを算出し，全体撮影可能範囲Ｗ，Ｖと，個別撮影可能範囲ｗ，ｖと，重畳範囲とを用いて水平方向，垂直方向への撮影回数を算出する。

具体的には以下のような処理を行う。構造物の損傷として０．１７５ｍｍのクラックを検出しようとする精度の場合であって，カメラ２０の水平方向の画素数が８，０００，垂直方向の画素数が５，５０４，水平方向の画角αが６．９度（ｔａｎ３．４５°＝０．０６０２９），垂直方向の画角βが４．６度（ｔａｎ２．３°＝０．０４０１６）であるとする。

このとき，水平方向の個別撮影可能範囲ｗは１，４００ｍｍ（＝０．１７５ｍｍ×８，０００）となる。また撮影対象物に対して確保すべき距離Ｌ１は１１，６１０ｍｍ（＝７００÷０．０６０２９）となる。そして画像の水平方向の重畳範囲を３０％とする場合，重畳範囲は４２０ｍｍ（＝１，４００ｍｍ×０．３）となる。

ここで，水平方向（左右方向）へカメラ２０を傾ける最大角を２２度（ｔａｎ２２°＝０．４０４０２６２２６）として設定の入力を受け付けていると，水平方向の全体撮影可能範囲Ｗは９．３６ｍ（＝１１．６×０．４０４０２６２２６×２）となる。したがって，水平方向には１０回（＝９．３６÷（１．４－０．４２）＋１）の撮影を行えばよいこととなる。

同様に，垂直方向の個別撮影可能範囲ｖは９６３ｍｍ（＝０．１７５×５，５０４）となる。また撮影対象物に対して確保すべき距離Ｌ２は，１１，９８９ｍｍ（＝４８１．５÷０．０４０１６）となる。そして画像の垂直方向の重畳範囲を３０％とする場合，重畳範囲は２８８ｍｍ（＝９６３ｍｍ×０．３）となる。Ｌ１＜Ｌ２なので，Ｌ１の値を撮影距離として採用する。

ここで垂直方向（上下方向）へカメラ２０を傾ける最大角を２２度（ｔａｎ２２°＝０．４０４０２６２２６）として設定の入力を受け付けており，カメラ２０を最大３ｍの三脚に設置した自動雲台２１に設置したとすると，垂直方向の全体撮影可能範囲Ｖは約７．６８ｍ（＝３ｍ＋１１．６ｍ×０．４０４０２６２２６）となる。したがって，垂直方向には１３回（＝７．６８÷（０．９６３－０．２８８）＋１）の撮影を行えばよいこととなる。

以上のように設定した撮影条件にしたがって撮影装置２の自動雲台２１がカメラ２０を傾けて撮影を自動的に行い，構造物の撮影対象面を自動的に撮影する（Ｓ２２０）。

上述の例の場合，垂直方向については，カメラ２０を下方向に２２度傾けた状態から３．３８°ごと（＝２２°×２÷１３）に上方向または下方向に傾きを変化させながら１回ずつ撮影を行い，水平方向については，カメラ２０を左方向に２２度傾けた状態から４．４°（＝２２°×２÷１０）に左方向または右方向に傾きを変化させながら１回ずつ撮影を行うように制御を行うこととなる。

検査担当者は，画像情報から判別したいクラックなどの幅に基づいて個別撮影可能範囲ｗ，ｖを算出し，その値と焦点距離（または画角）に基づいて撮影距離Ｌを算出する。なお，精度の情報，画素数，焦点距離または画角の情報などの入力を受け付けることで，撮影距離Ｌの算出を作業端末３で行ってもよい。そして，図９の撮影条件設定画面に撮影面までの距離，レンズ焦点距離，上下左右方向の撮影範囲角，重畳割合，進行方向，出力フォルダなどの入力を行う。画角はレンズ焦点距離に基づいて算出可能であるから，それぞれ入力された値に基づいて，上述の各演算処理を実行し，水平方向，垂直方向の撮影回数および変化させる傾きを算出する。この傾きに基づいて，自動雲台２１はカメラ２０の傾きを制御し，１回ずつ撮影を行う（Ｓ２１０）。これを模式的に示すのが図１２である。

図１２では，自動雲台２１がカメラ２０を初期状態の位置から原点となるマーカ２３が写る位置まで，たとえば左方向に２２度，下方向に２２度までカメラ２０を傾ける。そしてこの位置を原点として撮影し，原点となる最初の撮影画像情報を取得する。そして，自動雲台２１は，その位置からカメラ２０を上方向に３．３８度傾ける制御をして撮影をし，２枚目の撮影画像情報を取得する。さらに，自動雲台２１は，カメラ２０を上方向に３．３８度傾ける制御をして撮影をし，３枚目の撮影画像情報を取得する。この操作を垂直方向に１３枚の撮影画像情報が撮影できるまで実行する。

原点から垂直方向に１３枚目まで撮影すると，自動雲台２１はカメラ２０を右方向に４．４度傾ける制御をして撮影をし，１４枚目の撮影画像情報を取得する。そして，自動雲台２１はカメラ２０を下方向に３．３８度傾ける制御をして撮影をし，１５枚目の撮影画像情報を取得する。同様の処理を，垂直方向に１３枚の撮影画像情報が撮影できるまで実行する。

垂直方向に１３枚の撮影画像情報を撮影すると，自動雲台２１はカメラ２０を右方向に４．４度傾ける制御をして撮影をし，さらに撮影画像情報を取得する。以後，同様の処理を反復し，水平方向に１０，垂直方向に１３の合計１３０枚の撮影画像情報を撮影する。

ここで撮影した撮影画像情報について，撮影装置２は，それぞれの撮影画像情報を識別するための識別情報を付しておくことが好ましい。この識別情報としては，撮影をした順序にナンバリングをしてもよいし，撮影日時情報を用いることもできる。また，水平方向を行，垂直方向を列とみなし，１３×１０の２次元配列として識別情報を付してもよい。２次元配列として識別情報を管理すると，後述の画像情報における隣接関係の特定を容易にすることができる。

さらに，それぞれの撮影画像情報について，その撮影画像情報を撮影した際の角度を対応づけて記憶しておく。この角度は，撮影範囲角とその撮影画像情報を撮影するまでに傾けたカメラ２０の角度とを用いて特定することができる。たとえば１枚目の撮影画像情報であれば，撮影範囲角そのもの，すなわち，下方向に２２度，左方向に２２度傾けた状態のものである。２枚目の撮影画像情報であれば，前回の撮影時の角度から１回上方向に３．３８度傾けたあとの角度，すなわち下方向に１８．６２度（＝２２度－３．３８度），左方向に２２度傾けた状態となる。以後，同様に垂直方向に１３枚撮影すると，１４枚目は自動雲台２１が右方向に４．４度傾けられるので，上方向に２２度，左方向に１７．６度（２２度－４．４度）傾けた状態となる。そして１５枚目は上方向に１８．６２度（＝２２度－３．３８度），左方向に１７．６度傾けた状態となる。

撮影装置２で構造物の撮影対象面を撮影すると，作業端末３の撮影画像情報入力受付処理部３０で撮影画像情報の入力を受け付け，それを画像情報記憶部３５に記憶する（Ｓ２２０）。撮影画像情報は，逐次，撮影装置２から作業端末３に送られてもよいし，構造物の撮影対象面の撮影が終了した後，まとめて撮影装置２から作業端末３に送られてもよい。

以上のような処理を実行することで，構造物の撮影対象面を，固定点に据えた撮影装置２において，カメラ２０の角度を自動雲台２１にてプログラム制御で自動的かつ連続的に変えながら撮影し，一連の撮影画像情報を取得することができる。

なお，自動雲台２１の制御方法，撮影順序は上述に限られず，撮影対象面に合わせて適宜，変更することができる。

画像情報記憶部３５に記憶した識別情報と撮影画像情報とは対応づけて記憶されている。また，識別情報と各撮影画像情報の隣接関係とを画像情報記憶部３５に記憶させるとよい。撮影画像情報の隣接関係は，撮影装置２における自動雲台２１の制御に基づいて特定することができる。たとえば，１３×１０の２次元配列として識別情報が設定されている場合には，配列の要素から隣接関係を特定することができる。

入力を受け付けた画像情報には，撮影角度および距離差によって生じる歪みがある。そこで，それらに対して幾何学的変形，たとえば透視変換処理を実行することで，正置化（正対して撮影した状態に撮影画像情報を変形）する正置化処理を実行する（Ｓ１１０）。透視変換処理で用いる撮影角度は，上述の各画像情報ごとのカメラ２０の傾きの情報を用いることによって行える。

幾何学的変形として透視変換処理を用いる場合，公知の透視変換処理を用いることができる。たとえば以下のような処理を撮影画像情報に対して実行することで実現できる。

まずｘ軸周りの回転を示す行列Ｒｘについて，数１により算出する。ここでｘ，ｙはそれぞれ変換前の画像情報における座標，ｚはレンズから変換前の撮影面までの距離，ｘ’，ｙ’はそれぞれ変換後の画像情報における座標，ｚ’はレンズから変換前の撮影面までの距離，θｘはレンズの中心と画像情報の中心と結ぶ線に対するｘ軸方向の傾きである。θｘとして，当該透視変換処理を行う撮影画像情報を撮影したときのカメラ２０のｘ軸方向の傾きの角度を用いることがよい。
（数１）

同様に，ｙ軸周りの回転を示す行列Ｒｙについて，数２により算出する。ここで，θｙはレンズの中心と画像情報の中心と結ぶ線に対するｙ軸方向の傾きである。θｙとして，当該透視変換処理を行う撮影画像情報を撮影したときのカメラ２０のｙ軸方向の傾きの角度を用いることがよい。
（数２）

また，レンズから撮影面までの距離を変換するための行列Ｔについて，数３により算出する。ここでｔｘ，ｔｙ，ｔｚは各軸に対して平行移動する移動量である。
（数３）

さらに，倍率を調整するための行列Ｓについて，数４により算出する。ここでｓｘ，ｓｙ，ｓｚは各軸の拡大／縮小の倍率である。
（数４）

正置化処理部３１は，これらの各行列Ｒｘ，Ｒｙ，Ｔ，Ｓに基づいて，透視変換行列Ｍ＝Ｒｘ×Ｒｙ×Ｓ×Ｔを演算することで算出する。このように算出した透視変換行列Ｍを用いて，変換後の画像情報の座標は数５により算出できる。
（数５）

正置化処理部３１における幾何学的変形，たとえば透視変換処理は上述に限定されず，他の方法によって実現されてもよい。また透視変換処理以外の方法によって実現してもよく，撮影画像情報について，あたかも正対して撮影したかのような状態に変形する正置化処理を実行できれば如何なる方法を用いてもよい。

正置化処理部３１は，正置化処理を実行した撮影画像情報（正置化画像情報）を画像情報記憶部３５に記憶させる。画像情報記憶部３５に記憶させる際には，撮影画像情報の識別情報に対応づけるとよい。

以上のように正置化画像情報を生成すると，全体画像情報処理部３２は，全体画像情報生成処理を実行する（Ｓ１２０）。たとえば，検査担当者が所定の操作を行うことで図１３に示す操作画面を表示し，「分割図面生成」を選択することで表示される図１４に示す画面から，処理対象とする撮影画像情報が記憶されている領域（画像情報記憶部３５における記憶領域）の入力を受け付ける。一例として，図１４に示す画面から，部分画像情報が記憶されているフォルダ，ＣＡＤ図面のサイズに合わせた分割数または１マスの横サイズなどを入力する。

具体的には，全体画像情報処理部３２は，識別情報に対応する隣接関係に基づいて，互いに隣接する正置化画像情報を特定する（Ｓ３００）。そして，隣接する正置化画像情報において，互いに重畳する範囲，たとえば上述の撮影条件で設定した３０％の領域内で共通する特徴点をそれぞれ特定し，その特徴点同士を合わせることで，隣接する正置化画像情報を合成していく。この処理をすべての正置化画像情報に対して実行し，一枚の全体画像情報を生成する（Ｓ３１０）。これによって，分割して撮影された撮影画像情報に基づく正置化画像情報を，一枚の全体画像情報として生成することができる。上述の例の場合，水平方向に１０，垂直方向に１３の合計１３０枚の正置化画像情報を一枚の画像情報にすることができる。また全体画像情報を生成する際には，その解像度を撮影画像情報，正置化画像情報よりも低解像度に変換し，画像情報記憶部３５に記憶させる（Ｓ３２０）。これによって，全体画像情報のデータ量を低減することができる。図１５に全体画像情報の生成処理が終了した場合の画面の一例を模式的に示す。なお，図１５では水平方向に５枚，垂直方向に６枚の撮影画像情報に基づく正置画像情報を用いて全体画像情報を生成した場合を示している。図１５の右側の表示領域に表示する画像情報が，生成された全体画像情報である。

そして部分画像情報処理部３３は，部分画像情報生成処理を実行する（Ｓ１３０）。具体的には，部分画像情報処理部３３は，全体画像情報処理部３２で生成した全体画像情報を読み込み（Ｓ４００），あらかじめ定められたサイズ（大きさ）に全体画像情報の領域（部分領域）を設定する（Ｓ４１０）。図１６に全体画像情報に部分領域を設定した画面の一例を示す。部分領域には，それぞれの部分領域を識別するための識別情報が付されており，図１６では水平方向に４，垂直方向に５ずつ部分領域が形成され，Ａ－１からＡ－５，Ｂ－１からＢ－５，Ｃ－１からＣ－５，Ｄ－１からＤ－５の識別情報が付与された場合を示している。

そして，全体画像情報における各部分領域について，部分画像情報を生成する（Ｓ４２０）。具体的には，対象とする部分領域の全体画像情報における座標に基づいて，当該部分領域に該当する正置化画像情報を特定する。特定した正置化画像情報のうち，隣接する正置化画像情報について，重畳する範囲，たとえば上述の撮影条件で設定した３０％の領域内で共通する特徴点をそれぞれ特定し，その特徴点同士を合わせることで，隣接する正置化画像情報を合成していく。これによって，部分領域における部分画像情報を生成することができる。そして，生成した部分画像情報を，撮影画像情報，正置化画像情報と同一の解像度で（解像度を落とすことなく），画像情報記憶部３５に記憶させる。部分画像情報は，部分領域の識別情報に対応づけて画像情報記憶部３５に記憶させるとよい。

上述の場合，部分画像情報処理部３３は，Ａ－１の部分領域に該当する正置化画像情報に基づいて合成した部分画像情報（Ａ－１の部分領域の部分画像情報），Ａ－２の部分領域に該当する正置化画像情報に基づいて合成した部分画像情報（Ａ－２の部分領域の部分画像情報），Ｂ－３の部分領域に該当する正置化画像情報に基づいて合成した部分画像情報（Ｂ－３の部分領域の部分画像情報）など，各部分領域に対応する部分画像情報をそれぞれ生成し，画像情報記憶部３５に記憶させる。この際に，部分画像情報にはトレース処理を実行してＣＡＤ図面に変換したかの状況を示す情報が対応づけて記憶されており，最初は「未了」などの情報が対応づけて記憶される。

なお，部分画像情報処理部３３は，各操作ごとに，部分領域ごとの部分画像情報を生成してもよいし，一括してすべての部分領域についての部分画像情報を生成してもよい。

前者の場合には，たとえば部分画像情報を生成する部分領域の選択を受け付け，図１６に示す画面から「エキスポート（単）」の選択を受け付けることで，当該選択された部分領域に該当する正置化画像情報を特定し，特定した正置化画像情報を合成することで当該選択された部分領域に該当する部分画像情報を生成する。そして画像情報記憶部３５に記憶させる。

後者の場合には，図１６に示す画面から「エキスポート（全分割）」の選択を受け付けるとこで，当該全体画像情報に構成されたすべての部分領域の部分画像情報を，上述の各処理を実行することにより生成する。そして画像情報記憶部３５に記憶させる。

前者の場合には特定の部分領域の部分画像情報のみをトレース処理したい場合に有効であり，後者の場合にはすべての部分領域の部分画像情報をトレース処理したい場合に有効である。

画像情報記憶部３５に記憶された部分画像情報に対してトレース処理を実行する（Ｓ１４０）。具体的には，所定の操作を行うことで，図１７に示す操作画面からトレースを行う部分画像情報を選択し，その選択をトレース処理部３４で受け付けることで，トレース処理部３４は画像情報記憶部３５に記憶した部分画像情報のうち，選択された部分画像情報を読み込む（Ｓ５００）。図１７の場合，どの構造物の撮影対象面かを，画像情報記憶部３５に記憶する部分画像情報の記憶領域の情報（たとえばフォルダ名など）に基づいて表示する表示領域（第１の表示領域）と，その表示領域で選択された撮影対象面に対する部分画像情報について，トレース処理が完了しているか否かのステータスを部分画像情報ごとに表示する表示領域（第２の表示領域）とがある。

第１の表示領域では，どの構造物の撮影対象面かを画像情報記憶部３５のフォルダ名などに基づいて表示し，トレース処理を実行する構造物の撮影対象面を選択する。これが選択されると，当該フォルダに記憶されている部分画像情報を画像情報記憶部３５から抽出し，トレース処理が完了したか否かの状況とともに第２の表示領域に表示される。トレース処理が完了していない部分画像情報を選択し，「分割図面を開く」などが選択されることで，トレース処理部３４は，画像情報記憶部３５に記憶した当該フォルダの当該部分画像情報を抽出し，表示をする。

そして表示された部分画像情報において発見したクラックや剥離などの損傷に対してトレースをすることで，損傷に対するトレースの入力を受け付ける（Ｓ５１０）。トレース処理部３４は，部分画像情報に対するトレースの入力を受け付けると，クラックの長さ，剥離部分の面積などを算出し（Ｓ５２０），部分画像情報におけるトレースに対応づけて表示をする。この一例を模式的に示すのが図１８および図１９である。図１８ではクラックに対するトレースをした場合を示しており，図１９ではクラックおよび剥離などの損傷に対するトレースをした場合を示している。たとえばクラックのトレースを行う場合，「損傷作図」のタブから「ペン図形選択」を選択することで，クラックのトレースを行うことができる。この際に，たとえばマウスをクリックするなどによって，トレース線の幅を太くまたは細く変更することができ，トレース線の幅がクラックと同一もしくはほぼ同一となった段階でクラックのトレースを行う。このトレースによって，トレース処理部３４は，損傷の種類としてのクラックと，クラックの幅，長さを算出することができる。また剥離，鉄筋露出，遊離石灰，漏水，うきなどの一定の面積がある損傷に対するトレースでは，「分割図面」のタブから損傷の状況を選択した上で，当該損傷の箇所をトレースする。これによって，損傷の種類と面積などを算出することができる。

以上のように部分画像情報においてすべての損傷のトレースを行うと，所定の操作が実行されることで，各損傷を識別する識別情報（損傷番号など）が損傷ごとに付され，損傷の情報とともに，部分画像情報に対応づけて記憶される（Ｓ５３０）。

そして画面から，「保存（完了）」を選択するなどすることで，損傷がトレースされた部分画像情報がＣＡＤ図面に変換され（Ｓ５４０），画像情報記憶部３５に記憶される。そして部分画像情報に対して，作業状況が「完了」として対応づけて画像情報記憶部３５に記憶される。

以上のような処理を実行することで，部分画像情報ごとにトレースがされたＣＡＤ図面を作成することができる。

本発明は，本発明の趣旨を逸脱しない範囲において，適宜，設計変更が可能である。また処理は一例であり，その処理を異なる順番で実行することも可能である。さらに，画面の表示についても適宜，変更可能である。また，すべての機能を備えずとも，一部の機能のみを備えるのであってもよい。

本発明の情報処理システム１を用いることで，構造物を適切に撮影し，その撮影した画像情報に基づいて，損傷状況をトレースが可能となる。

１：情報処理システム
２：撮影装置
３：作業端末
２０：カメラ
２１：自動雲台
２２：支持具
２３：マーカ
３０：撮影画像情報入力受付処理部
３１：正置化処理部
３２：全体画像情報処理部
３３：部分画像情報処理部
３４：トレース処理部
３５：画像情報記憶部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

Claims

構造物の損傷状況を管理するための情報処理システムであって，
前記情報処理システムは，
固定的に設置し，少なくとも自動雲台とカメラとを備える撮影装置で撮影する向きを変更することによって撮影した複数の撮影画像情報の入力を受け付ける撮影画像情報入力受付処理部と，
前記撮影画像情報に対する正置化処理を実行し，正置化画像情報を生成する正置化処理部と，
隣接する前記正置化画像情報を合成し，前記撮影画像情報および／または前記正置化画像情報よりは低解像度の全体画像情報を生成する全体画像情報処理部と，
前記全体画像情報に部分領域を設定し，前記部分領域に対応する前記正置化画像情報を合成することで部分画像情報を生成する部分画像情報処理部と，
前記生成した部分画像情報ごとにトレース処理を行うトレース処理部と，を有しており，
前記情報処理システムは，
前記カメラから撮影対象面までの距離と，前記カメラの撮影範囲角とを用いて全体撮影可能範囲を算出し，
前記算出した全体撮影可能範囲と，検出する損傷の精度と前記カメラの画素数とを用いて算出した個別撮影可能範囲とを用いて水平方向および垂直方向の撮影回数を算出し，
前記算出した撮影回数と前記撮影範囲角とに基づいて，前記カメラの撮影する向きを変更する角度を算出し，
前記撮影装置の自動雲台は，
前記算出した角度を用いて，前記カメラの撮影方向を自動制御する，
ことを特徴とする情報処理システム。
前記正置化処理部は，
前記算出したカメラの撮影する向きを変更する角度を用いて特定した，前記撮影画像情報を撮影したときのカメラの傾きの角度を用いて，前記正置化処理を実行する，
ことを特徴とする請求項１に記載の情報処理システム。
前記部分画像情報処理部は，
前記撮影画像情報および／または前記正置化画像情報の解像度と同一またはほぼ同一である前記部分画像情報を生成する，
ことを特徴とする請求項１または請求項２に記載の情報処理システム。
前記トレース処理部は，
前記トレース処理を実行した部分画像情報をＣＡＤ図面に変換して記憶する，
ことを特徴とする請求項１から請求項３のいずれかに記載の情報処理システム。
コンピュータを，
固定的に設置し，少なくとも自動雲台とカメラとを備える撮影装置で撮影する向きを変更することによって撮影した複数の撮影画像情報の入力を受け付ける撮影画像情報入力受付処理部，
前記撮影画像情報に対する正置化処理を実行し，正置化画像情報を生成する正置化処理部，
隣接する前記正置化画像情報を合成し，前記撮影画像情報および／または前記正置化画像情報よりは低解像度の全体画像情報を生成する全体画像情報処理部，
前記全体画像情報に部分領域を設定し，前記部分領域に対応する前記正置化画像情報を合成することで部分画像情報を生成する部分画像情報処理部，
前記生成した部分画像情報ごとにトレース処理を実行するトレース処理部，として機能させる情報処理プログラムであって，
前記カメラから撮影対象面までの距離と，前記カメラの撮影範囲角とを用いて全体撮影可能範囲を算出し，
前記算出した全体撮影可能範囲と，検出する損傷の精度と前記カメラの画素数とを用いて算出した個別撮影可能範囲とを用いて水平方向および垂直方向の撮影回数を算出し，
前記算出した撮影回数と前記撮影範囲角とに基づいて，前記カメラの撮影する向きを変更する角度を算出し，
前記撮影装置の自動雲台は，
前記算出した角度を用いて，前記カメラの撮影方向を自動制御する，
ことを特徴とする情報処理プログラム。
構造物の撮影対象面を撮影する撮影装置であって，
前記撮影装置は，
カメラと前記カメラの撮影する向きを自動制御する自動雲台とを有しており，
前記自動雲台は，
前記撮影対象面の撮影回数と前記カメラの撮影範囲角とを用いて算出する前記カメラの撮影する向きを変更する角度によって，前記カメラの撮影する向きを自動制御し，
前記カメラの撮影する向きを変更する前記角度は，
前記カメラから前記撮影対象面までの距離と，前記カメラの前記撮影範囲角とを用いて全体撮影可能範囲を算出し，前記算出した全体撮影可能範囲と，検出する損傷の精度と前記カメラの画素数とを用いて算出した個別撮影可能範囲とを用いて水平方向および垂直方向の撮影回数を算出し，前記算出した撮影回数と前記撮影範囲角とに基づいて算出する，
ことを特徴とする撮影装置。
コンピュータに，
カメラから撮影対象面までの距離と，前記カメラの撮影範囲角とを用いて全体撮影可能範囲を算出する手順，
前記算出した全体撮影可能範囲と，検出する損傷の精度と前記カメラの画素数とを用いて算出した個別撮影可能範囲とを用いて水平方向および垂直方向の撮影回数を算出する手順，
前記算出した撮影回数と前記撮影範囲角とに基づいて，前記カメラの撮影する向きを変更する角度を算出する手順，
とを実行させることを特徴とするプログラム。