JP7614537B2

JP7614537B2 - 情報処理装置、情報処理方法及びプログラム

Info

Publication number: JP7614537B2
Application number: JP2023526693A
Authority: JP
Inventors: みずき田端; 潤一郎玉松; 陽介岡村; 陽祐竹内
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2021-06-08
Filing date: 2021-06-08
Publication date: 2025-01-16
Anticipated expiration: 2041-06-08
Also published as: JPWO2022259383A1; WO2022259383A1

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

従来、３Ｄモデルに表面の情報を配置する技術として、テクスチャマッピング技術が知られている（例えば特許文献１）。テクスチャマッピング技術は、３Ｄモデルの表面に画像を配置することにより、現実感の高い描写を得る。画像を使用したテクスチャマッピングを実行するには、画像撮影時のカメラの位置及び姿勢の情報が必要である（特許文献１の図７におけるステップ１の処理ｉを参照）。

特開2016-119086号公報

上記の従来の方法では、臨場感のある画像確認を行うことはできるものの、補修判断を行うことはできない。なぜなら補修判断には熟練者のスキルが必要だからである。このため、定量的な耐力評価は困難である。

また、上記の従来の方法では、ひび割れなどの劣化情報を含んだ点検画像を３次元化することができない。このため、劣化情報を含んだ構造耐力評価に基づく設備管理を行うことができない。

上記の従来の方法では、ＣＡＤ空間中のカメラの位置及び姿勢を画像から推定できないので、構造物の劣化情報を含んだ画像をＣＡＤモデルへマッピングすることができない。マッピングすることにより、劣化情報を含む３次元データを作成し、構造耐力を見積もる技術が必要である。

かかる点に鑑みてなされた本開示の目的は、対象物の撮影画像をＣＡＤモデルに適切にマッピングすることができる情報処理装置、情報処理方法及びプログラムを提供することにある。

上記課題を解決するため、本開示に係る情報処理装置は、
制御部を備える情報処理装置であって、前記制御部は、
対象物のＣＡＤモデルを取得することと、
前記ＣＡＤモデルをＣＡＤモデル点群に変換することと、
前記対象物の複数の画像を取得することと、
前記複数の画像に３Ｄモデル作成アルゴリズムを適用して、点群と前記画像を撮影したカメラの位置及び姿勢を示す情報とを取得することと、
前記ＣＡＤモデル点群と、取得された前記点群との位置合わせを実行して、取得された前記点群から前記ＣＡＤモデル点群への変換行列を取得することと、
前記変換行列を用いて、前記カメラの位置及び姿勢を示す情報を、ＣＡＤ空間中のカメラの位置及び姿勢を示す情報に変換することと、
前記複数の画像から前記対象物の劣化情報を抽出することと、
前記ＣＡＤ空間中のカメラの位置及び姿勢を示す情報を用いて、前記ＣＡＤモデルに前記劣化情報を付与して、劣化ありＣＡＤモデルを取得することと、
を実行する。

また上記課題を解決するため、本開示に係る情報処理方法は、
情報処理装置による情報処理方法であって、
対象物のＣＡＤモデルを取得するステップと、
前記ＣＡＤモデルをＣＡＤモデル点群に変換するステップと、
前記対象物の複数の画像を取得するステップと、
前記複数の画像に３Ｄモデル作成アルゴリズムを適用して、点群と前記画像を撮影したカメラの位置及び姿勢を示す情報とを取得するステップと、
前記ＣＡＤモデル点群と、取得された前記点群との位置合わせを実行して、取得された前記点群から前記ＣＡＤモデル点群への変換行列を取得するステップと、
前記変換行列を用いて、前記カメラの位置及び姿勢を示す情報を、ＣＡＤ空間中のカメラの位置及び姿勢を示す情報に変換するステップと、
前記複数の画像から前記対象物の劣化情報を抽出するステップと、
前記ＣＡＤ空間中のカメラの位置及び姿勢を示す情報を用いて、前記ＣＡＤモデルに前記劣化情報を付与して、劣化ありＣＡＤモデルを取得するステップと、
を含む。

また上記課題を解決するため、本開示に係るプログラムは、
コンピュータを、上記情報処理装置として機能させる。

本開示に係る情報処理装置、情報処理方法及びプログラムによれば、対象物の撮影画像をＣＡＤモデルに適切にマッピングすることができる。

本実施形態の情報処理装置の機能ブロック図である。本実施形態の情報処理装置における動作のフローチャートの概略図である。図２に示される概略図を説明するフローチャートである。ＳｆＭ処理の内容を示す図である。深さ方向の値の算出方法を示す図である。情報処理装置のハードウェアブロック図である。

図１は、本実施形態の情報処理装置Ｄの機能ブロック図である。情報処理装置Ｄは制御部１、記憶部２、及び入出力部３を備える。情報処理装置Ｄの各構成要素は、例えば専用線を介して互いに通信可能に接続される。

実施形態の情報処理装置Ｄが実行する処理は、分散配置された複数の情報処理装置Ｄによって実行されてよい。

情報処理装置Ｄは、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属するサーバなどのコンピュータである。

情報処理装置Ｄの内部構成が詳細に説明される。以下、情報処理装置Ｄの各機能を説明するが、情報処理装置Ｄが有する他の機能を排除することを意図したものではない。

制御部１は例えば、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）を含む１つ以上の汎用プロセッサを含む。制御部１は、特定の処理に特化した１つ以上の専用プロセッサを含んでよい。制御部１は、プロセッサを含む代わりに、１つ以上の専用回路を含んでもよい。専用回路は例えば、ＦＰＧＡ（Field-Programmable Gate Array）、又はＡＳＩＣ（Application Specific Integrated Circuit）であってよい。制御部１は、ＥＣＵ（Electronic Control Unit）を含んでもよい。

記憶部２は、例えば半導体メモリ、磁気メモリ、光メモリ、又はこれらのうち少なくとも２種類の組み合わせが含まれるが、これらに限られない。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部２は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部２は、制御部１によって分析又は処理された結果の情報を記憶してよい。記憶部２は、情報処理装置Ｄの動作又は制御に関する各種情報等を記憶してよい。記憶部２は、システムプログラム、アプリケーションプログラム、及び組み込みソフトウェア等を記憶してよい。記憶部２は情報処理装置Ｄの外部に設けられて、情報処理装置Ｄからアクセスされてよい。記憶部２は後述される対象物の画像、ＣＡＤモデル、カメラの位置及び姿勢を示す情報、劣化情報等を記憶する。

入出力部３は、少なくとも１つの入力用インタフェースと、少なくとも１つの出力用インタフェースとを含む。例えば入出力部３は外部から、対象物の図面、及び対象物の複数の画像等の入力を受け付けることができる。

図２を参照して、本実施形態の情報処理装置Ｄにおける動作のフローチャートの概略が説明される。

ステップＳ１にて情報処理装置Ｄの制御部１は、対象物（例えば構造物）の図面ＦＩからＣＡＤモデルＣＭを取得する。制御部１は、ＣＡＤモデルＣＭをＣＡＤモデル点群ＣＰに変換する。

ステップＳ２にて制御部１は、対象物の複数枚の画像ＩＭを取得すると、複数枚の画像ＩＭに対してＳｆＭ（Structure from Motion）処理を実行し、ＳｆＭ点群ＳＰと、ＳｆＭ処理で得られたカメラの位置及び姿勢を示す情報ＳＣとを取得する。画像ＩＭは例えば、対象物の点検画像であってよい。代替例としてＳｆＭ処理に代えて、別の３Ｄモデル作成アルゴリズムが用いられてよい。

ステップＳ３にて制御部１は、ＣＡＤモデル点群ＣＰと、ＳｆＭ点群ＳＰとの位置合わせをＩＣＰ（Iterative Closet Point）アルゴリズムを用いて実行し、変換行列を取得する。代替例として、ＩＣＰアルゴリズムに代えて、別の位置合わせアルゴリズムが用いられてよい。

ステップＳ４にて制御部１は、取得された変換行列を、ＳｆＭ処理で得られたカメラの位置及び姿勢を示す情報ＳＣに適用する。制御部１は、カメラの位置及び姿勢を示す情報ＳＣを、ＣＡＤモデルＣＭが含まれるＣＡＤ空間中のカメラの位置及び姿勢を示す情報ＣＣに変換する。

ステップＳ５にて制御部１は、複数枚の画像から対象物の劣化情報を抽出する。劣化情報は例えば、対象物における劣化内容と劣化位置との情報を含む。制御部１は、劣化情報が抽出された画像ＤＩを取得する。

ステップＳ６にて制御部１は、ＣＡＤ空間中のカメラの位置及び姿勢を示す情報ＣＣを用いて、対象物のＣＡＤモデルＣＭに劣化情報を付与する。制御部１は、劣化ありＣＡＤモデルＤＣを取得する。

ステップＳ７にて制御部１は、劣化ありＣＡＤモデルＤＣを用いて、対象物の構造計算を実行する。

以上のように制御部１は、複数の平面画像を用いて、ＣＡＤ空間中のカメラの位置及び姿勢を示す情報ＣＣを推定する。制御部１は更に、カメラの位置及び姿勢を示す情報ＣＣを利用して、ＣＡＤモデルＣＭへ、劣化情報が抽出された画像ＤＩをマッピングする。制御部１は劣化ありＣＡＤモデルＤＣを取得し、対象物に対する定量的な構造耐力判定を実現する。

図３を参照して、図２のフローチャートが詳細に説明される。図３における参照符号は、図２における参照符号に対応する。

ステップＳ１にて制御部１は、対象物の図面ＦＩからＣＡＤモデルＣＭを取得すると、ＣＡＤモデルＣＭからメッシュを切り取って、ＣＡＤモデルＣＭをＣＡＤモデル点群ＣＰに変換する。

ステップＳ２にて制御部１は、対象物を撮影した複数枚の画像ＩＭを取得すると、複数枚の画像ＩＭに対してＳｆＭ処理を実行し、ＳｆＭ点群ＳＰと、ＳｆＭ処理で得られたカメラの位置及び姿勢を示す情報ＳＣとを取得する。

カメラの位置及び姿勢を示す情報ＳＣは、画像ＩＭを撮影した際のカメラの位置及び姿勢を示す情報である。情報ＳＣは、ＣＡＤ空間中のカメラの位置及び姿勢を示す情報ではない。

図４を参照して、ＳｆＭ処理の一例が詳細に説明される。ＳｆＭ処理は、画像から３Ｄモデルを作成するための手法である。ＳｆＭ処理は例えば次の文献に記載される。
［非特許文献１］Furukawa, Y., et al. (2010), "Towards Internet-scale Multi-view stereo", 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.

ステップＳ１１にて制御部１は、複数の画像の各々から特徴点を抽出し、マッチングを実行する。

ステップＳ１２にて制御部１は、復元対象の画像を選択する。

ステップＳ１３にて制御部１は、選択された画像を撮影したカメラの位置及び姿勢を推定する。

ステップＳ１４にて制御部１は、対象物の３次元位置を推定する。

ステップＳ１５にて制御部１は、任意の全体最適化処理を実行する。

制御部１はステップＳ１１乃至ステップＳ１５を繰り返す。制御部１は、カメラの位置及び姿勢を示す情報と、対象物の３次元位置を示す情報とを出力する。

図３に戻り、ステップＳ３にて制御部１は、例えばＩＣＰアルゴリズムを用いて、ＣＡＤモデル点群ＣＰとＳｆＭ点群ＳＰとの位置合わせを実行する。制御部１は、ＳｆＭ点群ＳＰからＣＡＤモデル点群ＣＰへの変換行列ＴＭを取得する。

ＩＣＰアルゴリズムは、複数の３次元点群同士の位置合わせのためのアルゴリズムの１つである。ＩＣＰアルゴリズムは例えば次の文献に記載される。
［非特許文献２］Besl, P. J. and N. D. McKay (1992), "A method for registration of 3-D shapes", IEEE Transactions on Pattern Analysis and Machine Intelligence 14(2): 239-256.

ＩＣＰアルゴリズムは、異なる位置から取得された次元点群P_s及びP_tが与えられると、P_sをP_tに位置合わせする回転行列Rと並進行列Tとを推定するものである。具体的には制御部１は次の手順１乃至４を実行する。

手順１．次の非特許文献３に記載の最近傍検出アルゴリズムを用い、P_sの各点P_siに最も近い点P_tjを対応させる。
［非特許文献３］Eggert, D. W., et al. (1997), "Estimating 3-D rigid body transformations: a comparison of four major algorithms", Machine Vision and Applications 9(5): 272-290.
手順２．上記１．で定められた対応点同士の目的関数Eを定義し、Eが収束するR及びTを推定する。
手順３．上記２．で求められたR及びTによってP_sを移動させた後の各点に最も近いP_tの対応点を選択する。
手順４．上記１乃至３を反復する。

図３に戻り、ステップＳ４にて制御部１は、変換行列ＴＭを、ＳｆＭ処理で得られたカメラの位置及び姿勢を示す情報ＳＣに乗じる。制御部１は、情報ＳＣを、ＣＡＤ空間中のカメラの位置及び姿勢を示す情報ＣＣに変換する。

ステップＳ５にて制御部１は、ＤＮＮ（Deep Neural Network）を用いて、複数枚の画像ＩＭから、劣化内容の検出と劣化位置の推定とを実行する。制御部１は、劣化情報が抽出された画像ＤＩを取得する。代替例としてＤＮＮに代えて、別の機械学習、深層学習などが用いられてよい。

ステップＳ６にて制御部１は、ＣＡＤ空間中のカメラの位置及び姿勢を示す情報ＣＣから、劣化情報が抽出された画像ＤＩ中の画素の３次元位置を計算する。これにより制御部１は、ＣＡＤモデルＣＭに劣化情報を付与する。制御部１は、劣化ありＣＡＤモデルＤＣを取得する。

ＳｆＭ処理では３次元に再構成できない箇所が存在することが多く、スケーリングを行ったＳｆＭモデルが詳細な劣化情報を反映したＣＡＤモデルとして利用できるわけではない。そこで、図５を参照して、劣化情報が抽出された画像ＤＩ中の画素の３次元位置の計算における、深さ方向の値の算出方法が詳細に説明される。

図５に示されるように、カメラ座標系で考える。画像中の画素の３次元座標を(x,y,z)とする。画像と垂直な方向をz軸とする。画像と垂直な方向が深さ方向である。よって深さ方向の値はカメラ座標系のz値である。図５に示されるように、画像の２次元座標を(u,v)とする。

制御部１は、ＣＡＤ空間中のカメラの位置及び姿勢ＣＣから見える画像を新しく生成する。このとき生成する画像は深度マップ（depth map）である。深度マップには、深さ方向のz値のみが保持される。

制御部１は、深度マップと元の画像とを比較する。元の画像の画素は、対応する深度マップの画像座標の値をz値として持つ。

制御部１は、画素のx座標及びy座標を、次の［数１］を用いて算出する。

制御部１は、上記で得られたカメラ座標系の３次元座標(x, y, z)をワールド座標系の３次元座標に変換する。ここで使用するカメラ座標系とワールド座標系の変換行列はＳｆＭ処理で算出される。

以上のように制御部１は、画像内の対応する画素のワールド座標系の３次元座標を算出することにより、劣化情報が抽出された画像ＤＩ中の画素を３次元に再構成することができる。

上記［数１］は、透視投影モデルを想定しており、レンズ歪みによる画像の投影ずれを考慮していない。よって、レンズ歪みの影響が大きい３６０°画像は、本実施形態の適用範囲外である。

図３に戻り、ステップＳ７にて制御部１は、劣化ありＣＡＤモデルＤＣを用いて、対象物の構造計算を実行する。

以上のように本実施形態によれば、情報処理装置Ｄの制御部１は、対象物のＣＡＤモデルＣＭをＣＡＤモデル点群ＣＰに変換することと、対象物の複数の画像を取得することと、複数の画像に３Ｄモデル作成アルゴリズムを適用して、点群と画像を撮影したカメラの位置及び姿勢を示す情報ＳＣとを取得することと、を実行する。制御部１はまた、ＣＡＤモデル点群ＣＰと、取得された点群との位置合わせを実行して、取得された点群からＣＡＤモデルＣＭへの変換行列を取得することと、変換行列を用いて、カメラの位置及び姿勢を示す情報ＳＣを、ＣＡＤ空間中のカメラの位置及び姿勢を示す情報ＣＣに変換することと、を実行する。制御部１は、複数の画像から対象物の劣化情報を抽出することと、ＣＡＤ空間中のカメラの位置及び姿勢を示す情報ＣＣを用いて、ＣＡＤモデルＣＭに劣化情報を付与して、劣化ありＣＡＤモデルを取得することと、を実行する。この構成により情報処理装置Ｄは、対象物の撮影画像をＣＡＤモデルに適切にマッピングすることができ、対象物の劣化位置をＣＡＤモデルに適切に反映させることができる。例えば情報処理装置Ｄは、構造物の点検画像（ただし３６０°画像を除く）とＣＡＤモデルＣＭから３Ｄの点検データを作成できる。一例として、３Ｄの点検データが得られると、劣化情報を含んだ３Ｄデータとして構造計算を行い、構造耐力を調べることができ、より詳細な構造物の点検診断を行うことが可能となる。

また本実施形態によれば、ＣＡＤ空間中の画像撮影時のカメラの位置及び姿勢の推定はＩＣＰアルゴリズムを用いて実行される。この構成によりカメラの位置及び姿勢の推定の精度が向上する。

また本実施形態によれば、３Ｄモデル作成アルゴリズムはＳｆＭ処理を含む。この構成により３Ｄモデルの作成精度が向上する。

また本実施形態によれば、劣化情報は、ＤＮＮを用いて画像から抽出される。この構成により劣化情報の抽出精度が向上する。

また本実施形態によれば、制御部１は、ＣＡＤ空間中のカメラの位置及び姿勢を示す情報ＣＣから、劣化情報が抽出された画像中の画素の３次元位置を計算することによって、ＣＡＤモデルＣＭに劣化情報を付与する。この構成により情報処理装置Ｄは、劣化情報の付与の精度を向上させることができる。

また本実施形態によれば、制御部１は更に、取得された劣化ありＣＡＤモデルＤＣを用いて、対象物の構造耐力を判定する。この構成により情報処理装置Ｄは、構造物の点検画像を用いて、構造物の劣化情報を含んだ３Ｄデータを取得し、構造物の構造耐力を判定することができる。もって、より詳細に構造物の点検を行うことが可能である。

＜プログラム＞
上述した情報処理装置Ｄとして機能させるために、プログラム命令を実行可能なコンピュータ１０１を用いることも可能である。図６は、情報処理装置Ｄとして機能するコンピュータ１０１の概略構成を示すブロック図である。ここで、コンピュータ１０１は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

図６に示すように、コンピュータ１０１は、プロセッサ１１０と、ＲＯＭ（Read Only Memory）１２０と、ＲＡＭ（Random Access Memory）１３０と、ストレージ１４０と、入力部１５０と、出力部１６０と、通信インタフェース（Ｉ／Ｆ）１７０と、を備える。各構成は、バス１８０を介して相互に通信可能に接続されている。プロセッサ１１０は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。

プロセッサ１１０は、各構成の制御、及び各種の演算処理を実行する。すなわち、プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行する。プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２０又はストレージ１４０に、本開示に係るプログラムが格納されている。

プログラムは、コンピュータ１０１が読み取り可能な記憶媒体に記憶されていてもよい。このような記憶媒体を用いれば、プログラムをコンピュータ１０１にインストールすることが可能である。ここで、プログラムが記憶された記憶媒体は、非一時的（non-transitory）記憶媒体であってもよい。非一時的記憶媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

ＲＯＭ１２０は、各種プログラム及び各種データを格納する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム及び各種データを格納する。

入力部１５０は、ユーザの入力操作を受け付けて、ユーザの操作に基づく情報を取得する１つ以上の入力インタフェースを含む。例えば、入力部１５０は、ポインティングデバイス、キーボード、マウスなどであるが、これらに限定されない。

出力部１６０は、情報を出力する１つ以上の出力インタフェースを含む。例えば、出力部１６０は、情報を映像で出力するディスプレイ、又は情報を音声で出力するスピーカであるが、これらに限定されない。なお、出力部１６０は、タッチパネル方式のディスプレイである場合には、入力部１５０としても機能する。

通信インタフェース１７０は、外部の装置と通信するためのインタフェースである。

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。

上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

Ｄ情報処理装置
１制御部
２記憶部
３入出力部
１０１コンピュータ
１１０プロセッサ
１２０ＲＯＭ
１３０ＲＡＭ
１４０ストレージ
１５０入力部
１６０出力部
１７０通信インタフェース
１８０バス

Claims

制御部を備える情報処理装置であって、前記制御部は、
対象物のＣＡＤモデルを取得することと、
前記ＣＡＤモデルをＣＡＤモデル点群に変換することと、
前記対象物の複数の画像を取得することと、
前記複数の画像に３Ｄモデル作成アルゴリズムを適用して、点群と前記画像を撮影したカメラの位置及び姿勢を示す情報とを取得することと、
前記ＣＡＤモデル点群と、取得された前記点群との位置合わせを実行して、取得された前記点群から前記ＣＡＤモデル点群への変換行列を取得することと、
前記変換行列を用いて、前記カメラの位置及び姿勢を示す情報を、ＣＡＤ空間中のカメラの位置及び姿勢を示す情報に変換することと、
前記複数の画像から前記対象物の劣化情報を抽出することと、
前記ＣＡＤ空間中のカメラの位置及び姿勢を示す情報を用いて、前記ＣＡＤモデルに前記劣化情報を付与して、劣化ありＣＡＤモデルを取得することと、
を実行する、情報処理装置。
請求項１に記載の情報処理装置において、
前記ＣＡＤ空間中の画像撮影時のカメラの位置及び姿勢はＩＣＰ（Iterative Closest Point）アルゴリズムを用いて推定される、情報処理装置。
請求項１又は２に記載の情報処理装置において、
前記３Ｄモデル作成アルゴリズムはＳｆＭ(Structure from Motion)処理を含む、情報処理装置。
請求項１乃至３のいずれか一項に記載の情報処理装置において、
前記劣化情報は、ＤＮＮ（Deep Neural Network）を用いて前記画像から抽出される、情報処理装置。
請求項１乃至４のいずれか一項に記載の情報処理装置において、
前記制御部は、前記ＣＡＤ空間中のカメラの位置及び姿勢を示す情報から、前記劣化情報が抽出された前記画像中の画素の３次元位置を計算することによって、前記ＣＡＤモデルに前記劣化情報を付与する、情報処理装置。
請求項５に記載の情報処理装置において、
前記制御部は更に、取得された前記劣化ありＣＡＤモデルを用いて、前記対象物の構造耐力を判定する、情報処理装置。
情報処理装置による情報処理方法であって、
対象物のＣＡＤモデルを取得するステップと、
前記ＣＡＤモデルをＣＡＤモデル点群に変換するステップと、
前記対象物の複数の画像を取得するステップと、
前記複数の画像に３Ｄモデル作成アルゴリズムを適用して、点群と前記画像を撮影したカメラの位置及び姿勢を示す情報とを取得するステップと、
前記ＣＡＤモデル点群と、取得された前記点群との位置合わせを実行して、取得された前記点群から前記ＣＡＤモデル点群への変換行列を取得するステップと、
前記変換行列を用いて、前記カメラの位置及び姿勢を示す情報を、ＣＡＤ空間中のカメラの位置及び姿勢を示す情報に変換するステップと、
前記複数の画像から前記対象物の劣化情報を抽出するステップと、
前記ＣＡＤ空間中のカメラの位置及び姿勢を示す情報を用いて、前記ＣＡＤモデルに前記劣化情報を付与して、劣化ありＣＡＤモデルを取得するステップと、
を含む情報処理方法。
コンピュータを、請求項１乃至６のいずれか一項に記載の情報処理装置として機能させるためのプログラム。