Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7651375B2 - Three-dimensional model creation support system, program and recording medium - Google Patents
[go: Go Back, main page]

JP7651375B2 - Three-dimensional model creation support system, program and recording medium - Google Patents

Three-dimensional model creation support system, program and recording medium Download PDF

Info

Publication number
JP7651375B2
JP7651375B2 JP2021089879A JP2021089879A JP7651375B2 JP 7651375 B2 JP7651375 B2 JP 7651375B2 JP 2021089879 A JP2021089879 A JP 2021089879A JP 2021089879 A JP2021089879 A JP 2021089879A JP 7651375 B2 JP7651375 B2 JP 7651375B2
Authority
JP
Japan
Prior art keywords
asset
cad model
partial
dimensional
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021089879A
Other languages
Japanese (ja)
Other versions
JP2022182362A (en
Inventor
嘉成 堀
志郎 高橋
幸彦 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2021089879A priority Critical patent/JP7651375B2/en
Priority to PCT/JP2022/008782 priority patent/WO2022249617A1/en
Publication of JP2022182362A publication Critical patent/JP2022182362A/en
Application granted granted Critical
Publication of JP7651375B2 publication Critical patent/JP7651375B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/18Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three-dimensional [3D] modelling for computer graphics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00Details relating to the application field
    • G06F2113/14Pipes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、三次元モデル作成支援システム、プログラム及び記録媒体に関する。 The present invention relates to a three-dimensional model creation support system, a program, and a recording medium.

近年、発電プラントや化学プラントでは、3D-CAD(Three-Dimension Computer-Aided Design)を利用して資産を管理している。 In recent years, power plants and chemical plants have been using 3D-CAD (Three-Dimension Computer-Aided Design) to manage their assets.

一方、これらのプラントには、建設時期が古く、3D-CADモデルがなく、資産管理を紙のドキュメントで実施しているものもある。 However, some of these plants were built a long time ago, do not have 3D CAD models, and asset management is still carried out using paper documents.

そこで、近年、レーザ計測により三次元の点群データを取得し、そのデータを用いてプラントの3Dモデルを作成するサービスが一般化してきた。なお、以下では、三次元を「3D」、二次元を「2D」と呼ぶ場合がある。 In recent years, services have become commonplace that use laser measurement to obtain three-dimensional point cloud data and use that data to create 3D models of plants. In the following, three dimensions may be referred to as "3D" and two dimensions as "2D."

現在のレーザ計測装置では、高精度な三次元点群データの取得が可能である。また、座標データの取得と同時に、カメラによる色情報の取得が可能な装置も開発されている。したがって、色付きの三次元点群データが表示可能である。このため、人間の目によって配管、機器などを容易に識別することができるようになっている。 Current laser measurement devices are capable of acquiring highly accurate three-dimensional point cloud data. Devices have also been developed that can acquire color information using a camera at the same time as acquiring coordinate data. This makes it possible to display colored three-dimensional point cloud data. This makes it easy for the human eye to identify pipes, equipment, and the like.

ただし、それらの点群データは、属性を持つ3Dモデルではない。このため、機器や配管のタグ情報を利用した資産管理に利用するためには、それらの点群データを属性付きの3Dモデルに変換する必要がある。 However, this point cloud data is not a 3D model with attributes. Therefore, in order to use it for asset management using tag information for equipment and piping, it is necessary to convert this point cloud data into a 3D model with attributes.

このような3Dモデルへの変換作業は、点群データを画面に表示させながら、オペレータが手作業で3Dモデルに変換していく方法が一般的である。このため、変換には非常に多くの労力が必要である。 The typical method for converting such data into a 3D model is for an operator to convert the point cloud data into a 3D model manually while displaying the data on a screen. This makes the conversion process extremely labor-intensive.

一方、近年では、ソフトウェアにより点群データから配管などの形状を認識し、属性を持たない3Dモデルに変換する技術がある。また、属性を持たない3Dモデルに自動的に属性を付与する技術が開発されている。 On the other hand, in recent years, there is technology that uses software to recognize the shapes of pipes and other objects from point cloud data and convert them into attribute-free 3D models. In addition, technology has been developed that automatically assigns attributes to attribute-free 3D models.

例えば、特許文献1には、プラント用機器間の論理的な接続関係である論理接続データの端点接続情報と、三次元空間上の図形形状情報である幾何形状データの端点接続情報とを比較して、端点接続情報が一致した論理接続データと幾何形状データとを対応付けた対応関係データで構成される論理接続・幾何形状対応テーブルを自動生成する、レイアウト設計支援装置が開示されている。 For example, Patent Document 1 discloses a layout design support device that compares end point connection information of logical connection data, which is the logical connection relationship between plant equipment, with end point connection information of geometric shape data, which is graphic shape information in three-dimensional space, and automatically generates a logical connection/geometric shape correspondence table composed of correspondence relationship data that associates logical connection data and geometric shape data for which the end point connection information matches.

特許第4940267号公報Patent No. 4940267

点群データから3Dモデルに変換する従来技術においては、配管、鋼材などの比較的単純な形状のみが対象である。 Conventional technology for converting point cloud data into 3D models only targets relatively simple shapes such as pipes and steel materials.

また、特許文献1においては、バルブなどの機器のすべてについて、3Dモデルへの変換の対象とすることは困難である。また、配管についても、全ての配管を正確に3Dモデルに変換することは難しく、作成された配管モデルの補正や、自動作成できなかった配管モデルの追加作成が必要である。 In addition, in Patent Document 1, it is difficult to convert all devices such as valves into 3D models. In addition, it is difficult to accurately convert all piping into 3D models, so it is necessary to correct the created piping model or create additional piping models that could not be created automatically.

本発明の目的は、ユーザの作業を軽減し、属性付き三次元モデルを効率よく作成することにある。 The objective of the present invention is to reduce the user's workload and efficiently create 3D models with attributes.

本発明の三次元モデル作成支援システムは、アセットの一部を示す斜視図のデータを用いて属性データを有する部分アセットCADモデルを作成する部分アセットCADモデル作成装置と、部分アセットCADモデルとアセットの三次元画像とのパターンマッチングにより部分アセットCADモデルの位置を特定し、部分アセットCADモデルを三次元空間上に配置することにより、属性付きアセットCADモデルを作成する三次元パターンマッチング装置と、を含む。 The three-dimensional model creation support system of the present invention includes a partial asset CAD model creation device that creates a partial asset CAD model having attribute data using data of an oblique view showing a portion of an asset, and a three-dimensional pattern matching device that identifies the position of the partial asset CAD model by pattern matching between the partial asset CAD model and a three-dimensional image of the asset, and creates an asset CAD model with attributes by placing the partial asset CAD model in three-dimensional space.

本発明によれば、ユーザの作業を軽減し、属性付き三次元モデルを効率よく作成することができる。 The present invention reduces the workload of the user and enables efficient creation of 3D models with attributes.

実施例1の三次元モデル作成支援システムの例を示す構成図である。FIG. 1 is a configuration diagram illustrating an example of a three-dimensional model creation support system according to a first embodiment. プラントの配管の例を示すアイソメ図である。FIG. 2 is an isometric view showing an example of piping in a plant. 配管モデル及びバルブモデルの作成方法を示すフロー図である。FIG. 4 is a flow diagram showing a method for creating a piping model and a valve model. 抽出された配管の線分の例を示す図である。FIG. 13 is a diagram showing an example of extracted line segments of a pipe. 部分アセットCADモデルを示す斜視図である。FIG. 2 is a perspective view showing a partial asset CAD model. 配管に関する属性データベースの一例を示す表である。1 is a table showing an example of an attribute database relating to piping. アセット全体の三次元の画像データの一例を示す図である。FIG. 13 is a diagram showing an example of three-dimensional image data of an entire asset. 3Dパターンマッチングの方法を示すフロー図である。FIG. 1 is a flow diagram illustrating a method for 3D pattern matching. 仮想外径を設定した部分配管モデルの一例を示す斜視図である。FIG. 13 is a perspective view showing an example of a partial piping model in which a virtual outer diameter is set. 属性付きアセットCADモデルの例を示す斜視図である。FIG. 2 is a perspective view illustrating an example of an asset CAD model with attributes. 実施例2の三次元モデル作成支援システムの例を示す構成図である。FIG. 11 is a configuration diagram illustrating an example of a three-dimensional model creation support system according to a second embodiment. 複数の2D画像から3D画像を作成する例を示す図である。FIG. 1 is a diagram showing an example of creating a 3D image from multiple 2D images. バルブとして認識された3D画像を示す斜視図である。FIG. 2 is a perspective view showing a 3D image recognized as a valve. バルブ及び機器を配置した結果を示す斜視図である。FIG. 13 is a perspective view showing the result of arranging the valves and instruments. 配管の接続先の情報が付加された例を示すアイソメ図である。FIG. 13 is an isometric view showing an example in which information on the connection destination of a pipe is added. 配管モデルの断面形状に対応する点群を示す図である。FIG. 13 is a diagram showing a point cloud corresponding to a cross-sectional shape of a piping model.

本開示の望ましい実施形態について説明する。 A preferred embodiment of this disclosure is described below.

三次元モデル作成支援システムにおいては、属性データとアセットの部位の管理番号とを有する属性データベースを更に含むことが望ましい。そして、部分アセットCADモデル作成装置は、斜視図に表示されている管理番号を取得し、属性データベースから部位の管理番号に関連付けられている属性データを取得し、部分アセットCADモデルに付加することが望ましい。 It is preferable that the three-dimensional model creation support system further includes an attribute database having attribute data and management numbers of asset parts. The partial asset CAD model creation device then obtains the management number displayed in the oblique view, obtains attribute data associated with the management number of the part from the attribute database, and adds the attribute data to the partial asset CAD model.

部分アセットCADモデル作成装置は、斜視図に表示されている寸法線から寸法を取得し、寸法に従い部分アセットCADモデルを作成することが望ましい。 It is desirable for the partial asset CAD model creation device to obtain dimensions from the dimension lines displayed in the oblique view and create a partial asset CAD model according to the dimensions.

三次元パターンマッチング装置は、部分アセットCADモデルの仮想外径を設定し、仮想外径を有する部分アセットCADモデルの内部に包含される点群の数が最大となる位置を特定し、特定された位置に部分アセットCADモデルを配置することが望ましい。 It is desirable for the three-dimensional pattern matching device to set a virtual outer diameter of the partial asset CAD model, identify a position where the number of points contained within the partial asset CAD model having the virtual outer diameter is the largest, and place the partial asset CAD model at the identified position.

三次元パターンマッチング装置は、部分アセットCADモデルの所定の部位の仮想的な断面寸法を設定し、断面寸法を有する部分アセットCADモデルを領域分割し、領域分割された断面寸法を有する部分アセットCADモデルの内部に包含される点群の数が最大となる位置を特定し、特定された位置に部分アセットCADモデルを配置することが望ましい。 It is desirable for the three-dimensional pattern matching device to set virtual cross-sectional dimensions of a specified portion of the partial asset CAD model, divide the partial asset CAD model having the cross-sectional dimensions into regions, identify a position where the number of points contained within the partial asset CAD model having the divided cross-sectional dimensions is the largest, and place the partial asset CAD model at the identified position.

三次元パターンマッチング装置は、部分アセットCADモデルの所定の部位の仮想的な断面寸法を設定し、断面寸法を有する部分アセットCADモデルの断面の輪郭と点群との距離についての誤差が最小となる位置を特定し、特定された位置に部分アセットCADモデルを配置することが望ましい。 It is desirable for the three-dimensional pattern matching device to set virtual cross-sectional dimensions of a specified portion of the partial asset CAD model, identify a position where the error in the distance between the cross-sectional contour of the partial asset CAD model having the cross-sectional dimensions and the point cloud is minimal, and place the partial asset CAD model at the identified position.

三次元モデル作成支援システムは、配管と、バルブ及び機器のうちの少なくともいずれか一つとを備えたアセットの一部を示す斜視図のデータを用いて属性データを有する部分アセットCADモデルを作成する部分アセットCADモデル作成装置と、アセットの二次元画像又は三次元画像のデータからバルブ及び機器の位置情報を取得するバルブ/機器認識装置と、部分アセットCADモデルとアセットの三次元画像とのパターンマッチングにより部分アセットCADモデルの位置を特定し、部分アセットCADモデルを三次元空間上に配置することにより、属性付きアセットCADモデルを作成する三次元パターンマッチング装置と、を含むものであってもよい。そして、三次元パターンマッチング装置は、バルブ/機器認識装置により取得されたバルブ及び機器の位置情報と、部分アセットCADモデルから取得されたバルブ及び機器の相対位置情報からパターンマッチングの範囲を限定する。 The three-dimensional model creation support system may include a partial asset CAD model creation device that creates a partial asset CAD model having attribute data using data of a perspective view showing a part of an asset having piping and at least one of a valve and equipment, a valve/equipment recognition device that acquires position information of valves and equipment from two-dimensional or three-dimensional image data of the asset, and a three-dimensional pattern matching device that identifies the position of the partial asset CAD model by pattern matching between the partial asset CAD model and the three-dimensional image of the asset, and creates an asset CAD model with attributes by arranging the partial asset CAD model in three-dimensional space. The three-dimensional pattern matching device then limits the range of pattern matching from the position information of the valves and equipment acquired by the valve/equipment recognition device and the relative position information of the valves and equipment acquired from the partial asset CAD model.

以下、実施例について図面を用いて説明する。 The following describes the examples with reference to the drawings.

図1は、実施例1の三次元モデル作成支援システムの例を示す構成図である。 Figure 1 is a configuration diagram showing an example of a three-dimensional model creation support system according to the first embodiment.

本図に示すように、三次元モデル作成支援システムは、部分アセットCADモデル作成装置2と、3Dアセットパターンマッチング装置6(三次元パターンマッチング装置)と、を含む。アセットアイソメ図データ1は、部分アセットCADモデル作成装置2で所定の処理に用いられる。部分アセットCADモデル3は、部分アセットCADモデル作成装置2で作成され、3Dアセットパターンマッチング装置6で所定の処理に用いられる。3Dアセットパターンマッチング装置6は、部分アセットCADモデル3及び3D画像データ5(三次元画像データ)を用いて、属性付きアセットCADモデル7を作成する。属性付きアセットCADモデル7は、属性データベース4と連携している。 As shown in this diagram, the three-dimensional model creation support system includes a partial asset CAD model creation device 2 and a 3D asset pattern matching device 6 (three-dimensional pattern matching device). Asset isometric data 1 is used for predetermined processing in the partial asset CAD model creation device 2. The partial asset CAD model 3 is created in the partial asset CAD model creation device 2, and is used for predetermined processing in the 3D asset pattern matching device 6. The 3D asset pattern matching device 6 creates an attributed asset CAD model 7 using the partial asset CAD model 3 and 3D image data 5 (three-dimensional image data). The attributed asset CAD model 7 is linked to an attribute database 4.

なお、以下では、画像データを単に「画像」と表記する場合がある。また、「認識」とは、二次元又は三次元の点、線、図形等の数値データを用いて、配管、バルブ、機器等を判別することをいう。 In the following, image data may simply be referred to as "image." Additionally, "recognition" refers to identifying pipes, valves, equipment, etc. using numerical data such as two-dimensional or three-dimensional points, lines, and figures.

三次元モデル作成支援システムを構成する上記の装置は、すべてが1台のコンピュータ装置に内蔵されていてもよいし、それぞれの装置が別々のコンピュータ装置に内蔵されていてもよい。上記のそれぞれの処理は、コンピュータ装置に内蔵されている1つ又は2つ以上のメモリ等の記録媒体に記録されたプログラムを、コンピュータ装置に内蔵されている1つ又は2つ以上の中央演算ユニット(CPU:Central Processing Unit)で演算処理することにより実施する。また、当該プログラムは、コンピュータ装置に着脱自在なメモリスティック等の記録媒体に記録されたものであってもよい。当該プログラムは、コンピュータ装置に所定の処理を実行させるためのものである。当該記録媒体は、当該プログラムを記録したコンピュータ読み取り可能なものである。 The above devices constituting the 3D model creation support system may all be built into one computer device, or each device may be built into a separate computer device. Each of the above processes is carried out by processing a program recorded on one or more memories or other recording media built into the computer device using one or more central processing units (CPUs) built into the computer device. The program may also be recorded on a recording medium such as a memory stick that is removable from the computer device. The program is for causing the computer device to execute a specified process. The recording medium is computer-readable and has the program recorded on it.

アセットアイソメ図データ1は、コンピュータ装置に内蔵されている1つ又は2つ以上のメモリ等の記録媒体に入力され、記録される。アセットアイソメ図データ1から所定の処理によって作成される部分アセットCADモデル3、最終的に作成される属性付きアセットCADモデル7等は、コンピュータ装置に内蔵されている1つ又は2つ以上のメモリ等の記録媒体に記録される。なお、記録媒体への入力は、インターネット等の通信手段を介して行ってもよい。 The asset isometric drawing data 1 is input and recorded in one or more memories or other recording media built into the computer device. The partial asset CAD model 3 created from the asset isometric drawing data 1 by a predetermined process, and the attributed asset CAD model 7 finally created, etc. are recorded in one or more memories or other recording media built into the computer device. Note that input to the recording media may be performed via a communication means such as the Internet.

アセットアイソメ図データ1は、アセットのアイソメトリック図のデータであり、アセットを斜め上方から見て、三次元的に表現した図を表示可能なデータである。以下では、アイソメトリック図を「アイソメ図」と略称する。アイソメ図は、等角投影図であってもよい。また、アイソメ図は、「斜視図」と総称してもよい。 Asset isometric drawing data 1 is data of an isometric drawing of an asset, and is data capable of displaying a three-dimensional drawing of the asset as viewed from diagonally above. Hereinafter, an isometric drawing will be abbreviated as an "isometric drawing." An isometric drawing may be an isometric projection drawing. Also, an isometric drawing may be collectively referred to as an "oblique drawing."

部分アセットCADモデル作成装置2は、アセットアイソメ図データ1に含まれるアセットから3Dモデルを作成する。通常、配管モデルのようにアセットの一部のみが記録されているため、部分アセットのCAD化となる。CAD化の詳細な方法については後述する。また、アセットアイソメ図データ1には、通常、対象部位の管理番号も含まれるため、CAD化したモデルに管理番号を付与することができる。配管の例では、配管番号が管理番号として付与されている。 The partial asset CAD model creation device 2 creates a 3D model from the assets included in the asset isometric data 1. Usually, only a portion of the asset is recorded, such as in a piping model, so the partial asset is converted into CAD. The detailed method of CAD conversion will be described later. Also, since the asset isometric data 1 usually includes the management number of the target part, a management number can be assigned to the CAD converted model. In the example of piping, the piping number is assigned as the management number.

部分アセットCADモデル3は、部分アセットCADモデル作成装置2で作成されたモデルである。配管の例では、ある配管番号を持つ一つながりの配管の3D-CADモデルである。また、部分アセットCADモデル3には、属性データとして、配管番号が付与されている。 The partial asset CAD model 3 is a model created by the partial asset CAD model creation device 2. In the piping example, it is a 3D-CAD model of a continuous line of piping with a certain piping number. In addition, the partial asset CAD model 3 is assigned the piping number as attribute data.

属性データベース4には、アセットの各部位の属性データが部位の管理番号とともに記録されている。配管の場合は、管理番号として配管番号があり、配管番号に紐づいて配管の外径、肉厚、材質などの属性情報(属性データ)が記録されている。したがって、配管番号を有する3D-CADモデルは、属性データベース4と連携することで、関連する全ての属性を取得することができる。 In the attribute database 4, attribute data for each part of an asset is recorded along with the part's management number. In the case of piping, the management number is the piping number, and attribute information (attribute data) such as the outer diameter, thickness, and material of the piping is recorded in association with the piping number. Therefore, a 3D-CAD model that has a piping number can obtain all related attributes by linking with the attribute database 4.

3D画像データ5は、アセット全体の三次元の画像データである。例えば、ドローンから撮影した複数枚の画像から作成することができる。 The 3D image data 5 is three-dimensional image data of the entire asset. For example, it can be created from multiple images taken from a drone.

3Dアセットパターンマッチング装置6は、部分アセットCADモデル3と3D画像データ5とをマッチングさせ、3D画像データ5が描画さている三次元空間上に部分アセットCADモデル3を配置する。部分アセットCADモデル3の位置情報は、通常不明であるため、3D画像と形状が一致する場所に配置する。 The 3D asset pattern matching device 6 matches the partial asset CAD model 3 with the 3D image data 5, and places the partial asset CAD model 3 in the three-dimensional space in which the 3D image data 5 is rendered. Since the position information of the partial asset CAD model 3 is usually unknown, it is placed in a location where the shape matches the 3D image.

属性付きアセットCADモデル7は、全ての部分アセットCADモデル3が配置されることで作成される。部分アセットCADモデル3には、属性として部分アセットの管理番号が付与されているため、その集合体である属性付きアセットCADモデル7の全てにも管理番号が付与される。したがって、属性データベース4と連携することで、その他の属性データを含む属性付きアセットモデルとなる。 The attributed asset CAD model 7 is created by arranging all partial asset CAD models 3. Since the partial asset CAD models 3 are assigned partial asset management numbers as attributes, the attributed asset CAD models 7, which are a collection of partial asset CAD models 3, are also assigned management numbers. Therefore, by linking with the attribute database 4, it becomes an attributed asset model that includes other attribute data.

以下に、プラントの例を本実施例の詳細について説明する。 Below, an example plant is described in detail for this embodiment.

図2は、プラントの配管の例を示すアイソメ図である。 Figure 2 is an isometric drawing showing an example of plant piping.

本図においては、図1のアセットアイソメ図データ1から作成したものを示している。プラントのアイソメ図は、配管の施工に利用することが多いため、一般に、一つながりの配管を抽出して図面化されたものである。 This diagram shows the data created from asset isometric data 1 in Figure 1. Plant isometric drawings are often used for piping installation, so they are generally created by extracting a continuous line of piping and drawing it.

なお、説明のために図中に示すx軸、y軸及びz軸により方向を定義する。アイソメ図の構成は、最も基本的な描画方法としている。すなわち、鉛直方向のz軸は、図中の上方に向かうものとし、x軸、y軸はそれぞれ、図中の水平方向を基準として30度傾けた方向とし、両者のなす角は120度としている。 For the sake of explanation, the directions are defined by the x-axis, y-axis, and z-axis shown in the figure. The construction of an isometric drawing is the most basic drawing method. That is, the vertical z-axis points upward in the figure, and the x-axis and y-axis are each tilted 30 degrees from the horizontal direction in the figure, with the angle between them being 120 degrees.

配管の大半は、x軸、y軸またはz軸に沿って配置される。配管の曲げ部は、正確には曲げ管であるが、本実施例では、曲げ管部分を模式的に直角の配管で描画するものとしている。配管の途中にバルブがある場合は、アイソメ図にも表示される。また、直管部分の長さや、分岐配管までの長さ、端部からバルブまでの位置など、施工に必要な寸法は、寸法線で表示されている。寸法線の両端は矢印であり、寸法線の引き出し線は線分である。ただし、配管と区別ができるように線分の太さが配管とは異なる。また、配管には、配管番号が表示されている。 Most of the pipes are arranged along the x-axis, y-axis, or z-axis. Although the bent parts of the pipes are technically bent pipes, in this embodiment, the bent pipe parts are depicted as schematic right-angled pipes. If there are valves in the middle of the pipes, they are also displayed in the isometric drawing. In addition, dimensions necessary for construction, such as the length of the straight pipe section, the length to the branch pipe, and the position from the end to the valve, are displayed with dimension lines. Both ends of the dimension lines are arrows, and the leader lines of the dimension lines are lines. However, the thickness of the lines differs from that of pipes so that they can be distinguished from pipes. In addition, the pipe numbers are displayed on the pipes.

図2においては、右端の配管に表示された「PAS-01-300」が配管番号である。なお、アイソメ図は、近年では、CADソフトウェアで作成されることが多いが、ここでは、紙で作成されるものを対象とした。 In Figure 2, the "PAS-01-300" displayed on the pipe at the far right is the pipe number. Note that in recent years, isometric drawings are often created using CAD software, but here we focus on isometric drawings created on paper.

部分アセットCADモデル作成装置2では、アイソメ図から三次元のCADモデルである部分アセットCADモデル3を作成する。 The partial asset CAD model creation device 2 creates a partial asset CAD model 3, which is a three-dimensional CAD model, from the isometric drawing.

本実施例では、モデルの対象が配管及びバルブであるため、以下のステップに従い、配管モデルを作成し、次にバルブモデルを作成した。 In this example, the model targets piping and valves, so the following steps were followed to create a piping model and then a valve model.

図3は、配管モデル及びバルブモデルの作成方法を示すフロー図である。 Figure 3 is a flow diagram showing how to create a piping model and a valve model.

本図に示すように、図2に示すアイソメ図を画像認識によりデータ化し、線分の太さが配管と同じものだけを抽出する(ステップS21)。 As shown in this figure, the isometric drawing shown in Figure 2 is digitized using image recognition, and only those line segments whose thickness is the same as that of the piping are extracted (step S21).

図4は、ステップS21の結果の一例であって、抽出された配管の線分のみを示したものである。 Figure 4 shows an example of the results of step S21, showing only the extracted pipe lines.

次に、端点を1つ選択し(図4においては符号A)、その座標を(0,0,0)とし、抽出された線分の図面上の傾き及び長さからその他の点(図4においては符号B、C、D、E及びFで示されている。)の座標を決定する(ステップS22)。 Next, one end point is selected (designated A in Figure 4) and its coordinates are set to (0,0,0). The coordinates of the other points (designated B, C, D, E, and F in Figure 4) are determined from the inclination and length of the extracted line segment on the drawing (step S22).

例えば、線分ABは、紙面の水平右向きを0度とした場合、点Bは、点Aから210度の向きにあり、長さが58mmである。210度の向きは、三次元座標でx軸負方向であるため、Bの座標は(-58,0,0)となる。 For example, if the horizontal rightward direction of line segment AB on the paper is 0 degrees, then point B is at an angle of 210 degrees from point A and has a length of 58 mm. The direction of 210 degrees is the negative direction of the x-axis in three-dimensional coordinates, so the coordinates of B are (-58, 0, 0).

次に、線分BCは、紙面上で150度の傾きで、長さが30mmである。線分BCは、三次元座標でy軸正方向であるため、点Cの座標は(-58,30,0)となる。同様にして、点D、E及びFの座標を求めることができる。ただし、長さは紙面上の長さであり、実際の長さとは異なる。実際の長さと紙面上の長さとの比は一定であるため、座標を一定比率で変換すれば実際の長さとなる。本実施例では、実際の長さは紙面上の長さの100倍であるため、実際の座標をA(0,0,0)とすると、B(-5800,0,0)のようになる。 Next, line segment BC is inclined at 150 degrees on the paper and has a length of 30 mm. Line segment BC is in the positive direction of the y-axis in three-dimensional coordinates, so the coordinates of point C are (-58, 30, 0). In a similar manner, the coordinates of points D, E, and F can be found. However, the lengths are lengths on the paper, and differ from the actual lengths. The ratio between the actual length and the length on the paper is constant, so the actual length can be obtained by converting the coordinates at a constant ratio. In this example, the actual length is 100 times the length on the paper, so if the actual coordinates are A (0, 0, 0), then B (-5800, 0, 0) will be obtained.

次に、作成する配管の外径を求める(ステップS23)。外径は、アイソメ図の配管に沿って表示されている配管番号をOCR技術により読み取り、対応する外径を求める。本実施例では、配管番号の末尾が外径を表す。図2の例では、配管番号「PAS-01-300」の300が外径を表す。ただし、これは、呼び径が300Aであるとの意味であるため、実際の外径は、318.5mmである。 Next, the outer diameter of the pipe to be created is determined (step S23). The pipe number displayed along the pipe in the isometric drawing is read using OCR technology, and the corresponding outer diameter is determined. In this embodiment, the last digit of the pipe number indicates the outer diameter. In the example of Figure 2, the 300 in the pipe number "PAS-01-300" indicates the outer diameter. However, this means that the nominal diameter is 300A, so the actual outer diameter is 318.5 mm.

次に、ステップS22で求めた座標と、ステップS23で求めた外径とから配管モデルを作成する(ステップS24)。この情報を用いれば、一般的な3D-CADシステムのAPI(Application Programing Interface)を使って配管の3D-CADモデルを作成することができる。 Next, a piping model is created from the coordinates obtained in step S22 and the outer diameter obtained in step S23 (step S24). Using this information, a 3D-CAD model of the piping can be created using the API (Application Programming Interface) of a general 3D-CAD system.

最後に、作成した配管モデルにバルブモデルを配置する(ステップS25)。ステップS22で配管の端点を求めた方法と同様にして、バルブの位置座標を特定することができる。バルブの位置が分かれば、CADソフトウェアのAPIを活用して、バルブモデルを配置することができる。 Finally, the valve model is placed on the created piping model (step S25). The position coordinates of the valve can be identified in the same way as the method used to find the end points of the piping in step S22. Once the valve position is known, the valve model can be placed using the API of the CAD software.

なお、バルブモデルは、バルブの種類によって異なる。本実施例では、アイソメ図に表示されたバルブ番号の型式からバルブモデルを選択した。図2の例ではVGがゲートバルブを表すため、ゲートバルブのモデルを配置する。 The valve model differs depending on the type of valve. In this example, the valve model was selected from the type of valve number displayed in the isometric drawing. In the example in Figure 2, VG represents a gate valve, so a model of a gate valve is placed.

以上のように、図3に示す方法により図1の部分アセットCADモデル3を作成することができる。 As described above, the partial asset CAD model 3 of Figure 1 can be created using the method shown in Figure 3.

図5は、本実施例で作成した部分アセットCADモデルを示す斜視図である。 Figure 5 is an oblique view of the partial asset CAD model created in this example.

なお、上記の例においては、配管の寸法が配管を表す線分の長さとしたが、アイソメ図によっては、見やすさを優先し、実際の寸法とは異なる長さの線分で描画し、寸法値に正しい寸法を表記する場合がある。したがって、各線分の長さを読み取るのではなく、OCR機能により寸法値を読み取り、座標値に変換してもよい。 In the above example, the pipe dimensions are the length of the lines that represent the pipes, but in some isometric drawings, easier-to-read views are prioritized, and lines of different lengths from the actual dimensions are drawn, with the correct dimensions displayed as dimension values. Therefore, instead of reading the length of each line, the dimension values can be read using the OCR function and converted into coordinate values.

次に、図1の属性データベース4について説明する。 Next, we will explain the attribute database 4 in Figure 1.

属性データベース4においては、アセットの各部位の属性データが部位の管理番号とともに記録されている。 In the attribute database 4, attribute data for each part of the asset is recorded along with the part's management number.

図6は、配管に関する属性データベース4の一例を示したものである。 Figure 6 shows an example of an attribute database 4 related to piping.

本図においては、配管番号をインデックスとして、配管の外径、肉厚、材質などの属性情報のデータが表にまとめて表示されている。 In this diagram, attribute information such as the outer diameter, wall thickness, and material of the pipes are displayed in a table, with the pipe number used as an index.

3D画像データ5(図1)は、アセット全体の三次元の画像データである。本実施例では、ドローンで撮影した複数枚の画像から3D画像データ5を作成した。 The 3D image data 5 (Figure 1) is three-dimensional image data of the entire asset. In this embodiment, the 3D image data 5 was created from multiple images taken by a drone.

図7は、3D画像データ5の一例を示したものである。 Figure 7 shows an example of 3D image data 5.

本図に示すように、配管11の他、タンク12a、ポンプ12b及びバルブ13の点群データがある。 As shown in this figure, in addition to the pipe 11, there is point cloud data for the tank 12a, pump 12b, and valve 13.

3Dアセットパターンマッチング装置6においては、部分アセットCADモデル3と3D画像データ5とをマッチングさせ、3D画像データ5が描画されている三次元空間上に部分アセットCADモデル3を配置する。部分アセットCADモデル3の位置情報は、通常不明であるため、次の方法で3D画像と形状が一致する場所に配置する。 In the 3D asset pattern matching device 6, the partial asset CAD model 3 is matched with the 3D image data 5, and the partial asset CAD model 3 is placed in the three-dimensional space in which the 3D image data 5 is rendered. Since the position information of the partial asset CAD model 3 is usually unknown, it is placed in a location where the shape matches the 3D image using the following method.

図8は、3Dパターンマッチングの方法を示すフロー図である。 Figure 8 is a flow diagram showing a method for 3D pattern matching.

作成した部分配管モデルの中心線に対して、外径の定数倍の仮想外径を設定する(ステップS61)。 A virtual outer diameter is set for the center line of the created partial piping model as a constant multiple of the outer diameter (step S61).

図9は、仮想外径を設定した部分配管モデルの一例を示したものである。 Figure 9 shows an example of a partial piping model with a virtual outer diameter set.

本図においては、外径の1.5倍の仮想外径を設定している。部分配管モデルは、直管中心線71の周囲に、仮想外径を有する配管75が配置されたものである。 In this figure, the virtual outer diameter is set to 1.5 times the outer diameter. The partial piping model is a piping 75 with a virtual outer diameter arranged around a straight pipe center line 71.

ここで、中心線とは、3D画像の配管の断面の中心を結んだ線をいう。中心線は、配管の途中に設置されているバルブで切断されず、配管の端点である機器から別の端点の機器までを結ぶ線分である。なお、複数の線分が接続されたものを「折れ線」という。 Here, the center line refers to the line that connects the centers of the cross sections of the pipes in the 3D image. The center line is a line segment that is not cut by valves installed in the middle of the pipes, and connects one device at one end of the pipe to another device at the other end. Note that a line made up of multiple connected line segments is called a "broken line."

仮想外径を有する配管モデルを図7の3D画像上に配置し、仮想外径に含まれる点群の数をカウントする(ステップS62)。なお、外径を持った配管モデルの向きはアイソメ図を参考に、3D画像上の向きと合わせて配置する。 The piping model with the virtual outer diameter is placed on the 3D image of Figure 7, and the number of points included in the virtual outer diameter is counted (step S62). Note that the orientation of the piping model with the outer diameter is aligned with the orientation on the 3D image, with reference to the isometric drawing.

仮想外径を有する配管モデルを平行移動し、仮想外径に含まれる点群の数をカウントする(ステップS63)。 The piping model having the virtual outer diameter is translated, and the number of points included in the virtual outer diameter is counted (step S63).

対象となる空間を網羅的に探索し、点群の数が最も多い位置に配管モデルを配置する(ステップS64)。 The target space is comprehensively searched, and the piping model is placed at the position with the largest number of points (step S64).

点群の数が最も多くなる位置が複数個所ある場合、配管の仮想外径を所定の値ΔDだけ小さくし、対象となった複数個所で点群の数を比較し、点群の数が最も多い位置を特定する(ステップS65)。 If there are multiple locations where the number of point clouds is the largest, the virtual outer diameter of the pipe is reduced by a predetermined value ΔD, and the numbers of point clouds at the multiple target locations are compared to identify the location with the largest number of point clouds (step S65).

仮想外径が外径と等しくなるまでステップS65を繰り返す(ステップS66)。特定できなかった場合は、複数候補のいずれかに配置する。 Step S65 is repeated until the virtual outer diameter is equal to the outer diameter (step S66). If it cannot be identified, it is placed in one of the multiple candidates.

部分配管モデルが正しい位置にあれば、仮想外径のモデル内に点群化されたデータが全て入るため、点群の数が最大となる。 If the partial piping model is in the correct position, all point cloud data will be contained within the virtual outer diameter model, maximizing the number of point clouds.

なお、ここでは、仮想外径を持った円柱形の領域で点群をカウントしたが、断面を正方形とし、正方形の一辺の長さが配管の外径の定数倍となる直方体としてもよい。さらに、領域内の点群の数をカウントするのではなく、当該円柱または直方体を長手方向にN分割し、各分割した領域に点群があるかないかを判定する方法でもよい。言い換えると、部分配管モデル等の部分アセットCADモデルの所定の部位の仮想的な断面寸法(例えば、断面形状を正方形とした場合は、正方形の一辺の長さが配管の外径の定数倍となる直方体を仮定し、その一片の長さを仮想的な断面の代表寸法(すなわち仮想的な断面寸法)とする。)を設定し、断面寸法を有する部分アセットCADモデルを領域分割し、領域分割された断面寸法を有する部分アセットCADモデルの内部に包含される点群の数が最大となる位置を特定し、特定された当該位置に部分アセットCADモデルを配置する。 Here, the point cloud is counted in a cylindrical region having a virtual outer diameter, but the cross section may be a square, and the length of one side of the square may be a constant multiple of the outer diameter of the pipe. Furthermore, instead of counting the number of point clouds in the region, the cylinder or rectangular parallelepiped may be divided into N parts in the longitudinal direction, and the presence or absence of a point cloud in each divided region may be determined. In other words, the virtual cross-sectional dimensions of a specific portion of a partial asset CAD model such as a partial piping model are set (for example, if the cross-sectional shape is a square, a rectangular parallelepiped is assumed in which the length of one side of the square is a constant multiple of the outer diameter of the pipe, and the length of one side is set as the representative dimension of the virtual cross section (i.e., the virtual cross-sectional dimension)). The partial asset CAD model having the cross-sectional dimensions is divided into regions, and the position at which the number of point clouds contained inside the partial asset CAD model having the divided cross-sectional dimensions is maximized is identified, and the partial asset CAD model is placed at the identified position.

以上のステップを全ての部分アセットモデルについて繰り返すことにより、属性付きアセットCADモデル7を作成することができる。 By repeating the above steps for all partial asset models, an attributed asset CAD model 7 can be created.

図10は、本実施例で作成した属性付きアセットCADモデル7の例を示す斜視図である。 Figure 10 is an oblique view showing an example of an attributed asset CAD model 7 created in this embodiment.

以上のように、本実施例では、アイソメ図を活用することで、属性付きアセットCADモデル7を作成できた。これは、配管を支える配管サポートなどの構造物を除いたプラントの主要なモデルであり、従来の手作業によるモデル作成に比べて、効率よく3Dモデルが作成できる。 As described above, in this embodiment, an attributed asset CAD model 7 can be created by utilizing an isometric drawing. This is a main model of the plant excluding structures such as pipe supports that support the pipes, and a 3D model can be created more efficiently than the conventional manual model creation.

実施例2は、対象アセットが配管、バルブ、機器等で構成されるプラント設備の場合である。 Example 2 is a case where the target asset is a plant facility consisting of piping, valves, equipment, etc.

図11は、本実施例の三次元モデル作成支援システムの例を示す構成図である。 Figure 11 is a configuration diagram showing an example of a three-dimensional model creation support system in this embodiment.

本図においては、三次元モデル作成支援システムは、部分プラントCADモデル作成装置22と、バルブ/機器認識装置26と、3Dパターンマッチング装置27と、を含む。 In this diagram, the three-dimensional model creation support system includes a partial plant CAD model creation device 22, a valve/equipment recognition device 26, and a 3D pattern matching device 27.

配管アイソメ図データ21(配管斜視図データ)は、部分プラントCADモデル作成装置22で所定の処理に用いられる。部分プラントCADモデル23は、部分プラントCADモデル作成装置22で作成され、3Dパターンマッチング装置27で所定の処理に用いられる。2D/3D画像データ25(二次元/三次元画像データ)は、バルブ/機器認識装置26で所定の処理に用いられる。3Dパターンマッチング装置27は、部分プラントCADモデル23と、2D/3D画像データ25を用いてバルブ/機器認識装置26で処理されたデータとを用いて、属性付きプラントCADモデル28を作成する。属性付きプラントCADモデル28は、属性データベース24と連携している。 The piping isometric data 21 (piping perspective view data) is used for predetermined processing in the partial plant CAD model creation device 22. The partial plant CAD model 23 is created by the partial plant CAD model creation device 22 and is used for predetermined processing in the 3D pattern matching device 27. The 2D/3D image data 25 (two-dimensional/three-dimensional image data) is used for predetermined processing in the valve/equipment recognition device 26. The 3D pattern matching device 27 creates an attributed plant CAD model 28 using the partial plant CAD model 23 and data processed by the valve/equipment recognition device 26 using the 2D/3D image data 25. The attributed plant CAD model 28 is linked to the attribute database 24.

なお、実施例1においても、プラント設備を例としているため、実施例2は、実施例1と共通する部分が多い。異なる点は、2D/3D画像データ25、バルブ/機器認識装置26及び3Dパターンマッチング装置27である。以下では、これらについて更に説明する。 Note that, because Example 1 also uses a plant facility as an example, Example 2 has many commonalities with Example 1. The differences are the 2D/3D image data 25, the valve/equipment recognition device 26, and the 3D pattern matching device 27. These will be explained further below.

2D/3D画像データ25は、同じ部位を複数の角度から撮影した2D画像のデータと、それをもとに作成した3D画像のデータと、を含む。これらは、データベース等の記録媒体に保存されている。ここで、3D画像の各点のデータとともに、それらを作成する際に使用した2D画像のデータの対応関係も保存されている。なお、2D画像データは、画像ファイル名と、その画像ファイル上の二次元座標の形式とを含む。 The 2D/3D image data 25 includes 2D image data of the same part photographed from multiple angles, and 3D image data created based on the 2D images. These are stored in a recording medium such as a database. Here, along with the data of each point in the 3D images, the corresponding relationship of the 2D image data used to create them is also stored. The 2D image data includes the image file name and the format of the two-dimensional coordinates on the image file.

図12は、複数の2D画像から3D画像を作成する例を示したものである。 Figure 12 shows an example of creating a 3D image from multiple 2D images.

本図においては、N枚の2D画像から3D画像を作成している。 In this diagram, a 3D image is created from N 2D images.

バルブ/機器認識装置26は、プラントの2D画像または3D画像からバルブ及び機器を認識し、認識したバルブ及び機器の位置情報を取得する。本実施例では、2D画像を用いてバルブを認識した。 The valve/equipment recognition device 26 recognizes valves and equipment from 2D or 3D images of the plant and obtains position information of the recognized valves and equipment. In this embodiment, the valves were recognized using 2D images.

以下に、具体的な手順を示す。 The specific steps are shown below.

利用した2D画像からバルブ及び機器を認識する(ステップS251)。画像の物体を認識する方法には、広く利用されている深層学習を利用した。事前にバルブ及び機器の画像を学習させることで、全ての2D画像からバルブ及び機器の画像を特定することができる。 Valves and equipment are recognized from the 2D images used (step S251). The widely used method of recognizing objects in the images is deep learning. By learning images of valves and equipment in advance, images of valves and equipment can be identified from all 2D images.

2D/3D画像データ25に保存されている3D画像と2D画像の対応関係を利用し、2D画像上で特定したバルブおよび機器の画像に対応する3D画像を特定する(ステップS252)。 Using the correspondence between the 3D images and the 2D images stored in the 2D/3D image data 25, a 3D image corresponding to the image of the valve and equipment identified on the 2D image is identified (step S252).

なお、あるバルブの3D画像に対応する2D画像は、複数の画像ファイルにまたがっている。そして、3D画像の点と2D画像の点が1対1に対応しているわけではない。したがって、ある2D画像データにおいて認識されたバルブ画像のうち、3D画像に対応している画素は、一部に限定される。しかしながら、3D画像の作成に利用したすべての2D画像でバルブおよび機器を認識し、対応する3D画像を特定することで、3D画像中のバルブの3D画像を特定できる。なお、対応する3D画像を見つける方法としては、全ての3D画像の点について、対応する2D画像がステップS251で特定された領域に入っているか否かを判定する方法でもよい。 Note that the 2D images corresponding to the 3D image of a certain valve are spread across multiple image files. Furthermore, there is not a one-to-one correspondence between points in the 3D image and points in the 2D image. Therefore, among the pixels of the valve image recognized in a certain 2D image data, only a portion of the pixels correspond to the 3D image. However, by recognizing the valve and equipment in all 2D images used to create the 3D image and identifying the corresponding 3D image, it is possible to identify the 3D image of the valve in the 3D image. Note that a method of finding the corresponding 3D image may be a method of determining whether the corresponding 2D image is within the area identified in step S251 for all points of the 3D image.

3D画像上で特定されたバルブおよび機器の座標データからバルブおよび機器の位置情報を求める(ステップS253)。 The position information of the valves and equipment is obtained from the coordinate data of the valves and equipment identified on the 3D image (step S253).

図13は、バルブとして認識された3D画像を示す斜視図である。 Figure 13 is a perspective view showing a 3D image recognized as a valve.

本図においては、バルブを包含する部位を破線の直方体110で示している。機器についても同様に直方体で示すようにしてもよい。 In this diagram, the area containing the valve is shown as a dashed rectangular parallelepiped 110. Equipment may also be shown as a similar rectangular parallelepiped.

なお、3D画像には複数のバルブおよび機器が含まれるため、ステップS252で特定された3D画像を個別のバルブ及び機器に分離する必要がある。本実施例では、特定された点群の間隔が閾値以内で連続しているものを1つのバルブまたは機器として分離した。 Note that since the 3D image contains multiple valves and equipment, it is necessary to separate the 3D image identified in step S252 into individual valves and equipment. In this embodiment, the identified point clouds that are continuous and have an interval within a threshold are separated as a single valve or equipment.

また、本処理により作成した直方体の体積があらかじめ定めた閾値よりも小さいものは、バルブおよび機器の位置情報からは除外した。この処理により、ステップS252でバルブまたは機器と誤認識したデータを削除することができる。 In addition, any rectangular parallelepipeds created by this process whose volumes are smaller than a predetermined threshold value are excluded from the position information of valves and equipment. This process makes it possible to delete data that was mistakenly recognized as a valve or equipment in step S252.

以上の方法により、バルブ及び機器の三次元上での位置情報が取得できる。 By using the above method, it is possible to obtain three-dimensional position information for valves and equipment.

なお、本実施例では、2D画像を利用してバルブおよび機器を認識したが、3D画像のみを利用してこれらを認識してもよい。すなわち、3D画像を様々な位置を視点とした複数の2D画像を活用してステップS252の処理を実施してもよい。また、教師データとして、バルブ及び機器の3Dデータが十分にある場合は、三次元の形状認識によりバルブ及び機器を特定してもよい、
次に、3Dパターンマッチング装置27について説明する。
In this embodiment, the valves and equipment are recognized using 2D images, but they may be recognized using only 3D images. In other words, the process of step S252 may be performed using multiple 2D images of the 3D images taken from various viewpoints. In addition, if there is sufficient 3D data of the valves and equipment as training data, the valves and equipment may be identified by three-dimensional shape recognition.
Next, the 3D pattern matching device 27 will be described.

3Dパターンマッチング装置27では、バルブ/機器認識装置26で求めたバルブ及び機器の位置情報を用いて、部分プラントCADモデル23が3D画像上のどの位置に対応するかを判定する。バルブ及び機器の位置情報を用いることで、探索範囲を大幅に短縮することができる。 The 3D pattern matching device 27 uses the position information of the valves and equipment obtained by the valve/equipment recognition device 26 to determine which position on the 3D image the partial plant CAD model 23 corresponds to. By using the position information of the valves and equipment, the search range can be significantly shortened.

具体的な処理手順を以下に示す。なお、配管アイソメ図データ21としては、図2を用い、部分プラントCADモデル23としては、図5を用いる。 The specific processing procedure is shown below. Note that Figure 2 is used as the piping isometric data 21, and Figure 5 is used as the partial plant CAD model 23.

まず、バルブ/機器認識装置26により求めたバルブ及び機器の位置情報を3D画像上に配置する(ステップS261)。 First, the position information of the valves and equipment obtained by the valve/equipment recognition device 26 is placed on the 3D image (step S261).

図14は、バルブ及び機器を配置した結果を示す斜視図である。 Figure 14 is a perspective view showing the arrangement of the valves and equipment.

本図においては、タンク121、バルブ122、123、124、125及びポンプ126、127の位置情報が表示されている。 In this diagram, the position information of tank 121, valves 122, 123, 124, 125, and pumps 126, 127 is displayed.

次に、部分プラントCADモデル23より取得可能なバルブ及び機器の相対位置を求める(ステップS262)。図2の例では、2つのバルブVG-01-50及びVG-02-50の配置位置(配管中心線上の点)について、VG-01-50を基準点(0,0,0)とした場合、VG-02-50は(0,2400,0)となる。 Next, the relative positions of the valves and equipment that can be obtained from the partial plant CAD model 23 are obtained (step S262). In the example of FIG. 2, for the placement positions (points on the piping center line) of the two valves VG-01-50 and VG-02-50, if VG-01-50 is set as the reference point (0,0,0), then VG-02-50 is (0,2400,0).

ここでは、ステップS261で求めたバルブ及び機器の位置情報と、ステップS262で求めたバルブ及び機器の相対位置情報とを用いて、部分プラントモデルのパターンマッチングの探索範囲を絞り込む(ステップS263)。言い換えると、パターンマッチングの範囲を限定する。 Here, the search range for pattern matching of the partial plant model is narrowed down using the position information of the valves and devices obtained in step S261 and the relative position information of the valves and devices obtained in step S262 (step S263). In other words, the range of pattern matching is limited.

本例では、図14に示すように、バルブが配置される可能性がある領域は、バルブ122、123、124、125の領域である。また、ステップS262より、2つのバルブの相対位置がy軸方向に2400mm離れている必要がある。したがって、V1の座標(X1,Y1,Z1)をバルブ122、123、124、125の全領域で変化させ、(X1,Y1+2400,Z)がバルブ122、123、124、125の領域に含まれる条件のみが探索の範囲となる。 In this example, as shown in FIG. 14, the area in which the valves may be placed is the area of valves 122, 123, 124, and 125. Furthermore, step S262 dictates that the relative positions of the two valves must be 2400 mm apart in the y-axis direction. Therefore, the coordinates (X1, Y1, Z1) of V1 are changed throughout the entire area of valves 122, 123, 124, and 125, and only conditions where (X1, Y1 + 2400, Z) is included in the area of valves 122, 123, 124, and 125 are included in the range of the search.

ステップS263で求めた探索範囲に限定し、実施例1で利用したマッチング方法と同様に、図9に示す仮想外径を設定し、仮想外径を有する配管75の内部に包含される点群の数が最大となる位置を特定する(ステップS264)。 The search range is limited to that determined in step S263, and in the same manner as the matching method used in Example 1, a virtual outer diameter shown in FIG. 9 is set, and the position at which the number of points contained within the interior of the pipe 75 having the virtual outer diameter is maximized is identified (step S264).

なお、次の場合には、更に探索範囲を絞り込むことが可能である。 In addition, it is possible to further narrow the search range in the following cases:

図15は、図2のアイソメ図に配管の接続先の情報が付加されている例を示したものである。 Figure 15 shows an example in which information about the pipe connection destination has been added to the isometric drawing in Figure 2.

図15に示すように、配管の接続先に機器情報がある場合は、ステップS262でバルブ及び機器の相対位置情報も取得できるため、ステップS263で更に探索範囲を絞り込むことが可能である。 As shown in FIG. 15, if there is equipment information at the destination of the pipe connection, the relative position information of the valve and the equipment can also be obtained in step S262, so that the search range can be further narrowed down in step S263.

なお、実施例1及び実施例2においては、パターンマッチングの方法として、図9に示す仮想外径を用いる方法を示しているが、これとは異なる方法もあり得る。 Note that in Examples 1 and 2, a method using the virtual outer diameter shown in FIG. 9 is shown as a pattern matching method, but other methods are also possible.

図16は、配管モデルの断面形状に対応する点群を示したものである。 Figure 16 shows the point cloud corresponding to the cross-sectional shape of the piping model.

本図に示すように、配管モデルの断面の輪郭140と点群141との距離について統計的手法により誤差が最小となるようにマッチングしてもよい。統計的手法としては、最小二乗法等を用いることができる。 As shown in this figure, the distance between the contour 140 of the cross section of the piping model and the point cloud 141 may be matched using a statistical method to minimize the error. The statistical method may be the least squares method, etc.

なお、配管に保温材が巻かれている場合には、保温材を含む配管の外表面の形状を輪郭140としてマッチングしてもよい。 In addition, if the pipe is wrapped with insulation, the shape of the outer surface of the pipe including the insulation may be matched as the contour 140.

以上の実施例で示したように、バルブ及び機器の位置情報を活用することにより、効率よく部分プラントモデルの位置を特定することができ、少ない工数で属性付きプラントCADモデル28を作成することができる。 As shown in the above examples, by utilizing the position information of valves and equipment, the position of the partial plant model can be efficiently identified, and an attributed plant CAD model 28 can be created with a small number of steps.

1:アセットアイソメ図データ、2:部分アセットCADモデル作成装置、3:部分アセットCADモデル、4:属性データベース、5:3D画像データ、6:3Dアセットパターンマッチング装置、7:属性付きアセットCADモデル、11:配管、12a:タンク、12b:ポンプ、13:バルブ、21:配管アイソメ図データ、22:部分プラントCADモデル作成装置、23:部分プラントCADモデル、24:属性データベース、25:2D/3D画像データ、26:バルブ/機器認識装置、27:3Dパターンマッチング装置、28:属性付きプラントCADモデル、71:直管中心線、75:配管。 1: Asset isometric data, 2: Partial asset CAD model creation device, 3: Partial asset CAD model, 4: Attribute database, 5: 3D image data, 6: 3D asset pattern matching device, 7: Asset CAD model with attributes, 11: Piping, 12a: Tank, 12b: Pump, 13: Valve, 21: Piping isometric data, 22: Partial plant CAD model creation device, 23: Partial plant CAD model, 24: Attribute database, 25: 2D/3D image data, 26: Valve/equipment recognition device, 27: 3D pattern matching device, 28: Plant CAD model with attributes, 71: Straight pipe centerline, 75: Piping.

Claims (9)

アセットの一部を示す斜視図のデータを用いて属性データを有する部分アセットCADモデルを作成する部分アセットCADモデル作成装置と、
前記部分アセットCADモデルと前記アセットの三次元画像とのパターンマッチングにより前記部分アセットCADモデルの位置を特定し、前記部分アセットCADモデルを三次元空間上に配置することにより、属性付きアセットCADモデルを作成する三次元パターンマッチング装置と、を含む、三次元モデル作成支援システム。
a partial asset CAD model creation device that creates a partial asset CAD model having attribute data by using data of a perspective view showing a part of an asset;
a three-dimensional pattern matching device that identifies a position of the partial asset CAD model by pattern matching between the partial asset CAD model and a three-dimensional image of the asset, and creates an attributed asset CAD model by placing the partial asset CAD model in a three-dimensional space.
前記属性データと前記アセットの部位の管理番号とを有する属性データベースを更に含み、
前記部分アセットCADモデル作成装置は、前記斜視図に表示されている管理番号を取得し、前記属性データベースから前記部位の前記管理番号に関連付けられている前記属性データを取得し、前記部分アセットCADモデルに付加する、請求項1記載の三次元モデル作成支援システム。
further comprising an attribute database having the attribute data and a management number of the part of the asset;
2. The three-dimensional model creation support system according to claim 1, wherein the partial asset CAD model creation device obtains a management number displayed in the oblique view, obtains the attribute data associated with the management number of the part from the attribute database, and adds the attribute data to the partial asset CAD model.
前記部分アセットCADモデル作成装置は、前記斜視図に表示されている寸法線から寸法を取得し、前記寸法に従い前記部分アセットCADモデルを作成する、請求項1記載の三次元モデル作成支援システム。 The three-dimensional model creation support system according to claim 1, wherein the partial asset CAD model creation device obtains dimensions from dimension lines displayed in the oblique view and creates the partial asset CAD model according to the dimensions. 前記三次元パターンマッチング装置は、前記部分アセットCADモデルの仮想外径を設定し、前記仮想外径を有する前記部分アセットCADモデルの内部に包含される点群の数が最大となる位置を特定し、特定された前記位置に前記部分アセットCADモデルを配置する、請求項1記載の三次元モデル作成支援システム。 The three-dimensional model creation support system according to claim 1, wherein the three-dimensional pattern matching device sets a virtual outer diameter of the partial asset CAD model, identifies a position where the number of points contained inside the partial asset CAD model having the virtual outer diameter is the largest, and places the partial asset CAD model at the identified position. 前記三次元パターンマッチング装置は、前記部分アセットCADモデルの所定の部位の仮想的な断面寸法を設定し、前記断面寸法を有する前記部分アセットCADモデルを領域分割し、領域分割された前記断面寸法を有する前記部分アセットCADモデルの内部に包含される点群の数が最大となる位置を特定し、特定された前記位置に前記部分アセットCADモデルを配置する、請求項1記載の三次元モデル作成支援システム。 The three-dimensional model creation support system according to claim 1, wherein the three-dimensional pattern matching device sets virtual cross-sectional dimensions of a predetermined portion of the partial asset CAD model, divides the partial asset CAD model having the cross-sectional dimensions into regions, identifies a position where the number of points contained within the divided partial asset CAD model having the cross-sectional dimensions is the largest, and places the partial asset CAD model at the identified position. 前記三次元パターンマッチング装置は、前記部分アセットCADモデルの所定の部位の仮想的な断面寸法を設定し、前記断面寸法を有する前記部分アセットCADモデルの断面の輪郭と点群との距離についての誤差が最小となる位置を特定し、特定された前記位置に前記部分アセットCADモデルを配置する、請求項1記載の三次元モデル作成支援システム。 The three-dimensional model creation support system of claim 1, wherein the three-dimensional pattern matching device sets virtual cross-sectional dimensions of a predetermined portion of the partial asset CAD model, identifies a position where an error in the distance between the outline of the cross-section of the partial asset CAD model having the cross-sectional dimensions and the point cloud is minimized, and places the partial asset CAD model at the identified position. 配管と、バルブ及び機器のうちの少なくともいずれか一つとを備えたアセットの一部を示す斜視図のデータを用いて属性データを有する部分アセットCADモデルを作成する部分アセットCADモデル作成装置と、
前記アセットの二次元画像又は三次元画像のデータから前記バルブ及び前記機器の位置情報を取得するバルブ/機器認識装置と、
前記部分アセットCADモデルと前記アセットの三次元画像とのパターンマッチングにより前記部分アセットCADモデルの位置を特定し、前記部分アセットCADモデルを三次元空間上に配置することにより、属性付きアセットCADモデルを作成する三次元パターンマッチング装置と、を含み、
前記三次元パターンマッチング装置は、前記バルブ/機器認識装置により取得された前記バルブ及び前記機器の前記位置情報と、前記部分アセットCADモデルから取得された前記バルブ及び前記機器の相対位置情報から前記パターンマッチングの範囲を限定する、三次元モデル作成支援システム。
a partial asset CAD model creation device that creates a partial asset CAD model having attribute data by using data of a perspective view showing a part of an asset including at least one of a piping and a valve and a device;
A valve/equipment recognition device that acquires position information of the valve and the equipment from two-dimensional or three-dimensional image data of the asset;
a three-dimensional pattern matching device that identifies a position of the partial asset CAD model by pattern matching between the partial asset CAD model and a three-dimensional image of the asset, and creates an attributed asset CAD model by arranging the partial asset CAD model in a three-dimensional space;
The three-dimensional pattern matching device is a three-dimensional model creation support system that limits the range of the pattern matching from the position information of the valve and the equipment acquired by the valve/equipment recognition device and the relative position information of the valve and the equipment acquired from the partial asset CAD model.
コンピュータに、
アセットの一部を示す斜視図のデータを用いて属性データを有する部分アセットCADモデルを作成する手順と、
前記部分アセットCADモデルと前記アセットの三次元画像とのパターンマッチングにより前記部分アセットCADモデルの位置を特定し、前記部分アセットCADモデルを三次元空間上に配置することにより、属性付きアセットCADモデルを作成する手順と、を実行させるためのプログラム。
On the computer,
A step of creating a partial asset CAD model having attribute data using data of a perspective view showing a part of an asset;
A program for executing a procedure of identifying the position of the partial asset CAD model by pattern matching between the partial asset CAD model and a three-dimensional image of the asset, and creating an attributed asset CAD model by placing the partial asset CAD model in a three-dimensional space.
コンピュータに、
アセットの一部を示す斜視図のデータを用いて属性データを有する部分アセットCADモデルを作成する手順と、
前記部分アセットCADモデルと前記アセットの三次元画像とのパターンマッチングにより前記部分アセットCADモデルの位置を特定し、前記部分アセットCADモデルを三次元空間上に配置することにより、属性付きアセットCADモデルを作成する手順と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
On the computer,
A step of creating a partial asset CAD model having attribute data using data of a perspective view showing a part of an asset;
A computer-readable recording medium having recorded thereon a program for executing a procedure for identifying the position of the partial asset CAD model by pattern matching between the partial asset CAD model and a three-dimensional image of the asset, and creating an attributed asset CAD model by placing the partial asset CAD model in a three-dimensional space.
JP2021089879A 2021-05-28 2021-05-28 Three-dimensional model creation support system, program and recording medium Active JP7651375B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021089879A JP7651375B2 (en) 2021-05-28 2021-05-28 Three-dimensional model creation support system, program and recording medium
PCT/JP2022/008782 WO2022249617A1 (en) 2021-05-28 2022-03-02 Three-dimensional model generation support system, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021089879A JP7651375B2 (en) 2021-05-28 2021-05-28 Three-dimensional model creation support system, program and recording medium

Publications (2)

Publication Number Publication Date
JP2022182362A JP2022182362A (en) 2022-12-08
JP7651375B2 true JP7651375B2 (en) 2025-03-26

Family

ID=84228575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021089879A Active JP7651375B2 (en) 2021-05-28 2021-05-28 Three-dimensional model creation support system, program and recording medium

Country Status (2)

Country Link
JP (1) JP7651375B2 (en)
WO (1) WO2022249617A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7818339B2 (en) * 2023-01-24 2026-02-20 株式会社日立製作所 Model creation system and model creation method
KR102772935B1 (en) * 2023-06-01 2025-02-28 주식회사 케이씨 Automatic gas supply system comprising mobile robot
CN117635837B (en) * 2023-12-04 2024-07-05 壹仟零壹艺数智(北京)科技有限公司 Quick three-dimensional method and system for two-dimensional CAD drawing data
JP7797043B1 (en) * 2024-08-02 2026-01-13 ジオ・サーチ株式会社 Model generation device, model generation method, and model generation program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014174708A (en) 2013-03-08 2014-09-22 Hitachi-Ge Nuclear Energy Ltd Design support apparatus and design support method
WO2016088553A1 (en) 2014-12-01 2016-06-09 株式会社日立製作所 3d model creation assistance system and method
JP2020204806A (en) 2019-06-14 2020-12-24 日立Geニュークリア・エナジー株式会社 Measurement support device and measurement support method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014174708A (en) 2013-03-08 2014-09-22 Hitachi-Ge Nuclear Energy Ltd Design support apparatus and design support method
WO2016088553A1 (en) 2014-12-01 2016-06-09 株式会社日立製作所 3d model creation assistance system and method
JP2020204806A (en) 2019-06-14 2020-12-24 日立Geニュークリア・エナジー株式会社 Measurement support device and measurement support method

Also Published As

Publication number Publication date
JP2022182362A (en) 2022-12-08
WO2022249617A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
JP7651375B2 (en) Three-dimensional model creation support system, program and recording medium
JP6091560B2 (en) Image analysis method
US20150006126A1 (en) Method for Fitting Primitive Shapes to 3D Point Clouds Using Distance Fields
US9916521B2 (en) Depth normalization transformation of pixels
CN110019912B (en) Shape-based graph search
US9551579B1 (en) Automatic connection of images using visual features
JP7820316B2 (en) Systems and methods for air-to-ground alignment
CN104637090A (en) Indoor scene modeling method based on single picture
US20170059306A1 (en) Point cloud systems and methods
JP2002024306A (en) An analysis model data creation method and apparatus, and a recording medium recording an analysis model data creation program.
Ahn et al. Computing the discrete Fréchet distance with imprecise input
CN113592015A (en) Method and device for positioning and training feature matching network
Manuel et al. A hybrid approach for the semantic annotation of spatially oriented images
JP7641179B2 (en) Three-dimensional model creation support system, program and recording medium
US20220245882A1 (en) Semi-automatic 3d scene optimization with user-provided constraints
Meidow et al. Obtaining as-built models of manufacturing plants from point clouds
US12007962B2 (en) Data management system and management method
Budianti et al. Background blurring and removal for 3d modelling of cultural heritage objects
Chan et al. F-sort: An alternative for faster geometric verification
JP6725310B2 (en) Image processing device and program
Bassier et al. Panoramic image application for cultural heritage
KR101364375B1 (en) System and method for extracting a specific object from 3d data
KR20230077841A (en) Method, apparatus and system for searching and providing shape relationship information of 3 dimensional model
CN115170436A (en) Based on L 0 Norm minimized point cloud color denoising method
KR100782152B1 (en) A method of acquiring three-dimensional data of a building from aerial photographs DX to produce a three-dimensional digital map

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250313

R150 Certificate of patent or registration of utility model

Ref document number: 7651375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150