Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7838563B2 - Inspection support system, inspection support device, inspection support method, and program - Google Patents
[go: Go Back, main page]

JP7838563B2 - Inspection support system, inspection support device, inspection support method, and program - Google Patents

Inspection support system, inspection support device, inspection support method, and program

Info

Publication number
JP7838563B2
JP7838563B2 JP2023196643A JP2023196643A JP7838563B2 JP 7838563 B2 JP7838563 B2 JP 7838563B2 JP 2023196643 A JP2023196643 A JP 2023196643A JP 2023196643 A JP2023196643 A JP 2023196643A JP 7838563 B2 JP7838563 B2 JP 7838563B2
Authority
JP
Japan
Prior art keywords
inspection
equipment
point cloud
inspection support
support information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023196643A
Other languages
Japanese (ja)
Other versions
JP2025083017A (en
Inventor
隆輔 今井
卓馬 大久保
雅佳 町田
雅彦 太田
樹音 折原
斗身 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2023196643A priority Critical patent/JP7838563B2/en
Publication of JP2025083017A publication Critical patent/JP2025083017A/en
Application granted granted Critical
Publication of JP7838563B2 publication Critical patent/JP7838563B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Testing And Monitoring For Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Description

本開示は、点検支援システム、点検支援装置、点検支援方法、及び、プログラムに関する。 This disclosure relates to an inspection support system, an inspection support device, an inspection support method, and a program.

特許文献1は、橋梁やトンネルなどのインフラ設備を撮影した高解像度画像に基づいて当該インフラ設備の変状を検出すること、検出した変状の進展度合を判定すること、判定結果に基づいて優先度を算出すること、算出した優先度に応じて当該変状を覆う矩形領域の外枠の色の濃度、色の彩度を変更して出力表示すること、を開示している。 Patent Document 1 discloses a method for detecting deformation of infrastructure facilities such as bridges and tunnels based on high-resolution images of the infrastructure, determining the degree of progression of the detected deformation, calculating a priority based on the determination result, and displaying the output by changing the color density and color saturation of the outer frame of the rectangular area covering the deformation according to the calculated priority.

特開2022-139903号公報Japanese Patent Publication No. 2022-139903

ところで、本願発明者らは、LiDAR装置(Light Detection And Ranging)を用いて点検対象であるインフラ設備の外観を示すLiDAR点群を生成し、当該LiDAR点群を解析することによってインフラ設備の障害を検出することを開発している。上記のLiDAR点群の解析結果だけではすべての障害を検出することができないという問題がある。この問題を解決するには、作業員が現場にて目視による点検を行うことが求められている。作業員による点検作業の効率化、及び、点検品質の均一化が喫緊の課題となっている。 Incidentally, the inventors of this application have developed a method for detecting infrastructure equipment failures by generating a LiDAR point cloud showing the external appearance of the infrastructure equipment being inspected using a LiDAR (Light Detection and Ranging) device, and then analyzing this LiDAR point cloud. However, there is a problem: the analysis results of the LiDAR point cloud alone cannot detect all failures. To solve this problem, on-site visual inspections by workers are required. Improving the efficiency of these inspections and ensuring consistent inspection quality are urgent issues.

本開示の目的は、作業員による点検作業の効率化、及び、点検品質の均一化を実現する技術を提供することにある。 The purpose of this disclosure is to provide technology that improves the efficiency of inspection work performed by workers and ensures consistent inspection quality.

設備の外観を示す設備点群を取得する設備点群取得手段と、
前記設備点群のうち目視による点検対象に対応する点検点群を強調表示することを示す点検支援情報を生成する点検支援情報生成手段と、
前記設備点群を前記点検支援情報と共に情報端末に出力する出力手段と、
を含む、
点検支援システムが提供される。
A means for acquiring point cloud data of equipment that shows the external appearance of the equipment,
An inspection support information generation means generates inspection support information indicating that the inspection point group corresponding to the object to be visually inspected will be highlighted from the equipment point group,
Output means for outputting the equipment point cloud together with the inspection support information to an information terminal,
including,
An inspection support system will be provided.

設備の外観を示す設備点群を取得する設備点群取得手段と、
前記設備点群のうち目視による点検対象に対応する点検点群を強調表示することを示す点検支援情報を生成する点検支援情報生成手段と、
前記設備点群を前記点検支援情報と共に情報端末に出力する出力手段と、
を含む、
点検支援装置が提供される。
A means for acquiring point cloud data of equipment that shows the external appearance of the equipment,
An inspection support information generation means generates inspection support information indicating that the inspection point group corresponding to the object to be visually inspected will be highlighted from the equipment point group,
Output means for outputting the equipment point cloud together with the inspection support information to an information terminal,
including,
An inspection support device will be provided.

設備の外観を示す設備点群を取得し、
前記設備点群のうち目視による点検対象に対応する点検点群を強調表示することを示す点検支援情報を生成し、
前記設備点群を前記点検支援情報と共に情報端末に出力する、
点検支援方法が提供される。
We acquire a point cloud showing the external appearance of the equipment.
The system generates inspection support information indicating that the inspection point cloud corresponding to the object to be visually inspected will be highlighted from the aforementioned equipment point cloud.
The equipment point cloud is output to the information terminal along with the inspection support information.
Inspection support methods will be provided.

本開示によれば、作業員による点検作業の効率化、及び、点検品質の均一化を実現することができる。 This disclosure makes it possible to improve the efficiency of inspection work performed by workers and to standardize inspection quality.

点検支援システムのブロック図である。This is a block diagram of the inspection support system. 点検支援システムの構成概略図である。This is a schematic diagram of the inspection support system configuration. 点検支援装置のブロック図である。This is a block diagram of the inspection support device. 測距点データのデータ構造図である。This is a data structure diagram of the distance measurement point data. 点検支援データベースのデータ構造図である。This is a data structure diagram of the inspection support database. 情報端末のブロック図である。This is a block diagram of an information terminal. 点検支援装置の制御フローである。This is the control flow for the inspection support device. 点検支援装置が備える処理回路をプロセッサ及びメモリで構成する場合を示す図である。This diagram shows a case where the processing circuit of an inspection support device is composed of a processor and memory. 点検支援装置が備える処理回路を専用のハードウェアで構成する場合を示す図である。This diagram shows a case where the processing circuit of the inspection support device is configured with dedicated hardware.

(本開示の概要)
以下、本開示の概要を説明する。図1は、点検支援システムのブロック図である。
(Summary of this disclosure)
The following is an overview of this disclosure. Figure 1 is a block diagram of the inspection support system.

図1に示すように、点検支援システム100は、設備点群取得手段101、点検支援情報生成手段102、出力手段103を含む。 As shown in Figure 1, the inspection support system 100 includes equipment point cloud acquisition means 101, inspection support information generation means 102, and output means 103.

設備点群取得手段101は、設備の外観を示す設備点群を取得する。 The equipment point cloud acquisition means 101 acquires an equipment point cloud showing the external appearance of the equipment.

点検支援情報生成手段102は、前記設備点群のうち目視による点検対象に対応する点検点群を強調表示することを示す点検支援情報を生成する。 The inspection support information generation means 102 generates inspection support information indicating that the inspection point cloud corresponding to the visually inspected object will be highlighted from the equipment point cloud.

出力手段103は、前記設備点群を前記点検支援情報と共に情報端末に出力する。 The output means 103 outputs the equipment point cloud along with the inspection support information to the information terminal.

以上の構成によれば、作業員が情報端末を通じて一部が強調表示された前記設備点群を閲覧することで、作業員による点検作業の効率化、及び、点検品質の均一化が実現される。 With the above configuration, workers can view the equipment point cloud, with some parts highlighted, via an information terminal, thereby improving the efficiency of inspection work and ensuring consistent inspection quality.

(実施形態)
次に、本開示の実施形態を説明する。図2は、点検支援システム1のブロック図である。図2に示すように、点検支援システム1は、インフラ設備2を測距するLiDAR装置3と、点検支援装置4、情報端末5を含む。
(Embodiment)
Next, embodiments of the present disclosure will be described. Figure 2 is a block diagram of the inspection support system 1. As shown in Figure 2, the inspection support system 1 includes a LiDAR device 3 for measuring the distance of infrastructure equipment 2, an inspection support device 4, and an information terminal 5.

インフラ設備2は、典型的には、変電所や工場、データセンターである。 Infrastructure facilities 2 typically include substations, factories, and data centers.

LiDAR装置3は、インフラ設備2をセンシングして設備点群を生成するセンシング手段の一具体例である。本実施形態のLiDAR装置3は、直接ToF(Time of Flight)方式である。即ち、LiDAR装置3は、インフラ設備2に向けてレーザ光を出射し、その反射光を受光するまでに要する時間を計測することで、インフラ設備2の外観の点群(point cloud)を生成する。しかし、これに代えて、LiDAR装置3は、インフラ設備2に向けて出射するレーザ光と、その反射光と、の周波数差に基づいて上記の点群を生成するFMCW(Frequency Modulated Continuous Wave)方式であってもよい。また、LiDAR装置3は、インフラ設備2に向けて出射するレーザ光と、その反射光と、の位相差に基づいて上記の点群を生成する間接ToF方式であってもよい。LiDAR装置3は、生成した設備点群を点検支援装置4に出力する。 The LiDAR device 3 is a specific example of a sensing means that senses infrastructure equipment 2 and generates a point cloud of the equipment. The LiDAR device 3 in this embodiment uses a direct ToF (Time of Flight) method. That is, the LiDAR device 3 emits laser light toward the infrastructure equipment 2 and measures the time required from the emission of the laser light to the reception of the reflected light, thereby generating a point cloud of the infrastructure equipment 2's appearance. However, alternatively, the LiDAR device 3 may use an FMCW (Frequency Modulated Continuous Wave) method, generating the point cloud based on the frequency difference between the laser light emitted toward the infrastructure equipment 2 and its reflected light. Alternatively, the LiDAR device 3 may use an indirect ToF method, generating the point cloud based on the phase difference between the laser light emitted toward the infrastructure equipment 2 and its reflected light. The LiDAR device 3 outputs the generated point cloud to the inspection support device 4.

なお、センシング手段は、LiDAR装置に限らない。センシング手段は、インフラ設備2をセンシング可能なものであれば任意の装置を採用し得る。例えば、センシング手段は、Radar装置(Radio Detection And Ranging)、超音波センサ、ステレオカメラ、又は、それらの組み合わせにより点群を生成するように構成してもよい。また、センシング手段は、インフラ設備2を撮像して得た複数の二次元画像からSfM(Structure from Motion)により点群を生成するように構成してもよい。 Furthermore, the sensing means is not limited to a LiDAR device. Any device capable of sensing the infrastructure equipment 2 can be used as the sensing means. For example, the sensing means may be configured to generate a point cloud using a radar device (Radio Detection and Ranging), an ultrasonic sensor, a stereo camera, or a combination thereof. Alternatively, the sensing means may be configured to generate a point cloud using SfM (Structure from Motion) from multiple two-dimensional images obtained by imaging the infrastructure equipment 2.

点検支援装置4は、点検支援システム及び点検支援装置の一具体例である。図3は、点検支援装置4のブロック図を示している。図4に示すように、点検支援装置4は、設備点群取得部10、設備点群記憶部11、点検支援情報生成部12、点検支援情報記憶部13、点検支援データベース記憶部14、変状検出部15、点群削減部16、出力部17、を含む。 The inspection support device 4 is a specific example of an inspection support system and inspection support device. Figure 3 shows a block diagram of the inspection support device 4. As shown in Figure 4, the inspection support device 4 includes an equipment point cloud acquisition unit 10, an equipment point cloud storage unit 11, an inspection support information generation unit 12, an inspection support information storage unit 13, an inspection support database storage unit 14, an abnormality detection unit 15, a point cloud reduction unit 16, and an output unit 17.

設備点群取得部10は、LiDAR装置3からインフラ設備2の外観を示す設備点群を取得する。設備点群取得部10は、取得した設備点群を設備点群記憶部11に記憶する。図4は、設備点群のデータ構造を示している。図4に示すように、設備点群は、複数の測距点データで構成されている。各測距点データは、測距点No.と座標データで構成されている。 The equipment point cloud acquisition unit 10 acquires an equipment point cloud showing the external appearance of the infrastructure equipment 2 from the LiDAR device 3. The equipment point cloud acquisition unit 10 stores the acquired equipment point cloud in the equipment point cloud storage unit 11. Figure 4 shows the data structure of the equipment point cloud. As shown in Figure 4, the equipment point cloud consists of multiple distance measurement point data. Each distance measurement point data consists of a distance measurement point number and coordinate data.

設備点群取得部10は、設備点群をインフラ設備2の設計図面に基づいて補完してもよい。例えば、設備点群取得部10は、LiDAR装置3の不具合で設備点群の一部を取得できなかった場合、取得できなかった部分をインフラ設備2の設計図面に基づいて補完し得る。 The equipment point cloud acquisition unit 10 may supplement the equipment point cloud based on the design drawings of the infrastructure equipment 2. For example, if the equipment point cloud acquisition unit 10 is unable to acquire part of the equipment point cloud due to a malfunction of the LiDAR device 3, it can supplement the unacquired portion based on the design drawings of the infrastructure equipment 2.

図3に戻り、点検支援情報生成部12は、点検支援情報30を生成する。点検支援情報30は、作業員がインフラ設備2にて目視による点検作業を行う際、作業員による点検作業の効率化、及び、点検品質の均一化を実現することを目的とした情報である。 Returning to Figure 3, the inspection support information generation unit 12 generates inspection support information 30. The inspection support information 30 is intended to improve the efficiency of inspection work and ensure consistent inspection quality when workers perform visual inspections of infrastructure equipment 2.

点検支援情報生成部12は、部品認識部20、点検点群決定部21、表示態様決定部22、強調表示情報生成部23、付加的支援情報生成部24を含む。 The inspection support information generation unit 12 includes a component recognition unit 20, an inspection point cloud determination unit 21, a display mode determination unit 22, a highlighting information generation unit 23, and an additional support information generation unit 24.

点検支援情報記憶部13は、点検支援情報30を記憶する。点検支援情報30は、強調表示情報31及び付加的支援情報32を含む。 The inspection support information storage unit 13 stores inspection support information 30. The inspection support information 30 includes highlighting information 31 and additional support information 32.

点検支援データベース記憶部14は、点検支援データベース40を含む。図5は、点検支援データベース40のデータ構造図である。 The inspection support database storage unit 14 includes the inspection support database 40. Figure 5 is a data structure diagram of the inspection support database 40.

変状検出部15は、設備点群に基づいてインフラ設備2の変状を検出する。 The deformation detection unit 15 detects deformations of the infrastructure equipment 2 based on the equipment point cloud.

点検削減部16は、設備点群記憶部11に記憶されている設備点群を間引く。これにより、設備点群のデータ容量を抑制することができる。 The inspection reduction unit 16 thins out the equipment point cloud stored in the equipment point cloud storage unit 11. This reduces the data size of the equipment point cloud.

出力部17は、設備点群を点検支援情報30と共に情報端末5に出力する。また、出力部17は、変状検出部15による変状の検出結果を情報端末5に出力してもよい。出力部17は、設備点群を情報端末5に出力することに代えて、点群削減部16により間引かれた設備点群を情報端末5に出力してもよい。 The output unit 17 outputs the equipment point cloud along with the inspection support information 30 to the information terminal 5. Alternatively, the output unit 17 may output the deformation detection results from the deformation detection unit 15 to the information terminal 5. Instead of outputting the equipment point cloud to the information terminal 5, the output unit 17 may output the equipment point cloud thinned out by the point cloud reduction unit 16 to the information terminal 5.

以下、点検支援情報生成部12及び点検支援情報記憶部13、点検支援データベース記憶部14について詳細に説明する。 The inspection support information generation unit 12, inspection support information storage unit 13, and inspection support database storage unit 14 will be described in detail below.

部品認識部20は、点群を入力すると部品の分類を出力するように学習された部品検出モデルを用いて、設備点群記憶部11に記憶されている設備点群から複数の部品を検出する。部品認識部20は、図4に示すように、部品検出モデルの検出結果に基づいて、設備点群を構成する複数の測距点のそれぞれに部品No.を対応付ける。 The part recognition unit 20 uses a part detection model, trained to output part classifications upon receiving a point cloud input, to detect multiple parts from the equipment point cloud stored in the equipment point cloud storage unit 11. As shown in Figure 4, the part recognition unit 20 associates a part number with each of the multiple distance measurement points constituting the equipment point cloud, based on the detection results of the part detection model.

点検点群決定部21は、図5に示す点検支援データベース40を参照して、設備点群のうち作業員の目視による点検対象に対応する点検点群を決定する。図5に示す点検支援データベース40は、部品毎の点検重要度及び点検優先度を示すデータベースである。点検支援データベース40は、典型的には、作業員の過去の点検結果に基づいて作業員が作成したデータベースである。点検重要度とは、目視による点検が必須であるか否かを示す指標である。点検重要度は、典型的には、“1”又は“0”である重要度レベルにより表現される。点検重要度が“1”である部品は、目視による点検が必須である部品である。点検重要度が“0”である部品は、目視による点検が必須ではない部品である。点検優先度は、目視による点検の優先度を示す指標である。点検優先度は、典型的には、1-5の優先度レベルにより表現される。点検優先度が高ければ高いほど、目視による点検を他の部品よりも優先して実行すべき部品と言える。このように点検重要度と点検優先度は、互いに異なる指標であることから、図5に示すように両者間には特段の相関関係がない。点検点群決定部21は、図5の点検支援データベース40を参照して、点検重要度が1であるか、又は、点検優先度が1以上である部品に対応する点群を点検点群として抽出する。即ち、点検点群決定部21は、インフラ設備2を構成する部品単位で点検対象を決定する。また、点検点群決定部21は、図5に示す点検重要度及び点検優先度に応じて点検点群を決定する。点検点群決定部21は、図4に示すように、設備点群を構成する複数の測距点のそれぞれに、対応する点検需要度及び点検優先度を関連付ける。図4において、測距点No.193458―193460、及び、測距点No.84736―84738が上記の点検点群に該当する。なぜなら、これらの測距点に対応する点検重要度が1であるか、又は、これらの測距点に対応する点検優先度が1以上であるからである。 The inspection point cloud determination unit 21 refers to the inspection support database 40 shown in Figure 5 to determine the inspection point clouds from the equipment point cloud that correspond to the items to be visually inspected by workers. The inspection support database 40 shown in Figure 5 is a database that shows the inspection importance and inspection priority for each part. Typically, the inspection support database 40 is a database created by workers based on their past inspection results. Inspection importance is an indicator that shows whether or not visual inspection is mandatory. Inspection importance is typically expressed by an importance level of "1" or "0". Parts with an inspection importance of "1" are parts that must be visually inspected. Parts with an inspection importance of "0" are parts that do not require visual inspection. Inspection priority is an indicator that shows the priority of visual inspection. Inspection priority is typically expressed by a priority level from 1 to 5. The higher the inspection priority, the more important the part should be to perform a visual inspection on compared to other parts. As inspection importance and inspection priority are different indicators, there is no particular correlation between them, as shown in Figure 5. The inspection point cloud determination unit 21 refers to the inspection support database 40 in Figure 5 and extracts point clouds corresponding to parts with an inspection importance of 1 or an inspection priority of 1 or higher as inspection point clouds. That is, the inspection point cloud determination unit 21 determines the inspection targets at the component level that constitutes the infrastructure equipment 2. Furthermore, the inspection point cloud determination unit 21 determines the inspection point cloud according to the inspection importance and inspection priority shown in Figure 5. As shown in Figure 4, the inspection point cloud determination unit 21 associates the corresponding inspection demand and inspection priority with each of the multiple distance measurement points that constitute the equipment point cloud. In Figure 4, distance measurement points No. 193458-193460 and distance measurement points No. 84736-84738 correspond to the above inspection point clouds. This is because the inspection importance corresponding to these distance measurement points is 1, or the inspection priority corresponding to these distance measurement points is 1 or higher.

点検重要度が1である部品としては、一例として、劣化し易い部品、障害発生により生活への影響が大きい部品が挙げられる。また、点検優先度が高い部品は、一例として、鋼材が交差することにより水が溜まりやすい部品やネジが緩みやすい部品である。なお、本実施形態では、部品単位で点検点群を抽出しているが、これに代えて、より小さい部位毎に点検点群を抽出してもよい。 Examples of parts with an inspection importance level of 1 include parts that are prone to deterioration and parts whose failure would have a significant impact on daily life. Conversely, examples of parts with a high inspection priority include parts where water tends to accumulate due to the intersection of steel materials and parts where screws tend to loosen. In this embodiment, inspection point groups are extracted at the part level; however, inspection point groups may be extracted at smaller component levels instead.

表示態様決定部22は、点検点群決定部21が決定した点検点群の表示態様を決定する。具体的には、表示態様決定部22は、点検点群を構成する複数の測距点のそれぞれにおいて、表示態様を決定する。このとき、表示態様決定部22は、当該測距点に対応する点検重要度及び点検優先度に応じて表示態様を決定する。表示態様は、対応する測距点の画像出力時における表示サイズ、色相、明度、彩度、点滅の有無、点滅の間隔の少なくとも何れかにより構成される。本実施形態では、表示態様は、対応する測距点の画像出力時における表示サイズ、色相、明度、彩度、点滅の有無、点滅の間隔により構成される。図4に示すように、表示態様決定部22は、点検点群を構成する複数の測距点のそれぞれにおいて決定した表示態様を、当該測距点と関連付ける。図4に示すように、点検点群を構成する複数の測距点の表示態様と、点検点群を構成しない複数の測距点の表示態様は異なっている。これにより、点検点群を画像出力する際、点検点群を強調表示するようになっている。 The display mode determination unit 22 determines the display mode of the inspection point group determined by the inspection point group determination unit 21. Specifically, the display mode determination unit 22 determines the display mode for each of the multiple distance measurement points that constitute the inspection point group. At this time, the display mode determination unit 22 determines the display mode according to the inspection importance and inspection priority corresponding to the distance measurement point. The display mode consists of at least one of the display size, hue, brightness, saturation, presence or absence of blinking, and blinking interval when the image of the corresponding distance measurement point is output. In this embodiment, the display mode consists of the display size, hue, brightness, saturation, presence or absence of blinking, and blinking interval when the image of the corresponding distance measurement point is output. As shown in Figure 4, the display mode determination unit 22 associates the display mode determined for each of the multiple distance measurement points that constitute the inspection point group with that distance measurement point. As shown in Figure 4, the display modes of the multiple distance measurement points that constitute the inspection point group are different from the display modes of the multiple distance measurement points that do not constitute the inspection point group. As a result, when the inspection point group is output as an image, the inspection point group is highlighted.

強調表示情報生成部23は、点検点群の表示態様を示す情報である強調表示情報31を生成する。強調表示情報31は、典型的には、図4に示す点検点群の測距点No.と、表示サイズ、色相、明度、彩度、点滅の有無、点滅の間隔を関連付けた情報である。強調表示情報生成部23は、生成した強調表示情報31を点検支援情報30の一部として点検支援情報記憶部13に記憶する。 The highlighting information generation unit 23 generates highlighting information 31, which is information indicating the display mode of the inspection point group. Typically, the highlighting information 31 is information that associates the distance measurement point No. of the inspection point group shown in Figure 4 with the display size, hue, brightness, saturation, presence or absence of flashing, and flashing interval. The highlighting information generation unit 23 stores the generated highlighting information 31 as part of the inspection support information 30 in the inspection support information storage unit 13.

付加的支援情報生成部24は、作業員の目視による点検作業を文字情報で支援するための付加的支援情報32を生成する。付加的支援情報生成部24は、典型的には、地図情報に基づいて、インフラ設備2の環境条件に応じた付加的支援情報32を生成する。付加的支援情報32は、一例として、インフラ設備2が海岸線の近くに立地している場合、「塩害の発生に注意してください」といった文字列から構成される文字情報である。付加的支援情報生成部24は、生成した付加的支援情報32を点検支援情報30の一部として点検支援情報記憶部13に記憶する。 The additional support information generation unit 24 generates additional support information 32 to assist workers' visual inspection work with textual information. Typically, the additional support information generation unit 24 generates additional support information 32 based on map information, tailored to the environmental conditions of the infrastructure equipment 2. For example, if the infrastructure equipment 2 is located near a coastline, the additional support information 32 consists of textual information such as "Please be careful of salt damage." The additional support information generation unit 24 stores the generated additional support information 32 as part of the inspection support information 30 in the inspection support information storage unit 13.

点群削減部16は、設備点群のうち点検点群以外の点群を間引く。これにより、設備点群のデータ量を削減することができる。 The point cloud reduction unit 16 thins out the point clouds of the equipment other than the inspection point clouds. This reduces the amount of data in the equipment point cloud.

出力部17は、点検削減部16により間引かれた設備点群を点検支援情報30と共に情報端末5に出力する。 The output unit 17 outputs the equipment point cloud, which has been thinned out by the inspection reduction unit 16, along with the inspection support information 30 to the information terminal 5.

情報端末5は、点検作業員が点検の際に携帯する情報端末である。情報端末5は、典型的には、スマートフォン、タブレット端末、ヘッドマウントディスプレイ、スマートグラスである。図6は、情報端末5のブロック図である。以下、情報端末5がスマートフォンであることを前提として、情報端末5を説明する。図6に示すように、情報端末5は、設備点群取得部60、点検支援情報取得部61、画像出力部62、を含む。 Information terminal 5 is an information terminal carried by inspection workers during inspections. Typically, information terminal 5 is a smartphone, tablet, head-mounted display, or smart glasses. Figure 6 is a block diagram of information terminal 5. The following description of information terminal 5 assumes it is a smartphone. As shown in Figure 6, information terminal 5 includes an equipment point cloud acquisition unit 60, an inspection support information acquisition unit 61, and an image output unit 62.

設備点群取得部60は、点検支援装置4から設備点群を取得する。 The equipment point cloud acquisition unit 60 acquires the equipment point cloud from the inspection support device 4.

点検支援情報取得部61は、点検支援装置4から点検支援情報30を取得する。 The inspection support information acquisition unit 61 acquires inspection support information 30 from the inspection support device 4.

画像出力部62は、設備点群をLCD63(Liquid Crystal Display)に画像出力する。画像出力部62は、設備点群の一部を点検支援情報30の強調表示情報31に従って強調表示する。画像出力部62は、点検支援情報30の付加的支援情報32を設備点群と併せて画像出力する。画像出力部62は、作業員による操作に応じて、設備点群を三次元的にLCD63に出力する際の視点のパン及びチルトを制御してもよい。 The image output unit 62 outputs the equipment point cloud as an image to the LCD 63 (Liquid Crystal Display). The image output unit 62 highlights a portion of the equipment point cloud according to the highlighting information 31 of the inspection support information 30. The image output unit 62 outputs the additional support information 32 of the inspection support information 30 together with the equipment point cloud as an image. The image output unit 62 may control the pan and tilt of the viewpoint when outputting the equipment point cloud three-dimensionally to the LCD 63 in response to operator operation.

次に、図7を参照して、点検支援装置4の制御フローを説明する。 Next, the control flow of the inspection support device 4 will be explained with reference to Figure 7.

まず、設備点群取得部10は、設備の外観を示す設備点群を取得する(S100)。次に、点検支援情報生成部12は、設備点群のうち目視による点検対象に対応する点検点群を強調表示することを示す点検支援情報30を生成する(S110)。そして、出力部17は、設備点群を点検支援情報30と共に情報端末5に出力する。これにより、作業員が情報端末5を通じて一部が強調表示された設備点群を閲覧することで、目視による点検が必須である点検箇所が一目瞭然であると共に、目視による点検作業の優先順位も一目瞭然となる。この結果、作業員による点検作業の効率化、及び、点検品質の均一化が実現される。 First, the equipment point cloud acquisition unit 10 acquires an equipment point cloud showing the external appearance of the equipment (S100). Next, the inspection support information generation unit 12 generates inspection support information 30 indicating that the inspection point cloud corresponding to the items to be visually inspected should be highlighted (S110). Then, the output unit 17 outputs the equipment point cloud along with the inspection support information 30 to the information terminal 5. As a result, by viewing the equipment point cloud with some parts highlighted via the information terminal 5, the inspection locations that require visual inspection become immediately clear, as does the priority of the visual inspection work. This leads to increased efficiency in inspection work by workers and standardization of inspection quality.

以上に、本開示の実施形態を説明した。上記実施形態は以下の特徴を有する。 The embodiments of this disclosure have been described above. The above embodiments have the following characteristics.

点検支援装置4は、点検支援システムの一具体例である。点検支援装置4は、設備点群取得部10、点検支援情報生成部12、出力部17を含む。設備点群取得部10は、インフラ設備2(設備)の外観を示す設備点群を取得する。点検支援情報生成部12は、設備点群のうち目視による点検対象に対応する点検点群を強調表示することを示す点検支援情報30を生成する。出力部17は、設備点群を点検支援情報30と共に情報端末5に出力する。以上の構成によれば、作業員が情報端末5を通じて一部が強調表示された設備点群を閲覧することで、作業員による点検作業の効率化、及び、点検品質の均一化が実現される。 The inspection support device 4 is a specific example of an inspection support system. The inspection support device 4 includes an equipment point cloud acquisition unit 10, an inspection support information generation unit 12, and an output unit 17. The equipment point cloud acquisition unit 10 acquires an equipment point cloud showing the external appearance of the infrastructure equipment 2 (equipment). The inspection support information generation unit 12 generates inspection support information 30 indicating that the inspection point cloud corresponding to the visually inspected target should be highlighted. The output unit 17 outputs the equipment point cloud along with the inspection support information 30 to the information terminal 5. With this configuration, by viewing the partially highlighted equipment point cloud via the information terminal 5, the efficiency of the inspection work performed by the worker and the uniformity of inspection quality are achieved.

点検支援情報生成部12は、点検重要度又は点検優先度に応じて点検点群を決定する。以上の構成によれば、点検支援情報生成部12は、点検点群を合理的に決定することができる。 The inspection support information generation unit 12 determines the inspection point group according to the inspection importance or inspection priority. With this configuration, the inspection support information generation unit 12 can rationally determine the inspection point group.

また、点検支援情報生成部12は、インフラ設備2を構成する部品単位で点検点群を決定する。以上の構成によれば、点検支援情報生成部12は、部品単位で点検点群を決定することができる。 Furthermore, the inspection support information generation unit 12 determines the inspection point cloud at the component level of the infrastructure equipment 2. With this configuration, the inspection support information generation unit 12 can determine the inspection point cloud at the component level.

また、点検点群を強調表示することは、点検点群を構成する複数の測距点の画像出力時における表示態様が他の測距点の画像出力時における表示態様と異なることである。以上の構成によれば、作業員が点検点群を認識し易い。 Furthermore, highlighting the inspection point cluster means that the display pattern of the multiple distance measurement points constituting the inspection point cluster differs from the display pattern of the other distance measurement points. This configuration makes it easier for workers to recognize the inspection point cluster.

また、表示態様は、対応する測距点の画像出力時における表示サイズ、色相、明度、彩度、点滅の有無、点滅の間隔、の少なくとも何れか1つにより構成される。以上の構成によれば、作業員が点検点群を認識し易い。 Furthermore, the display mode consists of at least one of the following when outputting an image of the corresponding distance measurement point: display size, hue, brightness, saturation, presence or absence of flashing, and flashing interval. This configuration makes it easier for workers to recognize the inspection point group.

また、設備点群取得部10は、設備点群を、インフラ設備2の設計図面に基づいて補完する。以上の構成によれば、設備点群取得部10は、設備点群の欠損部分を補完することができる。例えば送電鉄塔などの設備では、ヘリコプターやドローンにLiDAR装置を搭載して測距する必要があるので、十分な点群を得られない場合がある。このような場合、設備点群取得部10は、設備の設計図面に基づいて設備の点群を生成し、この点群を用いて設備点群を適宜に補完し得る。 Furthermore, the equipment point cloud acquisition unit 10 supplements the equipment point cloud based on the design drawings of the infrastructure equipment 2. With this configuration, the equipment point cloud acquisition unit 10 can supplement any missing parts of the equipment point cloud. For example, for equipment such as power transmission towers, it may be necessary to mount LiDAR devices on helicopters or drones to measure distances, making it difficult to obtain a sufficient point cloud. In such cases, the equipment point cloud acquisition unit 10 can generate a point cloud of the equipment based on the equipment design drawings and use this point cloud to appropriately supplement the equipment point cloud.

また、点検支援装置4は、設備点群のうち点検点群以外の点群を間引く点群削減部16を更に含む。点群削減部16は、点群削減手段の一具体例である。出力部17は、点群削減部16により間引かれた設備点群を点検支援情報30と共に情報端末5に出力する。以上の構成によれば、設備点群のデータ量を削減することができる。 Furthermore, the inspection support device 4 includes a point cloud reduction unit 16 that thins out point clouds other than the inspection point clouds from the equipment point cloud. The point cloud reduction unit 16 is a specific example of a point cloud reduction means. The output unit 17 outputs the equipment point cloud thinned out by the point cloud reduction unit 16, along with the inspection support information 30, to the information terminal 5. With this configuration, the amount of data in the equipment point cloud can be reduced.

以上、実施形態を参照して本開示を説明したが、本開示は上述の実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。 While the present disclosure has been described above with reference to embodiments, this disclosure is not limited to the embodiments described above. Various modifications to the structure and details of this disclosure may be made that can be understood by those skilled in the art within the scope of this disclosure.

例えば、情報端末5は、AR(Augmented Reality)技術やVR(Virtual Reality)、MR(Mixed Reality)を用いて点検点群を表示してもよい。即ち、情報端末5は、AR技術により点検点群を画像出力する場合、情報端末5が備えるカメラでインフラ設備2を撮像した撮像画像に点検点群を重畳表示する。 For example, the information terminal 5 may display the inspection point cloud using AR (Augmented Reality), VR (Virtual Reality), or MR (Mixed Reality). That is, when the information terminal 5 outputs the inspection point cloud as an image using AR technology, it superimposes the inspection point cloud onto the image captured by the camera on the information terminal 5, which captures the infrastructure equipment 2.

続いて、点検支援装置4及び情報端末5のハードウェア構成について説明する。点検支援装置4及び情報端末5において、設備点群取得部10、点検支援情報生成部12、変状検出部15、点群削減部16、出力部17、設備点群取得部60、点検支援情報取得部61、画像出力部62は、処理回路により実現される。点検支援装置4において、点検支援情報記憶部13、点検支援データベース記憶部14は、記憶回路により実現される。処理回路は、メモリに格納されるプログラムを実行するプロセッサおよびメモリであってもよいし、専用のハードウェアであってもよい。 Next, the hardware configuration of the inspection support device 4 and the information terminal 5 will be described. In the inspection support device 4 and the information terminal 5, the equipment point cloud acquisition unit 10, the inspection support information generation unit 12, the deformation detection unit 15, the point cloud reduction unit 16, the output unit 17, the equipment point cloud acquisition unit 60, the inspection support information acquisition unit 61, and the image output unit 62 are implemented by processing circuits. In the inspection support device 4, the inspection support information storage unit 13 and the inspection support database storage unit 14 are implemented by storage circuits. The processing circuits may be a processor and memory that executes programs stored in memory, or they may be dedicated hardware.

図8は、点検支援装置4及び情報端末5が備える処理回路をプロセッサおよびメモリで構成する場合の例を示す図である。処理回路がプロセッサ1000およびメモリ1001で構成される場合、点検支援装置4及び情報端末5の処理回路の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ1001に格納される。処理回路では、メモリ1001に記憶されたプログラムをプロセッサ1000が読み出して実行することにより、各機能を実現する。すなわち、処理回路は、点検支援装置4及び情報端末5の処理が結果的に実行されることになるプログラムを格納するためのメモリ1001を備える。また、これらのプログラムは、点検支援装置4及び情報端末5の手順および方法をコンピュータに実行させるものであるとも言える。 Figure 8 shows an example of a configuration where the processing circuit of the inspection support device 4 and the information terminal 5 is composed of a processor and memory. When the processing circuit is composed of a processor 1000 and memory 1001, each function of the processing circuit of the inspection support device 4 and the information terminal 5 is realized by software, firmware, or a combination of software and firmware. The software or firmware is written as a program and stored in memory 1001. In the processing circuit, each function is realized by the processor 1000 reading and executing the program stored in memory 1001. In other words, the processing circuit includes memory 1001 for storing the program that will ultimately be executed by the inspection support device 4 and the information terminal 5. Furthermore, these programs can be said to cause the computer to execute the procedures and methods of the inspection support device 4 and the information terminal 5.

ここで、プロセッサ1000は、CPU(Central Processing Unit)、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、またはDSP(Digital Signal Processor)などであってもよい。また、メモリ1001には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(登録商標)(Electrically EPROM)などの、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはDVD(Digital Versatile Disc)などが該当する。 Here, the processor 1000 may be a CPU (Central Processing Unit), processing unit, arithmetic unit, microprocessor, microcomputer, or DSP (Digital Signal Processor), etc. The memory 1001 may include, for example, non-volatile or volatile semiconductor memory such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM® (Electrically EPROM), magnetic disks, flexible disks, optical disks, compact disks, minidiscs, or DVDs (Digital Versatile Discs).

図9は、点検支援装置4及び情報端末5が備える処理回路を専用のハードウェアで構成する場合の例を示す図である。処理回路が専用のハードウェアで構成される場合、図9に示す処理回路1002は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。点検支援装置4及び情報端末5の各機能を機能別に処理回路1002で実現してもよいし、各機能をまとめて処理回路1002で実現してもよい。 Figure 9 shows an example of a configuration where the processing circuits of the inspection support device 4 and the information terminal 5 are made of dedicated hardware. When the processing circuits are made of dedicated hardware, the processing circuit 1002 shown in Figure 9 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a combination thereof. Each function of the inspection support device 4 and the information terminal 5 may be implemented separately by the processing circuit 1002, or all functions may be implemented together by the processing circuit 1002.

なお、点検支援装置4及び情報端末5の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、処理回路は、専用のハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。 Furthermore, some functions of the inspection support device 4 and the information terminal 5 may be implemented using dedicated hardware, while others are implemented using software or firmware. In this way, the processing circuit can implement the above-mentioned functions using dedicated hardware, software, firmware, or a combination thereof.

各図面は、1又はそれ以上の実施形態を説明するための単なる例示である。各図面は、1つの特定の実施形態のみに関連付けられるのではなく、1又はそれ以上の他の実施形態に関連付けられてもよい。当業者であれば理解できるように、いずれか1つの図面を参照して説明される様々な特徴又はステップは、例えば明示的に図示または説明されていない実施形態を作り出すために、1又はそれ以上の他の図に示された特徴又はステップと組み合わせることができる。例示的な実施形態を説明するためにいずれか1つの図に示された特徴またはステップのすべてが必ずしも必須ではなく、一部の特徴またはステップが省略されてもよい。いずれかの図に記載されたステップの順序は、適宜変更されてもよい。 Each drawing is merely illustrative to illustrate one or more embodiments. Each drawing may be associated not only with one specific embodiment, but with one or more other embodiments. As those skilled in the art will understand, various features or steps described with reference to any one drawing can be combined with features or steps shown in one or more other drawings, for example, to create embodiments not explicitly illustrated or described. Not all features or steps shown in any one drawing to illustrate an exemplary embodiment are necessarily required, and some features or steps may be omitted. The order of steps shown in any of the drawings may be changed as appropriate.

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
設備の外観を示す設備点群を取得する設備点群取得手段と、
前記設備点群のうち目視による点検対象に対応する点検点群を強調表示することを示す点検支援情報を生成する点検支援情報生成手段と、
前記設備点群を前記点検支援情報と共に情報端末に出力する出力手段と、
を含む、
点検支援システム。
(付記2)
前記点検支援情報生成手段は、点検重要度又は点検優先度に応じて前記点検点群を決定する、
付記1に記載の点検支援システム。
(付記3)
前記点検支援情報生成手段は、前記設備を構成する部品単位で前記点検点群を決定する、
付記1に記載の点検支援システム。
(付記4)
前記点検点群を強調表示することは、前記点検点群を構成する複数の測距点の画像出力時における表示態様が他の測距点の画像出力時における表示態様と異なることである、
付記1に記載の点検支援システム。
(付記5)
前記表示態様は、対応する測距点の画像出力時における表示サイズ、色相、明度、彩度、点滅の有無、点滅の間隔、の少なくとも何れか1つにより構成される、
付記4に記載の点検支援システム。
(付記6)
前記設備点群取得手段は、前記設備点群を、前記設備の設計図面に基づいて補完する、
付記1に記載の点検支援システム。
(付記7)
前記設備点群のうち前記点検点群以外の点群を間引く点群削減手段を更に含み、
前記出力手段は、前記点群削減手段により間引かれた前記設備点群を前記点検支援情報と共に前記情報端末に出力する、
付記1に記載の点検支援システム。
(付記8)
設備の外観を示す設備点群を取得する設備点群取得手段と、
前記設備点群のうち目視による点検対象に対応する点検点群を強調表示することを示す点検支援情報を生成する点検支援情報生成手段と、
前記設備点群を前記点検支援情報と共に情報端末に出力する出力手段と、
を含む、
点検支援装置。
(付記9)
設備の外観を示す設備点群を取得し、
前記設備点群のうち目視による点検対象に対応する点検点群を強調表示することを示す点検支援情報を生成し、
前記設備点群を前記点検支援情報と共に情報端末に出力する、
点検支援方法。
(付記10)
コンピュータに、
付記9に記載の点検支援方法を実行させるプログラム。
Some or all of the above embodiments may also be described as follows, but are not limited to the following:
(Note 1)
A means for acquiring point cloud data of equipment that shows the external appearance of the equipment,
An inspection support information generation means generates inspection support information indicating that the inspection point group corresponding to the object to be visually inspected will be highlighted from the equipment point group,
Output means for outputting the equipment point cloud together with the inspection support information to an information terminal,
including,
Inspection support system.
(Note 2)
The inspection support information generation means determines the inspection point group according to the inspection importance or inspection priority.
The inspection support system described in Appendix 1.
(Note 3)
The inspection support information generation means determines the inspection point group on a component-by-component basis of the equipment.
The inspection support system described in Appendix 1.
(Note 4)
Highlighting the aforementioned group of inspection points means that the display mode when outputting images of multiple distance measurement points constituting the group of inspection points differs from the display mode when outputting images of other distance measurement points.
The inspection support system described in Appendix 1.
(Note 5)
The aforementioned display mode consists of at least one of the following when outputting an image of the corresponding distance measurement point: display size, hue, brightness, saturation, presence or absence of blinking, and blinking interval.
The inspection support system described in Appendix 4.
(Note 6)
The equipment point cloud acquisition means supplements the equipment point cloud based on the design drawings of the equipment.
The inspection support system described in Appendix 1.
(Note 7)
The system further includes a point cloud reduction means for thinning out point clouds other than the inspection point clouds from the equipment point cloud,
The output means outputs the equipment point cloud, thinned out by the point cloud reduction means, to the information terminal along with the inspection support information.
The inspection support system described in Appendix 1.
(Note 8)
A means for acquiring point cloud data of equipment that shows the external appearance of the equipment,
An inspection support information generation means generates inspection support information indicating that the inspection point group corresponding to the object to be visually inspected will be highlighted from the equipment point group,
Output means for outputting the equipment point cloud together with the inspection support information to an information terminal,
including,
Inspection support device.
(Note 9)
We acquire a point cloud showing the external appearance of the equipment.
The system generates inspection support information indicating that the inspection point cloud corresponding to the object to be visually inspected will be highlighted from the aforementioned equipment point cloud.
The equipment point cloud is output to the information terminal along with the inspection support information.
Inspection support methods.
(Note 10)
On the computer,
A program that executes the inspection support method described in Appendix 9.

1 点検支援システム
2 インフラ設備
3 LiDAR装置
4 点検支援装置
5 情報端末
10 設備点群取得部
11 設備点群記憶部
12 点検支援情報生成部
13 点検支援情報記憶部
14 点検支援データベース記憶部
15 変状検出部
16 点群削減部
17 出力部
20 部品認識部
21 点検点群決定部
22 表示態様決定部
23 強調表示情報生成部
24 付加的支援情報生成部
30 点検支援情報
31 強調表示情報
32 付加的支援情報
40 点検支援データベース
60 設備点群取得部
61 点検支援情報取得部
62 画像出力部
63 LCD
1 Inspection support system 2 Infrastructure equipment 3 LiDAR device 4 Inspection support device 5 Information terminal 10 Equipment point cloud acquisition unit 11 Equipment point cloud storage unit 12 Inspection support information generation unit 13 Inspection support information storage unit 14 Inspection support database storage unit 15 Deformation detection unit 16 Point cloud reduction unit 17 Output unit 20 Part recognition unit 21 Inspection point cloud determination unit 22 Display mode determination unit 23 Highlighting information generation unit 24 Additional support information generation unit 30 Inspection support information 31 Highlighting information 32 Additional support information 40 Inspection support database 60 Equipment point cloud acquisition unit 61 Inspection support information acquisition unit 62 Image output unit 63 LCD

Claims (5)

設備の外観を示す設備点群を取得する設備点群取得手段と、
前記設備点群のうち目視による点検対象に対応する点検点群を強調表示することを示す点検支援情報を生成する点検支援情報生成手段と、
前記設備点群を前記点検支援情報と共に情報端末に出力する出力手段と、
を含み、
前記点検支援情報生成手段は、部品毎の点検重要度及び点検優先度を示すデータベースを参照することにより、前記設備を構成する部品単位で前記点検点群を決定し、
前記設備点群取得手段は、LiDAR装置から前記設備点群を取得し、前記LiDAR装置の不具合で前記設備点群の一部を取得できない場合、取得できなかった部分を前記設備の設計図面に基づいて補完する、
点検支援システム。
A means for acquiring point cloud data of equipment that shows the external appearance of the equipment,
An inspection support information generation means generates inspection support information indicating that the inspection point group corresponding to the object to be visually inspected will be highlighted from the equipment point group,
Output means for outputting the equipment point cloud together with the inspection support information to an information terminal,
Includes,
The inspection support information generation means determines the inspection point group for each component constituting the equipment by referring to a database indicating the inspection importance and inspection priority for each component,
The equipment point cloud acquisition means acquires the equipment point cloud from the LiDAR device, and if a portion of the equipment point cloud cannot be acquired due to a malfunction of the LiDAR device, it supplements the unacquired portion based on the equipment design drawings.
Inspection support system.
前記設備点群のうち前記点検点群以外の点群を間引く点群削減手段を更に含み、
前記出力手段は、前記点群削減手段により間引かれた前記設備点群を前記点検支援情報と共に前記情報端末に出力する、
請求項1に記載の点検支援システム。
The system further includes a point cloud reduction means for thinning out point clouds other than the inspection point clouds from the equipment point cloud,
The output means outputs the equipment point cloud, thinned out by the point cloud reduction means, to the information terminal along with the inspection support information.
The inspection support system according to claim 1.
設備の外観を示す設備点群を取得する設備点群取得手段と、
前記設備点群のうち目視による点検対象に対応する点検点群を強調表示することを示す点検支援情報を生成する点検支援情報生成手段と、
前記設備点群を前記点検支援情報と共に情報端末に出力する出力手段と、
を含み、
前記点検支援情報生成手段は、部品毎の点検重要度及び点検優先度を示すデータベースを参照することにより、前記設備を構成する部品単位で前記点検点群を決定し、
前記設備点群取得手段は、LiDAR装置から前記設備点群を取得し、前記LiDAR装置の不具合で前記設備点群の一部を取得できない場合、取得できなかった部分を前記設備の設計図面に基づいて補完する、
点検支援装置。
A means for acquiring point cloud data of equipment that shows the external appearance of the equipment,
An inspection support information generation means generates inspection support information indicating that the inspection point group corresponding to the object to be visually inspected will be highlighted from the equipment point group,
Output means for outputting the equipment point cloud together with the inspection support information to an information terminal,
Includes,
The inspection support information generation means determines the inspection point group for each component constituting the equipment by referring to a database indicating the inspection importance and inspection priority for each component,
The equipment point cloud acquisition means acquires the equipment point cloud from the LiDAR device, and if a portion of the equipment point cloud cannot be acquired due to a malfunction of the LiDAR device, it supplements the unacquired portion based on the equipment design drawings.
Inspection support device.
コンピューターが、
設備の外観を示す設備点群を取得し、
前記設備点群のうち目視による点検対象に対応する点検点群を強調表示することを示す点検支援情報を生成し、
前記設備点群を前記点検支援情報と共に情報端末に出力し、
前記生成することは、部品毎の点検重要度及び点検優先度を示すデータベースを参照することにより、前記設備を構成する部品単位で前記点検点群を決定することであり、
前記取得することは、LiDAR装置から前記設備点群を取得し、前記LiDAR装置の不具合で前記設備点群の一部を取得できない場合、取得できなかった部分を前記設備の設計図面に基づいて補完することである、
点検支援方法。
Computers
We acquire a point cloud showing the external appearance of the equipment.
The system generates inspection support information indicating that the inspection point cloud corresponding to the object to be visually inspected will be highlighted from the aforementioned equipment point cloud.
The equipment point cloud is output to the information terminal along with the inspection support information.
The above generation involves determining the inspection point group for each component constituting the equipment by referring to a database that shows the inspection importance and inspection priority for each component.
The acquisition described above involves acquiring the equipment point cloud from the LiDAR device, and if a portion of the equipment point cloud cannot be acquired due to a malfunction of the LiDAR device, supplementing the unacquired portion based on the equipment design drawings.
Inspection support methods.
コンピューターに、
請求項4に記載の点検支援方法を実行させるプログラム。
On the computer,
A program for performing the inspection support method described in claim 4.
JP2023196643A 2023-11-20 2023-11-20 Inspection support system, inspection support device, inspection support method, and program Active JP7838563B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023196643A JP7838563B2 (en) 2023-11-20 2023-11-20 Inspection support system, inspection support device, inspection support method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023196643A JP7838563B2 (en) 2023-11-20 2023-11-20 Inspection support system, inspection support device, inspection support method, and program

Publications (2)

Publication Number Publication Date
JP2025083017A JP2025083017A (en) 2025-05-30
JP7838563B2 true JP7838563B2 (en) 2026-04-01

Family

ID=95828123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023196643A Active JP7838563B2 (en) 2023-11-20 2023-11-20 Inspection support system, inspection support device, inspection support method, and program

Country Status (1)

Country Link
JP (1) JP7838563B2 (en)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244335A (en) 2005-03-07 2006-09-14 Toshiba Corp Equipment location presentation system
JP2008257729A (en) 2007-04-04 2008-10-23 Xerox Corp Method and system for prioritized inspection or maintainance of networked printer
JP2013014151A (en) 2011-06-30 2013-01-24 Mitsubishi Heavy Ind Ltd Periodic inspection support equipment for aircraft and component procurement support equipment, and periodic inspection support system for aircraft
JP2013015908A (en) 2011-06-30 2013-01-24 Mitsubishi Heavy Ind Ltd Component management device of equipment
JP2018181056A (en) 2017-04-17 2018-11-15 富士通株式会社 Difference detection program, difference detection device, difference detection method
WO2020152496A1 (en) 2019-01-25 2020-07-30 日産自動車株式会社 Information processing apparatus, program, computer readable recording medium, and information processing method
US20210019936A1 (en) 2019-09-27 2021-01-21 Intel Corporation Methods for timed metadata priority rank signaling for point clouds
WO2021181525A1 (en) 2020-03-10 2021-09-16 日本電気株式会社 Display device, display method, and non-transitory computer-readable medium having program stored therein
JP2022155553A (en) 2021-03-30 2022-10-13 株式会社エム・ソフト Business management support device, business management support system, business management support method, and business management support program
JP2022163608A (en) 2021-04-14 2022-10-26 日立建機株式会社 Maintenance support system
WO2023219155A1 (en) 2022-05-12 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 Information processing apparatus, data structure, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07315527A (en) * 1994-05-26 1995-12-05 Murata Mach Ltd Preventive maintenance alarm system of physical distribution system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244335A (en) 2005-03-07 2006-09-14 Toshiba Corp Equipment location presentation system
JP2008257729A (en) 2007-04-04 2008-10-23 Xerox Corp Method and system for prioritized inspection or maintainance of networked printer
JP2013014151A (en) 2011-06-30 2013-01-24 Mitsubishi Heavy Ind Ltd Periodic inspection support equipment for aircraft and component procurement support equipment, and periodic inspection support system for aircraft
JP2013015908A (en) 2011-06-30 2013-01-24 Mitsubishi Heavy Ind Ltd Component management device of equipment
JP2018181056A (en) 2017-04-17 2018-11-15 富士通株式会社 Difference detection program, difference detection device, difference detection method
WO2020152496A1 (en) 2019-01-25 2020-07-30 日産自動車株式会社 Information processing apparatus, program, computer readable recording medium, and information processing method
US20210019936A1 (en) 2019-09-27 2021-01-21 Intel Corporation Methods for timed metadata priority rank signaling for point clouds
WO2021181525A1 (en) 2020-03-10 2021-09-16 日本電気株式会社 Display device, display method, and non-transitory computer-readable medium having program stored therein
JP2022155553A (en) 2021-03-30 2022-10-13 株式会社エム・ソフト Business management support device, business management support system, business management support method, and business management support program
JP2022163608A (en) 2021-04-14 2022-10-26 日立建機株式会社 Maintenance support system
WO2023219155A1 (en) 2022-05-12 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 Information processing apparatus, data structure, and program

Also Published As

Publication number Publication date
JP2025083017A (en) 2025-05-30

Similar Documents

Publication Publication Date Title
US11587219B2 (en) Method and apparatus for detecting pixel defect of optical module, and device
US10861147B2 (en) Structural health monitoring employing physics models
US8249832B2 (en) Correlation of inspection information and computer-aided design data for structural assessment
US12536685B2 (en) Image feature matching method, computer device, and storage medium
CN113704116A (en) Data processing method, device, electronic equipment and medium for automatic driving vehicle
US12125238B2 (en) Information processing device, information processing method, and computer program product
CN110135396A (en) Recognition methods, device, equipment and the medium of surface mark
CN107504917B (en) Three-dimensional size measuring method and device
US20220113171A1 (en) Sensor diagnosis device and computer readable medium
CN118485989A (en) Full-space detection early warning visualization method and device, electronic equipment and storage medium
CN114638947A (en) Data labeling method and device, electronic equipment and storage medium
CN111160420B (en) Map-based fault diagnosis method, map-based fault diagnosis device, electronic equipment and storage medium
JP7340434B2 (en) Reinforcement inspection system, reinforcement inspection method, and reinforcement inspection program
JP7838563B2 (en) Inspection support system, inspection support device, inspection support method, and program
US10325361B2 (en) System, method and computer program product for automatically generating a wafer image to design coordinate mapping
CN118196215B (en) Camera calibration method, device, electronic equipment and readable storage medium
CN119314175A (en) A method, device, equipment and storage medium for marking intrusions in power transmission channels
US11995761B2 (en) Methods and system for generating virtual sensor data of a virtual single-photon avalanche diode (SPAD) lidar sensor of a virtual vehicle simulator
US12175653B2 (en) Defect position determination system, appearance inspection method and program
CN112348876B (en) Space coordinate acquisition method and device for signboards
CN115979433A (en) A method, device, electronic equipment, and storage medium for detecting abnormal temperature of a tank car
CN118757336B (en) Wind turbine blade monitoring method and related equipment based on infrared clearance radar
CN118671090B (en) Defect detection report generation method, system and electronic equipment
CN118408607B (en) Automobile part detection method and device
JP7364269B2 (en) Object detection device, image processing display method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20251007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260302

R150 Certificate of patent or registration of utility model

Ref document number: 7838563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150