JP7731766B2 - Appearance inspection device, method, and program - Google Patents
Appearance inspection device, method, and programInfo
- Publication number
- JP7731766B2 JP7731766B2 JP2021185266A JP2021185266A JP7731766B2 JP 7731766 B2 JP7731766 B2 JP 7731766B2 JP 2021185266 A JP2021185266 A JP 2021185266A JP 2021185266 A JP2021185266 A JP 2021185266A JP 7731766 B2 JP7731766 B2 JP 7731766B2
- Authority
- JP
- Japan
- Prior art keywords
- drone
- control signal
- camera
- light source
- inspection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/70—Wind energy
- Y02E10/72—Wind turbines with rotation axis in wind direction
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明の実施形態は、ドローン撮影による構造物の外観を点検する技術に関する。 An embodiment of the present invention relates to a technology for inspecting the exterior of a structure using drone photography.
風力は、どこにでも存在し、二酸化炭素を排出せず、枯渇せずに永続的に利用できる、再生可能エネルギーの一つである。このような風力を利用した発電を促進するには、発電の安定性及び持続性を向上させるため、運転の健全性を維持する技術の確立が重要である。なお報告されている風車事故のうちブレード折損は、最も多く発生しており、点検・補修に関する具体的な対応方法等の設定が求められている。 Wind power is a renewable energy source that exists anywhere, does not emit carbon dioxide, is inexhaustible, and can be used perpetually. To promote power generation using wind power, it is important to establish technology that maintains the soundness of operation in order to improve the stability and sustainability of power generation. Of all the reported wind turbine accidents, blade breakage is the most common, and there is a need to establish specific methods for inspection and repair.
ところで、洋上設置方式の風車の場合、海の状態によっては、作業員の風車へのアクセスが困難である。そこで、光学カメラを搭載したドローンをブレード表面近傍に飛行させ、損傷を撮影し、さらに複数回の撮影から経時的な損傷の進展を監視することが検討されている。 However, in the case of offshore wind turbines, depending on the state of the sea, it can be difficult for workers to access the turbines. Therefore, one approach being considered is to fly a drone equipped with an optical camera near the blade surface to photograph damage, and then monitor the progression of damage over time by taking multiple photographs.
しかし、自然の太陽光を利用した撮影画像では、小さな損傷や発色の変化を伴わない傷等は、見落とす可能性があった。また、太陽光の照射角度、強度、スペクトル分布等は、点検の時間帯、季節、気象状態に依存し撮影条件が一定でないため、画像の画質の再現性が乏しい課題があった。 However, when using natural sunlight to capture images, it is possible to overlook small damage or scratches that do not cause a change in color. Furthermore, the angle, intensity, and spectral distribution of sunlight depend on the time of inspection, season, and weather conditions, so the shooting conditions are not constant, which poses a problem of poor reproducibility of image quality.
本発明の実施形態はこのような事情を考慮してなされたもので、太陽光に頼る撮影では見落とす可能性のある損傷を観察できる外観点検技術を提供することを目的とする。 Embodiments of the present invention have been developed with these circumstances in mind, and aim to provide an external inspection technique that can observe damage that may be overlooked when using photography that relies on sunlight.
実施形態に係る外観点検装置において、光源が搭載された第１ドローンを操縦する第１操縦信号を送信する第１送信部と、カメラが搭載された第２ドローンを操縦する第２操縦信号を送信する第２送信部と、前記光源の照射光を表面反射させた反射光を前記カメラに入射させて撮像した撮影画像を受信する受信部と、を備えており、前記第２送信部は、前記カメラの光軸が点検対象の表面に直交するように静止飛行させる前記第２操縦信号を前記第２ドローンに送信し、前記第１送信部は、前記カメラの光軸に対して一定の入射角を持つ照射光を前記光源から照射させる前記第１操縦信号を前記第１ドローンに送信する。
In the visual inspection device according to the embodiment, there is provided a first transmitting unit that transmits a first control signal to control a first drone equipped with a light source, a second transmitting unit that transmits a second control signal to control a second drone equipped with a camera, and a receiving unit that receives a captured image obtained by causing the light emitted from the light source to be reflected off a surface and being incident on the camera, wherein the second transmitting unit transmits the second control signal to the second drone to cause the camera to fly stationary so that the optical axis of the camera is perpendicular to the surface of the object to be inspected, and the first transmitting unit transmits the first control signal to the first drone to cause the light source to irradiate light having a certain angle of incidence with respect to the optical axis of the camera .
本発明の実施形態により、太陽光に頼る撮影では見落とす可能性のある損傷を観察できる外観点検技術が提供される。 Embodiments of the present invention provide visual inspection techniques that allow for the observation of damage that may be overlooked when using photography that relies on sunlight.
（第１実施形態）
以下、本発明の実施形態を添付図面に基づいて説明する。図１は本発明の実施形態に係る外観点検装置で採用されるドローン２７（２７ａ，２７ｂ）及び点検対象となる風車２０の正面図である。図２は同・上面図である。図１に示す風車２０は浮体式の洋上設置方式を示しているが、実施形態が適用される風車は、着床式の洋上設置方式や陸上設置方式であることを妨げない。このように風車２０は、ブレード２５と、タワー２６と、ナセル３０と、ハブ２１、浮体２２を備えている。
(First embodiment)
An embodiment of the present invention will be described below with reference to the accompanying drawings. FIG. 1 is a front view of a drone 27 (27a, 27b) employed in an appearance inspection device according to an embodiment of the present invention, and a wind turbine 20 to be inspected. FIG. 2 is a top view of the same. While the wind turbine 20 shown in FIG. 1 is a floating-type offshore installation, the wind turbine to which the embodiment is applied may be a bottom-mounted offshore installation or a land-based installation. As described above, the wind turbine 20 includes blades 25, a tower 26, a nacelle 30, a hub 21, and a floating body 22.
ブレード２５は、ロータ軸（図示略）の先端のハブ２１に連結され放射状に配置されている。これらのブレード２５は、風の流動エネルギーを効率よく回転エネルギーに変換できるよう、風の流入方向に対しピッチ角が調節される。このピッチ角を調整するモータやブレーキ、非常用電源などの駆動機構（図示略）がハブ２１内に設けられている。そしてタワー２６は、海底に築かれた基礎２４に係留索２３を介して繋がれた浮体２２に、海面から露出するように接続されている。 The blades 25 are connected to a hub 21 at the tip of the rotor shaft (not shown) and arranged radially. The pitch angle of these blades 25 is adjusted relative to the inflowing wind direction so that the wind's flow energy can be efficiently converted into rotational energy. Drive mechanisms (not shown), such as a motor, brake, and emergency power supply, that adjust the pitch angle, are provided within the hub 21. The tower 26 is connected to a floating body 22, which is tethered via mooring lines 23 to a foundation 24 built on the seabed, so that it is exposed above the sea surface.
ドローン２７（２７ａ，２７ｂ）は、遠隔操縦される無人航空機である。そしてドローン２７は、陸地から発進して洋上の風車２０に飛来させる場合もあるし、洋上に設置された給電設備付きポート（図示略）に待機させそこから離発着させる場合もある。 Drone 27 (27a, 27b) is a remotely controlled unmanned aerial vehicle. Drone 27 may take off from land and fly to offshore wind turbine 20, or it may wait at a port equipped with power supply equipment (not shown) installed offshore and take off and land there.
図２に示すように、第１ドローン２７ａには照射光３８を照射する光源２８が搭載されている。そして第２ドローン２７ｂには、照射光３８を表面反射させた反射光３９でブレード２５の表面を撮像するカメラ２９が搭載されている。なお第２ドローン２７ｂには、カメラ２９以外にも、別個の光源（図示略）が搭載される場合もある。 As shown in Figure 2, the first drone 27a is equipped with a light source 28 that emits irradiation light 38. The second drone 27b is equipped with a camera 29 that captures an image of the surface of the blade 25 using reflected light 39 that is the irradiation light 38 reflected from the surface. Note that the second drone 27b may also be equipped with a separate light source (not shown) in addition to the camera 29.
また、第１ドローン２７ａと第２ドローン２７ｂのそれぞれに、照明光３８の光源とカメラ２９を搭載し、第１ドローン２７ａと第２ドローン２７ｂの照明光３８の照射を交互に切り替えて、それぞれのドローン２７ａ，２７ｂでカメラ２９の撮影を行ない、同時により広範囲で外観点検を実施することも考えられる。 It is also possible to equip each of the first drone 27a and the second drone 27b with a light source of illumination light 38 and a camera 29, alternately switch between illuminating the first drone 27a and the second drone 27b with illumination light 38, and have each drone 27a, 27b take photographs with its camera 29, simultaneously conducting external inspections over a wider area.
なおドローン２７（２７ａ，２７ｂ）は、風車２０の外観を自律飛行して巡る飛行ルートが、飛行計画１５として予め規定される。そして自律飛行させるのに必要なドローン２７の実位置・実姿勢の情報は、公知の方法により取得される。具体的には、固定カメラ（図示略）でドローン２７を撮影する方法（例えば、ドローン２７側にＡＲマーカを貼付し、固定カメラで認識）、ドローン２７に搭載したカメラで風車２０に固定した基準ブロック（図示略）を撮影する方法、風車２０から発信する測位用電波をドローン２７に送受信させる方法、VisualSLAMやLiDAR-SLAMのような自己位置推定手法などが考えられる。 The flight route that drone 27 (27a, 27b) will follow as it autonomously flies around the exterior of wind turbine 20 is defined in advance as flight plan 15. Information on the actual position and attitude of drone 27, which is necessary for autonomous flight, is acquired by known methods. Specifically, possible methods include photographing drone 27 with a fixed camera (not shown) (for example, by attaching an AR marker to drone 27 and recognizing it with the fixed camera), photographing a reference block (not shown) fixed to wind turbine 20 with a camera mounted on drone 27, having drone 27 send and receive positioning radio waves emitted from wind turbine 20, and self-position estimation methods such as VisualSLAM and LiDAR-SLAM.
図３は実施形態に係る外観点検装置で採用されるデータ処理部１０のブロック図である。このようにデータ処理部１０は、第１ドローン２７ａを操縦する第１操縦信号３１を送信する第１送信部１１と、第２ドローン２７ｂを操縦する第２操縦信号３２を送信する第２送信部１２と、光源２８の照射光３８を表面反射させた反射光３９をカメラ２９に入射させて撮像した撮影画像３５を受信する受信部３６と、を備えている。 Figure 3 is a block diagram of the data processing unit 10 employed in the visual inspection device according to the embodiment. As such, the data processing unit 10 includes a first transmission unit 11 that transmits a first control signal 31 for controlling the first drone 27a, a second transmission unit 12 that transmits a second control signal 32 for controlling the second drone 27b, and a reception unit 36 that receives a captured image 35 captured by the camera 29 after the surface-reflected light 39 of the light source 28's illumination light 38 is incident on the camera 29.
このように、ドローン２７（２７ａ，２７ｂ）の操縦信号３１，３２を送信したりカメラ２９の撮影画像３５を受信したりするデータ処理部１０は、陸地に設置されたり洋上の風車２０に設置されたりする。そして、データ処理部１０が洋上の風車２０に設置される場合は、飛行計画１５や撮影画像３５を陸上のデータベースと通信させる通信手段（図示略）がさらに設けられている。 In this way, the data processing unit 10, which transmits the control signals 31, 32 for the drones 27 (27a, 27b) and receives the images 35 captured by the cameras 29, may be installed on land or on an offshore wind turbine 20. When the data processing unit 10 is installed on an offshore wind turbine 20, it is further provided with communication means (not shown) for communicating the flight plan 15 and captured images 35 with an onshore database.
第１送信部１１は、飛行計画１５に則った第１操縦信号３１を第１ドローン２７ａの制御部（図示略）に送信する。同様に第２送信部１２も、飛行計画１５に則った第２操縦信号３２を第２ドローン２７ｂの制御部（図示略）に送信する。このようにして第１ドローン２７ａ及び第２ドローン２７ｂは、互いに協調制御される。 The first transmitter 11 transmits a first control signal 31 in accordance with the flight plan 15 to the control unit (not shown) of the first drone 27a. Similarly, the second transmitter 12 transmits a second control signal 32 in accordance with the flight plan 15 to the control unit (not shown) of the second drone 27b. In this way, the first drone 27a and the second drone 27b are controlled in a coordinated manner.
飛行計画１５の展開例としては種々あるが以下のようなものが例示される。第２ドローン２７ｂを静止飛行させつつ、カメラ２９の光軸に対し複数の異なる方向から照射光３８が当たるように第１ドローン２７ａを移動飛行させる。この飛行計画１５の第１展開例によれば、照射方向に依存して影３３の形態が変化することを利用し、損傷の種類（衝突跡、き裂、付着物等）や大きさを推測できる。 There are various examples of how flight plan 15 can be implemented, but the following is an example. While second drone 27b flies stationary, first drone 27a flies in a moving manner so that illumination light 38 hits the optical axis of camera 29 from multiple different directions. According to this first example of flight plan 15, the shape of shadow 33 changes depending on the illumination direction, making it possible to estimate the type and size of damage (collision marks, cracks, deposits, etc.).
飛行計画１５の第２展開例は、光源２８に、波長の異なる照射光３８を発光させる。この第２展開例によれば、照射光３８の波長サイズに依存して、表面段差に回り込む回折現象が異なるため、撮影画像３５に写る影３３の形態が変化する。この飛行計画１５の第１展開例によれば、波長サイズに依存して影３３の形態が変化することを利用して、損傷の種類（衝突跡、き裂、付着物等）や大きさを推測できる。 In the second example of flight plan 15, light source 28 emits irradiation light 38 of different wavelengths. According to this second example, the diffraction phenomenon around surface steps varies depending on the wavelength of the irradiation light 38, and therefore the shape of the shadow 33 reflected in the captured image 35 changes. According to the first example of flight plan 15, the type and size of damage (impact marks, cracks, deposits, etc.) can be estimated by utilizing the fact that the shape of the shadow 33 changes depending on the wavelength.
飛行計画１５の第３展開例は、ブレード２５の回転周期を取得し、この回転周期に基づいてカメラ２９にスチル撮影させる。つまり、ブレード２５が三枚であれば、この回転周期の三分の一の時間間隔でカメラ２９のシャッタータイミングをとる。さらにこのブレード２５の通過タイミングとシャッタータイミングとの同期をとる。 The third example of flight plan 15 involves obtaining the rotational period of the blades 25 and having the camera 29 take still images based on this rotational period. In other words, if there are three blades 25, the camera 29 shutter timing is set at a time interval that is one-third of the rotational period. Furthermore, the shutter timing is synchronized with the timing of the blades 25 passing by.
これにより、第１ドローン２７ａ及び第２ドローン２７ｂを静止飛行させながら、全てのブレード２５の撮影画像３５を得ることができる。さらに第１ドローン２７ａ及び第２ドローン２７ｂを、ブレード２５の先端位置からハブ２１に接続される基端位置まで、直線的に移動することで、全てのブレード２５の片面側全面の撮影画像３５を得ることができる。 This allows the first drone 27a and the second drone 27b to fly stationary while capturing images 35 of all blades 25. Furthermore, by moving the first drone 27a and the second drone 27b linearly from the tip end of the blade 25 to the base end where it connects to the hub 21, it is possible to capture images 35 of the entire surface of one side of all blades 25.
データ処理部１０は、カメラ２９の撮影位置及び撮影姿勢を設定し飛行計画１５を任意に規定及び修正する操作部１６を備えている。これにより、予め規定さている飛行計画１５では、満足のいく撮影画像３５が得られなかった場合でも、カメラ２９の位置・姿勢に修正を加えた飛行計画１５により再撮影することができる。 The data processing unit 10 is equipped with an operation unit 16 that sets the shooting position and shooting attitude of the camera 29 and optionally defines and modifies the flight plan 15. As a result, even if a satisfactory captured image 35 cannot be obtained using the pre-defined flight plan 15, it is possible to re-take images using a flight plan 15 in which the position and attitude of the camera 29 have been modified.
以上において被検査対象として風車２０のブレード２５を例示して飛行計画１５の展開例を説明した。しかし、タワー２６、ナセル３０、ハブ２１等といった、風車２０におけるその他構成の表面も被検査対象として飛行計画１５を策定できる。さらに被検査対象は、風車２０の表面に限定されることはなく、その他の構造物の表面を被検査対象として飛行計画１５を策定できる。 The above describes an example of developing a flight plan 15 using the blades 25 of the wind turbine 20 as the object to be inspected. However, flight plans 15 can also be developed using the surfaces of other components of the wind turbine 20, such as the tower 26, nacelle 30, hub 21, etc., as the object to be inspected. Furthermore, the object to be inspected is not limited to the surface of the wind turbine 20, and flight plans 15 can also be developed using the surfaces of other structures as the object to be inspected.
図４は光源２８の照射光３８が表面反射し反射光３９がカメラ２９に入射する現象の説明図である。図５は実施形態において第２ドローン２７ｂに搭載したカメラ２９による撮影画像３５の説明図であり、図５（Ａ）は構造物の表面に生じた亀裂の影３３が撮像されており、図５（Ｂ）（Ｃ）は、照射光３８の方向に依存して構造物の表面の付着物３４の影３３が変化する態様を示している。 Figure 4 is an explanatory diagram of the phenomenon in which light 38 emitted from the light source 28 is reflected by the surface and reflected light 39 enters the camera 29. Figure 5 is an explanatory diagram of an image 35 captured by the camera 29 mounted on the second drone 27b in this embodiment. Figure 5(A) captures the shadow 33 of a crack that has appeared on the surface of the structure, and Figures 5(B) and (C) show how the shadow 33 of an attachment 34 on the surface of the structure changes depending on the direction of the emitted light 38.
図４に示すように、カメラ２９の光軸が点検対象（ブレード２５）の表面に直交するように、第２ドローン２７ｂを静止飛行させる。そして、このカメラ２９の光軸に対して一定の入射角を持つ照射光３８を光源２８から照射すると、亀裂や付着物といった段差のある箇所で影３３が発生する。他方において、点検対象（ブレード２５）の表面に到達した照射光３８は、この表面で乱反射し一部がカメラ２９に反射光３９として入射される。 As shown in Figure 4, the second drone 27b is flown stationary so that the optical axis of the camera 29 is perpendicular to the surface of the inspection target (blade 25). When light source 28 emits light 38 at a fixed angle of incidence relative to the optical axis of the camera 29, shadows 33 are generated at locations with unevenness such as cracks or deposits. On the other hand, the light 38 that reaches the surface of the inspection target (blade 25) is diffusely reflected by this surface, and a portion of it is incident on the camera 29 as reflected light 39.
そして、カメラ２９に入射した反射光３９は、レンズ（図示略）により結像され、点検対象（ブレード２５）表面の撮影画像３５となる。この撮影画像３５は、点検対象（ブレード２５）の表面における微小な段差の存在を、影３３が持つ明暗差により周囲から際立たせ、識別する。これにより、構造物の表面に発生した損傷等の検出感度を高めることができると同時に、その形態が正確に把握される。 The reflected light 39 incident on the camera 29 is focused by a lens (not shown) to produce a captured image 35 of the surface of the inspection object (blade 25). This captured image 35 identifies minute steps on the surface of the inspection object (blade 25) by highlighting them from the surrounding area due to the contrast between light and dark in the shadow 33. This increases the sensitivity for detecting damage, etc., that has occurred on the surface of a structure, while also allowing the structure's shape to be accurately determined.
図３に戻って説明を続ける。撮影画像３５は、カメラ２９から受信部３６を介してデータ処理部１０の蓄積部１７に蓄積されるとともに、表示部３７において表示観察される。そして、診断部１８では、時系列に受信され蓄積されている撮影画像３５に基づいて、構造物における表面損傷の発見又はその進展を解析する。これにより構造物の健全性を診断することが可能となる。 Returning to Figure 3, the explanation continues. The captured images 35 are sent from the camera 29 via the receiving unit 36 and stored in the storage unit 17 of the data processing unit 10, and are also displayed and observed on the display unit 37. The diagnosis unit 18 then analyzes the detection or progression of surface damage in the structure based on the captured images 35 received and stored in chronological order. This makes it possible to diagnose the soundness of the structure.
図６のフローチャートに基づいて実施形態に係る外観点検方法の工程及び外観点検プログラムのアルゴリズムを説明する（適宜、図３参照）。まず、光源２８が搭載された第１ドローン２７ａの第１操縦信号３１を送信する（Ｓ１１）。そして、カメラ２９が搭載された第２ドローン２７ｂの第２操縦信号３２を送信する（Ｓ１２）。 The steps of the visual inspection method and the visual inspection program algorithm according to the embodiment will be explained based on the flowchart in Figure 6 (see Figure 3 as appropriate). First, a first control signal 31 is transmitted from the first drone 27a equipped with the light source 28 (S11). Then, a second control signal 32 is transmitted from the second drone 27b equipped with the camera 29 (S12).
なお、これら第１操縦信号３１及び第２操縦信号３２は、予め規定された飛行計画１５に従ってドローン２７（２７ａ，２７ｂ）が自律飛行するように送信される。もしくはこれら第１操縦信号３１及び第２操縦信号３２は、操縦者によるマニュアル操作に基づき送信される。次に光源２８から照射光３８を照射し（Ｓ１３）、構造物の表面で反射した反射光３９をカメラ２９に入射させて撮像する（Ｓ１４）。 The first control signal 31 and the second control signal 32 are transmitted so that the drone 27 (27a, 27b) flies autonomously according to a predefined flight plan 15. Alternatively, the first control signal 31 and the second control signal 32 are transmitted based on manual operation by the pilot. Next, light 38 is emitted from the light source 28 (S13), and reflected light 39 reflected from the surface of the structure is incident on the camera 29 and captured (S14).
なお、撮影画像３５の受信過程において、カメラ２９を搭載した第２ドローン２７ｂを静止飛行させつつ、光源２８の照射方向が変化するように第１ドローン２７ａを移動飛行させる。もしくは、光源２８において、波長の異なる照射光３８を発光させる。さらには点検対象が風車２０のブレード２５である場合は、その回転周期に基づいてカメラ２９にスチル撮影させる。 In the process of receiving the captured image 35, the second drone 27b equipped with the camera 29 is caused to fly stationary, while the first drone 27a is caused to fly in a moving manner so that the irradiation direction of the light source 28 changes. Alternatively, the light source 28 is caused to emit irradiation light 38 with a different wavelength. Furthermore, if the inspection target is the blade 25 of the wind turbine 20, the camera 29 is caused to take still images based on its rotation period.
次に、カメラ２９が出力した撮影画像３５を受信し（Ｓ１５）、飛行計画１５が終結したところでデータ蓄積する（Ｓ１６ Ｎｏ，Ｙｅｓ，Ｓ１７）。そして過去に受信され蓄積されてきた撮影画像３５を呼び出し（Ｓ１８）、表面損傷の発見又はその進展を時系列に解析することで（Ｓ１９）、構造物の健全性を診断する（Ｓ２０，ＥＮＤ）。 Next, the captured images 35 output by the camera 29 are received (S15), and the data is stored when the flight plan 15 is completed (S16 No, Yes, S17). Previously received and stored captured images 35 are then retrieved (S18), and the detection or progression of surface damage is analyzed chronologically (S19), thereby diagnosing the soundness of the structure (S20, END).
以上述べた少なくともひとつの実施形態の外観点検装置によれば、カメラが搭載されたドローンとは別個に、光源が搭載されたドローンを導入することにより、太陽光に頼る撮影では見落とす可能性のある損傷を観察することが可能となる。 According to at least one of the embodiments of the visual inspection device described above, by introducing a drone equipped with a light source separately from the drone equipped with a camera, it becomes possible to observe damage that may be overlooked when using photography that relies on sunlight.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 While several embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments may be embodied in a variety of other forms, and various omissions, substitutions, modifications, and combinations may be made without departing from the spirit of the invention. These embodiments and their variations are within the scope of the invention and its equivalents as defined in the claims, as well as the scope and spirit of the invention.
以上説明した風車の外観点検装置は、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、又はＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスやキーボードなどの入力装置と、通信Ｉ／Ｆとを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。このため風車の外観点検装置の構成要素は、コンピュータのプロセッサで実現することも可能であり、風車の外観点検プログラムにより動作させることが可能である The wind turbine visual inspection device described above includes a control device with a highly integrated processor, such as a dedicated chip, FPGA (Field Programmable Gate Array), GPU (Graphics Processing Unit), or CPU (Central Processing Unit), storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory), external storage devices such as HDD (Hard Disk Drive) and SSD (Solid State Drive), display devices such as a monitor, input devices such as a mouse and keyboard, and a communications interface. This allows for hardware configuration using a standard computer. Therefore, the components of the wind turbine visual inspection device can be implemented using a computer processor and operated by a wind turbine visual inspection program.
また風車の外観点検プログラムは、ＲＯＭ等に予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するようにしてもよい。 The wind turbine visual inspection program may be provided pre-installed in a ROM or the like. Alternatively, the program may be provided stored in an installable or executable file format on a computer-readable storage medium such as a CD-ROM, CD-R, memory card, DVD, or flexible disk (FD).
また、本実施形態に係る風車の外観点検プログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしてもよい。また、風車の外観点検装置は、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワーク又は専用線で相互に接続し、組み合わせて構成することもできる。 The wind turbine visual inspection program according to this embodiment may also be stored on a computer connected to a network such as the Internet and provided by downloading it via the network. The wind turbine visual inspection device may also be configured by combining separate modules that independently perform the functions of their components and are interconnected via a network or dedicated lines.
１０…データ処理部、１１…第１送信部、１２…第２送信部、１５…飛行計画、１６…操作部、１７…蓄積部、１８…診断部、２０…風車、２１…ハブ、２２…浮体、２３…係留索、２４…基礎、２５…ブレード、２６…タワー、２７（２７ａ，２７ｂ）…ドローン、２７ａ（２７）…第１ドローン、２７ｂ（２７）…第２ドローン、２８…光源、２９…カメラ、３０…ナセル、３１…第１操縦信号、３２…第２操縦信号、３３…影、３４…付着物、３５…撮影画像、３６…受信部、３７…表示部、３８…照射光、３９…反射光。 10...data processing unit, 11...first transmission unit, 12...second transmission unit, 15...flight plan, 16...operation unit, 17...storage unit, 18...diagnosis unit, 20...wind turbine, 21...hub, 22...floating body, 23...mooring line, 24...foundation, 25...blade, 26...tower, 27 (27a, 27b)...drone, 27a (27)...first drone, 27b (27)...second drone, 28...light source, 29...camera, 30...nacelle, 31...first control signal, 32...second control signal, 33...shadow, 34...attachment, 35...captured image, 36...receiving unit, 37...display unit, 38...irradiated light, 39...reflected light.
Claims (9)
カメラが搭載された第２ドローンを操縦する第２操縦信号を送信する第２送信部と、
前記光源の照射光を表面反射させた反射光を前記カメラに入射させて撮像した撮影画像を受信する受信部と、を備え、
前記第２送信部は、前記カメラの光軸が点検対象の表面に直交するように静止飛行させる前記第２操縦信号を前記第２ドローンに送信し、
前記第１送信部は、前記カメラの光軸に対して一定の入射角を持つ照射光を前記光源から照射させる前記第１操縦信号を前記第１ドローンに送信する外観点検装置。 a first transmitter that transmits a first control signal for controlling a first drone equipped with a light source;
a second transmitter that transmits a second control signal for controlling a second drone equipped with a camera;
a receiving unit for receiving a captured image obtained by causing the light emitted from the light source to be reflected from a surface of the light source and reflected by the camera ,
The second transmitter transmits the second control signal to the second drone to fly the second drone stationary so that the optical axis of the camera is perpendicular to the surface of the inspection target;
The first transmitter transmits the first control signal to the first drone, causing the light source to emit light having a certain angle of incidence with respect to the optical axis of the camera .
前記第１操縦信号及び前記第２操縦信号は、予め規定されている飛行計画に従って前記第１ドローン及び前記第２ドローンが自律飛行するように送信される外観点検装置。 The visual inspection device according to claim 1,
An external inspection device in which the first control signal and the second control signal are transmitted so that the first drone and the second drone fly autonomously according to a predefined flight plan.
前記第２ドローンを静止飛行させる前記第２操縦信号が送信され、
前記カメラの光軸に対し複数の異なる方向から前記照射光が当たるように、前記第１ドローンを移動飛行させる前記第１操縦信号が送信される外観点検装置。 The visual inspection device according to claim 1 or 2,
The second control signal is transmitted to cause the second drone to fly stationary;
An appearance inspection device in which the first control signal is transmitted to move and fly the first drone so that the illumination light hits the optical axis of the camera from multiple different directions.
時系列に受信した前記撮影画像に基づいて表面損傷の発見又はその進展を解析することで健全性を診断する診断部を備える外観点検装置。 The visual inspection device according to any one of claims 1 to 3,
The visual inspection device is equipped with a diagnostic unit that diagnoses the soundness of the equipment by detecting surface damage or analyzing its progression based on the captured images received in chronological order.
前記光源は、波長の異なる前記照射光を発光する外観点検装置。 The visual inspection device according to any one of claims 1 to 4,
The light source is an appearance inspection device that emits the irradiation light having different wavelengths.
前記第２ドローンにも別個の光源が搭載されている外観点検装置。 The visual inspection device according to any one of claims 1 to 5,
An external inspection device in which the second drone is also equipped with a separate light source.
風の流動エネルギーを回転エネルギーに変換するブレードの回転周期に基づいて、前記カメラで前記ブレードをスチル撮影させる外観点検装置。 The visual inspection device according to any one of claims 1 to 6,
This is an appearance inspection device that uses the camera to take still images of the blades based on the rotation period of the blades that convert wind flow energy into rotational energy.
カメラが搭載された第２ドローンを操縦する第２操縦信号を送信するステップと、
前記光源の照射光を表面反射させた反射光を前記カメラに入射させて撮像した撮影画像を受信するステップと、を含み、
前記第２操縦信号を送信するステップにおいて、前記カメラの光軸が点検対象の表面に直交するように静止飛行させる前記第２操縦信号を前記第２ドローンに送信し、
前記第１操縦信号を送信するステップにおいて、前記カメラの光軸に対して一定の入射角を持つ照射光を前記光源から照射させる前記第１操縦信号を前記第１ドローンに送信する外観点検方法。 Transmitting a first control signal to control a first drone equipped with a light source;
transmitting a second control signal to control a second drone equipped with a camera;
receiving a captured image obtained by causing the light emitted from the light source to be reflected from a surface of the light source and then causing the reflected light to be incident on the camera,
In the step of transmitting the second control signal, the second control signal is transmitted to the second drone to cause the second drone to fly stationary so that the optical axis of the camera is perpendicular to the surface of the inspection target;
An appearance inspection method in which, in the step of transmitting the first control signal, the first control signal is transmitted to the first drone, causing the light source to emit light having a certain angle of incidence relative to the optical axis of the camera .
光源が搭載された第１ドローンを操縦する第１操縦信号を送信するステップ、
カメラが搭載された第２ドローンを操縦する第２操縦信号を送信するステップ、
前記光源の照射光を表面反射させた反射光を前記カメラに入射させて撮像した撮影画像を受信するステップ、を実行させ、
前記第２操縦信号を送信するステップにおいて、前記カメラの光軸が点検対象の表面に直交するように静止飛行させる前記第２操縦信号を前記第２ドローンに送信し、
前記第１操縦信号を送信するステップにおいて、前記カメラの光軸に対して一定の入射角を持つ照射光を前記光源から照射させる前記第１操縦信号を前記第１ドローンに送信する外観点検プログラム。 On the computer,
Transmitting a first control signal to control a first drone equipped with a light source;
transmitting a second control signal to control a second drone equipped with a camera;
receiving a captured image obtained by causing the light emitted from the light source to be reflected from a surface of the light source and then causing the reflected light to be incident on the camera , and
In the step of transmitting the second control signal, the second control signal is transmitted to the second drone to cause the second drone to fly stationary so that the optical axis of the camera is perpendicular to the surface of the inspection target;
An appearance inspection program that, in the step of transmitting the first control signal, transmits the first control signal to the first drone, causing the light source to emit light having a certain angle of incidence with respect to the optical axis of the camera .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021185266A JP7731766B2 (en) | 2021-11-12 | 2021-11-12 | Appearance inspection device, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021185266A JP7731766B2 (en) | 2021-11-12 | 2021-11-12 | Appearance inspection device, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023072597A JP2023072597A (en) | 2023-05-24 |
| JP7731766B2 true JP7731766B2 (en) | 2025-09-01 |
Family
ID=86424287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021185266A Active JP7731766B2 (en) | 2021-11-12 | 2021-11-12 | Appearance inspection device, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7731766B2 (en) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016218813A (en) | 2015-05-22 | 2016-12-22 | 株式会社日立製作所 | Inspection system of sewer line facility |
| US20170067734A1 (en) | 2015-09-09 | 2017-03-09 | Faro Technologies, Inc. | Aerial device that cooperates with an external projector to measure three-dimensional coordinates |
| US20170082593A1 (en) | 2015-09-17 | 2017-03-23 | Timothy J. Nedwed | Detecting Oil Under Ice |
| US20170138732A1 (en) | 2015-11-12 | 2017-05-18 | Hexagon Technology Center Gmbh | Surveying by mobile vehicles |
| JP2018025439A (en) | 2016-08-09 | 2018-02-15 | 株式会社ジェイテクト | Appearance inspection method and appearance inspection apparatus |
| JP2019070631A (en) | 2017-10-11 | 2019-05-09 | 株式会社日立システムズ | Deterioration diagnosis system using flight vehicle |
| JP2020106333A (en) | 2018-12-26 | 2020-07-09 | 株式会社クボタ | Inspection method, inspection device, and flying object |
| JP2020106334A (en) | 2018-12-26 | 2020-07-09 | 株式会社クボタ | Inspection method, flight route determination method, inspection system, flight route determination device, and flight instruction device |
| JP2021056106A (en) | 2019-09-30 | 2021-04-08 | パナソニックＩｐマネジメント株式会社 | Pipe inspection system |
-
2021
- 2021-11-12 JP JP2021185266A patent/JP7731766B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016218813A (en) | 2015-05-22 | 2016-12-22 | 株式会社日立製作所 | Inspection system of sewer line facility |
| US20170067734A1 (en) | 2015-09-09 | 2017-03-09 | Faro Technologies, Inc. | Aerial device that cooperates with an external projector to measure three-dimensional coordinates |
| US20170082593A1 (en) | 2015-09-17 | 2017-03-23 | Timothy J. Nedwed | Detecting Oil Under Ice |
| US20170138732A1 (en) | 2015-11-12 | 2017-05-18 | Hexagon Technology Center Gmbh | Surveying by mobile vehicles |
| JP2018025439A (en) | 2016-08-09 | 2018-02-15 | 株式会社ジェイテクト | Appearance inspection method and appearance inspection apparatus |
| JP2019070631A (en) | 2017-10-11 | 2019-05-09 | 株式会社日立システムズ | Deterioration diagnosis system using flight vehicle |
| JP2020106333A (en) | 2018-12-26 | 2020-07-09 | 株式会社クボタ | Inspection method, inspection device, and flying object |
| JP2020106334A (en) | 2018-12-26 | 2020-07-09 | 株式会社クボタ | Inspection method, flight route determination method, inspection system, flight route determination device, and flight instruction device |
| JP2021056106A (en) | 2019-09-30 | 2021-04-08 | パナソニックＩｐマネジメント株式会社 | Pipe inspection system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023072597A (en) | 2023-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2024027907A (en) | Inspection system for unmanned aerial vehicle and wind power generation equipment, and inspection method for wind power generation equipment | |
| US20200018291A1 (en) | Inspection Device Controller for an Inspection Device of a Wind Power Plant | |
| EP3918197B1 (en) | Method of inspection of wind turbine blades | |
| DK178100B1 (en) | Wind turbine inspection system and method | |
| JP6541743B2 (en) | Inspection system and inspection method for wind power generation equipment using flight vehicle | |
| US12536634B2 (en) | Method of imaging a wind turbine rotor blade | |
| Leva et al. | PV power plant inspection by UAS: Correlation between altitude and detection of defects on PV modules | |
| US20190041856A1 (en) | Methods and apparatus to capture tomograms of structures using unmanned aerial vehicles | |
| JPWO2009102001A1 (en) | Bird exploration system, bird exploration method and computer program | |
| JP2018181235A (en) | Report preparing apparatus, wind power facility inspection system, program, and method of preparing a wind power facility inspection report | |
| JP2018021491A (en) | System and flight route generating method | |
| CN115791796B (en) | Unmanned aerial vehicle-based wind driven generator inspection method and device | |
| JP2009257322A (en) | Flying object collision avoiding system, wind turbine generator and computer program | |
| JP7621927B2 (en) | Wind turbine inspection method and wind turbine inspection system | |
| WO2010041326A1 (en) | Offshore wind-driven electric power generator and offshore wind farm | |
| JP7809565B2 (en) | Method for acquiring data for inspecting wind turbines, program for causing a computer to execute the method, and unmanned aerial vehicle | |
| KR102517267B1 (en) | System and method for inspecting marine bridge | |
| CN112816420A (en) | Hyperspectral imaging analyzer suitable for underwater | |
| TWI627351B (en) | Path generation method for photographing wind turbine surface used by unmanned aerial vehicles, computer program product with stored programs and computer readable medium with stored programs | |
| JP7731766B2 (en) | Appearance inspection device, method, and program | |
| CN118622610A (en) | Wind turbine blade inspection method, device and storage medium using cooperative formation of unmanned aerial vehicles | |
| WO2019103621A1 (en) | Wind turbine blade orientation detection | |
| JP2009068383A (en) | Offshore wind turbine generation system, offshore wind farm | |
| JP2019134616A (en) | Inspection apparatus for photovoltaic power generation panel | |
| JP7581174B2 (en) | Wind turbine inspection device, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240314 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20241202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250407 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250722 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250820 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7731766 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |