JP7718153B2 - Nesting response work support device and nesting response work support method - Google Patents
Nesting response work support device and nesting response work support methodInfo
- Publication number
- JP7718153B2 JP7718153B2 JP2021129054A JP2021129054A JP7718153B2 JP 7718153 B2 JP7718153 B2 JP 7718153B2 JP 2021129054 A JP2021129054 A JP 2021129054A JP 2021129054 A JP2021129054 A JP 2021129054A JP 7718153 B2 JP7718153 B2 JP 7718153B2
- Authority
- JP
- Japan
- Prior art keywords
- nest
- response
- information
- image
- bird
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、営巣対応業務支援装置、及び営巣対応業務支援方法に関する。 The present invention relates to a nesting response support device and a nesting response support method.
近年、特に都市部でカラス等の鳥類が、小枝の代用として針金ハンガー等を巣材に用いて、電柱に営巣する例が増加してきており、このように作られた巣は、電線等の電力設備に接触して停電等を引き起こす可能性がある。そのため、電力会社の配電系社員や業務委託先社員が、設備の巡視を行って営巣の状態を確認し、これを撤去する等の対策を講じている。しかしながら、広範囲に亘って設置されている多数の設備を限られた人員でくまなく点検及び把握することは極めて難しい。 In recent years, particularly in urban areas, there has been an increase in cases of crows and other birds using wire coat hangers and other materials instead of twigs to build nests on utility poles. These nests can come into contact with power lines and other electrical equipment, potentially causing power outages. For this reason, power company distribution employees and employees of subcontracted companies patrol equipment to check for nesting sites and take measures such as removing them. However, it is extremely difficult to thoroughly inspect and understand the numerous pieces of equipment installed over a wide area with limited personnel.
そこで、営巣の点検の一部を自動化するための技術として、例えば特許文献1には、営巣情報管理サーバが、情報提供者端末から営巣画像情報を取得し、営巣画像及び原画像に基づいて、営巣に関連する設備を特定し、対応の緊急度を判定し、対策要か否か判定し、対策要の場合は、対策工事の内容を判定し、緊急度判定処理及び対策工事内容判定処理における判定結果を、表示部に表示させることが開示されている。 As a technology for automating part of the nest inspection process, for example, Patent Document 1 discloses a nest information management server that acquires nest image information from an information provider terminal, identifies nest-related equipment based on the nest image and the original image, determines the urgency of the response, and determines whether or not countermeasures are required. If countermeasures are required, the content of the countermeasure work is determined, and the results of the urgency determination process and the countermeasure work content determination process are displayed on a display unit.
しかしながら、特許文献1における営巣の判定条件は、例えば、避雷器が巣に埋まっている場合、開放型開閉器の上又はブッシングの上へ営巣している場合、又は、カットアウトが巣に埋まっている場合、といったように情報を予め定義しておく必要がある。営巣の各電力設備への影響は、例えば電柱の構造や付帯する電力設備の種類によって異なることがあるため、広範に設置される多数の電柱に対して上記特許文献の技術を利用することは、判定条件の定義が煩雑化して現実的でない場合がある。また、対策を講じるための判定条件が確定したとしても、営巣に対して実際にいつどのような対応をとるべきかの判断は、現場の作業員等の長年の経験やノウハウに基づくため、上記特許文献のような定型化にはなじまない場合がある。 However, the criteria for determining nesting in Patent Document 1 require pre-defined information, such as when a lightning arrester is buried in the nest, when nesting occurs on top of an open-type switchgear or bushing, or when a cutout is buried in the nest. Because the impact of nesting on each piece of power equipment can vary depending on, for example, the structure of the utility pole and the type of attached power equipment, applying the technology in the above patent document to a large number of utility poles installed over a wide area may be impractical due to the complicated definition of the criteria. Furthermore, even if the criteria for implementing countermeasures are established, the decision of when and what measures should actually be taken against nesting is based on the many years of experience and know-how of on-site workers, etc., and may not be amenable to standardization like that in the above patent document.
本発明はこのような背景に鑑みてなされたものであり、その目的は、電力設備に作られた営巣に対して行うべき対応及びそのタイミングに関する情報を提供することが可能な営巣対応業務支援装置、及び営巣対応業務支援方法を提供することにある。 The present invention was made in light of this background, and its purpose is to provide a nesting response support device and nesting response support method that can provide information regarding the response that should be taken in response to nests built on power equipment and the timing of that response.
前述の目的を達成するための本発明の一つは、プロセッサ及びメモリを有し、画像を取得する画像取得部と、電力設備及び鳥類の巣を含む画像が入力され、前記鳥類の巣に対する対応内容及び対応タイミングの情報が出力される学習済みモデルに、前記取得した画像を入力することにより、前記取得した画像に含まれる巣に対する対応内容及び対応タイミングの情報を出力する緊急度判定部と、を備える、営巣対応業務支援装置である。 One aspect of the present invention that achieves the aforementioned objectives is a nest response work support device that includes an image acquisition unit having a processor and memory that acquires images, and an urgency determination unit that inputs images containing power equipment and bird nests into a trained model that outputs information on the response content and timing for the bird nests, and then outputs information on the response content and timing for the nests included in the acquired images.
このように、本発明に係る営巣対応業務支援装置は、鳥類の巣の電力設備への将来の接近可能性の高さを示す情報が出力される学習済みモデルである営巣危険判定モデルに、現場画像を入力することにより、現場画像に撮影されている巣に対する対応内容及び対応タイミングの情報を出力するので、作業員等は、営巣が行われている電柱等の画像を用意するだけで、その営巣に対して行うべき具体的な対応及びタイミングを知ることができる。すなわち、本発明の営巣対応業務支援装置によれば、電力設備に作られた営巣に対して行うべき対応及びそのタイミングに関する情報を提供することができる。 In this way, the nest response work support device of the present invention inputs site images into a nest risk assessment model, which is a trained model that outputs information indicating the likelihood of bird nests approaching power equipment in the future. This outputs information on the response and timing for the nest captured in the site image. Therefore, workers and others can learn the specific response and timing to take in response to the nest simply by preparing an image of a utility pole or other object where a nest is being built. In other words, the nest response work support device of the present invention can provide information on the response and timing to take in response to nests built on power equipment.
また、前述の目的を達成するための本発明の一つは、前記学習済みモデルは、前記画像が撮影された地域及び時期の情報がさらに入力されるモデルであり、前記緊急度判定部は、前記学習済みモデルに、前記取得した画像の撮影地域及び撮影時期の情報をさらに入力することにより、前記取得した画像に含まれる巣に対する対応内容及び対応タイミングの情報を出力する。 In one aspect of the present invention to achieve the above-mentioned objective, the trained model is a model to which information on the area and time when the image was taken is further input, and the urgency determination unit further inputs information on the area and time when the acquired image was taken into the trained model, thereby outputting information on the response content and timing of the response to the nest contained in the acquired image.
このように、本発明に係る営巣対応業務支援装置は、画像が撮影された地域及び時期の情報が入力される学習済みモデル(営巣危険判定モデル)に、現場画像の撮影地域及び撮影時期の情報を入力することにより、現場画像に含まれる巣に対する対応内容及び対応タイミングの情報を出力する。鳥類の営巣速度には地域性や季節性が見られる場合があるので、現場画像の撮影地域及び撮影時期を営巣危険判定モデルの特徴量として入力することで、作業員等は、営巣に対して行うべき具体的な対応を精度良く知ることができる。 In this way, the nesting response work support device of the present invention outputs information on the response content and timing for nests contained in the site images by inputting information on the area and time when the site images were taken into a trained model (nesting risk assessment model) that receives information on the area and time when the images were taken. Because bird nesting rates can vary by region or season, inputting the area and time when the site images were taken as feature quantities for the nesting risk assessment model allows workers and others to accurately know the specific response that should be taken in response to nesting.
また、前述の目的を達成するための本発明の一つは、営巣対応業務支援装置であって、前記学習済みモデルは、前記鳥類の巣に対する対応内容及び対応タイミングの情報として、巣の即時撤去が必要であることを示す情報、将来の所定タイミングまでに当該巣の撤去が必要であることを示す情報、又は、当該巣の撤去は不要であることを示す情報のいずれかを出力するモデルであり、前記緊急度判定部は、前記学習済みモデルに、前記取得した画像を入力することにより、前記取得した画像に含まれる巣の即時撤去が必要であることを示す情報、将来の所定タイミングまでに当該巣の撤去が必要であることを示す情報、又は、当該巣の撤去は不要であることを示す情報のいずれかを、前記対応内容及び対応タイミングの情報として出力する。 Furthermore, one aspect of the present invention for achieving the above-mentioned objectives is a nest response work support device, in which the trained model is a model that outputs, as information on the response content and response timing for the bird's nest, any of the following: information indicating that the nest needs to be removed immediately, information indicating that the nest needs to be removed by a specified time in the future, or information indicating that removal of the nest is not necessary; and the urgency determination unit inputs the acquired image into the trained model, and outputs, as the response content and response timing information, any of the following: information indicating that the nest included in the acquired image needs to be removed immediately, information indicating that the nest needs to be removed by a specified time in the future, or information indicating that removal of the nest is not necessary.
このように、本発明に係る営巣対応業務支援装置は、営巣危険判定モデルに、現場画像を入力することにより、現場画像に含まれる巣の即時撤去が必要であることを示す情報、将来の所定タイミングまでに当該巣の撤去が必要であることを示す情報、又は、当該巣の撤去は不要であることを示す情報のいずれかを出力する。これにより、作業員等は、営巣に対して行うべきより具体的な対応を知ることができる。 In this way, the nesting response work support device of the present invention inputs site images into a nesting risk assessment model, and outputs either information indicating that the nest contained in the site image needs to be removed immediately, information indicating that the nest needs to be removed by a specified time in the future, or information indicating that the nest does not need to be removed. This allows workers and others to know more specific measures that should be taken in response to nesting.
また、前述の目的を達成するための本発明の一つは、営巣対応業務支援装置であって、前記取得した画像に含まれる巣に対する対応内容及び対応タイミングの情報を画面に表示する表示部を備える。 Furthermore, one aspect of the present invention for achieving the aforementioned objectives is a nest response support device that includes a display unit that displays on a screen information about the response content and timing for the nest contained in the acquired image.
このように、本発明に係る営巣対応業務支援装置は、現場画像に撮影されている巣に対する対応内容及び対応タイミングの情報を画面に表示するので、作業員等は、営巣に対して行うべき対応を迅速に把握することができる。 In this way, the nest response work support device of the present invention displays information on the response content and timing for nests captured in on-site images on the screen, allowing workers and others to quickly understand the response that should be taken in response to nests.
また、前述の目的を達成するための本発明の一つは、営巣対応業務支援装置であって、前記緊急度判定部は、電力設備及び鳥類の巣を含む画像が入力され、前記画像における鳥類の巣及び電力設備の領域の情報が出力される第1の学習済みモデルに、前記取得した画像を入力することにより、前記取得した画像における鳥類の巣及び電力設備の領域の情報を出力し、鳥類の巣及び電力設備の領域の情報が入力され、前記鳥類の巣に対する対応内容及び対応タイミングの情報が出力される第2の学習済みモデルに、前記出力された鳥類の巣及び電力設備の領域の情報を入力することにより、前記取得した画像に含まれる巣に対する対応内容及び対応タイミングの情報を出力する。 Another aspect of the present invention for achieving the aforementioned objectives is a nest response work support device, in which the urgency determination unit inputs an image including power equipment and bird nests into a first trained model that outputs information about the areas of the bird nests and power equipment in the image, thereby outputting information about the areas of the bird nests and power equipment in the acquired image; and inputs information about the areas of the bird nests and power equipment into a second trained model that inputs information about the areas of the bird nests and power equipment and outputs information about the response content and timing for the bird nests, thereby outputting information about the response content and timing for the nests included in the acquired image.
このように、本発明に係る営巣対応業務支援装置は、第1の学習済みモデル及び第2の学習済みモデルからなる学習済みモデル(営巣危険判定モデル)を用いて対応及びタイミングの情報を出力する。すなわち、本発明の営巣対応業務支援装置1は、電力設備及び鳥類の巣を含む画像が入力され、その画像における鳥類の巣及び電力設備の領域の情報が出力される第1の学習済みモデルに現場画像を入力することにより、現場画像における鳥類の巣及び電力設備の領域の情報を出力し、次に、鳥類の巣及び電力設備の領域の情報が入力され、その鳥類の巣に対する対応内容及び対応タイミングの情報が出力される第2の学習済みモデルに、第1の学習済みモデルで出力された鳥類の巣及び電力設備の領域の情報を入力することにより、現場画像に含まれる巣に対する対応内容及び対応タイミングの情報を出力する。このように、第1の学習済みモデルにより認識された巣及び電力設備の領域の情報を入力値として、第2の学習済みモデルを用いることで、鳥類の巣に対する対応内容及び対応タイミングをより正確に推定することができる。 In this way, the nest response work support device of the present invention outputs response and timing information using a trained model (nesting risk determination model) consisting of a first trained model and a second trained model. That is, the nest response work support device 1 of the present invention inputs an image including power equipment and bird nests into the first trained model, which outputs information about the areas of the bird nests and power equipment in the image, thereby outputting information about the areas of the bird nests and power equipment in the site image. Next, the information about the areas of the bird nests and power equipment is input into the second trained model, which outputs information about the response content and timing for the bird nests, thereby outputting information about the response content and timing for the nests included in the site image. In this way, by using the second trained model with information about the areas of the nests and power equipment recognized by the first trained model as input values, it is possible to more accurately estimate the response content and timing for the bird nests.
また、前述の目的を達成するための本発明の一つは、情報処理装置が、画像を取得する画像取得処理と、電力設備及び鳥類の巣を含む画像が入力され、前記鳥類の巣に対する対応内容及び対応タイミングの情報が出力される学習済みモデルに、前記取得した画像を入力することにより、前記取得した画像に含まれる巣に対する対応内容及び対応タイミングの情報を出力する緊急度判定処理と、を実行する、営巣対応業務支援方法、営巣対応業務支援方法、である。 Furthermore, one aspect of the present invention for achieving the above-mentioned objectives is a nesting response work support method, in which an information processing device executes an image acquisition process for acquiring an image, and an urgency assessment process for outputting information on the response content and timing for the nest contained in the acquired image by inputting the acquired image into a trained model that receives an image including an electric power facility and a bird's nest and outputs information on the response content and timing for the bird's nest.
本発明によれば、電力設備に作られた営巣に対して行うべき対応及びそのタイミングに関する情報を提供することができる。 The present invention can provide information on what actions should be taken and the timing of those actions in response to nests built on power equipment.
以下、本発明の一実施形態に係る営巣対応業務支援装置について、図面を参照しつつ説明する。
電力系統に配設されている電柱では、カラスやスズメ等の鳥類が、電柱に設けられている腕金又は電線等を足場としながら、針金又はハンガー等の金属部品を利用して巣を作ることがある。このようにして作られた巣を放置すると、成長した巣が周囲の電力設備に接触して短絡等の重大な事故を引き起こす可能性がある。
Hereinafter, a nest response operation support device according to one embodiment of the present invention will be described with reference to the drawings.
On utility poles installed in power systems, birds such as crows and sparrows sometimes build nests using metal parts such as wires or hangers, using the cross arms or electric wires attached to the utility poles as footholds. If nests built in this way are left unattended, the nests may come into contact with surrounding power equipment and cause serious accidents such as short circuits.
そこで本実施形態の営巣対応業務支援装置は、過去に作業員等が撮影した、鳥類の巣及びその近傍の電力設備の画像(以下、実績画像ともいう)を教師データとした所定の機械学習を行うことで、巣に対して講じるべき対策の情報を出力する学習済みモデル(以下、営巣危険判定モデルという)を作成しておく。その後、営巣対応業務支援装置は、電柱等の電力設備で営巣が行われていることを新たに発見した作業員等が撮影した画像(以下、現場画像という)が、営巣危険判定モデルに入力されると、当該作業員等が営巣に対して行うべき対応及びタイミングの情報を出力して画面に表示する。 The nest response work support device of this embodiment therefore performs a predetermined machine learning process using images of bird nests and nearby power equipment taken in the past by workers or the like (hereinafter also referred to as actual images) as training data to create a trained model (hereinafter referred to as a nest risk assessment model) that outputs information on measures to be taken against nests. After that, when an image (hereinafter referred to as an on-site image) taken by a worker or the like who has newly discovered nesting on a utility pole or other power equipment is input into the nest risk assessment model, the nest response work support device outputs and displays on the screen information on the measures that the worker or the like should take against the nest and the timing of such measures.
(実績画像)
図1は、実績画像の一例を示す図である。この実績画像50は、地表(不図示)から立設されている電柱51を、所定距離離れた位置から所定仰角で撮影した画像である。
(Actual image)
1 is a diagram showing an example of an actual image 50. This actual image 50 is an image of a utility pole 51 erected from the ground (not shown) taken at a predetermined elevation angle from a position a predetermined distance away.
具体的には、電柱51は、支柱52の所定高さから水平方向に延伸しその先端に開閉器53が取り付けられている第1の腕金54と、第1の腕金54の上方に、支柱52の所定高さから水平方向に延伸している第2の腕金56とを備える。第2の腕金56には、複数の高圧電線55が架設されている。鳥類の巣59は、第1の腕金54、第2の腕金56、又は高圧電線55を足場としつつ、他所から鳥類により運搬された針金又はハンガー等の金属部材(不図示)を用いて作られる。このような巣59が巨大化すると、第1の腕金54、第2の腕金56の近傍にある電力設備、例えば開閉器53又は高圧電線55に接触するおそれがある。 Specifically, utility pole 51 comprises a first cross arm 54 extending horizontally from a predetermined height on support 52 and having a switch 53 attached to its tip, and a second cross arm 56 extending horizontally from a predetermined height on support 52 above first cross arm 54. Multiple high-voltage electrical wires 55 are strung across second cross arm 56. Bird nests 59 are made using metal members (not shown) such as wire or hangers carried by birds from elsewhere, using first cross arm 54, second cross arm 56, or high-voltage electrical wires 55 as footholds. If such nests 59 grow large, they may come into contact with power equipment near first cross arm 54 or second cross arm 56, such as switch 53 or high-voltage electrical wires 55.
図2は、実績画像の他の一例を示す図である。この実績画像70は、先に説明した実績画像50と同様に、地表(不図示)から立設されている電柱71を、所定距離離れた位置から所定仰角で撮影した画像である。 Figure 2 shows another example of an actual image. Similar to actual image 50 described above, actual image 70 is an image of a utility pole 71 erected from the ground (not shown) taken at a predetermined elevation angle from a position a predetermined distance away.
具体的には、この電柱71の支柱72には柱上変圧器73が設けられている。また、この電柱71は、支柱72の所定高さから水平方向に延伸しその先端に高圧カットアウト74を固定した高圧カットアウト支持アーム75が設けられている第1の腕金76と、第1の腕金76の上方に支柱72から水平方向に延伸している第2の腕金77とを備える。第2の腕金77の先端部には、複数の避雷器78及び高圧電線79が設けられている。鳥類の巣80は、第1の腕金76、第2の腕金77、又は高圧電線79等を足場としつつ、他所から鳥類により運搬された針金又はハンガー等の金属部材(不図示)を用いて作られる。このような巣80が巨大化すると、第1の腕金76及び第2の腕金77の近傍にある電力設備、例えば高圧カットアウト74、高圧カットアウト支持アーム75、避雷器78、又は高圧電線79等に接触するおそれがある。 Specifically, a pole-mounted transformer 73 is mounted on the support 72 of the utility pole 71. The utility pole 71 also has a first cross arm 76 that extends horizontally from a predetermined height on the support 72 and has a high-voltage cutout support arm 75 with a high-voltage cutout 74 fixed to its tip, and a second cross arm 77 that extends horizontally from the support 72 above the first cross arm 76. The tip of the second cross arm 77 is equipped with multiple lightning arresters 78 and high-voltage wires 79. Bird nests 80 are made using metal members (not shown) such as wires or hangers that have been carried by the birds from elsewhere, using the first cross arm 76, second cross arm 77, or high-voltage wires 79 as footholds. If such a nest 80 grows large, it may come into contact with power equipment near the first cross arm 76 and the second cross arm 77, such as the high-voltage cutout 74, the high-voltage cutout support arm 75, the lightning arrester 78, or the high-voltage power line 79.
このように、巣59、80が成長してその周囲の各電力設備との距離が短くなるほど、巣59、80が各電力設備に接触する可能性が高くなる。 In this way, as nests 59 and 80 grow and the distance between them and the surrounding power equipment decreases, the likelihood that nests 59 and 80 will come into contact with the power equipment increases.
さらに、巣59、80の成長速度は、鳥類の活動度すなわち当該巣59、80が作られる時期(季節、月等)にも依存する。また、巣59、80の成長速度は、鳥類が生息している地域にも依存する。なお、この地域の違いは、例えば、単純な場所の違いだけでなく、都市部であるか又は山間部であるかといった土地利用の形態の違いも含む。 Furthermore, the growth rate of nests 59, 80 depends on the activity level of the birds, i.e., the time of year (season, month, etc.) when the nests 59, 80 are built. The growth rate of nests 59, 80 also depends on the region in which the birds live. Differences in this region include not only simple differences in location, but also differences in land use, such as whether the area is urban or mountainous.
以上から、巣59、80の撤去等の対応の緊急性の程度は、巣59、80と各電力設備との位置関係の他、営巣の時期及び地域とも相関関係を有すると考えられる。そこで、本実施形態の営巣対応業務支援装置はこのような相関関係を利用して、実績画像に基づき営巣危険判定モデルを生成する。 From the above, it is believed that the urgency of the response, such as removing nests 59 and 80, is correlated not only with the relative positions of nests 59 and 80 and each power facility, but also with the time and region of nesting. Therefore, the nesting response work support device of this embodiment utilizes these correlations to generate a nesting risk assessment model based on actual images.
以下、営巣対応業務支援装置の詳細を説明する。
--接続相判定装置--
図3は、本実施形態に係る営巣対応業務支援装置1が備える機能の一例を説明する図である。営巣対応業務支援装置1は、画像取得部11、前処理部13、学習部15、緊急度判定部17、及び情報表示部19を備える情報処理装置(コンピュータ)である。
The nest response support device will be described in detail below.
--Connected phase determination device--
3 is a diagram illustrating an example of functions of the nesting response work support device 1 according to this embodiment. The nesting response work support device 1 is an information processing device (computer) including an image acquisition unit 11, a preprocessing unit 13, a learning unit 15, an urgency determination unit 17, and an information display unit 19.
また、営巣対応業務支援装置1は、実績画像の特徴量及び正解ラベルのデータを記憶した教師データDB200と、実績画像及び現場画像を記憶した画像DB300とを備える。 The nest response work support device 1 also includes a training data DB 200 that stores feature values and correct label data for actual images, and an image DB 300 that stores actual images and on-site images.
画像取得部11は、画像(実績画像及び現場画像)を、記録媒体から読み取り、又は通信ネットワークを介して受信すること等により取得する。 The image acquisition unit 11 acquires images (actual images and on-site images) by reading them from a recording medium or receiving them via a communications network.
学習部15は、教師データDB200に基づき、電力設備及び鳥類の巣を含む画像(現場画像)が入力され、その鳥類の巣に対する対応内容及び対応タイミングの情報(以下、緊急度という)が出力される学習済みモデル(営巣危険判定モデル)を作成する。 Based on the training data DB 200, the learning unit 15 inputs images (site images) containing power equipment and bird nests, and creates a trained model (nesting risk assessment model) that outputs information on the response content and timing of the response to the bird nest (hereinafter referred to as urgency).
なお、学習済みモデルは、現場画像が撮影された地域及び時期の情報がさらに入力されるモデルとしてもよい。本実施形態の営巣危険判定モデルは、地域及び時期の情報がさらに入力されるモデルであるものとする。 The trained model may also be a model to which information about the region and time when the site images were taken is further input. The nest risk assessment model of this embodiment is a model to which information about the region and time is further input.
この学習済みモデルは、現場画像の特徴量を、ディープラーニングにより機械学習することで構築される。この学習済みモデルは、本実施形態では、画像の画素情報(画素の内容及び座標)が入力される入力層と、画素情報から画像の特徴量を抽出して出力する1又は複数の中間層(隠れ層)と、画像の特徴量から緊急度を出力する出力層とを有するニューラルネットワークである。 This trained model is constructed by machine learning the features of on-site images using deep learning. In this embodiment, this trained model is a neural network that has an input layer to which image pixel information (pixel content and coordinates) is input, one or more intermediate layers (hidden layers) that extract and output image features from the pixel information, and an output layer that outputs a level of urgency from the image features.
なお、本実施形態の学習済みモデルにおけるニューラルネットワークとしては、例えば、CNN(Convolution Neural Network)、SVM(Support Vector Machine)、ベイジアンネットワーク、又は回帰木等を適用することが可能であるが、本実施形態では画像認識に適した手法であるCNNを前提とする。 Note that, although it is possible to apply, for example, a CNN (Convolution Neural Network), an SVM (Support Vector Machine), a Bayesian network, or a regression tree as the neural network in the trained model of this embodiment, this embodiment assumes the use of a CNN, which is a method suitable for image recognition.
緊急度判定部17は、学習済みモデルに、画像取得部11が取得した現場画像を入力することにより、現場画像に含まれる巣に対応する対応内容及び対応タイミングの情報を出力する。 The urgency determination unit 17 inputs the on-site images acquired by the image acquisition unit 11 into the trained model, and outputs information on the response content and response timing corresponding to the nest contained in the on-site images.
情報表示部19は、緊急度判定部17が出力した情報を画面に表示する。 The information display unit 19 displays the information output by the urgency determination unit 17 on the screen.
(教師データDB)
図4は、教師データDB200の一例を示す図である。教師データDB200は、実績画像及びこれに関連した情報を記憶している。教師データDB200は、各画像の電柱のIDが設定される電柱ID201、各画像の撮影日時が設定される撮影日時202、各画像を記録したデータファイルを示す情報が設定される画像データ203、各画像の撮影位置が設定される撮影位置204、各画像中の巣の領域情報(画像中の各画素の内容及びその位置の情報)が設定される巣領域205、各画像中の電力設備の領域情報(画像中の各画素の内容及びその位置の情報)が設定される電力設備領域206、各画像中の電力設備の種類である電力設備種類207、及び、各画像中の営巣撤去に係る緊急度208の各データ項目を有する。
(Teacher data DB)
4 is a diagram illustrating an example of the teacher data DB 200. The teacher data DB 200 stores actual images and related information. The teacher data DB 200 includes the following data items: utility pole ID 201, which sets the ID of the utility pole in each image; image capture date/time 202, which sets the date and time each image was captured; image data 203, which sets information indicating the data file in which each image was recorded; image capture location 204, which sets the location where each image was captured; nest area 205, which sets area information for the nest in each image (information about the content and location of each pixel in the image); power equipment area 206, which sets area information for the power equipment in each image (information about the content and location of each pixel in the image); power equipment type 207, which indicates the type of power equipment in each image; and urgency 208 for nest removal in each image.
電力設備種類207には、例えば、各開閉器、避雷器、変圧器、高圧カットアウト、高圧腕金、及び高圧カットアウト支持アームといった電力設備の種類の情報が設定され、電力設備領域206には、それらの実績画像中の領域情報が設定される。 In the power equipment type 207, information on the type of power equipment, such as each switch, lightning arrester, transformer, high-voltage cutout, high-voltage cross arm, and high-voltage cutout support arm, is set, and in the power equipment area 206, area information in the actual image is set.
緊急度208には、本実施形態では、巣の即時撤去が必要であることを示す情報、巣を3日以内に撤去することが必要であることを示す情報、巣を1週間以内に撤去することが必要であることを示す情報、又は、巣の撤去は不要であることを示す情報のいずれかが設定される。なお、日数は特にこの値で限定する趣旨ではない。 In this embodiment, the urgency level 208 is set to one of the following: information indicating that the nest needs to be removed immediately, information indicating that the nest needs to be removed within three days, information indicating that the nest needs to be removed within one week, or information indicating that the nest does not need to be removed. Note that the number of days is not intended to be limited to this value.
教師データDB200の各データ項目は、例えば、営巣の監視又は撤去に関わった作業員等が、実績画像を参照しながら設定する。なお、撮影日時202及び撮影位置204は、例えば、実績画像のメタデータから抽出してもよいし、実績画像を撮影した作業員等が設定してもよい。 Each data item in the training data DB 200 is set, for example, by a worker involved in nest monitoring or removal, while referring to the actual image. The shooting date and time 202 and shooting location 204 may be extracted from the metadata of the actual image, or may be set by the worker who took the image.
なお、図4で示した教師データDB200のデータ項目は一例である。これらのデータ項目以外にも、営巣危険判定モデルの特徴量として営巣に対する対応及びそのタイミングに影響を与える情報(例えば、鳥の種類)が設定されてもよい。 Note that the data items in the training data DB 200 shown in Figure 4 are examples. In addition to these data items, information that influences the response to nesting and the timing of that response (for example, bird species) may also be set as a feature of the nesting risk assessment model.
次に、図5は、営巣対応業務支援装置1のハードウェアの一例を示す図である。営巣対応業務支援装置1は、プロセッサ31、主記憶装置32、補助記憶装置33、入力装置34、出力装置35、及び通信装置36を備える。 Next, Figure 5 is a diagram showing an example of the hardware of the nesting response work support device 1. The nesting response work support device 1 includes a processor 31, a main memory device 32, an auxiliary memory device 33, an input device 34, an output device 35, and a communication device 36.
プロセッサ31は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、AI(Artificial Intelligence)チップ等を用いて構成されている。 The processor 31 is configured using, for example, a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), FPGA (Field Programmable Gate Array), ASIC (Application Specific Integrated Circuit), AI (Artificial Intelligence) chip, etc.
主記憶装置32は、プログラムやデータを記憶する装置であり、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ(NVRAM(Non Volatile RAM))等である。 The main memory device 32 is a device that stores programs and data, and is, for example, ROM (Read Only Memory), RAM (Random Access Memory), or non-volatile memory (NVRAM (Non Volatile RAM)).
補助記憶装置33は、例えば、SSD(Solid State Drive)、ハードディスクドライブ、光学式記憶装置(CD(Compact Disc)、DVD(Digital Versatile Disc)等)、ストレージシステム、ICカード、SDカードや光学式記録媒体等の記録媒体の読取/書込装置、クラウドサーバの記憶領域等である。補助記憶装置33には、記録媒体の読取装置や通信装置36を介してプログラムやデータを読み込むことができる。補助記憶装置33に格納(記憶)されているプログラムやデータは主記憶装置32に随時読み込まれる。 The auxiliary storage device 33 may be, for example, an SSD (Solid State Drive), a hard disk drive, an optical storage device (CD (Compact Disc), DVD (Digital Versatile Disc), etc.), a storage system, an IC card, a read/write device for recording media such as an SD card or optical recording media, or a storage area of a cloud server. Programs and data can be read into the auxiliary storage device 33 via a recording media reader or communication device 36. Programs and data stored in the auxiliary storage device 33 are read into the main storage device 32 as needed.
入力装置34は、外部からの入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、ペン入力方式のタブレット、音声入力装置等である。 The input device 34 is an interface that accepts input from outside, and may be, for example, a keyboard, mouse, touch panel, card reader, pen-input tablet, or voice input device.
出力装置35は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置35は、例えば、上記の各種情報を可視化する表示装置(液晶モニタ、LCD(Liquid Crystal Display)、グラフィックカード等)、上記の各種情報を音声化する装置(音声出力装置(スピーカ等))、上記の各種情報を文字化する装置(印字装置等)である。なお、例えば、営巣対応業務支援装置1が通信装置36を介して他の装置との間で情報の入力や出力を行う構成としてもよい。 The output device 35 is an interface that outputs various information such as processing progress and results. The output device 35 is, for example, a display device (liquid crystal monitor, LCD (Liquid Crystal Display), graphics card, etc.) that visualizes the various information described above, a device that converts the various information described above into audio (audio output device (speaker, etc.)), or a device that converts the various information described above into text (printer, etc.). Note that, for example, the nest response work support device 1 may be configured to input and output information to and from other devices via the communication device 36.
入力装置34及び出力装置35は、情報の受け付けや情報の提示を行うユーザインタフェースを構成する。 The input device 34 and output device 35 form a user interface that accepts and presents information.
通信装置36は、他の装置との間の通信を実現する装置である。通信装置36は、インターネット等の通信ネットワークを介して他の装置との間の通信を実現する、有線方式または無線方式の通信インタフェースであり、例えば、NIC(Network Interface Card)、無線通信モジュール、USBモジュール等である。 The communication device 36 is a device that enables communication with other devices. The communication device 36 is a wired or wireless communication interface that enables communication with other devices via a communication network such as the Internet, and is, for example, a NIC (Network Interface Card), a wireless communication module, a USB module, etc.
なお、営巣対応業務支援装置1は、その全部または一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また、営巣対応業務支援装置1によって提供される機能の全部または一部は、例えば、クラウドシステムがAPI(Application Programming Interface)等を介して提供するサービスによって実現してもよい。また、営巣対応業務支援装置1は、通信可能に接続された複数の情報処理装置を含むシステムとして構成してもよい。 The nesting response work support device 1 may be realized, in whole or in part, using virtual information processing resources provided using virtualization technology, process space separation technology, etc., such as a virtual server provided by a cloud system. Also, all or part of the functions provided by the nesting response work support device 1 may be realized, for example, by a service provided by the cloud system via an API (Application Programming Interface), etc. Furthermore, the nesting response work support device 1 may be configured as a system including multiple information processing devices connected to each other so that they can communicate with each other.
営巣対応業務支援装置1が備える前述の各機能は、営巣対応業務支援装置1のプロセッサ31が、主記憶装置32に格納されているプログラムを読み出して実行することにより、もしくは、営巣対応業務支援装置1を構成するハードウェア(FPGA、ASIC、AIチップ等)によって実現される。営巣対応業務支援装置1は、前述した各種の情報(データ)を、例えば、データベースのテーブルやファイルシステムが管理するファイルとして記憶する。
次に、営巣対応業務支援装置1が行う処理について説明する。
The above-mentioned functions of the nesting response work support device 1 are realized by the processor 31 of the nesting response work support device 1 reading and executing a program stored in the main memory device 32, or by the hardware (FPGA, ASIC, AI chip, etc.) that constitutes the nesting response work support device 1. The nesting response work support device 1 stores the above-mentioned various information (data), for example, as a database table or a file managed by a file system.
Next, the processing performed by the nest response work support device 1 will be described.
--モデル学習処理--
図6は、営巣対応業務支援装置1が行うモデル学習処理の一例を説明するフロー図である。モデル学習処理は、例えば、作業員等から営巣対応業務支援装置1に所定の入力があった場合、又は所定のタイミング(所定の時刻、所定の時間間隔)に開始される。
--Model learning process--
6 is a flow diagram illustrating an example of a model learning process performed by the nesting response work support device 1. The model learning process is started, for example, when a predetermined input is made to the nesting response work support device 1 by a worker or the like, or at a predetermined timing (a predetermined time or a predetermined time interval).
まず、学習部15は、実績画像及びこれに対する正解ラベルの情報を取得する(s11)。具体的には、学習部15は、教師データDB200の各レコードのデータを取得する。 First, the learning unit 15 acquires information about the performance image and its corresponding correct label (s11). Specifically, the learning unit 15 acquires data for each record in the training data DB 200.
そして、学習部15は、s11で取得したデータについて、営巣危険判定モデルの特徴量を生成するための前処理を行う(s13)。 Then, the learning unit 15 performs preprocessing on the data acquired in s11 to generate features for the nest risk assessment model (s13).
具体的には、例えば、学習部15は、教師データDB200の撮影日時202に基づき実績画像が撮影された時期の情報(例えば、季節の情報)を生成する。 Specifically, for example, the learning unit 15 generates information about the time when the actual image was captured (e.g., seasonal information) based on the capture date and time 202 in the training data DB 200.
また、例えば、学習部15は、教師データDB200の撮影位置204及び所定の地図データに基づき、実績画像が撮影された地域(例えば、行政区画に基づく地域でもよいし、住宅地又は山間部といった鳥類の活動パターンを特徴付ける地理的特性の情報でもよい)の情報を生成する。 Furthermore, for example, the learning unit 15 generates information on the area where the actual image was taken (for example, this may be an area based on an administrative district, or information on geographical characteristics that characterize the activity patterns of birds, such as residential areas or mountainous areas) based on the shooting location 204 in the teacher data DB 200 and predetermined map data.
また、学習部15は、各実績画像を拡大又は縮小し、全実績画像中で同一物が同一の画像素子数で構成されるようにしてもよい。 The learning unit 15 may also enlarge or reduce each actual image so that identical objects in all actual images are composed of the same number of image elements.
また、学習部15は、各実績画像を射影変換等することで、実績画像を所定方向から撮影した画像となるように調節してもよいし、各実績画像の色調等を補正してもよい。 The learning unit 15 may also adjust each actual image by performing a projective transformation or the like to make it appear as if it were captured from a predetermined direction, or may correct the color tone, etc., of each actual image.
学習部15は、s11で取得した実績画像、s13で算出した特徴量、及び正解ラベルについての機械学習を行うことで、営巣危険判定モデルを作成する(s15)。 The learning unit 15 creates a nest risk assessment model by performing machine learning on the actual image acquired in s11, the feature values calculated in s13, and the correct label (s15).
例えば、学習部15は、s11で取得した教師データDB200における画像データ203と、s13で算出した季節及び地域の情報とを営巣危険判定モデルに入力することで、実績画像に対応する各出力値及び中間値を取得する。なお、本処理を初回に実行する場合には、営巣危険判定モデルのハイパーパラメータ(次述)に予め初期値を設定しておく。 For example, the learning unit 15 inputs the image data 203 in the training data DB 200 acquired in s11 and the seasonal and regional information calculated in s13 into the nesting risk assessment model, thereby acquiring output values and intermediate values corresponding to the actual image. Note that when this process is executed for the first time, initial values are set in advance for the hyperparameters (described next) of the nesting risk assessment model.
学習部15は、取得した各出力値と、教師データDB200に登録されている巣領域205、電力設備領域206、電力設備種類207、及び緊急度208とがそれぞれ近づくように、営巣危険判定モデルにおけるハイパーパラメータを最適化する(s17)。例えば、学習部15は、ユニット(ニューロン)間の重み、又は活性化関数における係数等のハイパーパラメータを、逆誤差伝播法等の学習法を用いて調節する。以上でモデル作成処理は終了する。 The learning unit 15 optimizes the hyperparameters in the nest risk assessment model so that each acquired output value approaches the nest area 205, power equipment area 206, power equipment type 207, and urgency level 208 registered in the training data DB 200 (s17). For example, the learning unit 15 adjusts hyperparameters such as weights between units (neurons) or coefficients in activation functions using a learning method such as backpropagation. This completes the model creation process.
なお、営巣危険判定モデルの出力値は、緊急度の情報と共に、その確度の情報を含むものとしてもよい。この場合、営巣危険判定モデルは、緊急度の情報及びその確度の情報の組み合わせを1又は複数出力することが可能である。 The output value of the nesting risk assessment model may include information on the degree of urgency as well as information on its accuracy. In this case, the nesting risk assessment model can output one or more combinations of information on the degree of urgency and information on its accuracy.
なお、学習部15は、営巣危険判定モデルを2つの学習済みモデルにより構成するようにしてもよい。例えば、第1に、学習部15は、実績画像が入力され、実績画像における巣の領域、電力設備種類、及び電力設備の領域の情報が出力される第1の学習済みモデルを生成する。すなわち、学習部15は、s11で取得した教師データDB200における画像データ203を第1の学習済みモデルに入力することで、実績画像に対応する各出力値を取得する。学習部15は、取得した各出力値と、教師データDB200における巣領域205、電力設備領域206、及び電力設備種類207とがそれぞれ近づくように、営巣危険判定モデルにおけるハイパーパラメータを最適化する。 The learning unit 15 may configure the nest risk assessment model using two trained models. For example, first, the learning unit 15 generates a first trained model that receives an actual image and outputs information on the nest area, power equipment type, and power equipment area in the actual image. That is, the learning unit 15 inputs the image data 203 in the teacher data DB 200 acquired in s11 into the first trained model, thereby acquiring each output value corresponding to the actual image. The learning unit 15 optimizes the hyperparameters in the nest risk assessment model so that each acquired output value approaches the nest area 205, power equipment area 206, and power equipment type 207 in the teacher data DB 200, respectively.
第2に、学習部15は、巣の領域、電力設備の種類、電力設備の領域、季節、及び地域が入力され、緊急度の情報が出力される第2の学習済みモデルを生成する。すなわち、学習部15は、第1の学習済みモデルにより出力された巣の領域、電力設備種類、及び電力設備の領域の情報を第2の学習済みモデルに入力することで、各出力値を取得する。学習部15は、取得した各出力値と、教師データDB200における緊急度208とがそれぞれ近づくように、第2の学習済みモデルにおけるハイパーパラメータを最適化する。 Second, the learning unit 15 generates a second trained model that receives the nest area, type of power equipment, area of the power equipment, season, and region as input and outputs urgency information. That is, the learning unit 15 inputs the information on the nest area, type of power equipment, and area of the power equipment output by the first trained model into the second trained model to obtain each output value. The learning unit 15 optimizes the hyperparameters in the second trained model so that each obtained output value approaches the urgency 208 in the training data DB 200.
このように、営巣危険判定モデルを2つの学習済みモデルにより構成することで、巣及び各電力設備の領域を精度良く認識した上で緊急度を推定することができる。これにより、営巣に対する行うべき対応及びそのタイミングを精度良く判定することができる。 In this way, by constructing a nest risk assessment model using two trained models, it is possible to accurately recognize the areas of nests and each piece of power equipment and estimate the level of urgency. This makes it possible to accurately determine the response that should be taken in response to nesting and the timing of that response.
-緊急度判定処理-
図7は、緊急度判定処理の一例を説明するフロー図である。緊急度判定処理は、例えば、作業員等から営巣対応業務支援装置1に所定の入力があった場合、又は所定のタイミング(所定の時刻、所定の時間間隔)に開始される。
- Urgency determination process -
7 is a flow diagram illustrating an example of the urgency determination process. The urgency determination process is started, for example, when a predetermined input is made to the nest response work support device 1 by a worker or at a predetermined timing (a predetermined time or a predetermined time interval).
画像取得部11は、緊急度を判定する巣及び電柱を含んだ画像(現場画像)を取得する(s31)。例えば、画像取得部11は、作業員等が保持するカメラ又は端末により撮影された画像を、記録媒体又は、インターネット若しくはLAN(Local Area Network)等の通信ネットワークを介して読み込む。また、画像取得部11は、電柱やその近傍に設置された監視カメラが撮影した画像を読み込んでもよい。 The image acquisition unit 11 acquires an image (site image) including the nest and utility pole for which the urgency level is to be determined (s31). For example, the image acquisition unit 11 reads an image taken by a camera or terminal held by a worker or the like via a recording medium or a communications network such as the Internet or a LAN (Local Area Network). The image acquisition unit 11 may also read an image taken by a surveillance camera installed on or near a utility pole.
また、緊急度判定部17は、作業員等から、現場画像を撮影した季節及び地域の情報の入力を受け付ける(s33)。例えば、緊急度判定部17は、s31で取得した現場画像を画面に表示しつつ、作業員等から、季節及び地域の入力を受け付ける。なお、緊急度判定部17は、s13と同様の処理により、現場画像のデータに含まれる時刻情報又は位置情報から、現場画像を撮影した季節及び地域の情報を生成してもよい。 The urgency determination unit 17 also receives input from the worker or the like regarding information on the season and region in which the site image was taken (s33). For example, the urgency determination unit 17 receives input from the worker or the like regarding the season and region while displaying the site image acquired in s31 on a screen. Note that the urgency determination unit 17 may generate information on the season and region in which the site image was taken from the time information or location information included in the site image data using processing similar to s13.
緊急度判定部17は、s31で取得した現場画像、並びにs33で入力された季節及び地域の情報を営巣危険判定モデルに入力することにより、営巣危険判定モデルから出力される緊急度の情報を取得する(s35)。そして、緊急度判定部17は、緊急度の情報を次述する緊急度判定画面に表示する(s37)。以上で緊急度判定処理は終了する。 The urgency assessment unit 17 inputs the on-site image acquired in s31 and the seasonal and regional information input in s33 into the nesting risk assessment model, thereby acquiring urgency information output from the nesting risk assessment model (s35). The urgency assessment unit 17 then displays the urgency information on the urgency assessment screen described below (s37). This completes the urgency assessment process.
<緊急度判定画面>
図8は、緊急度判定画面500の一例である。緊急度判定画面500は、現場画像の表示欄501と、現場画像を撮影した季節の表示欄503と、現場画像が撮影された地域の表示欄505と、営巣危険判定モデルにより判定された緊急度の表示欄507とを備える。
<Urgency determination screen>
8 is an example of the urgency determination screen 500. The urgency determination screen 500 includes a display field 501 for an on-site image, a display field 503 for the season in which the on-site image was taken, a display field 505 for the region in which the on-site image was taken, and a display field 507 for the urgency determined by the nest risk determination model.
ユーザは、この緊急度判定画面500を参照することで、現場画像に撮影されている営巣に対してどのタイミングでどのような対応を取るべきかを知ることができる。 By referring to this urgency assessment screen 500, users can determine what action should be taken and when in response to the nesting spot captured in the on-site image.
以上のように、本実施形態の営巣対応業務支援装置1は、電力設備及び鳥類の巣を含む画像(実績画像)が入力され、その鳥類の巣に対する対応内容及び対応タイミングの情報が出力される学習済みモデル(営巣危険判定モデル)に、画像(現場画像)を入力することにより、現場画像に含まれる巣に対する対応内容及び対応タイミングの情報(緊急度)を出力するので、営巣の監視又は撤去等を行う作業員等は、営巣が行われている現場画像を用意するだけで、その営巣に対して行うべき具体的な対応及びそのタイミングを知ることができる。すなわち、本実施形態の営巣対応業務支援装置1によれば、電力設備に作られた営巣に対して行うべき対応及びそのタイミングに関する情報を提供することができる。 As described above, the nest response work support device 1 of this embodiment receives images (actual images) containing power equipment and bird nests, and outputs information on the response content and timing for the bird nests by inputting images (site images) into a trained model (nesting risk assessment model). This outputs information (urgency) on the response content and timing for the nests contained in the site images. Therefore, workers who monitor or remove nests can learn the specific response and timing to take in response to the nests simply by preparing site images of nests. In other words, the nest response work support device 1 of this embodiment can provide information on the response and timing to take in response to nests built in power equipment.
また、本実施形態の営巣対応業務支援装置1は、画像が撮影された地域及び時期の情報が入力される学習済みモデル(営巣危険判定モデル)に、現場画像の撮影地域及び撮影時期の情報を入力することにより、現場画像に含まれる巣に対する対応内容及び対応タイミングの情報を出力する。鳥類の営巣速度には地域性や季節性が見られる場合があるので、現場画像の撮影地域及び撮影時期を営巣危険判定モデルの特徴量として入力することで、作業員等は、営巣に対して行うべき具体的な対応を精度良く知ることができる。 In addition, the nesting response work support device 1 of this embodiment outputs information on the response content and timing for nests contained in the site images by inputting information on the area and time when the site images were taken into a trained model (nesting risk assessment model) that receives information on the area and time when the images were taken. Since bird nesting rates can vary by region or season, by inputting the area and time when the site images were taken as feature quantities for the nesting risk assessment model, workers and others can accurately know the specific response that should be taken in response to nesting.
また、本実施形態の営巣対応業務支援装置1は、営巣危険判定モデルに、現場画像を入力することにより、現場画像に含まれる巣の即時撤去が必要であることを示す情報、将来の所定タイミングまでに当該巣の撤去が必要であることを示す情報、又は、当該巣の撤去は不要であることを示す情報のいずれかを出力する。これにより、作業員等は、営巣に対して行うべきより具体的な対応を知ることができる。 In addition, by inputting site images into the nest risk assessment model, the nest response work support device 1 of this embodiment outputs either information indicating that the nest contained in the site image needs to be removed immediately, information indicating that the nest needs to be removed by a specified time in the future, or information indicating that the nest does not need to be removed. This allows workers and others to know more specific measures that should be taken in response to nest formation.
また、本実施形態の営巣対応業務支援装置1は、現場画像に含まれる巣に対する対応内容及び対応タイミングの情報を画面に表示するので、作業員等は、営巣に対して行うべき対応を迅速に把握することができる。 In addition, the nest response work support device 1 of this embodiment displays information on the response content and timing for the nest contained in the on-site image on the screen, allowing workers and others to quickly understand the response that should be taken in response to the nest.
また、本実施形態の営巣対応業務支援装置1は、第1の学習済みモデル及び第2の学習済みモデルからなる学習済みモデル(営巣危険判定モデル)を用いて対応及びタイミングの情報を出力する。すなわち、本実施形態の営巣対応業務支援装置1は、電力設備及び鳥類の巣を含む画像が入力され、その画像における鳥類の巣及び電力設備の領域の情報が出力される第1の学習済みモデルに現場画像を入力することにより、現場画像における鳥類の巣及び電力設備の領域の情報を出力し、次に、鳥類の巣及び電力設備の領域の情報が入力され、その鳥類の巣に対する対応内容及び対応タイミングの情報が出力される第2の学習済みモデルに、第1の学習済みモデルで出力された鳥類の巣及び電力設備の領域の情報を入力することにより、現場画像に含まれる巣に対する対応内容及び対応タイミングの情報を出力する。このように、第1の学習済みモデルにより認識された巣及び電力設備の領域の情報を入力値として、第2の学習済みモデルを用いることで、鳥類の巣に対する対応内容及び対応タイミングをより正確に推定することができる。 The nest response work support device 1 of this embodiment also outputs response and timing information using a trained model (nesting risk determination model) consisting of a first trained model and a second trained model. That is, the nest response work support device 1 of this embodiment receives an image including a power facility and a bird's nest and outputs information about the bird's nest and power facility areas in the image. By inputting a site image into the first trained model, which receives an image including the power facility and a bird's nest and outputs information about the bird's nest and power facility areas in the image, the device outputs information about the bird's nest and power facility areas in the site image. Next, the device inputs the information about the bird's nest and power facility areas output by the first trained model into the second trained model, which receives an image of the bird's nest and power facility areas and outputs information about the response content and timing for the bird's nest. In this way, by using the second trained model with the information about the nest and power facility areas recognized by the first trained model as input values, the device can more accurately estimate the response content and timing for the bird's nest.
以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。 The above description of the embodiments is intended to facilitate understanding of the present invention and is not intended to limit the present invention. The present invention may be modified or improved without departing from its spirit, and equivalents thereof are also included within the scope of the present invention.
例えば、本実施形態で説明した営巣対応業務支援装置1の各機能部の組み合わせは一例であり、例えば、機能部の一部を他の機能部に設けてもよいし、複数の機能部を一つの機能部にまとめてもよい。 For example, the combination of each functional unit of the nest response operation support device 1 described in this embodiment is one example, and for example, some functional units may be provided in other functional units, or multiple functional units may be combined into a single functional unit.
また、本実施形態では、実績画像及び現場画像は電柱における営巣の画像であることを前提としたが、鉄塔その他の電力設備における営巣の画像としてもよい。なお、営巣に係る設備を営巣危険判定モデルの特徴量の一つとしてもよい。 In addition, in this embodiment, the actual images and on-site images are assumed to be images of nests on utility poles, but they may also be images of nests on steel towers or other power equipment. Furthermore, the equipment related to nesting may also be used as one of the features of the nest risk assessment model.
また、本実施形態では、営巣危険判定モデルの出力値たる緊急度として、営巣撤去の有無及び撤去までの時間を設定したが、その他の種類の対応及びタイミングを緊急度としてもよい。例えば、営巣の巡視強化及びその期間、営巣の具体的な撤去方法等を緊急度の内容としてもよい。 In addition, in this embodiment, the urgency level, which is the output value of the nest risk assessment model, is set to the presence or absence of nest removal and the time until removal, but other types of responses and timing may also be used as the urgency level. For example, the urgency level may include the strengthening of nest patrols and their duration, specific nest removal methods, etc.
また、営巣対応業務支援装置1は、同一の電柱に対して複数方向からの現場画像の指定を受け付け、各現場画像に対する緊急度の情報を出力するようにしてもよい。電柱に設けられている電力設備の構成は複雑なため、方向によって撮影される画像も大きく異なる場合がある。そこで、複数方向からの現場画像に基づいて、緊急度の情報をそれぞれ出力することで、作業員等は、緊急度の判断をより正確に行うことができる。 The nest response work support device 1 may also accept requests for site images of the same utility pole from multiple directions and output urgency information for each site image. Because the configuration of power equipment installed on utility poles is complex, the images captured from different directions may vary significantly. Therefore, by outputting urgency information based on site images from multiple directions, workers and others can more accurately determine the level of urgency.
1 営巣対応業務支援装置、11 画像取得部、13 前処理部、15 学習部、17 緊急度判定部、19 情報表示部
1 Nest response operation support device, 11 Image acquisition unit, 13 Preprocessing unit, 15 Learning unit, 17 Urgency determination unit, 19 Information display unit
Claims (6)
前記画像を取得する画像取得処理と、
鳥類が足場としている電力設備の領域と、前記電力設備に配置されている、前記鳥類の巣の領域と、前記電力設備の近傍の他の電力設備の領域とを含む画像が入力され、前記鳥類の巣に対する対応内容及び対応タイミングの情報が出力される学習済みモデルに、前記取得した画像を入力することにより、前記取得した画像に含まれる巣に対する対応内容及び対応タイミングの情報を出力する緊急度判定処理とを実行するプロセッサ
を備える、営巣対応業務支援装置。 a memory for storing an image including the bird's nest and the power facility; and
an image acquisition process for acquiring the image;
a processor that executes an urgency determination process that inputs an image including an area of an electric power facility where birds are using the electric power facility as a foothold, an area of the bird's nest located on the electric power facility, and an area of other electric power facility near the electric power facility, and outputs information about the action content and timing of the action to be taken with respect to the bird's nest by inputting the acquired image into a trained model that outputs information about the action content and timing of the action to be taken with respect to the bird's nest.
A nest response support device equipped with the above.
前記プロセッサは、前記緊急度判定処理において、前記学習済みモデルに、前記取得した画像の撮影地域及び撮影時期の情報をさらに入力することにより、前記取得した画像に含まれる巣に対する対応内容及び対応タイミングの情報を出力する、
請求項1に記載の営巣対応業務支援装置。 The trained model is a model to which information on the area and time when the image was taken is further input,
In the urgency determination process , the processor further inputs information about the area where the acquired image was taken and the time when the image was taken into the trained model, and outputs information about the response content and response timing for the nest included in the acquired image.
The nesting response work support device according to claim 1.
前記プロセッサは、前記緊急度判定処理において、前記学習済みモデルに、前記取得した画像を入力することにより、前記取得した画像に含まれる巣の即時撤去が必要であることを示す情報、将来の所定タイミングまでに当該巣の撤去が必要であることを示す情報、又は、当該巣の撤去は不要であることを示す情報のいずれかを、前記対応内容及び対応タイミングの情報として出力する、
請求項1に記載の営巣対応業務支援装置。 The trained model is a model that outputs, as information on the response content and response timing for the bird's nest, any of information indicating that the nest needs to be immediately removed, information indicating that the nest needs to be removed by a predetermined time in the future, or information indicating that the nest does not need to be removed,
In the urgency determination process , the processor inputs the acquired image into the trained model, and outputs, as information on the response content and response timing, any one of information indicating that the nest included in the acquired image needs to be immediately removed, information indicating that the nest needs to be removed by a predetermined time in the future, and information indicating that the nest does not need to be removed.
The nesting response work support device according to claim 1.
鳥類が足場としている電力設備の領域と、前記電力設備に配置されている、前記鳥類の巣の領域と、前記電力設備の近傍の他の電力設備の領域とを含む画像が入力され、前記画像における鳥類の巣の領域及び各電力設備の領域の情報が出力される第1の学習済みモデルに、前記取得した画像を入力することにより、前記取得した画像における鳥類の巣の領域及び各電力設備の領域の情報を出力し、
鳥類の巣の領域及び各電力設備の領域の情報が入力され、前記鳥類の巣に対する対応内容及び対応タイミングの情報が出力される第2の学習済みモデルに、前記出力された鳥類の巣の領域及び各電力設備の領域の情報を入力することにより、前記取得した画像に含まれる巣に対する対応内容及び対応タイミングの情報を出力する、
請求項1に記載の営巣対応業務支援装置。 In the urgency determination process , the processor
an image including an area of an electric power facility where birds are using the facility as a foothold, an area of the bird's nest located on the electric power facility, and areas of other electric power facilities in the vicinity of the electric power facility is input, and information on the area of the bird's nest and the area of each piece of electric power facility in the image is output by inputting the acquired image into a first trained model;
information on bird nest areas and areas of each piece of power equipment is input to a second trained model, which outputs information on the response content and response timing for the bird nests, and by inputting the output information on bird nest areas and areas of each piece of power equipment into the second trained model, information on the response content and response timing for the nests included in the acquired image is output.
The nesting response work support device according to claim 1.
前記画像を取得する画像取得処理と、
鳥類が足場としている電力設備の領域と、前記電力設備に配置されている、前記鳥類の巣の領域と、前記電力設備の近傍の他の電力設備の領域とを含む画像が入力され、前記鳥類の巣に対する対応内容及び対応タイミングの情報が出力される学習済みモデルに、前記取得した画像を入力することにより、前記取得した画像に含まれる巣に対する対応内容及び対応タイミングの情報を出力する緊急度判定処理と、
を実行する、営巣対応業務支援方法。 A method for supporting nest response operations using an information processing device including a memory for storing an image including a bird's nest and an electric power facility, and a processor, the processor comprising :
an image acquisition process for acquiring the image;
an urgency determination process in which an image including the area of the power equipment where the birds are using it as a foothold, the area of the bird's nest located on the power equipment, and the area of other power equipment in the vicinity of the power equipment is input, and information regarding the response content and timing of the response to the bird's nest is output by inputting the acquired image into a trained model;
A method for supporting nest response operations.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021129054A JP7718153B2 (en) | 2021-08-05 | 2021-08-05 | Nesting response work support device and nesting response work support method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021129054A JP7718153B2 (en) | 2021-08-05 | 2021-08-05 | Nesting response work support device and nesting response work support method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023023478A JP2023023478A (en) | 2023-02-16 |
| JP7718153B2 true JP7718153B2 (en) | 2025-08-05 |
Family
ID=85203055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021129054A Active JP7718153B2 (en) | 2021-08-05 | 2021-08-05 | Nesting response work support device and nesting response work support method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7718153B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011204012A (en) | 2010-03-25 | 2011-10-13 | Chugoku Electric Power Co Inc:The | Apparatus, system and method for managing nesting information |
| JP2020065330A (en) | 2018-10-15 | 2020-04-23 | 東京電力ホールディングス株式会社 | Anomaly detection method, program, learned model generation method, and learned model |
| JP2020160765A (en) | 2019-03-26 | 2020-10-01 | 東京電力ホールディングス株式会社 | Information processing device, equipment determination method, computer program and trained model generation method |
-
2021
- 2021-08-05 JP JP2021129054A patent/JP7718153B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011204012A (en) | 2010-03-25 | 2011-10-13 | Chugoku Electric Power Co Inc:The | Apparatus, system and method for managing nesting information |
| JP2020065330A (en) | 2018-10-15 | 2020-04-23 | 東京電力ホールディングス株式会社 | Anomaly detection method, program, learned model generation method, and learned model |
| JP2020160765A (en) | 2019-03-26 | 2020-10-01 | 東京電力ホールディングス株式会社 | Information processing device, equipment determination method, computer program and trained model generation method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023023478A (en) | 2023-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230177613A1 (en) | Platform for autonomous risk assessment and quantification for cyber insurance policies | |
| JP6878450B2 (en) | Methods and devices to prevent advertising fraud and storage media | |
| CN107330731B (en) | Method and device for identifying click abnormity of advertisement space | |
| WO2021079210A1 (en) | Predicting and correcting vegetation state | |
| CN110798467B (en) | Target object identification method and device, computer equipment and storage medium | |
| CN112434742B (en) | Method, system and equipment for identifying PoE-face cheating office on Ethernet | |
| CN102725605A (en) | Method and system for estimating vegetation growth relative to an object of interest | |
| JP2021019480A (en) | Information processing device, information processing method and program | |
| US10359292B2 (en) | Deep learning allergen mapping | |
| CN109086916A (en) | A convective weather nowcasting method and device based on multi-source observation data | |
| US20200111038A1 (en) | Identifying and evaluating risks across risk alert sources | |
| KR20190143831A (en) | Training and/or assistance platform for air management via air traffic management electronic system, associated method | |
| CN112215439B (en) | A GIS-based geological disaster emergency command data processing method and system | |
| CN114626669A (en) | Optical cable inspection priority judgment method and device based on multivariate data | |
| JP7718153B2 (en) | Nesting response work support device and nesting response work support method | |
| CN108306769B (en) | CDN node deployment control method and system | |
| CN112347889B (en) | Substation operation behavior identification method and device | |
| CN109146177A (en) | A kind of electric line screen of trees prediction technique and device | |
| JP2021068070A (en) | Accident cause prediction device, accident cause prediction system, accident cause prediction method, and accident cause prediction program | |
| JP7753714B2 (en) | Bird damage control support device and bird damage control support method | |
| CN120766040A (en) | Method, device and equipment for identifying abnormal hidden dangers of overhead lines based on drones | |
| CN116823264A (en) | Risk identification methods, devices, electronic equipment, media and program products | |
| CN109493104A (en) | A kind of method and system of Intelligent visiting | |
| CN113610948A (en) | Writing interaction method, system, device, equipment and storage medium | |
| JP7757741B2 (en) | Ground abnormality detection device, ground abnormality detection system, and ground abnormality detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240328 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250624 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250707 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7718153 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |