Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6844262B2 - Warning image providing server, warning image providing system, and warning image providing method - Google Patents
[go: Go Back, main page]

JP6844262B2 - Warning image providing server, warning image providing system, and warning image providing method - Google Patents

Warning image providing server, warning image providing system, and warning image providing method Download PDF

Info

Publication number
JP6844262B2
JP6844262B2 JP2017000728A JP2017000728A JP6844262B2 JP 6844262 B2 JP6844262 B2 JP 6844262B2 JP 2017000728 A JP2017000728 A JP 2017000728A JP 2017000728 A JP2017000728 A JP 2017000728A JP 6844262 B2 JP6844262 B2 JP 6844262B2
Authority
JP
Japan
Prior art keywords
image
conductor
color
coded
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017000728A
Other languages
Japanese (ja)
Other versions
JP2018109905A (en
Inventor
健治 松前
健治 松前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chugoku Electric Power Co Inc
Original Assignee
Chugoku Electric Power Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chugoku Electric Power Co Inc filed Critical Chugoku Electric Power Co Inc
Priority to JP2017000728A priority Critical patent/JP6844262B2/en
Publication of JP2018109905A publication Critical patent/JP2018109905A/en
Application granted granted Critical
Publication of JP6844262B2 publication Critical patent/JP6844262B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)

Description

本発明は、電気設備の各機器間における導体部の充停電状態を表す画像を生成する警告画像提供サーバ、警告画像提供システム、及び警告画像提供方法に関する。 The present invention relates to a warning image providing server, a warning image providing system, and a warning image providing method for generating an image showing a power failure state of a conductor portion between each device of electrical equipment.

従来、電気所等に配置された架空送電線・架空母線・スイッチギヤ内等における感電災害を防止するため、電力会社内で策定された例えば維持作業要則、給電運用要則等に従った数々の対策を実施している。
しかし、このような対策だけでは、感電災害を完全に防止することができていない。すなわち、電気が充電された導体部は、当該導体部が充電状態であるか否かを目視確認できない。このため、上述したような対策では、点検員が導体部の充電箇所に対して誤認識することに起因して、点検員が充電箇所へ接近又は接触して感電災害が発生するおそれがあった。
特許文献1には、系統機器の状態情報を現場端末装置に送信して、リアルタイムの充停電情報を画面上に表示させる送配電系統監視装置が開示されている。
In order to prevent electric shock accidents in overhead power transmission lines, overhead bus bars, switch gears, etc., which have been conventionally installed in electric power stations, etc., a number of procedures have been established in accordance with, for example, maintenance work guidelines and power supply operation guidelines established within the electric power company. Measures are being implemented.
However, such measures alone have not completely prevented electric shock disasters. That is, the conductor portion charged with electricity cannot visually confirm whether or not the conductor portion is in a charged state. For this reason, in the measures described above, there is a risk that the inspector may approach or come into contact with the charging point and cause an electric shock accident due to the inspector erroneously recognizing the charging point of the conductor portion. ..
Patent Document 1 discloses a power transmission / distribution system monitoring device that transmits status information of a system device to a field terminal device and displays real-time charging / power failure information on a screen.

特開2002−95187公報JP-A-2002-95187

しかしながら、特許文献1にあっては、点検員が、番号が特定された実際の導体部と、現場端末装置に表示されている充停電情報を反映した系統図画面中の特定の導体部画像(特定の番号の導体部)とを交互に目視確認する必要がある。すなわち、実際の導体部と、表示画面上の導体部とを見比べる必要があるため、交互の目視確認動作により作業性が低下して点検員に作業負担をかけていた。
このため、点検員が充電箇所に対して誤認識することに起因して、充電箇所に接近又は接触することで感電災害が発生するおそれがあった。
そこで、点検員が充電箇所に対して誤認識しないように対策を講じることにより、充電箇所に接近又は接触することに起因した感電災害の発生を防止することが切望されている。
本発明は、上記に鑑みてなされたもので、その目的は、充電箇所を示す警告画像をリアルタイムに点検員に提示することにある。
However, in Patent Document 1, the inspector sees the actual conductor part whose number is specified and the specific conductor part image in the system diagram screen reflecting the charge / power failure information displayed on the site terminal device ( It is necessary to visually check the conductor part with a specific number alternately. That is, since it is necessary to compare the actual conductor portion with the conductor portion on the display screen, the workability is lowered by the alternate visual confirmation operation, which puts a work load on the inspector.
For this reason, there is a risk that an electric shock disaster may occur due to the inspector erroneously recognizing the charging point and approaching or touching the charging point.
Therefore, it is desired to prevent the occurrence of an electric shock disaster caused by approaching or contacting the charging point by taking measures to prevent the inspector from erroneously recognizing the charging point.
The present invention has been made in view of the above, and an object of the present invention is to present a warning image showing a charging location to an inspector in real time.

上記課題を解決するたに、請求項1記載の発明は、電気設備における各機器の開閉状態または動作状態を収集する電気所監視装置から情報を取得するとともに、前記情報に基づいて各機器間における導体部の充停電状態を表す画像を生成して、眼鏡型ウェアラブル端末に前記画像を送信する警告画像提供サーバであって、前記各導体部に係わる3次元導体部画像モデルを予め記憶する記憶手段と、前記各機器間における導体部の前記充停電状態に応じて、前記3次元導体部画像モデルから充停電箇所が色分けされた3次元色分け導体部画像モデルを生成する色分けモデル生成手段と、前記眼鏡型ウェアラブル端末から受信した位置及び姿勢に応じて、3次元色分け導体部画像モデルから目視方向の警告画像を生成する警告画像生成手段と、前記生成された警告画像を前記眼鏡型ウェアラブル端末に送信する送信手段と、を備えたことを特徴とする。 In order to solve the above problems, the invention according to claim 1 acquires information from an electric station monitoring device that collects an open / closed state or an operating state of each device in an electric facility, and based on the information, between the devices. A storage means that is a warning image providing server that generates an image showing a charging / power failure state of a conductor portion and transmits the image to a glasses-type wearable terminal, and stores a three-dimensional conductor portion image model related to each conductor portion in advance. A color-coded model generating means for generating a three-dimensional color-coded conductor portion image model in which the charging / failing portion is color-coded from the three-dimensional conductor portion image model according to the charging / power failure state of the conductor portion between the devices. A warning image generating means for generating a warning image in the visual direction from a three-dimensional color-coded conductor image model according to a position and an orientation received from the glasses-type wearable terminal, and transmitting the generated warning image to the glasses-type wearable terminal. It is characterized in that it is provided with a transmission means for performing.

本発明によれば、充電箇所を示す警告画像をリアルタイムに点検員に提示することができる。 According to the present invention, a warning image showing a charging location can be presented to an inspector in real time.

本発明の一実施形態に係る警告画像提供システムの全体構成を示す図である。It is a figure which shows the whole structure of the warning image providing system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る警告画像提供システムの概略的な動作を表すシーケンス図である。It is a sequence diagram which shows the schematic operation of the warning image providing system which concerns on one Embodiment of this invention. 図1に示す電気所監視装置の構成を示すブロック図である。It is a block diagram which shows the structure of the electric place monitoring apparatus shown in FIG. 図1に示すサーバのハードウエア構成を示すブロック図である。It is a block diagram which shows the hardware configuration of the server shown in FIG. 図1に示すサーバの機能構成を示す機能ブロック図である。It is a functional block diagram which shows the functional structure of the server shown in FIG. (a)(b)(c)は、図1に示す眼鏡型ウェアラブル端末の概略的な構造を示す図である。(A), (b), and (c) are diagrams showing a schematic structure of the eyeglass-type wearable terminal shown in FIG. 図6(c)に示す制御装置のハードウエア構成を示すブロック図である。It is a block diagram which shows the hardware composition of the control device shown in FIG. 6C. 3次元導体部画像モデル生成処理のフローチャートである。It is a flowchart of 3D conductor part image model generation processing. 3次元色分け導体部画像モデル生成処理のフローチャートである。It is a flowchart of 3D color-coded conductor part image model generation processing. 図5に示す系統図生成部により生成された充停電状態系統図である。It is a power failure state system diagram generated by the system diagram generation unit shown in FIG. 図5に示す3次元導体部画像モデル生成部により生成された3次元導体部画像モデルを構成するポリゴンの一部を示す図である。It is a figure which shows a part of the polygon which constitutes the 3D conductor part image model generated by the 3D conductor part image model generation part shown in FIG. 図5に示す3次元導体部画像モデル生成部により生成された3次元導体部画像モデルの一部をある視線方向から見た画像を示す図である。It is a figure which shows the image which looked at a part of the 3D conductor part image model generated by the 3D conductor part image model generation part shown in FIG. 5 from a certain line-of-sight direction. 図5に示す3次元色分け導体部画像モデル生成部により生成された充停電箇所が色分けされた3次元色分け導体部画像モデルの一部をある視線方向から見た画像を示す図である。FIG. 5 is a diagram showing an image of a part of a color-coded three-dimensional color-coded conductor unit image model generated by the three-dimensional color-coded conductor unit image model generation unit shown in FIG. 5 as viewed from a certain line-of-sight direction. 眼鏡型ウェアラブル端末を装着した点検員が目視可能な景観の一部を示す図(その1)である。It is a figure (the 1) which shows a part of the landscape which an inspector wearing a spectacles type wearable terminal can see. 眼鏡型ウェアラブル端末を装着した点検員が目視可能な景観の一部を示す図(その2)である。It is a figure (No. 2) which shows a part of the landscape which an inspector wearing a spectacles type wearable terminal can see.

以下、本発明を図面に示した実施の形態により詳細に説明する。
本発明は、充電箇所を示す警告画像をリアルタイムに点検員に提示するために、以下の構成を有する。
すなわち、本発明の警告画像提供サーバは、電気設備における各機器の開閉状態または動作状態を収集する電気所監視装置から情報を取得するとともに、この情報に基づいて各機器間における導体部の充停電状態を表す画像を生成して、眼鏡型ウェアラブル端末に画像を送信する警告画像提供サーバであって、各導体部に係わる3次元導体部画像モデルを予め記憶する記憶手段と、各機器間における導体部の充停電状態に応じて、3次元導体部画像モデルから充停電箇所が色分けされた3次元色分け導体部画像モデルを生成する色分けモデル生成手段と、眼鏡型ウェアラブル端末から受信した位置及び姿勢に応じて、3次元色分け導体部画像モデルから目視方向の警告画像を生成する警告画像生成手段と、生成された警告画像を眼鏡型ウェアラブル端末に送信する送信手段と、を備えたことを特徴とする。
以上の構成を備えることにより、充電箇所を示す警告画像をリアルタイムに点検員に提示することができる。
上記の本発明の特徴に関して、以下、図面を用いて詳細に説明する。
Hereinafter, the present invention will be described in detail with reference to the embodiments shown in the drawings.
The present invention has the following configuration in order to present a warning image showing a charging location to an inspector in real time.
That is, the warning image providing server of the present invention acquires information from the electric station monitoring device that collects the open / closed state or the operating state of each device in the electrical equipment, and based on this information, the charging / disconnection of the conductor portion between the devices is performed. A warning image providing server that generates an image representing a state and transmits the image to a glasses-type wearable terminal, and is a storage means that stores in advance a three-dimensional conductor image model related to each conductor, and a conductor between each device. The color-coded model generation means for generating a three-dimensional color-coded conductor image model in which the charge / failure location is color-coded from the three-dimensional conductor image model according to the charge / power state of the unit, and the position and orientation received from the eyeglass-type wearable terminal. Correspondingly, it is characterized by including a warning image generating means for generating a warning image in the visual direction from a three-dimensional color-coded conductor portion image model, and a transmitting means for transmitting the generated warning image to a glasses-type wearable terminal. ..
With the above configuration, a warning image showing the charging location can be presented to the inspector in real time.
The above-mentioned features of the present invention will be described in detail below with reference to the drawings.

<システム構成>
図1は、本発明の一実施形態に係る警告画像提供システム1の全体構成を示す図である。
警告画像提供システム1は、電気所3、電気所監視装置5、サーバ7、ネットワークN、無線LANルータ9、眼鏡型ウェアラブル端末11、を備えている。
電気所3は、例えば、A母線とB母線の間に配置された変電所であり、敷地内には架空送電線、架空母線、スイッチギヤ、トランス等が配置されている。本発明は、電気所3やプラントに配置された電気設備を監視対象としているが、導体部の充停電状態を監視可能であれば電家庭内の電気配線を対象としてもよい。
電気所監視装置5は、電気所3の各箇所に配置されたセンサから各機器の開閉状態・動作状態を取得して、電気所3内に配置されている導体部の充停電状態を監視するとともに、取得した開閉状態・動作状態情報を定期的に専用回線を介してサーバ7に送信する。
サーバ7は、電気所監視装置5から専用回線を介して受信した開閉状態・動作状態情報に基づいて、充停電状態判定処理を行って、電気所内に配置された導体部についての充停電情報を生成する。そして、サーバ7は、充停電情報に基づいて、3次元色分け導体部画像モデル生成処理を行って3次元導体部画像モデルから3次元色分け導体部画像モデルを生成してデータベースDB7aに蓄積する。
<System configuration>
FIG. 1 is a diagram showing an overall configuration of a warning image providing system 1 according to an embodiment of the present invention.
The warning image providing system 1 includes an electric station 3, an electric station monitoring device 5, a server 7, a network N, a wireless LAN router 9, and a glasses-type wearable terminal 11.
The electric station 3 is, for example, a substation arranged between the A bus and the B bus, and an overhead transmission line, an overhead bus, a switch gear, a transformer, and the like are arranged in the site. Although the present invention targets electrical equipment arranged in an electric station 3 or a plant, it may target electrical wiring in an electric home as long as it can monitor the state of charge and power failure of the conductor portion.
The electric station monitoring device 5 acquires the open / closed state / operating state of each device from the sensors arranged at each location of the electric station 3, and monitors the charge / power failure state of the conductor portion arranged in the electric station 3. At the same time, the acquired open / closed state / operating state information is periodically transmitted to the server 7 via the dedicated line.
The server 7 performs charge / power failure state determination processing based on the open / closed state / operating state information received from the electric station monitoring device 5 via the dedicated line, and obtains charge / power failure information for the conductor portion arranged in the electric station. Generate. Then, the server 7 performs a three-dimensional color-coded conductor portion image model generation process based on the charge / power failure information to generate a three-dimensional color-coded conductor portion image model from the three-dimensional conductor portion image model and stores the three-dimensional color-coded conductor portion image model in the database DB7a.

サーバ7は、眼鏡型ウェアラブル端末11の位置データ、及び姿勢データに基づいて、警告画像生成処理を行って3次元色分け導体部画像モデルから警告画像を生成して、警告画像を眼鏡型ウェアラブル端末11に送信する。
無線LANルータ9は、眼鏡型ウェアラブル端末11とサーバ7との間に接続されており、両者の間のデータの送受信を行う。
眼鏡型ウェアラブル端末11は、カメラで撮影して得られた画像データ、当該端末の位置データ及び姿勢データを取得して制御装置83(図6)からサーバ7に送信するとともに、制御装置83がサーバ7から警告画像を受信して、警告画像をディスプレイ81に表示しておき、ディスプレイ81(図6)に表示された警告画像がレンズ71R(図6示しない)を透過して人間の目により目視できる。
The server 7 performs warning image generation processing based on the position data and posture data of the glasses-type wearable terminal 11 to generate a warning image from the three-dimensional color-coded conductor image model, and outputs the warning image to the glasses-type wearable terminal 11. Send to.
The wireless LAN router 9 is connected between the glasses-type wearable terminal 11 and the server 7, and transmits / receives data between the two.
The eyeglass-type wearable terminal 11 acquires image data obtained by taking a picture with a camera, position data and attitude data of the terminal, and transmits the image data to the server 7 from the control device 83 (FIG. 6), and the control device 83 is a server. A warning image is received from No. 7, the warning image is displayed on the display 81, and the warning image displayed on the display 81 (FIG. 6) passes through the lens 71R (not shown in FIG. 6) and is visually observed by the human eye. it can.

<シーケンス図>
図2は、本発明の一実施形態に係る警告画像提供システム1の概略的な動作を表すシーケンス図である。
まず、眼鏡型ウェアラブル端末11は、電気所3を撮影した画像データ、撮影時の位置データ、及び撮影時の姿勢データを取得してサーバ7に送信する。
サーバ7は、眼鏡型ウェアラブル端末11から受信した画像データ、位置データ、及び姿勢データをデータベースDB7aに記憶する。
この結果、サーバ7は、複数のシーン(場面)に関する画像データ、位置データ、及び姿勢データをデータベースDB7aに蓄積する。
サーバ7は、データベースDB7aから取得した複数のシーン(場面)に関する画像データ、位置データ、及び姿勢データに基づいて、3次元導体部画像モデル生成処理を行って3次元導体部画像モデルを生成してデータベースDB7aに蓄積する。
<Sequence diagram>
FIG. 2 is a sequence diagram showing a schematic operation of the warning image providing system 1 according to the embodiment of the present invention.
First, the eyeglass-type wearable terminal 11 acquires image data obtained by photographing the electric station 3, position data at the time of photographing, and posture data at the time of photographing, and transmits the image data to the server 7.
The server 7 stores the image data, the position data, and the posture data received from the eyeglass-type wearable terminal 11 in the database DB 7a.
As a result, the server 7 stores image data, position data, and posture data related to a plurality of scenes (scenes) in the database DB 7a.
The server 7 performs a three-dimensional conductor part image model generation process based on image data, position data, and attitude data related to a plurality of scenes acquired from the database DB7a to generate a three-dimensional conductor part image model. Accumulate in database DB7a.

次に、電気所監視装置5は、電気所に配置された各種センサが取得した各機器の開閉状態・動作状態をサーバ7に送信する。
サーバ7は、電気所監視装置5から各機器の開閉状態・動作状態を受信する。次いで、サーバ7は、各機器の開閉状態・動作状態に基づいて、充停電状態判定処理を行って、電気所内に配置された導体部についての充停電情報を生成する。そして、サーバ7は、充停電情報に基づいて、3次元色分け導体部画像モデル生成処理を行って3次元導体部画像モデルから3次元色分け導体部画像モデルを生成してデータベースDB7aに蓄積する。
次に、眼鏡型ウェアラブル端末11は、電気所3内に配置されている導体部を点検員が目視している際に、位置データ、及び姿勢データを取得してサーバ7に送信する。
サーバ7は、眼鏡型ウェアラブル端末11から受信した位置データ、及び姿勢データをデータベースDB7aに記憶する。
サーバ7は、眼鏡型ウェアラブル端末11の位置データ、及び姿勢データに基づいて、警告画像生成処理を行って3次元色分け導体部画像モデルから警告画像を生成して、警告画像を眼鏡型ウェアラブル端末11に送信する。
Next, the electric station monitoring device 5 transmits the open / closed state / operating state of each device acquired by various sensors arranged in the electric station to the server 7.
The server 7 receives the open / closed state / operating state of each device from the electric station monitoring device 5. Next, the server 7 performs charge / power failure state determination processing based on the open / closed state / operating state of each device, and generates charge / power failure information for the conductor portion arranged in the electric station. Then, the server 7 performs a three-dimensional color-coded conductor portion image model generation process based on the charge / power failure information to generate a three-dimensional color-coded conductor portion image model from the three-dimensional conductor portion image model and stores the three-dimensional color-coded conductor portion image model in the database DB7a.
Next, the spectacle-type wearable terminal 11 acquires position data and posture data and transmits them to the server 7 when the inspector is visually observing the conductor portion arranged in the electric station 3.
The server 7 stores the position data and the posture data received from the eyeglass-type wearable terminal 11 in the database DB 7a.
The server 7 performs warning image generation processing based on the position data and posture data of the glasses-type wearable terminal 11 to generate a warning image from the three-dimensional color-coded conductor image model, and outputs the warning image to the glasses-type wearable terminal 11. Send to.

<電気所監視装置>
図3は、図1に示す電気所監視装置の構成を示すブロック図である。
電気所監視装置5は、センサ21、入力変換器23、A/D変換器25、入力部26、開閉状態・動作状態演算部27、通信部29、を備えている。
センサ21は、PD(Potential Divider)、CT(Current Transforme)などの電圧信号を夫々に検出するセンサである。さらに、センサ21は、遮断器CB(Circuit Breaker)、スイッチギヤSWG(Switchgear)、断路器LS(Line Switch)などの開閉信号を夫々に検出するセンサである。
入力変換器23は、センサ21に含まれるPD、CTが検出した2次値である交流電圧を夫々に入力し、直流電圧に変換する。
A/D変換器25は、入力変換器23により変換された直流電圧をデジタル量である電圧値に変換する。
入力部26は、遮断器CB、SWG、断路器LSから検出した開閉信号に応じて開閉状態を表す論理値に変換する。
開閉状態・動作状態演算部27は、A/D変換器25により変換されたPD、CTに係る電圧値、入力部26により変換されたCB、SWG、LSに係る論理値に基づいて、各センサの論理状態、電圧状態を算出する。
通信部29は、開閉状態・動作状態演算部27が演算した開閉状態及び動作状態情報を専用回線を介してサーバ7に送信する。
<Electrical station monitoring device>
FIG. 3 is a block diagram showing the configuration of the electric station monitoring device shown in FIG.
The electric station monitoring device 5 includes a sensor 21, an input converter 23, an A / D converter 25, an input unit 26, an open / closed state / operation state calculation unit 27, and a communication unit 29.
The sensor 21 is a sensor that detects voltage signals such as PD (Potential Divider) and CT (Current Transforme), respectively. Further, the sensor 21 is a sensor that detects opening / closing signals of the circuit breaker CB (Circuit Breaker), the switchgear SWG (Switchgear), the disconnector LS (Line Switch), and the like.
The input converter 23 inputs AC voltage, which is a secondary value detected by PD and CT included in the sensor 21, and converts it into DC voltage.
The A / D converter 25 converts the DC voltage converted by the input converter 23 into a voltage value which is a digital quantity.
The input unit 26 converts the open / close state into a logical value according to the open / close signal detected from the circuit breaker CB, SWG, and the disconnector LS.
The open / closed state / operating state calculation unit 27 is based on the voltage values related to PD and CT converted by the A / D converter 25 and the logical values related to CB, SWG, and LS converted by the input unit 26. Calculate the logical state and voltage state of.
The communication unit 29 transmits the open / closed state and operating state information calculated by the open / closed state / operating state calculation unit 27 to the server 7 via a dedicated line.

<サーバのハードウエア構成>
図4は、図1に示すサーバのハードウエア構成を示すブロック図である。
サーバ7は、操作部31、第1通信部33、第2通信部35、表示制御部37、表示部39、データベースDB7a、主制御部43、を備えている。
操作部31は、キーボードやマウスなどを備えている。
第1通信部33は、電気所監視装置5から専用回線を介してデータを受信する。
第2通信部35は、眼鏡型ウェアラブル端末11からネットワークNを介してデータを受信するとともに、眼鏡型ウェアラブル端末11にデータを送信する。
表示制御部37は、生成された3次元導体部画像モデル、3次元色分け導体部画像モデルに基づいて画像をVRAM上に描画して表示部39に表示させる。
表示部39は、モデル画像を表示する。
データベースDB7aは、生成された3次元導体部画像モデル、3次元色分け導体部画像モデルを蓄積する。
主制御部43は、内部にROM(read only memory)、RAM、CPU、HDD、タイマを備えている。CPU(central processing unit)は、HDD(hard disk drive)からオペレーティングシステムOSを読み出してRAM(random access memory)上に展開してOSを起動し、OS管理下において、HDDからプログラム(処理モジュール)を読み出し、各種処理を実行する。
<Server hardware configuration>
FIG. 4 is a block diagram showing the hardware configuration of the server shown in FIG.
The server 7 includes an operation unit 31, a first communication unit 33, a second communication unit 35, a display control unit 37, a display unit 39, a database DB 7a, and a main control unit 43.
The operation unit 31 includes a keyboard, a mouse, and the like.
The first communication unit 33 receives data from the electric station monitoring device 5 via a dedicated line.
The second communication unit 35 receives data from the eyeglass-type wearable terminal 11 via the network N, and transmits the data to the eyeglass-type wearable terminal 11.
The display control unit 37 draws an image on the VRAM based on the generated three-dimensional conductor unit image model and the three-dimensional color-coded conductor unit image model, and displays the image on the display unit 39.
The display unit 39 displays the model image.
The database DB7a stores the generated three-dimensional conductor part image model and the three-dimensional color-coded conductor part image model.
The main control unit 43 includes a ROM (read only memory), a RAM, a CPU, an HDD, and a timer inside. The CPU (central processing unit) reads the operating system OS from the HDD (hard disk drive), expands it on the RAM (random access memory), starts the OS, and under the control of the OS, outputs the program (processing module) from the HDD. Read and execute various processes.

<サーバの機能ブロック図>
図5は、図1に示すサーバの機能構成を示す機能ブロック図である。
サーバ7は、開閉状態・動作状態取得部51、充停電状態判定部53、系統図生成部55、画像・位置・姿勢取得部57、3次元導体部画像モデル生成部59、3次元色分け導体部画像モデル生成部61、位置・姿勢取得部63、警告画像生成部65、を備えている。
開閉状態・動作状態取得部51は、電気所監視装置5から各機器の開閉状態・動作状態情報を受信する。
充停電状態判定部53は、各機器の開閉状態・動作状態情報から各導体部の充停電状態を判定して、導体部番号に対して充電状態または停電状態を設定し、判定結果である各導体部の充停電状態をデータベースDB7aに記憶する。
系統図生成部55は、データベースDB7aから取得した各導体部の充停電状態に基づいて、各導体部が充電状態であるのか、停電状態であるのかを示す充停電状態系統図(図10)を生成する。
画像・位置・姿勢取得部57は、眼鏡型ウェアラブル端末11から画像データ、位置データ及び姿勢データを受信する。画像・位置・姿勢取得部57は、受信したデータをデータベースDB7aへ蓄積する。
<Server functional block diagram>
FIG. 5 is a functional block diagram showing a functional configuration of the server shown in FIG.
The server 7 includes an open / closed state / operating state acquisition unit 51, a charge / power failure state determination unit 53, a system diagram generation unit 55, an image / position / attitude acquisition unit 57, a three-dimensional conductor unit image model generation unit 59, and a three-dimensional color-coded conductor unit. It includes an image model generation unit 61, a position / orientation acquisition unit 63, and a warning image generation unit 65.
The open / closed state / operating state acquisition unit 51 receives the open / closed state / operating state information of each device from the electric station monitoring device 5.
The charge / power failure state determination unit 53 determines the charge / power failure state of each conductor unit from the open / closed state / operation state information of each device, sets the charge state or the power failure state for the conductor unit number, and is the determination result. The charge / power failure state of the conductor portion is stored in the database DB7a.
The system diagram generation unit 55 provides a charge / power failure state system diagram (FIG. 10) showing whether each conductor unit is in a charged state or a power failure state based on the charge / power failure state of each conductor unit acquired from the database DB7a. Generate.
The image / position / posture acquisition unit 57 receives image data, position data, and posture data from the eyeglass-type wearable terminal 11. The image / position / posture acquisition unit 57 stores the received data in the database DB 7a.

3次元導体部画像モデル生成部59は、データベースDB7aから取得したシーン(場面)毎のデータから特徴点、特徴線分、特徴領域を抽出してタグ付けする。3次元導体部画像モデル生成部59は、画像間での特徴点、特徴線分、特徴領域を追跡する。
3次元導体部画像モデル生成部59は、各特徴点、各特徴線分、特徴領域でのカメラ位置データ、姿勢データを算出する。3次元導体部画像モデル生成部59は、GPS受信部及びジャイロから得られた補助位置データ及び補助姿勢データと、カメラ位置データ及び姿勢データとが一致するデータを融合する。3次元導体部画像モデル生成部59は、各特徴点、各特徴線分、各特徴領域のタグに対して、導体部番号、機器番号を設定する。3次元導体部画像モデル生成部59は、各特徴点、各特徴線分、各特徴領域から警告画像に不必要な情報を削除する。
3次元導体部画像モデル生成部59は、各特徴点、各特徴線分、各特徴領域への重み付けを設定する。すなわち、3次元導体部画像モデル生成部59は、位置姿勢推定のために利用した特徴領域に対して有効度に基づいた重み付けを行う。3次元導体部画像モデル生成部59は、各カメラ位置データ、姿勢データを最適化する。
The three-dimensional conductor unit image model generation unit 59 extracts and tags feature points, feature line segments, and feature regions from the data for each scene (scene) acquired from the database DB7a. The three-dimensional conductor unit image model generation unit 59 tracks feature points, feature line segments, and feature regions between images.
The three-dimensional conductor unit image model generation unit 59 calculates each feature point, each feature line segment, camera position data in the feature area, and attitude data. The three-dimensional conductor unit image model generation unit 59 fuses the auxiliary position data and the auxiliary attitude data obtained from the GPS receiving unit and the gyro with the data in which the camera position data and the attitude data match. The three-dimensional conductor unit image model generation unit 59 sets the conductor unit number and the device number for each feature point, each feature line segment, and a tag of each feature area. The three-dimensional conductor unit image model generation unit 59 deletes unnecessary information for the warning image from each feature point, each feature line segment, and each feature area.
The three-dimensional conductor unit image model generation unit 59 sets weights for each feature point, each feature line segment, and each feature region. That is, the three-dimensional conductor unit image model generation unit 59 weights the feature region used for estimating the position and orientation based on the effectiveness. The three-dimensional conductor unit image model generation unit 59 optimizes each camera position data and attitude data.

3次元色分け導体部画像モデル生成部61は、各導体部の導体部番号に対応した充停電状態に応じて、3次元導体部画像モデルから各導体部の導体部番号に対応した充停電箇所が色分けされた3次元色分け導体部画像モデルを生成する。
すなわち、3次元色分け導体部画像モデル生成部61は、各導体部の導体部番号に対応した充停電状態に応じて、3次元導体部画像モデルから各導体部の導体部番号に対応した充停電箇所が色分けされた3次元色分け導体部画像モデルを生成する。
3次元色分け導体部画像モデル生成部61は、各機器間における導体部の充停電状態に応じて、3次元導体部画像モデルに含まれる停電箇所に第1色を付加し、充電箇所に第1色とは異なる第2色を付加することにより、充停電箇所が色分けされた3次元色分け導体部画像モデルを生成する。
In the three-dimensional color-coded conductor part image model generation unit 61, the charge / power failure location corresponding to the conductor part number of each conductor part is determined from the three-dimensional conductor part image model according to the charge / power failure state corresponding to the conductor part number of each conductor part. A color-coded three-dimensional color-coded conductor part image model is generated.
That is, the three-dimensional color-coded conductor unit image model generation unit 61 has a charge / power failure corresponding to the conductor portion number of each conductor portion from the three-dimensional conductor portion image model according to the charge / power failure state corresponding to the conductor portion number of each conductor portion. A three-dimensional color-coded conductor part image model in which the parts are color-coded is generated.
The three-dimensional color-coded conductor unit image model generation unit 61 adds the first color to the power failure location included in the three-dimensional conductor portion image model according to the charging / power failure state of the conductor portion between each device, and adds the first color to the charging location. By adding a second color different from the color, a three-dimensional color-coded conductor section image model in which the charge / power failure location is color-coded is generated.

3次元色分け導体部画像モデル生成部61は、各機器間における導体部の充停電状態に応じて、3次元導体部画像モデルに含まれる充電箇所に特定の色を付加することにより、充停電箇所が色分けされた3次元色分け導体部画像モデルを生成する。 The three-dimensional color-coded conductor unit image model generation unit 61 adds a specific color to the charging location included in the three-dimensional conductor portion image model according to the charging / power failure state of the conductor portion between each device, thereby charging / failing the power failure location. Generates a color-coded three-dimensional color-coded conductor section image model.

位置・姿勢取得部63は、眼鏡型ウェアラブル端末11から位置データ、及び姿勢データを受信する。
警告画像生成部65は、当該位置データ、及び姿勢データに基づいて、目視方向の3次元色分け導体部画像モデルをレンダリングする。警告画像生成部65は、レンダリングされた3次元色分け導体部画像モデル上にテクスチャをマッピングすることで警告画像を生成し、警告画像をデータベースDBへ蓄積する。警告画像生成部65は、ステップS145で生成された警告画像を眼鏡型ウェアラブル端末11へ送信する。
The position / posture acquisition unit 63 receives the position data and the posture data from the glasses-type wearable terminal 11.
The warning image generation unit 65 renders a three-dimensional color-coded conductor unit image model in the visual direction based on the position data and the attitude data. The warning image generation unit 65 generates a warning image by mapping a texture on the rendered three-dimensional color-coded conductor unit image model, and stores the warning image in the database DB. The warning image generation unit 65 transmits the warning image generated in step S145 to the eyeglass-type wearable terminal 11.

<眼鏡型ウェアラブル端末>
図6(a)(b)(c)は、図1に示す眼鏡型ウェアラブル端末の概略的な構造を示す図である。図6(a)は眼鏡型ウェアラブル端末の概略的な構造を示す前面図であり、図6(b)は眼鏡型ウェアラブル端末の概略的な構造を示す側面図である。図6(c)は眼鏡型ウェアラブル端末を装着した点検員により保持される制御装置の外観を示す側面図である。
図6(a)(b)(c)に示すように、眼鏡型ウェアラブル端末11は、眼鏡本体71、カメラ73、GPS受信部75、加速度センサ77、ジャイロセンサ79、ディスプレイ81、制御装置83、を備えている。
眼鏡本体71は、1対の透明なレンズ71R、71Lがフレームに保持されており、利用時に点検員に装着される。
<Glasses-type wearable terminal>
6 (a), (b), and (c) are diagrams showing a schematic structure of the eyeglass-type wearable terminal shown in FIG. FIG. 6A is a front view showing a schematic structure of a spectacle-type wearable terminal, and FIG. 6B is a side view showing a schematic structure of the spectacle-type wearable terminal. FIG. 6C is a side view showing the appearance of the control device held by an inspector wearing a spectacle-type wearable terminal.
As shown in FIGS. 6A, 6B, and 6C, the glasses-type wearable terminal 11 includes a glasses body 71, a camera 73, a GPS receiver 75, an acceleration sensor 77, a gyro sensor 79, a display 81, and a control device 83. It has.
A pair of transparent lenses 71R and 71L are held in the frame of the spectacle body 71, and are attached to an inspector at the time of use.

カメラ73は、フレームの前面に配置されており、図中z方向の風景を撮像して画像データを出力する。
GPS受信部75は、全地球測位システム(GPS)に使用されている複数のGPS衛星からの電波を受信してそれぞれとの距離を算出することにより、現在位置データ(緯度・経度)を測定する。
加速度センサ77は、xyz軸の3方向の加速度を測定して、測定データを出力する。
ジャイロセンサ79は、xyz軸の3方向の角速度(角加速度)を検出して、検出データを出力する。
ディスプレイ81は、画像を表示する。
制御装置83は、眼鏡本体71とケーブル80を介してデータを送受信して、眼鏡型ウェアラブル端末11の全体を制御する。
検査員が、眼鏡型ウェアラブル端末を装着することで、眼鏡本体71の1対の透明なレンズ71R、71Lを透して見える視線方向の現実の風景と、レンズ71R、71Lを透して見えるディスプレイ81に表示された同一視線方向の警告画像とを目視することができる。
The camera 73 is arranged in front of the frame, captures a landscape in the z direction in the figure, and outputs image data.
The GPS receiver 75 measures the current position data (latitude / longitude) by receiving radio waves from a plurality of GPS satellites used in the Global Positioning System (GPS) and calculating the distance to each of them. ..
The acceleration sensor 77 measures the acceleration in the three directions of the xyz axis and outputs the measurement data.
The gyro sensor 79 detects the angular velocity (angular acceleration) in the three directions of the xyz axis and outputs the detection data.
The display 81 displays an image.
The control device 83 controls the entire spectacle-type wearable terminal 11 by transmitting and receiving data via the spectacle body 71 and the cable 80.
By wearing a glasses-type wearable terminal, the inspector can see the actual scenery in the line-of-sight direction through the pair of transparent lenses 71R and 71L of the glasses body 71, and the display that can be seen through the lenses 71R and 71L. The warning image in the same line-of-sight direction displayed on 81 can be visually observed.

<眼鏡型ウェアラブル端末>
図7は、図6(c)に示す制御装置のハードウエア構成を示すブロック図である。
制御装置83は、撮像制御部85、位置姿勢入力部87、表示制御部89、制御部91、操作部93、通信部95、を備えている。
撮像制御部85は、カメラ73とケーブル80を介して接続され、カメラ73の撮像動作を制御する。
位置姿勢入力部87は、GPS受信部75、加速度センサ77、及びジャイロセンサ79とケーブル80を介して接続され、それらからのデータを入力する。
表示制御部89は、画像データをVRAMに描画してディスプレイ81に表示する。
制御部91は、眼鏡型ウェアラブル端末11の全体を制御する。
操作部93は、点検員の操作を受け付けて、操作情報として投影開始情報または投影終了情報を制御部91に出力する。
通信部95は、無線LANルータ9、ネットワークNを介してサーバ7との間でデータを送受信する。
<Glasses-type wearable terminal>
FIG. 7 is a block diagram showing a hardware configuration of the control device shown in FIG. 6 (c).
The control device 83 includes an image pickup control unit 85, a position / attitude input unit 87, a display control unit 89, a control unit 91, an operation unit 93, and a communication unit 95.
The image pickup control unit 85 is connected to the camera 73 via a cable 80 and controls the image pickup operation of the camera 73.
The position / orientation input unit 87 is connected to the GPS receiving unit 75, the acceleration sensor 77, and the gyro sensor 79 via the cable 80, and inputs data from them.
The display control unit 89 draws the image data in the VRAM and displays it on the display 81.
The control unit 91 controls the entire eyeglass-type wearable terminal 11.
The operation unit 93 receives the operation of the inspector and outputs the projection start information or the projection end information as the operation information to the control unit 91.
The communication unit 95 transmits / receives data to / from the server 7 via the wireless LAN router 9 and the network N.

<事前の情報収集動作>
図7を参照して、眼鏡型ウェアラブル端末11を用いた事前の情報収集動作について説明する。
点検員が操作部93に設けられた撮影ボタンをオンすると、制御部91は撮影動作、及び位置・姿勢取得動作を開始するために、撮影開始信号を撮像制御部85、及び位置姿勢入力部87に出力するとともに、制御部91は、通信部95、無線LANルータ9、ネットワークNを介してサーバ7に撮影開始信号を送信する。
点検員は、電気所3において、電気所内の対象とするオブジェクト(被写体)である遮断器CB、断路器LS、スイッチギヤSWG等の機器に対して視点を移動しながら、カメラ73により動画像または連続する画像列として当該対象オブジェクトを撮影する。なお、対象オブジェクトについて多角的に周囲の3次元画像を得るためには複数の方向からの撮影が必要となる。
<Preliminary information gathering operation>
With reference to FIG. 7, a prior information gathering operation using the eyeglass-type wearable terminal 11 will be described.
When the inspector turns on the photographing button provided on the operation unit 93, the control unit 91 outputs the imaging start signal to the imaging control unit 85 and the position / orientation input unit 87 in order to start the imaging operation and the position / attitude acquisition operation. The control unit 91 transmits a shooting start signal to the server 7 via the communication unit 95, the wireless LAN router 9, and the network N.
At the electric station 3, the inspector moves the viewpoint with respect to devices such as the circuit breaker CB, the disconnector LS, and the switch gear SWG, which are the objects (subjects) in the electric station, and moves the moving image or the moving image by the camera 73. The target object is photographed as a continuous image sequence. In order to obtain a three-dimensional image of the surroundings of the target object from multiple angles, it is necessary to take pictures from a plurality of directions.

この際、撮像制御部85は、カメラ73を起動して撮影を開始する。カメラ73で撮影された画像データは、ケーブル80を介して撮像制御部85に入力され、さらに、通信部95に出力される。
同時に、位置姿勢入力部87は、GPS受信部75、加速度センサ77、ジャイロセンサ79を起動して位置・姿勢データの取得を開始する。GPS受信部75、加速度センサ77、ジャイロセンサ79で取得された位置データ、及び姿勢データが、ケーブル80を介して位置姿勢入力部87に入力され、さらに、通信部95に出力される。
通信部95は、無線LANルータ9、ネットワークNを介してサーバ7に画像データ、位置データ、及び姿勢データを送信する。
点検員が操作部93に設けられた撮影停止ボタンをオンすると、制御部91は撮影停止動作を開始するため、撮影停止信号を撮像制御部85、及び位置姿勢入力部87に出力するとともに、制御部91は、通信部95、無線LANルータ9、ネットワークNを介してサーバ7に撮影停止信号を送信する。
At this time, the image pickup control unit 85 activates the camera 73 to start shooting. The image data captured by the camera 73 is input to the image pickup control unit 85 via the cable 80, and further output to the communication unit 95.
At the same time, the position / attitude input unit 87 activates the GPS receiving unit 75, the acceleration sensor 77, and the gyro sensor 79 to start acquiring the position / attitude data. The position data and attitude data acquired by the GPS receiving unit 75, the acceleration sensor 77, and the gyro sensor 79 are input to the position / attitude input unit 87 via the cable 80, and further output to the communication unit 95.
The communication unit 95 transmits image data, position data, and attitude data to the server 7 via the wireless LAN router 9 and the network N.
When the inspector turns on the shooting stop button provided on the operation unit 93, the control unit 91 starts the shooting stop operation, so that the shooting stop signal is output to the imaging control unit 85 and the position / orientation input unit 87 and controlled. The unit 91 transmits a shooting stop signal to the server 7 via the communication unit 95, the wireless LAN router 9, and the network N.

<電気所点検時の動作>
図7を参照して、眼鏡型ウェアラブル端末11を用いた電気所点検時の動作について説明する。
点検員が操作部93に設けられた投影開始ボタンをオンすると、制御部91は位置・姿勢取得動作を開始し、投影開始信号を位置姿勢入力部87に出力するとともに、制御部91は、通信部95、無線LANルータ9、ネットワークNを介してサーバ7に投影開始信号を送信する。
点検員は、電気所3において、電気所内の点検対象とする遮断器CB、断路器LS、スイッチギヤSWG等の機器やその周囲に対して点検員の顔が正面に向くように移動する。
この際、位置姿勢入力部87は、GPS受信部75、加速度センサ77、ジャイロセンサ79を起動して位置・姿勢データの取得を開始する。GPS受信部75、加速度センサ77、ジャイロセンサ79で取得された位置データ、及び姿勢データは、ケーブル80を介して位置姿勢入力部87に入力され、さらに、通信部95に出力される。
通信部95は、無線LANルータ9、ネットワークNを介してサーバ7に画像データ、位置データ、及び姿勢データを送信する。
<Operation during electrical station inspection>
With reference to FIG. 7, an operation during an electrical station inspection using the eyeglass-type wearable terminal 11 will be described.
When the inspector turns on the projection start button provided on the operation unit 93, the control unit 91 starts the position / attitude acquisition operation, outputs the projection start signal to the position / attitude input unit 87, and the control unit 91 communicates. A projection start signal is transmitted to the server 7 via the unit 95, the wireless LAN router 9, and the network N.
The inspector moves at the electric station 3 so that the inspector's face faces the front of the equipment such as the circuit breaker CB, the disconnector LS, and the switch gear SWG to be inspected in the electric station 3 and its surroundings.
At this time, the position / attitude input unit 87 activates the GPS receiving unit 75, the acceleration sensor 77, and the gyro sensor 79 to start acquiring the position / attitude data. The position data and attitude data acquired by the GPS receiving unit 75, the acceleration sensor 77, and the gyro sensor 79 are input to the position / attitude input unit 87 via the cable 80, and further output to the communication unit 95.
The communication unit 95 transmits image data, position data, and attitude data to the server 7 via the wireless LAN router 9 and the network N.

<3次元導体部画像モデル生成処理>
次に、図2に示した3次元導体部画像モデル生成処理について詳しく説明する。
図8は、サーバ7による3次元導体部画像モデル生成処理のフローチャートである。
まず、ステップS1では、画像・位置・姿勢取得部57は、撮影開始か否かを判断する。すなわち、画像・位置・姿勢取得部57は、眼鏡型ウェアラブル端末11からネットワークNを介して撮影開始信号を受信したか否かを判定する。
ここで、画像・位置・姿勢取得部57は、操作情報が撮影開始信号である場合にはステップS5に進む一方、操作情報が撮影開始信号ではない場合にはステップS1に戻り、上述した処理を繰り返す。
ステップS5では、画像・位置・姿勢取得部57は、眼鏡型ウェアラブル端末11からネットワークNを介して画像データ、位置データ、及び姿勢データを受信する。
ステップS10では、画像・位置・姿勢取得部57は、受信した画像データ、位置データ、及び姿勢データをデータベースDB7aへ蓄積する。
ステップS15では、画像・位置・姿勢取得部57は、3次元導体部画像モデルを生成するための画像データとなる全シーン(場面)取得したか否かを判定する。すなわち、画像・位置・姿勢取得部57は、眼鏡型ウェアラブル端末11からネットワークNを介して撮影停止信号を受信したか否かを判定する。
ここで、画像・位置・姿勢取得部57は、操作情報が撮影停止信号である場合にはステップS20に進む一方、操作情報が撮影停止信号ではない場合にはステップS5に戻り、上述した処理を繰り返す。
<3D conductor image model generation process>
Next, the three-dimensional conductor portion image model generation process shown in FIG. 2 will be described in detail.
FIG. 8 is a flowchart of a three-dimensional conductor portion image model generation process by the server 7.
First, in step S1, the image / position / posture acquisition unit 57 determines whether or not shooting has started. That is, the image / position / posture acquisition unit 57 determines whether or not the imaging start signal has been received from the eyeglass-type wearable terminal 11 via the network N.
Here, the image / position / posture acquisition unit 57 proceeds to step S5 when the operation information is a shooting start signal, and returns to step S1 when the operation information is not a shooting start signal, and performs the above-described processing. repeat.
In step S5, the image / position / posture acquisition unit 57 receives image data, position data, and posture data from the glasses-type wearable terminal 11 via the network N.
In step S10, the image / position / posture acquisition unit 57 stores the received image data, position data, and posture data in the database DB 7a.
In step S15, the image / position / posture acquisition unit 57 determines whether or not all the scenes (scenes) that are the image data for generating the three-dimensional conductor unit image model have been acquired. That is, the image / position / posture acquisition unit 57 determines whether or not the imaging stop signal has been received from the eyeglass-type wearable terminal 11 via the network N.
Here, the image / position / posture acquisition unit 57 proceeds to step S20 when the operation information is a shooting stop signal, and returns to step S5 when the operation information is not a shooting stop signal, and performs the above-described processing. repeat.

ステップS20では、3次元導体部画像モデル生成部59は、データベースDB7aからシーン(場面)毎の画像データをRAM上に取得する。
ステップS25では、3次元導体部画像モデル生成部59は、RAM上の画像データから特徴点、特徴線分、特徴領域を抽出してそれぞれのデータにタグを付加する。
すなわち、3次元導体部画像モデル生成部59は、動画像、または時間的に連続する画像列として撮影した各画像データ内において、特徴となる点や線分、領域を抽出する。特徴領域の抽出では、画像内の濃度変化、エッジ等の特徴的な領域を各種フィルタ処理により抽出してタグを付加する。
In step S20, the three-dimensional conductor unit image model generation unit 59 acquires image data for each scene (scene) from the database DB7a on the RAM.
In step S25, the three-dimensional conductor unit image model generation unit 59 extracts feature points, feature line segments, and feature regions from the image data on the RAM, and adds tags to the respective data.
That is, the three-dimensional conductor unit image model generation unit 59 extracts characteristic points, line segments, and regions in each image data captured as a moving image or a time-continuous image sequence. In the extraction of the characteristic area, a characteristic area such as a density change and an edge in the image is extracted by various filter processing and a tag is added.

次に、ステップS30では、3次元導体部画像モデル生成部59は、ステップS25での抽出結果の画像に対して、画像間での特徴点、特徴線分、特徴領域を追跡する。すなわち、3次元導体部画像モデル生成部59は、ステップS25で抽出された特徴領域の画像内での時間的変化を追跡することにより、三角測量の原理により、各特徴領域までの距離を算出してタグ付けする。
次に、ステップS35では、3次元導体部画像モデル生成部59は、各特徴点、各特徴線分、特徴領域でのカメラの位置、姿勢を推定(算出)して、推定位置姿勢データを生成する。すなわち、これらの情報に基づいてカメラの位置姿勢データを算出してタグ付けする。特徴点、特徴線分、特徴領域の画像列間における追跡処理は、カルマンフィルタによる方法や、画像間の差分をとること等、任意の手段での追尾処理を利用することが可能である。
Next, in step S30, the three-dimensional conductor unit image model generation unit 59 tracks the feature points, feature line segments, and feature regions between the images with respect to the image of the extraction result in step S25. That is, the three-dimensional conductor unit image model generation unit 59 calculates the distance to each feature region by the principle of triangulation by tracking the temporal change in the image of the feature region extracted in step S25. And tag it.
Next, in step S35, the three-dimensional conductor unit image model generation unit 59 estimates (calculates) each feature point, each feature line segment, and the position and orientation of the camera in the feature region, and generates estimated position / orientation data. To do. That is, the position / orientation data of the camera is calculated and tagged based on this information. For tracking processing between image sequences of feature points, feature line segments, and feature regions, it is possible to use tracking processing by any means such as a method using a Kalman filter or taking a difference between images.

次に、ステップS40では、3次元導体部画像モデル生成部59は、GPS受信部及びジャイロから得られた補助位置データ及び補助姿勢データと、カメラ位置姿勢データとが一致するデータを融合する。すなわち、3次元導体部画像モデル生成部59は、ステップS35で推定された推定位置姿勢データと、補助データ入力からのデータとの融合処理を行い、各特徴点、各特徴線分、各特徴領域を有する融合位置姿勢データを生成する。
次に、ステップS45では、3次元導体部画像モデル生成部59は、融合位置姿勢データに含まれる各特徴点、各特徴線分、各特徴領域のタグに対して、導体部番号、機器番号を設定する。すなわち、3次元導体部画像モデル生成部59は、各特徴点のタグに対して機器番号を設定し、各特徴線分のタグに対して導体部番号を設定し、各特徴領域のタグに対して機器番号または導体部番号を設定する。
Next, in step S40, the three-dimensional conductor unit image model generation unit 59 fuses the auxiliary position data and the auxiliary attitude data obtained from the GPS receiving unit and the gyro, and the data in which the camera position / attitude data matches. That is, the three-dimensional conductor section image model generation section 59 performs fusion processing of the estimated position / orientation data estimated in step S35 and the data from the auxiliary data input, and performs each feature point, each feature line segment, and each feature area. Generate fusion position / orientation data with.
Next, in step S45, the three-dimensional conductor section image model generation section 59 assigns the conductor section number and the device number to the tags of each feature point, each feature line segment, and each feature area included in the fusion position / orientation data. Set. That is, the three-dimensional conductor section image model generation section 59 sets the device number for the tag of each feature point, sets the conductor section number for the tag of each feature line segment, and sets the conductor section number for the tag of each feature area. Set the device number or conductor part number.

次に、ステップS50では、3次元導体部画像モデル生成部59は、融合位置姿勢データに含まれる各特徴点、各特徴線分、各特徴領域から導体部ではない不必要は情報を削除する。この結果、導体部の画像データに係る融合位置姿勢データに含まれる各特徴点、各特徴線分、各特徴領域のタグに対して、導体部番号、機器番号が設定されたデータのみがRAM上に残る。
次に、ステップS55では、3次元導体部画像モデル生成部59は、RAM上に残った導体部の画像データに係る融合位置姿勢データに含まれる各特徴点、各特徴線分、各特徴領域への重み付けを設定する。すなわち、3次元導体部画像モデル生成部59は、位置姿勢の推定のために利用した特徴領域に対して有効度に基づいた重み付けを行う。
Next, in step S50, the three-dimensional conductor section image model generation section 59 deletes unnecessary information that is not the conductor section from each feature point, each feature line segment, and each feature area included in the fusion position / orientation data. As a result, only the data in which the conductor part number and the device number are set for the tags of each feature point, each feature line segment, and each feature area included in the fusion position / orientation data related to the image data of the conductor part is on the RAM. Remain in.
Next, in step S55, the three-dimensional conductor unit image model generation unit 59 goes to each feature point, each feature line segment, and each feature area included in the fusion position / orientation data related to the image data of the conductor portion remaining on the RAM. Set the weighting for. That is, the three-dimensional conductor unit image model generation unit 59 weights the feature region used for estimating the position and orientation based on the effectiveness.

次に、ステップS60では、3次元導体部画像モデル生成部59は、融合位置姿勢データを最適化する。すなわち、3次元導体部画像モデル生成部59は、複数の融合位置姿勢データに基づいて最適化された位置姿勢データのポリゴンを算出し、最適化した結果であるポリゴンのタグに対して、導体部番号、機器番号が設定されたデータのみを3次元導体部画像モデルとしてデータベースDB7aに記憶する。
例えば、3次元導体部画像モデルに含まれるポリゴンの各点には、位置データ、姿勢データ、導体部番号、機器番号等が設定されている。
Next, in step S60, the three-dimensional conductor unit image model generation unit 59 optimizes the fusion position / orientation data. That is, the three-dimensional conductor unit image model generation unit 59 calculates the polygons of the position / orientation data optimized based on the plurality of fusion position / orientation data, and the conductor unit with respect to the polygon tag which is the result of the optimization. Only the data in which the numbers and device numbers are set is stored in the database DB7a as a three-dimensional conductor part image model.
For example, position data, attitude data, conductor part number, device number, and the like are set at each point of the polygon included in the three-dimensional conductor part image model.

<3次元色分け導体部画像モデル生成処理>
図9は、3次元色分け導体部画像モデル生成処理のフローチャートである。
次に、ステップS105では、3次元色分け導体部画像モデル生成部61は、眼鏡型ウェアラブル端末11から操作情報を受信する。
詳しくは、眼鏡型ウェアラブル端末11の制御装置83に備えられた操作部93が、点検員の操作を受け付けた場合に、操作部93がその操作情報として投影開始情報または投影終了情報を制御部91に出力し、制御部91が当該操作情報を通信部95から無線LANルータ9、ネットワークNを介してサーバ7へ送信する。
一方、サーバ7に備えられた第2通信部35は、ネットワークNを介して受信した操作情報を主制御部43に出力する。主制御部43では、受信した操作情報を3次元色分け導体部画像モデル生成部61において判定する。
<Three-dimensional color-coded conductor image model generation process>
FIG. 9 is a flowchart of a three-dimensional color-coded conductor portion image model generation process.
Next, in step S105, the three-dimensional color-coded conductor unit image model generation unit 61 receives operation information from the eyeglass-type wearable terminal 11.
Specifically, when the operation unit 93 provided in the control device 83 of the eyeglass-type wearable terminal 11 receives the operation of the inspector, the operation unit 93 uses the projection start information or the projection end information as the operation information in the control unit 91. The control unit 91 transmits the operation information from the communication unit 95 to the server 7 via the wireless LAN router 9 and the network N.
On the other hand, the second communication unit 35 provided in the server 7 outputs the operation information received via the network N to the main control unit 43. The main control unit 43 determines the received operation information in the three-dimensional color-coded conductor unit image model generation unit 61.

次に、ステップS110では、3次元色分け導体部画像モデル生成部61は、投影を開始するか否かを判定する。
すなわち、3次元色分け導体部画像モデル生成部61は、眼鏡型ウェアラブル端末11から受信した操作情報が投影開始情報であるか否かを判定する。3次元色分け導体部画像モデル生成部61は、操作情報が投影開始情報である場合にはステップS115に進む一方、操作情報が投影開始情報ではない場合にはステップS105に戻り、上述した処理を繰り返す。
Next, in step S110, the three-dimensional color-coded conductor unit image model generation unit 61 determines whether or not to start projection.
That is, the three-dimensional color-coded conductor unit image model generation unit 61 determines whether or not the operation information received from the eyeglass-type wearable terminal 11 is the projection start information. The three-dimensional color-coded conductor unit image model generation unit 61 proceeds to step S115 when the operation information is projection start information, and returns to step S105 when the operation information is not projection start information, and repeats the above-described processing. ..

次に、ステップS115では、開閉状態・動作状態取得部51は、電気所監視装置5から各機器の開閉状態・動作状態情報を受信する。
表1は、各断路器LSの開閉状態を表す開閉状態テーブルであり、「1」は閉状態を表し、「0」は開状態を表す。
Next, in step S115, the open / closed state / operating state acquisition unit 51 receives the open / closed state / operating state information of each device from the electric station monitoring device 5.
Table 1 is an open / closed state table showing the open / closed state of each disconnector LS, where "1" represents a closed state and "0" represents an open state.

Figure 0006844262
Figure 0006844262

表2は、各遮断器SBの開閉状態を表す開閉状態テーブルであり、「1」は閉状態を表し、「0」は開状態を表す。 Table 2 is an open / closed state table showing the open / closed state of each circuit breaker SB, where "1" represents a closed state and "0" represents an open state.

Figure 0006844262
Figure 0006844262

表3は、各PDの電圧状態を表す電圧状態テーブルである。 Table 3 is a voltage state table showing the voltage state of each PD.

Figure 0006844262
Figure 0006844262

次に、ステップS120では、充停電状態判定部53は、各機器の開閉状態・動作状態情報から各導体部の充停電状態を判定して、導体部番号に対して充電状態または停電状態を設定する。この際、充停電状態判定部53は、判定結果である今回の各導体部の充停電状態をデータベースDB7aに記憶する。 Next, in step S120, the charge / power failure state determination unit 53 determines the charge / power failure state of each conductor unit from the open / closed state / operation state information of each device, and sets the charge state or the power failure state for the conductor unit number. To do. At this time, the charge / power failure state determination unit 53 stores the charge / power failure state of each conductor unit this time, which is the determination result, in the database DB 7a.

表4は、各導体部番号に対応した充停電状態を表す充停電状態テーブルであり、「1」は充電状態を表し、「0」は停電状態を表す。 Table 4 is a charge / power failure state table corresponding to each conductor part number, in which "1" represents a charge state and "0" represents a power failure state.

Figure 0006844262
Figure 0006844262

次に、ステップS125では、3次元色分け導体部画像モデル生成部61は、ステップS120で判定した各導体部の充停電状態の内容が前回の状態と同一か否かを判定する。充停電状態の内容が前回の状態と同一である場合は、ステップS130に進む。一方、充停電状態の内容が前回の状態と異なる場合にはステップS135に進む。 Next, in step S125, the three-dimensional color-coded conductor unit image model generation unit 61 determines whether or not the content of the charge / power failure state of each conductor portion determined in step S120 is the same as the previous state. If the content of the charge / power failure state is the same as the previous state, the process proceeds to step S130. On the other hand, if the content of the charge / power failure state is different from the previous state, the process proceeds to step S135.

次に、ステップS130では、3次元色分け導体部画像モデル生成部61は、表1〜表3を参照して、各導体部の導体部番号に対応した充停電状態に応じて、3次元導体部画像モデルから各導体部の導体部番号に対応した充停電箇所が色分けされた3次元色分け導体部画像モデルを生成する。
上述したように、ステップS60において、3次元導体部画像モデルに含まれるポリゴンの各点には、位置データ、姿勢データ、導体部番号、機器番号等が設定されているので、ステップS130では、各導体部の導体部番号に対応した充停電状態に応じて、3次元導体部画像モデルから各導体部の導体部番号に対応した充停電箇所が色分けされた3次元色分け導体部画像モデルを生成することができる。
詳しくは、3次元色分け導体部画像モデル生成部61は、各導体部の導体部番号に対応した充停電状態に応じて、3次元導体部画像モデルから各導体部の導体部番号に対応した充停電箇所が色分けされた3次元色分け導体部画像モデルを生成する。例えば、充電状態にある導体部画像に赤色(第1色)を付加し、停電状態にある導体部画像に緑色(第2色)を付加して色分けすることで、充電状態にある導体部を区別することができる。
Next, in step S130, the three-dimensional color-coded conductor unit image model generation unit 61 refers to Tables 1 to 3 and refers to the three-dimensional conductor unit according to the power failure state corresponding to the conductor unit number of each conductor unit. From the image model, a three-dimensional color-coded conductor part image model in which the charge / power failure points corresponding to the conductor part numbers of each conductor part are color-coded is generated.
As described above, in step S60, position data, attitude data, conductor part number, device number, and the like are set at each point of the polygon included in the three-dimensional conductor part image model. Therefore, in step S130, each point is set. Generates a three-dimensional color-coded conductor part image model in which the charge / power failure points corresponding to the conductor part numbers of each conductor part are color-coded from the three-dimensional conductor part image model according to the charge / power failure state corresponding to the conductor part number of the conductor part. be able to.
Specifically, the three-dimensional color-coded conductor section image model generation section 61 charges the conductor section number of each conductor section from the three-dimensional conductor section image model according to the charging / power failure state corresponding to the conductor section number of each conductor section. A three-dimensional color-coded conductor part image model in which the power failure location is color-coded is generated. For example, by adding red (first color) to the conductor part image in the charged state and adding green (second color) to the conductor part image in the power failure state to color-code the conductor part in the charged state. Can be distinguished.

3次元色分け導体部画像モデル生成部61は、各機器間における導体部の充停電状態に応じて、3次元導体部画像モデルに含まれる停電箇所に第1色を付加し、充電箇所に第1色とは異なる第2色を付加することにより、充停電箇所が色分けされた3次元色分け導体部画像モデルを生成する。例えば、図13に示すように、充電状態にある導体部画像に赤色(第1色)を付加し、停電状態にある導体部画像に緑色(第2色)を付加することで、赤色の導体部が充電状態にあり危険なことを示し、緑色の導体部が停電状態にあり安全なことを示すことができる。
3次元色分け導体部画像モデル生成部61は、各機器間における導体部の充停電状態に応じて、3次元導体部画像モデルに含まれる充電箇所に特定の色を付加することにより、充停電箇所が色分けされた3次元色分け導体部画像モデルを生成する。例えば、充電状態にある導体部画像にのみ赤色を付加することで、当該導体部が充電状態にあり危険なことを示すことができる。
The three-dimensional color-coded conductor unit image model generation unit 61 adds the first color to the power failure location included in the three-dimensional conductor portion image model according to the charging / power failure state of the conductor portion between each device, and adds the first color to the charging location. By adding a second color different from the color, a three-dimensional color-coded conductor section image model in which the charge / power failure location is color-coded is generated. For example, as shown in FIG. 13, a red conductor is added to the charged conductor image and green (second color) is added to the power failure image of the conductor. It can indicate that the part is in a charged state and dangerous, and that the green conductor part is in a power failure state and is safe.
The three-dimensional color-coded conductor unit image model generation unit 61 adds a specific color to the charging location included in the three-dimensional conductor portion image model according to the charging / power failure state of the conductor portion between each device, thereby charging / failing the power failure location. Generates a color-coded three-dimensional color-coded conductor section image model. For example, by adding red color only to the image of the conductor portion in the charged state, it can be shown that the conductor portion is in the charged state and is dangerous.

<投影動作>
次に、ステップS135では、位置・姿勢取得部63は、眼鏡型ウェアラブル端末11から位置データ、及び姿勢データを受信する。
次に、ステップS140では、警告画像生成部65は、当該位置データ、及び姿勢データに基づいて、目視方向の色付けされた導体部のみを含む3次元色分け導体部画像モデルをレンダリングする。
次に、ステップS145では、警告画像生成部65は、レンダリングされた3次元色分け導体部画像モデル上にテクスチャをマッピングすることで色付けされた導体部のみを含む警告画像を生成し、警告画像をデータベースDBへ蓄積する。
詳しくは、3次元色分け導体部画像モデルを構成する導体部に係る各ポリゴンに対応するテクスチャ領域の割り当てを行う際に、画像におけるフレーム毎にテクスチャ内の対応領域を求め、ポリゴンに対応付けられた複数のフレームのテクスチャ領域の平均化や、視線情報に基づいた最適化されたテクスチャを生成することにより行われるので、各ポリゴン間に存在する線形性に対して非線形のデータに補整することができ、より滑らかな導体部の曲面画像を生成することができる。
また、複数の方向から撮影された画像を利用して全周ポリゴンを有する3次元色分け導体部画像モデルを得ることができる。
この際にも、異なる方向からの投影の際に、3次元色分け導体部画像モデル上での重複領域のポリゴンに対しては、割り当てられるテクスチャの最適化処理を行う手段を備えている。
<Projection operation>
Next, in step S135, the position / posture acquisition unit 63 receives the position data and the posture data from the glasses-type wearable terminal 11.
Next, in step S140, the warning image generation unit 65 renders a three-dimensional color-coded conductor unit image model including only the colored conductor unit in the visual direction based on the position data and the posture data.
Next, in step S145, the warning image generation unit 65 generates a warning image including only the colored conductor portion by mapping the texture on the rendered three-dimensional color-coded conductor portion image model, and stores the warning image in the database. Accumulate in DB.
Specifically, when allocating the texture area corresponding to each polygon related to the conductor part constituting the three-dimensional color-coded conductor part image model, the corresponding area in the texture was obtained for each frame in the image and associated with the polygon. Since it is performed by averaging the texture areas of multiple frames and generating an optimized texture based on the line-of-sight information, it is possible to compensate for the linearity existing between each polygon to non-linear data. , A smoother curved surface image of the conductor portion can be generated.
Further, it is possible to obtain a three-dimensional color-coded conductor portion image model having polygons all around by using images taken from a plurality of directions.
Also in this case, when projecting from different directions, a means for optimizing the texture to be assigned to the polygons in the overlapping region on the three-dimensional color-coded conductor portion image model is provided.

次に、ステップS150では、警告画像生成部65は、ステップS145で生成された警告画像を眼鏡型ウェアラブル端末11へ送信する。
次に、ステップS155では、警告画像生成部65は、眼鏡型ウェアラブル端末11から操作情報を受信する。
次に、ステップS160では、警告画像生成部65は、投影を終了するか否かを判定する。すなわち、眼鏡型ウェアラブル端末11から受信した操作情報が投影終了情報であるか否かを判定する。
警告画像生成部65は、操作情報が投影終了情報である場合にはステップS115に進む一方、操作情報が投影終了情報ではない場合には処理を終了する。
Next, in step S150, the warning image generation unit 65 transmits the warning image generated in step S145 to the eyeglass-type wearable terminal 11.
Next, in step S155, the warning image generation unit 65 receives the operation information from the glasses-type wearable terminal 11.
Next, in step S160, the warning image generation unit 65 determines whether or not to end the projection. That is, it is determined whether or not the operation information received from the glasses-type wearable terminal 11 is the projection end information.
The warning image generation unit 65 proceeds to step S115 when the operation information is the projection end information, and ends the process when the operation information is not the projection end information.

<単線結線図>
図10は、図5に示す系統図生成部55により生成された充停電状態系統図である。
充停電状態系統図には、各導体部が充電状態(白線)であるのか、停電状態(黒線)であるのかを示している。図10に示す例示では、導体部L1、L2、L7が充電状態であることを示しており、導体部L3〜L6が停電状態であることを示している。
<Single wire connection diagram>
FIG. 10 is a power outage state system diagram generated by the system diagram generation unit 55 shown in FIG.
The charge / power failure state system diagram shows whether each conductor is in a charged state (white line) or in a power failure state (black line). In the example shown in FIG. 10, the conductor portions L1, L2, and L7 are shown to be in a charged state, and the conductor portions L3 to L6 are shown to be in a power failure state.

<ポリゴン>
図11は、図5に示す3次元導体部画像モデル生成部59により生成された3次元導体部画像モデルを構成するポリゴンの一部を示す図である。
図11に示すポリゴン(polygon)は、4つの特徴点、4本の特徴線、1つの特徴領域から構成された四角形を最小の要素とし、複数の四角形で構成された立体構成を有する導体部L2rの一部を示している。
<Polygon>
FIG. 11 is a diagram showing a part of polygons constituting the three-dimensional conductor portion image model generated by the three-dimensional conductor portion image model generation unit 59 shown in FIG.
The polygon shown in FIG. 11 is a conductor portion L2r having a three-dimensional structure composed of a plurality of quadrangles, with a quadrangle composed of four feature points, four feature lines, and one feature area as the minimum element. Shows a part of.

<3次元導体部画像モデルの一例>
図12は、図5に示す3次元導体部画像モデル生成部59により生成された3次元導体部画像モデルの一部をある視線方向から見た画像を示す図である。
図12に示す例示では、ある位置データ及び姿勢データから目視可能な導体部L1、L2、L3の3相(r、s、t)の景観を示している。
<Example of 3D conductor image model>
FIG. 12 is a diagram showing an image of a part of the three-dimensional conductor portion image model generated by the three-dimensional conductor portion image model generation unit 59 shown in FIG. 5 viewed from a certain line-of-sight direction.
In the example shown in FIG. 12, a landscape of three phases (r, s, t) of conductor portions L1, L2, and L3 that can be visually recognized from certain position data and attitude data is shown.

<3次元色分け導体部画像モデルの一例>
図13は、図5に示す3次元色分け導体部画像モデル生成部61により生成された充停電箇所が色分けされた3次元色分け導体部画像モデルの一部をある視線方向から見た画像を示す図である。
図13に示す例示では、ある位置データ及び姿勢データから目視可能な導体部L1、L2、L3の3相(r、s、t)の景観において、充停電箇所が色分けされたことを示している。
例えば、充電状態にある導体部画像(L1r、L1s、L1t)(L2r、L2s、L2t)に赤色(第1色)を付加し、停電状態にある導体部画像(L3r、L3s、L3t)に緑色(第2色)を付加することで、赤色の導体部が充電状態にあり危険なことを示し、緑色の導体部が停電状態にあり安全なことを示すことができる。
<Example of 3D color-coded conductor image model>
FIG. 13 is a diagram showing an image of a part of the three-dimensional color-coded conductor portion image model in which the charge / power failure portion generated by the three-dimensional color-coded conductor portion image model generation unit 61 shown in FIG. 5 is color-coded as viewed from a certain line-of-sight direction. Is.
In the example shown in FIG. 13, it is shown that the power failure points are color-coded in the landscape of the three phases (r, s, t) of the conductor portions L1, L2, and L3 that can be visually recognized from a certain position data and attitude data. ..
For example, red (first color) is added to the conductor image (L1r, L1s, L1t) (L2r, L2s, L2t) in the charged state, and green is added to the conductor image (L3r, L3s, L3t) in the power failure state. By adding (second color), it is possible to indicate that the red conductor portion is in a charged state and is dangerous, and that the green conductor portion is in a power failure state and is safe.

<目視景観の一例>
図14は、眼鏡型ウェアラブル端末11を装着した点検員が目視可能な景観の一部を示す図(その1)である。
眼鏡型ウェアラブル端末11がサーバ7から警告画像を受信すると、眼鏡型ウェアラブル端末11のディスプレイ81に例えば充停電箇所が色分けされた3次元色分け導体部画像モデルの一部が表示される。
ディスプレイ81には、ある位置データ及び姿勢データによる視線方向から目視可能な導体部L1、L2、L3の3相(r、s、t)の充停電箇所が色分けされた景観が表示されており、図14に示すように、眼鏡型ウェアラブル端末11を装着した点検員の位置データ及び姿勢データによる視線方向の景観に、ディスプレイ81に表示されている充停電箇所が色分けされた景観がオーバーラップして目視確認することができる。
<Example of visual landscape>
FIG. 14 is a diagram (No. 1) showing a part of the landscape that can be seen by an inspector wearing the eyeglass-type wearable terminal 11.
When the eyeglass-type wearable terminal 11 receives the warning image from the server 7, a part of the three-dimensional color-coded conductor portion image model in which the charging / power failure location is color-coded is displayed on the display 81 of the eyeglass-type wearable terminal 11.
The display 81 displays a color-coded landscape of the three-phase (r, s, t) charging / failing points of the conductor portions L1, L2, and L3 that can be seen from the line-of-sight direction based on certain position data and attitude data. As shown in FIG. 14, the view in the line-of-sight direction based on the position data and the attitude data of the inspector wearing the glasses-type wearable terminal 11 overlaps with the color-coded view of the power failure point displayed on the display 81. It can be visually confirmed.

<目視景観の他の例>
図15は、眼鏡型ウェアラブル端末11を装着した点検員が目視可能な景観の一部を示す図(その2)である。
撮影時には、電気所3において、電気所内のスイッチギヤSWGのドアを開放した被写体に対して視点を移動しながら、カメラ73により動画像または連続する画像列として当該対象オブジェクトを撮影する。この際、対象オブジェクトについて多角的に周囲の3次元画像を得るために複数の方向から撮影する。このようにして撮影された画像、位置、及び姿勢に基づいて、3次元導体部画像モデル生成部59が3次元導体部画像モデルを生成して、データベース7aに蓄積しておく。
このような3次元導体部画像モデルから投影画像である警告画像を生成するので、検査員の目前にある電気所内のスイッチギヤSWGのドアが閉鎖されていている場合でも、眼鏡型ウェアラブル端末11のディスプレイ81には停電箇所が色分けされたスイッチギヤ内の導体部(L4r、L4s、L4t)が提示され、検査員はオーバーラップして目視確認することができる。
<Other examples of visual landscape>
FIG. 15 is a diagram (No. 2) showing a part of the landscape that can be seen by an inspector wearing the eyeglass-type wearable terminal 11.
At the time of shooting, the camera 73 shoots the target object as a moving image or a continuous image sequence while moving the viewpoint with respect to the subject in which the door of the switch gear SWG in the electric station is opened. At this time, the target object is photographed from a plurality of directions in order to obtain a three-dimensional image of the surroundings from various angles. The three-dimensional conductor part image model generation unit 59 generates a three-dimensional conductor part image model based on the image, the position, and the posture photographed in this way, and stores the three-dimensional conductor part image model in the database 7a.
Since a warning image, which is a projected image, is generated from such a three-dimensional conductor image model, even when the door of the switch gear SWG in the electric station in front of the inspector is closed, the glasses-type wearable terminal 11 The display 81 shows the conductor portions (L4r, L4s, L4t) in the switch gear in which the power failure location is color-coded, and the inspector can visually confirm the overlap.

<本発明の実施態様例の構成、作用、効果>
<第1態様>
本態様のサーバ7は、電気設備における各機器の開閉状態または動作状態を収集する電気所監視装置5から情報を取得するとともに、情報に基づいて各機器間における導体部の充停電状態を表す画像を生成して、眼鏡型ウェアラブル端末11に画像を送信するサーバ7であって、各導体部に係わる3次元導体部画像モデルを予め記憶するデータベースDB7aと、各機器間における導体部の充停電状態に応じて、3次元導体部画像モデルから充停電箇所が色分けされた3次元色分け導体部画像モデルを生成する3次元色分け導体部画像モデル生成部61と、眼鏡型ウェアラブル端末11から受信した位置データ及び姿勢データに応じて、3次元色分け導体部画像モデルから目視方向の警告画像を生成する警告画像生成部65と、生成された警告画像を眼鏡型ウェアラブル端末11に送信する第2通信部35と、を備えたことを特徴とする。
本態様によれば、各導体部に係わる3次元導体部画像モデルを予めデータベースDB7aに記憶しておき、3次元色分け導体部画像モデル生成部61が、各機器間における導体部の充停電状態に応じて、3次元導体部画像モデルから充停電箇所が色分けされた3次元色分け導体部画像モデルを生成する。警告画像生成部65が、眼鏡型ウェアラブル端末11から受信した位置データ及び姿勢データに応じて、3次元色分け導体部画像モデルから目視方向の警告画像を生成する。第2通信部35が、生成された警告画像を眼鏡型ウェアラブル端末11に送信するので、眼鏡型ウェアラブル端末11において、充電箇所を示す警告画像をリアルタイムに点検員に提示することができる。
この際、検査員は、眼鏡本体71の1対の透明なレンズ71R、71Lを透して見える視線方向の現実の風景と、レンズ71R、71Lを透して見えるディスプレイ81に表示された視線方向の警告画像を見ながら作業等を行うことができるので、充電箇所への接近又は接触に起因した感電災害の発生を防止することができる。
<Structure, Action, Effect of Examples of Embodiments of the Present Invention>
<First aspect>
The server 7 of this embodiment acquires information from the electric station monitoring device 5 that collects the open / closed state or the operating state of each device in the electrical equipment, and based on the information, an image showing the charging / power failure state of the conductor portion between the devices. Is a server 7 that generates an image and transmits an image to the eyeglass-type wearable terminal 11, a database DB7a that stores in advance a three-dimensional conductor part image model related to each conductor part, and a state of charge / power failure of the conductor part between each device. Position data received from the 3D color-coded conductor part image model generation unit 61 that generates the 3D color-coded conductor part image model in which the charging / power failure points are color-coded from the 3D conductor part image model, and the eyeglass-type wearable terminal 11. A warning image generation unit 65 that generates a warning image in the visual direction from the three-dimensional color-coded conductor unit image model according to the attitude data, and a second communication unit 35 that transmits the generated warning image to the glasses-type wearable terminal 11. It is characterized by having.
According to this aspect, the three-dimensional conductor part image model related to each conductor part is stored in the database DB7a in advance, and the three-dimensional color-coded conductor part image model generation unit 61 is in a state of charge / power failure of the conductor part between each device. Correspondingly, a three-dimensional color-coded conductor part image model in which charge and power failure points are color-coded is generated from the three-dimensional conductor part image model. The warning image generation unit 65 generates a warning image in the visual direction from the three-dimensional color-coded conductor unit image model according to the position data and the posture data received from the eyeglass-type wearable terminal 11. Since the second communication unit 35 transmits the generated warning image to the spectacle-type wearable terminal 11, the spectacle-type wearable terminal 11 can present the warning image indicating the charging location to the inspector in real time.
At this time, the inspector examines the actual scenery in the line-of-sight direction seen through the pair of transparent lenses 71R and 71L of the spectacle body 71 and the line-of-sight direction displayed on the display 81 seen through the lenses 71R and 71L. Since the work or the like can be performed while viewing the warning image of the above, it is possible to prevent the occurrence of an electric shock accident caused by approaching or contacting the charging point.

<第2態様>
本態様の3次元色分け導体部画像モデル生成部61は、各導体部の導体部番号に対応した充停電状態に応じて、3次元導体部画像モデルから各導体部の導体部番号に対応した充停電箇所が色分けされた3次元色分け導体部画像モデルを生成することを特徴とする。
本態様によれば、3次元色分け導体部画像モデル生成部61は、各導体部の導体部番号に対応した充停電状態に応じて、3次元導体部画像モデルから各導体部の導体部番号に対応した充停電箇所が色分けされた3次元色分け導体部画像モデルを生成するので、各導体部の導体部番号に対応した充停電状態を、各導体部の導体部番号に対応した充停電箇所が色分けされた3次元色分け導体部画像モデルに反映させることができる。
<Second aspect>
The three-dimensional color-coded conductor part image model generation unit 61 of this embodiment charges the three-dimensional conductor part image model corresponding to the conductor part number of each conductor part according to the charging / power failure state corresponding to the conductor part number of each conductor part. It is characterized in that a three-dimensional color-coded conductor portion image model in which the power failure location is color-coded is generated.
According to this aspect, the three-dimensional color-coded conductor section image model generation section 61 changes from the three-dimensional conductor section image model to the conductor section number of each conductor section according to the charge / power failure state corresponding to the conductor section number of each conductor section. Since a three-dimensional color-coded conductor part image model in which the corresponding charge / power failure points are color-coded is generated, the charge / power failure state corresponding to the conductor part number of each conductor part can be displayed by the charge / power failure point corresponding to the conductor part number of each conductor part. It can be reflected in the color-coded three-dimensional color-coded conductor part image model.

<第3態様>
本態様の3次元色分け導体部画像モデル生成部61は、各機器間における導体部の充停電状態に応じて、3次元導体部画像モデルに含まれる停電箇所に第1色を付加し、充電箇所に第1色とは異なる第2色を付加することにより、充停電箇所が色分けされた3次元色分け導体部画像モデルを生成することを特徴とする。
本態様によれば、3次元色分け導体部画像モデル生成部61は、各機器間における導体部の充停電状態に応じて、3次元導体部画像モデルに含まれる停電箇所に第1色を付加し、充電箇所に第1色とは異なる第2色を付加することにより、充停電箇所が色分けされた3次元色分け導体部画像モデルを生成するので、停電箇所に第1色を付加し、充電箇所に第1色とは異なる第2色を付加した3次元色分け導体部画像モデルを生成することができる。
<Third aspect>
The three-dimensional color-coded conductor unit image model generation unit 61 of this embodiment adds a first color to the power failure location included in the three-dimensional conductor portion image model according to the charging / power failure state of the conductor portion between each device, and charges the charging location. By adding a second color different from the first color to the conductor, a three-dimensional color-coded conductor portion image model in which the charging / failing points are color-coded is generated.
According to this aspect, the three-dimensional color-coded conductor section image model generation section 61 adds a first color to the power failure location included in the three-dimensional conductor section image model according to the charging / power failure state of the conductor section between the devices. By adding a second color different from the first color to the charging location, a three-dimensional color-coded conductor image model in which the charging / power failure location is color-coded is generated. It is possible to generate a three-dimensional color-coded conductor section image model in which a second color different from the first color is added.

<第4態様>
本態様の3次元色分け導体部画像モデル生成部61は、各機器間における導体部の充停電状態に応じて、3次元導体部画像モデルに含まれる充電箇所に特定の色を付加することにより、充停電箇所が色分けされた3次元色分け導体部画像モデルを生成することを特徴とする。
本態様によれば、3次元色分け導体部画像モデル生成部61は、各機器間における導体部の充停電状態に応じて、3次元導体部画像モデルに含まれる充電箇所に特定の色を付加することにより、充停電箇所が色分けされた3次元色分け導体部画像モデルを生成するので、充電箇所に特定の色が付加された3次元色分け導体部画像モデルを生成することができる。
<Fourth aspect>
The three-dimensional color-coded conductor unit image model generation unit 61 of the present embodiment adds a specific color to the charging portion included in the three-dimensional conductor unit image model according to the charging / power failure state of the conductor unit between the devices. It is characterized in that a three-dimensional color-coded conductor portion image model in which charge / power failure points are color-coded is generated.
According to this aspect, the three-dimensional color-coded conductor unit image model generation unit 61 adds a specific color to the charging portion included in the three-dimensional conductor unit image model according to the charging / power failure state of the conductor unit between the devices. As a result, a three-dimensional color-coded conductor portion image model in which the charging / power failure portion is color-coded can be generated, so that a three-dimensional color-coded conductor portion image model in which a specific color is added to the charging portion can be generated.

<第5態様>
本態様の3次元色分け導体部画像モデル生成部61は、各導体部の導体部番号に対応した充停電状態が前回の内容と同一である場合には、3次元色分け導体部画像モデルの生成を中止することを特徴とする。
本態様によれば、3次元色分け導体部画像モデル生成部61は、各導体部の導体部番号に対応した充停電状態が前回の内容と同一である場合には、3次元色分け導体部画像モデルの生成を中止するので、同一の充停電状態が継続している際の処理負荷を軽減することができる。
<Fifth aspect>
The three-dimensional color-coded conductor part image model generation unit 61 of this embodiment generates a three-dimensional color-coded conductor part image model when the charge / power failure state corresponding to the conductor part number of each conductor part is the same as the previous content. It is characterized by discontinuing.
According to this aspect, the three-dimensional color-coded conductor part image model generation unit 61 is a three-dimensional color-coded conductor part image model when the charge / power failure state corresponding to the conductor part number of each conductor part is the same as the previous content. Is stopped, so that the processing load can be reduced when the same charge / power failure state continues.

<第6態様>
本態様の警告画像生成部65は、3次元色分け導体部画像モデルから位置データ及び姿勢データに応じた目視方向の画像を切り出すことにより警告画像を生成することを特徴とする。
本態様によれば、警告画像生成部65は、3次元色分け導体部画像モデルから位置データ及び姿勢データに応じた目視方向の画像を切り出すことにより警告画像を生成するので、目視方向の警告画像を生成することができる。
<Sixth aspect>
The warning image generation unit 65 of this embodiment is characterized in that a warning image is generated by cutting out an image in the visual direction according to position data and posture data from a three-dimensional color-coded conductor unit image model.
According to this aspect, the warning image generation unit 65 generates a warning image by cutting out an image in the visual direction according to the position data and the attitude data from the three-dimensional color-coded conductor unit image model, so that the warning image in the visual direction is generated. Can be generated.

<第7態様>
本態様の警告画像提供システム1は、第1態様乃至第6態様の何れか一項に記載のサーバ7と、眼鏡型ウェアラブル端末11と、を備えた警告画像提供システム1であって、眼鏡型ウェアラブル端末11は、位置を検出するGPS受信部75及び姿勢データを検出する加速度センサ77と、検出された位置データ及び姿勢データをサーバ7に送信する通信部95と、サーバ7から受信した警告画像を投影するディスプレイ81と、を備えたことを特徴とする。
本態様によれば、眼鏡型ウェアラブル端末11は、加速度センサ77が、位置を検出するGPS受信部75及び姿勢データを検出し、通信部95が、検出された位置データ及び姿勢データをサーバ7に送信し、サーバ7から受信した警告画像をディスプレイ81に投影するので、眼鏡型ウェアラブル端末11の位置及び姿勢に応じた目視方向の警告画像をディスプレイ81に投影することができる。
<7th aspect>
The warning image providing system 1 of this aspect is a warning image providing system 1 including the server 7 according to any one of the first to sixth aspects and the eyeglass-type wearable terminal 11. The wearable terminal 11 includes a GPS receiving unit 75 that detects a position, an acceleration sensor 77 that detects attitude data, a communication unit 95 that transmits the detected position data and attitude data to the server 7, and a warning image received from the server 7. It is characterized in that it is provided with a display 81 for projecting.
According to this aspect, in the glasses-type wearable terminal 11, the acceleration sensor 77 detects the GPS receiving unit 75 and the attitude data for detecting the position, and the communication unit 95 transmits the detected position data and the attitude data to the server 7. Since the warning image transmitted and received from the server 7 is projected on the display 81, the warning image in the visual direction according to the position and orientation of the eyeglass-type wearable terminal 11 can be projected on the display 81.

<第8態様>
本態様の警告画像提供システム1は、第1態様乃至第6態様の何れか一項に記載のサーバ7と、眼鏡型ウェアラブル端末11と、を備えた警告画像提供システム1であって、眼鏡型ウェアラブル端末11は、撮影対象を撮影して対象画像を出力するカメラ73と、カメラ73の位置を検出するGPS受信部75及び姿勢を検出する加速度センサ77と、カメラ73から取得した画像、GPS受信部75及び加速度センサ77から取得した位置データ及び姿勢データをサーバ7に送信する通信部95と、を備え、サーバ7は、眼鏡型ウェアラブル端末11から画像、位置データ、及び姿勢データを受信する第2通信部35と、受信した画像、位置データ、及び姿勢データに基づいて、3次元導体部画像モデルを生成する3次元導体部画像モデル生成部59と、を備えたことを特徴とする。
本態様によれば、眼鏡型ウェアラブル端末11は、カメラ73が、撮影対象を撮影して対象画像を出力する。加速度センサ77が、カメラ73の位置を検出するGPS受信部75及び姿勢を検出する。通信部95が、カメラ73から取得した画像、GPS受信部75及び加速度センサ77から取得した位置データ及び姿勢データをサーバ7に送信する。一方、サーバ7は、第2通信部35が、眼鏡型ウェアラブル端末11から画像、位置データ、及び姿勢データを受信する。3次元導体部画像モデル生成部59が、受信した画像、位置データ、及び姿勢データに基づいて、3次元導体部画像モデルを生成する。
これにより、眼鏡型ウェアラブル端末11が撮影した対象画像、位置、及び姿勢をサーバ7に送信し、サーバ7が眼鏡型ウェアラブル端末11から受信した画像、位置、及び姿勢に基づいて、3次元導体部画像モデルを生成するので、眼鏡型ウェアラブル端末11に適合性がある3次元導体部画像モデルを生成することができる。
<8th aspect>
The warning image providing system 1 of this aspect is a warning image providing system 1 including the server 7 according to any one of the first to sixth aspects and the eyeglass-type wearable terminal 11, and is an eyeglass-type. The wearable terminal 11 includes a camera 73 that captures a shooting target and outputs a target image, a GPS receiving unit 75 that detects the position of the camera 73, an acceleration sensor 77 that detects an attitude, and an image acquired from the camera 73, GPS reception. A communication unit 95 that transmits position data and attitude data acquired from the unit 75 and the acceleration sensor 77 to the server 7, and the server 7 receives images, position data, and attitude data from the eyeglass-type wearable terminal 11. It is characterized by including a two-communication unit 35 and a three-dimensional conductor unit image model generation unit 59 that generates a three-dimensional conductor unit image model based on received images, position data, and attitude data.
According to this aspect, in the spectacle-type wearable terminal 11, the camera 73 captures a shooting target and outputs a target image. The acceleration sensor 77 detects the GPS receiving unit 75 that detects the position of the camera 73 and the posture. The communication unit 95 transmits the image acquired from the camera 73, the position data and the attitude data acquired from the GPS receiving unit 75 and the acceleration sensor 77 to the server 7. On the other hand, in the server 7, the second communication unit 35 receives the image, the position data, and the posture data from the glasses-type wearable terminal 11. The 3D conductor image model generation unit 59 generates a 3D conductor image model based on the received image, position data, and attitude data.
As a result, the target image, position, and posture taken by the glasses-type wearable terminal 11 are transmitted to the server 7, and the three-dimensional conductor portion is based on the image, position, and posture received by the server 7 from the glasses-type wearable terminal 11. Since the image model is generated, it is possible to generate a three-dimensional conductor portion image model compatible with the eyeglass-type wearable terminal 11.

<第9態様>
本態様の警告画像提供方法は、電気設備における各機器の開閉状態または動作状態を収集する電気所監視装置5から情報を取得するとともに、情報に基づいて各機器間における導体部の充停電状態を表す画像を生成して、眼鏡型ウェアラブル端末11に画像を送信するサーバ7による警告画像提供方法であって、各導体部に係わる3次元導体部画像モデルを予めデータベースDB7aに記憶する記憶ステップ(S60)と、各機器間における導体部の充停電状態に応じて、3次元導体部画像モデルから充停電箇所が色分けされた3次元色分け導体部画像モデルを生成する色分けモデル生成ステップ(S130)と、眼鏡型ウェアラブル端末11から受信した位置データ及び姿勢データに応じて、3次元色分け導体部画像モデルから目視方向の警告画像を生成する警告画像生成ステップ(S140)と、生成された警告画像を眼鏡型ウェアラブル端末11に送信する送信ステップ(S150)と、を実行することを特徴とする。
第8態様の作用、及び効果は第1態様と同様であるので、その説明を省略する。
<9th aspect>
In the warning image providing method of this embodiment, information is acquired from the electric station monitoring device 5 that collects the open / closed state or the operating state of each device in the electrical equipment, and the charging / power failure state of the conductor portion between the devices is determined based on the information. A storage step (S60) in which a warning image is provided by a server 7 that generates an image to be represented and transmits the image to the eyeglass-type wearable terminal 11 and stores a three-dimensional conductor portion image model related to each conductor portion in advance in the database DB 7a. ), And a color-coded model generation step (S130) for generating a three-dimensional color-coded conductor part image model in which the charge / power failure points are color-coded from the three-dimensional conductor part image model according to the state of charge / power failure of the conductor part between each device. A warning image generation step (S140) for generating a warning image in the visual direction from a three-dimensional color-coded conductor image model according to position data and posture data received from the glasses-type wearable terminal 11, and a glasses-type warning image generated. It is characterized in that the transmission step (S150) of transmitting to the wearable terminal 11 is executed.
Since the operation and effect of the eighth aspect are the same as those of the first aspect, the description thereof will be omitted.

1…警告画像提供システム、5…電気所監視装置、7…サーバ、7a…データベースDB、11…眼鏡型ウェアラブル端末、35…通信部、59…次元導体部画像モデル生成部、61…導体部画像モデル生成部、65…警告画像生成部、73…カメラ、75…GPS受信部、77…加速度センサ、81…ディスプレイ、95…通信部 1 ... Warning image providing system, 5 ... Electrical station monitoring device, 7 ... Server, 7a ... Database DB, 11 ... Glass-type wearable terminal, 35 ... Communication unit, 59 ... Dimensional conductor image model generation unit, 61 ... Conductor image Model generator, 65 ... Warning image generator, 73 ... Camera, 75 ... GPS receiver, 77 ... Accelerometer, 81 ... Display, 95 ... Communication unit

Claims (9)

電気設備における各機器の開閉状態または動作状態を収集する電気所監視装置から情報を取得するとともに、前記情報に基づいて各機器間における導体部の充停電状態を表す画像を生成して、眼鏡型ウェアラブル端末に前記画像を送信する警告画像提供サーバであって、
前記各導体部に係わる3次元導体部画像モデルを予め記憶する記憶手段と、
前記各機器間における導体部の前記充停電状態に応じて、前記3次元導体部画像モデルから充停電箇所が色分けされた3次元色分け導体部画像モデルを生成する色分けモデル生成手段と、
前記眼鏡型ウェアラブル端末から受信した位置及び姿勢に応じて、3次元色分け導体部画像モデルから目視方向の警告画像を生成する警告画像生成手段と、
前記生成された警告画像を前記眼鏡型ウェアラブル端末に送信する送信手段と、を備えたことを特徴とする警告画像提供サーバ。
Information is acquired from an electric station monitoring device that collects the open / closed state or operating state of each device in electrical equipment, and based on the information, an image showing the charging / power failure state of the conductor portion between each device is generated to form a glasses type. A warning image providing server that sends the image to a wearable terminal.
A storage means for preliminarily storing a three-dimensional conductor part image model related to each conductor part, and
A color-coded model generation means for generating a three-dimensional color-coded conductor portion image model in which the charging / failing portion is color-coded from the three-dimensional conductor portion image model according to the charge / power failure state of the conductor portion between the devices.
A warning image generating means that generates a warning image in the visual direction from a three-dimensional color-coded conductor image model according to the position and orientation received from the eyeglass-type wearable terminal.
A warning image providing server including a transmission means for transmitting the generated warning image to the glasses-type wearable terminal.
前記色分けモデル生成手段は、
前記各導体部の導体部番号に対応した充停電状態に応じて、3次元導体部画像モデルから各導体部の導体部番号に対応した充停電箇所が色分けされた3次元色分け導体部画像モデルを生成することを特徴とする請求項1記載の警告画像提供サーバ。
The color-coded model generation means
From the three-dimensional conductor part image model, a three-dimensional color-coded conductor part image model in which the charge / power failure part corresponding to the conductor part number of each conductor part is color-coded according to the charge / power failure state corresponding to the conductor part number of each conductor part. The warning image providing server according to claim 1, wherein the warning image is generated.
前記色分けモデル生成手段は、
前記各機器間における導体部の前記充停電状態に応じて、前記3次元導体部画像モデルに含まれる停電箇所に第1色を付加し、充電箇所に第1色とは異なる第2色を付加することにより、充停電箇所が色分けされた3次元色分け導体部画像モデルを生成することを特徴とする請求項1記載の警告画像提供サーバ。
The color-coded model generation means
A first color is added to the power failure location included in the three-dimensional conductor portion image model, and a second color different from the first color is added to the charging location according to the charge / power failure state of the conductor portion between the devices. The warning image providing server according to claim 1, wherein a three-dimensional color-coded conductor portion image model in which charge / power failure points are color-coded is generated.
前記色分けモデル生成手段は、
前記各機器間における導体部の前記充停電状態に応じて、前記3次元導体部画像モデルに含まれる充電箇所に特定の色を付加することにより、充停電箇所が色分けされた3次元色分け導体部画像モデルを生成することを特徴とする請求項1記載の警告画像提供サーバ。
The color-coded model generation means
A three-dimensional color-coded conductor unit in which the charge / power failure location is color-coded by adding a specific color to the charging portion included in the three-dimensional conductor portion image model according to the charge / power failure state of the conductor portion between the devices. The warning image providing server according to claim 1, wherein an image model is generated.
前記色分けモデル生成手段は、
前記各導体部の導体部番号に対応した充停電状態が前回の内容と同一である場合には、前記3次元色分け導体部画像モデルの生成を中止することを特徴とする請求項1乃至4の何れか一項記載の警告画像提供サーバ。
The color-coded model generation means
Claims 1 to 4, wherein the generation of the three-dimensional color-coded conductor portion image model is stopped when the charge / power failure state corresponding to the conductor portion number of each conductor portion is the same as the previous content. The warning image providing server described in any one of the items.
前記警告画像生成手段は、
前記3次元色分け導体部画像モデルから位置及び姿勢に応じた目視方向の画像を切り出すことにより警告画像を生成することを特徴とする請求項1記載の警告画像提供サーバ。
The warning image generating means is
The warning image providing server according to claim 1, wherein a warning image is generated by cutting out an image in a visual direction according to a position and an orientation from the three-dimensional color-coded conductor portion image model.
請求項1乃至6の何れか一項記載の警告画像提供サーバと、
眼鏡型ウェアラブル端末と、を備えた警告画像提供システムであって、
前記眼鏡型ウェアラブル端末は、
位置及び姿勢を検出する検出手段と、
前記検出された位置及び姿勢を前記警告画像提供サーバに送信する送信手段と、
前記警告画像提供サーバから受信した警告画像を投影する投影手段と、を備えたことを特徴とする警告画像提供システム。
The warning image providing server according to any one of claims 1 to 6 and the warning image providing server.
It is a warning image providing system equipped with a glasses-type wearable terminal.
The glasses-type wearable terminal is
A detection means for detecting the position and posture, and
A transmission means for transmitting the detected position and orientation to the warning image providing server, and
A warning image providing system including a projection means for projecting a warning image received from the warning image providing server.
請求項1乃至6の何れか一項記載の警告画像提供サーバと、
眼鏡型ウェアラブル端末と、を備えた警告画像提供システムであって、
眼鏡型ウェアラブル端末は、
撮影対象を撮影して対象画像を出力するカメラと、
カメラの位置及び姿勢を検出する検出手段と、
前記カメラから取得した画像、前記検出手段から取得した位置及び姿勢を前記警告画像提供サーバに送信する送信手段と、を備え、
前記警告画像提供サーバは、
前記眼鏡型ウェアラブル端末から前記画像、位置、及び姿勢を受信する受信手段と、
前記受信した画像、位置、及び姿勢に基づいて、前記3次元導体部画像モデルを生成する3次元モデル生成手段と、を備えたことを特徴とする警告画像提供システム。
The warning image providing server according to any one of claims 1 to 6 and the warning image providing server.
It is a warning image providing system equipped with a glasses-type wearable terminal.
Glasses-type wearable terminals
A camera that shoots the target and outputs the target image,
A detection means that detects the position and orientation of the camera,
A transmission means for transmitting an image acquired from the camera, a position and a posture acquired from the detection means to the warning image providing server, and the like.
The warning image providing server is
A receiving means for receiving the image, position, and posture from the glasses-type wearable terminal, and
A warning image providing system including a three-dimensional model generating means for generating the three-dimensional conductor portion image model based on the received image, position, and posture.
電気設備における各機器の開閉状態または動作状態を収集する電気所監視装置から情報を取得するとともに、前記情報に基づいて各機器間における導体部の充停電状態を表す画像を生成して、眼鏡型ウェアラブル端末に前記画像を送信する警告画像提供サーバによる警告画像提供方法であって、
前記各導体部に係わる3次元導体部画像モデルを予め記憶手段に記憶する記憶ステップと、
前記各機器間における導体部の前記充停電状態に応じて、前記3次元導体部画像モデルから充停電箇所が色分けされた3次元色分け導体部画像モデルを生成する色分けモデル生成ステップと、
前記眼鏡型ウェアラブル端末から受信した位置及び姿勢に応じて、3次元色分け導体部画像モデルから目視方向の警告画像を生成する警告画像生成ステップと、
前記生成された警告画像を前記眼鏡型ウェアラブル端末に送信する送信ステップと、を実行することを特徴とする警告画像提供方法。
Information is acquired from an electric station monitoring device that collects the open / closed state or operating state of each device in electrical equipment, and an image showing the charging / power failure state of the conductor portion between each device is generated based on the information to generate a glasses type. A method of providing a warning image by a warning image providing server that transmits the image to a wearable terminal.
A storage step of preliminarily storing a three-dimensional conductor image model related to each conductor in a storage means,
A color-coded model generation step of generating a three-dimensional color-coded conductor portion image model in which the charging / failing portion is color-coded from the three-dimensional conductor portion image model according to the charge / power failure state of the conductor portion between the devices.
A warning image generation step of generating a warning image in the visual direction from a three-dimensional color-coded conductor image model according to the position and orientation received from the eyeglass-type wearable terminal.
A method for providing a warning image, which comprises executing a transmission step of transmitting the generated warning image to the glasses-type wearable terminal.
JP2017000728A 2017-01-05 2017-01-05 Warning image providing server, warning image providing system, and warning image providing method Active JP6844262B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017000728A JP6844262B2 (en) 2017-01-05 2017-01-05 Warning image providing server, warning image providing system, and warning image providing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017000728A JP6844262B2 (en) 2017-01-05 2017-01-05 Warning image providing server, warning image providing system, and warning image providing method

Publications (2)

Publication Number Publication Date
JP2018109905A JP2018109905A (en) 2018-07-12
JP6844262B2 true JP6844262B2 (en) 2021-03-17

Family

ID=62845187

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017000728A Active JP6844262B2 (en) 2017-01-05 2017-01-05 Warning image providing server, warning image providing system, and warning image providing method

Country Status (1)

Country Link
JP (1) JP6844262B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020014361A (en) * 2018-07-20 2020-01-23 中国電力株式会社 Information processing apparatus and information processing system
JP7134789B2 (en) * 2018-08-28 2022-09-12 株式会社東芝 Charging status display system for electrical equipment, its program, work command device, work terminal
JP2020078032A (en) * 2018-11-09 2020-05-21 中国電力株式会社 Charge identification system, charge identification method, program, and recording medium
JP7326736B2 (en) * 2018-12-20 2023-08-16 富士電機株式会社 System and program
JP7230510B2 (en) * 2019-01-07 2023-03-01 中国電力株式会社 proximity monitoring system
JP7585006B2 (en) 2020-11-19 2024-11-18 キヤノン株式会社 Glasses-type information device, method and program thereof
CN113472071B (en) * 2021-06-02 2024-08-20 台州宏创电力集团有限公司科技分公司 A control method for intelligent virtual auxiliary robot in substation
CN113742017B (en) * 2021-08-30 2024-09-27 广东电网有限责任公司 A method, device, storage medium and electronic device for displaying power data
JP7823454B2 (en) * 2022-03-24 2026-03-04 東京電力ホールディングス株式会社 Voltage status visualization system, method, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10198877A (en) * 1997-01-09 1998-07-31 Meidensha Corp Safe section confirmation system
JP5153314B2 (en) * 2007-12-19 2013-02-27 中国電力株式会社 Power system monitoring and control system
JP2012032871A (en) * 2010-07-28 2012-02-16 Chugoku Electric Power Co Inc:The Patrol support method and patrol support system

Also Published As

Publication number Publication date
JP2018109905A (en) 2018-07-12

Similar Documents

Publication Publication Date Title
JP6844262B2 (en) Warning image providing server, warning image providing system, and warning image providing method
US10147234B2 (en) System and method for augmented reality display of electrical system information
EP3447730B1 (en) Three-dimensional reconstruction method
CN110546948B (en) Display control device, display control method and storage medium
WO2018056498A1 (en) Transmission line electromagnetic field and instantaneous inspection image acquisition device and method
JP2018528509A (en) Projected image generation method and apparatus, and mapping method between image pixel and depth value
CN109358754B (en) Mixed reality head-mounted display system
US12243210B2 (en) Maintenance support system, maintenance support method, program, method for generating processed image, and processed image
US9208555B1 (en) Method for inspection of electrical equipment
CN105303557A (en) Perspective type intelligent glasses and perspective method thereof
JP2023016874A (en) Display control device, display control method, and program
CN112313596A (en) Aircraft-based inspection method, device and storage medium
KR102374357B1 (en) Video Surveillance Apparatus for Congestion Control
GB2535728A (en) Information system and method
JP7059770B2 (en) Warning image providing system
CN108012141A (en) The control method of display device, display system and display device
CN108280851A (en) Depth map generating device
Jung et al. Matching of thermal and color images with application to power distribution line fault detection
Ahmad et al. Effective techniques for vegetation monitoring of transmission lines right-of-ways
KR101326095B1 (en) Apparatus for uniting images and method thereof
CN111882077A (en) Method and system for establishing defense space of transformer substation
CN109637073A (en) A kind of fire hazard aerosol fog identifying system based on optical flow method
US20260087751A1 (en) Information display system, information display method, and program
JP2018207297A (en) Worker monitoring system and worker monitoring method
Ahmad et al. Vegetation monitoring for high-voltage transmission line corridors using satellite stereo images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210208

R150 Certificate of patent or registration of utility model

Ref document number: 6844262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150