JP7622480B2

JP7622480B2 - Safety verification device, safety verification method, and program

Info

Publication number: JP7622480B2
Application number: JP2021037469A
Authority: JP
Inventors: 一馬三嶋; 洋一馬場
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2021-03-09
Filing date: 2021-03-09
Publication date: 2025-01-28
Anticipated expiration: 2041-03-09
Also published as: JP2022137797A; WO2022190545A1

Description

本発明は、安全検証装置、安全検証方法、およびプログラムに関する。 The present invention relates to a safety verification device, a safety verification method, and a program.

ＦＡ（ファクトリーオートメーション）分野において、産業用ロボットのティーチングや動作検証のためにコンピュータシミュレーションが利用されはじめている。例えば、ロボットやその周辺要素（作業台、ワーク、他の機械、安全柵など）の３次元モデルを仮想空間上に配置し動作シミュレーションを実行することで、ロボットの動きや他の機械とのタイミングを検証したり、安全性に問題がないかを確認したりすることができる。 In the field of factory automation (FA), computer simulations are beginning to be used for teaching industrial robots and verifying their operation. For example, by placing 3D models of a robot and its surrounding elements (workbench, work, other machines, safety fences, etc.) in a virtual space and running an operation simulation, it is possible to verify the robot's movement and its timing with other machines, and to check for safety issues.

特許文献１には、ロボット、ワーク、周辺配置物（トレイなど）の３次元モデルを用いてシミュレーションを実行し、ロボット移動中のワークや周辺配置物との干渉を判定する干渉判定装置が開示されている。 Patent Document 1 discloses an interference determination device that performs a simulation using three-dimensional models of a robot, a workpiece, and surrounding objects (such as a tray) to determine whether the robot interferes with the workpiece or surrounding objects while it is moving.

特開２０１９－１７１５０１号公報JP 2019-171501 A

３次元モデルを用いたシミュレーションで動作や安全性をあらかじめ確認することができれば、ロボット（実機）を工場に導入する際の立ち上げ時間を削減でき、メリットは大きい。しかしながら、現実には、シミュレーションで用いた仮想環境と工場における実環境との間に何らかの相違が存在し、それがリスク要因となり得るおそれがある。例えば、シミュレーションではロボットの周辺に安全柵を設置していたにもかかわらず、実環境において安全柵を忘れていたり配置を間違えていたりした場合には、シミュレーションで保証した安全性が意味のないものになってしまう。また、シミュレーションで用いたロボットの３次元モデルと実機の形状が相違している場合に、想定外の干渉が発生するリスクもある。クリティカルな相違の存在は見過ごしてはならないが、ヒトが仮想環境と実環境の間の相違を漏れなく発見することは容易ではない。 If the operation and safety can be confirmed in advance by simulation using a 3D model, the start-up time when introducing a robot (actual machine) into a factory can be reduced, which is a great advantage. However, in reality, there may be some differences between the virtual environment used in the simulation and the actual environment in the factory, which may become a risk factor. For example, if a safety fence was installed around the robot in the simulation, but the safety fence was forgotten or placed incorrectly in the actual environment, the safety guaranteed by the simulation will become meaningless. In addition, if the shape of the 3D model of the robot used in the simulation differs from that of the actual machine, there is a risk of unexpected interference occurring. The existence of critical differences should not be overlooked, but it is not easy for humans to find all the differences between the virtual and actual environments.

本発明は、上記実情に鑑みなされたものであって、シミュレーションで想定した設計どおりに実環境が構築されているかを簡単に検証するための技術を提供することを目的とする。 The present invention has been made in consideration of the above-mentioned circumstances, and aims to provide a technology for easily verifying whether a real environment is constructed according to the design assumed in the simulation.

上記目的を達成するために本発明は、以下の構成を採用する。 To achieve the above objective, the present invention adopts the following configuration.

本発明の第一側面は、ロボットの作業エリアを表す３次元空間情報を取得する実環境情報取得手段と、前記ロボットおよびその周辺要素それぞれを配置した仮想空間の３次元モデルを取得する仮想環境情報取得手段と、取得した前記３次元モデルと前記作業エリアの前記３次元空間情報とを用いて、シミュレーションの仮想空間と実際の作業エリアの間で、前記ロボットまたは前記周辺要素の少なくともいずれか一方の構成を比較する比較手段と、前記比較手段による比較結果を出力する出力手段と、を有することを特徴とする安全検証装置を提供する。 The first aspect of the present invention provides a safety verification device comprising: a real environment information acquisition means for acquiring three-dimensional spatial information representing a robot's working area; a virtual environment information acquisition means for acquiring a three-dimensional model of a virtual space in which the robot and its peripheral elements are arranged; a comparison means for comparing the configuration of at least one of the robot and the peripheral elements between the virtual space of a simulation and the actual working area using the acquired three-dimensional model and the three-dimensional spatial information of the working area; and an output means for outputting the comparison result obtained by the comparison means.

３次元空間情報は、実環境（ロボットの作業エリア）を表す情報である。例えば、３次
元空間情報は、実環境（ロボットの作業エリア）を３次元センサによって測定することにより得てもよい。３次元空間情報には、例えば、ロボットおよびその周辺要素の３次元的な形状・位置の情報が含まれる。他方、３次元モデルは、実環境を測定したものではなく、仮想環境を表す情報である。例えば、３次元モデルは、シミュレータがシミュレーションで用いるデータであってよい。安全検証装置は、両者の比較を行い、ロボットや周辺要素の構成の相違の有無を確認する。 The three-dimensional spatial information is information that represents the real environment (the robot's working area). For example, the three-dimensional spatial information may be obtained by measuring the real environment (the robot's working area) with a three-dimensional sensor. The three-dimensional spatial information includes, for example, information on the three-dimensional shape and position of the robot and its peripheral elements. On the other hand, the three-dimensional model is not a measurement of the real environment, but is information that represents a virtual environment. For example, the three-dimensional model may be data that a simulator uses in a simulation. The safety verification device compares the two and checks whether there are any differences in the configuration of the robot and the peripheral elements.

これにより、ユーザは、シミュレーションで想定した設計どおりに実環境が構築されているかを簡単に検証することができる。すなわち、相違が無いか、無視しても構わない程度の相違である場合には、設計どおりの動作および安全性を保証することができる。逆に、無視できない程度の相違が存在することがわかれば、設置ミスの発見、安全対策の見直し、オフラインティーチングや再シミュレーションの要否判断などにつなげることができる。 This allows users to easily verify whether the actual environment has been constructed according to the design assumed in the simulation. In other words, if there are no differences or the differences are small enough to be ignored, operation and safety as designed can be guaranteed. Conversely, if it is found that there are differences that cannot be ignored, this can lead to the discovery of installation errors, a review of safety measures, and a determination of the need for offline teaching or re-simulation.

前記出力手段は、前記３次元モデルと前記作業エリアの前記３次元空間情報との比較画面を表示装置に出力してもよい。これにより、シミュレーションの仮想空間と実際の作業エリアの間の一致／相違を、容易かつ視覚的に確認することができる。 The output means may output a comparison screen between the three-dimensional model and the three-dimensional spatial information of the work area to a display device. This allows the user to easily and visually confirm the correspondence/difference between the virtual space of the simulation and the actual work area.

前記出力手段は、前記比較画面において、前記３次元モデルと前記３次元空間情報を重畳してもよい。このような比較画面により、シミュレーションで想定していた形状・配置と実際の形状・配置との比較が容易になる。 The output means may superimpose the three-dimensional model and the three-dimensional spatial information on the comparison screen. Such a comparison screen makes it easy to compare the shape and arrangement assumed in the simulation with the actual shape and arrangement.

前記出力手段は、前記比較画面において、前記３次元モデルと前記３次元空間情報の間の相違部分を、他の部分とは識別可能な態様で、出力してもよい。このような比較画面により、シミュレーションで想定していた形状・配置と実際の形状・配置との相違を、容易かつ直観的に把握することができる。 The output means may output the difference between the three-dimensional model and the three-dimensional spatial information on the comparison screen in a manner that makes it distinguishable from other parts. Such a comparison screen allows the user to easily and intuitively grasp the difference between the shape and arrangement assumed in the simulation and the actual shape and arrangement.

前記出力手段は、前記比較画面において、前記３次元モデルには存在するが前記３次元空間情報には存在しない第１の相違部分と、前記３次元モデルには存在しないが前記３次元空間には存在する第２の相違部分とを、互いに異なる態様で、出力してもよい。シミュレーションで想定していたものが実際には存在しなかった場合と、逆に、シミュレーションで想定していなかったものが実際には存在していた場合とでは、採るべき対応が異なり得るからである。 The output means may output, on the comparison screen, a first difference that exists in the three-dimensional model but not in the three-dimensional space information, and a second difference that does not exist in the three-dimensional model but exists in the three-dimensional space, in different ways. This is because the response to be taken may differ between a case where something assumed in the simulation does not actually exist and, conversely, a case where something not assumed in the simulation actually exists.

実際の作業エリアを反映したシミュレーションを行うために、前記３次元空間情報に合わせて前記３次元モデルを更新する更新手段をさらに有してもよい。この構成によれば、実際の作業エリアにおけるロボットや周辺要素の形状・位置に合うように、シミュレーション用の３次元モデルが修正される。したがって、実際の作業エリアと同じ条件での高精度なシミュレーションを容易に実現できる。 The system may further include an update means for updating the three-dimensional model in accordance with the three-dimensional spatial information in order to perform a simulation that reflects the actual work area. With this configuration, the three-dimensional model for simulation is modified to match the shape and position of the robot and peripheral elements in the actual work area. Therefore, a highly accurate simulation under the same conditions as the actual work area can be easily realized.

３次元センサを有する監視システムが前記ロボットの前記作業エリアを監視するために設置されており、前記実環境情報取得手段は、前記監視システムから前記作業エリアの３次元空間情報を取得してもよい。監視システムの３次元センサを流用することにより、安全検証装置のための専用の３次元センサを用意する必要がなくなるため、コストの低減と利便性の向上を図ることができる。 A monitoring system having a three-dimensional sensor may be installed to monitor the working area of the robot, and the real environment information acquisition means may acquire three-dimensional spatial information of the working area from the monitoring system. By utilizing the three-dimensional sensor of the monitoring system, there is no need to prepare a dedicated three-dimensional sensor for the safety verification device, which can reduce costs and improve convenience.

前記比較手段は、前記監視システムの前記３次元センサの位置を基準にして、前記３次元モデルと前記作業エリアの前記３次元空間情報の間の座標合わせを行ってもよい。３次元空間情報は３次元センサの測定結果から生成されるものであるため、３次元センサの位置を基準にした座標系で表現するのは易しい。したがって、仮想空間（３次元モデル）と
実空間（作業エリア）の座標合わせを簡易に実現できる。 The comparison means may perform coordinate alignment between the three-dimensional model and the three-dimensional spatial information of the work area based on the position of the three-dimensional sensor of the monitoring system. Since the three-dimensional spatial information is generated from the measurement results of the three-dimensional sensor, it is easy to express it in a coordinate system based on the position of the three-dimensional sensor. Therefore, the coordinate alignment between the virtual space (three-dimensional model) and the real space (work area) can be easily realized.

前記比較手段は、前記３次元モデルとの比較の前に、前記作業エリアの前記３次元空間情報の補正を行うためのユーザインターフェイスを有してもよい。上記のようなユーザインターフェイスがあれば、３次元空間情報の誤差データや欠損データをマニュアルで補正することができるため、後段の３次元モデルとの比較処理の精度や信頼性を向上することが可能になる。 The comparison means may have a user interface for correcting the three-dimensional spatial information of the work area before the comparison with the three-dimensional model. With such a user interface, error data and missing data of the three-dimensional spatial information can be manually corrected, thereby improving the accuracy and reliability of the comparison process with the three-dimensional model in the subsequent stage.

本発明の第二側面は、ロボットの作業エリアを表す３次元空間情報を取得するステップと、前記ロボットおよびその周辺要素それぞれを配置した仮想空間の３次元モデルを取得するステップと、取得した前記３次元モデルと前記作業エリアの前記３次元空間情報とを用いて、シミュレーションの仮想空間と実際の作業エリアの間で、前記ロボットまたは前記周辺要素の少なくもいずれか一方の構成を比較するステップと、前記比較するステップの結果を出力するステップと、を有することを特徴とする安全検証方法を提供する。 The second aspect of the present invention provides a safety verification method comprising the steps of: acquiring three-dimensional spatial information representing a working area of a robot; acquiring a three-dimensional model of a virtual space in which the robot and its peripheral elements are arranged; comparing the configuration of at least one of the robot or the peripheral elements between the virtual space of a simulation and the actual working area using the acquired three-dimensional model and the three-dimensional spatial information of the working area; and outputting the results of the comparing step.

本発明の第三側面は、上記の安全検証方法の各ステップをコンピュータに実行させるためのプログラムを提供する。 A third aspect of the present invention provides a program for causing a computer to execute each step of the above-mentioned safety verification method.

本発明は、上記手段の少なくとも一部を有する安全検証装置や実環境確認装置として捉えてもよい。また、本発明は、安全検証装置と３次元センサを備えるシステム、安全検証装置と監視システムを備えるシステム、安全検証装置とシミュレータを備えるシステム、あるいは、安全検証装置とシミュレータと監視システムを備えるシステムなどとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を有する安全検証方法、安全検証装置の制御方法などとして捉えてもよいし、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段ないし処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。 The present invention may be understood as a safety verification device or a real environment confirmation device having at least some of the above means. The present invention may also be understood as a system having a safety verification device and a three-dimensional sensor, a system having a safety verification device and a monitoring system, a system having a safety verification device and a simulator, or a system having a safety verification device, a simulator and a monitoring system. The present invention may also be understood as a safety verification method having at least some of the above processing, a control method for a safety verification device, etc., or as a program for realizing such a method or a recording medium on which such a program is non-temporarily recorded. Note that each of the above means or processing can be combined with each other as much as possible to constitute the present invention.

本発明によれば、シミュレーションで想定した設計どおりに実環境が構築されているかを簡単に検証することができる。 The present invention makes it easy to verify whether the actual environment is constructed according to the design assumed in the simulation.

図１は、本発明の一実施の形態に係る安全検証装置を含むシミュレーションシステムの構成例を模式的に示す図である。FIG. 1 is a diagram showing a schematic configuration example of a simulation system including a safety verification device according to an embodiment of the present invention. 図２は、シミュレーションシステムの構成例を示すブロック図である。FIG. 2 is a block diagram showing an example of the configuration of a simulation system. 図３は、安全検証装置による安全検証処理の流れを示すフローチャートである。FIG. 3 is a flowchart showing the flow of the safety verification process performed by the safety verification device. 図４は、シミュレーション（仮想環境）と工場内の作業エリア（実環境）の一例を示す図である。FIG. 4 is a diagram showing an example of a simulation (virtual environment) and a work area (real environment) in a factory. 図５は、比較画面の一例を示す図である。FIG. 5 is a diagram showing an example of the comparison screen. 図６は、比較画面の一例を示す図である。FIG. 6 is a diagram showing an example of the comparison screen. 図７は、３次元空間情報の補正用ユーザインターフェイスの例を示す図である。FIG. 7 is a diagram showing an example of a user interface for correcting three-dimensional space information.

＜適用例＞
図１を参照して、本発明の適用例を説明する。図１は、本発明の一実施の形態に係る安全検証装置を含むシミュレーションシステム１の構成例を模式的に示している。 <Application Examples>
An application example of the present invention will be described with reference to Fig. 1. Fig. 1 shows a schematic diagram of a configuration example of a simulation system 1 including a safety verification device according to an embodiment of the present invention.

このシミュレーションシステム１は、産業用ロボット（以下「ロボット」と呼ぶ）２１
のティーチング（制御プログラムの開発）、シミュレーション、安全検証などを行うためのシステムである。図１に示すように、シミュレーションシステム１は、安全検証装置１０とシミュレータ１１を有して構成されている。シミュレーションシステム１は、ロボット２１を制御するためのロボットコントローラ２０や、ロボット２１の作業エリアを監視するための監視システム３０とネットワークを介して通信可能である。例えば、ロボット２１の保守ないし管理を行うユーザがシミュレーションシステム１を用い、インターネットを通じて、工場に設置されたロボットコントローラ２０および監視システム３０にリモートアクセスするような利用方法が想定される。 The simulation system 1 includes an industrial robot (hereinafter referred to as a "robot") 21.
The simulation system 1 is a system for performing teaching (development of a control program), simulation, safety verification, etc. of a robot 21. As shown in Fig. 1, the simulation system 1 is configured to have a safety verification device 10 and a simulator 11. The simulation system 1 is capable of communicating with a robot controller 20 for controlling a robot 21 and a monitoring system 30 for monitoring a working area of the robot 21 via a network. For example, it is assumed that a user who maintains or manages the robot 21 uses the simulation system 1 to remotely access the robot controller 20 and the monitoring system 30 installed in a factory via the Internet.

シミュレータ１１は、ロボット２１の制御プログラムの開発機能と、３次元モデルを用いたシミュレーション機能とを有する、統合開発ツールである。すなわち、ユーザは、シミュレータ１１を利用して、ロボットコントローラ２０用の制御プログラムを作成し、さらに、エミュレータで制御プログラムを実行させ、仮想空間上でロボットやその周辺要素の動作や配置を確認し、プログラムのデバッグ、動作検証、安全性の検証などを行うことが可能である。作成した制御プログラムはネットワーク経由でロボットコントローラ２０にインストールすることができる。このようなシミュレータ１１を利用することにより、実機（ロボット２１やロボットコントローラ２０）がなくても、ティーチングや動作検証が可能となる。よって、設備を工場に導入する際の立ち上げ時間を大幅に削減できる、遠隔操作によるティーチングや保守が可能になる、などの利点がある。 The simulator 11 is an integrated development tool that has a function for developing a control program for the robot 21 and a function for simulating using a three-dimensional model. In other words, the user can use the simulator 11 to create a control program for the robot controller 20, and then execute the control program in an emulator to check the operation and arrangement of the robot and its peripheral elements in a virtual space, and perform program debugging, operation verification, and safety verification. The created control program can be installed in the robot controller 20 via a network. By using such a simulator 11, teaching and operation verification are possible even without the actual machine (robot 21 or robot controller 20). This has the advantage that the start-up time when introducing equipment into a factory can be significantly reduced, and teaching and maintenance can be performed by remote operation.

シミュレータ１１は、ロボット２１やその周辺要素（例えば、作業台、ワーク、工具、部品、他の機械、安全柵など）の３次元モデル（例えば、ＣＡＤデータなど）を仮想空間上に配置した仮想環境を用いてシミュレーションを実行する。この仮想環境が工場の実環境と十分に一致していれば、シミュレーション結果の妥当性・信頼性が保証される。しかしながら、現実には、仮想環境と実環境との間に何らかの相違が存在するケースが発生する。クリティカルな相違の存在は見過ごしてはならないが、ヒトが仮想環境と実環境の間の相違を漏れなく発見することは容易ではない。特に、ティーチングの担当者（シミュレータ１１のユーザ）と設備の担当者（工場で実機の立ち上げ等を行うユーザ）とが異なる場合や、シミュレータ１１が遠隔（工場とは異なる場所）に設置されている場合には、仮想環境と実環境の比較はきわめて難しい。 The simulator 11 performs a simulation using a virtual environment in which three-dimensional models (e.g., CAD data, etc.) of the robot 21 and its peripheral elements (e.g., workbench, work, tools, parts, other machines, safety fences, etc.) are arranged in a virtual space. If this virtual environment sufficiently matches the actual environment of the factory, the validity and reliability of the simulation results are guaranteed. However, in reality, there are cases where some differences exist between the virtual environment and the actual environment. The existence of critical differences should not be overlooked, but it is not easy for a human being to discover all the differences between the virtual environment and the actual environment. In particular, when the person in charge of teaching (the user of the simulator 11) and the person in charge of the equipment (the user who starts up the actual machine in the factory) are different, or when the simulator 11 is installed remotely (in a location different from the factory), it is extremely difficult to compare the virtual environment and the actual environment.

安全検証装置１０は、このような課題を解決するため、シミュレータ１１が用いた仮想環境と工場における実環境とを比較し、相違の有無を判定する機能を提供する。具体的には、ロボット２１の作業エリアを３次元センサ３１によって測定することにより、作業エリアの３次元空間情報を生成し、これを実環境情報として安全検証装置１０に与える。安全検証装置１０では、この実環境情報と、シミュレータ１１から得た３次元モデル（仮想環境情報）とを比較し、ロボットやその周辺要素の構成（すなわち、３次元的な形状・位置・大きさなど）が相違するか否か判定する。そして、実環境と仮想環境との比較結果を出力する。例えば、もし、両者の間に相違が存在した場合には通知を出力して、ユーザに問題点を知らしめるとよい。また、両者の間に相違がない（あるいは問題とならない程度の小さな相違にすぎない）場合には、シミュレーション通りの安全性が担保されている旨の通知を出力してもよい。さらに、安全検証装置１０は、シミュレーション情報や制御プログラムに対して必要な修正を行ってもよい。 In order to solve such problems, the safety verification device 10 provides a function to compare the virtual environment used by the simulator 11 with the real environment in the factory and determine whether there is a difference. Specifically, the work area of the robot 21 is measured by the three-dimensional sensor 31 to generate three-dimensional spatial information of the work area, and this is provided to the safety verification device 10 as real environment information. The safety verification device 10 compares this real environment information with the three-dimensional model (virtual environment information) obtained from the simulator 11 to determine whether the configuration of the robot and its peripheral elements (i.e., three-dimensional shape, position, size, etc.) is different. Then, the comparison result between the real environment and the virtual environment is output. For example, if there is a difference between the two, a notification may be output to inform the user of the problem. Also, if there is no difference between the two (or the difference is only small enough to not cause a problem), a notification may be output to the effect that safety is guaranteed as in the simulation. Furthermore, the safety verification device 10 may make necessary corrections to the simulation information and the control program.

このような安全検証装置１０を利用することにより、ユーザは、シミュレーションで想定した設計どおりに実環境が構築されているかを簡単に検証することができる。すなわち、相違が無いか、無視しても構わない程度の相違である場合には、設計どおりの動作および安全性を保証することができる。逆に、無視できない程度の相違が存在することがわかれば、設置ミスの発見、安全対策の見直し、オフラインティーチングや再シミュレーションの要否判断などにつなげることができる。 By using such a safety verification device 10, the user can easily verify whether the actual environment has been constructed according to the design assumed in the simulation. In other words, if there are no differences or the differences are small enough to be ignored, operation and safety as designed can be guaranteed. Conversely, if it is found that there are differences that cannot be ignored, this can lead to the discovery of installation errors, a review of safety measures, and a determination of the need for offline teaching or re-simulation.

＜実施形態＞
図２は、本実施形態に係るシミュレーションシステム１の構成例を示すブロック図である。 <Embodiment>
FIG. 2 is a block diagram showing an example of the configuration of the simulation system 1 according to the present embodiment.

シミュレーションシステム１は、主な構成として、安全検証装置１０、シミュレータ１１、表示装置１２、入力装置１３を有する。安全検証装置１０は、実環境情報取得部１００、仮想環境情報取得部１０１、比較部１０２、出力部１０３、シミュレーションデータ更新部１０４を有する。シミュレータ１１は、シミュレーションデータを記憶するシミュレーションデータ記憶部１１０を有する。 The simulation system 1 mainly comprises a safety verification device 10, a simulator 11, a display device 12, and an input device 13. The safety verification device 10 comprises a real environment information acquisition unit 100, a virtual environment information acquisition unit 101, a comparison unit 102, an output unit 103, and a simulation data update unit 104. The simulator 11 comprises a simulation data storage unit 110 that stores simulation data.

実環境情報取得部１００は、３次元センサ３１によって測定された、作業エリアの３次元空間情報（センサデータ）を取得する。この３次元空間情報には、作業エリア内に設置されているロボット２１や、そのまわりに存在する周辺要素（例えば、作業台、ワーク、工具、部品、他の機械、安全柵など）の３次元的な形状・位置・大きさの情報が含まれている。３次元空間情報の具体的なデータ形式は問わないが、本実施形態では、一例として、点群データを用いる。 The real environment information acquisition unit 100 acquires three-dimensional spatial information (sensor data) of the work area measured by the three-dimensional sensor 31. This three-dimensional spatial information includes information on the three-dimensional shape, position, and size of the robot 21 installed in the work area and the surrounding elements (e.g., workbench, work, tools, parts, other machines, safety fences, etc.). The specific data format of the three-dimensional spatial information is not important, but in this embodiment, point cloud data is used as an example.

仮想環境情報取得部１０１は、シミュレータ１１からシミュレーションに用いられる３次元モデル（シミュレーションデータ）を取得する。この３次元モデルには、ロボットやそのまわりに存在する周辺要素の３次元モデルが含まれている。３次元モデルの具体的なデータ形式は問わないが、例えば、３次元ＣＡＤの設計情報から生成されるデータなどが用いられる。 The virtual environment information acquisition unit 101 acquires a three-dimensional model (simulation data) used in the simulation from the simulator 11. This three-dimensional model includes three-dimensional models of the robot and the surrounding elements. The specific data format of the three-dimensional model is not important, but for example, data generated from three-dimensional CAD design information is used.

比較部１０２は、作業エリアの３次元空間情報（センサデータ）とシミュレーションに用いられた３次元モデル（シミュレーションデータ）とを比較する。そして、比較部１０２は、シミュレーションの仮想空間と実際の作業エリアの間で、ロボットおよび／または周辺要素の構成が相違するか否かを判定する。 The comparison unit 102 compares the three-dimensional spatial information (sensor data) of the work area with the three-dimensional model (simulation data) used in the simulation. The comparison unit 102 then determines whether or not there is a difference in the configuration of the robot and/or peripheral elements between the virtual space of the simulation and the actual work area.

出力部１０３は、比較部１０２により得られる比較結果や判定結果を出力する。情報の出力先は、シミュレーションシステム１に備わる表示装置１２、外部装置（例えば、他のコンピュータ、ＰＬＣなど）などである。 The output unit 103 outputs the comparison results and judgment results obtained by the comparison unit 102. The information is output to the display device 12 provided in the simulation system 1, an external device (e.g., another computer, a PLC, etc.), etc.

シミュレーションデータ更新部１０４は、比較部１０２による比較結果や判定結果に基づき、３次元空間情報（センサデータ）に合わせて３次元モデルを更新する機能である。更新された３次元モデルは、シミュレーションデータ記憶部１１０に格納され、再シミュレーションを行う場合などに利用される。 The simulation data update unit 104 is a function that updates the three-dimensional model to match the three-dimensional space information (sensor data) based on the comparison results and judgment results by the comparison unit 102. The updated three-dimensional model is stored in the simulation data storage unit 110 and is used when performing a re-simulation, etc.

シミュレーションデータ記憶部１１０は、シミュレータ１１がシミュレーションのために用いるデータ群を記憶する。シミュレーションデータには、例えば、ロボットやその周辺要素の３次元モデル、ロボットコントローラ用の制御プログラム、シミュレーション実行時の各種条件設定などが含まれてもよい。シミュレータ１１は、ロボットコントローラ２０と通信可能であり、制御プログラムのロボットコントローラ２０への書き込み、ロボットコントローラ２０側の情報の取得などが可能である。 The simulation data storage unit 110 stores a group of data used by the simulator 11 for the simulation. The simulation data may include, for example, a three-dimensional model of the robot and its peripheral elements, a control program for the robot controller, and various condition settings for executing the simulation. The simulator 11 can communicate with the robot controller 20, and can write a control program to the robot controller 20 and obtain information from the robot controller 20.

表示装置１２は、情報を表示するためのデバイスであり、例えば、液晶ディスプレイや有機ＥＬディスプレイが用いられる。入力装置１３は、情報を入力するためのデバイスであり、例えば、キーボード、マウス、タッチパネルなどが用いられる。表示装置１２と入力装置１３を兼ねるタッチパネルディスプレイを用いてもよい。 The display device 12 is a device for displaying information, and may be, for example, a liquid crystal display or an organic EL display. The input device 13 is a device for inputting information, and may be, for example, a keyboard, a mouse, or a touch panel. A touch panel display that serves as both the display device 12 and the input device 13 may be used.

シミュレーションシステム１は、例えば、プロセッサ、メモリ、ストレージなどを備えるパーソナルコンピュータにより構成してもよい。その場合は、プロセッサが、ストレージに格納されているプログラムをメモリにロードし、プログラムを実行することによって、図２に示す各部の機能が提供される。なお、この構成に限られず、図２の機能のうちの一部または全部をＡＳＩＣやＦＰＧＡなどで構成してもよいし、クラウドコンピューティングや分散コンピューティングによって実現してもよい。 The simulation system 1 may be configured, for example, by a personal computer equipped with a processor, memory, storage, etc. In this case, the processor loads a program stored in the storage into the memory and executes the program to provide the functions of each part shown in FIG. 2. Note that the configuration is not limited to this, and some or all of the functions in FIG. 2 may be configured with an ASIC or FPGA, or may be realized by cloud computing or distributed computing.

＜３次元センサ＞
３次元センサ３１は、３次元空間情報を測定する装置である。作業エリア内に存在する物体の３次元的な形状・位置・大きさを測定することができれば、どのような種類のセンサを用いてもよい。アクティブ方式、パッシブ方式のいずれの方式でもよいし、ＴＯＦカメラ、ステレオカメラ、構造化照明、ＬｉＤＡＲなどどのような原理を用いてもよい。本実施形態では、赤外光を用いて、光の飛行時間（Time of Flight：ＴＯＦ）から距離画像を取得するＴＯＦセンサ（ＴＯＦカメラ）を用いる。なお、ＴＯＦ方式には直接型（ダイレクト型）と間接型（インダイレクト型）があり、どちらを用いてもよいが、本実施形態では間接型、すなわち投影光と反射光の位相差に基づいて距離情報を得るタイプのＴＯＦセンサを用いる。 <3D sensor>
The three-dimensional sensor 31 is a device for measuring three-dimensional spatial information. Any type of sensor may be used as long as it can measure the three-dimensional shape, position, and size of an object present in the work area. Any type of active or passive sensor may be used, and any principle such as a TOF camera, a stereo camera, structured illumination, or LiDAR may be used. In this embodiment, a TOF sensor (TOF camera) is used that uses infrared light to obtain a distance image from the time of flight (TOF) of light. Note that there are direct and indirect TOF methods, and either type may be used. In this embodiment, an indirect TOF sensor is used, that is, a type that obtains distance information based on the phase difference between projected light and reflected light.

図１および図２では、ロボット２１の作業エリアに設置された監視システム３０の３次元センサ３１を利用している。その理由は、既存設備である監視システム３０の３次元センサ３１を流用することにより、安全検証装置１０のための専用の３次元センサを用意する必要がなくなるため、コストの低減と利便性の向上を図ることができるからである。また、監視システム３０の３次元センサ３１は、ロボット２１の作業エリアを測定可能な最適な位置に固定されているものであるから、安全検証（仮想環境情報との比較）のために必要十分な範囲のセンサデータを確実に得られる。しかも、監視システム３０の３次元センサ３１であれば、その設置位置（作業エリアやロボット２１に対する相対的な位置関係）が既知であるため、後述する仮想環境情報との座標合わせが行い易いという利点もある。 1 and 2, a three-dimensional sensor 31 of a monitoring system 30 installed in the working area of the robot 21 is used. The reason for this is that by utilizing the three-dimensional sensor 31 of the monitoring system 30, which is an existing facility, there is no need to prepare a dedicated three-dimensional sensor for the safety verification device 10, which reduces costs and improves convenience. In addition, the three-dimensional sensor 31 of the monitoring system 30 is fixed at an optimal position where the working area of the robot 21 can be measured, so sensor data of a necessary and sufficient range for safety verification (comparison with virtual environment information) can be reliably obtained. Moreover, the three-dimensional sensor 31 of the monitoring system 30 has an advantage that its installation position (relative positional relationship to the working area and the robot 21) is known, making it easy to align the coordinates with the virtual environment information described below.

なお、本実施形態では、監視システム３０の３次元センサ３１を流用したが、もちろん、監視システム３０とは関係ない３次元センサを利用したり、固定されていない３次元センサを利用したりしてもかまわない。例えば、移動しながら測定するタイプの３次元センサ、あるいは、異なる位置に設置された複数の３次元センサを利用して、作業エリアを複数の異なる視点から測定し、それらの測定結果を統合して３次元空間情報を生成してもよい。図１のような固定の３次元センサ３１では死角（測定できない領域）が生じることが避け得ないが、複数の視点からの測定結果を統合することで高精度かつ高信頼の３次元空間情報が得られると期待できる。 In this embodiment, the 3D sensor 31 of the monitoring system 30 is used, but of course, a 3D sensor unrelated to the monitoring system 30 or a non-fixed 3D sensor may be used. For example, a 3D sensor that measures while moving, or multiple 3D sensors installed in different locations may be used to measure the work area from multiple different viewpoints, and these measurement results may be integrated to generate 3D spatial information. With a fixed 3D sensor 31 as in FIG. 1, blind spots (areas that cannot be measured) are unavoidable, but it is expected that highly accurate and reliable 3D spatial information can be obtained by integrating measurement results from multiple viewpoints.

＜安全検証方法＞
図３に沿って、本実施形態の安全検証方法の一例を説明する。図３は、安全検証装置による処理の流れを示すフローチャートである。この安全検証は、シミュレーションで用いた仮想環境と工場における実環境とを比較し、仮想環境と実環境の間に相違がないかをチェックすることにより、シミュレーション時（ティーチング時）に設計した安全性が現場でも担保できているかを検証するプロセスである。したがって、図３の処理が行われる前に、（１）シミュレータ１１によるシミュレーションが実施され、その時に用いたシミュレーションデータがシミュレーション記憶部１１０に格納されており、かつ、（２）ロボットおよびその周辺要素などの設備が工場に設置されている、ことが前提となる。 <Safety verification method>
An example of the safety verification method of this embodiment will be described with reference to Fig. 3. Fig. 3 is a flowchart showing the flow of processing by the safety verification device. This safety verification is a process of comparing the virtual environment used in the simulation with the actual environment in the factory and checking whether there is any difference between the virtual environment and the actual environment, thereby verifying whether the safety designed at the time of simulation (teaching) is guaranteed at the site. Therefore, before the processing of Fig. 3 is performed, it is assumed that (1) a simulation is performed by the simulator 11, the simulation data used at that time is stored in the simulation storage unit 110, and (2) equipment such as a robot and its peripheral elements is installed in the factory.

ステップＳ１００において、実環境情報取得部１００が、監視システム３０から、工場の作業エリアの３次元空間情報を取得する。このとき、実環境情報取得部１００は、監視
システム３０からオンラインで直接的にデータを受信してもよいし、オフラインまたは間接的に３次元空間情報のデータを読み込んでもよい。 In step S100, the real environment information acquisition unit 100 acquires three-dimensional spatial information of the work area of the factory from the monitoring system 30. At this time, the real environment information acquisition unit 100 may receive data directly online from the monitoring system 30, or may read the three-dimensional spatial information data offline or indirectly.

ステップＳ１０１において、仮想環境情報取得部１０１が、シミュレータ１１から、シミュレーションに用いられた３次元モデルを取得する。 In step S101, the virtual environment information acquisition unit 101 acquires the three-dimensional model used in the simulation from the simulator 11.

ステップＳ１０２において、比較部１０２が、ステップＳ１００で取得した３次元空間情報とステップＳ１０１で取得した３次元モデルの間の座標合わせを行う。このとき、比較部１０２は、監視システム３０の３次元センサ３１の位置（より詳しくは視点）を基準にして、座標合わせを行うとよい。３次元センサ３１の測定結果（生データ）は、３次元センサ３１の位置（視点）を基準にした座標系（カメラ座標系とも呼ばれる）で表現されるのが一般的である。一方、３次元センサ３１の位置が既知であれば、その視点に合わせて３次元モデルのビューや座標系を変換することは容易い。したがって、３次元センサ３１の位置を基準にして座標合わせを行うことにより、簡単な処理で、３次元空間と３次元モデルの座標を精度良く一致させることができる。 In step S102, the comparison unit 102 performs coordinate alignment between the three-dimensional space information acquired in step S100 and the three-dimensional model acquired in step S101. At this time, the comparison unit 102 may perform coordinate alignment based on the position (more specifically, the viewpoint) of the three-dimensional sensor 31 of the monitoring system 30. The measurement results (raw data) of the three-dimensional sensor 31 are generally expressed in a coordinate system (also called a camera coordinate system) based on the position (viewpoint) of the three-dimensional sensor 31. On the other hand, if the position of the three-dimensional sensor 31 is known, it is easy to convert the view and coordinate system of the three-dimensional model to match the viewpoint. Therefore, by performing coordinate alignment based on the position of the three-dimensional sensor 31, the coordinates of the three-dimensional space and the three-dimensional model can be accurately matched with simple processing.

ステップＳ１０３において、比較部１０２が、３次元空間情報と３次元モデルを比較する。３次元空間情報は例えば点群データで与えられ、３次元モデルは例えばＣＡＤデータのようないわゆるベクタデータで与えられる。両者のデータ形式は異なるものの、実環境が仮想環境と完全に一致していれば、３次元空間情報において、３次元モデルと同じ位置・形状・大きさの点群クラスタが形成されているはずである。したがって、シミュレーションの際に仮想空間内に配置されていたロボットや周辺要素と、実質的に同じ形状・大きさの物体が実際の作業エリア内の同じような位置に存在するか否か、という程度の比較・判定は可能である。 In step S103, the comparison unit 102 compares the three-dimensional space information with the three-dimensional model. The three-dimensional space information is given, for example, as point cloud data, and the three-dimensional model is given, for example, as so-called vector data such as CAD data. Although the data formats of the two are different, if the real environment completely matches the virtual environment, a point cloud cluster with the same position, shape, and size as the three-dimensional model should be formed in the three-dimensional space information. Therefore, it is possible to compare and determine to the extent of whether or not an object with substantially the same shape and size as the robot and peripheral elements placed in the virtual space during the simulation exists in a similar position in the actual work area.

判定結果は、次の３種類がある。なお、比較部１０２は、下記の（１）～（３）の判定結果を、例えば、３次元モデルごとや点群クラスタごとに出力するとよい。 There are three types of judgment results: The comparison unit 102 may output the judgment results (1) to (3) below, for example, for each 3D model or each point cloud cluster.

（１）３次元モデルと同じ物体が３次元空間情報にも存在する。この場合は、実環境が仮想環境と一致しているということが確認できたことになる。 (1) The same object as in the 3D model also exists in the 3D space information. In this case, it can be confirmed that the real environment matches the virtual environment.

（２）３次元モデルと同じ物体が３次元空間情報に存在しない。この場合は、シミュレーションのときに存在していた物体が実環境には無い、ということになる。もし、該当する物体が柵や防護板のような安全対策のための設備であった場合、この判定結果はクリティカルな問題となる。 (2) An object identical to the 3D model does not exist in the 3D spatial information. In this case, the object that existed during the simulation does not exist in the real environment. If the object in question is a safety facility such as a fence or protective plate, this judgment result becomes a critical issue.

（３）３次元モデルには存在しない物体が３次元空間情報に含まれる。この場合は、シミュレーションのときには想定していなかった物体が実環境に存在する、ということになる。例えば、ロボット自体の形状が相違していたり、ロボットの動線上に物体がはみ出ているような場合には、意図しない干渉（衝突）が生じるおそれがあるため、この判定結果もクリティカルな問題となる可能性がある。 (3) An object that does not exist in the 3D model is included in the 3D spatial information. In this case, an object that was not considered during the simulation exists in the real environment. For example, if the shape of the robot itself is different, or if an object protrudes into the robot's path of movement, there is a risk of unintended interference (collision), so this judgment result can also be a critical issue.

ステップＳ１０４において、出力部１０３が、比較部１０２による比較結果および判定結果を出力する。ユーザは、出力部１０３の出力内容をみて、実環境と仮想環境の間に相違があるかどうか、また相違がある場合にはそれがクリティカルな問題であるかどうかを判断することができる。そして、必要に応じて、実環境に欠けていた安全対策を補充したり、干渉する可能性のある物体を排除するなどの、改善を実施すればよい。 In step S104, the output unit 103 outputs the comparison result and the judgment result obtained by the comparison unit 102. The user can look at the output contents of the output unit 103 to determine whether there is a difference between the real environment and the virtual environment, and if there is a difference, whether it is a critical problem. Then, if necessary, improvements can be made, such as adding safety measures that were missing in the real environment or removing objects that may cause interference.

＜結果出力例＞
図４に、シミュレーション（仮想環境）と工場内の作業エリア（実環境）の一例を示す
。仮想環境では、作業台４０ｖの上にロボット２１ｖとワーク４１ｖが配置され、作業台４０ｖの左側には安全柵４４ｖが設けられている。符号３１ｖは３次元センサを示している。一方、実環境では、作業台４０の上にロボット２１とワーク４１が配置され、この点は仮想環境と同じである。しかし、ロボット２１の手前に工具４２が配置されている点、および、作業台４０の左側に安全柵が設けられていない点が、仮想環境と相違する。 <Example of result output>
4 shows an example of a simulation (virtual environment) and a work area (real environment) in a factory. In the virtual environment, a robot 21v and a workpiece 41v are placed on a workbench 40v, and a safety fence 44v is provided on the left side of the workbench 40v. Reference numeral 31v denotes a three-dimensional sensor. Meanwhile, in the real environment, the robot 21 and the workpiece 41 are placed on the workbench 40, which is the same as the virtual environment. However, it differs from the virtual environment in that a tool 42 is placed in front of the robot 21 and that no safety fence is provided on the left side of the workbench 40.

図５は、表示装置１２に表示される比較画面の例である。画面の左側がシミュレーションデータ（３次元モデル）の表示であり、右側がセンサデータ（３次元空間情報）の表示である。このように２種類のデータを視点を揃えたビューで表示することで、シミュレーションの仮想空間と実際の作業エリアの間の一致／相違を、容易かつ視覚的に確認することができる。 Figure 5 is an example of a comparison screen displayed on the display device 12. The left side of the screen displays simulation data (three-dimensional model), and the right side displays sensor data (three-dimensional spatial information). By displaying two types of data in this way with an aligned viewpoint, it is possible to easily and visually confirm the correspondence/difference between the virtual space of the simulation and the actual work area.

そして、シミュレーションデータの画面では、安全柵４４ｖの部分が強調表示されている。ここは判定結果（２）に該当する相違部分である。他方、センサデータの画面では、工具４２の部分が強調表示されている。ここは判定結果（３）に該当する相違部分である。このように、相違部分を他の部分とは識別可能な態様で表示することにより、シミュレーションで想定していた形状・配置と実際の形状・配置との相違を、容易かつ直観的に把握することができる。 The safety fence 44v is highlighted on the simulation data screen. This is the difference that corresponds to judgment result (2). On the other hand, the tool 42 is highlighted on the sensor data screen. This is the difference that corresponds to judgment result (3). By displaying the difference in this way in a manner that makes it distinguishable from other parts, the difference between the shape and layout assumed in the simulation and the actual shape and layout can be easily and intuitively grasped.

図６は、比較画面の別の例である。図５の比較画面では３次元モデルと３次元空間情報を並べて表示したが、図６の比較画面では、３次元モデルと３次元空間情報を重畳表示する。このような表示により、シミュレーションで想定していた形状・配置と実際の形状・配置との比較がさらに容易になる。また、図６の比較画面では、判定結果（２）に該当する相違部分（第１の相違部分）と判定結果（３）に該当する相違部分（第２の相違部分）とを互いに異なる態様で表示している。判定結果（２）の場合と（３）の場合とでは採るべき対応が異なり得るため、このように両者を区別して通知すると、ユーザにとっての利便性が向上する。 Figure 6 is another example of a comparison screen. Whereas the comparison screen in Figure 5 displays the 3D model and the 3D space information side by side, the comparison screen in Figure 6 displays the 3D model and the 3D space information superimposed on each other. This type of display makes it easier to compare the shape and arrangement assumed in the simulation with the actual shape and arrangement. Furthermore, the comparison screen in Figure 6 displays the difference part corresponding to judgment result (2) (first difference part) and the difference part corresponding to judgment result (3) (second difference part) in different ways. Since the measures to be taken may differ between judgment results (2) and (3), notifying them in this way improves convenience for the user.

＜シミュレーションデータの更新＞
判定結果（３）が得られた場合には、シミュレーションデータ更新部１０４は、３次元空間情報（センサデータ）に合わせて３次元モデルを更新してもよい。この更新処理は、例えば、図３のステップＳ１０３の後に実行される。 <Simulation data update>
When the determination result (3) is obtained, the simulation data update unit 104 may update the three-dimensional model in accordance with the three-dimensional space information (sensor data). This update process is executed, for example, after step S103 in FIG.

図５および図６に示した例の場合であれば、シミュレーションデータ更新部１０４は、実環境に存在する工具４２に相当する３次元モデルを生成し、シミュレーションデータに追加すればよい。そして、シミュレータ１１が、更新されたシミュレーションデータを用いて再シミュレーションを実施することにより、ロボット２１と工具４２とが干渉するか否かをチェックすることができる。 In the case of the example shown in FIG. 5 and FIG. 6, the simulation data update unit 104 generates a three-dimensional model corresponding to the tool 42 existing in the real environment and adds it to the simulation data. The simulator 11 then performs a re-simulation using the updated simulation data, thereby checking whether or not the robot 21 and the tool 42 interfere with each other.

＜３次元空間情報の補正＞
３次元空間情報は、３次元センサ３１の測定結果から生成されるものであるため、測定誤差を含むことは避けられない。また、３次元センサ３１の視野外や死角に存在する物体については、そもそも測定結果が得られない。したがって、比較処理（図３のステップＳ１０２）の前に、３次元空間情報の誤差データや欠損データをマニュアルで補正してもよい。これによりステップＳ１０２の比較処理の精度や信頼性を向上することが可能になる。 <Correction of 3D spatial information>
Since the three-dimensional spatial information is generated from the measurement results of the three-dimensional sensor 31, it is inevitable that the information will contain measurement errors. Furthermore, no measurement results can be obtained for objects that are outside the field of view or in the blind spot of the three-dimensional sensor 31. Therefore, before the comparison process (step S102 in FIG. 3), error data and missing data in the three-dimensional spatial information may be manually corrected. This makes it possible to improve the accuracy and reliability of the comparison process in step S102.

図７は、比較部１０２が提供する、３次元空間情報の補正用ユーザインターフェイスの例である。画面上に３次元空間情報（点群データ）と３次元モデル（破線）が重畳表示されている。ユーザがマウスポインタを操作して、領域を選択し「削除」ボタンを押すと、
当該領域内の点群が削除される。また、領域を選択し「追加」ボタンを押すと、当該領域内の点群が補完される。このようなマニュアル補正を行うことにより、図７下段に示すような整った３次元空間情報を得ることができる。 7 shows an example of a user interface for correcting three-dimensional space information provided by the comparison unit 102. Three-dimensional space information (point cloud data) and a three-dimensional model (dashed line) are superimposed on the screen. When the user operates the mouse pointer to select an area and presses the "Delete" button,
The point cloud within the selected area is deleted. Also, if you select an area and press the "Add" button, the point cloud within the selected area is complemented. By performing such manual correction, it is possible to obtain well-organized 3D space information as shown in the lower part of Figure 7.

＜変形例＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、図５～図６に示した比較画面及び強調表示はあくまで一例であり、目的が達成できるのであればどのような形式で表示を行ってもよい。また、上記実施形態では、安全検証装置とシミュレータが同じシステム内に設けられていたが、安全検証装置とシミュレータは別の装置でも構わない。あるいは、安全検証装置と監視システムが同じシステム内に設けられていてもよい。 <Modification>
The above embodiment merely exemplifies an example of the configuration of the present invention. The present invention is not limited to the above specific embodiment, and various modifications are possible within the scope of the technical concept. For example, the comparison screen and highlighting shown in FIG. 5 and FIG. 6 are merely examples, and any display format may be used as long as the purpose can be achieved. In addition, in the above embodiment, the safety verification device and the simulator are provided in the same system, but the safety verification device and the simulator may be separate devices. Alternatively, the safety verification device and the monitoring system may be provided in the same system.

＜付記＞
〔１〕ロボット（２１）の作業エリアを表す３次元空間情報を取得する実環境情報取得手段（１０）と、
前記ロボットおよびその周辺要素それぞれを配置した仮想空間の３次元モデル（２１ｖ、４０ｖ、４１ｖ、４４ｖ）を取得する仮想環境情報取得手段と、
取得した前記３次元モデル（２１ｖ、４０ｖ、４１ｖ、４４ｖ）と前記作業エリアの前記３次元空間情報とを用いて、シミュレーションの仮想空間と実際の作業エリアの間で、前記ロボット（２１）または前記周辺要素（４０、４１、４２）の少なくともいずれか一方の構成を比較する比較手段（１０２）と、
前記比較手段（１０２）による比較結果を出力する出力手段（１０３）と、
を有することを特徴とする安全検証装置（１０）。 <Additional Notes>
[1] A real environment information acquisition means (10) for acquiring three-dimensional space information representing a working area of a robot (21);
a virtual environment information acquisition means for acquiring a three-dimensional model (21v, 40v, 41v, 44v) of a virtual space in which the robot and its peripheral elements are arranged;
a comparison means (102) for comparing the configuration of at least one of the robot (21) and the peripheral elements (40, 41, 42) between a virtual space of a simulation and an actual work area using the acquired three-dimensional model (21v, 40v, 41v, 44v) and the three-dimensional space information of the work area;
an output means (103) for outputting a comparison result by the comparison means (102);
A safety verification device (10) comprising:

〔２〕ロボットの作業エリアを表す３次元空間情報を取得するステップ（Ｓ１００）と、
前記ロボットおよびその周辺要素それぞれのを配置した仮想空間の３次元モデルを取得するステップ（Ｓ１０１）と、
取得した前記３次元モデルと前記作業エリアの前記３次元空間情報とを用いて、シミュレーションの仮想空間と実際の作業エリアの間で、前記ロボットまたは前記周辺要素の少なくともいずれか一方の構成を比較するステップ（Ｓ１０２）と、
前記比較するステップの結果を出力するステップ（Ｓ１０３）と、
を有することを特徴とする安全検証方法。 [2] A step (S100) of acquiring three-dimensional space information representing a working area of the robot;
A step (S101) of acquiring a three-dimensional model of a virtual space in which the robot and its peripheral elements are arranged;
A step (S102) of comparing the configuration of at least one of the robot and the peripheral elements between a virtual space of a simulation and an actual work area using the acquired three-dimensional model and the three-dimensional spatial information of the work area;
A step of outputting a result of the comparing step (S103);
A safety verification method comprising the steps of:

〔３〕ロボット（２１）の作業エリアを３次元センサ（３１）によって測定することにより得られた、前記作業エリアの３次元空間情報を取得する実環境情報取得手段（１００）と、
前記ロボットおよびその周辺要素それぞれの３次元モデル（２１ｖ、４０ｖ、４１ｖ、４４ｖ）を仮想空間上に配置し前記ロボット（２１ｖ）の動作を前記仮想空間上でシミュレーションするシミュレータ（１１）から、シミュレーションに用いられる３次元モデル（２１ｖ、４０ｖ、４１ｖ、４４ｖ）を取得する仮想環境情報取得手段（１０１）と、
取得した前記３次元モデル（２１ｖ、４０ｖ、４１ｖ、４４ｖ）と前記作業エリアの前記３次元空間情報とを比較し、シミュレーションの仮想空間と実際の作業エリアの間で、前記ロボット（２１）および／または前記周辺要素（４０、４１、４２）の構成が相違するか否か判定する比較手段（１０２）と、
シミュレーションの仮想空間と実際の作業エリアの間で、前記ロボットおよび／または前記周辺要素の構成に相違が存在した場合に通知を出力する出力手段（１０３）と、
を有することを特徴とする安全検証装置（１０）。 [3] a real environment information acquisition means (100) for acquiring three-dimensional spatial information of a working area of a robot (21) obtained by measuring the working area of the robot (21) using a three-dimensional sensor (31);
a virtual environment information acquisition means (101) for acquiring a three-dimensional model (21v, 40v, 41v, 44v) used in a simulation from a simulator (11) which places a three-dimensional model (21v, 40v, 41v, 44v) of each of the robot and its peripheral elements in a virtual space and simulates the operation of the robot (21v) in the virtual space;
a comparison means (102) for comparing the acquired three-dimensional model (21v, 40v, 41v, 44v) with the three-dimensional space information of the work area and determining whether or not there is a difference in configuration of the robot (21) and/or the peripheral elements (40, 41, 42) between the virtual space of the simulation and the actual work area;
an output means (103) for outputting a notification when there is a difference in the configuration of the robot and/or the peripheral elements between the virtual space of the simulation and the actual working area;
A safety verification device (10) comprising:

〔４〕ロボットの作業エリアを３次元センサによって測定することにより得られた、前記作業エリアの３次元空間情報を取得するステップ（Ｓ１００）と、
前記ロボットおよびその周辺要素それぞれの３次元モデルを仮想空間上に配置し前記ロボットの動作を前記仮想空間上でシミュレーションするシミュレータから、シミュレーションに用いられる３次元モデルを取得するステップ（Ｓ１０１）と、
取得した前記３次元モデルと前記作業エリアの前記３次元空間情報とを比較し、シミュレーションの仮想空間と実際の作業エリアの間で、前記ロボットおよび／または前記周辺要素の構成が相違するか否か判定するステップ（Ｓ１０２）と、
シミュレーションの仮想空間と実際の作業エリアの間で、前記ロボットおよび／または前記周辺要素の構成に相違が存在した場合に通知を出力するステップ（Ｓ１０３）と、
を有することを特徴とする安全検証方法。 [4] A step (S100) of acquiring three-dimensional spatial information of a work area of a robot obtained by measuring the work area of the robot using a three-dimensional sensor;
A step (S101) of acquiring a three-dimensional model to be used in a simulation from a simulator that places three-dimensional models of the robot and its peripheral elements in a virtual space and simulates the operation of the robot in the virtual space;
a step (S102) of comparing the acquired three-dimensional model with the three-dimensional space information of the work area and determining whether or not there is a difference in configuration of the robot and/or the peripheral elements between the virtual space of the simulation and the actual work area;
outputting a notification when there is a difference in the configuration of the robot and/or the peripheral elements between the virtual space of the simulation and the actual working area (S103);
A safety verification method comprising the steps of:

１：シミュレーションシステム
１０：安全検証装置
１１：シミュレータ
１２：表示装置
１３：入力装置
２０：ロボットコントローラ
２１：ロボット
２１ｖ：ロボットの３次元モデル
３０：監視システム
３１：３次元センサ
３１ｖ：３次元センサの３次元モデル
４０：作業台
４０ｖ：作業台の３次元モデル
４１：ワーク
４１ｖ：ワークの３次元モデル
４２：工具
４４ｖ：安全柵の３次元モデル 1: Simulation system 10: Safety verification device 11: Simulator 12: Display device 13: Input device 20: Robot controller 21: Robot 21v: 3D model of robot 30: Monitoring system 31: 3D sensor 31v: 3D model of 3D sensor 40: Workbench 40v: 3D model of workbench 41: Work 41v: 3D model of work 42: Tool 44v: 3D model of safety fence

Claims

A real environment information acquisition means for acquiring three-dimensional space information representing a working area of the robot;
a virtual environment information acquisition means for acquiring a three-dimensional model of a virtual space in which the robot and its peripheral elements are arranged;
a comparison means for comparing a configuration of at least one of the robot and the peripheral elements between a virtual space of a simulation and an actual work area using the acquired three-dimensional model and the three-dimensional spatial information of the work area;
an output means for outputting a comparison result by the comparison means;
having
The output means outputs a comparison screen on a display device, the comparison screen displaying the three-dimensional model and the three-dimensional spatial information of the work area in a superimposed manner.
A safety verification device characterized by:

A real environment information acquisition means for acquiring three-dimensional space information representing a working area of the robot;
a virtual environment information acquisition means for acquiring a three-dimensional model of a virtual space in which the robot and its peripheral elements are arranged;
a comparison means for comparing a configuration of at least one of the robot and the peripheral elements between a virtual space of a simulation and an actual work area using the acquired three-dimensional model and the three-dimensional spatial information of the work area;
an output means for outputting a comparison result by the comparison means;
having
The safety verification device is characterized in that the output means outputs to a display device a comparison screen that displays differences between the three-dimensional model and the three- dimensional spatial information of the work area in a manner that makes them distinguishable from other parts.

A real environment information acquisition means for acquiring three-dimensional space information representing a working area of the robot;
a virtual environment information acquisition means for acquiring a three-dimensional model of a virtual space in which the robot and its peripheral elements are arranged;
a comparison means for comparing a configuration of at least one of the robot and the peripheral elements between a virtual space of a simulation and an actual work area using the acquired three-dimensional model and the three-dimensional spatial information of the work area;
an output means for outputting a comparison result by the comparison means;
having
The output means outputs to a display device a comparison screen that displays a first difference part that exists in the three-dimensional model but does not exist in the three-dimensional spatial information of the work area, and a second difference part that does not exist in the three-dimensional model but exists in the three-dimensional spatial information of the work area , in different manners .

A real environment information acquisition means for acquiring three-dimensional space information representing a working area of the robot;
a virtual environment information acquisition means for acquiring a three-dimensional model of a virtual space in which the robot and its peripheral elements are arranged;
a comparison means for comparing a configuration of at least one of the robot and the peripheral elements between a virtual space of a simulation and an actual work area using the acquired three-dimensional model and the three-dimensional spatial information of the work area;
an output means for outputting a comparison result by the comparison means;
having
a monitoring system having a three-dimensional sensor is provided to monitor the working area of the robot;
The safety verification device is characterized in that the actual environment information acquisition means acquires three-dimensional spatial information of the work area from the monitoring system.

5. The safety verification device according to claim 4 , wherein the comparison means performs coordinate alignment between the three-dimensional model and the three-dimensional spatial information of the work area based on the position of the three-dimensional sensor of the surveillance system.

A real environment information acquisition means for acquiring three-dimensional space information representing a working area of the robot;
a virtual environment information acquisition means for acquiring a three-dimensional model of a virtual space in which the robot and its peripheral elements are arranged;
a comparison means for comparing a configuration of at least one of the robot and the peripheral elements between a virtual space of a simulation and an actual work area using the acquired three-dimensional model and the three-dimensional spatial information of the work area;
an output means for outputting a comparison result by the comparison means;
having
The safety verification device according to claim 1, wherein the comparison means has a user interface for correcting the three-dimensional spatial information of the work area before comparing with the three-dimensional model.

The present invention further includes an updating means for updating the three-dimensional model in accordance with the three-dimensional space information in order to perform a simulation that reflects an actual work area.
7. The safety verification device according to claim 1, wherein the safety verification device is a device for verifying a safety of a vehicle.

acquiring three-dimensional spatial information representative of a working area of the robot;
obtaining a three-dimensional model of a virtual space in which the robot and its peripheral elements are arranged ;
comparing a configuration of at least one of the robot and the peripheral elements between a virtual space of a simulation and an actual working area using the obtained three-dimensional model and the three-dimensional spatial information of the working area;
outputting a result of the comparing step;
having
A safety verification method, comprising : in the outputting step, outputting to a display device a comparison screen in which the three-dimensional model and the three-dimensional spatial information of the work area are superimposed .

acquiring three-dimensional spatial information representative of a working area of the robot;
obtaining a three-dimensional model of a virtual space in which the robot and its peripheral elements are arranged;
comparing a configuration of at least one of the robot and the peripheral elements between a virtual space of a simulation and an actual working area using the obtained three-dimensional model and the three-dimensional spatial information of the working area;
outputting a result of the comparing step;
having
A safety verification method characterized in that, in the outputting step, a comparison screen is output to a display device, which displays differences between the three-dimensional model and the three-dimensional spatial information of the work area in a manner that makes them distinguishable from other parts.

acquiring three-dimensional spatial information representative of a working area of the robot;
obtaining a three-dimensional model of a virtual space in which the robot and its peripheral elements are arranged;
comparing a configuration of at least one of the robot and the peripheral elements between a virtual space of a simulation and an actual working area using the obtained three-dimensional model and the three-dimensional spatial information of the working area;
outputting a result of the comparing step;
having
a comparison screen that displays a first difference part that exists in the three-dimensional model but does not exist in the three-dimensional spatial information of the work area and a second difference part that does not exist in the three-dimensional model but exists in the three-dimensional spatial information of the work area in different manners, on a display device, in the output step.

acquiring three-dimensional spatial information representing a working area of the robot from a monitoring system having a three-dimensional sensor installed to monitor the working area of the robot;
obtaining a three-dimensional model of a virtual space in which the robot and its peripheral elements are arranged;
comparing a configuration of at least one of the robot and the peripheral elements between a virtual space of a simulation and an actual working area using the obtained three-dimensional model and the three-dimensional spatial information of the working area;
outputting a result of the comparing step;
A safety verification method comprising the steps of:

acquiring three-dimensional spatial information representative of a working area of the robot;
obtaining a three-dimensional model of a virtual space in which the robot and its peripheral elements are arranged;
correcting the three-dimensional spatial information of the work area;
comparing a configuration of at least one of the robot and the peripheral elements between a virtual space of a simulation and an actual working area using the acquired three-dimensional model and the corrected three-dimensional space information;
outputting a result of the comparing step;
A safety verification method comprising the steps of:

A program for causing a computer to execute each step of the safety verification method according to any one of claims 8 to 12 .