Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7790868B2 - Systems, integrated management devices, edge devices - Google Patents
[go: Go Back, main page]

JP7790868B2 - Systems, integrated management devices, edge devices - Google Patents

Systems, integrated management devices, edge devices

Info

Publication number
JP7790868B2
JP7790868B2 JP2021008444A JP2021008444A JP7790868B2 JP 7790868 B2 JP7790868 B2 JP 7790868B2 JP 2021008444 A JP2021008444 A JP 2021008444A JP 2021008444 A JP2021008444 A JP 2021008444A JP 7790868 B2 JP7790868 B2 JP 7790868B2
Authority
JP
Japan
Prior art keywords
trained model
edge device
integrated management
edge
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021008444A
Other languages
Japanese (ja)
Other versions
JP2021152878A (en
JP2021152878A5 (en
Inventor
俊紀 坪井
悠太 岡部
武 大屋
悟 新谷
昌史 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to EP21161099.3A priority Critical patent/EP3886428A1/en
Priority to US17/207,112 priority patent/US12035041B2/en
Priority to CN202110311081.7A priority patent/CN113448683B/en
Publication of JP2021152878A publication Critical patent/JP2021152878A/en
Publication of JP2021152878A5 publication Critical patent/JP2021152878A5/ja
Application granted granted Critical
Publication of JP7790868B2 publication Critical patent/JP7790868B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、統合管理装置、及び統合装置を備えるシステムに関する。 The present invention relates to an integrated management device and a system equipped with an integrated device.

機械学習や深層学習を用いた画像認識、分類処理が様々な技術領域で利用されている。特許文献1には機械学習のアルゴリズムデータ(学習済モデル)をコンテナで管理し、配信するためのレポジトリサービスが記載されている。 Image recognition and classification processing using machine learning and deep learning are used in a variety of technical fields. Patent Document 1 describes a repository service for managing and distributing machine learning algorithm data (trained models) in containers.

米国特許出願公開第2019/0278640号明細書US Patent Application Publication No. 2019/0278640

特許文献1に記載された管理システムでは、機械学習のレポジトリサービスを提供することにより、機械学習の運用を容易にすることを実現している。しかしながら、それぞれが光検出装置を含む1以上のエッジデバイスを用いる場合に、各エッジデバイスで設定されている条件が異なることが想定される。各エッジデバイスで設定されている条件が異なることから、エッジデバイスへの配信を考えると、期待した推論精度が実現できない可能性がある。 The management system described in Patent Document 1 facilitates the operation of machine learning by providing a machine learning repository service. However, when using one or more edge devices, each of which includes a photodetector, it is expected that the conditions set for each edge device will be different. Since the conditions set for each edge device are different, there is a possibility that the expected inference accuracy may not be achieved when distributing data to the edge devices.

本発明は、エッジデバイスでの推論精度を向上する事を目的とする。 The purpose of this invention is to improve inference accuracy on edge devices.

一形態に係るシステムは、1以上のエッジデバイスと、前記エッジデバイスを管理する統合管理装置と、を備え、前記エッジデバイスは光検出装置を含み、前記統合管理装置は、第1学習済モデルと、前記第1学習済モデルの生成に用いた光検出装置の条件を設定する第1条件と、を紐づけて管理しており、前記統合管理装置は、前記第1学習済モデルと、前記第1条件とを前記エッジデバイスに配信可能に構成されている。 In one embodiment, the system includes one or more edge devices and an integrated management device that manages the edge devices, where the edge devices include a photodetector. The integrated management device manages a first trained model in association with first conditions that set conditions for the photodetector used to generate the first trained model, and the integrated management device is configured to distribute the first trained model and the first conditions to the edge devices.

一形態に係るシステムは、2以上のエッジデバイスと、前記2以上のエッジデバイスを管理する統合管理装置と、を備え、前記エッジデバイスは光検出装置を含み、前記統合管理装置は、第1学習済モデルと、前記第1学習済モデルの生成に用いた光検出装置の条件を設定する第1条件と、を紐づけて管理している。 In one embodiment, the system includes two or more edge devices and an integrated management device that manages the two or more edge devices, where the edge devices include a light detection device, and the integrated management device manages a first trained model in association with a first condition that sets the conditions of the light detection device used to generate the first trained model.

一形態に係るエッジデバイスは、光検出装置を含み、前記エッジデバイスには、第1学習済モデルと、前記第1学習済モデルを生成するときに設定された条件と、が配信される。 In one embodiment, the edge device includes a light detection device, and a first trained model and conditions set when generating the first trained model are distributed to the edge device.

本発明によれば、エッジデバイスでの推論精度を向上することができる。 This invention makes it possible to improve inference accuracy on edge devices.

実施形態1のエッジデバイス管理システムを示すブロック図である。1 is a block diagram illustrating an edge device management system according to a first embodiment. 実施形態1と比較例とを示すブロック図である。FIG. 1 is a block diagram illustrating a first embodiment and a comparative example. 実施形態1の動作を示すフロー図である。FIG. 2 is a flowchart showing the operation of the first embodiment. 実施形態1のコンテナの例である。1 is an example of a container according to the first embodiment. 実施形態2のエッジデバイス管理システムを示すブロック図である。FIG. 10 is a block diagram illustrating an edge device management system according to a second embodiment. 実施形態3のエッジデバイス管理システムを示すブロック図である。FIG. 10 is a block diagram illustrating an edge device management system according to a third embodiment. 実施形態4のエッジデバイス管理システムを示すブロック図である。FIG. 10 is a block diagram illustrating an edge device management system according to a fourth embodiment. 実施形態5のアプリケーションを示す概念図である。FIG. 13 is a conceptual diagram showing an application of the fifth embodiment. 実施形態1のコンテナの一例を示す図である。FIG. 2 is a diagram illustrating an example of a container according to the first embodiment. 実施形態1のコンテナの他の例を示す図である。FIG. 10 is a diagram illustrating another example of the container according to the first embodiment. 実施形態1のエッジデバイスへのデプロイフローの一例を示すフロー図である。FIG. 10 is a flow diagram illustrating an example of a deployment flow to an edge device according to the first embodiment.

以下に示す実施形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。なお、各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。以下の説明において、同一の構成については同一の番号を付して説明を省略する。 The embodiments shown below are intended to embody the technical concepts of the present invention and are not intended to limit the scope of the present invention. Note that the size and relative positions of components shown in each drawing may be exaggerated for clarity. In the following description, identical components will be assigned the same numbers and will not be described again.

以下において、説明が共通する場合は、a、b等の添字を省略して説明する。 In the following, when explanations are common, subscripts such as a and b will be omitted.

(実施形態1)
図1乃至図4、図9乃至図11を参照しながら、実施形態1に係るエッジデバイス管理システム(以下「システム」)について説明する。
(Embodiment 1)
An edge device management system (hereinafter referred to as "system") according to a first embodiment will be described with reference to FIGS. 1 to 4 and 9 to 11. FIG.

図1は、システムの基本的な構成を示した図である。システムは、1以上のエッジデバイス300と、統合管理装置200と、を備える。エッジデバイス300と、統合管理装置200と、は、統合管理装置200で管理される学習済モデルをエッジデバイス300にデプロイできるよう接続されている。エッジデバイスと統合管理装置とは物理的に離れた場所に配置されていてもよい。無線通信や有線通信を用いて統合管理装置200からエッジデバイス300に学習済モデル等のデータをデプロイできればよい。例えば、エッジデバイス300が工場に配置されており、統合管理装置200が離れた位置に配された管理センターに配置されていてもよい。また、エッジデバイス300及び統合管理装置200の一方が、ある国に配置されており、他方がある国とは別の国に配置されていてもよい。 Figure 1 shows the basic configuration of the system. The system includes one or more edge devices 300 and an integrated management device 200. The edge devices 300 and the integrated management device 200 are connected so that trained models managed by the integrated management device 200 can be deployed to the edge devices 300. The edge devices and the integrated management device may be located in physically separate locations. It is only necessary that data such as trained models can be deployed from the integrated management device 200 to the edge devices 300 using wireless or wired communication. For example, the edge devices 300 may be located in a factory, and the integrated management device 200 may be located in a management center located in a remote location. Furthermore, one of the edge devices 300 and the integrated management device 200 may be located in one country, and the other in a different country.

システムは、例えば、検査システムとして利用することができる。以下では、システムが、検査システムである場合について説明する。なお、各実施形態に係るシステムは、検査システムのほかにも、種々のシステムに採用することができる。種々のシステムとしては、例えば、画像データに特定のものが存在するか否かを特定する画像認識用のシステムや、配送センターの自動振り分けシステム等が挙げられる。 The system can be used, for example, as an inspection system. The following describes the case where the system is an inspection system. Note that the systems according to each embodiment can be used in various systems in addition to inspection systems. Examples of various systems include an image recognition system that determines whether a specific object is present in image data, and an automatic distribution system for distribution centers.

以下、図1を参照しながら、本実施形態に係るシステムを説明する。 The system according to this embodiment will be explained below with reference to Figure 1.

(エッジデバイス300)
エッジデバイス300は、光検出装置301と、コンピュータ装置302と、を含む。コンピュータ装置302は、少なくとも、入力部、記憶部、及び出力部を含む。コンピュータ装置302の入力部には、統合管理装置200から光検出装置301の制御に関する情報が伝達される。
(Edge device 300)
The edge device 300 includes a light detection device 301 and a computer device 302. The computer device 302 includes at least an input unit, a storage unit, and an output unit. Information related to the control of the light detection device 301 is transmitted from the integrated management device 200 to the input unit of the computer device 302.

光検出装置301としては、例えば、イメージセンサーや、測光センサー、測距センサーを用いることができる。以下では、光検出装置301がイメージセンサーである場合について説明する。 The light detection device 301 can be, for example, an image sensor, a photometric sensor, or a distance sensor. The following describes the case where the light detection device 301 is an image sensor.

コンピュータ装置302は、光検出装置301を制御する。コンピュータ装置302は、さらに、統合管理装置200から配信される学習済モデルを記憶部で記憶することができる。また、コンピュータ装置302は、学習モデルを作成する際の設定条件や得られたデータを記憶部で記憶することができる。図1では、統合管理装置200において、学習済モデルと撮像条件とがコンテナで管理されており、当該コンテナがコンピュータ装置302にデプロイされている。そして、コンテナの情報に基づいて光検出装置301を制御している。コンテナとは、仮想的に構築された「特定アプリケーションの実行環境」を指す。本実施形態において、コンテナとは、光検出装置301の撮像と学習済データの推論とを行うための実行環境である。コンテナを導入することにより、この実行環境を高速かつ簡単に構築することができ、環境管理の負荷を軽減することができる。具体的には、本件のようにコンテナで管理しない場合には、複数のアプリケーションは連結されている。したがって、特定のアプリケーションのアップデートを行うと、別のアプリケーションで不具合が生じる可能性がある。コンテナを導入することで不具体が生じる可能性を低くでき、管理の負荷を低減することができる。なお、以下の形態ではコンテナを利用する場合について説明するが、撮像条件と学習済モデルとを紐づけて管理できればコンテナ以外の方法を用いても構わない。 The computer device 302 controls the light detection device 301. The computer device 302 can further store the trained model distributed from the integrated management device 200 in a memory unit. The computer device 302 can also store the setting conditions used to create the trained model and the obtained data in a memory unit. In FIG. 1, the integrated management device 200 manages the trained model and imaging conditions in a container, and the container is deployed to the computer device 302. The light detection device 301 is then controlled based on the container information. A container refers to a virtually constructed "execution environment for a specific application." In this embodiment, a container is an execution environment for capturing images using the light detection device 301 and inferring trained data. Introducing a container allows this execution environment to be constructed quickly and easily, reducing the burden of environment management. Specifically, when not managed using a container, as in this case, multiple applications are linked. Therefore, updating a specific application may cause problems in other applications. Introducing a container reduces the likelihood of problems occurring and reduces the management burden. Note that the following describes the use of containers, but methods other than containers can be used as long as they allow for linking and managing imaging conditions and trained models.

(統合管理装置200)
統合管理装置200は、1以上のエッジデバイス300を制御する。図1では、統合管理装置200は、2以上のエッジデバイス300を制御するが、1つのエッジデバイス300を制御するものであってもよい。統合管理装置200は、エッジデバイス環境提供部210を少なくとも含む。図1では、統合管理装置200は、学習済モデルデータベース220、撮像条件データベース230、統合管理装置エンドポイント240、学習実行部250をさらに含む。
(Integrated management device 200)
The integrated managing device 200 controls one or more edge devices 300. In FIG. 1 , the integrated managing device 200 controls two or more edge devices 300, but may also control one edge device 300. The integrated managing device 200 includes at least an edge device environment providing unit 210. In FIG. 1 , the integrated managing device 200 further includes a trained model database 220, an imaging condition database 230, an integrated managing device endpoint 240, and a learning execution unit 250.

学習済モデルデータベース220は、第1撮像条件で生成された第1対象物(第1ワーク)の第1学習済モデル、第2撮像条件で生成された第1ワークの第2学習済モデル、のように複数の撮像条件で生成された複数の学習済モデルが管理されている。つまり、同じワークを互いに異なる撮像条件で生成された、第1学習済モデルと第2学習済モデルとを含む。ここで同じワークとは、完全に同一のワークである必要はない。例えば、ワークが製品Aである場合は、複数の製品Aは同じワークに相当するものとする。具体的には、製品Aが赤色のインクタンクである場合は、ワークとして赤色のインクタンクを用い、同じワークとして同種の赤色のインクタンクを用いてもよい。また、学習済モデルデータベース220は、第1撮像条件で生成された第2対象物(第2ワーク)の第3学習済モデルを管理していてもよい。つまり、学習済モデルデータベース220は、同じ対象物を異なる撮像条件で撮像した複数の学習済モデルを含んでいてもよいし、異なる対象物を同じ撮像条件で撮像した複数の学習済モデルを含んでいてもよい。また、異なる対象物を異なる撮像条件で撮像した画像であってもよい。また、両者を含んでいてもよい。 The trained model database 220 manages multiple trained models generated under multiple imaging conditions, such as a first trained model of a first object (first work) generated under first imaging conditions and a second trained model of a first work generated under second imaging conditions. In other words, it includes a first trained model and a second trained model generated for the same work under different imaging conditions. Here, the same work does not necessarily have to be the same work. For example, if the work is product A, multiple product A's correspond to the same work. Specifically, if product A is a red ink tank, a red ink tank may be used as the work, and the same type of red ink tank may be used as the same work. The trained model database 220 may also manage a third trained model of a second object (second work) generated under first imaging conditions. In other words, the trained model database 220 may include multiple trained models obtained by imaging the same object under different imaging conditions, or multiple trained models obtained by imaging different objects under the same imaging conditions. Images of different objects may also be captured under different imaging conditions. It may also contain both.

撮像条件データベース230は、学習済モデルデータベース220に管理される学習済モデルを生成するときの各撮像条件を管理している。そして、統合管理装置200は、学習済モデルと、その学習済モデルを生成するときの撮像条件とを配信可能に構成されている。 The imaging condition database 230 manages the imaging conditions used when generating the trained models managed in the trained model database 220. The integrated management device 200 is configured to be able to distribute the trained models and the imaging conditions used when generating those trained models.

エッジデバイス環境提供部210は、紐づけられた学習済モデルと撮像条件とをエッジデバイス300に配信する。図1では、コンテナ211によって、学習済モデルと撮像条件とが紐づけて管理され、コンテナ211をエッジデバイス300にデプロイしている。つまり、コンテナ211は、学習済モデルと、その学習済モデルを撮像するときの撮像条件とを、結びつけて管理している。例えば、図1において、コンテナ211a~コンテナ211cは、それぞれ同じ撮像条件で撮像されている。撮像条件とは、例えば、露光時間、ゲインである。具体的には、露光時間を1ms、2倍のゲインを撮像条件としてコンテナ211a~211cで管理されている。コンテナ211a~211cは、同じワークの学習済モデルであってもよいし、実施形態2で説明するように異なるワークの学習済モデルであってもよい。撮像条件とは、他にも、ISO感度設定、F値設定、ハイダイナミックレンジの有無、ホワイトバランスの調整等の種々の条件が挙げられる。なお、撮像条件は、統合管理装置が管理するエッジデバイスに含まれる光検出装置の条件であることが好ましいが、これに限られない。例えば、統合管理装置が管理しないエッジデバイスに含まれる光検出装置で得られた画像に基づいて学習済モデルを形成し、このときの撮像条件と学習済モデルとをコンテナで管理してもよい。 The edge device environment providing unit 210 distributes the associated trained model and imaging conditions to the edge device 300. In FIG. 1, the trained model and imaging conditions are associated and managed by the container 211, which is then deployed to the edge device 300. In other words, the container 211 associates and manages the trained model with the imaging conditions used to capture the trained model. For example, in FIG. 1, containers 211a to 211c are each captured under the same imaging conditions. Imaging conditions include, for example, exposure time and gain. Specifically, containers 211a to 211c manage the imaging conditions as an exposure time of 1 ms and a double gain. Containers 211a to 211c may be trained models of the same workpiece, or may be trained models of different workpieces as described in embodiment 2. Other imaging conditions include ISO sensitivity settings, F-number settings, whether or not high dynamic range is enabled, and white balance adjustment. It is preferable that the imaging conditions are the conditions of a photodetector included in an edge device managed by the integrated management device, but this is not limited to this. For example, a trained model may be formed based on images obtained by a photodetector included in an edge device not managed by the integrated management device, and the imaging conditions and trained model at this time may be managed in a container.

コンテナ211は図9に示すように撮像パラメータ307や学習済モデル309と共に、推論アプリケーション308および機械学習ライブラリ310を含んでいてもよい。コンピュータ装置302にコンテナ211がデプロイされる際、エッジデバイス環境取得部311はエッジデバイス300の撮像条件、ファームウェアバージョン、設置情報等を撮像アプリケーション312および撮像ライブラリ313を通じて取得する。そして、コンテナ内の撮像パラメータ307を参照し、整合を確認した上でコンテナ211はデプロイされる。 As shown in FIG. 9, the container 211 may include an inference application 308 and a machine learning library 310 along with imaging parameters 307 and a trained model 309. When the container 211 is deployed to the computer device 302, the edge device environment acquisition unit 311 acquires the imaging conditions, firmware version, installation information, etc. of the edge device 300 through the imaging application 312 and imaging library 313. The imaging parameters 307 in the container are then referenced, and consistency is confirmed before the container 211 is deployed.

この際、不整合が生じた場合でも、図11に示すようなフローでエッジデバイス300の情報を上書きし、使用することもできる。 In this case, even if an inconsistency occurs, the information in the edge device 300 can be overwritten and used using the flow shown in Figure 11.

図11ではデプロイフローの一例を示している。ステップS1でエッジデバイスのコンピュータ装置302に対して、コンテナ211のデプロイが開始される。ステップS2ではエッジデバイス環境取得部311を通じてエッジデバイスの情報を統合管理装置200が取得する。その後、ステップS3でエッジデバイス情報とコンテナ情報の整合性を確認する。これには例えば、撮像デバイスの設置情報やライブラリ、ファームウェアバージョンなどが含まれる。ステップS3で整合が確認された場合、コンテナのデプロイ(ステップS6)に進み、手順を終了する(ステップS7)。ステップS3にて不整合となった場合、エッジデバイスをコンテナに整合するために更新手続きを進めるか確認する(ステップS4)。操作者が同意しない場合は、手順を終了する(ステップS7)。操作者が同意した場合は、エッジデバイスの情報を更新する(ステップS5)。更新の方法としては、電子メディアや通信により自動で行う他、手動による更新を行うことができる。手動での更新を必要とする場合は、操作者にその通知を出して指示を出す方法などが含まれる。エッジデバイスの更新が終了すると、コンテナをエッジデバイスにデプロイし(ステップS6)、終了する(ステップS7)。 Figure 11 shows an example of a deployment flow. In step S1, deployment of the container 211 to the edge device's computer device 302 is initiated. In step S2, the integrated management device 200 acquires edge device information via the edge device environment acquisition unit 311. Then, in step S3, consistency between the edge device information and the container information is confirmed. This information includes, for example, the installation information, library, and firmware version of the imaging device. If consistency is confirmed in step S3, the process proceeds to deploying the container (step S6) and ends the procedure (step S7). If a mismatch is found in step S3, the operator is asked whether to proceed with the update procedure to match the edge device with the container (step S4). If the operator does not agree, the procedure ends (step S7). If the operator agrees, the edge device information is updated (step S5). Updates can be performed automatically via electronic media or communication, or manually. If a manual update is required, the operator can be notified and instructed to do so. When the edge device update is complete, the container is deployed to the edge device (step S6) and the process ends (step S7).

なお、コンテナ211の構成は、図10のように軽量化のために機械学習ライブラリが含まれない構成とすることもできる。つまり、コンテナ211は、推論アプリケーション308と学習済モデル309とを含み、機械学習ライブラリ310はコンテナ211外に配される。この場合、推論アプリケーション308や学習済モデル309と機械学習ライブラリ310の整合が必要になるため、ライブラリパラメータ314を付加する事により解決する。ライブラリパラメータは一般的に、機械学習ライブラリ310に比べて容量が軽い。したがって、コンテナ211が、機械学習ライブラリ310の代わりにライブラリパラメータ314を有していたとしても、機械学習ライブラリ310を有する場合に比べてコンテナ211を軽量化することが可能となる。 Note that the container 211 may also be configured without including a machine learning library to reduce weight, as shown in Figure 10. That is, the container 211 includes the inference application 308 and the trained model 309, and the machine learning library 310 is located outside the container 211. In this case, consistency between the inference application 308 and the trained model 309 and the machine learning library 310 is required, which is resolved by adding library parameters 314. Library parameters generally have a smaller capacity than the machine learning library 310. Therefore, even if the container 211 includes library parameters 314 instead of the machine learning library 310, it is possible to make the container 211 lighter in weight than if it included the machine learning library 310.

なお、エッジデバイスへとコンテナをデプロイするに当たり、コンテナ情報とエッジデバイス情報とで同一のものがなく、不整合である場合は、類似のコンテナ情報や最適なコンテナ情報を選択して配信してもよい。 When deploying a container to an edge device, if there is no identical container information and no inconsistency between the container information and the edge device information, similar container information or the most suitable container information may be selected and distributed.

操作者700が、各エッジデバイス300で検査を行うワークの情報を統合管理装置200の統合管理装置エンドポイント240に入力すると、統合管理装置エンドポイント240からエッジデバイス環境提供部210にワークの情報が伝達される。つまり、操作者700が段取り替えのための情報を統合管理装置200の統合管理装置エンドポイント240に入力する。そして、対象のワークの学習済モデルとその学習済モデルが生成されたときの撮像条件とがエッジデバイス環境提供部210へと送信され、コンテナ211で紐づけて管理される。そして、対象のコンテナ211を対応するエッジデバイス300へと配信する。例えば、エッジデバイス300a、300b、300cで同じワークを検査する場合は、コンテナ211aの情報がコンピュータ装置302a、302b、302cに入力される。なお、コンテナ211aをコンピュータ装置302aに配信し、コンテナ211aと同じ情報を管理するコンテナ211b、211cとを、コンピュータ装置302b、302cにそれぞれ配信してもよい。 When the operator 700 inputs information about the workpiece to be inspected by each edge device 300 into the integrated management device endpoint 240 of the integrated management device 200, the workpiece information is transmitted from the integrated management device endpoint 240 to the edge device environment providing unit 210. In other words, the operator 700 inputs information for changeover into the integrated management device endpoint 240 of the integrated management device 200. Then, the trained model of the target workpiece and the imaging conditions when the trained model was generated are sent to the edge device environment providing unit 210, where they are linked and managed by the container 211. The target container 211 is then distributed to the corresponding edge device 300. For example, if the same workpiece is to be inspected by edge devices 300a, 300b, and 300c, the information about container 211a is input to computers 302a, 302b, and 302c. Alternatively, container 211a may be distributed to computer device 302a, and containers 211b and 211c, which manage the same information as container 211a, may be distributed to computer devices 302b and 302c, respectively.

エッジデバイス300へ検査をしたいワークに対応した学習済モデルを入力するのみでは、学習済モデルを生成したエッジデバイスと検査を行うエッジデバイスとの撮像条件等の設定条件の違いにより正確に検査を行うことができない可能性がある。本実施形態では、統合管理装置200からエッジデバイス300へ、学習済モデルだけではなく、その学習済モデルを撮像するときの撮像条件も入力する。これにより、エッジデバイス300に学習済モデルを配信し、推論を行う際に、学習済モデルの生成と同じ撮像条件で撮像を行うことができ、推論精度を向上させることができる。 Simply inputting a trained model corresponding to the workpiece to be inspected into the edge device 300 may result in inaccurate inspection due to differences in settings such as imaging conditions between the edge device that generated the trained model and the edge device that performs the inspection. In this embodiment, not only the trained model but also the imaging conditions for imaging the trained model are input from the integrated management device 200 to the edge device 300. This allows the trained model to be distributed to the edge device 300, and when inference is performed, imaging can be performed under the same imaging conditions as when the trained model was generated, improving inference accuracy.

図2を用いて本実施形態の効果を説明する。ワークにキズ100があり、ワークの欠陥を検査することを想定している。各図において、ワークが上から下に移動していると想定している。例えば、学習済モデルを生成したエッジデバイス300aにより撮像された図を図2(a)に示す。また、撮像条件が入力されておらず、学習済モデルが入力されたエッジデバイス300bにより撮像された図を図2(b)に示す。さらに、撮像条件が入力されておらず、学習済モデルが入力されたエッジデバイス300cにより撮像された図を図2(c)に示す。また、学習済モデルと撮像条件とが入力されたエッジデバイス300a、300b、300cにより撮像された図を図2(d)、図2(e)、図2(f)にそれぞれ示す。図2(a)は適正な条件で撮像されているため、ワークのキズ100aを検知できる。しかしながら、図2(b)は露光条件が適正ではなくぶれて撮像されているため、キズ100bを正しく検知することができない。また、図2(c)は、ゲインが適正でなく、白飛びして撮像されているため、キズ100cを検知することができない。一方で、図2(d)~図2(f)に示すように、学習済モデルと撮像条件とを入力したエッジデバイスでは、精度よく撮像を行うことができ、キズを正確に検知することができる。 The effects of this embodiment will be explained using Figure 2. Assume that a workpiece has a scratch 100 and is being inspected for defects. In each figure, it is assumed that the workpiece is moving from top to bottom. For example, Figure 2(a) shows an image captured by edge device 300a that generated a trained model. Figure 2(b) shows an image captured by edge device 300b, to which a trained model has been input, but no imaging conditions have been input. Figure 2(c) shows an image captured by edge device 300c, to which a trained model has been input, but no imaging conditions have been input. Figures 2(d), 2(e), and 2(f) show images captured by edge devices 300a, 300b, and 300c, to which a trained model and imaging conditions have been input, respectively. Figure 2(a) was captured under appropriate conditions, so scratch 100a on the workpiece can be detected. However, Figure 2(b) was captured under improper exposure conditions, resulting in blurred images, making it impossible to correctly detect scratch 100b. Furthermore, in Figure 2(c), the gain is inappropriate, resulting in overexposure, making it impossible to detect the scratch 100c. On the other hand, as shown in Figures 2(d) to 2(f), an edge device that has input the trained model and imaging conditions can accurately capture images and detect scratches.

ワークによって最適な条件は異なる。例えば、図1において、学習済モデルが生成されたときの撮像条件が条件Aであり標準の設定の撮像条件が条件Bである場合について説明する。このとき、エッジデバイス300aは、学習済モデルを生成したときの条件Aと学習済モデルとを有するため最適な条件で撮像することができる。一方で、エッジデバイス300bは、条件Bであるため学習済モデルのみが入力されても最適な条件にすることができず、エッジデバイス300aに比べて検査精度が落ちる可能性がある。これに対して、本実施形態では、製品の検査における最適な条件と、ワークの学習済モデルと、を紐づけて管理し、両者をエッジデバイスに入力している。したがって、各エッジデバイスで、エッジデバイス300aと同等の検査精度とすることができる。 Optimal conditions vary depending on the workpiece. For example, in Figure 1, we will explain the case where the imaging conditions when the trained model was generated were condition A and the standard imaging conditions were condition B. In this case, edge device 300a has condition A when the trained model was generated and the trained model, so it can capture images under optimal conditions. On the other hand, edge device 300b is under condition B, so even if only the trained model is input, it cannot achieve optimal conditions, and inspection accuracy may be lower than that of edge device 300a. In contrast, in this embodiment, the optimal conditions for product inspection and the trained model of the workpiece are linked and managed, and both are input to the edge device. Therefore, each edge device can achieve inspection accuracy equivalent to that of edge device 300a.

次に、図1と図3を用いて、エッジデバイス300aで学習した学習済モデルを他のエッジデバイス300b、300cで用いるときの実行フローについて説明する。 Next, using Figures 1 and 3, we will explain the execution flow when a trained model trained by edge device 300a is used by other edge devices 300b and 300c.

図3に示すように、実行フローは、学習フローと、デプロイフローとに分かれる。 As shown in Figure 3, the execution flow is divided into a learning flow and a deployment flow.

まず、学習フローを説明する。エッジデバイス300aの光検出装置301aを用いて第1条件でワークを撮像する(ステップS101)。第1条件とは、例えば、露光時間を1msとし、ゲインを2倍にするものとする。撮像された画像は、統合管理装置200の学習実行部250へと送られる。 First, the learning flow will be explained. The photodetector 301a of the edge device 300a is used to capture an image of a workpiece under first conditions (step S101). The first conditions may be, for example, an exposure time of 1 ms and a gain of 2x. The captured image is sent to the learning execution unit 250 of the integrated management device 200.

送られた画像を用いて学習が実行され、学習済モデルが生成される(ステップS102)。学習済モデルの生成は、機械学習により行うことができる。学習済モデルは、検査時にワークの画像が入力されると、欠陥の有無を判定し、良否を判断して出力する。学習済モデルは、学習済モデルデータベース220へ格納される。そして、第1条件も撮像条件データベース230へ格納される。このとき、学習済モデルデータベース220と、撮像条件データベース230とは、リレーショナルデータベース等で紐づけて、エッジデバイス環境提供部210で管理される(ステップS103)。 Learning is performed using the sent images, and a trained model is generated (step S102). The trained model can be generated using machine learning. When an image of a workpiece is input during inspection, the trained model determines whether there are any defects and outputs a pass/fail decision. The trained model is stored in the trained model database 220. The first conditions are also stored in the imaging condition database 230. At this time, the trained model database 220 and the imaging condition database 230 are linked by a relational database or the like, and managed by the edge device environment providing unit 210 (step S103).

機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどを利用してもよい。またニューラルネットワークを利用して、学習するための特徴量、結合重みづけ係数を自ら生成する深層学習(ディープラーニング)であってもよい。たとえば、深層学習のモデルとして、CNNモデル(Convolutional Neural Network Model)を用いてもよい。 Specific machine learning algorithms that may be used include nearest neighbor methods, naive Bayes methods, decision trees, and support vector machines. Deep learning may also be used, which uses neural networks to generate features and connection weighting coefficients for learning. For example, a CNN (Convolutional Neural Network) model may be used as a deep learning model.

学習済モデルを複数作成する場合は、撮像条件やワークを変えて上記のステップS101~ステップ103を繰り返す。 To create multiple trained models, change the imaging conditions and workpiece and repeat steps S101 to S103 above.

次に、デプロイフローを説明する。まず、エッジデバイス300aの学習済モデルを他のエッジデバイス300b、300cに展開できるよう、操作者700は、統合管理装置エンドポイント240にREST API等を用いてアクセスし、指令を行う(ステップS201)。なお、操作者700がアクセスするのではなく、プログラミングによりエッジデバイス300aの学習済モデルを他のエッジデバイス300b、300cにデプロイするように設定しておくこともできる。例えば、スクリプト等によりスケジューリングしておき、毎週末にデプロイしてもよい。 Next, the deployment flow will be explained. First, in order to deploy the trained model of edge device 300a to other edge devices 300b and 300c, the operator 700 accesses the integrated management device endpoint 240 using a REST API or the like and issues a command (step S201). Note that rather than the operator 700 accessing the system, it is also possible to set up the system to deploy the trained model of edge device 300a to other edge devices 300b and 300c through programming. For example, the trained model may be scheduled using a script or the like, and deployed every weekend.

統合管理装置エンドポイント240からの指令を受け、エッジデバイス環境提供部210は、学習済モデルデータベースよりエッジデバイスに適した学習済モデルと、撮像条件をセットでコンテナに取り込む(ステップS202)。このとき、学習済モデルを学習済モデルデータベース220から複製し、撮像条件を撮像条件データベース230から複製してコンテナ211に取り込んでいる。コンテナ211の仕組みやオーケストレーションには、コンテナ化したアプリケーションのデプロイ、スケーリング、および管理を行うための、コンテナオーケストレーションシステムを利用できる。コンテナオーケストレーションシステムは、同様のことを実行可能であればどのような仕組みを用いても構わない。 Upon receiving a command from the integrated management device endpoint 240, the edge device environment providing unit 210 imports into the container a set of a trained model suitable for the edge device from the trained model database and the imaging conditions (step S202). At this time, the trained model is copied from the trained model database 220, and the imaging conditions are copied from the imaging condition database 230 and imported into the container 211. A container orchestration system for deploying, scaling, and managing containerized applications can be used for the mechanism and orchestration of the container 211. Any mechanism can be used for the container orchestration system as long as it can perform similar tasks.

なお、学習済モデルが保存されるコンテナと推論コンテナとを分けて管理し、各コンテナを紐づけて管理してもよい。 In addition, the container that stores the trained model and the inference container can be managed separately, and each container can be linked and managed.

次に、統合管理装置200から、エッジデバイス300a、300b、300cのそれぞれに対応するコンテナ211a、211b、211cが配信される(ステップS203)。 Next, the central management device 200 distributes containers 211a, 211b, and 211c corresponding to the edge devices 300a, 300b, and 300c, respectively (step S203).

そして、各エッジデバイスで撮像と推論を行う(ステップS301)。ステップS301で所定の推論精度が確保できている場合は、検査するワークを用いて検査を実行する。ステップS301で所定の推論精度が確保できていない場合は、撮像条件を変えてステップS101からステップS301までを再度実行し、所定の推論精度になるまでステップS101からステップS301までを実行する。 Then, each edge device performs imaging and inference (step S301). If the specified inference accuracy is ensured in step S301, the inspection is carried out using the workpiece to be inspected. If the specified inference accuracy is not ensured in step S301, the imaging conditions are changed and steps S101 to S301 are executed again, and steps S101 to S301 are executed again until the specified inference accuracy is achieved.

以上の実行フローにより、エッジデバイス300aで学習した学習済モデルを他のエッジデバイス300b、300cで用いることができる。 The above execution flow allows the trained model trained on edge device 300a to be used on other edge devices 300b and 300c.

図4に、撮像条件と学習済モデルとをコンテナで一体に管理する場合の一例を示すが、これに限られない。図4に示すように、システム管理者はAPI等を通じて、撮像条件と学習済モデルとを管理するDeployment.yamlを実行する。そして、本yamlファイルを用いてエッジデバイスにデプロイされる。具体的には、図4では、露光時間、ゲイン、照明装置の照明強度、及び照明装置の角度の撮像条件と、学習済モデルと、がそれぞれ紐づけられて管理されている。図1では照明装置は示されていないが、図8に示すようにエッジデバイスに含まれる照明装置に角度と照明強度とが入力される。そして、エッジデバイスに上記の撮像条件と学習済モデルとが入力され、ワークの推定が実行される。 Figure 4 shows an example of managing imaging conditions and a trained model together in a container, but this is not limiting. As shown in Figure 4, a system administrator executes Deployment.yaml, which manages imaging conditions and a trained model, via an API or the like. This yaml file is then used to deploy to an edge device. Specifically, in Figure 4, imaging conditions such as exposure time, gain, lighting intensity of the lighting device, and lighting device angle are linked to and managed with the trained model. Although lighting devices are not shown in Figure 1, the angle and lighting intensity are input to the lighting device included in the edge device as shown in Figure 8. The above imaging conditions and trained model are then input to the edge device, and workpiece estimation is performed.

上記の説明では、統合管理装置200からエッジデバイス300aにもコンテナ211aを配信したが、エッジデバイス300aは学習済モデルの生成に用いたエッジデバイスであるため、コンテナ211aは配信しなくてもよい。 In the above explanation, the integrated management device 200 also distributes the container 211a to the edge device 300a, but since the edge device 300a is the edge device used to generate the trained model, the container 211a does not need to be distributed.

また、コンテナにより学習済モデルと撮像条件とを管理し、コンテナを配信する例を説明したが、コンテナで学習済モデルを管理し、コンテナの学習済モデルと紐づけた上でコンテナとは別で撮像条件を管理してもよい。 Also, while an example has been described in which the trained model and imaging conditions are managed by the container and the container is distributed, it is also possible to manage the trained model in the container, and manage the imaging conditions separately from the container by linking them to the trained model in the container.

本実施形態によれば、学習済モデルと当該学習済モデルを生成する際の条件とを紐づけて、統合管理装置200で管理されている。そして、エッジデバイスに、学習済モデルと条件とが配信され、撮像と推論を行っている。これにより、エッジデバイスでの推論精度を高めることができる。さらに、ワークの検査において、学習済検査を開始するまでのデッドタイムを短くすることができる。 According to this embodiment, the trained model and the conditions for generating the trained model are linked and managed by the integrated management device 200. The trained model and conditions are then distributed to the edge device, which then performs imaging and inference. This improves the inference accuracy of the edge device. Furthermore, it is possible to shorten the dead time before the trained inspection begins during workpiece inspection.

(実施形態2)
図5を参照しながら実施形態2に係るエッジデバイス管理システムについて説明する。実施形態2に係るシステムは、統合管理装置200が管理する複数のエッジデバイスが、第1ワークを検査するエッジデバイスと、第1ワークとは異なる第2ワークを検査するエッジデバイスと、を含む点が実施形態1とは異なる。以下で説明する以外の構成は、実施形態1と同様であるため、説明を省略することがある。
(Embodiment 2)
An edge device management system according to a second embodiment will be described with reference to Fig. 5. The system according to the second embodiment differs from the first embodiment in that the multiple edge devices managed by the integrated management device 200 include an edge device that inspects a first work and an edge device that inspects a second work that is different from the first work. The configuration other than that described below is the same as that of the first embodiment, and therefore, description thereof may be omitted.

図5に示すように、第1ワーク(製品A)を検査するエッジデバイス300a、300cと、第2ワーク(製品B)を検査するエッジデバイス300b、300dとを統合管理装置200が管理する。そして、エッジデバイスで撮像するワークに適合したコンテナを各エッジデバイスに配信している。例えば、図5では、第1ワークに対応する学習済モデルと撮像条件とを管理するコンテナ211a、211cがエッジデバイス300a、300cに配信される。また、第2ワークに対応する学習済モデルと撮像条件とを管理するコンテナ211b、211dがエッジデバイス300b、300dに配信される。 As shown in Figure 5, the integrated management device 200 manages edge devices 300a and 300c that inspect the first work (product A) and edge devices 300b and 300d that inspect the second work (product B). Containers suitable for the work to be imaged by the edge devices are distributed to each edge device. For example, in Figure 5, containers 211a and 211c that manage the trained model and imaging conditions corresponding to the first work are distributed to edge devices 300a and 300c. Containers 211b and 211d that manage the trained model and imaging conditions corresponding to the second work are distributed to edge devices 300b and 300d.

学習済モデルの作成方法や、学習済モデルと撮像条件との管理の仕組みは、実施形態1と同様であるため説明を省略する。 The method for creating the trained model and the mechanism for managing the trained model and imaging conditions are the same as in embodiment 1, so explanations will be omitted.

本実施形態によればエッジデバイスで検査する製品が変わったときの段取り替えが完了するまでの時間を、学習済モデルのみを入力する場合に比較して短くすることができる。例えば、所定の期間はエッジデバイスで製品Aを検査し、所定の期間は同じエッジデバイスで製品Bを検査する場合がある。製品ごとに最適な撮像条件は異なるため、エッジデバイスに検査する製品に対応する学習済モデルを入力するだけではエッジデバイスの撮像条件が最適な撮像条件になるまでに時間がかかる。したがって、検査する製品が変わるたびに段取り替えが完了するまでに時間が必要になる。これに対して、本実施形態によれば、学習済モデルと撮像条件とをエッジデバイスに配信するため、最適な撮像条件になるまでの時間を短縮でき、推論精度を高めることができる。また、エッジデバイスごとに異なるワークを検査することが可能となる。 According to this embodiment, the time required to complete a changeover when the product being inspected by an edge device changes can be shortened compared to when only a trained model is input. For example, an edge device may inspect product A for a specified period, and then inspect product B for a specified period using the same edge device. Because the optimal imaging conditions differ for each product, simply inputting a trained model corresponding to the product being inspected into the edge device takes time for the imaging conditions of the edge device to become optimal. Therefore, time is required to complete a changeover each time the product being inspected changes. In contrast, according to this embodiment, the trained model and imaging conditions are distributed to the edge device, thereby shortening the time required to reach optimal imaging conditions and improving inference accuracy. It also becomes possible to inspect different workpieces with each edge device.

(実施形態3)
図6を参照しながら実施形態3に係るエッジデバイス管理システムについて説明する。実施形態3に係るシステムは、各エッジデバイス300が学習実行部250を含む点が実施形態2と異なる。以下で説明する以外の構成は、実施形態2と同様であるため、説明を省略することがある。
(Embodiment 3)
An edge device management system according to a third embodiment will be described with reference to Fig. 6. The system according to the third embodiment differs from the system according to the second embodiment in that each edge device 300 includes a learning execution unit 250. The configuration other than that described below is the same as that of the second embodiment, and therefore, description thereof may be omitted.

実施形態3に係るシステムは、各エッジデバイス300a、300b、300cが、対応する学習実行部250a、250b、250cを備える。エッジデバイス300に含まれる学習実行部250が、学習済モデルを生成している。具体的には、光検出装置301から得られる学習モデルを学習実行部250に入力し、学習実行部250で学習済モデルが生成されている。 In the system according to the third embodiment, each edge device 300a, 300b, and 300c includes a corresponding learning execution unit 250a, 250b, and 250c. The learning execution unit 250 included in the edge device 300 generates a trained model. Specifically, the training model obtained from the light detection device 301 is input to the training execution unit 250, and the trained model is generated by the training execution unit 250.

そして、各エッジデバイス300で生成された学習済モデルを統合管理装置200の学習済モデルデータベース220と、撮像条件データベース230へ入力している。そして、複数のエッジデバイス300の学習済モデルとその学習済モデルを生成したときの撮像条件とを統合管理装置200でまとめて管理している。 The trained models generated by each edge device 300 are then input into the trained model database 220 and the imaging condition database 230 of the integrated management device 200. The trained models of multiple edge devices 300 and the imaging conditions used when the trained models were generated are collectively managed by the integrated management device 200.

本実施形態におけるフローの例を以下で説明する。まず、操作者700が、統合管理装置エンドポイント240を通じて学習実行部250での学習の実施の有無や、学習済モデルの更新について指示を出す。 An example of the flow in this embodiment is described below. First, the operator 700 issues instructions via the integrated management device endpoint 240 regarding whether or not learning should be performed in the learning execution unit 250 and whether or not to update the trained model.

次にエッジデバイス300の光検出装置301で撮像された画像が、学習実行部250に送られ、学習が実行される。 Next, the image captured by the photodetector 301 of the edge device 300 is sent to the learning execution unit 250, where learning is performed.

学習がある程度進み、所定の精度が得られたた学習済モデルは、統合管理装置200の学習済モデルデータベース220へと格納される。このとき、学習が行われる前に格納されていた学習済モデルが存在する場合は、新しく生成された学習済モデルに更新してもよい。所定の精度とは、適宜設定することができるが、例えば検査工程において良否判定の確率が80%以上の精度とすることである。 Once learning has progressed to a certain extent and a predetermined accuracy has been achieved, the trained model is stored in the trained model database 220 of the integrated management device 200. At this time, if a trained model that was stored before learning exists, it may be updated to the newly generated trained model. The predetermined accuracy can be set as appropriate, but for example, it may be an accuracy that results in an 80% or higher probability of pass/fail determination in the inspection process.

学習済モデルデータベース220へと学習済モデルを格納する際に同時に又はその前後にその学習済モデルを生成する際の撮像条件も撮像条件データベース230へと格納される。そして、学習済モデルデータベース220と撮像条件データベース230とは、対応する学習済モデルと撮像条件とは、紐づけて管理される。 When a trained model is stored in the trained model database 220, the imaging conditions used to generate the trained model are also stored in the imaging condition database 230, either at the same time as or before or after the storage. The trained model database 220 and the imaging condition database 230 are managed in association with the corresponding trained model and imaging conditions.

本実施形態によれば、学習済モデルと撮像条件とをセットで管理し、エッジデバイスに学習済モデルと撮像条件とを配信することにより、推論精度を高くすることができる。また、本実施形態のように、学習実行部250を各エッジデバイス300の一部として構成し、エッジデバイスにおいて再学習を行うことにより、学習済モデルの精度を高くすることも可能となる。 According to this embodiment, the trained model and imaging conditions are managed as a set, and the trained model and imaging conditions are distributed to the edge device, thereby improving inference accuracy. Furthermore, as in this embodiment, by configuring the learning execution unit 250 as part of each edge device 300 and performing re-learning in the edge device, it is also possible to improve the accuracy of the trained model.

(実施形態4)
図7を参照しながら実施形態4に係るエッジデバイスの管理システムについて説明する。実施形態4に係るシステムは、エッジデバイス300から、前処理部303を介して、学習実行部250に光検出装置301からのデータが入力される点が実施形態1と異なる。また、学習実行部250から、後処理部304を介して、学習済モデルデータベース220へとデータが入力される点が実施形態1と異なる。さらに、推論フローにおいて、前処理部303bから推論実行部260にデータが入力される点が実施形態1と異なる。以下で説明する以外の構成は、実施形態2と同様であるため、説明を省略することがある。
(Embodiment 4)
An edge device management system according to the fourth embodiment will be described with reference to FIG. 7 . The system according to the fourth embodiment differs from the first embodiment in that data from the photodetector 301 is input from the edge device 300 to the learning execution unit 250 via the preprocessing unit 303. The system also differs from the first embodiment in that data is input from the learning execution unit 250 to the trained model database 220 via the postprocessing unit 304. The system also differs from the first embodiment in that data is input from the preprocessing unit 303b to the inference execution unit 260 in the inference flow. Configurations other than those described below are the same as those of the second embodiment, and therefore descriptions thereof may be omitted.

図7において、光検出装置301aから後処理部304aまでは学習フローを示し、光検出装置301bから後処理部304bまでは推論フローを示す。学習フローと推論フローでは、前処理部からデータが入力される構成が異なる。 In Figure 7, the learning flow is shown from the light detection device 301a to the post-processing device 304a, and the inference flow is shown from the light detection device 301b to the post-processing device 304b. The learning flow and the inference flow differ in the configuration in which data is input from the pre-processing device.

前処理部303と後処理部304は、統合管理装置200に含まれていてもよいし、エッジデバイス300に含まれていてもよい。 The pre-processing unit 303 and post-processing unit 304 may be included in the integrated management device 200 or in the edge device 300.

前処理部303は、光検出装置301で得られた画像データのトリミング、対象領域の特定、反転、補正等を行う。補正は、例えば、平均化、明度やコントラストの補正である。また、エッジ強調を行ってもよい。 The pre-processing unit 303 performs operations such as trimming, identifying target areas, inverting, and correcting the image data obtained by the light detection device 301. Corrections include, for example, averaging, and correcting brightness and contrast. Edge enhancement may also be performed.

学習実行部250での学習時は、機械学習のアルゴリズムの制御を行うハイパーパラメータを追加で管理してもよい。 When learning in the learning execution unit 250, hyperparameters that control the machine learning algorithm may also be managed additionally.

後処理部304は、検査の良否判定の情報や生産ライン情報を含むことができる。 The post-processing unit 304 can include information on the pass/fail status of the inspection and production line information.

本実施形態によれば、撮像条件と学習済モデルとを管理するシステムにおいて、前処理および後処理を組み合わせて管理することができる。したがって、より推論精度を高くでき、再現性を高めることができる。また、学習時における追加学習も行うことができる。さらに、後処理部を有することにより、アノテーション処理等にも役立てることができる。したがって、産業制御システム(Supervisory Control And Data Acquisition)、製造実行システム(Manufacturing Execution System)等の各種管理システムとの連携を行いやすくなる。 According to this embodiment, a system that manages imaging conditions and trained models can manage a combination of pre-processing and post-processing. This allows for higher inference accuracy and improved reproducibility. Additional learning can also be performed during training. Furthermore, the inclusion of a post-processing unit can be useful for annotation processing, etc. Therefore, it becomes easier to link with various management systems, such as industrial control systems (Supervisory Control and Data Acquisition) and manufacturing execution systems.

(実施形態5)
図8を参照しながら実施形態5に係るエッジデバイスの管理システムについて説明する。実施形態5に係るシステムは、エッジデバイスが照明装置305やロボット306を含み、撮像条件だけではなく、光検出装置以外の装置の動作条件も統合管理装置200が管理する点が実施形態1とは異なる。以下で説明する以外の構成は、実施形態1と同様であるため、説明を省略することがある。
(Embodiment 5)
An edge device management system according to a fifth embodiment will be described with reference to Fig. 8. The system according to the fifth embodiment differs from the first embodiment in that the edge devices include a lighting device 305 and a robot 306, and the integrated management device 200 manages not only the imaging conditions but also the operating conditions of devices other than the light detection device. The configuration other than that described below is the same as that of the first embodiment, and therefore the description may be omitted.

図8に、エッジデバイスの管理システムを検査アプリケーションとして利用する場合の概念図を示す。管理システムは、光検出装置301と、照明装置305と、ロボット306と、生産ライン600を含む。 Figure 8 shows a conceptual diagram of an edge device management system used as an inspection application. The management system includes a photodetector 301, a lighting device 305, a robot 306, and a production line 600.

エッジデバイス300は、生産ライン600を流れるワークを検査する。エッジデバイス300の光検出装置301がワークを撮像する。光検出装置の撮像範囲には、照明装置305により光が照射されている。エッジデバイス300からの画像データにより、統合管理装置200は、ワークの良否判定を行う。ロボット306は、欠陥があると判定されたワークを生産ラインから移動させる。 The edge device 300 inspects the workpieces moving along the production line 600. The light detection device 301 of the edge device 300 captures an image of the workpiece. Light is irradiated into the image capture range of the light detection device by the lighting device 305. The integrated management device 200 determines whether the workpiece is good or bad based on the image data from the edge device 300. The robot 306 removes any workpieces determined to be defective from the production line.

ワークの検査を行うにあたり、生産ライン600の稼働速度、照明装置305の照明強度、角度、色温度、ロボット306の可動範囲、稼働角度、角速度等、各構成には様々な条件が付いている。これらの条件の少なくともいずれか1つを統合管理装置200で管理している。そして、統合管理装置200からエッジデバイス300に学習済モデルを配信するときに、撮像条件に加えてこれらの条件を配信することにより、精度よく撮像を行うことができる。またロボットの可動範囲や稼働速度等を統一的に管理することにより、ワークの検査工程において、デッドタイムを少なくできる可能性がある。 When inspecting workpieces, various conditions are attached to each component, such as the operating speed of the production line 600, the lighting intensity, angle, and color temperature of the lighting device 305, and the range of motion, operating angle, and angular velocity of the robot 306. At least one of these conditions is managed by the integrated management device 200. When distributing a trained model from the integrated management device 200 to the edge device 300, these conditions are also distributed in addition to the imaging conditions, allowing for accurate imaging. Furthermore, by uniformly managing the range of motion, operating speed, etc. of the robot, it is possible to reduce dead time in the workpiece inspection process.

上記の実施形態1乃至実施形態5に記載の事項は、適宜組み合わせることが可能である。 The features described in embodiments 1 to 5 above can be combined as appropriate.

また、所定の期間は複数のエッジデバイスで同じワークを検査する実施形態1を採用し、他の期間はエッジデバイスごとに異なるワークを検査する実施形態2を採用してもよい。言い換えると、各エッジデバイスは、常に同じワークを検査しているのではなく、期間に応じて適宜選択されるワークや条件を変更することが可能である。 Furthermore, it is possible to adopt embodiment 1, in which the same workpiece is inspected by multiple edge devices during a specified period, and embodiment 2, in which different workpieces are inspected by each edge device during other periods. In other words, each edge device does not always inspect the same workpiece, but rather can change the workpieces and conditions selected as appropriate depending on the period.

また、上記の実施形態1乃至実施形態5では、光検出装置301がイメージセンサーであり、統合管理装置200が学習済モデルと撮像条件とを管理することを説明したが、条件は撮像条件に限られない。図7の画像パラメータ等を学習済モデルと紐づけて管理してもよい。また、光検出装置301が測距センサーである場合は、距離を測定するためのパルス間隔等の条件を学習済モデルへと配信することができる。 Furthermore, in the above-described first to fifth embodiments, it has been described that the light detection device 301 is an image sensor and the integrated management device 200 manages the trained model and imaging conditions, but the conditions are not limited to imaging conditions. Image parameters such as those in FIG. 7 may also be managed in association with the trained model. Furthermore, if the light detection device 301 is a distance measurement sensor, conditions such as the pulse interval for measuring distance can be distributed to the trained model.

200 統合管理装置
300 エッジデバイス
200 Integrated management device 300 Edge device

Claims (12)

第1エッジデバイスと、第2エッジデバイスと、前記第1エッジデバイスおよび第2エッジデバイスを管理する統合管理装置と、を備え、
前記第1エッジデバイスおよび前記第2エッジデバイスは光検出装置を含み、
前記統合管理装置は、第1学習済モデルと、前記第1学習済モデルの生成に用いた光検出装置の条件を設定する第1撮像条件と、を紐づけて第1コンテナで管理しており、
前記第1撮像条件は、露光時間、ゲイン、ISO感度設定、F値設定、ハイダイナミックレンジの有無、及びホワイトバランスの調整の少なくともいずれか1つであり、
前記第1コンテナが前記第1エッジデバイスまたは前記第2エッジデバイスに配信されることを特徴とするシステム。
a first edge device, a second edge device, and an integrated management device that manages the first edge device and the second edge device;
the first edge device and the second edge device include a light detection device;
the integrated management device manages a first trained model and first imaging conditions that set conditions of a light detection device used to generate the first trained model in a first container in association with each other;
the first imaging condition is at least one of an exposure time, a gain, an ISO sensitivity setting, an F-number setting, whether or not a high dynamic range is used, and an adjustment of a white balance ;
The system, wherein the first container is delivered to the first edge device or the second edge device .
前記統合管理装置は、さらに、第2学習済モデルと、前記第2学習済モデルを生成するときの第2撮像条件と、を紐づけて管理していることを特徴とする請求項1に記載のシステム。 The system described in claim 1, characterized in that the integrated management device further manages a second trained model in association with second imaging conditions used when generating the second trained model. 前記第1学習済モデルと前記第2学習済モデルとは同じ対象物に基づく学習済モデルであり、
前記第1撮像条件と前記第2撮像条件とは互いに異なる撮像条件であることを特徴とする請求項に記載のシステム。
The first trained model and the second trained model are trained models based on the same object,
3. The system according to claim 2 , wherein the first imaging condition and the second imaging condition are different imaging conditions.
前記第1学習済モデルと前記第2学習済モデルとは異なる対象物に基づく学習済モデルであり、
前記第1撮像条件と前記第2撮像条件とは互いに同じ撮像条件であることを特徴とする請求項に記載のシステム。
The first trained model and the second trained model are trained models based on different objects,
3. The system according to claim 2 , wherein the first imaging condition and the second imaging condition are the same imaging condition.
前記第1学習済モデルと前記第2学習済モデルとは異なる対象物に基づく学習済モデルであり、
前記第1撮像条件と前記第2撮像条件とは互いに異なる撮像条件であることを特徴とする請求項に記載のシステム。
The first trained model and the second trained model are trained models based on different objects,
3. The system according to claim 2 , wherein the first imaging condition and the second imaging condition are different imaging conditions.
前記第1エッジデバイスに、前記統合管理装置から、前記第1コンテナが配信され、
前記第2エッジデバイスに、前記統合管理装置から、前記第2学習済モデルと前記第2撮像条件とを管理している第2コンテナが配信されることを特徴とする請求項乃至のいずれか1項に記載のシステム。
the first container is delivered from the integrated management device to the first edge device;
The system described in any one of claims 3 to 5 , characterized in that a second container managing the second trained model and the second imaging conditions is delivered from the integrated management device to the second edge device.
前記光検出装置はイメージセンサーであり、
前記第1学習済モデルは、前記第1エッジデバイスの前記イメージセンサーから得られる画像に基づいて生成されていることを特徴とする請求項1乃至6のいずれか1項に記載のシステム。
the light detection device is an image sensor,
The system according to any one of claims 1 to 6 , wherein the first trained model is generated based on an image obtained from the image sensor of the first edge device.
前記第1コンテナには、機械学習ライブラリは含まれないことを特徴とする請求項1乃至7のいずれか1項に記載のシステム。 The system of any one of claims 1 to 7 , wherein the first container does not include a machine learning library. 前記統合管理装置が、学習実行部を含み、
前記第1エッジデバイスから得られる画像は前記学習実行部に送られ、前記学習実行部で前記第1学習済モデルが生成されることを特徴とする請求項1乃至8のいずれか1項のいずれか1項に記載のシステム。
the integrated management device includes a learning execution unit,
The system according to any one of claims 1 to 8, characterized in that an image obtained from the first edge device is sent to the learning execution unit, and the first trained model is generated in the learning execution unit.
前記統合管理装置は、第1データベースと第2データベースとを含み、
前記第1データベースは、前記第1学習済モデルと前記第2学習済モデルとを含む複数の学習済モデルを管理し、
前記第2データベースは、前記第1撮像条件と前記第2撮像条件とを含む複数の条件を管理することを特徴とする請求項2乃至6のいずれか1項に記載のシステム。
the integrated management device includes a first database and a second database;
The first database manages a plurality of trained models including the first trained model and the second trained model;
7. The system according to claim 2 , wherein the second database manages a plurality of conditions including the first imaging condition and the second imaging condition.
前記システムは、生産ラインを含み、
前記第1撮像条件には、前記生産ラインの稼働速度が含まれることを特徴とする請求項1乃至10のいずれか1項に記載のシステム。
The system includes a production line;
11. The system according to claim 1, wherein the first imaging condition includes an operating speed of the production line.
前記システムは、ロボットを備え、
前記第1学習済モデルによって欠陥を有すると判断されたワークを移動させることを特徴とする請求項11に記載のシステム。
the system comprises a robot;
The system of claim 11 , further comprising: moving a workpiece determined to have a defect by the first trained model.
JP2021008444A 2020-03-24 2021-01-22 Systems, integrated management devices, edge devices Active JP7790868B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21161099.3A EP3886428A1 (en) 2020-03-24 2021-03-05 System and edge device
US17/207,112 US12035041B2 (en) 2020-03-24 2021-03-19 System and edge device
CN202110311081.7A CN113448683B (en) 2020-03-24 2021-03-24 Systems and Edge Devices

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020052544 2020-03-24
JP2020052544 2020-03-24

Publications (3)

Publication Number Publication Date
JP2021152878A JP2021152878A (en) 2021-09-30
JP2021152878A5 JP2021152878A5 (en) 2024-01-24
JP7790868B2 true JP7790868B2 (en) 2025-12-23

Family

ID=77887382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021008444A Active JP7790868B2 (en) 2020-03-24 2021-01-22 Systems, integrated management devices, edge devices

Country Status (1)

Country Link
JP (1) JP7790868B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120419302A (en) * 2022-12-07 2025-08-01 株式会社富士 Device and method for judging whether or not good

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015153914A (en) 2014-02-14 2015-08-24 オムロン株式会社 Quality managing device, quality managing method and program
JP2015176347A (en) 2014-03-14 2015-10-05 オムロン株式会社 Word process management system and tag type individual controller used therein
JP2018106562A (en) 2016-12-27 2018-07-05 株式会社ジェイテクト Analyzer and analysis system
JP2018132962A (en) 2017-02-15 2018-08-23 オムロン株式会社 Image output apparatus and image output method
JP2019029001A (en) 2017-07-26 2019-02-21 キヤノン株式会社 Image data management method, manufacturing apparatus, production system, and image management method of production system
WO2019131742A1 (en) 2017-12-27 2019-07-04 株式会社 Preferred Networks Inspection processing device, inspection processing method, and program
US20190278640A1 (en) 2018-03-12 2019-09-12 Amazon Technologies, Inc. Machine learning repository service

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015153914A (en) 2014-02-14 2015-08-24 オムロン株式会社 Quality managing device, quality managing method and program
JP2015176347A (en) 2014-03-14 2015-10-05 オムロン株式会社 Word process management system and tag type individual controller used therein
JP2018106562A (en) 2016-12-27 2018-07-05 株式会社ジェイテクト Analyzer and analysis system
JP2018132962A (en) 2017-02-15 2018-08-23 オムロン株式会社 Image output apparatus and image output method
JP2019029001A (en) 2017-07-26 2019-02-21 キヤノン株式会社 Image data management method, manufacturing apparatus, production system, and image management method of production system
WO2019131742A1 (en) 2017-12-27 2019-07-04 株式会社 Preferred Networks Inspection processing device, inspection processing method, and program
US20190278640A1 (en) 2018-03-12 2019-09-12 Amazon Technologies, Inc. Machine learning repository service

Also Published As

Publication number Publication date
JP2021152878A (en) 2021-09-30

Similar Documents

Publication Publication Date Title
Brion et al. Generalisable 3D printing error detection and correction via multi-head neural networks
KR102883039B1 (en) Method and System for Defect Inspection Based on Deep Learning
CN112465791B (en) Iterative defect filtering process
US11244436B2 (en) Method for inspecting mounting state of component, printed circuit board inspection apparatus, and computer readable recording medium
KR102171491B1 (en) Method for sorting products using deep learning
JP7074460B2 (en) Image inspection equipment and methods
US11315231B2 (en) Industrial image inspection method and system and computer readable recording medium
US12340505B2 (en) Microscopy system and method for checking input data
CA3166581A1 (en) Method and system for training inspection equipment for automatic defect classification
JP2021515885A (en) Methods, devices, systems and programs for setting lighting conditions and storage media
CN113448683B (en) Systems and Edge Devices
JP7790868B2 (en) Systems, integrated management devices, edge devices
US20230245433A1 (en) Systems and Methods for Implementing a Hybrid Machine Vision Model to Optimize Performance of a Machine Vision Job
JP2025081514A (en) Offline troubleshooting and development for automated visual inspection stations
US20240257334A1 (en) Automated part inspection system
WO2021221621A1 (en) Adjusting manufacturing parameters based on inspection
KR101087022B1 (en) Learning method of bad recognition system
IT202200026655A1 (en) METHOD FOR IDENTIFYING AND CHARACTERIZE, USING ARTIFICIAL INTELLIGENCE, DEFECTS INSIDE AN OBJECT, INCLUDING CRACKS INSIDE A BRAKE DISC OR CALIPER
US20250165821A1 (en) Method for making the function of a machine learning algorithm explainable
JP2024007755A (en) Image inspection system and image inspection program
CN118676014A (en) Wafer inspection method, system, electronic device, storage medium and computer program product
Akashah et al. A Vision-Based Measurement Framework with Optimized K-Nearest Neighbor Regression for Net Mesh Size Control
JP2023172508A (en) Learning device, learning system, learning method, and program
JP2025127787A (en) Inspection equipment and inspection method
CN121414675A (en) A method and system for detecting defects in textiles based on near-infrared spectroscopy.

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251211

R150 Certificate of patent or registration of utility model

Ref document number: 7790868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150