JP7708040B2

JP7708040B2 - 教師データ収集装置

Info

Publication number: JP7708040B2
Application number: JP2022135353A
Authority: JP
Inventors: 浩文森下; 由貴子園原
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2022-08-26
Filing date: 2022-08-26
Publication date: 2025-07-15
Anticipated expiration: 2042-08-26
Also published as: JP2024031665A

Description

本開示は、教師データ収集装置に関する。

特許文献１には、工場における異常を検知する学習済みモデルを生成するための機械学習に用いる教師データを自動で生成する技術が開示されている。この技術では、動画とともに対象物の異常を判定するために必要な情報（例えば重量等）を取得し、動画と判定結果とを紐づけて教師データとする。

特開２０２０－１９４２７０号公報

しかしながら、実際の工場では、不良品の発生確率は極めて低く、十分な数量の教師データを収集することができなかった。

本開示は、上記に鑑みてなされたものであって、大量の教師データを収集することができる教師データ収集装置を提供することを目的とする。

本開示に係る教師データ収集装置は、作業者が部品をワークに組み付ける作業を撮像した動画であって、前記作業者、前記部品、及び前記ワークが作業開始時において所定の領域に映るように配置して撮像された動画を取得し、前記動画から前記作業者の手、前記部品、及び前記ワークの位置情報を抽出し、前記位置情報に基づいて作業が所定の手順で行われたか否かを判定し、前記動画と該動画に対する判定結果と紐づけて、機械学習に用いる教師データとして記憶するように構成されるプロセッサを備える。

本開示によれば、大量の教師データを収集することができる教師データ収集装置を実現することができる。

図１は、実施形態に係る教師データ収集装置の概略的な構成を示すブロック図である。図２は、実施形態に係る教師データ収集装置が実行する教師データ収集方法の処理手順の一例を示すフローチャートである。図３は、作業の様子を説明するための図である。

本開示の実施形態に係る教師データ収集装置について、図面を参照しながら説明する。なお、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

（教師データ収集装置）
教師データ収集装置は、工場等において、作業者が部品をワークに組み付ける作業が適切な手順で行われたか否かを判定する学習済みモデルを生成するための機械学習に用いる教師データを収集する装置である。教師データは、作業の様子が撮像された動画とその動画における作業が適切な手順で行われたか否かの判定結果とを紐づけたデータ群である。この教師データを用いてＡＩが機械学習を行うことにより、撮像された動画における作業が適切な手順で行われたか否かを判定する学習済みモデルを生成することができる。

教師データ収集装置は、多数の工場から作業の様子が撮像された動画を収集することにより、大量の教師データを収集することができる。

教師データ収集装置の具体的構成としては、様々なものが想定される。教師データ収集装置としては、例えばサーバシステム、パーソナルコンピュータ、ワークステーション、携帯電話、スマートフォン、タブレット型端末装置、車両、又はその他の工作機械等が挙げられる。また、教師データ収集装置は、上記に列挙した構成の内部に、例えばディープラーニング（Deep Learning）や他の機械学習等による学習結果からなる学習済みモデルを搭載していてもよい。

教師データ収集装置１は、図１に示すように、制御部１１と、記憶部１２と、取得部１３と、表示部１４と、を備えている。

制御部１１は、例えばＣＰＵ（Central Processing Unit）等からなるプロセッサと、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等からなるメモリ（主記憶部）と、によって実現される。

制御部１１は、プログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部等を制御することにより、所定の目的に合致した機能を実現する。制御部１１は、前記したプログラムの実行を通じて、抽出部１１１及び判定部１１２として機能する。

なお、図１では、一つの装置（例えばコンピュータ等）によって制御部１１の各部の機能を実現する場合の例を示しているが、例えば複数の装置によって各部の機能をそれぞれ実現してもよい。すなわち、制御部１１のうち、抽出部１１１と判定部１１２とを異なる装置によって実現し、それらの装置をネットワークによって接続した構成であってもよい。

抽出部１１１は、作業者が部品をワークに組み付ける作業を撮像した動画から作業者の手、部品、及びワークの位置情報を抽出する。

判定部１１２は、抽出部１１１が抽出した作業者の手、部品、及びワークの位置情報に基づいて作業が所定の手順で行われたか否かを判定する。

記憶部１２は、例えばＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）及びリムーバブルメディア等の記録媒体によって実現される。リムーバブルメディアとしては、例えばＵＳＢ（Universal Serial Bus）メモリ、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）のようなディスク記録媒体が挙げられる。

記憶部１２には、オペレーティングシステム（Operating System：ＯＳ）、各種プログラム、各種テーブル、各種データベース等が格納可能である。記憶部１２には、教師データ１２１が格納されている。教師データは、動画とその動画に対する判定部１１２の判定結果とを紐づけたデータである。なお、記憶部１２には、これらの他にも、必要に応じて制御部１１における処理結果等が格納されてもよい。また、記憶部１２には、教師データを用いて生成した学習済みモデルが格納されていてもよい。

取得部１３は、例えば各種情報を受信可能な通信モジュール等により構成される。取得部１３は、例えば図示しないネットワーク等を通じて、外部の機器等と通信を行い、各種情報を受信する。取得部１３は、作業者が部品をワークに組み付ける作業を撮像した動画であって、作業者、部品、及びワークが作業開始時において所定の領域に映るように配置して撮像された動画を取得する。

表示部１４は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等により構成される。表示部１４は、例えば制御部１１における処理結果やその他の各種情報を表示する。

（教師データ収集方法）
実施形態に係る教師データ収集装置が実行する教師データ収集方法の処理手順の一例について、図２を参照しながら説明する。図３は、作業の様子を説明するための図である。図３に示すように、作業開始時において撮像された画像Ｉｍでは、作業者Ｏ、部品Ｐ１～Ｐ４、及びワークＷが画像Ｉｍの所定の領域に映るように配置されている。換言すると、図３に示す画像Ｉｍが撮像されるように、カメラの画角、作業者Ｏ、部品Ｐ１～Ｐ４、及びワークＷの作業開始時における位置が調整されている。そして、作業者ＯがワークＷに部品Ｐ１～Ｐ４を組み付ける作業の手順は、部品Ｐ１、部品Ｐ２、部品Ｐ３、部品Ｐ４の順と定められているものとする。

画像Ｉｍは、例えば工場の天井に取り付けられた上面カメラが撮像した画像であるが、画像において作業者、ワーク、及び部品が映る領域が定められていればよく、画像を撮像する方向や画角は特に限定されない。ただし、複数の工場や複数の生産ラインから動画を収集する場合、どの工場及びどの生産ラインにおいても、画像Ｉｍの所定の領域に作業者Ｏ、部品Ｐ１～Ｐ４、及びワークＷが映るように配置することが求められる。

部品Ｐ１～Ｐ４及びワークＷは、特に限定されない。すなわち、作業を撮像した動画ごとに部品Ｐ１～Ｐ４及びワークＷが異なり、完成品も異なっていてもよい。

まず、取得部１３は、作業者Ｏが部品Ｐ１～Ｐ４をワークＷに組み付ける作業を撮像した動画を取得する（ステップＳ１）。この動画では、図３に示すように、予め作業者Ｏ、部品Ｐ１～Ｐ４、及びワークＷが作業開始時において所定の領域に映るように配置されている。

続いて、抽出部１１１は、作業者Ｏが部品Ｐ１～Ｐ４をワークＷに組み付ける作業を撮像した動画から作業者Ｏの手、部品Ｐ１～Ｐ４、及びワークＷの位置情報を抽出する（ステップＳ２）。

そして、判定部１１２は、抽出部１１１が抽出した作業者Ｏの手、部品Ｐ１～Ｐ４、及びワークＷの位置情報に基づいて作業が所定の手順で行われたか否かを判定する（ステップＳ３）。具体的には、判定部１１２は、動画における各位置情報の時間変化に基づいて、作業者ＯがワークＷに部品Ｐ１、部品Ｐ２、部品Ｐ３、部品Ｐ４の順に組み付けたか否かを判定する。このとき、組み付けの順番が間違っていたり、部品Ｐ１～Ｐ４のいずれかの部品を組み付ける工程が抜けていたりすると、判定部１１２は、作業が所定の手順で行われていないと判定する。

その後、記憶部１２は、動画とその動画に対する判定部１１２の判定結果とを紐づけた教師データを記憶する（ステップＳ４）。

以上説明した実施形態に係る教師データ収集装置では、予め動画に映る作業者Ｏ、部品Ｐ１～Ｐ４、及びワークＷの作業開始時における配置と作業の手順とを決めて作業の動画を撮像する。その結果、部品、ワーク、又は完成品が異なる作業を撮像した動画であっても、作業が適切な手順で行われたか否かを判定する学習済みモデルを生成するための機械学習に用いる教師データとして利用することができる。そして、教師データ収集装置１によれば、異なる部品、ワーク、又は完成品を用いる多数の工場から大量の動画を収集することにより、同一の部品、ワーク、及び完成品を用いる工場から動画を収集する場合よりも、大量の教師データを収集することができる。

そして、教師データ収集装置１により収集した大量の教師データを用いて機械学習を行うことにより、作業が適切な手順で行われたか否かを判定する学習済みモデルを生成することができる。この学習済みモデルを用いると、作業者が作業の順序を間違えたり、工程を飛ばしたりした場合に、作業者にアラートを通知することも可能となる。

更なる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表わし、かつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。

１教師データ収集装置
１１制御部
１１１抽出部
１１２判定部
１２記憶部
１２１教師データ
１３取得部
１４表示部

Claims

作業者が部品をワークに組み付ける作業を撮像した動画であって、前記作業者、前記部品、及び前記ワークが作業開始時において所定の領域に映るように配置して撮像された動画を取得し、
前記動画から前記作業者の手、前記部品、及び前記ワークの位置情報を抽出し、
前記位置情報に基づいて作業が所定の手順で行われたか否かを判定し、
前記動画と該動画に対する判定結果と紐づけて、機械学習に用いる教師データとして記憶するように構成されるプロセッサ
を備える教師データ収集装置。