Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7763707B2 - 作業検知システム、装置及び方法 - Google Patents
[go: Go Back, main page]

JP7763707B2 - 作業検知システム、装置及び方法 - Google Patents

作業検知システム、装置及び方法

Info

Publication number
JP7763707B2
JP7763707B2 JP2022065887A JP2022065887A JP7763707B2 JP 7763707 B2 JP7763707 B2 JP 7763707B2 JP 2022065887 A JP2022065887 A JP 2022065887A JP 2022065887 A JP2022065887 A JP 2022065887A JP 7763707 B2 JP7763707 B2 JP 7763707B2
Authority
JP
Japan
Prior art keywords
motion
worker
information
work
sensing data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022065887A
Other languages
English (en)
Other versions
JP2023156177A (ja
Inventor
真也 金子
広行 吉元
悠 山田
哲也 豊内
純雄 嘉代
秀之 浜中
隆 柏原
均 佐藤
勇二 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2022065887A priority Critical patent/JP7763707B2/ja
Publication of JP2023156177A publication Critical patent/JP2023156177A/ja
Application granted granted Critical
Publication of JP7763707B2 publication Critical patent/JP7763707B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • General Factory Administration (AREA)

Description

本発明は、概して、作業検知に関し、例えば、技能の取得の支援に関する。
超高圧CV(Cross-linked polyethylene insulated Vinyl sheath)ケーブルのジョイント作業(以下、ケーブルジョイント作業)を習得している作業者が不足している。理由の一例として、地中送電工事等の計画の増加や、寿命が近い超高圧CVケーブルのリプレース時期が集中することがある。
ケーブルジョイント作業には、外部半導電層の削り取り作業(以下、単に「削り取り作業」)が含まれる。削り取り作業は、ケーブル先端部の全周の外部半導電層を一定の長さ分削ることで規定寸法の絶縁層を露出する作業である。規定寸法の施工条件に削り終えたケーブルは真円に近い精度と横傷の無い滑らかな表面に削ることで、設備の耐久性が向上する一因にもなる。削り取り作業では、反復動作、例えば、切削工具を用いた複数回の削りストロークが行われる。削りは、一方向にミリ単位の幅で削る。
ケーブルジョイント作業の技能の習得、特に、削り取り作業の技能の習得には、相当の経験が必要である。例えば、若年者がこの技能を習得するには数年の歳月がかかる。
指導者(例えば熟練者)にとっては、工事の増加(又はその他の理由)により技能訓練に時間を割くことは簡単ではない。被指導者(例えば若年者)にとっては、指導者からの言葉の指導だけでは技能習得が難しい。
そこで、技能習得を支援する技術が求められる。この種の技術として、特許文献1及び2に開示の技術がある。
特許文献1によれば、第1の作業者の動作データと第2の作業者の動作データとが比較され、それらの動作データの類似性が判定される。当該判定の結果に応じて、改善点を示すデータが第1の作業者に対して提示される。
特許文献2によれば、センサデータから反復動作が抽出され、抽出された反復動作が、別の反復動作と比較される。当該比較の結果を基に、当該抽出された反復動作が外れ値であるか否かが判定される。
特開2019-20913号公報 US2021/0177307
特許文献1及び2によれば、センサからのデータが動作データである。
そこで、削り取り作業の被指導者の動作を評価するための方法として、特許文献1又は2に開示のセンサを身に付けた又は使用する熟練者及び被指導者が削り取り作業を行い、熟練者のセンサから取得されたデータと被指導者のセンサから取得されたデータとを比較する方法が考えられる。
特許文献1に開示のセンサは、腕や腰に身に付けるウェアラブルセンサ、及び、ウェアラブルセンサとは異なる類の圧力センサであり、データは、これらのセンサからのデータである。特許文献2に開示のセンサは、wearable glove motion capture deviceであり、データは、当該deviceによりキャプチャされたmotion capture dataである。
しかし、このようなデータが、削り取り作業の動作データとして採用されても、削り取り作業の技能を被指導者が習得することを支援することは困難である。なぜなら、削り取り作業は、ミリ単位あるいはそれ以下の幅での加工対象物の削りという、指により超高圧CVケーブルに加圧された状態での手の移動を必要とするが、そのような動作は、上述したデータには適切に表れにくいためである。また、このような工具やツールを用いた作業は作業者の動作だけを取得して分析等を行うと、作業データだけでは工具やツールとの関係が不明となるため、動作データだけでは作業の技能を被指導者が習得することは難しい。また、カメラ単体で作業者の作業と工具やツールをまとめて評価することが考えられるが、作業領域や工具等は作業ごとに位置が変化する場合、カメラを作業領域周辺に配置できない場合、カメラと作業領域等との間に遮蔽物がある場合等があるため、カメラを主として作業を評価することができない場合がある。
このような課題は、指により対象物に加圧された状態での手の移動を含む所定の動作を必要とする他種の作業の技能習得支援についてもあり得る。
指により対象物に加圧された状態での手の移動を含む所定の動作を必要とする作業を行う第一の作業者に対し、指により印加される圧力を計測する圧力センサと手の加速度を計測する加速度センサとを含んだセンサセットが用意される。コンピュータが、当該センサセットにより計測された圧力及び加速度を含むセンシングデータに基づいて動作を検知する。コンピュータが、第一の作業者の評価のために、上記検知された動作に関し、第一の作業者のセンシングデータから得られる動作情報である第一の動作情報を第二の動作情報と比較する。
本発明によれば、指により対象物に加圧された状態での手の移動を含む所定の動作を必要とする作業の技能の習得を支援することができる。
削り取り作業の開始前の現場の例を示す。 削り取り作業の実行中の現場の例を示す。 削り取り作業の終了後の現場の例を示す。 ステップ1削りの説明図である。 ステップ2削りの説明図である。 ステップ3削りの説明図である。 センサグローブの背面の外観図である。 センサグローブの正面の外観図である。 モバイルPCを含む作業検知システムの全体構成を示す。 検知対象データの構成を示す。 熟練者の期待される加速度時系列データの例を示す。 初級者の期待される加速度時系列データの例を示す。 評価方法の一例を示す。 評価UIの一例を示す。
以下の説明では、「インターフェース装置」は、一つ以上のインターフェースデバイスでよい。当該一つ以上のインターフェースデバイスは、下記のうちの少なくとも一つでよい。
・一つ以上のI/O(Input/Output)インターフェースデバイスであるI/Oインターフェース装置。I/O(Input/Output)インターフェースデバイスは、I/Oデバイスと遠隔の表示用計算機とのうちの少なくとも一つに対するインターフェースデバイスである。表示用計算機に対するI/Oインターフェースデバイスは、通信インターフェースデバイスでよい。少なくとも一つのI/Oデバイスは、ユーザインターフェースデバイス、例えば、キーボード及びポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでもよい。
・一つ以上の通信インターフェースデバイスである通信インターフェース装置。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス(例えば一つ以上のNIC(Network Interface Card))であってもよいし二つ以上の異種の通信インターフェースデバイス(例えばNICとHBA(Host Bus Adapter))であってもよい。
また、以下の説明では、「メモリ」は、一つ以上の記憶デバイスの一例である一つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。
また、以下の説明では、「永続記憶装置」は、一つ以上の記憶デバイスの一例である一つ以上の永続記憶デバイスでよい。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス(例えば補助記憶デバイス)でよく、具体的には、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、NVME(Non-Volatile Memory Express)ドライブ、又は、SCM(Storage Class Memory)でよい。
また、以下の説明では、「記憶装置」は、メモリと永続記憶装置の少なくともメモリでよい。
また、以下の説明では、「プロセッサ」は、一つ以上のプロセッサデバイスでよい。少なくとも一つのプロセッサデバイスは、典型的には、CPU(Central Processing Unit)のようなマイクロプロセッサデバイスでよいが、GPU(Graphics Processing Unit)のような他種のプロセッサデバイスでもよい。少なくとも一つのプロセッサデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサデバイスは、プロセッサコアでもよい。少なくとも一つのプロセッサデバイスは、処理の一部又は全部を行うハードウェア記述言語によりゲートアレイの集合体である回路(例えばFPGA(Field-Programmable Gate Array)、CPLD(Complex Programmable Logic Device)又はASIC(Application Specific Integrated Circuit))といった広義のプロセッサデバイスでもよい。
また、以下の説明では、「xxxデータベース」といった表現にて、入力に対して出力が得られる情報を説明することがあるが、当該情報は、どのような構造のデータでもよいし(例えば、構造化データでもよいし非構造化データでもよいし)、入力に対する出力を発生するニューラルネットワーク、遺伝的アルゴリズムやランダムフォレストに代表されるような学習モデルでもよい。従って、「xxxデータベース」を「xxx情報」と言うことができる。また、以下の説明において、各データベースの構成は一例であり、一つのデータベースは、二つ以上のデータベースに分割されてもよいし、二つ以上のデータベースの全部又は一部が一つのデータベースであってもよい。
また、以下の説明では、「yyy部」の表現にて機能を説明することがあるが、機能は、一つ以上のコンピュータプログラムがプロセッサによって実行されることで実現されてもよいし、一つ以上のハードウェア回路(例えばFPGA又はASIC)によって実現されてもよいし、それらの組合せによって実現されてもよい。プログラムがプロセッサによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び/又はインターフェース装置等を用いながら行われるため、機能はプロセッサの少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配付計算機又は計算機が読み取り可能な記憶媒体(例えば非一時的な記憶媒体)であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。
また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号のうちの共通符号を使用し、同種の要素を区別する場合は、参照符号を使用することがある。
以下、一実施形態を説明する。
図1A~図1Cが示すように、本実施形態において、「指により対象物に加圧された状態での手の移動を含む所定の動作を必要とする作業」は、CVケーブル115から規定寸法の絶縁層を露出するためにCVケーブル115から外部半導電層を削り取る作業であり、「対象物」が、CVケーブル115である。なお、図1Aは、削り取り作業の開始前の現場の例を示す。図1Bは、削り取り作業の実行中の現場の例を示す。図1Cは、削り取り作業の終了後の現場の例を示す。
ここで、作業者と所定の作業の関係について説明する。所定の作業によって、加工対象物の品質がよい、加工時間が短い、加工に利用する工具等のツールの摩耗量が小さい等の作業結果を評価するパラメータがある。これらのパラメータの良い作業者は所定の作業の熟練している、または、経験が高いとされ、所定の作業に慣れた作業者であり、熟練者や指導者と呼ばれる、また、所定の作業の経験量が熟練者や指導者に比べて熟練していない、または、経験が浅い者を訓練生や被指導者と呼ぶ。訓練生や被指導者を、単に訓練生や被指導者と呼ぶ。
本実施形態では、第一の作業者の一例が、被指導者110である。第二の作業者の一例が、熟練者である。外部半導電層の削り取り作業全体について、一又は複数の熟練者が採用されてもよい。削り取り作業を構成する作業(具体的には、後述のステップ1削り、ステップ2削り及びステップ3削り)別に、一又は複数の熟練者が採用されてもよい。
外部半導電層の削り取り作業は、ミリ単位の幅での削りという繊細な動作を必要とするが、そのような動作が適切にデータに表れるよう、本実施形態では、センサセットを備えたセンサグローブ102が採用される。そして、センサグローブ102により計測された値を含むデータを受信し動作検知及び評価を行うモバイルPC(Personal Computer)150が備えられる。
センサセットは、複数のセンサであり、指により印加される圧力を計測する圧力センサと、手の加速度を計測する加速度センサとを含む。図1Bに示すように、このようなセンサグローブ102を手にはめて被指導者110が削り取り作業を行うことで、センサグローブ102により計測された値(圧力、角速度及び加速度等)を含むデータが得られ、このようなデータを含むセンシングデータを基にモバイルPC150により動作検知及び評価がされる。センサグローブ102は、片方の手(例えば利き手)にだけはめられてもよいし、両方の手にはめられてもよい。また、センサグローブ102に代えて、センサセットにおける各センサが、ウェアラブルセンサの一例として、手(例えば、指部や手の甲)に直接装着されてもよい。
モバイルPC150は、情報処理装置の一例である。モバイルPC150は、動作検知部及び動作比較部を有する。モバイルPC150は、汎用コンピュータを利用することができる。また、センサグローブ102が取得する情報の計算量が多い場合には、GPU(Graphics Processing Unit)やFPGA等を利用する計算機、センサグローブ102が取得したデータをクラウドサービスに送信しデータ分析等を行うよう実施してもよい。動作検知部は、センサグローブ102により計測された値を含むセンシングデータに基づいて動作を検知する。動作比較部は、被指導者110の評価のために、検知された動作に関し、第一の動作情報(被指導者110のセンシングデータから得られる動作情報)を第二の動作情報と比較し、比較の結果を基に評価を行う。「動作情報」については後述する。なお、モバイルPC150は、センサグローブ102からのデータに応答して(例えば、いわゆるリアルタイムで)、動作検知部が動作を検知し、検知された動作によっては、動作比較部が、当該動作の異常の有無を判定し、異常があれば、アラートが出力されてもよい。図1Bが示す例によれば、アラートの出力は、モバイルPC150による表示及び音出力、及び、センサグローブ102のLED点灯である。特に、音によるアラートの出力は、作業者が作業を継続しながら作業の良し悪しを知得できる。また、作業者の作業の良し悪しによって異なる音を出力すると作業者は作業中の作業をより良い作業へ調整できるため有効である。
本実施形態では、センサグローブ102により得られたデータの他に、カメラ101による撮影動作のデータがモバイルPC150に入力される。撮影は、固定撮影でも移動撮影でもよい。固定撮影が採用された場合、カメラ101は、図1Aに示すように、やぐらフレームに備えられてよい。移動撮影が採用された場合、カメラ101は、被指導者110(例えば、被指導者110がかぶるヘルメット)に備えられてよい。その他、画角が変更できるよう角度や倍率が変更できるカメラやレールや上に配置され自走手段が備えられたカメラを利用することもできる。撮影動画の画角は、被指導者110の視野の少なくとも一部、典型的には、被指導者110の手の全体又は一部(例えば指)を含む範囲でよい。また、本実施形態では、動画が採用されるが、動画に代えて又は加えて、静止画が採用されてもよい。
モバイルPC150は、被指導者110の評価を表す情報を含む情報である出力情報を表示する。出力情報は、少なくとも一つの撮影画像を含んでもよい。図1Cに示すように、削り取り作業の終了後(又は、削り取り作業を構成する複数の作業の各々の終了の都度)、指導者111が、モバイルPC150に表示された出力情報を被指導者110と共に見ながら被指導者110を指導する。出力情報は、通信ネットワークを介して、遠隔の指導者PC(指導者のPC)に表示されてもよい(詳細は後述)。
削り取り作業は、ステップ1削り、ステップ2削り及びステップ3削りという複数の作業で構成されている。削り取り作業のステップ数は、代表例として説明するものであり、工具や削り取り作業を行う対象をそれぞれ適したステップ数で実施してもよい。
ステップ1削りは、図2Aに示すように、外部半導電層202をCVケーブルの先端部分全周にわたり粗く削り取る作業である。この作業では、切削工具201を外部半導電層202に押し当てながら切削工具201を矢印一方向203に沿って一定距離繰り返し動かすといった反復動作がされる。一回の切削工具201のストロークでは、幅数mmで外部半導電層202が削られる。この作業により、図2Bに示すように、CVケーブルの先端部分にわたり絶縁層204が露出する。切削工具201の硬度は、外部半導電層202の部材のビッカース硬度よりも高い部材であることが望ましい。
ステップ2削りは、図2Bに示すように、CVケーブルの先端部分における基端を規定の寸法(例えば長手方向に数mm)の外部半導電層202とする作業である。ステップ2削りは、ステップ1削りより細かいストロークで削り取る作業である。この作業では、CVケーブルの先端部分における基端に切削工具201を押し当てながら切削工具201を矢印往復方向205に沿って返し往復させるといった反復動作がされる。一回の切削工具201の先端側から基端側へのストロークでは、幅数mmで外部半導電層202が削られる。
ステップ3削りは、図2Cに示すように、絶縁層204表面のステップ3削りである。この作業では、切削工具201を絶縁層204に押し当てながら切削工具201を矢印一方向206に沿って一定距離繰り返し動かすといった反復動作がされる。一回の切削工具201のストロークでは、幅数mmで絶縁層204が削られる。
以上のようなステップ1削り、ステップ2削り及びステップ3削りで構成された削り取り作業における動作を正確に検知するために、上述したセンサグローブ102が採用される。これらの削り取り作業は、カメラだけでは作業員の手の動きや切削工具201の動作である角度、移動距離、圧力を捉えることは困難であるため、センサグローブ102を利用することが有効である。また、作業員が切削工具201を先端側から基端側へ押し付け削り取るストロークの良し悪しにより外部半導電層202の表面の滑らかさに影響する。そのため、作業員の手から切削工具201へ印加される圧力や手の動作の慣性を取得することが作業員の作業を評価する際に重要な評価パラメータとなる。詳細な評価方法は後述する。
センサグローブ102は、図3A及び図3Bに示すように、圧力センサ302、マイクロフォン303及びモジュールデバイス301を備える。
圧力センサ302は、センサグローブ102の指先に備えられ、指により印加される圧力を計測する。例えば、センサグローブ102の親指、人差し指及び中指の指先に、圧力センサ302A~302Cが備えられる。
マイクロフォン303は、所定の位置に備えられる。例えば、親指の指先近傍にマイクロフォン303Aが備えられ、手首付近にマイクロフォン303Bが備えられる。マイクロフォン303は、手の周囲の音声を収集する。例えば、削り取り作業で通常とは異なる音が切削工具201等から発せられたときには、熟練者にアラートを通知や作業員の作業のチェックポイントとしてデータに別のフラグを立てることで、作業動作に異常があったことを後に確認することができる。
モジュールデバイス301は、センサグローブ102の甲に備えられる。モジュールデバイス301は、慣性センサ及び通信機を含む。慣性センサとして、少なくとも加速度センサが備えられる。本実施形態では、慣性センサとして、加速度センサの他に、ジャイロセンサ及び地磁気センサが備えられる。加速度センサは、手の動きに関する加速度を計測する。ジャイロセンサは、手の動きに関する角速度を検出する。ジャイロセンサは、手の向き(手の動きの方向)を検出する。通信機は、圧力センサ302、マイクロフォン303及び各慣性センサにより計測されたデータ(値)を含んだデータを、外部の装置(本実施形態では、モバイルPC150)に送信する。なお、本実施形態において、慣性センサの向きとして、指先から手首への方向である第1の方向と、小指から親指への方向であり第1の方向と直交する第2の方向と、手の平から手の甲への方向であり第1及び第2の方向と直交する第3の方向とがある。
このようなセンサグローブ102の通信機から受信したデータを含むセンシングデータを基に、モバイルPC150が動作検知及び評価を行う。センサグローブ102とモバイルPC150は、本実施形態では無線通信を行うが、無線通信に代えて有線通信が採用されてもよい。無線通信は、電波、赤外線、可視光、音波等のいずれの方式でもよく作業現場に応じて適宜利用しやすいものを選択することができる。
図4は、モバイルPC150を含む作業検知システムの全体構成を示す。
モバイルPC150は、通信インターフェース装置(通信I/F)401、入出力インターフェース装置(I/O-I/F)402、入力デバイス403、表示デバイス404、記憶装置405及びプロセッサ406を有する。インターフェース装置(通信I/F401及びI/O-I/F402)及び記憶装置405がプロセッサ406に接続される。
通信I/F401は、モバイルPC150の外部の装置、例えば、カメラ101、センサグローブ102及び外部システム450と通信する。通信I/F401において、カメラ101との通信のための通信インターフェースデバイス、センサグローブ102との通信のための通信インターフェースデバイス、及び、外部システム450との通信のための通信インターフェースデバイスは異なっていてもよいし、カメラ101、センサグローブ102及び外部システム450のうちの二つ以上の装置について通信インターフェースデバイスは共通でもよい。外部システム450は、モバイルPC150の外部の計算機システムでよく、例えば、遠隔のサーバ(例えば、クラウドコンピューティングサービスとしてのサーバ)でもよいし、上述の指導者PCでもよい。
I/O-I/F402は、プロセッサ406の入力デバイス403及び表示デバイス404に対する入出力を仲介する。
入力デバイス403は、キーボードやポインティングデバイスのようなユーザインターフェースデバイスである。表示デバイス404は、出力デバイスの一例であり、液晶ディスプレイのようなユーザインターフェースデバイスである。入力デバイス403及び表示デバイス404は、タッチパネルのように一体でもよい。
記憶装置405は、プロセッサ406により入出力される情報、及び、プロセッサ406により実行されるコンピュータプログラムを記憶する。情報として、例えば、蓄積データ410、検知対象データ411、評価方法データ412、評価データ413、習熟度管理データ414、被指導者管理データ415、動作評価データ416、品質評価データ417及び統合データ418がある。
プロセッサ406がコンピュータプログラムを実行することにより、データ受信部420、動作検知部421、動作比較部422、UI(User Interface)制御部423及び統合部424といった機能が実現される。
以下、データ410~418及び機能420~424を説明する。
データ受信部420が、カメラ101から撮影動画データを受信し、受信した撮影動画データを記憶装置405に格納する。また、データ受信部420が、センサグローブ102からデータを受信し、受信したデータを記憶装置405に格納する。カメラ101からの格納された撮影動画データ、及び、センサグローブ102からの格納されたデータを含んだデータが、蓄積データ410である。すなわち、蓄積データ410は、カメラ101からの撮影動画データと、センサグローブ102からのデータを含むセンシングデータとを含む。センシングデータは、圧力センサ302、マイクロフォン303、加速度センサ、ジャイロセンサ及び地磁気センサの各々について、当該センサにより計測された一つ以上の値(具体的には、計測された値の時系列)のデータを含む。
動作検知部421が、蓄積データ410を基に、被指導者110の動作を検知する。動作検知には、少なくともセンシングデータが使用される。検知対象の動作は、検知対象データ411に規定されている。検知対象データ411は、図5に示す通り、削り取り作業を構成する作業毎に、検知対象の動作と、当該動作がリアルタイム検知の対象か否かのフラグとを表す。一部の動作は、削り取り作業を構成する複数の作業のうちの二以上の作業のいずれについても検知対象である。例えば、動作「(8)切削工具の当て角変化」は、ステップ1削り、ステップ2削り及びステップ3削りのいずれについても検出対象である。また、図5が示す動作において、手の移動が繰り返えされる反復動作の例は、「(1)削りストロークの一定の速度変化」、「(4)規則的な動作」、及び「(7)一定圧力の印加」である。また、検知対象データ411において、リアルタイム検知のフラグがオンになっている動作は、センサグローブ102からのデータの受信に応答して異常の有無が判定される動作である。検知された動作に関し、異常の有無の判定は、動作比較部422により行われる。例えば、動作比較部422が、受信されたデータにおける所定の一種類以上の計測値と、各種計測値の閾値とを比較する。少なくとも一種類の計測値が閾値との関係から異常に該当する場合、動作比較部422がUI制御部423を通じてアラートを出力してよい。例えば、UI制御部423により、表示デバイス404にアラートを表示してもよいし、図示しないスピーカ(出力デバイスの一例)からアラートを音声出力してもよいし、外部システム450にアラートを出力してもよい。変形例のリアルタイム検知として、センサグローブ102のプロセッサ内で簡易なデータ処理を行うことで作業者の動作や工具等の動作の異常や異常の予兆等を検知することにより、センサグローブ102に別途備えられたマイクロフォンから音声を発するよう利用することもできる。この場合は、分析や評価に用いるPCを利用せずにセンサグローブ102をスタンドアロンで実施できる。
動作比較部422は、検知された動作に関し、第一の動作情報を第二の動作情報と比較し、比較の結果を基に評価を行い、当該評価を表す評価データ413を記憶装置405に格納する。本実施形態において、評価とは、スコアリングを含む。
ここで、「動作情報」とは、センシングデータから得られる情報である。動作情報は、検知された動作の種類に依存してよく、例えば、計測値の時系列としての波形、当該波形の一部、又は、計測値の時系列から得られた種々の値(例えば、ストローク回数)等を含んだ情報でよい。
「第一の動作情報」は、被指導者110のセンシングデータから得られる情報である。第一の動作情報と比較される「第二の動作情報」は、熟練者のセンシングデータから得られる情報(例えば、複数の熟練者の各々のセンシングデータから得られた情報を基に用意された情報)である。例えば、第二の動作情報は、削り取り作業を行う熟練者のセンサグローブ102から得られたデータを含むセンシングデータを基に用意されてよい。第二の動作情報は、比較対象の波形(計測値時系列)、波形の一部、又は、各種値(例えば、センシング回数)の閾値等を含んだ情報でよい。第二の動作情報は、例えば、評価方法データ412から特定されてよい。評価方法データ412は、例えば、削り取り作業を構成する作業毎に、当該作業に属する各検知対象動作について、第二の動作情報及び評価方法情報を有する。評価方法情報は、評価方法を表す。
動作検知方法、第一の動作情報、第二の動作情報及び評価方法情報は、検知対象の動作(及び、当該動作が属する作業)に依存する。上述したように、一部の動作(例えば、動作「(8)切削工具の当て角変化」)は、削り取り作業を構成する複数の作業のうちの二以上の作業のいずれについても検知対象であるが、同じ動作であっても、いずれの作業に属するかによって、作検知方法、第一の動作情報、第二の動作情報及び評価方法情報の少なくとも一部が異なっていてもよい。また、切削工具が作業者によって違う場合や切削工具の先端が切削工具ごとに異なる特性(尖り具合、テーパー等)を持つ場合には、切削工具の種類、切削工具の先端状態、切削工具の角度をそれぞれ検知してもよい。
以下、動作「(1)削りストロークの一定の速度変化」を例に取り、第一の動作情報、第二の動作情報及び評価方法の例を説明する。
削り取り作業のうちのステップ1削りについての動作の検知の場合、動作検知部421は、検知対象データ411から、ステップ1削りに対応した検知対象の動作を特定する。動作検知部421は、センシングデータのうち、加速度の時系列データから、特定された検知対象の動作のうちの動作「(1)削りストロークの一定の速度変化」を検知する。なお、削り取り作業のうちのいずれの作業が行われているかは、入力デバイス403から指定されてもよいし、センサグローブ102から指定されてもよいし、センシングデータを基に検知されてもよい。また、上述のように、検知対象の動作は、削り取り作業のうちのいずれの作業が行われているかに応じて、絞り込まれてよい。
動作比較部422は、被指導者110の加速度の時系列データ(波形データ)を、加速度のピーク値により複数の部分波形に切り分ける。部分波形は、ステップ1削りでの一つのストロークに対応する。部分波形は、一つのピーク値と、当該ピークの前後での最低値(つまり二つの最低値)とを有する。動作比較部422は、部分波形毎に、当該部分波形を、参照波形(三角形)と比較し、部分波形と参照波形との差分が差分閾値以下か否かを判定する。第一の動作情報は、複数の部分波形を含んだ情報でよく、第二の動作情報は、参照波形及び差分閾値を含んだ情報でよい。動作比較部422は、部分波形の総数と比較の結果とを基に、動作「(1)削りストロークの一定の速度変化」のスコアを付与してよい。ここで言う「比較の結果」は、合格波形(差分が差分閾値以下である部分波形)の割合又は数でよい。
作業者が熟練者であれば、図6Aに例示するように、動作「(1)削りストロークの一定の速度変化」について、部分波形の総数に対する合格波形の割合が高いことが期待される。一方、作業者が初級者であれば、図6Bに例示するように、部分波形の総数に対する合格波形の割合が低いことが期待される。なお、図6A及び図6Bにおいて、符号600は、部分波形の数に対する合格波形の割合が一定割合以下の時間帯を表す。
動作「(1)削りストロークの一定の速度変化」に対応した評価方法情報は、図7に例示するグラフを含む。当該グラフは、合格波形の割合とスコアとの関係を表すグラフである。動作比較部422は、被指導者110の合格波形の割合に対応するスコアを、当該グラフから特定し、特定されたスコアを、動作「(1)削りストロークの一定の速度変化」のスコアとして付与する。
以上が、動作「(1)削りストロークの一定の速度変化」についての第一の動作情報、第二の動作情報及び評価方法の例である。検知対象動作によっては、加速度センサ以外のセンサにより計測された値を含むデータが使用されてよい。例えば、ステップ2削りにおける動作「(5)削りカス除去動作」は、地磁気センサの時系列データを基に検知されてよい。
動作検知部421は、削り取り作業における作業毎に、蓄積データ410における少なくともセンシングデータを基に、当該作業に属する全ての検知対象動作を検知する。動作比較部422は、検知された動作毎に、当該動作について得られた第一の動作情報、第二の動作情報及び評価方法情報を基に、当該動作のスコアを付与する。検知された動作毎のスコアを評価データ413が含む。
評価データ413は、上述したように、作業別に各検知対象動作について付与されたスコアを含むデータである。評価データ413は、後述するように、作業別の各検知対象動作について付与されたスコアを基に特定された作業習熟度を表すデータも含む。動作比較部422は、スコアの基になった時系列データ(センシングデータの一部)に対応した時間帯の撮影動画を蓄積データ410から特定し、当該撮影動画を評価データ413に関連付けてよい。評価データ413の少なくとも一部を基に、UI制御部423が、評価UIを表示デバイス404(又は指導者PC)に表示する。評価UIは、評価結果を表すUI(典型的にはGUI(Graphical User Interface))である。評価UIは、削り取り作業全体について用意されてもよいし、削り取り作業を構成する作業毎に用意されてもよいし、作業と検知対象動作との組毎に用意されてもよい。図8に例示するように、評価UI800は、時間軸801と、時間軸801における指定時点での撮影動画802とを表す。また、評価UI800は、符号803に、スコアが一定値より低い評価項目等について、時間軸801における該当時点に関し、助言を表すコメントが表示されてもよい。また、評価UI800は、符号804が示すように、評価UI800が対象とする作業全体について、検知対象動作毎に、付与されたスコアと計測値(加速度等)の時系列とを表す。また、評価UI800は、符号805が示すように、スコア合計を表す。スコア合計に加えて、設定Xとして、特定された作業習熟度(例えば「初級」)や、設定Yとして、作業習熟度に対するスコア合計の評価(例えば「合格」)も表示されてよい。
再び図4を参照する。
習熟度管理データ414は、異なる複数のスコア範囲の各々について当該スコア範囲に対応した作業習熟度を表すデータである。動作比較部422は、付与されたスコアを記憶装置405に格納し、当該スコアが属するスコア範囲に対応した作業習熟度を特定し、特定された作業習熟度を評価データ413に含めてよい。ここで言う「スコア範囲」は、削り取り作業全体について用意されてもよいし、削り取り作業を構成する作業毎に用意されてもよいし、作業と検知対象動作との組毎に用意されてもよい。また、スコア範囲と比較される「スコア」は、付与されたスコアの累積値や平均値といったスコア統計値でよい。
被指導者管理データ415は、被指導者毎の情報(例えば、被指導者のID)を含んだデータである。評価データ413に、被指導者110の情報の少なくとも一部(例えば、ID)が含まれてもよい。
動作評価データ416は、評価データ413から統合部424により得られた所定フォーマットのデータある。ここで言う「所定フォーマット」は、被指導者110のIDと、削り取り作業を構成する作業毎に各検知対象動作とを項目として含んだフォーマットでよい。動作評価データ416は、被指導者110のIDと、削り取り作業を構成する作業毎に各検知対象動作の動作評価結果(例えば、スコア)を含んでいてよい。動作評価データ416は、被指導者毎に存在してよい。
品質評価データ417は、上記所定フォーマットと同じフォーマットで品質を表すデータでよい。具体的には、例えば、品質評価データ417は、被指導者110のIDと、削り取り作業を構成する作業毎に各検知対象動作の品質評価結果(例えば、A、B及びCの3段階)とを含んでよい。品質評価結果は、指導者111から入力されてもよいし、撮影動画の解析結果を基に自動入力されてもよい。品質評価データ417は、被指導者毎に存在してよい。
統合データ418は、動作評価データ416と品質評価データ417が統合部424により統合されたデータである。例えば、統合部424は、入力デバイス403から入力された被指導者IDをキーに、動作評価データ416と品質評価データ417を特定し、特定された動作評価データ416と品質評価データ417を統合する。これにより、削り取り作業を構成する作業毎に各検知対象動作について、一の統合データ418において、動作評価結果に対して品質評価結果が関連付けられ、動作評価結果と品質評価結果の両方の管理が可能である。
以上の説明を、例えば下記のように総括することができる。下記の総括は、上述の説明の補足及び変形例の説明を含んでよい。
指により印加される圧力を計測する圧力センサ302と作業者の手の加速度を計測する加速度センサとを含んだセンサセットが作業者の手に身に付けられる。実施形態では、センサセットと通信機とを備えたセンサグローブ102が作業者の手にはめられる。作業者は、の被指導者110(第一の作業者の一例)であることもあれば、熟練者(第二の作業者の一例)であることもあり得る。後者が作業者の場合、一以上の熟練者のセンシングデータを基に第二の動作情報が用意され、当該第二の動作情報が、第一の作業者の動作情報と比較されることになってよい。
作業検知システムは、上述した機能420~424のうち、少なくとも動作検知部421及び動作比較部422を備える。実施形態では、作業検知システムは、センサセット(一例がセンサグローブ102)と情報処理装置(一例がモバイルPC150)とを備えるが、センサセットが作業検知システムでもよいし(例えばセンサグローブ102が蓄積データ410を記憶し動作検知部421及び動作比較部422を備えてもよい)。また、動作検知部421及び動作比較部422の少なくとも一部が情報処理装置により実現されてよく、情報処理装置は、センサセットと近距離無線通信又は他種の通信が可能なローカルの又は遠隔の物理的な計算機システム(一つ以上の物理的な計算機)でもよいし、物理的な計算機システム(例えばクラウド基盤)に基づく論理的な計算機システム(例えば、クラウドコンピューティングサービス)でもよい。
動作検知部421は、センサセットにより計測された圧力及び加速度を含むセンシングデータに基づいて被指導者110の作業における動作を検知する。動作比較部422は、被指導者110の評価のために、検知された動作に関し、第一の動作情報(被指導者110のセンシングデータから得られる動作情報)を第二の動作情報と比較する。
これにより、指により対象物(一例がCVケーブル115)に加圧された状態での手の移動を含む所定の動作を必要とする作業の技能の習得を支援することができる。なお、動作検知は、例えば次のように行われてよい。すなわち、例えば、検知対象動作毎に、センシングデータにおける計測値時系列のパタン又は特徴等の動作メタ情報が用意されていて(例えば、検知対象動作毎の動作メタ情報は評価方法データ412に含まれていて)、動作検知部421は、被指導者110のセンシングデータから得られる動作メタ情報との類似度が所定値以上である動作メタ情報に対応した検知対象動作を、検知してよい。
第一の動作情報の第二の動作情報との差分が所定の範囲を超える場合に、動作比較部422は、当該差分が所定の範囲を超えていることを検知してよい。これにより、被指導者110の作業の良し悪しを判定することが可能である。
所定の動作は、手の移動が繰り返えされる反復動作でよい。このため、反復動作(例えば、ミリ単位の幅での削りといった繊細な反復動作)を正確に検知し当該動作を含んだ作業(一例が削り取り作業)を適切に評価することが期待できる。
動作検知部421は、センシングデータから特定される圧力、速度、加速度、角度、角速度、移動距離及び地磁気のうちの少なくとも一つに基づき、所定の動作を検知してよい。これにより、所定の動作の検知精度の向上が期待される。
作業検知システムが、UI制御部423を備えてよい。UI制御部423は、上記比較の結果に基づく評価を表す情報を含む情報である出力情報を被指導者110向けに又は被指導者110の指導者向けに出力する。被指導者110向けの出力情報(例えば評価UI)が出力された場合、被指導者110の自己訓練が可能である。指導者向けの出力情報が出力された場合、指導者が、当該出力情報から被指導者110の状況(例えば、習熟度を高めるための課題)を把握し、被指導者110に何を指導したらよいかを特定することが可能である。例えば、UI制御部423は、被指導者110の指導者向けの出力情報の出力に応答して、被指導者110への指導を表す情報である指導情報の入力を受け付け、当該入力された指導情報を含む被指導者110向けの出力情報を被指導者110向けに出力してよい。このように、指導者から被指導者110への指導の支援をすることができる。
第二の動作情報は、被指導者110よりも反復動作に熟練した作業者である第二の作業者の動作情報であってよい。動作比較部422は、センシングデータから反復動作の第一の動作情報を特定してよい。動作比較部422は、第一の動作情報を第二の動作情報と比較した結果と、所定の評価方法とに基づいて、被指導者110にスコアを付与してよい。被指導者110の作業の評価は、当該付与されたスコアに基づいてよい。これにより、作業について定量的な技能チェックが可能となる。
動作比較部422は、一つ以上の評価項目の各々についてスコアを付与してよい。付与されたスコアが所定のスコアよりも低い評価項目があれば、UI制御部423により出力される出力情報は、当該評価項目を表す情報と、当該付与されたスコアが所定のスコアよりも低い要因を表す情報とを含んでよい。これにより、被指導者110の動作が適切に改善され、以って、作業習熟の促進が期待される。なお、要因を表す情報の出力は、例えば次のように実現されてよい。評価方法データ412が、検知対象動作毎(又は、削り取り作業を構成する作業毎)に、所定のスコア(スコア閾値)と、所定のスコアよりスコアが低くなる一つ以上のケースの各々を表す情報(例えば、計測値時系列の特徴を表す情報)と、ケース毎にスコアが所定のスコアより低くなる考えられる要因を表す情報(例えば、テキストメッセージ)とを含んでいてよい。動作比較部422が、第一の動作情報や上記比較の結果を基に、該当し得る要因を評価方法データ412から特定し、特定された要因を表す情報を含んだ出力情報が出力されてよい。なお、出力情報が表す要因は、主要因でよく、主要因は、該当し得る一つ又は複数の要因のうち、占める割合が最も大きい要因でよい。例えば、主要因は、一つ以上の評価項目のうち目標スコアとの乖離が最も大きいスコアが付与された評価項目に対応した要因でよい。検知対象動作毎に、評価項目の目標スコアを表す情報が、評価方法データ412に含まれていてよい。
動作検知部421は、センシングデータを基に、反復動作とは異なる動作を検知してよい。これにより、動作比較部422による評価の精度の向上が期待される。なお、異なる動作は、反復動作と反復動作との間の動作でよい。例えば、一連の反復動作において、反復動作が中断されて異なる動作がされて反復動作が再開された場合、反復動作と反復動作との間にされた異なる動作が検知されてよい。異なる動作の具体例は、切削工具201(加工器具の一例)を取り換える、汗をぬぐう等でよい。異なる動作の検知は、例えば、異なる動作の計測値時系列の特徴を表す情報が用意されていて、センシングデータからそのような特徴との類似度が高い計測値時系列が特定されることが、異なる動作の検知でよい。また、異なる動作は、センシングデータのうち、反復動作に対応したセンシングデータ部分との相関が所定値より低いセンシングデータ部分に対応した動作でよい。これにより、異なる動作を精度良く検知することが期待される。
動作比較部422は、所定時間内に異なる動作が発生した比率または回数に基づいて、被指導者110にスコアを付与してよい。これにより、付与されるスコアの精度の向上が期待される。例えば、スコアは、反復動作の良し悪し、非反復動作(繰り返えしが無い動作)の発生割合、発生回数及び発生時間長の少なくとも一つに基づいてよい。
異なる複数のスコア範囲の各々に、当該スコア範囲に対応した作業習熟度が関連付けられていて、UI制御部423により出力される出力情報は、複数のスコア範囲のうち付与されたスコアが属するスコア範囲に対応した作業習熟度を表す情報を含んでよい。これにより、被指導者110の作業習熟度の推定が可能である。
また、異なる複数の作業習熟度の各々について、当該作業習熟度に対応した一つ以上の評価項目があってよい。所定の評価方法は、被指導者110の作業習熟度に対応した一つ以上の評価項目の各々についてスコアを付与することを含んでよい。被指導者110の作業習熟度は、付与されたスコアが属するスコア範囲に対応した作業習熟度でよい。これにより、被指導者110の作業習熟度に応じた評価や作業習熟支援が期待される。
動作検知部421は、動作の特定に、被指導者110による作業の一つ以上の撮影画像のデータを用いてよい。これにより、動作特定の精度向上が期待される。
動作比較部422は、第一の動作情報を第二の動作情報と比較することに加えて、第一の状態情報を第二の状態情報と比較することを行ってよい。第一の状態情報は、被指導者110の反復動作の結果としての対象物の状態を表す情報でよい。第二の状態情報は、対象物の状態を表し第一の状態情報と比較される情報でよい。対象物の状態という動作結果(言い換えれば品質)も被指導者110の評価観点の一つとされ、故に、評価精度の向上が期待される。第一及び第二の状態情報のいずれも手入力されてよい。第一の状態情報が表す状態は、被指導者110による作業の一つ以上の撮影画像のデータを基に特定された状態でよい。これにより、第一の状態情報の人手による入力負担を削減することができる。
作業検知システムが、統合部424を備えてよい。統合部424は、付与されたスコアを、被指導者110の作業の結果としての対象物の状態を表すスコアと関連付けてよい。出力情報は、被指導者110に付与されたスコアと被指導者110の作業の結果としての対象物の状態を表すスコアとを表す情報を含んでよい。これにより、動作とその結果としての品質とを一元管理することが可能である。例えば、動作評価データ416は、動作のスコアを表す情報を含み、品質評価データ417は、品質のスコア(例えば、A、B及びCの3段階のスコア)を表す情報を含み、統合部424は、動作評価データ416が表す動作スコアと品質評価データ417が表す品質スコアとを関連付けた統合データ418を生成し、UI制御部423により統合データ418が表示されてもよい。
UI制御部423により出力される出力情報は、第一の動作情報のうち第二の動作情報との乖離が一定度合以上の項目について改善のための助言を表す情報を含んでよい。これにより、作業習熟の一層の支援がされる。なお、助言を表す情報は、例えば、評価方法データ412に、検知対象動作毎に含まれていてよい。
所定の動作は、指により切削工具201がCVケーブル115に加圧された状態での手の繰り返しの移動を含む反復動作でよい。異なる動作は、切削工具201の向きを変える動作でよい。動作比較部422は、所定の動作開始からの経過時間と、所定時間内に異なる動作が発生した比率または回数とに基づいて、被指導者110を評価してよい。これにより、切削工具201の向きを変える動作頻度という観点から被指導者110の作業習熟度を適切に評価することが期待される。例えば、反復動作を開始してから短い時間内に切削工具201の向きを変える動作が頻繁に行われる場合、評価は低くてよく、反復動作を開始してから長い時間経過した後に切削工具201の向きを変える動作が頻繁に行われる場合、評価は低くなくてよい。なぜなら、反復動作の開始からの経過時間が短い場合、切削工具201の消耗度合は小さいため、切削工具201の向きを変える動作の頻度は少なくて済み、一方、反復動作の開始からの経過時間が長い場合、切削工具201が消耗し、切削工具201の向きを変える動作頻度は増えるためである。なお、切削工具201は、摩耗等の消耗が生じる加工器具の一例でよい。また、異なる動作が多い場合には、作業員が業務に従事する時間のうち、削り出し作業に利用される時間が相対的に少なくなるため、作業員の作業に寄与する時間が少ないものとして評価が低くなるよう評価してもよい。
外部半導電層の削り取り作業は、複数の作業から構成されているが、動作検知部421は、被指導者110が上記複数の作業のうちのいずれの作業を行っているかを表す情報を基に、被指導者110の動作を検知してよい。複数の作業のうちの二以上の作業において同一の動作が検知され得る。動作比較部422は、被指導者110が上記複数の作業のうちのいずれの作業を行っているかを表す情報を基に、検知された動作が、いずれの作業に属する動作であるかを特定してよい。動作比較部422は、当該検知された動作に関する第一の動作情報を、当該検知された動作が属する作業がいずれの作業であるかに応じた第二の動作情報と比較してよい。これにより、検知された動作がいずれの作業に属するかに応じた適切な評価が可能である。
以上、一実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実行することが可能である。
その他、上記した実施形態は、作業員が切削工具や研磨部材等を用いて加工対象物を加工する作業に対して実施可能である。例えば、大工作業として木材の表面を鉋で削る作業にも適用可能であり、作業員が木材の表面を第一の位置から第二の位置へ向かって移動させる繰り返し作業と鉋の刃物の交換作業が異なる作業を検知することができる。また、回転する金属に工具を当てて形状を変化させる、いわゆるヘラ絞りにも適用できる。つまり、作業員が加工対象の金属の第一の位置から第二の位置へヘラを押し当てながら移動させる繰り返す作業と作業員がヘラの角度を変更または加工対象の金属に押し当てることによってヘラの表面形状の変化を確認や加工対象の金属の形状を確認する等の異なる作業を検知することができる。その他、ガラスレンズの球面の真球度を高める磨き作業にも適用できる。作業員が回転するガラスレンズに磨きを行う際に布等を押し付けながら一定量の手を動作させる作業が繰り返し動作であり、ガラスレンズに接触させる布の位置を変更、表面粗さや硬さが異なる布への変更、布に研磨剤を含浸させる作業、切削油を注油する作業、作業員がガラスレンズの状態を目視で確認する作業が代表的な異なる作業である。
上述の実施の形態は、上記したように外部半導体層の削り取り作業以外であっても実施でき、作業員が工具やツールを加工対象に対して繰り返し行う作業と繰り返し行う作業との間に行われる異なる動作を有する工程の評価や作業状態の検知に利用可能である。
102:センサグローブ 150:モバイルPC

Claims (23)

  1. 指により対象物に加圧された状態での手の移動を含む所定の動作を必要とする作業を行う第一の作業者の指により印加される圧力を計測する圧力センサと前記第一の作業者の手の加速度を計測する加速度センサとを含んだセンサセットと、
    前記センサセットにより計測された圧力及び加速度を含むセンシングデータに基づいて前記作業における動作を検知する動作検知部と、
    前記第一の作業者の評価のために、前記検知された動作に関し、前記第一の作業者のセンシングデータから得られる動作情報である第一の動作情報を第二の動作情報と比較する動作比較部と
    を備え、
    前記作業は、CVケーブルから規定寸法の絶縁層を露出するために前記CVケーブルから外部半導電層を削り取る作業であり、
    前記対象物は、CVケーブルであり、
    前記センサセットは、手にはめられるグローブに設けられており、
    前記所定の動作は、前記指により切削工具が前記CVケーブルに加圧された状態での手の繰り返しの移動を含む反復動作であり、
    前記動作検知部は、前記センシングデータを基に、前記反復動作とは異なる動作を検知し、
    前記異なる動作は、切削工具の向きを変える動作であり、
    前記動作比較部は、前記所定の動作開始からの経過時間と、所定時間内に前記異なる動作が発生した比率または回数とに基づいて、前記第一の作業者を評価する、
    ことを特徴とする作業検知システム。
  2. 指により対象物に加圧された状態での手の移動を含む所定の動作を必要とする作業を行う第一の作業者の指により印加される圧力を計測する圧力センサと前記第一の作業者の手の加速度を計測する加速度センサとを含んだセンサセットと、
    前記センサセットにより計測された圧力及び加速度を含むセンシングデータに基づいて前記作業における動作を検知する動作検知部と、
    前記第一の作業者の評価のために、前記検知された動作に関し、前記第一の作業者のセンシングデータから得られる動作情報である第一の動作情報を第二の動作情報と比較する動作比較部と
    を備え、
    前記作業は、CVケーブルから規定寸法の絶縁層を露出するために前記CVケーブルから外部半導電層を削り取る作業であり、
    前記対象物は、CVケーブルであり、
    前記センサセットは、手にはめられるグローブに設けられており、
    外部半導電層の削り取り作業は、複数の作業から構成されており、
    前記動作検知部は、前記第一の作業者が前記複数の作業のうちのいずれの作業を行っているかを表す情報を基に、前記第一の作業者の動作を検知し、
    前記複数の作業のうちの二以上の作業において同一の動作が検知され、
    前記動作比較部は、
    前記第一の作業者が前記複数の作業のうちのいずれの作業を行っているかを表す情報を基に、前記検知された動作が、いずれの作業に属する動作であるかを特定し、
    当該検知された動作に関する第一の動作情報を、当該検知された動作が属する作業がいずれの作業であるかに応じた第二の動作情報と比較する、
    ことを特徴とする作業検知システム。
  3. 指により対象物に加圧された状態での手の移動を含む所定の動作を必要とする作業を行う第一の作業者の指により印加される圧力を計測する圧力センサと前記第一の作業者の手の加速度を計測する加速度センサとを含んだセンサセットと、
    前記センサセットにより計測された圧力及び加速度を含むセンシングデータに基づいて前記作業における動作を検知する動作検知部と、
    前記第一の作業者の評価のために、前記検知された動作に関し、前記第一の作業者のセンシングデータから得られる動作情報である第一の動作情報を第二の動作情報と比較する動作比較部と
    を備え
    前記動作検知部は、前記センシングデータを基に、反復動作とは異なる動作を検知し、
    前記動作比較部は、所定時間内に前記異なる動作が発生した比率または回数に基づいて、前記第一の作業者にスコアを付与し、
    前記異なる動作は、前記センシングデータのうち、前記反復動作に対応したセンシングデータ部分との相関が所定値より低いセンシングデータ部分に対応した動作である、
    ことを特徴とする作業検知システム。
  4. 請求項に記載の作業検知システムにおいて、
    前記第一の動作情報の前記第二の動作情報との差分が所定の範囲を超える場合に、前記動作比較部は、前記差分が前記所定の範囲を超えていることを検知する、
    ことを特徴とする作業検知システム。
  5. 請求項に記載の作業検知システムにおいて、
    前記所定の動作は、前記手の移動が繰り返えされる反復動作である、
    ことを特徴とする作業検知システム。
  6. 請求項に記載の作業検知システムにおいて、
    前記動作検知部は、前記センシングデータから特定される圧力、速度、加速度、角度、角速度、移動距離、音声及び地磁気のうちの少なくとも一つに基づき、前記所定の動作を検知する、
    ことを特徴とする作業検知システム。
  7. 請求項に記載の作業検知システムにおいて、
    前記比較の結果に基づく評価を表す情報を含む情報である出力情報を前記第一の作業者向けに又は前記第一の作業者の指導者向けに出力するユーザインタフェース制御部、
    を更に備えることを特徴とする作業検知システム。
  8. 請求項に記載の作業検知システムにおいて、
    前記第二の動作情報は、前記第一の作業者よりも前記反復動作に熟練した作業者である第二の作業者の動作情報であって、
    前記動作比較部は、
    前記センシングデータから前記反復動作の第一の動作情報を特定し、
    当該特定された第一の動作情報を前記第二の動作情報と比較した結果と、所定の評価方法とに基づいて、前記第一の作業者にスコアを付与し、
    前記第一の作業者の作業の評価は、当該付与されたスコアに基づく、
    ことを特徴とする作業検知システム。
  9. 請求項に記載の作業検知システムにおいて、
    前記比較の結果に基づく評価を表す情報を含む情報である出力情報を前記第一の作業者向けに又は前記第一の作業者の指導者向けに出力するユーザインタフェース制御部、
    を更に備え、
    前記動作比較部は、一つ以上の評価項目の各々についてスコアを付与し、
    付与されたスコアが所定のスコアよりも低い評価項目があれば、前記出力情報は、当該評価項目を表す情報と、当該付与されたスコアが前記所定のスコアよりも低い要因を表す情報とを含む、
    ことを特徴とする作業検知システム。
  10. 請求項に記載の作業検知システムにおいて、
    前記比較の結果に基づく評価を表す情報を含む情報である出力情報を前記第一の作業者向けに又は前記第一の作業者の指導者向けに出力するユーザインタフェース制御部、
    を更に備え、
    異なる複数のスコア範囲の各々に、当該スコア範囲に対応した作業習熟度が関連付けられており、
    前記出力情報は、前記複数のスコア範囲のうち前記付与されたスコアが属するスコア範囲に対応した作業習熟度を表す情報を含む、
    ことを特徴とする作業検知システム。
  11. 請求項に記載の作業検知システムにおいて、
    前記動作検知部は、動作の特定に、前記第一の作業者による作業の一つ以上の撮影画像のデータを用いる、
    ことを特徴とする作業検知システム。
  12. 請求項に記載の作業検知システムにおいて、
    前記動作比較部は、前記第一の動作情報を前記第二の動作情報と比較することに加えて、第一の状態情報を第二の状態情報と比較することを行い、
    前記第一の状態情報は、前記第一の作業者の前記反復動作の結果としての前記対象物の状態を表す情報であり、
    前記第二の状態情報は、前記対象物の状態を表し前記第一の状態情報と比較される情報である、
    ことを特徴とする作業検知システム。
  13. 請求項12に記載の作業検知システムにおいて、
    前記第一の状態情報が表す状態は、前記第一の作業者による作業の一つ以上の撮影画像のデータを基に特定された状態である、
    ことを特徴とする作業検知システム。
  14. 請求項に記載の作業検知システムにおいて、
    前記ユーザインタフェース制御部は、
    前記第一の作業者の指導者向けの出力情報の出力に応答して、前記第一の作業者への指導を表す情報である指導情報の入力を受け付け、
    当該入力された指導情報を含む前記第一の作業者向けの出力情報を前記第一の作業者向けに出力する、
    ことを特徴とする作業検知システム。
  15. 請求項に記載の作業検知システムにおいて、
    前記比較の結果に基づく評価を表す情報を含む情報である出力情報を前記第一の作業者向けに又は前記第一の作業者の指導者向けに出力するユーザインタフェース制御部と、
    統合部と
    を更に備え、
    前記動作比較部は、前記第一の動作情報を前記第二の動作情報と比較した結果と、所定の評価方法とに基づいて、前記第一の作業者にスコアを付与し、
    前記統合部は、当該付与されたスコアを、前記第一の作業者の作業の結果としての前記対象物の状態を表すスコアと関連付け、
    前記出力情報は、前記第一の作業者に付与されたスコアと、前記第一の作業者の作業の結果としての前記対象物の状態を表すスコアとを表す情報を含む、
    ことを特徴とする作業検知システム。
  16. 請求項に記載の作業検知システムにおいて、
    前記動作比較部は、前記第一の動作情報を前記第二の動作情報と比較した結果と、前記第一の作業者の作業習熟度と、所定の評価方法とに基づいて、前記第一の作業者にスコアを付与し、
    異なる複数のスコア範囲の各々に、当該スコア範囲に対応した作業習熟度が関連付けられており、
    異なる複数の作業習熟度の各々について、当該作業習熟度に対応した一つ以上の評価項目があり、
    前記所定の評価方法は、前記第一の作業者の作業習熟度に対応した一つ以上の評価項目の各々についてスコアを付与することを含み、
    前記第一の作業者の作業習熟度は、前記第一の作業者に付与されたスコアが属するスコア範囲に対応した作業習熟度である、
    ことを特徴とする作業検知システム。
  17. 請求項に記載の作業検知システムにおいて、
    前記比較の結果に基づく評価を表す情報を含む情報である出力情報を前記第一の作業者向けに出力するユーザインタフェース制御部、
    を更に備え、
    前記出力情報は、前記第一の動作情報のうち前記第二の動作情報との乖離が一定度合以上の項目について改善のための助言を表す情報を含む、
    ことを特徴とする作業検知システム。
  18. 指により対象物に加圧された状態での手の移動を含む所定の動作を必要とする作業を行う第一の作業者の指により印加される圧力を計測する圧力センサと前記第一の作業者の手の加速度を計測する加速度センサとを含んだセンサセットにより計測された圧力及び加速度を含むセンシングデータに基づいて前記作業における動作を検知する動作検知部と、
    前記第一の作業者の評価のために、前記検知された動作に関し、前記第一の作業者のセンシングデータから得られる動作情報である第一の動作情報を第二の動作情報と比較する動作比較部と
    を備え
    前記作業は、CVケーブルから規定寸法の絶縁層を露出するために前記CVケーブルから外部半導電層を削り取る作業であり、
    前記対象物は、CVケーブルであり、
    前記センサセットは、手にはめられるグローブに設けられており、
    前記所定の動作は、前記指により切削工具が前記CVケーブルに加圧された状態での手の繰り返しの移動を含む反復動作であり、
    前記動作検知部は、前記センシングデータを基に、前記反復動作とは異なる動作を検知し、
    前記異なる動作は、切削工具の向きを変える動作であり、
    前記動作比較部は、前記所定の動作開始からの経過時間と、所定時間内に前記異なる動作が発生した比率または回数とに基づいて、前記第一の作業者を評価する、
    ことを特徴とする作業検知装置。
  19. 指により対象物に加圧された状態での手の移動を含む所定の動作を必要とする作業を行う第一の作業者の指により印加される圧力を計測する圧力センサと前記第一の作業者の手の加速度を計測する加速度センサとを含んだセンサセットにより計測された圧力及び加速度を含むセンシングデータに基づいて前記作業における動作を検知する動作検知部と、
    前記第一の作業者の評価のために、前記検知された動作に関し、前記第一の作業者のセンシングデータから得られる動作情報である第一の動作情報を第二の動作情報と比較する動作比較部と
    を備え、
    前記作業は、CVケーブルから規定寸法の絶縁層を露出するために前記CVケーブルから外部半導電層を削り取る作業であり、
    前記対象物は、CVケーブルであり、
    前記センサセットは、手にはめられるグローブに設けられており、
    外部半導電層の削り取り作業は、複数の作業から構成されており、
    前記動作検知部は、前記第一の作業者が前記複数の作業のうちのいずれの作業を行っているかを表す情報を基に、前記第一の作業者の動作を検知し、
    前記複数の作業のうちの二以上の作業において同一の動作が検知され、
    前記動作比較部は、
    前記第一の作業者が前記複数の作業のうちのいずれの作業を行っているかを表す情報を基に、前記検知された動作が、いずれの作業に属する動作であるかを特定し、
    当該検知された動作に関する第一の動作情報を、当該検知された動作が属する作業がいずれの作業であるかに応じた第二の動作情報と比較する、
    ことを特徴とする作業検知装置。
  20. 指により対象物に加圧された状態での手の移動を含む所定の動作を必要とする作業を行う第一の作業者の指により印加される圧力を計測する圧力センサと前記第一の作業者の手の加速度を計測する加速度センサとを含んだセンサセットにより計測された圧力及び加速度を含むセンシングデータに基づいて前記作業における動作を検知する動作検知部と、
    前記第一の作業者の評価のために、前記検知された動作に関し、前記第一の作業者のセンシングデータから得られる動作情報である第一の動作情報を第二の動作情報と比較する動作比較部と
    を備え、
    前記動作検知部は、前記センシングデータを基に、反復動作とは異なる動作を検知し、
    前記動作比較部は、所定時間内に前記異なる動作が発生した比率または回数に基づいて、前記第一の作業者にスコアを付与し、
    前記異なる動作は、前記センシングデータのうち、前記反復動作に対応したセンシングデータ部分との相関が所定値より低いセンシングデータ部分に対応した動作である、
    ことを特徴とする作業検知装置。
  21. コンピュータが、指により対象物に加圧された状態での手の移動を含む所定の動作を必要とする作業を行う第一の作業者の指により印加される圧力を計測する圧力センサと前記第一の作業者の手の加速度を計測する加速度センサとを含んだセンサセットにより計測された圧力及び加速度を含むセンシングデータに基づいて前記作業における動作を検知する動作検知ステップと
    コンピュータが、前記第一の作業者の評価のために、前記検知された動作に関し、前記第一の作業者のセンシングデータから得られる動作情報である第一の動作情報を第二の動作情報と比較する動作比較ステップと
    を有し
    前記作業は、CVケーブルから規定寸法の絶縁層を露出するために前記CVケーブルから外部半導電層を削り取る作業であり、
    前記対象物は、CVケーブルであり、
    前記センサセットは、手にはめられるグローブに設けられており、
    前記所定の動作は、前記指により切削工具が前記CVケーブルに加圧された状態での手の繰り返しの移動を含む反復動作であり、
    前記動作検知ステップでは、前記センシングデータを基に、前記反復動作とは異なる動作を検知し、
    前記異なる動作は、切削工具の向きを変える動作であり、
    前記動作比較ステップでは、前記所定の動作開始からの経過時間と、所定時間内に前記異なる動作が発生した比率または回数とに基づいて、前記第一の作業者を評価する、
    ことを特徴とする作業検知方法。
  22. コンピュータが、指により対象物に加圧された状態での手の移動を含む所定の動作を必要とする作業を行う第一の作業者の指により印加される圧力を計測する圧力センサと前記第一の作業者の手の加速度を計測する加速度センサとを含んだセンサセットにより計測された圧力及び加速度を含むセンシングデータに基づいて前記作業における動作を検知する動作検知ステップと、
    コンピュータが、前記第一の作業者の評価のために、前記検知された動作に関し、前記第一の作業者のセンシングデータから得られる動作情報である第一の動作情報を第二の動作情報と比較する動作比較ステップと
    を有し、
    前記作業は、CVケーブルから規定寸法の絶縁層を露出するために前記CVケーブルから外部半導電層を削り取る作業であり、
    前記対象物は、CVケーブルであり、
    前記センサセットは、手にはめられるグローブに設けられており、
    外部半導電層の削り取り作業は、複数の作業から構成されており、
    前記動作検知ステップでは、前記第一の作業者が前記複数の作業のうちのいずれの作業を行っているかを表す情報を基に、前記第一の作業者の動作を検知し、
    前記複数の作業のうちの二以上の作業において同一の動作が検知され、
    前記動作比較ステップでは、
    前記第一の作業者が前記複数の作業のうちのいずれの作業を行っているかを表す情報を基に、前記検知された動作が、いずれの作業に属する動作であるかを特定し、
    当該検知された動作に関する第一の動作情報を、当該検知された動作が属する作業がいずれの作業であるかに応じた第二の動作情報と比較する、
    ことを特徴とする作業検知方法。
  23. コンピュータが、指により対象物に加圧された状態での手の移動を含む所定の動作を必要とする作業を行う第一の作業者の指により印加される圧力を計測する圧力センサと前記第一の作業者の手の加速度を計測する加速度センサとを含んだセンサセットにより計測された圧力及び加速度を含むセンシングデータに基づいて前記作業における動作を検知する動作検知ステップと、
    コンピュータが、前記第一の作業者の評価のために、前記検知された動作に関し、前記第一の作業者のセンシングデータから得られる動作情報である第一の動作情報を第二の動作情報と比較する動作比較ステップと
    を有し、
    前記動作検知ステップでは、前記センシングデータを基に、反復動作とは異なる動作を検知し、
    前記動作比較ステップでは、所定時間内に前記異なる動作が発生した比率または回数に基づいて、前記第一の作業者にスコアを付与し、
    前記異なる動作は、前記センシングデータのうち、前記反復動作に対応したセンシングデータ部分との相関が所定値より低いセンシングデータ部分に対応した動作である、
    ことを特徴とする作業検知方法。
JP2022065887A 2022-04-12 2022-04-12 作業検知システム、装置及び方法 Active JP7763707B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022065887A JP7763707B2 (ja) 2022-04-12 2022-04-12 作業検知システム、装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022065887A JP7763707B2 (ja) 2022-04-12 2022-04-12 作業検知システム、装置及び方法

Publications (2)

Publication Number Publication Date
JP2023156177A JP2023156177A (ja) 2023-10-24
JP7763707B2 true JP7763707B2 (ja) 2025-11-04

Family

ID=88421213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022065887A Active JP7763707B2 (ja) 2022-04-12 2022-04-12 作業検知システム、装置及び方法

Country Status (1)

Country Link
JP (1) JP7763707B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2025181268A (ja) * 2024-05-31 2025-12-11 株式会社日立製作所 作業情報管理システム及び作業情報管理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006171184A (ja) 2004-12-14 2006-06-29 Toshiba Corp 技能評価システムおよび技能評価方法
US20190260966A1 (en) 2018-02-19 2019-08-22 Albert Roy Leatherman, III System for Interactive Online Collaboration
JP2020034849A (ja) 2018-08-31 2020-03-05 オムロン株式会社 作業支援装置、作業支援方法及び作業支援プログラム
JP2021128638A (ja) 2020-02-14 2021-09-02 パナソニックIpマネジメント株式会社 作業管理システム、計測システム、作業管理方法及びプログラム
JP2022015794A (ja) 2020-07-10 2022-01-21 株式会社日立製作所 作業評価システムおよび方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006171184A (ja) 2004-12-14 2006-06-29 Toshiba Corp 技能評価システムおよび技能評価方法
US20190260966A1 (en) 2018-02-19 2019-08-22 Albert Roy Leatherman, III System for Interactive Online Collaboration
JP2020034849A (ja) 2018-08-31 2020-03-05 オムロン株式会社 作業支援装置、作業支援方法及び作業支援プログラム
JP2021128638A (ja) 2020-02-14 2021-09-02 パナソニックIpマネジメント株式会社 作業管理システム、計測システム、作業管理方法及びプログラム
JP2022015794A (ja) 2020-07-10 2022-01-21 株式会社日立製作所 作業評価システムおよび方法

Also Published As

Publication number Publication date
JP2023156177A (ja) 2023-10-24

Similar Documents

Publication Publication Date Title
Shi et al. Impact assessment of reinforced learning methods on construction workers' fall risk behavior using virtual reality
US11520947B1 (en) System and method for adapting graphical user interfaces to real-time user metrics
US20200388177A1 (en) Simulated reality based confidence assessment
US12518863B2 (en) Systems for dynamic assessment of upper extremity impairments in virtual/augmented reality
Villalobos et al. Prediction of slaughterhouse workers’ RULA scores and knife edge using low-cost inertial measurement sensor units and machine learning algorithms
JP7125872B2 (ja) 作業支援装置、および、作業支援方法
US11839496B2 (en) Monitors for movements of workers
US12552037B2 (en) Remote control system
JP5654341B2 (ja) 被験者の視覚及び神経処理を検査する装置及び方法
EP4567772A1 (en) Systems and methods for using a vocational mask with a hyper-enabled worker
CN112219234A (zh) 虚拟现实环境的用户的生理压力
CN112000227A (zh) 一种工作状态监测反馈系统
JP7763707B2 (ja) 作業検知システム、装置及び方法
CN119055239A (zh) 基于智能头盔的健康监测方法、装置、设备及存储介质
EP3924978B1 (en) System and method for detecting and evaluating risk factors for the protection of the health of workers
KR20160076488A (ko) 근골격계 질환의 발생가능성의 판단 장치 및 방법
CN116212354B (zh) 一种跳绳计数方法、装置、设备及介质
JP7165108B2 (ja) 作業訓練システム及び作業訓練支援方法
CN105046429A (zh) 基于手机传感器的交互过程中用户思维工作负荷评估方法
JP3785554B2 (ja) 運動機能評価方法
Öhberg et al. Comparison between two mobile applications measuring shoulder elevation angle–A validity and feasibility study
US20230137366A1 (en) Multimodal Dialog-Based Remote Patient Monitoring of Motor Function
JP2020201755A (ja) 集中度計測装置、集中度計測方法、およびプログラム
Porta et al. Use of wearable sensors for continuous field monitoring of upper arm and trunk postures among construction workers
New et al. Evaluating Skill Detection Methods for Smart Powered Hand Tools

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251022

R150 Certificate of patent or registration of utility model

Ref document number: 7763707

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150