JP7753682B2 - 監視装置及び監視方法 - Google Patents

Description

本発明は、所定の操作を行う操作者を監視するための装置及び方法に関するものである。

操作盤に配置された操作用品の操作を、操作盤における操作用品の座標と、オペレーター（以下、「操作者」とも言う。）によって操作用品が操作された時間とを関連付けて検出し、操作盤におけるオペレーターの視線の座標を、視線を検出した時間と関連付けて検出し、操作盤におけるオペレーターの操作位置の座標を示す画像を、画像を取得した時間と関連付けて取得し、オペレーターによって操作用品が操作された時に、オペレーターの視線と操作位置の座標が操作用品の座標にあったか否かを判定することで、オペレーターが、よそ見などをせずに、適切に行動したか否かを判定する方法が知られている（特許文献１）。

特開２０１８－１３９５８号公報

しかしながら、上記従来技術では、操作者の身体や操作用品が障害物となり、操作者の操作位置をカメラで検出できない場合には、操作者の行動が適切であったか否かを判定することができないため、判定精度が低下するという問題がある。

本発明が解決しようとする課題は、操作者の行動が適切である否かの判定精度を高めた監視装置及び監視方法を提供することである。

本発明は、操作者の前腕の掌側に取り付けるための取付け部を有し、操作を行う操作者の腕に取り付けられた撮像装置で、操作者が入力操作を行う物体である操作対象と、物体に対して入力操作を行っている操作者の手の一部又は全部とを含む画像を取得し、取得した画像における操作者の手と操作対象との位置関係から特定された操作が所定操作であるか否かを判定することで上記課題を解決する。また、本発明は、操作者の前腕の掌側に取り付けるための取付け部を有し、操作を行う操作者の腕に取り付けられた撮像装置で、操作者が入力操作を行う物体である操作対象と、操作者の、物体と接触している手の一部又は全部とを含む画像を取得し、取得した画像を用いて、操作者の操作が所定操作であるか否かを判定することで上記課題を解決する。

本発明によれば、操作者の行動の判定に適した画像を取得し、操作者の行動の判定精度を高めることができる。

本発明に係る監視装置を含む監視システムの実施形態の一つを示すブロック図である。 図１に示す撮像装置１１、検出装置１２、及び表示装置１３の位置関係の一例を示す操作者の腕の側面図である。 図１の操作特定部にて用いられる学習済みモデルの一例を示す説明図である。 所定手順の一例を示す説明図である。 図１の操作手順判定部にて用いられる学習済みモデルの一例を示す説明図である。 図１の監視システムにおける情報処理の手順の一例を示すフローチャートである。

以下、本発明に係る監視装置及び監視方法の実施形態を図面に基づいて説明する。

［監視システム］
図１は、本発明に係る監視システム１を示すブロック図である。監視システム１は、ある操作対象に対してある操作を行う操作者の操作を監視する装置であり、たとえば、車両の組立て工場において、組立て作業に従事する作業員が、予め決められた手順に従って工具を操作したか否かを監視する場合、車両の販売店（以下、「ディーラー」とも言う。）において、車両の整備に従事する整備士が、マニュアルにて定められた手順に従って整備を行ったか否かを監視する場合などに用いることができる。監視システム１により操作を監視される操作者は特に限定されず、工場の作業員、ディーラーの整備士などが挙げられる。

図１に示すように、監視システム１は、撮像装置１１、検出装置１２、表示装置１３、及び監視装置１４を備える。監視システム１を構成する機器は、有線又は無線ＬＡＮなどの公知の手段により、互いにデータの授受が可能な状態で接続されている。撮像装置１１、検出装置１２、及び表示装置１３の数は、それぞれ、少なくとも１以上であれば特に限定されない。また、撮像装置１１、検出装置１２、及び表示装置１３は、監視装置１４と共に設けられている必要はなく、監視装置１４から離れた場所に設置されていてもよい。たとえば、撮像装置１１、検出装置１２、及び表示装置１３を、組立て工場の組立てラインの近くに設置し、監視装置１４を、組立てラインから離れた中央制御室、又は組立て工場から離れた遠隔地のサーバーに設けてもよい。

撮像装置１１は、周囲の対象物の画像データを取得するための装置であり、たとえば、ＣＣＤなどの撮像素子を備えるカメラ、超音波カメラ、赤外線カメラなどのカメラである。対象物には、操作者に加えて、操作者の周囲に存在する物体が含まれる。対象物としては、たとえば、作業員の周囲に配置されたスイッチやタッチパネル、作業員が組立てているパーツや使用している工具、ディーラーの整備士が整備する車両など挙げられる。また、撮像装置１１は、操作者の腕に取り付けられており、これにより、操作者が操作対象を操作する画像を確実に取得することができる。撮像装置１１は、操作者の腕に取り付けるための取付け部を有し、たとえば、面ファスナーや粘着性のパッドを用いて、操作者の上腕の掌側に取り付けることができるようになっている。

検出装置１２は、操作者の状況、及び操作者の周囲の状態を検出するための装置であり、あらゆるセンサーが含まれる。センサーとしては、たとえば、操作者の筋電位を測定する筋電計、操作者の周囲の音を音声データとして取得するマイクロフォン、操作者の身体の動作を検出するために操作者に取付けられた加速度計、操作者の周囲の温度を計測する温度計などが挙げられる。筋電計が備える電極は、針電極、表面電極、ワイヤー電極のいずれであってもよい。筋電計は、たとえば、粘着性のパッド又は面ファスナーにより、操作者の身体、特に、上腕及び／又は前腕を含む腕に取り付けられ、取り付けられた操作者の身体と接する部分の筋電位を測定する。

マイクロフォンには、スタンドマイク、接話型マイク、ガンマイクなどが含まれ、無指向性であってもよく、指向性を有していてもよい。また、通信方式は、有線及び無線のいずれでもよい。マイクロフォンは、操作者の声及び操作者の周囲の人の声に加えて、操作者の動作に起因する音を取得する。ユーザーの動作に起因する音としては、作業員が操作したスイッチから発生する音、作業員がタッチパネルに触れた時にスピーカーから発生する音、作業員が複数のパーツを嵌合した時に発生する、パーツ同士がかみ合った音、ディーラーの整備士が使用する工具の作動音などが挙げられる。マイクロフォンは、組立て工場の組立てライン、作業台、及び作業員が使用する道具など、操作者の周囲の音を検出することができる位置に設置される。

加速度計は特に限定されないが、操作者の身体、特に、上腕及び／又は前腕を含む腕に取付けることができる大きさのものが好ましく、たとえば、ＭＥＭＳ（Micro Electro Mechanical Systems）を用いた小型の加速度計を用いることができる。温度計も特に限定されず、接触式の温度計であっても、赤外線を用いた非接触式の温度計であってもよい。監視装置１４は、所定の時間間隔で、これらのセンサーから検出結果を取得する。

表示装置１３は、監視装置１４にて監視された操作を操作者及び／又は監視者に通知するための装置である。監視者は、操作者の近くにいる必要はなく、工場の中央制御室や、工場から離れた遠隔地にいてもよい。表示装置１３は、たとえば、液晶ディスプレイ、プロジェクターなどであり、スピーカーを備えていてもよい。表示装置１３は、たとえば、組立て工場の作業員の作業場所など、操作者の近くであって、操作者に必要な情報を通知することができる位置、及び操作者から離れた場所にいる監視者に必要な情報を通知することができる位置などに設置される。また、表示装置１３は、ウェアラブル端末として操作者に取付けられていてもよい。さらに、撮像装置１１、検出装置１２、表示装置１３、及び監視装置１４を一つのウェアラブル端末に統合し、操作者に取付けてもよい。

撮像装置１１、検出装置１２、及び表示装置１３の位置関係の一例を図２に示す。図２では、取り付け部１１ａを用いて、操作者の前腕部Ａ１に撮像装置１１が取り付けられており、操作者の上腕部Ａ２には、粘着性のパッドを用い検出装置１２が取り付けられている。また、操作者の手Ｈには、操作対象Ｏを保持されている。ここで、撮像装置１１の視角がＶＡで示される範囲であるとすると、撮像装置１１は、操作者の手Ｈの一部と、操作対象Ｏとを含む画像を撮像することができる。撮像装置１１にて撮像された画像データと、検出装置１２の検出結果は、無線通信により監視装置１４に送出される。また、図２では、操作者の正面に表示装置１３が設けられており、操作者は、表示装置１３の表示を確認することができる。

図１に戻り、監視装置１４は、操作者が、ある操作を適切に実行したか否かを監視するための装置である。当該監視に用いる画像データ、及びセンサーの検出結果は、それぞれ、所定の時間間隔で、撮像装置１１、及び検出装置１２から取得される。監視装置１４は、プロセッサ１５を用いて、取得したデータの処理、操作が適切に実行されたか否かの判定、及び当該判定の結果の出力といった機能を実現する。プロセッサ１５は、プログラムが格納されたＲＯＭ（Read Only Memory）１５２と、ＲＯＭ１５２に格納されたプログラムを実行することで、監視装置１４として機能するための動作回路であるＣＰＵ（Central Processing Unit）１５１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１５３とを備える。

［操作監視部］
本実施形態の監視装置１４で用いるプログラムは、取得したデータの処理、操作が適切に実行されたか否かの判定、及び当該判定の結果の出力などの機能を監視装置１４にて実現するための機能ブロックである操作監視部２を含む。操作監視部２は、撮像装置１１から画像データを取得し、検出装置１２から検出結果を取得し、取得したデータに基づいてユーザーが実行する操作を特定し、特定した操作が所定の手順で適切に実行されたか否かを判定し、当該判定結果を出力する機能を有する。操作監視部２は、図１に示すように、画像取得部２１、操作特定部２２、操作判定部２３、操作手順判定部２４、及び判定結果出力部２５を備える。図１には、各部を便宜的に抽出して示す。

図１に示す監視装置１４は上記の機能ブロックを全て備えるが、単一の監視装置１４が全ての機能ブロックを備える必要はなく、上記の機能ブロックのうち一部のものを、監視システム１に含まれる他の機器、又は図示しない別の情報処理装置に設けてもよい。たとえば、図１の監視システム１において、判定結果出力部２５を表示装置１３に設けてもよい。この場合には、表示装置１３のＣＰＵ、ＲＯＭ、及びＲＡＭを用いて判定結果出力部２５の機能が実行されることになる。

また、各機能ブロックの処理の全てを単一の装置にて実行する必要はなく、データが授受できる状態で接続された複数の装置をまたいで、各機能ブロックの機能を実現してもよい。たとえば、図１の監視システム１において、操作特定部２２にて実行される処理のうち、一部の処理を撮像装置１１にて実行し、残りの処理を監視装置１４にて実行するようにしてもよい。この場合には、撮像装置１１のＣＰＵ、ＲＯＭ、及びＲＡＭを用いて、操作特定部２２の機能を実現するための処理の一部が行われることになる。また、ほかの例として、操作判定部２３及び／又は操作手順判定部２４にて実行される処理のうち、一部の処理を撮像装置１１にて実行し、残りの処理を監視装置１４にて実行するようにしてもよい。

以下、操作監視部２の各機能ブロックが果たす機能について説明する。

画像取得部２１は、操作を行う操作者と、前記操作者により操作される操作対象とを含む画像を取得する機能を有する。特に、本実施形態の画像取得部２１は、操作者の腕に取り付けられた撮像装置１１から画像データを取得し、取得する画像データには、操作者の手Ｈの一部又は全部と、操作者により操作される操作対象Ｏとが含まれる。操作者の手Ｈは右手であっても左手であってもよく、手Ｈの少なくとも一部が含まれていればよいが、特に、操作者の掌の一部又は全部と、操作対象Ｏとが画像に含まれていると、より正確に操作を判定することができる。

操作者が行う操作は特に限定されず、操作者が操作対象に対して何らかの入力を行うためのあらゆる操作が含まれる。具体的には、組立て工場の作業員が、タッチパネルに触れて組み立てラインの機器の表示を変更する操作、組立て工場の作業員が、センサーに接続されたカプラーと、電子制御装置（ＥＣＵ）に接続されたカプラーとを嵌合する操作、組立て工場の作業員が、工具を用いてボルトを締めて、エンジンブロックにエキゾーストマニホールドを取り付ける操作、ディーラーの整備士が、エンジンにスパークプラグを嵌める操作、ディーラーの整備士が、トルクレンチを用いてボルトを締める操作などを挙げることができる。

また、操作対象は特に限定されず、操作者が何らかの入力操作を行う対象となるあらゆる物体が含まれる。たとえば、ＯＮ／ＯＦＦを切り替えるスイッチ、タッチパネルのユーザーインターフェース、カプラーやエキゾーストマニホールドのようなパーツ、トルクレンチや電動ドライバーのような工具などが挙げられる。

さらに、画像取得部２１は、撮像装置１１から取得する画像の品質を変更することができ、操作者が操作をしていない間など、後述する操作判定部２３にて画像データの処理を行わない間は、取得する時系列の画像（動画）のフレームレートを低下させてもよい。たとえば、後述する操作判定部２３にて、操作者の手の動きが所定の動きに該当しないと判定された場合には、取得する時系列の画像のフレームレートを、所定のフレームレート（たとえば６０ｆｐｓ）より下げてもよい。所定のフレームレートは、監視装置１４にて操作の監視が適切に実行できる範囲内で、適宜の値を設定することができる。これに対して、操作者が実際に操作を行っている間は、取得する時系列の画像のフレームレートを、所定のフレームレートより上げてもよい。

操作特定部２２は、画像取得部２１にて取得された画像データから、操作者が実行する操作を特定する機能を有する。操作特定部２２は、撮像装置１１から取得した画像データについてパターンマッチングなどの解析を行い、画像データに含まれる対象物を分類する。次に、分類された対象物から操作者を選択し、画像データから抽出された操作者の手の部分に関するデータを取得する。これと同様に、分類された対象物から操作対象を選択し、画像データから抽出された操作対象に関するデータを取得する。そして、これらのデータから、操作者の手と操作対象との位置関係を認識し、認識した位置関係からユーザーの操作を特定する。

操作者の手Ｈと操作対象Ｏとの位置関係と、操作者が実行しようとしている操作との対応関係は、操作ごとに予め求められており、たとえばデータベース１６のようなデータベースに格納されている。操作特定部２２は、必要に応じて、データベース１６から位置関係と操作の対応関係を取得することができる。操作特定部２２は、データベース１６から取得した対応関係に基づき、画像取得部２１にて取得された画像データから、操作者が実行しようとしている操作を特定する。

一例として、画像取得部２１により取得された画像データに、工場の組立てラインで作業している作業員が、左手にカプラーを持って、別のカプラーに右手を延ばしている状態が含まれていた場合について説明する。この場合には、操作特定部２２は、データベース１６から取得した、位置関係と操作の対応関係から、カプラーに延びた右手とカプラーとの位置関係に対応する操作を検索する。当該動作に対応する操作として、すでに嵌合された一対カプラーから一方のカプラーを抜取る操作と、センサーに接続されたカプラーと、電子制御装置に接続されたカプラーとを嵌合する操作とが該当したとすると、操作特定部２２は、作業員が左手にカプラーを持っていることから、当該位置関係は、センサーに接続されたカプラーと、電子制御装置に接続されたカプラーとを嵌合する操作に対応すると特定する。

また別の例として、画像取得部２１により取得された画像データに、ディーラーの整備士が、左手にエンジンオイルを持って、エンジンルームに右手を延ばしている状態が含まれていた場合について説明する。この場合には、操作特定部２２は、データベース１６から取得した、位置関係と操作の対応関係から、エンジンルームに延びた右手と、エンジンルーム内の右手との位置関係に対応する操作を検索する。当該動作に対応する操作として、エンジンの冷却液を補充する操作と、エンジンオイルを補充する操作とが該当したとすると、操作特定部２２は、作業員が左手にエンジンオイルを持っていることから、当該位置関係は、エンジンオイルを補充する操作に対応すると特定する。

また、操作特定部２２は、画像取得部２１にて取得された画像として、動画のような時系列の画像を用いて操作を特定してもよい。操作特定部２２は、所定の時間間隔で画像取得部２１から画像データを取得し、画像データを解析する。このように、所定の時間間隔を有する時系列の画像を用いることで、より正確に操作を特定することができる。当該時間間隔は、ＣＰＵ１５１の計算能力に応じて適宜の間隔を設定することができる。これに代えて又はこれに加えて、操作特定部２２は、検出装置１２の検出結果を用いて操作を特定してもよい。たとえば、操作者の上腕に取り付けられた筋電計により検出された、操作者の筋電位の値、及び操作者の前腕に取付けられた加速度計により検出された加速度の値などから、操作者の動作を検出し、検出した動作を用いて操作を特定してもよい。

さらに、操作特定部２２は、画像取得部２１により取得された画像データから操作を特定するように学習された第１学習済みモデルを用いて操作を特定してもよい。学習済みモデルとは、ある入力データに対して適切な出力データが得られるように、予め機械学習により学習されたモデルであり、少なくとも、入力データから出力データを得るまでの演算を行うプログラムと、当該演算に用いられる重み付け係数（パラメータ）とを備える。本実施形態の第１学習済みモデルは、画像取得部２１にて取得された画像データが入力データとして入力されると、当該入力データに基づいて、当該画像において操作者が実行しようとしている操作が特定され、出力データが出力されるようにコンピュータ（特に、プロセッサ１５のＣＰＵ１５１）を機能させる。このような第１学習済みモデルを用いることで、予め対応関係が設定されていない位置関係を示す画像データについても、操作を特定することができる。

本実施形態の第１学習済みモデルは特に限定されないが、たとえば、図３に示すような第１ニューラルネットワーク３である。第１ニューラルネットワーク３は、第１入力層３１、第１中間層３２、及び第１出力層３３を備え、各層には少なくとも一つのニューロンが含まれている。第１入力層３１には、画像取得部２１にて取得された画像データ、及び検出装置１２の検出結果のうち少なくとも一つを含む第１入力データ３４が入力され、入力されたデータを第１中間層３２に出力する。第１中間層３２は、第１入力層３１から入力されたデータから、操作者の手と操作対象との位置関係を抽出する。そして、抽出した位置関係に対応する操作を特定する。第１出力層３３は、第１中間層３２から入力されたデータを、特定された操作を含む第１出力データ３５として出力する。

第１中間層３２では、操作者が実行しようとしている操作を特定するための、操作者の手と操作対象との位置関係と、操作者が実行しようとしている操作との対応関係が、機械学習により確立されている。これにより、作業員の手とスイッチとの位置関係、作業員の手とタッチパネルのユーザーインターフェースとの位置関係、作業員の手とパーツとの位置関係、整備士の手と工具との位置関係などの操作者の手と操作対象との位置関係から、操作者が実行しようとしている操作を特定できる。当該対応関係には、操作者の手と操作対象との位置関係に加えて、検出装置１２により検出された、操作者の周囲の状態などの複数の要因が関連つけられており、入力したデータに対して適切な操作が出力されるように、パラメータが設定されている。たとえば、作業員がカプラーを左右それぞれの手で把持していること、整備士が左手にエンジンオイルを持っていることなどは、操作を特定する際のパラメータとして考慮される。

また、上述した第１中間層３２の対応関係は、予め機械学習により学習されていてもよいが、過去に第１ニューラルネットワーク３に入力した第１入力データ３４、及び過去に第１ニューラルネットワーク３から出力された第１出力データ３５を含む第１教師データ３６により新たに学習させてもよいし、予め機械学習により学習された学習済みモデルをさらに学習させてもよい。当該学習は、操作特定部２２が備える第１機械学習部２２ａより実行される。第１教師データ３６は、たとえば、図１に示すデータベース１６のようなデータベースに格納されており、必要に応じて取得することができる。過去の第１入力データ３４と第１出力データ３５との組み合わせを用いて学習することで、操作特定部２２において、操作者の手と操作対象との位置関係に基づいた操作の特定がより正確になる。

図１に戻り、操作判定部２３は、画像取得部２１により取得された画像データを用いて、操作判定部２３により特定された操作が所定操作であるか否かを判定する機能を有する。所定操作とは、操作者が実行する操作として予め定められた操作であり、たとえば、工場の作業員であれば、センサーに接続されたカプラーと、電子制御装置（ＥＣＵ）に接続されたカプラーとを嵌合する操作、及び工具を用いてボルトを締めて、エンジンブロックにエキゾーストマニホールドを取り付ける操作などの操作が、所定操作として予め設定されている。操作判定部２３は、たとえば、画像取得部２１にて取得された一連の画像を用いて、操作判定部２３により特定された操作が、所定操作であるか否かを判定し、判定結果を操作手順判定部２４及び判定結果出力部２５に出力する。

また、操作判定部２３は、画像取得部２１にて取得した画像から、操作者の手Ｈの動きを取得し、取得した動きが、所定の動きに該当するか否かを判定することができる。そして、当該手Ｈの動きが所定の動きに該当すると判定した場合は、手Ｈの動きが所定の動きであると判定された時から所定時間前の時間から、前記手の前記動きが所定の動きであると判定された時から所定時間後の時間までの間においてのみ、特定された操作が所定操作であるか否かを判定する。このように、操作の判定が必要になる、手Ｈの動きが所定の動きであると判定された時の前後の時間のみで判定を行うことができる。操作者の手Ｈの動きは、画像取得部２１にて取得した画像データの解析、並びに操作者の上腕部Ａ２に取り付けられた筋電計により検出された筋電位の値、及び操作者の前腕部Ａ１に取付けられた加速度計により検出された加速度の値などから取得することができる。また、所定の動きは、所定操作の初期の手Ｈの動きとして、予め設定され、データベース１６などに格納されている。操作判定部２３は、必要に応じて、所定の動きのデータをデータベース１６から取得する。

操作手順判定部２４は、操作特定部２２にて特定された操作が所定操作に該当すると、操作判定部２３において判定された場合に、所定操作が所定手順で実行されたか否かを判定する機能を有する。特に、操作手順判定部２４は、画像取得部２１にて取得された時系列の画像データを用いて、所定操作が所定手順で行われたか否かを判定する。所定手順とは、所定操作ごとに予め設定されており、データベース１６のようなデータベースに格納されている。

操作手順判定部２４は、所定の時間間隔で、操作特定部２２から特定された操作を取得し、画像データに含まれる操作者の手と操作対象との位置関係を把握する。そして、操作者の操作を時系列で把握し、都度、上述したような所定手順と、特定された操作とが合致しているか否かを判定する。操作手順判定部２４は、特定された操作が完了するまでに、所定手順との差異がなかった場合は、所定操作が所定手順で実行されたと判定する。これに対して、特定された操作が所定手順と異なる場合、及び特定された操作が所定手順から逸脱した場合などは、所定操作が所定手順で実行されなかったと判定する。これらの判定結果は、判定結果出力部２５に出力される。

一例として、図４を用いて、所定操作が２つのカプラーを嵌合する操作である場合について説明する。図４では、作業員の左手に把持されたカプラーＣ１と、作業員の左手に把持されたカプラーＣ２とを嵌合し、カプラーＣ１とカプラーＣ２の嵌合部Ｚが適切に嵌合すると、作動音Ｓが発生するものとする。この場合の所定手順は、たとえば図４に示すように、ステップ１）作業員が左手と右手のそれぞれでカプラーＣ１、Ｃ２を把持し、ステップ２）カプラーＣ１をカプラーＣ２と組み合わせ、ステップ３）カプラーの嵌合部Ｚがかみ合い、カチッという作動音Ｓを発生させるまでカプラーＣ１、Ｃ２を互いに押込み、ステップ４）作動音Ｓが発生したらカプラーＣ１、Ｃ２から手を離すという４つのステップからなる手順である。操作手順判定部２４は、所定の時間間隔で、操作特定部２２から特定された操作を取得し、カプラーを嵌合する操作者の手とカプラーとの位置関係を把握する。そして、カプラーを嵌合する操作者がカプラーどのように操作しているのかを時系列で把握し、都度、上述したような４つのステップと、特定された操作とが合致しているか否かを判定する。

上述したステップに従ってカプラーの嵌合が完了した場合は、カプラーは所定手順に従って適切に嵌合されたと判定する。これに対して、ステップ３）におけるカプラーの押込みが足りず、適切にカプラーが嵌合しなかった場合には、カプラーは適切に嵌合されなかったと判定する。ここで、操作手順判定部２４は、所定操作が所定手順で実行されたか否かを判定するときに、検出装置１２の検出結果を用いてもよい。この場合であれば、たとえば、操作者の上腕に取り付けられた筋電計にて取得した筋電位の値、及び操作者の前腕加速度計に取付けられた加速度計にて取得した加速度の値などから、カプラーを嵌合する操作者の動作を検出し、操作手順判定部２４の判定に用いてもよい。また、カプラーを嵌合する操作者の近傍に設置されたマイクロフォンにより、カプラーの嵌合部Ｚがかみ合ったときに発生する、カチッという作動音Ｓを検出し、操作手順判定部２４の判定に用いてもよい。

また、別の例として、所定操作がエンジンオイルを補充する操作である場合について説明する。この場合、所定手順は、１）オイルフィラーキャップを外し、２）オイル注入口からエンジンオイルを注ぎ込み、３）オイルフィラーキャップを閉め、４）オイルレベルゲージでエンジンオイルの量を確認するという４つのステップからなる手順である。操作手順判定部２４は、所定の時間間隔で、操作特定部２２から特定された操作を取得し、オイルを補充する操作者の手と、エンジンオイル及びオイルレベルゲージとの位置関係を把握する。そして、オイルを補充する操作者がどのような操作をしているのかを時系列で把握し、都度、上述したような４つのステップと、特定された操作とが合致しているか否かを判定する。

上述したステップに従ってオイルを補充が完了した場合は、エンジンオイルは所定手順に従って適切に補充されたと判定する。これに対して、ステップ４）においてエンジンオイルの量を確認しなかった場合には、エンジンオイルが適切に補充されなかったと判定する。また、上述の例と同様に、操作手順判定部２４は、所定操作が所定手順で実行されたか否かを判定するときに、検出装置１２の検出結果を用いてもよい。この場合であれば、たとえば、操作者の上腕に取り付けられた筋電計にて取得した筋電位の値、及び操作者の前腕加速度計に取付けられた加速度計にて取得した加速度の値などから、オイルレベルゲージを把持する動作を検出し、操作手順判定部２４の判定に用いてもよい。

さらに、操作手順判定部２４は、画像取得部２１にて取得された時系列の画像データ、及び／又は操作者の周囲の状態を検出する検出装置１２の検出結果を用いて、所定操作が所定手順で行われたか否かを判定するように学習された第２学習済みモデルを用いて、所定操作が所定手順で行われたか否かを判定してもよい。本実施形態の第２学習済みモデルは、画像取得部２１にて取得された時系列の画像データ、及び／又は操作者の周囲の状態を検出する検出装置１２の検出結果が入力データとして入力されると、当該入力データに基づいて、当該画像において操作者が実行しようとしている操作が特定され、操作者が、特定された操作を所定手順で実行したか否かの判定結果を含む出力データが出力されるようにコンピュータ（特に、プロセッサ１５のＣＰＵ１５１）を機能させる。このような第２学習済みモデルを用いることで、予め対応関係が設定されていない位置関係を示す画像データについても、操作が所定手順で実行されたか判定することができる。

第２学習済みモデルは特に限定されないが、たとえば、図５に示すような第２ニューラルネットワーク４である。第２ニューラルネットワーク４は、第２入力層４１、第２中間層４２、及び第２出力層４３を備え、各層には少なくとも一つのニューロンが含まれている。第２入力層４１には、画像取得部２１にて取得された時系列の画像データ、及び検出装置１２の検出結果のうち少なくとも一つを含む第２入力データ４４が入力され、入力されたデータを第２中間層４２に出力する。第２中間層４２は、第２入力層４１から入力されたデータから、操作者の手と操作対象との位置関係を抽出する。次に、抽出した位置関係に対応する操作を特定する。そして、特定した操作が所定操作に該当するか否かを判定し、特定した操作が所定操作に該当する場合には、所定操作が所定手順で行われたか否かを判定する。第２出力層４３は、第２中間層４２から入力されたデータを、所定操作が所定手順で行われたか否かの判定経緯を含む第２出力データ４５として出力する。

第２中間層４２では、上述した第１中間層３２と同様に、操作者が実行しようとしている操作を特定するための、操作者の手と操作対象との位置関係と、操作者が実行しようとしている操作との対応関係が、機械学習により確立されている。当該対応関係には、操作者の手と操作対象との位置関係に加えて、検出装置１２により検出された、操作者の周囲の状態などの複数の要因が関連つけられており、入力したデータに対して適切な操作が出力されるように、パラメータが設定されている。これに加えて、第２中間層４２では、特定した操作が所定操作に該当する場合に、所定操作が所定手順で行われたか否かを判定するため、特定された操作と所定手順との対応関係が確立されている。具体的には、特定された操作を時系列に並べたデータと、所定手順の各ステップとの対応関係が機械学習により学習され、特定された操作と所定手順とが適切に対比できるように、必要なパラメータが設定されている。

また、上述した第２中間層４２の対応関係は、予め機械学習により学習されていてもよいが、過去に第２ニューラルネットワーク４に入力した第２入力データ４４、及び過去に第２ニューラルネットワーク４から出力された第２出力データ４５を含む第２教師データ４６により新たに学習させてもよいし、予め機械学習により学習された学習済みモデルをさらに学習させてもよい。当該学習は、操作手順判定部２４が備える第２機械学習部２４ａより実行される。第２教師データ４６は、たとえば、図１に示すデータベース１６のようなデータベースに格納されており、必要に応じて取得することができる。過去の第２入力データ４４と第２出力データ４５との組み合わせを用いて学習することで、操作手順判定部２４における、所定操作が所定手順で実行されたか否かの判定がより正確になる。

図１に戻り、判定結果出力部２５は、操作判定部２３及び操作手順判定部２４における判定結果を取得し、外部の機器に出力する機能を有し、特に、操作判定部２３にて、操作者の実行する操作が所定操作ではないと判定された場合に、表示装置１３に、操作が適切ではないことを出力する。また、操作手順判定部２４にて、所定操作が所定手順で実行されなかったと判定された場合にも、表示装置１３に、操作が適切ではないことを出力する。これらの判定結果を表示装置１３に出力し、表示装置１３に表示させることで、操作者及び／又は監視者に、所定操作が適切に実行されなかったことを通知することができる。

なお、監視装置１４の電源は、検出装置１２の検出結果から、操作者が監視システム１の利用を開始したことを確認した後にＯＮにされてもよい。また、操作判定部２３及び操作手順判定部２４の判定結果を、図示しないサーバーに出力してもよい。

［操作検出システムにおける処理］
図６を参照して、監視装置１４が情報を処理する際の手順を説明する。図６は、本実施形態の監視システム１における情報の処理を示すフローチャートの一例である。以下に説明する処理は、監視装置１４のプロセッサ１５により所定の時間間隔で実行される。

まず、ステップＳ１にて、画像取得部２１の機能により、操作を行う操作者の手の一部又は全部と、操作者により操作される操作対象とを含む画像を撮像装置１１から取得する。たとえば、工場にて組立て作業に従事する作業員が工具を用いてボルトを締める場合では、作業員の手の一部と、ボルト及び工具とを含む画像を取得する。

続くステップＳ２にて、操作特定部２２の機能により、検出装置１２で操作者の周囲の状態を検出する。たとえば、工場にて組立て作業に従事する作業員が工具を用いてボルトを締める場合では、作業員の腕に取付けられた筋電計で、作業員の筋電位の値を取得する。

続くステップＳ３にて、操作特定部２２の機能により、画像取得部２１により取得された画像データ、及び検出装置１２の検出結果から、操作者が実行しようとしている操作を特定する。たとえば、工場にて組立て作業に従事する作業員が工具を用いてボルトを締める場合では、作業員がボルトを締めようとしていること、及び作業員がどのボルトを締めようとしているのかを特定する。

続くステップＳ４にて、操作判定部２３の機能により、特定された操作が所定操作に該当するか否かを判定する。特定された操作が所定操作に該当する場合は、ステップＳ５に進む。これに対して、特定された操作が所定操作に該当しない場合は、ステップＳ６に進む。たとえば、工場にて組立て作業に従事する作業員が工具を用いてボルトを締める場合では、作業員がボルトを締めることが所定操作であれば、ステップＳ５に進む。これに対して、当該作業員の作業にボルトの締結が含まれていない場合は、ステップＳ６に進む。

ステップＳ５では、操作手順判定部２４の機能により、所定操作が所定手順で実行されたか否かを判定する。所定操作が所定手順で実行されたと判定された場合は、ルーチンの実行を停止して監視の処理を終了する。これに対して、所定操作が所定手順で実行されなかったと判定された場合は、ステップＳ６に進む。たとえば、工場にて組立て作業に従事する作業員が工具を用いてボルトを締める場合では、作業員が所定手順に従ってボルトを締めた場合は、ルーチンの実行を停止して監視の処理を終了する。これに対して、作業員が、ボルトが緩んだまま放置した場合は、ステップＳ６に進む。

ステップＳ６では、判定結果出力部２５の機能により、特定された操作が所定操作ではなかったこと、及び所定操作が所定手順に従って適切に実行されなかったことが、表示装置１３に出力される。そして、表示装置１３では、判定結果出力部２５の出力を受け取り、操作者及び／又は監視者に、操作が適切に実行されなかったことを通知する。たとえば、工場にて組立て作業に従事する作業員が工具を用いてボルトを締める場合では、作業員が適切にボルトを締めなかったことが、監視者に通知される。そして、当該表示後、ルーチンの実行を停止して監視の処理を終了する。

また別の例として、工場にて組立て作業に従事する作業員が２つのカプラーを嵌合する場合では、たとえば、ステップＳ１にて、ウェアラブル端末として作業員に取付けられた撮像装置１１にて画像データを取得し、ステップＳ２にて、操作特定部２２の機能により、作業員の周囲の音を検出する。続くステップＳ３にて、画像取得部２１にて取得された画像データと、検出装置１２の検出結果に基づいて、作業員の操作が、カプラーの嵌合であることを特定する。続くステップＳ４にて、操作判定部２３の機能により、特定された操作が所定操作に該当するか否かを判定する。特定された操作であるカプラーの嵌合操作が所定操作である場合は、ステップＳ５に進む。これに対して、当該作業員の作業にカプラーの嵌合が含まれていない場合は、ステップＳ６に進む。ステップＳ５では、操作手順判定部２４の機能により、所定操作が所定手順で実行されたか否かを判定する。カプラーの嵌合操作が所定手順で実行されたと判定された場合は、ルーチンの実行を停止して監視の処理を終了する。これに対して、カプラーの嵌合操作が所定手順で実行されなかったと判定された場合は、ステップＳ６に進む。そして、ステップＳ６では、判定結果出力部２５の機能により、特定されたカプラーの嵌合操作が所定操作ではなかったこと、又はカプラーの嵌合操作が所定手順に従って適切に実行されなかったことが、表示装置１３に出力される。

［本発明の実施態様］
以上のとおり、本実施形態の監視装置１４によれば、操作を行う操作者の腕に取り付けられた撮像装置１１を用いて、前記操作者の手Ｈの一部又は全部と、前記操作者により操作される操作対象Ｏとを含む画像を取得する画像取得部２１と、前記画像取得部２１により取得された前記画像を用いて、前記操作が所定操作であるか否かを判定する操作判定部２３と、前記操作判定部２３の判定結果を出力する判定結果出力部２５と、を備える、監視装置が提供される。これにより、操作者が操作対象Ｏを操作する画像を確実に取得することができる。また、操作者の行動の判定に適した画像を取得し、操作者の行動の判定精度を高めることができる。

また、本実施形態の監視装置１４によれば、前記画像取得部２１は、前記操作者の掌の一部又は全部と、前記操作対象とを含む画像を取得する。これにより、操作者が操作対象を操作する画像をより確実に取得することができる。

また、本実施形態の監視装置１４によれば、前記撮像装置１１は、前記操作者の上腕Ａ２の掌側に取り付けるための取付け部を有する。これにより、操作者が操作対象を操作する画像をより確実に取得することができる。

また、本実施形態の監視装置１４によれば、前記画像取得部２１にて取得された前記画像から、前記操作を特定する操作特定部２２を備え、前記操作判定部２３は、前記画像取得部２１にて取得された一連の前記画像から、前記操作特定部２２にて特定された前記操作が前記所定操作であるか否かを判定する。これにより、より正確に操作を特定することができる。

また、本実施形態の監視装置１４によれば、前記操作特定部２２は、前記画像取得部２１にて取得された時系列の前記画像、及び前記操作者の周囲の状態を検出する検出装置１２の検出結果を用いて前記操作を特定する。これにより、より正確に操作を特定することができる。

また、本実施形態の監視装置１４によれば、前記判定結果出力部２５は、前記操作判定部２３にて前記操作が前記所定操作ではないと判定された場合に、表示装置１３に、前記操作が適切ではないことを出力する。これにより、操作者及び／又は監視者に、操作が適切にではないことを通知することができる。

また、本実施形態の監視装置１４によれば、前記操作特定部２２は、前記画像取得部２１により取得された前記画像から前記操作を特定するように学習された第１学習済みモデルを用いて前記操作を特定する。これにより、予め設定されていなかった位置関係に対する操作を特定することができる。

また、本実施形態の監視装置１４によれば、前記第１学習済みモデルは、前記画像取得部２１にて取得された前記画像、及び前記操作者の周囲の状態を検出する検出装置１２の検出結果のうち少なくとも一つを含む第１入力データ３４を第１入力層３１に入力すると、特定された前記操作を含む第１出力データ３５が第１出力層３３から出力される第１ニューラルネットワーク３であり、前記操作特定部２２は、過去に前記第１ニューラルネットワーク３に入力した第１入力データ３４、及び過去に前記第１ニューラルネットワーク３から出力された第１出力データ３５を第１教師データ３６として前記第１ニューラルネットワーク３を学習させる第１機械学習部２２ａを備え、前記第１機械学習部２２ａにより前記第１ニューラルネットワーク３を学習させる。これにより、予め設定されていなかった位置関係に対する操作を、より正確に特定することができる。

また、本実施形態の監視装置１４によれば、前記操作特定部２２にて前記操作が前記所定操作であると判定された場合に、前記所定操作が所定手順で実行されたか否かを判定する操作手順判定部２４を備え、前記判定結果出力部２５は、前記操作手順判定部２４の判定結果を出力する。これにより、操作を行う手順の適切性を判断することができる。

また、本実施形態の監視装置１４によれば、前記操作手順判定部２４は、前記画像取得部２１にて取得された時系列の前記画像を用いて、前記所定操作が前記所定手順で行われたか否かを判定する。これにより、所定操作が所定手順に従って実行されたか否かをより正確に判定することができる。

また、本実施形態の監視装置１４によれば、前記判定結果出力部２５は、前記操作手順判定部２４にて前記所定操作が前記所定手順で実行されなかったと判定された場合に、表示装置１３に、前記操作が適切ではないことを出力する。これにより、これにより、操作者及び／又は監視者に、操作が適切にではないことを通知することができる。

また、本実施形態の監視装置１４によれば、前記操作手順判定部２４は、前記画像取得部２１にて取得された時系列の前記画像、及び前記操作者の周囲の状態を検出する検出装置１２の検出結果を用いて、前記所定操作が前記所定手順で行われたか否かを判定するように学習された第２学習済みモデルを用いて、前記所定操作が前記所定手順で行われたか否かを判定する。これにより、予め設定されていなかった位置関係に対する操作と、その手順の適切性を判断することができる。

また、本実施形態の監視装置１４によれば、前記第２学習済みモデルは、前記画像取得部２１にて取得された前記画像、及び前記操作者の周囲の状態を検出する検出装置１２の検出結果を含む第２入力データ４４を第２入力層４１に入力すると、前記所定操作が前記所定手順で行われたか否かの判定結果を含む第２出力データ４５が第２出力層４３から出力される第２ニューラルネットワーク４であり、前記操作手順判定部２４は、過去に前記第２ニューラルネットワーク４に入力した第２入力データ４４、及び過去に前記第２ニューラルネットワーク４から出力された第２出力データ４５を第２教師データ４６として前記第２ニューラルネットワーク４を学習させる第２機械学習部２４ａを備え、前記第２機械学習部２４ａにより前記第２ニューラルネットワーク４を学習させる。これにより、予め設定されていなかった位置関係に対する操作と、その手順の適切性を、より正確に判断することができる。

また、本実施形態の監視装置１４によれば、前記操作判定部２３は、前記画像取得部２１にて取得した前記画像から、前記操作者の前記手Ｈの動きを取得し、取得した前記動きが、所定の動きに該当するか否かを判定し、前記動きが所定の動きに該当すると判定した場合は、前記手Ｈの前記動きが所定の動きであると判定された時から所定時間前の時間から、前記手Ｈの前記動きが所定の動きであると判定された時から所定時間後の時間までの間においてのみ、前記操作が前記所定操作であるか否かを判定する。これにより、監視装置１４の消費電力を抑えることができる。

また、本実施形態の監視装置１４によれば、前記動きが所定の動きに該当しないと判定された場合に、前記画像取得部２１は、取得する時系列の前記画像のフレームレートを下げる。これにより、画像データを保存する容量を削減することができる。

また、本実施形態の監視方法によれば、プロセッサを用いて操作を行う操作者を監視する監視方法において、前記プロセッサは、前記操作者の腕に取り付けられた撮像装置１１から、前記操作者の手Ｈの一部又は全部と、前記操作者により操作される操作対象Ｏとを含む画像を取得し、取得された前記画像を用いて、前記操作が所定操作であるか否かを判定し、前記操作が前記所定操作であるか否かの判定結果を出力する監視方法が提供される。これにより、操作者が操作対象Ｏを操作する画像を確実に取得することができる。また、操作者の行動の判定に適した画像を取得し、操作者の行動の判定精度を高めることができる。

１…監視システム
１１…撮像装置
１１ａ…取り付け部
１２…検出装置
１３…表示装置
１４…監視装置
１５…プロセッサ
１５１…ＣＰＵ
１５２…ＲＯＭ
１５３…ＲＡＭ
１６…データベース
２…操作監視部
２１…画像取得部
２２…操作特定部
２２ａ…第１機械学習部
２３…操作判定部
２４…操作手順判定部
２４ａ…第２機械学習部
２５…判定結果出力部
３…第１ニューラルネットワーク
３１…第１入力層
３２…第１中間層
３３…第１出力層
３４…第１入力データ
３５…第１出力データ
３６…第１教師データ
４…第２ニューラルネットワーク
４１…第２入力層
４２…第２中間層
４３…第２出力層
４４…第２入力データ
４５…第２出力データ
４６…第２教師データ
Ａ１…前腕部
Ａ２…上腕部
Ｃ１、Ｃ２…カプラー
Ｈ…手
Ｏ…操作対象
Ｓ…作動音
ＶＡ…視角
Ｚ…嵌合部

Claims (17)

1. 操作を行う操作者の腕に取り付けられた撮像装置を用いて、前記操作者が入力操作を行う物体である操作対象と、前記物体に対して前記入力操作を行っている前記操作者の手の一部又は全部とを含む画像を取得する画像取得部と、
   前記画像取得部により取得された前記画像における前記手と前記操作対象との位置関係から特定された前記操作が所定操作であるか否かを判定する操作判定部と、
   前記操作判定部の判定結果を出力する判定結果出力部と、を備え、
   前記撮像装置は、前記操作者の前腕の掌側に取り付けるための取付け部を有する、監視装置。
2. 操作を行う操作者の腕に取り付けられた撮像装置を用いて、前記操作者が入力操作を行う物体である操作対象と、前記操作者の、前記物体と接触している手の一部又は全部とを含む画像を取得する画像取得部と、
   前記画像取得部により取得された前記画像を用いて、前記操作が所定操作であるか否かを判定する操作判定部と、
   前記操作判定部の判定結果を出力する判定結果出力部と、を備え、
   前記撮像装置は、前記操作者の前腕の掌側に取り付けるための取付け部を有する、監視装置。
3. 前記画像取得部は、前記操作者の掌の一部又は全部と、前記操作対象とを含む画像を取得する、請求項１又は２に記載の監視装置。
4. 前記画像取得部にて取得された前記画像における前記手と前記操作対象との位置関係から前記操作を特定する操作特定部を備え、
   前記操作判定部は、前記画像取得部にて取得された一連の前記画像から、前記操作特定部にて特定された前記操作が前記所定操作であるか否かを判定する、請求項１～３のいずれか一項に記載の監視装置。
5. 前記操作特定部は、前記画像取得部にて取得された時系列の前記画像、及び前記操作者の周囲の状態を検出する検出装置の検出結果を用いて前記操作を特定する、請求項４に記載の監視装置。
6. 前記判定結果出力部は、前記操作判定部にて前記操作が前記所定操作ではないと判定された場合に、表示装置に、前記操作が適切ではないことを出力する、請求項４又は５に記載の監視装置。
7. 前記操作特定部は、前記画像取得部により取得された前記画像から前記操作を特定するように学習された第１学習済みモデルを用いて前記操作を特定する、請求項４～６のいずれか一項に記載の監視装置。
8. 前記第１学習済みモデルは、前記画像取得部にて取得された前記画像、及び前記操作者の周囲の状態を検出する検出装置の検出結果のうち少なくとも一つを含む第１入力データを第１入力層に入力すると、特定された前記操作を含む第１出力データが第１出力層から出力される第１ニューラルネットワークであり、
   前記操作特定部は、過去に前記第１ニューラルネットワークに入力した第１入力データ、及び過去に前記第１ニューラルネットワークから出力された第１出力データを第１教師データとして前記第１ニューラルネットワークを学習させる第１機械学習部を備え、前記第１機械学習部により前記第１ニューラルネットワークを学習させる、請求項７に記載の監視装置。
9. 前記操作特定部にて前記操作が前記所定操作であると判定された場合に、前記所定操作が所定手順で実行されたか否かを判定する操作手順判定部を備え、
   前記判定結果出力部は、前記操作手順判定部の判定結果を出力する、請求項４～８のいずれか一項に記載の監視装置。
10. 前記操作手順判定部は、前記画像取得部にて取得された時系列の前記画像を用いて、前記所定操作が前記所定手順で行われたか否かを判定する、請求項９に記載の監視装置。
11. 前記判定結果出力部は、前記操作手順判定部にて前記所定操作が前記所定手順で実行されなかったと判定された場合に、表示装置に、前記操作が適切ではないことを出力する、請求項９又は１０に記載の監視装置。
12. 前記操作手順判定部は、前記画像取得部にて取得された時系列の前記画像、及び前記操作者の周囲の状態を検出する検出装置の検出結果を用いて、前記所定操作が前記所定手順で行われたか否かを判定するように学習された第２学習済みモデルを用いて、前記所定操作が前記所定手順で行われたか否かを判定する、請求項９～１１のいずれか一項に記載の監視装置。
13. 前記第２学習済みモデルは、前記画像取得部にて取得された前記画像、及び前記操作者の周囲の状態を検出する検出装置の検出結果を含む第２入力データを第２入力層に入力すると、前記所定操作が前記所定手順で行われたか否かの判定結果を含む第２出力データが第２出力層から出力される第２ニューラルネットワークであり、
    前記操作手順判定部は、過去に前記第２ニューラルネットワークに入力した第２入力データ、及び過去に前記第２ニューラルネットワークから出力された第２出力データを第２教師データとして前記第２ニューラルネットワークを学習させる第２機械学習部を備え、前記第２機械学習部により前記第２ニューラルネットワークを学習させる、請求項１２に記載の監視装置。
14. 前記操作判定部は、
    前記画像取得部にて取得した前記画像から、前記操作者の前記手の動きを取得し、
    取得した前記動きが、所定の動きに該当するか否かを判定し、
    前記動きが所定の動きに該当すると判定した場合は、前記手の前記動きが所定の動きであると判定された時から所定時間前の時間から、前記手の前記動きが所定の動きであると判定された時から所定時間後の時間までの間においてのみ、前記操作が前記所定操作であるか否かを判定する、請求項１～１３のいずれか一項に記載の監視装置。
15. 前記動きが所定の動きに該当しないと判定された場合に、前記画像取得部は、取得する時系列の前記画像のフレームレートを下げる、請求項１４に記載の監視装置。
16. プロセッサを用いて操作を行う操作者を監視する監視方法において、
    前記プロセッサは、
    前記操作者の前腕の掌側に取り付けるための取付け部を有し、且つ、前記操作者の腕に取り付けられた撮像装置から、前記操作者が入力操作を行う物体である操作対象と、前記物体に対して前記入力操作を行っている前記操作者の手の一部又は全部とを含む画像を取得し、
    取得された前記画像における前記手と前記操作対象との位置関係から前記操作を特定し、
    前記操作が所定操作であるか否かを判定し、
    前記操作が前記所定操作であるか否かの判定結果を出力する、監視方法。
17. プロセッサを用いて操作を行う操作者を監視する監視方法において、
    前記プロセッサは、
    前記操作者の前腕の掌側に取り付けるための取付け部を有し、且つ、前記操作者の腕に取り付けられた撮像装置から、前記操作者が入力操作を行う物体である操作対象と、前記操作者の、前記物体と接触している手の一部又は全部とを含む画像を取得し、
    取得された前記画像を用いて、前記操作が所定操作であるか否かを判定し、
    前記操作が前記所定操作であるか否かの判定結果を出力する、監視方法。