JP5284179B2 - 作業判定システム及び作業判定方法並びに該作業判定方法を記録した記録媒体 - Google Patents

Description

本発明は、工場内の生産ラインにおいて、製品に部品を組み付ける作業者の作業状態を判定するための作業判定システム及び作業判定方法並びに該作業判定方法を記録した記録媒体に関する。

近年、電気製品や自動車の製造メーカーの生産技術部門においては、生産性を向上させる目的のために、モーションキャプチャを使用して作業者の作業が正常に行われたか否かを判定することができる作業訓練支援システムが開示されている（例えば、特許文献１参照。）。

この作業訓練支援システムは、モーションキャプチャからの３次元の空間座標位置と、標準作業時間、手の動きのぶれ（蛇行）あるいは手の動きの基準値とを比較して、その基準値から外れる場合には習熟総合判定をＮＧにするものである。モーションキャプチャは、作業者の動作状態をリアルに反映させることができるので、作業者の作業判定の精度を高めることが可能になる。

特開２００５−１３４５３６号公報

しかしながら、背景技術に記載した作業訓練支援システムでは、絶対座標で手の動きのぶれ（蛇行）あるいは手の動きを数値化しているので、必ず決められた位置に部品を組み付ける作業では特に問題はないが、例えば左手に持っている部品に右手の部品を組み付ける等、毎回組み付ける位置が異なることになる組み付け作業では絶対座標で判定しようとすると、実際には組み付け作業が正常終了しているのにも拘わらず異常終了と判定してしまう難点があった。

本発明は、このような従来の難点を解消するためになされたもので、工場内の生産ラインにおいて、作業者が両手で任意の位置において組み付け作業を行う場合においても正確な作業判定を行うことができる作業判定システム及び作業判定方法並びに該作業判定方法を記録した記録媒体を提供することを目的とする。

上述の目的を達成する本発明の第１の態様である作業判定システムは、工場内の生産ラインにおいて、作業者が右手に持っている部品と左手に持っている部品とを任意の位置で組み付ける組み付け作業を行っている当該作業者の両手の作業動作をそれぞれ経時的に測定して、その測定結果である作業動作検出データを送信するために当該両手に装着されるセンサを有し、当該センサは作業者の手指に装着される複数の磁気式３次元位置姿勢センサで、磁気式３次元位置姿勢センサ群で検出された作業者の作業動作情報を受信して作業動作検出データを３次元座標データとして作業解析部に送信する信号処理部を備えているモーションキャプチャと、モーションキャプチャの２つのセンサ間の相対距離の閾値である相対距離閾値データが予め作業工程毎に登録された相対距離閾値データ記憶部と、モーションキャプチャから送信されてきた各センサで検出された３次元座標データである作業動作検出データを時系列で受信して、２つのセンサ間の相対距離で作業者の作業中における両手の動きを経時的に把握するために何れか一方のセンサを原点にして他方のセンサとの相対距離を算出し、３次元座標データである当該相対距離算出データの作業工程と一致する相対距離閾値データ記憶部に登録された相対距離閾値データに基づき３次元座標データである相対距離算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形が所定時間経過後に相対距離閾値の幅内に到達した場合には組み付け作業が正常に行われたと判定し、３次元座標データである相対距離算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形のうち何れか１つでも所定期間経過後に相対距離閾値の幅内から外れている場合には組み付け作業が正常に行われていないと判定する相対距離データ判定機能を有する作業解析部とを備えているものである。

本発明の第２の態様は第１の態様である作業判定システムにおいて、モーションキャプチャの２つのセンサ間の相対角度の閾値である相対角度閾値データが予め作業工程毎に登録された相対角度閾値データ記憶部を備え、作業解析部は、相対距離データ判定機能で相対距離算出データが所定時間経過後に相対距離閾値の幅内に到達した場合には、さらに、２つのセンサで検出された３次元座標データである作業動作検出データに基づき相対角度を算出し、当該相対角度算出データの作業工程と一致する相対角度閾値データ記憶部に登録された相対角度データに基づき相対角度算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形が所定時間経過後に相対角度閾値の幅内に到達した場合には組み付け作業が正常に行われたと判定し、相対角度算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形のうち何れか１つでも所定期間経過後に相対角度閾値の幅内から外れている場合には組み付け作業が正常に行われていないと判定する相対角度データ判定機能を有するものである。

本発明の第３の態様は第１の態様又は第２の態様である作業判定システムにおいて、作業者の両手それぞれの作業動作の標準である作業動作標準データが予め作業工程毎に登録された作業動作標準データ記憶部を備え、作業解析部は、モーションキャプチャの２つのセンサそれぞれから時系列で受信する作業動作検出データと、作業動作検出データの作業工程と一致する作業動作標準データ記憶部に登録された作業動作標準データとを比較して、何れか一方のセンサからの作業動作検出データの作業波形が作業動作標準データの作業波形に基づき予め定められた閾値の幅内から外れたときには相対距離データ判定機能に移行することなく作業解析を終了する作業動作データ判定機能を有するものである。

本発明の第４の態様は第１の態様乃至第３の態様のうち何れか１つの態様である作業判定システムにおいて、作業解析部による解析結果に基づき作業者の作業状態の判定結果を報知する報知部を備えているものである。

また、本発明の第５の態様である作業判定方法は、工場内の生産ラインにおいて、作業者が右手に持っている部品と左手に持っている部品とを任意の位置で組み付ける組み付け作業を行っている作業者の両手の作業動作をそれぞれモーションキャプチャの両手に装着されるセンサによって経時的に測定し、その測定結果である作業動作検出データを作業解析部に送信して作業者の作業状態を解析するにあたり、モーションキャプチャは、センサが作業者の手指に装着される複数の磁気式３次元位置姿勢センサで、磁気式３次元位置姿勢センサ群で検出された作業者の作業動作情報を受信して作業動作検出データを３次元座標データとして作業解析部に送信する信号処理部を備えている作業判定方法であって、作業解析部は、モーションキャプチャから送信されてきた各センサで検出された３次元座標データである作業動作検出データを時系列で受信して、２つのセンサ間の相対距離で作業者の作業中における両手の動きを継時的に把握するために何れか一方のセンサを原点にして他方のセンサとの相対距離を算出する第１のステップと、第１のステップで算出された３次元座標データである相対距離算出データに対応する相対距離閾値データ記憶部に登録された相対距離閾値データを呼び出す第２のステップと、第１のステップで算出された３次元座標データである相対距離算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形が所定時間経過後に相対距離閾値の幅内に到達した場合には組み付け作業が正常に行われたと判定し、３次元座標データである相対距離算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形のうち何れか１つでも所定期間経過後に相対距離閾値の幅内から外れている場合には組み付け作業が正常に行われていないと判定する第３のステップとを有するものである。

本発明の第６の態様は第５の態様である作業判定方法において、第３のステップで、相対距離算出データが所定時間経過後に相対距離閾値の幅内に到達した場合には、さらに、２つのセンサで検出された３次元座標データである作業動作検出データに基づき相対角度を算出する第４のステップと、第４のステップで算出された相対角度算出データに対応する相対角度閾値データ記憶部に登録された相対角度閾値データを呼び出す第５のステップと、第５のステップで算出された相対角度算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形が所定時間経過後に相対角度閾値の幅内に到達した場合には組み付け作業が正常に行われたと判定し、相対角度算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形のうち何れか１つでも所定期間経過後に相対角度閾値の幅内から外れている場合には組み付け作業が正常に行われていないと判定する第６のステップとを有するものである。

本発明の第７の態様は第５の態様又は第６の態様である作業判定方法において、第１のステップの前に、モーションキャプチャの２つのセンサそれぞれから時系列で受信する作業動作検出データに対応する作業動作標準データ記憶部に登録された作業動作標準データを呼び出すステップと、何れか一方のセンサからの作業動作検出データの作業波形がステップで呼び出した作業動作標準データの作業波形に基づき予め定められた閾値の幅内から外れたときには第１のステップに移行することなく作業解析を終了するステップとを有するものである。

さらに、本発明の第８の態様である記録媒体は、第５の態様乃至第７の態様のうち何れか１つの態様である作業判定方法によって実現するためのプログラムを記憶したコンピュータ読み取り可能なものである。

このような本発明の作業判定システム及び作業判定方法は、量産中の生産ラインにおいて、製品に部品を組み付ける作業を行っている作業者の両手の作業動作をそれぞれモーションキャプチャの両手に装着されているセンサによって経時的に測定し、その測定結果である作業動作データを作業解析部に送信すると、作業解析部は相対距離データ判定機能により、何れか一方のセンサを原点にして他方のセンサとの相対距離を算出し、そのセンサ間の相対距離算出データに対応する相対距離閾値データを相対距離閾値データ記憶部から選択する。このセンサ間の相対距離で作業者の作業中における両手の動きを経時的に把握することができるので、作業者が両手で任意の位置において組み付け作業を行ってもその作業状態を把握することができる。したがって、作業解析部は、そのセンサ間の相対距離算出データに対応する相対距離閾値データを相対距離閾値データ記憶部から呼び出して、相対距離算出データが所定時間経過後に相対距離閾値の幅内に到達した否かで、作業者の作業状態を正確に判定することができる。

なお、作業解析部は相対距離データ判定機能の前に作業動作データ判定機能を実行させるように設定されている場合には、モーションキャプチャの２つのセンサそれぞれから時系列で受信する作業動作データに対応する作業動作標準データを作業動作標準データ記憶部から選択する。作業解析部は、何れか一方のセンサからの作業動作データと選択した作業動作標準データとを比較して、何れか一方のセンサからの作業動作データが、選択された作業動作標準データの閾値から外れたときには、相対距離データ判定機能に移行することなく作業解析を終了させる。このように、両手の作業状態を個別に把握することができるので、相対距離データ判定機能では検出できない各々の手の作業状態を把握することができる。したがって、作業者の作業状態をより正確に判定することができる。

また、作業判定システムに相対角度閾値データ記憶部を備え、作業解析部に相対角度データ判定機能を備えた場合には、作業解析部は相対距離データ判定機能で相対距離算出データが所定時間経過後に相対距離閾値の幅内に到達すると、さらに、相対角度データ判定機能により、２つのセンサで検出された作業動作検出データに基づき相対角度を算出し、その２つのセンサから得られた相対角度算出データに対応する相対角度閾値データを相対角度閾値データ記憶部から選択する。この２つのセンサから得られた相対角度及びセンサ間の相対距離で作業者の作業中における両手の動きを経時的に把握することができるので、作業者の作業状態を相対角度閾値データ記憶部及び相対角度データ判定機能を備えていない場合に比べてより正確に把握することができる。

さらに、モーションキャプチャのセンサが磁気式３次元位置姿勢センサの場合には、作業動作データを３次元座標データとすることができるので、位置座標（Ｘ軸、Ｙ軸、Ｚ軸）及び姿勢を示すオイラー角の情報を得ることができるようになる。

本発明の作業判定システム及び作業判定方法並びに該作業判定方法を記録した記録媒体によれば、工場内の生産ラインにおいて、作業者が両手で任意の位置において組み付け作業を行う場合においても正確な作業判定を行うことができる。

本発明の作業判定システムにおける好ましい実施の形態例を示すシステム構成のブロック図である。 図１のモーションキャプチャに使用されるセンサのキャリブレーションの例を示す説明図である。 モーションキャプチャで検出した位置情報の例を示す説明図である。 （Ａ）は工場内における作業工程の例を示す説明図で、（Ｂ）はデータ記憶部のデータベースに格納されている作業工程の一例を示すデータベースモデル図である。 作業解析部における座標値の曲線グラフを利用した解析手法を示す図である。 作業解析部における座標値の曲線グラフを利用した解析手法を示す図である。 生産ラインにおける具体的な作業工程を示す説明図である。 生産ラインにおける具体的な作業工程を示す説明図である。 作業解析部における回転角の曲線グラフを利用した解析手法を示す図である。 作業解析部における回転角の曲線グラフを利用した解析手法を示す図である。 本発明の作業判定方法の好ましい実施の形態例を示すフローチャート図である。 本発明の作業判定方法の好ましい他の実施の形態例を示すフローチャート図である。 本発明の作業判定方法の好ましい他の実施の形態例を示すフローチャート図である。

以下、作業判定システム及び作業判定方法並びに該作業判定方法を記録した記録媒体を実施するための最良の形態例について、図面を参照して説明する。

本発明の作業判定システムは図１に示すように、工場内における量産中の生産ラインにおいて、自動車等の製品に部品を組み付ける作業を行っている作業者の両手の作業動作をそれぞれ経時的に測定して、その測定結果である作業動作データを送信するモーションキャプチャ２と、モーションキャプチャ２から送信された作業動作データを受信して、その作業動作データと標準データとを比較することで作業者の作業状態を判定するデータ処理装置３とを備えている。また、作業判定システムは、データ処理装置３による判定結果を報知する報知部４を備えている。

モーションキャプチャ２は、汎用のものを用いることができ、動体に装着された光学マーカの位置情報により動体の動きを検出する光学式や、動体に装着された磁気センサの動きを検出する磁気式が一般的である。特に、経時的に測定する対象が、部品を組み付ける作業を行っている作業者の作業動作の場合には、モーションキャプチャ２としては、作業者の手指に装着されるデバイスである複数の磁気式３次元位置姿勢センサ２１と、磁気式３次元位置姿勢センサ群２１で検出された作業者の作業動作情報として受信してデータ処理装置３に送信する信号処理部２２とを備えているものが好適である。このモーションキャプチャ２の場合、複数の磁気式３次元位置姿勢センサ２１を手指の繊細な動きを検出できるように柔軟性のあるグローブに配置するので、作業者の両手の作業動作を精度よく再現することが可能になる。

この磁気式３次元位置姿勢センサ２１とデータ処理装置３とは、有線、無線の何れの接続手段でもよく、設置状況に応じて選択する。このようなモーションキャプチャとして、例えば、特開２００７−２３６６０２号公報に開示された磁気式位置姿勢センサを用いた手指用モーションキャプチャ装置が好適である。

この手指用モーションキャプチャ装置は図２、図３に示すように、例えば親指の先端に位置するセンサ２１ａの中心に原点を仮定すると、信号処理部２２の固定基準点から見たそれらの位置座標（Ｘ軸、Ｙ軸、Ｚ軸）及びＸ軸、Ｙ軸、Ｚ軸の周りの回転角から求められる姿勢を示すオイラー角の情報が得られ、データ処理装置３に記録される。この場合におけるセンサ装着時の位置及び角度のズレのキャリブレーションは、特開２００７−２３６６０２号公報に詳述されているので、説明は省略する。

なお、グローブは作業者の両手に装着するので、以下、右手に装着した磁気式３次元位置姿勢センサをセンサ２１Ｒ、左手に装着した磁気式３次元位置姿勢センサをセンサ２１Ｌとして説明する。

データ処理装置３はコンピュータが好ましく、内部にＣＰＵ等の演算処理装置を備えると共に、ブラウン管モニタや液晶ディスプレイ等の表示画面を有する表示装置や、キーボード、マウス等の入力デバイス、さらに、ハードディスクドライブ等の記憶装置等で構成されている。

このようなデータ処理装置３は図１に示すように、作業者の両手それぞれの作業動作の標準である作業動作標準データが予め作業工程毎に登録された作業動作標準データ記憶部３１と、モーションキャプチャ２の２つのセンサ２１Ｒ、２１Ｌ間の相対距離の閾値である相対距離閾値データが予め作業工程毎に登録された相対距離閾値データ記憶部３２と、モーションキャプチャ２の２つのセンサ２１Ｒ、２１Ｌそれぞれから時系列で受信する作業動作検出データを作業動作標準データ記憶部３１の作業動作標準データや相対距離閾値データ記憶部３２の相対距離閾値データと比較して、作業者の作業状態を解析する作業解析部３３とを備えている。なお、作業動作標準データ記憶部３１に登録された作業動作標準データは、位置座標（Ｘ軸、Ｙ軸、Ｚ軸）及びＸ軸、Ｙ軸、Ｚ軸の周りの回転角から求められる姿勢を示すオイラー角の情報である。

作業動作標準データ記憶部３１及び相対距離閾値データ記憶部３２は、それぞれデータを更新自在に記憶できるＲＡＭや固定データを記憶するＲＯＭ等で構成され、例えば図４（Ａ）に示すように、工場内において、ヘッドランプを車両の所定位置に組み付ける組付工程が作業工程（１）、車両の所定位置に仮組み付けされているオーディオをその位置から引き出して付属部品を組み付け後、オーディオを車両の元の位置に収納して組み付ける組付工程が作業工程（２）、サイドミラーを車両の所定位置に組み付ける組付工程が作業工程（３）とすると、作業動作標準データ記憶部３１及び相対距離閾値データ記憶部３２のデータベースは、それぞれ図４（Ｂ）に示すようなデータベースモデルとなる。

作業解析部３３は、モーションキャプチャ２から送信されてきた各センサ２１Ｒ、２１Ｌで検出された各作業動作検出データを受信して、何れか一方のセンサを原点にして他方のセンサとの相対距離を算出し、当該相対距離検出データの作業工程と一致する相対距離閾値データ記憶部３２に登録された相対距離閾値データに基づき相対距離検出データが所定時間経過後にその相対距離閾値の幅内に到達したか否かで、作業者の作業状態を判定する相対距離データ判定機能３３ａを有している。さらに、作業解析部３３は、モーションキャプチャ２の２つのセンサ２１Ｒ、２１Ｌそれぞれから時系列で受信する作業動作検出データと、作業動作検出データの作業工程と一致する作業動作標準データ記憶部３１に登録された作業動作標準データとを比較して、何れか一方のセンサからの作業動作検出データが作業動作標準データの閾値の幅内から外れたときには相対距離データ判定機能３３ａに移行することなく作業解析を終了する作業動作データ判定機能３３ｂを有している。

また、作業解析部３３は、作業者がモーションキャプチャ２の２つのセンサ２１Ｒ、２１Ｌのうち何れか一方だけを装着して作業を行う場合には、例えば、モーションキャプチャ２のセンサ２１Ｒから作業動作検出データを時系列で受信すると、その作業動作検出データによる作業工程と一致する作業動作標準データを作業動作標準データ記憶部３１のデータベースから検出し、その作業動作標準データと作業動作検出データとを比較して、差異がある場合にはその差異から作業上の不具合を検出する作業不具合検出機能３３ｃを有している。

このような作業解析部３３は、作業者がモーションキャプチャ２の２つのセンサ２１Ｒ、２１Ｌのうち何れか一方だけを装着して部品を所定の位置に組み付けるだけの作業を行う場合には、作業不具合検出機能３３ｃで、その部品が所定位置まで移動したか否かを検出できればよいので、図５に示すような横軸が時間値で縦軸が座標値である曲線グラフの作業波形を利用して、作業動作検出データの作業波形と作業動作標準データの作業波形とを比較するとよい。なお、図中、右側のグラフは作業位置における標準作業波形を示し、左側のグラフはモーションキャプチャ２からの作業動作検出データの作業波形で、点線で形成された楕円部が作業位置を示すものである。作業解析部３３は比較した結果、作業動作検出データの作業波形が作業動作標準データの作業波形に基づき予め定められた閾値から所定方向に離れて位置するときには作業上の不具合を検出する。

具体的には、例えば作業工程（１）において、作業者が磁気式３次元位置姿勢センサであるセンサ２１Ｒ、２１Ｌを両手の手指に装着した状態で、クイックリリースタイプの結合クリップでヘッドランプを自動車のフロント部分に組み付けるために当該結合クリップをフレームの結合穴に押圧すると、モーションキャプチャ２の例えばセンサ２１Ｒがその作業動作の情報を時系列で作業動作検出データとして出力する。作業解析部３３がモーションキャプチャ２のセンサ２１Ｒから時系列で作業動作検出データを受信した場合、例えば図５に示すように、グラフの時間軸上の作業位置において、検出された作業動作検出データのＸ軸成分の作業波形が、Ｘ軸成分の標準作業波形を基準に設定された閾値ラインＴＨ１から上方に突出した軌跡や座標値を示した場合には、結合クリップが完全には嵌め込み固定されたことを示すので、作業解析部３２はＸ軸成分においては作業者がヘッドランプの組付工程（１）の作業を正常に完了させたことを検出する。したがって、作業解析部３２は、Ｘ軸成分についてはヘッドランプの組付工程（１）が正常終了したことを示す検出情報を報知部４に送信する。

また、検出された作業動作検出データのＹ軸成分の作業波形が、Ｙ軸成分の標準作業波形を基準に設定された閾値ラインＴＨ２から下方に突出した軌跡や座標値を示した場合には、結合クリップが完全には嵌め込み固定されたことを示すので、作業解析部３２はＹ軸成分においては作業者がヘッドランプの組付工程（１）の作業を正常に完了させたことを検出する。したがって、作業解析部３２は、Ｙ軸成分についてはヘッドランプの組付工程（１）が正常終了したことを示す検出情報を報知部４に送信する。

また、検出された作業動作検出データのＺ軸成分の作業波形が、Ｚ軸成分の標準作業波形を基準に設定された閾値ラインＴＨ３から下方に突出した軌跡や座標値を示さない場合には、結合クリップがＺ軸成分において完全には嵌め込み固定されていないことを示すので、ヘッドランプの組付工程（１）において作業上の不具合が発生したことを検出する。したがって、作業解析部３２はＺ軸成分において作業上の不具合が発生したことを示す検出情報を報知部４に送信するので、ヘッドランプの組付工程（１）において作業上の不具合が発生したと判定する。

なお、作業解析部３２はＸ軸成分、Ｙ軸成分及びＺ軸成分の何れの作業波形においても、ヘッドランプの組付工程（１）が正常終了したことを示す検出情報の場合には、ヘッドランプの組付工程（１）において作業上の不具合はなかったと判定する。

さらに、作業解析部３３は、作業者がモーションキャプチャ２の２つのセンサ２１Ｒ、２１Ｌを両手に装着して、車両の所定位置に仮組み付けされている第１の部品をその位置から引き出して第２の部品を組み付け後、第１の部品を車両の元の位置に収納して組み付ける作業の場合には、相対距離データ判定機能３３ａで、作業者が両手に装着した２つのセンサ２１Ｒ、２１Ｌ間の相対距離を検出して両手の相対的な動きを把握できればよいので、図６（Ａ）に示すような横軸が時間値で縦軸が座標値である曲線グラフの作業波形を利用して、例えばセンサ２１Ｒからの作業動作検出データを原点にしてセンサ２１Ｌからの作業動作検出データとの相対距離を算出し、当該相対距離検出データの作業工程と一致する相対距離閾値データ記憶部３２に登録された相対距離閾値データを呼び出す。そして、相対距離データ判定機能３３ａは相対距離検出データが所定時間経過後にその相対距離閾値の幅内に到達している場合にはその作業が正常に行われたと判定し、閾値の幅内から外れている場合には作業が正常に行われていないと判断する。

なお、図６（Ａ）は作業動作検出データのＸ軸成分の作業波形のみが示されているが、モーションキャプチャ２のセンサ２１が磁気式３次元位置姿勢センサなので、作業動作検出データのＹ軸成分、Ｚ軸成分の各作業波形も検出される。したがって、Ｘ軸成分、Ｙ軸成分、Ｚ軸成分のうち何れか１つでも相対距離検出データが所定時間経過後にその相対距離閾値の幅内に到達していない場合には、作業が正常に行われていないと判断する。

具体的には図７、図８に示すように、例えば作業工程（２）において、作業者は生産ラインＦＬの近傍に設置されている収納ラックＳＬからオーディオ６を左手で取り出し（図８）、生産ラインＦＬ上で移動している車両Ｃが備えているセンターコンソールボックス５内に配線されているワイヤーハーネスＷ／Ｈから、予め仮組みされている結線用コネクタ７を（図７（Ａ））当該センターコンソールボックス５から右手で引き出してオーディオ６と結線し（図７（Ｂ））、そのオーディオ６を再びセンターコンソールボックス５に収納して組み付ける作業（図７（Ｃ））が該当する。

この作業においては図８に示すように、種々の部品を組み付ける車両Ｃが生産ラインＦＬ上で移動しているので、絶対座標で手の動きを数値化すると上述した背景技術で説明したように正確な作業判定を行うことができないが、作業解析部３３の相対距離データ判定機能３３ａでは、２つのセンサ２１Ｒ、２１Ｌ間の相対距離で作業者の作業中における両手の動きを経時的に把握することができるので、作業者が右手に持っている部品と左手に持っている部品とを任意の位置で組み付ける組み付け作業を行ってもその作業状態を把握することができる。

報知部４は、作業者の作業解析結果を表示する表示画面にすることで、作業者は作業解析結果を視覚的に捉え易くなる。なお、報知部４は表示装置の表示画面に限らず、スピーカ等の音声発生装置によって聴覚によって作業解析結果を確認できるようにしてもよく、さらには、表示装置の表示画面と音声発生装置とを用いて作業解析結果を確認できるようにしてもよい。なお、報知部４は生産ラインＦＬの近傍ではなく検査ラインに設けるようにしてもよく、この場合は、生産ラインＦＬを停止することなく不良の車両を検出することが可能になる。

なお、モーションキャプチャ２から時系列で受信する座標データである作業動作検出データが、データ処理装置用の座標データとデータ形式が異なる場合には図１に示すように、モーションキャプチャ２と作業解析部３２に、データ形式変換部３３ｄを組み込むとよい。データ形式変換部３３ｄは、モーションキャプチャ２から時系列で受信する作業動作検出データをデータ処理装置用の座標データに変換する機能を有している。

このようなデータ処理装置３は、作業解析部３３の判定機能の判定精度を高めるために、モーションキャプチャ２の２つのセンサ２１Ｒ、２１Ｌ間の相対角度の閾値である相対角度閾値データが予め作業工程毎に登録された相対角度閾値データ記憶部３４を備え、作業解析部３３に相対角度閾値データと相対距離算出データとを比較する相対角度データ判定機能３３ｅを備えるとよい。この相対角度データ判定機能３３ｅは、相対距離データ判定機能３３ａで相対距離算出データが所定時間経過後に相対距離閾値の幅内に到達した場合には、さらに、２つのセンサ２１Ｒ、２１Ｌで検出された作業動作検出データに基づき相対角度を算出し、当該相対角度算出データの作業工程と一致する相対角度閾値データ記憶部３４に登録された相対角度データに基づき相対角度算出データが相対距離データ判定機能３３ａと同じ所定時間経過後に相対角度閾値の幅内に到達したか否かで、作業者の作業状態を判定するものである。

相対角度閾値データ記憶部３４は、作業動作標準データ記憶部３１及び相対距離閾値データ記憶部３２と同様に、データを更新自在に記憶できるＲＡＭや固定データを記憶するＲＯＭ等で構成されている。また、相対角度データ判定機能３３ｅで対象とする相対角度は、何れか一方のセンサを原点にして他方のセンサとの角度を算出する演算処理方法によって求められるが、この演算処理方法には限られず、既知の相対角度の演算処理方法ならば何れの演算処理方法を使用してもよい。

このような相対角度データ判定機能３３ｅを有する作業解析部３３は、相対角度データ判定機能３３ｅを有する作業解析部３３は、作業者がモーションキャプチャ２の２つのセンサ２１Ｒ、２１Ｌを両手に装着して、車両の所定位置に仮組み付けされている第１の部品をその位置から引き出して第２の部品を組み付け後、第１の部品を車両の元の位置に収納して組み付ける作業の場合には、相対距離データ判定機能３３ａが相対距離検出データが所定時間経過後にその相対距離閾値の幅内に到達していると判定すると、さらに、相対角度データ判定機能３３ｅにより、２つのセンサ２１Ｒ、２１Ｌで検出された作業動作検出データに基づき相対角度を算出し、その２つのセンサ２１Ｒ、２１Ｌから得られた相対角度算出データに対応する相対角度閾値データを相対角度閾値データ記憶部３４から選択する。

この際、相対角度データ判定機能３３ｅは、図９に示すような横軸が時間軸で縦軸が相対角度である曲線グラフの作業波形を利用して、相対角度算出データが相対距離データ判定機能３３ａに設定された所定時間経過後に相対角度閾値の幅内に到達している場合にはその作業が正常に行われたと判定し、閾値の幅内から外れている場合には作業が正常に行われていないと判断する。なお、図９は相対角度算出データのＸ軸成分の作業波形のみが示されているが、相対角度算出データのＹ軸成分、Ｚ軸成分の各作業波形も得ることができる。したがって、Ｘ軸成分、Ｙ軸成分、Ｚ軸成分のうち何れか１つでも相対角度算出データが所定時間経過後にその相対角度閾値の幅内に到達していない場合には、作業が正常に行われていないと判断する。

また、相対角度データ判定機能３３ｅを有する作業解析部３３は、作業者がモーションキャプチャ２の２つのセンサ２１Ｒ、２１Ｌのうち何れか一方だけを装着して部品を所定の位置に組み付けるだけの作業を行う場合には、作業不具合検出機能３３ｃで、その部品が所定位置まで正常移動したことを検出すると、さらに、作業不具合検出機能３３ｃで、その正常移動位置におけるモーションキャプチャ２の一方のセンサの回転角が既定角度範囲内で回転しているか否かを検出できればよいので、図１０に示すような横軸が時間値で縦軸が回転角である曲線グラフの作業波形を利用して、モーションキャプチャ２からの作業動作検出データから算出された回転角データの作業波形と作業動作標準データの作業波形とを比較するとよい。

なお、センサの回転角は位置座標に基づき作業解析部３３によって算出される。また、図１０中、右側のグラフは作業位置における標準作業波形を示し、左側のグラフは回転角データの作業波形で、点線で形成された楕円部が作業位置を示すもので、上からＸ軸成分、Ｙ軸成分及びＺ軸成分のグラフとなっている。作業解析部３３は比較した結果、回転角データの作業波形が作業動作標準データの作業波形に基づき予め定められた閾値から所定方向に離れて位置するときには作業上の不具合を検出する。

上述したデータ処理装置３の各構成部は図１に示すように、それぞれ電気的に接続され、モーションキャプチャ２はセンサ２１Ｒ及びセンサ２１Ｌがそれぞれ信号処理部２２に接続され、データ処理装置３は作業動作標準データ記憶部３１及び相対距離閾値記憶部３２がそれぞれ作業解析部３３に接続されている。また、データ処理装置３の作業解析部３３にはモーションキャプチャ２の信号処理部２２及び報知部４が接続されている。なお、データ処理装置３に相対角度閾値データ記憶部３４を備えた場合には、当該相対角度閾値データ記憶部３４を作業解析部３３に接続させる。

このように構成された作業判定システム１におけるデータ処理装置３の各構成は、演算処理装置によって実行されるプログラムによって実現されるものである。このプログラムによるデータ処理手順について図１１のフローチャートに基づき説明する。なお、データ処理装置３は、相対角度閾値データ記憶部３４を備えず、作業解析部３３に相対角度データ判定機能３３ｅを有していないものとする。

例えば、作業者が両手の手指にセンサ２１Ｒ、２１Ｌを装着した状態で、上述した作業工程（２）の作業を行うと（ステップ１０１）、その作業動作をセンサ２１Ｒ、２１Ｌが検出して作業者の作業動作情報である作業動作検出データを信号処理部２２に送信する。信号処理部２２は、この作業動作検出データをデータ処理装置３の作業解析部３３に時系列で送信する。

作業解析部３３は、モーションキャプチャ２のセンサ２１Ｒから時系列で受信する作業動作検出データを取り込むと共に、センサ２１Ｌから時系列で受信する作業動作検出データを取り込むと（ステップ１０２、１０３）、データ形式変換部３３ｄでデータ処理装置用の３次元座標データに変換する（ステップ１０４）。作業解析部３３は、このデータ処理装置用のデータ形式に変換された各センサからの作業動作検出データに基づき、相対距離データ判定機能３３ａで、センサ２１Ｒを原点にしてセンサ２１Ｌとの相対距離を算出する（ステップ１０５）。

相対距離データ判定機能３３ａは、ステップ１０５で算出された相対距離算出データに対応する相対距離閾値データ記憶部３２に登録された相対距離閾値データを呼び出して（ステップ１０６）、ステップ１０５で算出された相対距離算出データが所定時間経過後に相対距離閾値の幅内に到達した場合には、車両の所定位置に仮組み付けされているオーディオをその位置から引き出して付属部品を正常に組み付けたと判定して、このプログラムによるデータ処理は終了する（ステップ１０７、１０８、１０９）。一方、ステップ１０５で算出された相対距離算出データが所定時間経過後に相対距離閾値の幅内に到達していない場合には、車両の所定位置に仮組み付けされているオーディオをその位置から引き出して付属部品を正常に組み付けられなかったと判定して、報知部４で警報を出力することで作業者や検査員に知らせて、このプログラムによるデータ処理は終了する（ステップ１０７、１０８、１１０、１０９）。

このように、作業解析部３３は、そのセンサ２１Ｒ、２１Ｌ間の相対距離算出データに対応する相対距離閾値データを相対距離閾値データ記憶部から呼び出して、相対距離算出データが所定時間経過後に相対距離閾値の幅内に到達した否かで、作業者の作業状態を正確に判定することができる。

また、作業者が例えば右手の手指にセンサ２１Ｒを装着した状態で、上述した作業工程（１）の作業を行うと（ステップ１０１）、その作業動作をセンサ２１Ｒが検出して作業者の作業動作情報である作業動作検出データを信号処理部２２に送信する。信号処理部２２は、この作業動作検出データをデータ処理装置３の作業解析部３３に時系列で送信する。

作業解析部３３は、モーションキャプチャ２のセンサ２１Ｒから時系列で受信する作業動作検出データを取り込んでいるがセンサ２１Ｌから時系列で受信する作業動作検出データを取り込んでいない場合には（ステップ１０２、１０３）、ステップ１０４ではなくてステップ１１１に移行して、データ形式変換部３３ｄでデータ処理装置用の作業動作検出データに変換する。

作業解析部３３は、このデータ処理装置用のデータ形式に変換されたセンサ２１Ｒからの作業動作検出データに基づき、作業動作標準データ記憶部３１のデータベースからヘッドランプの組付工程である作業工程（１）の作業動作標準データを呼び出して（ステップ１１２）、作業動作検出データと作業動作標準データとを比較する（ステップ１１３）。

作業解析部３３は作業波形の照合の結果、作業動作検出データの作業波形と作業動作標準データの作業波形との間に差異が生じている場合には、その差異から作業者の作業上の不具合を検出する。この差異として作業動作検出データの作業波形が作業動作標準データの作業波形に基づき予め定められた閾値から所定方向に離れて位置するときには作業上の不具合を検出し（ステップ１１４）、それに基づく作業不具合情報が報知部４に送信されるので、報知部４は作業上の不具合を警報することができる（ステップ１１５）。報知部４が作業上の不具合を警報することで、このプログラムによるデータ処理は終了する（ステップ１１６）。

また、作業動作検出データの作業波形と作業動作標準データの作業波形との間に差異が生じていない場合には、このプログラムによるデータ処理は終了する（ステップ１１６）。

なお、作業解析部３３の作業動作データ判定機能３３ｂを併用する場合には、プログラムによるデータ処理手順は図１２に示すフローチャートのようになる。

即ち、例えば、作業者が両手の手指にセンサ２１Ｒ、２１Ｌを装着した状態で、上述した作業工程（２）の作業を行うと、図１１のフローチャートと同様に作業解析部３３でステップ１０１〜ステップ１０４までが実行される。ステップ１０４が実行されると、作業解析部３３は作業動作データ判定機能３３ｂで、データ処理装置用のデータ形式に変換されたセンサ２１Ｒ、２１Ｌからの作業動作検出データに基づき、作業動作標準データ記憶部３１のデータベースから上述した作業工程（２）の作業動作標準データを呼び出して（ステップ２０１）、作業動作検出データと作業動作標準データとを比較する（ステップ２０２）。

作業動作データ判定機能３３ｂは図６（Ｂ）、（Ｃ）に示すように、各センサ２１Ｒ、２１Ｌからの作業動作検出データの作業波形が、所定時間経過後にステップ２０１で呼び出した作業動作標準データの作業波形に基づき予め定められた閾値の幅内に位置している場合にはステップ１０５に移行し、所定時間経過後にステップ２０１で呼び出した作業動作標準データの閾値の幅内から外れている場合にはステップ１１０に移行する（ステップ２０３）。したがって、ステップ１０５に移行した場合には、相対距離データ判定機能３３ａが開始され、ステップ１１０に移行した場合には、プログラムによるデータ処理は終了する。

このように、作業工程（２）の作業開始から終了までの作業動作検出データの作業波形を監視することにより両手の作業状態をそれぞれ把握することができるので、相対距離データ判定機能３３ａでは検出できない各々の手の作業状態を把握することができる。したがって、作業者の作業状態をより正確に判定することができる。

なお、データ処理装置３が、相対角度閾値データ記憶部３４を備え、作業解析部３３に相対角度データ判定機能３３ｅを有する場合には、図１３に示すようなデータ処理手順が追加される。この図１３に示すデータ処理手順は図１１のデータ処理手順及び図１２のデータ処理手順の何れにも適用され、図１１、図１２のステップ１０８で車両の所定位置に仮組み付けされているオーディオをその位置から引き出して付属部品を正常に組み付けたと判定すると、作業解析部３３は、このデータ処理装置用のデータ形式に変換された各センサからの作業動作検出データに基づき、相対角度データ判定機能３３ｅで、例えばセンサ２１Ｒを原点にしてセンサ２１Ｌとの相対角度を算出する（ステップ１２０）。

相対角度データ判定機能３３ｅは、ステップ１２０で算出された相対角度算出データに対応する相対角度閾値データ記憶部３４に登録された相対距離閾値データを呼び出して（ステップ１２１）、ステップ１２０で算出された相対角度算出データが相対距離データ判定機能３３ａと同じ所定時間経過後に相対角度閾値の幅内に到達した場合には、車両の所定位置に仮組み付けされているオーディオをその位置から引き出して付属部品を正常に組み付けたと判定して、このプログラムによるデータ処理は終了する（ステップ１２２、１２３、１０９）。一方、ステップ１２０で算出された相対角度算出データが所定時間経過後に相対角度閾値の幅内に到達していない場合には、車両の所定位置に仮組み付けされているオーディオをその位置から引き出して付属部品を正常に組み付けられなかったと判定して、報知部４で警報を出力することで作業者や検査員に知らせて、このプログラムによるデータ処理は終了する（ステップ１２２、１２３、１１０、１０９）。

このように、作業解析部３３は、相対距離と共に相対角度でも作業者の作業状態を判定することができるので、作業解析部３３の判定機能の判定精度を高めることができるようになる。

また、図１１、図１２のフローチャートにおいて、ステップ１０４は、データ形式変換部３３ｄが組み込まれていない場合には省略される。

このようなデータ処理手順がデータ処理装置３の演算処理装置によって実行されるプログラムは、コンピュータ読み取り可能なＣＤ、ＤＶＤ等の記録媒体に記録させておくことで、複数のデータ処理装置３で利用可能になる。

これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。

１……作業判定システム
２……モーションキャプチャ
２１Ｒ、２１Ｌ……センサ
３１……作業動作標準データ記憶部
３２……相対距離閾値データ記憶部
３３……作業解析部
３３ａ……相対距離データ判定機能
３３ｂ……作業動作データ判定機能
３３ｅ……相対角度データ判定機能
３４……相対角度閾値データ記憶部
４……報知部

Claims (8)

1. 工場内の生産ラインにおいて、作業者が右手に持っている部品と左手に持っている部品とを任意の位置で組み付ける組み付け作業を行っている当該作業者の両手の作業動作をそれぞれ経時的に測定して、その測定結果である作業動作検出データを送信するために当該両手に装着されるセンサを有し、当該センサは前記作業者の手指に装着される複数の磁気式３次元位置姿勢センサで、前記磁気式３次元位置姿勢センサ群で検出された前記作業者の作業動作情報を受信して前記作業動作検出データを３次元座標データとして前記作業解析部に送信する信号処理部を備えているモーションキャプチャと、
   前記モーションキャプチャの前記２つのセンサ間の相対距離の閾値である相対距離閾値データが予め作業工程毎に登録された相対距離閾値データ記憶部と、
   前記モーションキャプチャから送信されてきた前記各センサで検出された前記３次元座標データである作業動作検出データを時系列で受信して、前記２つのセンサ間の前記相対距離で前記作業者の作業中における両手の動きを経時的に把握するために何れか一方の前記センサを原点にして他方の前記センサとの前記相対距離を算出し、前記３次元座標データである当該相対距離算出データの作業工程と一致する前記相対距離閾値データ記憶部に登録された前記相対距離閾値データに基づき前記３次元座標データである相対距離算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形が所定時間経過後に前記相対距離閾値の幅内に到達した場合には前記組み付け作業が正常に行われたと判定し、前記３次元座標データである相対距離算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形のうち何れか１つでも前記所定期間経過後に前記相対距離閾値の幅内から外れている場合には前記組み付け作業が正常に行われていないと判定する相対距離データ判定機能を有する作業解析部とを備えていることを特徴とする作業判定システム。
2. 前記モーションキャプチャの前記２つのセンサ間の相対角度の閾値である相対角度閾値データが予め作業工程毎に登録された相対角度閾値データ記憶部を備え、
   前記作業解析部は、前記相対距離データ判定機能で前記相対距離算出データが前記所定時間経過後に前記相対距離閾値の幅内に到達した場合には、さらに、前記２つのセンサで検出された前記３次元座標データである作業動作検出データに基づき相対角度を算出し、当該相対角度算出データの作業工程と一致する前記相対角度閾値データ記憶部に登録された前記相対角度データに基づき前記相対角度算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形が前記所定時間経過後に前記相対角度閾値の幅内に到達した場合には前記組み付け作業が正常に行われたと判定し、前記相対角度算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形のうち何れか１つでも前記所定期間経過後に前記相対角度閾値の幅内から外れている場合には前記組み付け作業が正常に行われていないと判定する相対角度データ判定機能を有することを特徴とする請求項１記載の作業判定システム。
3. 前記作業者の前記両手それぞれの前記作業動作の標準である作業動作標準データが予め作業工程毎に登録された作業動作標準データ記憶部を備え、
   前記作業解析部は、前記モーションキャプチャの前記２つのセンサそれぞれから時系列で受信する前記作業動作検出データと、前記作業動作検出データの作業工程と一致する前記作業動作標準データ記憶部に登録された前記作業動作標準データとを比較して、前記何れか一方のセンサからの前記作業動作検出データの作業波形が前記作業動作標準データの作業波形に基づき予め定められた閾値の幅内から外れたときには前記相対距離データ判定機能に移行することなく作業解析を終了する作業動作データ判定機能を有することを特徴とする請求項１又は請求項２記載の作業判定システム。
4. 前記作業解析部による解析結果に基づき前記作業者の作業状態の判定結果を報知する報知部を備えていることを特徴とする請求項１乃至請求項３のうち何れか１項に記載の作業判定システム。
5. 工場内の生産ラインにおいて、作業者が右手に持っている部品と左手に持っている部品とを任意の位置で組み付ける組み付け作業を行っている作業者の両手の作業動作をそれぞれモーションキャプチャの前記両手に装着されるセンサによって経時的に測定し、その測定結果である作業動作検出データを作業解析部に送信して前記作業者の作業状態を解析するにあたり、前記モーションキャプチャは、前記センサが前記作業者の手指に装着される複数の磁気式３次元位置姿勢センサで、前記磁気式３次元位置姿勢センサ群で検出された前記作業者の作業動作情報を受信して前記作業動作検出データを３次元座標データとして前記作業解析部に送信する信号処理部を備えている作業判定方法であって、
   前記作業解析部は、
   前記モーションキャプチャから送信されてきた前記各センサで検出された前記３次元座標データである作業動作検出データを時系列で受信して、前記２つのセンサ間の相対距離で前記作業者の作業中における両手の動きを継時的に把握するために何れか一方の前記センサを原点にして他方の前記センサとの前記相対距離を算出する第１のステップと、
   前記第１のステップで算出された前記３次元座標データである相対距離算出データに対応する相対距離閾値データ記憶部に登録された相対距離閾値データを呼び出す第２のステップと、
   前記第１のステップで算出された前記３次元座標データである相対距離算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形が所定時間経過後に前記相対距離閾値の幅内に到達した場合には前記組み付け作業が正常に行われたと判定し、前記３次元座標データである相対距離算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形のうち何れか１つでも前記所定期間経過後に前記相対距離閾値の幅内から外れている場合には前記組み付け作業が正常に行われていないと判定する第３のステップとを有することを特徴とする作業判定方法。
6. 前記第３のステップで、前記相対距離算出データが前記所定時間経過後に前記相対距離閾値の幅内に到達した場合には、さらに、前記２つのセンサで検出された前記３次元座標データである作業動作検出データに基づき相対角度を算出する第４のステップと、
   前記第４のステップで算出された相対角度算出データに対応する相対角度閾値データ記憶部に登録された相対角度閾値データを呼び出す第５のステップと、
   前記第５のステップで算出された前記相対角度算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形が前記所定時間経過後に前記相対角度閾値の幅内に到達した場合には前記組み付け作業が正常に行われたと判定し、前記相対角度算出データのＸ軸成分、Ｙ軸成分、Ｚ軸成分の各作業波形のうち何れか１つでも前記所定期間経過後に前記相対角度閾値の幅内から外れている場合には前記組み付け作業が正常に行われていないと判定する第６のステップとを有することを特徴とする請求項５記載の作業判定方法。
7. 前記第１のステップの前に、前記モーションキャプチャの前記２つのセンサそれぞれから時系列で受信する前記作業動作検出データに対応する作業動作標準データ記憶部に登録された作業動作標準データを呼び出すステップと、
   前記何れか一方のセンサからの前記作業動作検出データの作業波形が前記ステップで呼び出した前記作業動作標準データの作業波形に基づき予め定められた閾値の幅内から外れたときには前記第１のステップに移行することなく作業解析を終了するステップとを有することを特徴とする請求項５又は請求項６記載の作業判定方法。
8. 請求項５乃至請求項７のうち何れか１項に記載の作業判定方法によって実現するためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。

Images