JP7753028B2 - 作業教育支援システム及び作業教育支援システム用コンテンツ作成プログラム - Google Patents

Description

本発明は、建設現場等での業務に従事する作業員に対する教育を効率的に行うための技術に係り、特に指導員が直接指導することが難しい場合などに好適な作業教育支援システム、及びこのシステムで用いられるコンテンツ作成プログラムに関する。

昨今、作業現場においては、熟練者や中堅者等、特定作業に対するノウハウや知識、技能を有する人員の不足が進んでいる。そして、他者との接触を極力避けるといった感染症対策が提唱される情勢では、ＯＪＴ（On Job Training）の通常実施が困難であり、作業ノウハウと注意ポイント（やり方・姿勢・作業環境等）の蓄積、伝承が進みにくいという実状がある。

このような現状では、現場作業に関する基礎知識を持たない作業員も多く、作業現場での見学もできないため、作業種別（例えば、単一作業と協調作業）に応じた雰囲気を理解できない事も多く、一般的な業務講座を受けたとしても、実戦力を身につける事ができないケースも多い。

こうした中、特許文献１に開示されている技術のように、ＶＲ（Virtual Reality）技術と、アクチュエータを搭載した模擬工具とを組み合わせることで、手持ち回転工具使用時に生ずる危険動作（キックバック現象の衝撃）を安全に体験することができるようにした技術が注目を集めてきている。

また、特許文献２、３には、ＶＲ技術の適用範囲を広げるための技術として、ＶＲコンテンツを簡易かつ効率的に作成するための技術が開示されている。例えば特許文献２では、利用者がアップロードした動画ファイルを予め定められたＶＲアクションを適用することで、自動でＶＲコンテンツが作成されるプログラムの構成が開示されている。また、特許文献３には、予め作成されたＶＲ用のオブジェクトデータを仮想空間に配置することで、所望する仮想空間を作製するＶＲコンテンツの管理システムが開示されている。

特開２０１３－１１４０６６号公報 特開２０１８－１９０１７７号公報 特開２０１９－１６８９３４号公報

特許文献１に開示されているような体感装置によれば、安全に特定作業の危険性を学ぶことができる。しかし、特許文献１に開示されている装置は特定の作業に特化した体感装置であり、他の技術や作業を体感しようとする場合には、個々にシステムが必要となってしまう。

また、特許文献２、３に開示されているＶＲコンテンツの管理、作成システムは、ＶＲコンテンツの作成を簡易化するために、特定の条件下にデータを当てはめる構成としている。このため、作業毎に異なる動きや視線等を踏まえたＶＲコンテンツを作製するためには、パターン毎にコンテンツの動きや反応を定める必要が生じ、専門的な知識を有する者による作業が必要となってしまう。

そこで本発明では、種々の作業に対応させることのできる作業教育支援システムを提供すると共に、このシステムに用いるＶＲコンテンツを容易に作成することのできる作業教育支援システム用コンテンツ作成プログラムを提供することを目的とする。

上記目的を達成するための本発明に係る作業教育支援システムは、現場作業に従事する未熟作業者に対して熟練作業者の技術を学ばせる教育支援システムであって、特定作業に対する仮想体験者の動作や姿勢の物理量データ、及び視線の移動データを検出する測定装置と、仮想空間における視野映像を映し出す表示装置と、前記表示装置に対して前記視野映像を出力すると共に、前記仮想体験者が熟練作業者である場合には前記物理量データや視線の移動データを教師データとして記録し、前記仮想体験者が未熟作業者である場合には前記物理量データや視線の移動データを前記教師データと比較して差分を算出し、予め定められた基準値に基づいて前記差分に相当する熟練度を求める処理を行う処理装置と、を有することを特徴とする。

また、上記のような特徴を有する作業教育支援システムにおいて前記測定装置には、前記仮想体験者の動作を検出するターゲットやカメラ、前記仮想体験者の視線や、動作に基づく物理量を検出するセンサが含まれると良い。

また、上記のような特徴を有する作業教育支援システムにおいて前記表示装置には、仮想体験者が装着するＨＭＤ（Head Mounted Display）が含まれ、前記ＨＭＤを介して仮想体験者に各種動作指示が示されるようにすることが望ましい。このような特徴を有することにより、仮想体験者は、ＶＲ空間に没頭することができ、仮想作業に臨場感を持たせることができる。

さらに、上記のような特徴を有する作業教育支援システムでは、前記視野映像の表示において、対象物同士の近接距離が所定の値以下となった場合に、前記対象物同士に規定された適切な接合状態を表現して表示することができる。このような特徴を有することによれば、従来表現することが難しかった小さな対象物の把持や、対象物同士の正確な接合状態を表現することが可能となる。

また、上記目的を達成するための本発明に係る作業教育支援システム用コンテンツ作成プログラムは、特定作業に対する仮想体験者の動作や姿勢の物理量データ、及び視線の移動データを検出する測定装置と、仮想空間における視野映像を映し出す表示装置と、前記表示装置に対して前記視野映像を出力すると共に、前記仮想体験者が熟練作業者である場合には前記物理量データや視線の移動データを教師データとして記録し、前記仮想体験者が未熟作業者である場合には前記物理量データや視線の移動データを前記教師データと比較して差分を算出し、予め定められた基準値に基づいて前記差分に相当する熟練度を求める処理を行う処理装置と、を有し、現場作業に従事する未熟作業者に対して熟練作業者の技術を学ばせる作業教育支援システムに適用するコンテンツ作成プログラムであって、前記熟練作業者による仮想体験時に撮影された映像に対して、前記処理装置に記録された前記未熟作業者に対する付加情報を選択して追加することで作業体験コンテンツの映像を作成し、前記作業体験コンテンツの映像をプログラムに応じたDataSheetに変換して出力することを特徴とする。

上記のような特徴を有する作業教育支援システムによれば、種々の作業に対応した作業体験コンテンツを作成、運用することが可能となる。また、上記特徴を有するコンテンツ作成プログラムによれば、映像に沿って付加情報を選択、追加するだけで、再生プログラムに応じたDataSheetが出力されるため、専門知識を有するものでなくても、容易に作業体験コンテンツを作成することができる。

実施形態に係る作業教育支援システムの構成を示すブロック図である。 実施形態に係る作業教育支援システムによる作業体験における全体の流れを示すフロー図である。 熟練作業者による作業体験の詳細を示すフロー図である。 作業体験コンテンツを編集する際の流れを示すフロー図である。 玉掛作業時における熟練作業者の視線の動きを示す図である。 玉掛作業時における未熟作業者の視線の動きを示す図である。 運搬作業時における視線の動きの特徴量に基づく近似モデルの対比を示す図である。 未熟作業者による作業体験時の視野映像のうち、作業開始時の様子を示す図である。 未熟作業者による作業体験時の視野映像のうち、スパナを持ち上げた状態を示す図である。 未熟作業者による作業体験時の視野映像のうち、作業対象とするナットが表示された状態を示す図である。 未熟作業者による作業体験時の視野映像のうち、作業対象とするナットを注視している状態を示す図である。 未熟作業者による作業体験時の視野映像のうち、作業対象とするナットに対してスパナを設置するように指示が出された状態を示す図である。 未熟作業者による作業体験時の視野映像のうち、作業対象とするナット（下側）にスパナを設置した状態を示す図である。 未熟作業者による作業体験時の視野映像のうち、２本目のスパナを作業対象とするナット（上側）に設置するように指示が出された状態を示す図である。 未熟作業者による作業体験時の視野映像のうち、２本目のスパナを作業対象とするナット（上側）に設置した状態を示す図である。 未熟作業者による作業体験時の視野映像のうち、上側のナットに設置したスパナを反時計回りに回転させた状態を示す図である。 未熟作業者による作業体験時の視野映像のうち、スパナを作業用具パレットに戻した状態を示す図である。 未熟作業者による作業体験時の視野映像のうち、体験終了ボタンを押す様子を示す図である。 未熟作業者の熟練度と作業レベルを技能とテストの結果に基づいてレーダーチャートで示す例を表す図である。 DataSheetの一例を示す図である。 図２０に示すDataSheetの一部を抜粋して拡大表示した図である。 図２１に示すDataSheetの一部による指令コマンドがどのようなものであるかを説明するための図である。

以下、本発明の作業教育支援システム及び作業教育支援システム用コンテンツ作成プログラムに係る実施の形態について、図面を参照して詳細に説明する。なお、以下に示す形態は、本発明を実施する上で好適な形態の一部であり、その効果を奏する限りにおいて、構成の一部に変更を加えたとしても、本発明の一部とみなすことができる。

［構成］
本実施形態に係る作業教育支援システム１０は図１に示すように、少なくとも測定装置１２と外部入力装置１４、表示装置１６、外部出力装置１８、及び処理装置を有する。

測定装置１２は、熟練作業者や未熟作業者等の作業教育支援システム１０の体験者の作業技能をデータとして取得するための要素である。具体的には、体験者の視線や体の動かし方（動作）を画像データとして取得するためのカメラやセンサ（一般的なカメラや、動作を捉えるためのセンサとしてのターゲット、及び視線の位置を検出するためのセンサ等）、作業中の手や体の動きを物理量として検出するためのセンサ（例えば加速度センサ）などであれば良い。

外部入力装置１４は、作業中の操作や音声等を検出するための要素の他、詳細を後述するコンテンツの作成や編集を行うための要素を含む。具体的には、作業中に表示装置１６に表示される画面に対する操作を行うためのコントローラや、音声入力を行うためのマイク、データ入力手段としてのＰＣやタブレット端末、マウス、キーボードの他、移動量の検出入力を行うためのＴＯＦ（Time of Flight）のような測距センサ（例えば上述したターゲットの移動量を検出する）などを挙げることができる。

表示装置１６は、体験者に対して作業時における視野映像や、作業時の注意事項、及び指示情報等を示すための要素である。具体的には、体験者に装着させるＨＭＤ（Head Mounted Display）や、設置型、あるいは携帯型のディスプレイ（モニタ）などを挙げることができる。

外部出力装置１８は、体験者に対して、作業時における物理的な振動や反動を体感させるための要素である。その構成は多岐に亙り、簡易的には、作業時の角度や時間などが規定値になった事を知らせるバイブレーションなどを挙げることができる。また、将来的には、作業者の四肢などに取り付けるトラッカーと呼ばれるセンサとし、実作業時に生じる振動や反動、衝撃、抵抗等を物理的に作業者に伝達することで、いわゆるフルボディトラッキングを実現させるようにするものとしても良い。なお、外部出力装置１８には、音声等を出力するためのスピーカが含まれる。また、上述した測定装置１２や、外部入力装置１４を構成する要素との対比において、単にその機能を相反するもの（入力と出力）とする要素に関しては、両者を１つの構成要素として成り立たせても良い。例えばＨＭＤには、カメラ機能や視線検出のためのセンサ機能、視野映像表示機能、音声入出力機能等、様々な機能を付帯させることができるからである。

処理装置２０は、測定装置１２を介して取得される作業技能データや、外部入力装置１４を介して入力される指示データや音声データ、操作データ等の情報に基づいてコンテンツを作製し、表示装置１６や外部出力装置１８に出力するための要素である。具体的な構成としては、入力部２０ａと出力部２０ｂ、制御装置２０ｃ、演算装置２０ｄ、メモリ２０ｅ、音声処理装置２０ｆ、画像処理装置２０ｇ、及び大容量記憶装置２０ｈ等を備えるものであれば良い。

入力部２０ａと出力部２０ｂは、測定装置１２や外部入力装置１４、表示装置１６、外部出力装置１８等との間でのデータ授受を行う変換部であるインターフェースとしての役割を担う要素である。実施形態に係る作業教育支援システム１０の場合、入力部２０ａには、測定装置１２や外部入力装置１４が接続されており、出力部２０ｂには、表示装置１６や外部出力装置１８が接続されている。

制御装置２０ｃは、入力部２０ａを介して入力された各種データを演算装置２０ｄや画像処理装置２０ｇに送信すると共に、演算装置２０ｄから入力されたデータを画像処理装置２０ｇや出力部２０ｂへ送信する処理を行うための要素である。

演算装置２０ｄは、制御装置２０ｃとメモリ２０ｅとの間で各種データの送受信を行うと共に、各種プログラム等の指令に応じた演算処理を実行するための要素である。

メモリ２０ｅは、演算装置２０ｄが音声処理装置２０ｆや大容量記憶装置２０ｈ、入力部２０ａ、及び出力部２０ｂとの間で各種情報の授受を行う際、各種データを一時的に展開するための一時記憶領域である。

音声処理装置２０ｆは、メモリ２０ｅに一時的に展開された音声データを編集するための要素である。

画像処理装置２０ｇは、大容量記憶装置に記録された画像データや、制御装置２０ｃから送信された画像データを編集するための要素である。

大容量記憶装置２０ｈは、入力部２０ａを介して入力される各種データを保存する長期的な記憶領域であり、メモリ２０ｅや画像処理装置２０ｇ、及び出力部２０ｂ等からの要求に応じてデータの読み出しを可能とする。なお、具体的な構成としては、ＨＤＤやＳＳＤなどであれば良い。

［作用：作業教育支援］
次に、実施形態に係る作業教育支援システム１０を利用した作業体験について、図２から図４を参照して説明する。まず、実施形態に係る作業教育支援システム１０を利用（体験）する場合、熟練作業者、及び未熟作業者といった体験者は、外部入力装置１４などを介してログインを図る（Ｓ１００：体験者ログイン）。

次に、体験者はそれぞれ、ＨＭＤやセンサ等のＶＲ装備を装着する。ここで、ＶＲ装備とは、測定装置１２や外部入力装置１４、表示装置１６、及び外部出力装置１８等における種々のデータ入出力機能を備えた複合体感装置であれば良い（Ｓ１１０：ＶＲ装備の装着）。ＶＲ装備装着後、体験区分の選択を行う。ここで、体験区分の選択は、「熟練作業者」と「未熟作業者」とに分けられるが、「未熟作業者」の区分は、少なくとも１つ、熟練作業者による教師データ（作業体験コンテンツ）が完成していないと作業体験を実施することができない。すなわち、熟練作業者の作業体験に基づく作業体験コンテンツの作成前においては、体験区分の選択において「未熟作業者（＝初心者）」を選択することができない（Ｓ１２０）。

Ｓ１２０において、「熟練作業者」が選択されると、作業体験（作業体験コンテンツ作成のためのもの）を行う項目の選択が促される（Ｓ１３０：体験項目の選択）。Ｓ１３０で体験項目が選択されると、熟練作業者が作業を行う際の視線や姿勢、及び動作等をデータとして取得するための機能が起動する。具体的には、処理装置２０における制御装置２０ｃと演算装置２０ｄが稼働し、測定装置１２や外部入力装置１４を介した音声や映像を取得する音声認識機能や、録画機能が起動される。（Ｓ１４０：コンテンツ作成機能起動）。コンテンツ作成機能が起動した後、熟練作業者が作業を実施することで、作業時のデータ取得が完了する（Ｓ１５０：熟練作業者の作業体験）。

熟練者の作業体験では、詳細を図３に示すように、作業機器の呼び出しが行われる。作業機器の呼び出しは、音声入力や、ＨＭＤ等の表示装置１６に表示される項目からの選択によれば良い（Ｓ１５０ａ：熟練作業者による作業機器の呼び出し）。熟練作業者による作業機器の呼び出しが成されると、処理装置２０は、制御装置２０ｃ、演算装置２０ｄを介して大容量記憶装置２０ｈに記憶された作業機器データベースをメモリ２０ｅに展開する。その後、作業機器データベースの中から呼び出しに応じた作業機器を特定し、該当する作業機器のオブジェクトを、ＨＭＤ等の表示装置１６に映し出されている視野映像に表示する（Ｓ１５０ｂ：機器オブジェクトの読み込み）。

視野映像の呼び出しに応じた作業機器が表示された後、熟練作業者は、作業工具の呼び出しを行う。作業工具の呼び出しは、作業機器の呼び出しと同様に、音声入力やＨＭＤ等の表示装置１６に示される項目からの選択によれば良い（Ｓ１５０ｃ：熟練作業者による作業工具の呼び出し）。熟練作業者による作業工具の呼び出しが成されると、処理装置２０は、作業機器の呼び出しと同様に、呼び出しに応じた作業工具を特定し、該当する作業工具のオブジェクトを、ＨＭＤ等の表示装置１６に映し出されている視野映像に表示する（Ｓ１５０ｄ：工具オブジェクトの読み込み）。

作業機器、及び作業工具がそれぞれ呼び出されると、熟練作業者による模擬作業が実施される。模擬作業は、逐次作業内容を説明した上で行うように指示が出される（Ｓ１５０ｅ：模擬作業実施（作業を順番で話しながら体験））。模擬作業は、作業毎にコメントやオブジェクトの確認、及び動作の確認を繰り返しながら進行される。具体的には、熟練作業者は最初に、これから実施する作業動作を説明する。作業動作の説明は口頭により行われ、処理装置２０はこの説明を音声コメントとして外部入力装置１４のマイクで収集し、メモリ２０ｅを介して大容量記憶装置２０ｈに自動登録する（Ｓ１５０ｆ：動作コメントの自動登録（Phase01））。作業動作に関するコメントが登録されると処理装置２０は、作業に関わるオブジェクト（例えばスパナとナットなど）を自動認識し、当該作業に使用されるオブジェクトとして登録する。オブジェクトの認識は、表示装置１６上に表示されているオブジェクトを検出する手段の他、Ｓ１５０ａやＳ１５０ｃで呼び出された作業機器や作業工具を認識するものであっても良い。（Ｓ１５０ｇ：オブジェクトの自動登録）。その後、熟練作業者が作業を実施することで変化する情報の取得、登録が成される。具体的には、熟練作業者の動作情報が測定装置１２や外部入力装置１４を介して検出され、制御装置２０ｃや演算装置２０ｄを介して、オブジェクトの移動量や、回転角度、動作回数などとして算出されて、大容量記憶装置２０ｈに記録される（Ｓ１５０ｈ：動作後座標・角度、回数等の自動登録）。

Ｓ１５０ｅからＳ１５０ｈまでの動作、登録は、作業動作毎に繰り返される。その後、作業体験に対応する動作が全て完了した場合、模擬作業の停止（終了）が宣言、あるいは選択されることで、熟練作業者による作業体験が終了する（Ｓ１５０ｉ：停止）。

ここで、本実施形態に係る作業教育支援システム１０では、接触箇所の定義と、接触箇所同士の近接によるオブジェクト同士の吸着動作の適用により、従来困難であった、微小部位同士の接触や、微小部品の把持をＶＲ上で実現可能としている。

模擬作業の停止が宣言されると、Ｓ１５０ｆからＳ１５０ｈで登録された各種情報は、１つのモジュールとして関連づけられて記録される（Ｓ１５０ｊ：モジュールとしての保管）。その後、モジュールとして保管された熟練作業者による作業体験の記録情報は、未熟作業者による作業体験のためのコンテンツ作成用のプログラムに対応したDataSheetに変換されて出力される（Ｓ１５０ｋ：DataSheetでの出力）。Ｓ１５０ｋの後、熟練作業者には、作業体験を終了するか「体験完了」、他の作業項目についての作業体験を実施するか「他の項目を体験」の選択が促される。ここで、DataSheetとは、特定のプログラムに対する指令コマンドを表形式にまとめたものであり、例えば図２０に示すようなものである。DataSheetの一部を抜粋したものを図２１に示す。図２１のうち、Ａ列はコマンド名、Ｂ列は管理番号、Ｃ列はステージＩＤ、Ｄ列はフラグ番号、Ｅ列は定義名Ａ、Ｆ列は定義名Ｂ、Ｇ列はＸ座標、Ｈ列はＹ座標、Ｉ列はＺ座標をそれぞれ示す。そして指令コマンドのうち、ａ行はナットの３Ｄモデルの読み出し、ｂ行はスパナの３Ｄモデルの読み出しをそれぞれ指示するものである（図２２（Ａ）参照）。また、ｃ行はスパナをナットに近付ける旨の指示を成すコマンドであり（図２２（Ｂ）参照）、ｄ行はスパナをナットにセットし、ナットの中心位置を回転中心としてＹ軸周りにＸ軸を１２度回転させる動作（図２２（Ｃ）参照）を行う旨のコマンドである（Ｓ１６０）。

その後、作業体験を行った熟練作業者には、必要に応じて作業体験に関するアンケートを実施することができる。アンケートの内容は、例えば作業現場毎の注意点の有無や、ＶＲでは表現できていない実作業での注意点の有無などであれば良い。作業教育支援システム１０の改善や、詳細を後述するコンテンツ編集者への注意点の説明などに用いるためである（Ｓ１７０：アンケートの実施）。

アンケートの実施により、熟練作業者による作業体験は終了する。熟練作業者による作業体験で作業体験コンテンツのベース（Ｓ１５０ｋのDataSheet）が保存、出力されると、コンテンツ編集者によるコンテンツ編集が可能となる。以下、未熟作業者による作業体験を実施するためのコンテンツを作成するためのコンテンツ編集について図４を参照して説明する。

［作業体験コンテンツの編集］
コンテンツ編集者は、外部入力装置１４等を介して作業教育支援システム１０にアクセスし、ログインをする。ここで、コンテンツ編集者とは、一般的なシステムのプログラム編集に関する高度な知識を有する者でなくて良い。具体的には、実施形態に係る作業教育支援システム１０におけるコンテンツ編集の流れと、一般的な編集操作を習得し、現場における基本的作業知識を有する者（中堅作業者から熟練作業者）であれば良い（Ｓ４００：コンテンツ編集者ログイン）。

作業教育支援システム１０にアクセスしたコンテンツ編集者は、コンテンツ編集プログラムを起動する。コンテンツ編集プログラムが起動される最初に、「DataSheet読み込み」といった項目が、コンテンツ編集画面に表示される。コンテンツ編集者は、「DataSheetの読み込み」の項目を選択した後、熟練作業者による作業体験で作成された作業コンテンツのDataSheet（以下、ベースDataSheetとも言う）の中から、コンテンツの編集を行うものを選択する。DataSheetは、制御装置２０ｃや演算装置２０ｄを介して大容量記憶装置２０ｈに記録されたものが読み出され、表示装置１６に表示されることとなる（Ｓ４１０：「DataSheet読み込み」の選択）。

次に、コンテンツ編集画面には「動画再生」の項目が表示され、コンテンツ編集者は、これを選択することで、Ｓ４１０で読み込んだDataSheetに記録された作業動画の再生を行う。動画の再生は、大容量記憶装置２０ｈに記録されている動画データを画像処理装置２０ｇを介して出力することで成される（Ｓ４２０：「動画再生」の選択）。再生されている動画の中で編集を要する箇所があった場合には「停止」を選択して動画の再生を一旦停止する（Ｓ４３０：「停止」の選択）。

動画を停止した後、「編集」か「修正」の選択を行う。「修正」は、従前に編集したコメント等がある場合に、それを編集するための選択項目である。よって、最初の作業では「編集」が選択される（Ｓ４４０）。

編集作業では、動画に対して熟練作業者のコメントや、補足画像、動画、及びテキストの追加、及びオブジェクト等の座標の設定などを行う。コメントの選択は、熟練作業者による作業体験時に自動登録されたコメント（Ｓ１５０ｆにおけるPhase01のコメント）のリストを呼び出し、このリストの中から選択する（Ｓ４５０：Phase01のコメントの選択）。補足画像や動画、及びテキストの追加は、実際の現場における作業画像や動画を追加すれば良い。また、テキストに関しては、熟練作業者の作業体験時に実施されたアンケートで挙げられた注意点などであれば良い。補足画像や動画は、予め撮影された現場画像や動画を大容量記憶装置に記録しておき、制御装置２０ｃや演算装置２０ｄを介してこれを読み出して表示装置１６に表示することで選択することが可能となる。また、テキストに関しては、アンケート等を文字情報として記録したものであれば良い（Ｓ４６０：画像・動画・テキストの追加）。さらに、オブジェクト等の座標の設定は、Ｓ４５０やＳ４６０で選択、及び追加したコメントや画像、動画、テキスト等を表示装置１６上におけるどの位置とするかを定める行為である。座標の設定は、オブジェクトの配置位置に対して座標を入力する方法の他、表示画面上でオブジェクトをドラッグ＆ドロップするなどして位置決めするものであっても良い（Ｓ４７０：Phase03の座標の設定）。

オブジェクトの座標の設定を終了した後、他のコメント等の追加の有無を選択する。選択項目としては、例えば「編集終了」と「編集続行」などの選択肢であれば良い。ここで「編集続行」を選択した場合には、Ｓ４５０からＳ４７０を繰り返す（Ｓ４８０）。

Ｓ４８０で「編集終了」を選択した場合、再び動画を再生するか否かの選択（Ｙｅｓ ｏｒ Ｎｏ）を行う（Ｓ４９０）。ここで、動画の再生をしない「Ｎｏ」を選択した場合、Ｓ４３０における「停止」の選択が成される。Ｓ４５０からＳ４７０において選択、追加したコメント等に関する修正がある場合には、動画再生を停止した後のＳ４４０において「修正」を選択する。修正項目では、Ｓ４５０からＳ４７０に倣い、コメントの選択「Phase01のコメント」、コメントの修正、及び座標（Phase03の座標）の選択を行う（Ｓ４４０ａからＳ４４０ｃ）。Ｓ４４０ｃが終了すると、Ｓ４５０に戻り、画像や動画、及びテキストの追加（Ｓ４６０）を行い、追加した画像等の座標設定を行う（Ｓ４７０）。
Ｓ４９０における動画の再生に関して「Ｙｅｓ」が選択されて、動画全般に亙る編集が終了すると、コメントや追加画像等を含めたDataSheet（以下、コンテンツDataSheetとも言う）の出力が成される（Ｓ５００：DataSheetの出力）。

［作業モデル作成］
コンテンツ編集者による作業体験コンテンツの編集が終了すると、熟練作業者の作業モデルが作成される。ここで、作業モデルとは、作業者の視線や動作の特徴を数値的に示すものであり、未熟作業者による作業体験時の動作との比較の容易化を図るための要素である。

作業モデルの作成では最初に、作業体験者の動作、及び視線データの取込が行われる。作業体験者の動作データや視線データは、コンテンツDataSheetに記録されたデータに関連付けられたデータであり処理装置２０における大容量記憶装置２０ｈに記録されているものをメモリ２０ｅに読み出すようにすれば良い（Ｓ５１０：体験者動作・視線データの取込）。

次に、予め定められた条件に従って、動作や視線の区域分割処理を行う。区域分割処理とは、例えば視線情報を取得したい場合には、画角内に表示されているオブジェクト（作業機器や作業工具、ワーク、吊具等）や、他の作業者等をそれぞれの領域として区分けし、その分割領域のどこに視線が向けられているのかを検出するための前処理である（Ｓ５２０：動作・視線の区域分割処理）。

区域分割処理が成された後、各区域内に向けられた視線（視線情報を取得する場合）の回数や時間、位置、及び視線の運び（視線の移動順序）などを区域毎にカウントし、数値化する。図５は、玉掛作業時における熟練作業者の視線の移り変わりや、注視時間、回数等を区域毎に分けて示した図であり、円の大きさは注視時間の長さ（円が大きいほど注視時間が長い）を示すものである（Ｓ５３０：各区域内の数値化処理）。各区域内の数値化処理が完了した後、各領域における特徴量の抽出が行われる。ここで、特徴量とは、各区域に対する視線の移動距離や移動速度、停留時間、及び停留回数などをいう（Ｓ５４０：区域毎の特徴量の抽出）。

特徴量を抽出した後、図７に示すように、数値の傾向を示す近似モデルを作成する。図７に示す近似直線モデルの例では、横軸に区分け領域の項目、縦軸に各項目に対する注視時間を示している（Ｓ５５０：近似モデルの作成）。近似モデルが作成された後、コンテンツ作成に関する編集作業が全て終了した場合には、「編集完了」を選択し、編集作業を終了する。

［未熟作業者による作業体験］
上記のような熟練作業者による作業体験に基づくデータ取得、及び取得データに基づくコンテンツの編集、並びに作業モデルの作成を経て未熟作業者による作業体験コンテンツが構築されると、未熟作業者による作業体験の実施が可能となる。以下、未熟作業者による作業体験について説明する。

未熟作業者はまず、熟練作業者の作業体験と同様に、体験者としてシステムにログインし（Ｓ１００：体験者ログイン）、ＶＲ装備を装着する（Ｓ１１０：ＶＲ装備の装着）。

各種装備装着後、体験区分の選択を行う。上述したように、体験区分の選択は、「熟練作業者」と「未熟作業者」とに分けられており、ここでは、「未熟作業者（＝初心者）」を選択する（Ｓ１２０）。

体験区分において「未熟作業者」の項目が選択されると、ＨＭＤの表示画面上、あるいは音声案内によって体験する作業体験コンテンツの説明が成される。ここで、作業体験コンテンツの説明は、システム特有のキャラクターを表示した上で行うようにしても良い。親近感や感情移入により、作業の習得度合いの向上を図ることができるからである（Ｓ２００：体験コンテンツの説明）。

作業体験コンテンツの説明の後、ＶＲ装備を介したシステム操作の説明が成される。当該説明についても、作業体験コンテンツの説明と同様に、単に表示や音声による説明であっても良いし、キャラクターを表示した上での説明であっても良い（Ｓ２１０：システム操作の説明）。

システム操作の説明終了後、未熟作業者の初期動作の検出が行われる。体験者（未熟作業者）の体形の違いにより、教師データ（熟練作業者の作業体験によって得られた作業モデル）との比較において、作業の最適条件の誤差が大きくなる場合がある。このため、初期動作を検出することで、体形の違いによって生じる最適条件との誤差を補正することで、教師データとの対比を正確に行えるようにすることができる（Ｓ２２０：体験者の初期動作の検出）。

初期動作の検出に伴う誤差の補正が行われた後、未熟作業者の準備が整っていれば「開始」を選択することで、作業体験が開始される。一方、システム操作に不安がある場合など、もう一度説明を聞きたい場合には「操作説明をもう一度聞く」を選択することで、Ｓ２１０に戻り、システム操作の説明を聞くことができる（Ｓ２３０）。

作業体験が開始されるとまず、体験する作業に関する基礎知識の説明が成される。説明は、ＨＭＤを介して、視覚的、及び／または聴覚的に行われる（Ｓ２４０：基礎知識説明）。次に、体験する作業に関する基礎的な手順の説明が成される。作業手順の説明も、基礎知識の説明と同様に、ＨＭＤを介して、視覚的、及び／または聴覚的に行われる（Ｓ２５０：基礎作業手順説明）。

一通りの基礎知識と作業手順の説明が終了すると、ＨＭＤを介して作業手順の案内、及び説明が行われる。ここで、作業手順の案内や説明は、作業に伴う１つの動作単位で行われる（Ｓ２６０：作業手順毎の案内・説明）。

作業手順の案内、及び説明の後、未熟作業者は、作業手順の案内に沿った動作（作業体験）を実施する。この時、測定装置により未熟作業者の動作や姿勢、及び視線の動きなどが検出される。処理装置２０は、検出された各種データに基づいて、熟練作業者による作業体験と同様に、作業モデルの作成を行う。例えば玉掛作業時における未熟作業者の視線の移り変わりや、注視時間、回数等を区域毎に分けて示すと、図６のようになる。なお、図６において円の大きさは、注視時間の長さ（円が大きいほど注視時間が長い）を示すものである。また、処理装置２０は、検出データから特徴量を抽出し、図７に示すような作業モデルを作成する。

ここで、未熟作業者による作業体験（基礎作業）の一例について、図８から図１８を参照して説明する。なお、以下の例において未熟作業者が体験する基礎作業は、ダブルナット部分の上部ナットを緩めるという作業である。まず、未熟作業者が装着しているＨＭＤ等の表示装置１６には、図８に示すような、作業現場と、工具（２本のスパナ）が含まれる視野映像が表示されている。この状態で、未熟作業者には、テキスト表示、あるいは音声案内により、「Ｈ２０スパナを選択し、持ち上げる」といった指示が出される。

指示を受けた未熟作業者は、視野映像上のスパナに手を伸ばし、スパナを持ち上げる。この時、実施形態に係る作業教育支援システム１０のプログラムでは、未熟作業者の手がスパナに近づくと、スパナが自動で手にセットされるように構成している（図９参照）。

次に、未熟作業者には、作業対象であるナットを示し（図１０参照）、テキスト、あるいは音声等により、「ナットを目視で３秒以上確認する」という指示が出される。未熟作業者は指示に従い、作業対象となるナットを目視する（図１１参照）。注視時間経過後、未熟作業者には、図１２の表示映像において「Ｈ２０スパナをナット（下側）に取付ける」との指示が出される。未熟作業者は、指示に従ってＨ２０スパナを作業対象のナットに近接させる。実施形態に係る作業教育支援システム１０のプログラムでは、対象物同士（例えばスパナとナット）の距離が所定の近接距離以下となった場合に、自動的に正しい組付け状態となるように表示展開される（図１３参照）。

次に未熟作業者には、もう一方のスパナ（Ｈ２６スパナ）について、持ち上げスパナをナット（上側）に取付ける旨の指示が出され、未熟作業者は、指示に従いＨ２６スパナを上部ナットに取付ける（図１４、図１５参照）。その後、未熟作業者には、「Ｈ２０スパナを固定、Ｈ２６スパナを反時計方向に回す」との指示が出される。未熟作業者は指示に従い、Ｈ２６スパナのみを反時計回りに所定の角度（例えば３０度）回転させる（図１６参照）。

実施形態に係る作業教育支援システム１０のプログラムでは、作業が完了すると（例えばスパナの回転が３０度に達すると）作業工具と作業対象との結合が自動的に解除された状態となるように表示展開される。その後、未熟作業者には、「スパナを作業用具パレットに戻す」旨の指示が出され、未熟作業者は指示に従ってスパナを作業用具パレットに戻す動きを実行する（図１７参照）。一連の作業体験が終了した後、表示画面上に示される体験終了ボタン（図１８参照）を押すことで、未熟作業者による作業体験は終了する（Ｓ２７０：作業手順毎の基礎作業体験）。

一通りの基礎作業体験が終了すると、作業体験を「終了」するか、「再実施」するかの選択画面が表示される。ここで、未熟作業者が「再実施」を選択した場合には、Ｓ２６０に戻り、再び作業手順毎の案内、及び説明が開始される。一方、「終了」を選択した場合には、動作を伴う作業体験が終了する（Ｓ２８０）。

未熟作業者による作業体験が終了すると、未熟作業者の動作に基づく習熟度判定が行われる。習熟度判定は、作業体験コンテンツに含まれる熟練作業者の作業モデルと、未熟作業者の作業モデルの対比することにより成される（一例として、図７参照）。

作業モデルの対比は、近似モデル（本実施形態では数値直線）の対比によって行われ、各パラメータに対する角度のズレ量の多寡に応じてレベル分けが成される。例えば、教師データである熟練作業者の近似モデルに対するズレ量が５度以下（θ≦５度）である場合には“レベル１”、ズレ量が５度より大きく、１５度以下（５度＜θ≦１５度）である場合には“レベル２”、ズレ量が１５度より大きく３０以下である場合には“レベル３”として作業レベルを判定し、ズレ量が３０度よりも大きい場合、すなわちレベル３に満たない場合には、再学習を促す判定結果を出力するようにする（Ｓ２９０：動作による体験作業者習熟度判定）。

動作に基づく習熟度判定が終了した後、未熟作業者には、現場作業に対する知識や、体験した作業に対する注意点などを踏まえたテストが実施される。テスト結果に応じて未熟作業者の作業レベルを認定するためである（Ｓ３００：テスト受験・作業レベル認定）。

未熟作業者の熟練度の判定と作業レベルの認定が終了すると、作業教育支援システム１０は、作業体験に伴う作業者の作業レベルを視認できる形で表示する。ここで、視認できる形とは、例えば図１９に示すようなグラフの他、単に数字や点数での表示、及び色彩の違いによる表示なども含むものとする（Ｓ３１０：体験者作業レベルの可視化）。

［効果］
上記のような作業教育支援システムによれば、種々の作業に対応した作業体験コンテンツを作成することができる。また、本システムに係るプログラムにおける作業体験コンテンツ（ＶＲコンテンツ）の編集には、プログラムに精通した知識を必要としないため、専門家でなくてもコンテンツ編集が可能であり、各種作業体験コンテンツを比較的容易に作成することができる。

１０………作業教育支援システム、１２………測定装置、１４………外部入力装置、１６………表示装置、１８………外部出力装置、２０………処理装置、２０ａ………入力部、２０ｂ………出力部、２０ｃ………制御装置、２０ｄ………演算装置、２０ｅ………メモリ、２０ｆ………音声処理装置、２０ｇ………画像処理装置、２０ｈ………大容量記憶装置。

Claims (5)

1. 現場作業に従事する未熟作業者に対して熟練作業者の技術を学ばせる教育支援システムであって、
   特定作業に対する仮想体験者の動作や姿勢の物理量データ、及び視線の移動データを検出する測定装置と、
   仮想空間における視野映像を映し出す表示装置と、
   前記表示装置に対して前記視野映像を出力すると共に、前記仮想体験者が熟練作業者である場合には前記物理量データや視線の移動データを教師データとして記録し、前記仮想体験者が未熟作業者である場合には前記物理量データや視線の移動データを前記教師データと比較して差分を算出し、予め定められた基準値に基づいて前記差分に相当する熟練度を求める処理を行う処理装置と、
   コンテンツの作成や編集を行うための外部入力装置と、を有し、
   前記処理装置には、仮想体験で表示する作業機器や作業工具が記憶された大容量記憶装置が備えられ、
   前記作業機器や前記作業工具は、前記熟練作業者による仮想体験時の呼び出しにより前記仮想空間に映し出され、
   前記教師データは、前記外部入力装置を介して前記教育支援システムにアクセスしたコンテンツ編集者により、編集、及び作業モデルの作成が成されることで構成されることを特徴とする作業教育支援システム。
2. 前記測定装置には、前記仮想体験者の動作を検出するターゲットやカメラ、前記仮想体験者の視線や、動作に基づく物理量を検出するセンサが含まれることを特徴とする請求項１に記載の作業教育支援システム。
3. 前記表示装置には、仮想体験者が装着するＨＭＤ（Head Mounted Display）が含まれ、前記ＨＭＤを介して仮想体験者に各種動作指示が示されることを特徴とする請求項１または２に記載の作業教育支援システム。
4. 前記視野映像の表示において、対象物同士の近接距離が所定の値以下となった場合に、前記対象物同士に規定された適切な接合状態を表現して表示することを特徴とする請求項１乃至３のいずれか１項に記載の作業教育支援システム。
5. 特定作業に対する仮想体験者の動作や姿勢の物理量データ、及び視線の移動データを検出する測定装置と、仮想空間における視野映像を映し出す表示装置と、前記表示装置に対して前記視野映像を出力すると共に、前記仮想体験者が熟練作業者である場合には前記物理量データや視線の移動データを教師データとして記録し、前記仮想体験者が未熟作業者である場合には前記物理量データや視線の移動データを前記教師データと比較して差分を算出し、予め定められた基準値に基づいて前記差分に相当する熟練度を求める処理を行う処理装置と、外部入力装置と、を有し、現場作業に従事する未熟作業者に対して熟練作業者の技術を学ばせる作業教育支援システムに適用するコンテンツ作成プログラムであって、
   前記処理装置には、仮想体験で表示する作業機器や作業工具や、前記外部入力装置を介してアクセスする事で起動されるコンテンツ編集プログラムが記録されており、
   前記熟練作業者による仮想体験時の呼び出しにより、前記作業機器や前記作業工具を前記仮想空間に映し出すと共に、
   前記コンテンツ編集プログラムを介して前記熟練作業者による仮想体験時に撮影された映像に対して、前記処理装置に記録された前記未熟作業者に対する付加情報を選択して追加することで作業体験コンテンツの映像を作成し、
   前記作業体験コンテンツの映像をプログラムに応じたDataSheetに変換して出力する処理を実行可能とすることを特徴とする作業教育支援システム用コンテンツ作成プログラム。