JP6493296B2 - 作業支援システム - Google Patents

Description

この発明は、作業支援システムに関するものである。

現場における機器の操作や保守作業などの作業の際に、その現場から地理的に離れた場所に居るサービスマンなどの指示者から、ユーザーなどの現場で作業を行う作業者に対し指示を送ることにより現場での作業を支援することは従来行われている。

例えば特許文献１においては、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）を利用して、故障解析装置から送信される障害修復作業に関する情報を、作業者により装着されるメガネ型のヘッドマウントディスプレイの表示部に表示することにより、最適な障害修復作業を案内して作業支援を行う情報処理システムが開示されている。

指示者が現場作業員に対し電話や無線装置などの通話手段を用いて口頭でユーザーに指示を伝達することも一般的に行われている。また携帯電話やスマートフォン、タブレット端末などのカメラ付き通信端末の普及により、現場作業員が現場の状況を撮影し、撮影された画像や映像を指示者に送信し、その画像や映像を見た指示者からの音声による助言により作業を支援する場合もある。

例えば特許文献２には、所定の情報を表示可能なヘッドマウントディスプレイ装置と、そのヘッドマウントディスプレイ装置を装着したユーザーの視線方向を撮影可能な撮影手段と、情報処理装置とを備えた作業支援システムが開示されている。情報処理装置は、作業者に指示を与えるオペレーターの操作に従って、撮影手段が撮影した作業者の視線方向の撮影画像に所定の画像を重畳し、指示画像を生成する指示画像生成手段を備えている。またヘッドマウントディスプレイ装置は、指示画像生成手段が生成した指示画像を表示する際に、指示画像が作業者の視界と重なるように制御する制御手段を備えている。

特開２０１１−２４８８６０号公報 特開２０１３−１６０２０号公報

しかしながら、特許文献１に示すようなシステムにおいては、あらかじめ障害修復作業に関する情報をサーバーに登録しておく必要がある。そのため、そのサーバーに登録されていない障害に対応することができない。また定型化されてない修復技術などは、事前情報としてサーバーに登録することは難しく、適用できる範囲が典型的な障害のみに限定されていた。

これに対し、特許文献２に開示されているシステムにおいては、実際の現場の映像を見ながら、作業者に対し指示者が画像による指示を行えることから、特許文献１のシステムに比べて適用範囲は広い。しかしながら、指示画像は静止画像であり、指示できる情報が限定される。また、実際の修復作業の流れや作業者の動きなどは十分に伝えることができなかった。

この発明の目的は、遠隔地に居るサービスマンからより理解しやすい支援情報を与えることができ、かつ幅広い種類の作業に適用が可能な、ユーザーの作業を支援する作業支援システムを提供することである。

この発明は、遠隔地に居るサービスマンからユーザーに対し指示を行うことにより、ユーザーの作業を支援する作業支援システムに関する。この発明の作業支援システムは、頭部装着型の端末であって、ユーザーに装着されるユーザー側表示端末と、頭部装着型の端末であって、サービスマンに装着されるサービスマン側表示端末と、ユーザー側表示端末と通信可能なユーザー側画像処理装置と、サービスマン側表示端末と通信可能なサービスマン側画像処理装置と、を備える。ユーザー側画像処理装置と、サービスマン側画像処理装置とは通信可能に接続されている。

ユーザー側表示端末およびサービスマン側表示端末は、それぞれ、装着部と、撮像部と、端末データ送受信部と、表示部と、表示制御部と、を備える。装着部は、ユーザーまたはサービスマンである装着者に装着可能な形状を有する。撮像部は、装着者の視野範囲内の画像処理装置の像と装着者の手の像とを含む動画像を撮像する。端末データ送受信部は、ユーザー側画像処理装置またはサービスマン側画像処理装置のうち、通信可能な画像処理装置との間でデータを送受信する。表示部は、装着部に設置されている。表示部は、装着者に視認可能な電子画像を表示すると共に、画像処理装置の像を光学的に透過しうる光学透過式のレンズを有する。表示制御部は、端末データ送受信部により受信されたデータに基づいて、表示部に電子画像が表示されるよう制御する。

ユーザー側画像処理装置は、ユーザー側表示端末およびサービスマン側画像処理装置と通信可能なユーザー側通信部を備える。

サービスマン側画像処理装置は、サービスマン側通信部と、データ取得部と、動画像抽出部と、動画像合成部と、を備える。サービスマン側通信部は、サービスマン側表示端末および前記ユーザー側画像処理装置と通信可能な通信部である。データ取得部は、サービスマン側通信部を通じて、ユーザー側表示端末の撮像部により撮像されたユーザー側動画像と、サービスマン側表示端末の撮像部により撮像されたサービスマン側動画像とを取得する。動画像抽出部は、データ取得部により受信されたサービスマン側動画像から、装着者であるサービスマンの手の動画像を抽出する。動画像合成部は、動画像抽出部により抽出された、サービスマンの手の動画像を含む抽出動画像と、ユーザー側動画像とを統合し、合成動画像を形成する。上記サービスマン側通信部は、動画像合成部により形成された合成動画像を、ユーザー側表示端末及びサービスマン側表示端末に送信する。

また、上記表示制御部は、サービスマン側通信部から送信され、端末データ送受信部により受信された合成動画像を、表示部に表示するよう制御する。

この発明においては、サービスマンが頭部に装着するサービスマン側表示端末の表示部と、ユーザーが頭部に装着するユーザー側表示端末の表示部の両方に、同一の合成動画像が表示される。この合成動画像は、ユーザーの視野範囲を撮像した動画像に、サービスマンの手の動画像が重畳されるように合成されている。これによりサービスマンは、ユーザーの作業状況を視覚的に把握することができ、効率よく作業を支援することができる。一方、ユーザーは、表示端末の表示部に表示されたサービスマンの手の動きを見ることにより、視覚的に作業の流れを把握することができる。そのため、静止画像に比べてより詳細な支援情報を得ることができる。またこのシステムによれば、サーバーなどから提供される画一的な支援情報と比較して、サービスマンがユーザーの作業状況を見ながら臨機応変に対応できるため、障害修復作業に関する情報を事前にサーバーに登録しておく必要がない。さらに、このシステムは、様々な操作や作業に適用が可能である。

この発明の一実施形態に係る作業支援システムの全体図である。 この発明の一実施形態に係る作業支援システムの全体の構成を示すブロック図である。 ＡＲグラスの制御部の構成を示すブロック図である。 ユーザー側の画像処理装置である複合機の制御部の構成を示すブロック図である。 サービスマン側の画像処理装置である複合機の制御部の構成を示すブロック図である。 この発明に係る作業支援システムによってユーザーの作業を支援する際の開始時の処理の流れを示すフローチャートである。 各撮像カメラにより撮像される像と、各表示レンズに表示される像の関係を示した概略図である。 この発明に係る作業支援システムによってユーザーの作業を支援する際の処理の流れを示すフローチャートである。 ユーザーにより装着されるＡＲグラスの撮像カメラにより撮像される動画像の一例を模式図として示した図である。 サービスマンにより装着されるＡＲグラスの撮像カメラにより撮像される動画像の一例を模式図として示した図である。 背景除去処理を行うことにより、サービスマンの両手の動画像のみを抽出した後の抽出動画像の例を示す図である。 ＡＲグラスの装着者が視認する合成動画像を示す図である。 この発明の一実施形態に係る作業支援システムによる作業の支援が完了した後の、作業完了の処理の流れを示すフローチャートである。

以下、この発明の実施の形態を説明する。図１は、この発明の一実施形態に係る作業支援システム１の全体図である。図２は、この発明の一実施形態に係る作業支援システム１の全体の構成を示すブロック図である。

図１〜図２を参照して、この発明の一実施形態に係る作業支援システム１は、頭部装着型の端末であって、ユーザーに装着されるユーザー側表示端末としてのＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス１０と、ユーザー側表示端末と通信可能なユーザー側画像処理装置としての複合機１００と、を備える。上記作業支援システム１は、さらに、頭部装着型の端末であって、サービスマンに装着されるサービスマン側表示端末としてのＡＲグラス２０と、サービスマン側表示端末と通信可能なサービスマン側画像処理装置としての複合機２００と、を備える。

複合機１００と、複合機２００とは、ネットワーク５を介して互いに通信可能に接続されている。ユーザー側のＡＲグラス１０と複合機１００は、有線または無線通信により通信可能である。同様に、サービスマン側のＡＲグラス２０と複合機２００も通信可能である。

ユーザー側のＡＲグラス１０は、装着部１１と、ユーザーＡＲグラス制御部１２と、第１メモリ１４と、第１マイク１５と、第１表示レンズ１６と、第１スピーカ１７と、第１撮像カメラ１８と、ユーザー側データ送受信部１９とを備える。

装着部１１は、装着者であるユーザーが装着可能な形状、例えばメガネ状の形状を有する。ユーザーＡＲグラス制御部１２は、ＡＲグラス１０全体の制御を行う。記憶部としての第１メモリ１４は、受信した画像データや音声データ、入力された動作条件等の格納を行う。

音声入力部としての第１マイク１５は、音声情報、例えばＡＲグラス１０を装着したユーザーにより発声された音声情報の入力を受け付ける。音声出力部としての第１スピーカ１７は、サービスマン側表示端末としてのＡＲグラス２０およびユーザー側表示端末としてのＡＲグラス１０のうち、他方、すなわち、ＡＲグラス２０の音声入力部である第２マイク２５（後述）から入力された音声情報を、ネットワーク５を介してＡＲグラス１０が受け取った後、出力する。

撮像部としての第１撮像カメラ１８は、装着者であるユーザーの視野範囲内の画像処理装置の像と、装着者であるユーザーの手の像とを含む動画像を撮像する。ユーザー側動画像に含まれる画像処理装置の像は、ユーザー側表示端末としてのＡＲグラス１０を装着したユーザーの視野範囲内の、ユーザー側画像処理装置としての複合機１００の像であるのが好ましい。

表示部としての第１表示レンズ１６は、装着部１１に設置されている。第１表示レンズ１６は、装着者であるユーザーに視認可能な電子画像を表示すると共に、画像処理装置である複合機１００の像を光学的に透過しうる光学透過式のレンズを有する。

端末データ送受信部としてのユーザー側データ送受信部１９は、ＡＲグラス１０と通信可能な複合機１００との間、具体的にはユーザー側データ送受信部１９とユーザー側通信部１０９との間でデータを送受信する。

サービスマン側のＡＲグラス２０は、装着部２１と、サービスマンＡＲグラス制御部２２と、第２メモリ２４と、第２マイク２５と、第２表示レンズ２６と、第２スピーカ２７と、第２撮像カメラ２８と、サービスマン側データ送受信部２９とを備える。各部の機能は、ユーザー側のＡＲグラス１０に対応する。すなわち、上記説明においてユーザーとサービスマンを置き換え、複合機１００を複合機２００に置き換え、ＡＲグラス１０をＡＲグラス２０に置き換える以外は、サービスマン側のＡＲグラス２０は、ユーザー側のＡＲグラス１０と同一の機能を有する。装着部２１は装着部１１と、サービスマンＡＲグラス制御部２２はユーザーＡＲグラス制御部１２と、第２メモリ２４は第１メモリ１４とそれぞれ対応する機能を有する。さらに、第２マイク２５は第１マイク１５と、第２表示レンズ２６は第１表示レンズ１６と、第２スピーカ２７は第１スピーカ１７と、第２撮像カメラ２８は第１カメラ１８と、サービスマン側データ送受信部２９はユーザー側データ送受信部１９と、それぞれ対応する機能を有する。詳細については省略する。

ユーザー側画像処理装置としての複合機１００は、ユーザーが操作やメンテナンスなどの作業を行う対象の機器である。複合機１００は、ユーザー側表示操作部１０１と、ユーザー側複合機制御部１０２と、ユーザー側画像形成部１０４と、ユーザー側通信部１０９とを備える。

ユーザー側表示操作部１０１は、画像処理の条件や電源のオンまたはオフを入力させる。また、キー操作により、支援を要請するための支援要請の入力や支援の終了の要求の入力を受け付ける。

ユーザー側画像形成部１０４は、画像形成要求に応じて、記録媒体、例えば、用紙上に画像を形成する。ユーザー側通信部１０９は、ユーザー側表示端末としてのＡＲグラス１０およびサービスマン側画像処理装置としての複合機２００と通信可能である。ユーザー側通信部１０９は、ＡＲグラス１０のユーザー側データ送受信部１９との間、およびネットワーク５を介して、サービスマン側画像処理装置としての複合機２００のサービスマン側通信部２０９との間でデータを送受信する。

サービスマン側画像処理装置としての複合機２００は、サービスマン側表示操作部２０１と、サービスマン側複合機制御部２０２と、ハードディスク（ＨＤＤ）２０４と、サービスマン側画像形成部２０５と、サービスマン側通信部２０９とを備える。

サービスマン側表示操作部２０１は、画像処理の条件や電源のオンまたはオフを入力させる。サービスマン側複合機制御部２０２は、複合機２００全体の制御を行う。ＨＤＤ２０４は、送信された画像データや入力された画像処理条件等の格納を行う。また、ＨＤＤ２０４は、ユーザーの作業を支援する作業支援情報を格納する作業支援情報格納部としても機能する。作業支援情報としては、例えば、マニュアル文書や、作業手順を示した画像などが挙げられる。

サービスマン側画像形成部２０５は、画像形成要求に応じて、記録媒体、例えば、用紙上に画像を形成する。サービスマン側通信部２０９は、サービスマン側表示端末であるＡＲグラス２０と、ユーザー側画像処理装置である複合機１００と通信可能である。サービスマン側通信部２０９は、ＡＲグラス２０のサービスマン側データ送受信部２９との間、およびネットワーク５を介して、ユーザー側画像処理装置としての複合機１００のユーザー側通信部１０９との間でデータを送受信する。

なお、複合機１００および２００は、画像データの書き出しや読み出しを行うＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や現像剤によって形成された可視化像を転写する用紙を搬送する用紙搬送部等を備えるが、これらについては、図示および説明を省略する。また、図２中の矢印は、制御信号や制御、画像に関するデータの流れを示している。

次に、上記したＡＲグラス１０のユーザーＡＲグラス制御部１２（以下、制御部１２と略する）、およびＡＲグラス２０のサービスマンＡＲグラス制御部２２（以下、制御部２２と略する）の構成について説明する。図３は、制御部１２および制御部２２の構成を示すブロック図である。図３を参照して、制御部１２と制御部２２とは、共通の構造を有している。

図３を参照して、制御部１２および制御部２２は、それぞれ、表示制御部３１，４１と、振動検知部３２，４２と、安定化処理部３３，４３とを備える。

表示制御部３１および４１は、対応する第１表示レンズ１６または第２表示レンズ２６に電子動画像が表示されるよう制御する。振動検知部３２および４２は、それぞれ、対応する第１撮像カメラ１８または第２撮像カメラ２８の振動を検知する。安定化処理部３３および４３は、対応する振動検知部３２または４２により検知された振動の状態に応じて、第１撮像カメラ１８または第２撮像カメラ２８によって撮像された動画像から動揺を取り除く画像安定化処理を行う。

このとき、振動検知部３２または４２によって検知された振動が所定の閾値を超えると、表示制御部３１または４１は、対応する表示部としての第１表示レンズ１６または第２表示レンズ２６に警告画面を電子画像として表示するよう制御してもよい。

次に、上記したユーザー側複合機１００のユーザー側複合機制御部１０２（以下、制御部１０２と略する）の構成について説明する。図４は、制御部１０２の構成を示すブロック図である。

図４を参照して、ユーザー側複合機制御部１０２は、支援要請受け付け部５２と、作業ログ作成部５６とを備える。支援要請受け付け部５２は、支援を要請するための支援要請の入力を受け付ける。支援要請の入力は、例えばユーザー側表示操作部１０１のキーを操作することにより入力される。作業ログ作成部５６は、作業の内容を示す作業ログを作成する。作業ログは、例えば支援の終了後に作成される。作成された作業ログは、例えば、複合機２００に送信され、複合機２００のＨＤＤ２０４に保存される。

次に、上記した複合機２００のサービスマン側複合機制御部２０２（以下、制御部２０２と略する）の構成について説明する。図５は、制御部２０２の構成を示すブロック図である。

図５を参照して、制御部２０２は、データ取得部６２と、動画像抽出部６４と、動画像合成部６６と、位置合わせ部６７と、認証部６８と、支援終了要求受け付け部６９と、を備える。

データ取得部６２は、サービスマン側通信２０９部を通じて、ユーザー側表示端末の撮像部としての第１撮像カメラ１８により撮像されたユーザー側動画像と、サービスマン側表示端末の撮像部としての第２撮像カメラ２８により撮像されたサービスマン側動画像とを取得する。

動画像抽出部６４は、データ取得部６２により受信されたサービスマン側動画像から、装着者であるサービスマンの手の動画像を抽出する。手の動画像を抽出する手段および技術としては、既存の手段および公知の画像認識技術や画像加工技術が利用できる。第２撮像カメラ２８による撮像時には、サービスマンの手の動画像が抽出しやすいように、サービスマンは専用の手袋を着用していてもよい。

動画像合成部６６は、動画像抽出部６４により抽出された、サービスマンの手の動画像を含む抽出動画像と、ユーザー側動画像とを統合し、合成動画像を形成する。動画の合成処理技術としては、公知の画像認識技術や画像加工技術が利用できる。

サービスマン側通信部２０９は、動画像合成部６６により形成された合成動画像を、ユーザー側表示端末としてのＡＲグラス１０と、サービスマン側表示端末としてのＡＲグラス２０に送信する。合成動画像は、サービスマン側表示端末としてのＡＲグラス２０から送信され、端末データ送受信部としてのユーザー側データ送受信部１９およびサービスマン側データ送受信部２９により受信される。表示制御部３１および４１は、ユーザー側データ送受信部１９およびサービスマン側データ送受信部２９により受信された合成動画像を、表示部としての第１表示レンズ１６および第２表示レンズにそれぞれ表示するよう制御する。このようにして、合成動画像が、ＡＲグラス１０および２０の各表示レンズ１６または２６に、電子動画像として表示される。

位置合わせ部６７は、データ取得部６２により取得されたユーザー側動画像とサービスマン側動画像のうち、ユーザー側動画像に含まれる画像処理装置としての複合機１００の像と、サービスマン側動画像に含まれる画像処理装置としての複合機２００の像との位置を合わせる。位置合わせ部６７が２つの画像の位置合わせを行うことにより、動画像合成部６６による合成動画像の形成が容易になる。

認証部６８は、サービスマン側画像処理装置としての複合機２００との通信を要求する機器を認証するための種々の役割を果たす。たとえば、支援要請受け付け部５２により前記支援要請の入力が受け付けられると、ユーザー側画像処理装置としての複合機１００に対し、認証用情報、例えばパスワードなど、を発行する。認証部６８により発行された認証用情報は、ユーザー側画像処理装置としての複合機１００のユーザー側表示操作部１０１に表示される。表示操作部１０１に表示された認証用情報は、ユーザー側表示端末としてのＡＲグラス１０の撮像部としての第１撮像カメラ１８により読み取られる。認証部６８は、ユーザー側表示端末としてのＡＲグラス１０の撮像部としての第１撮像カメラ１８により読み取られた読み取り結果と、認証部６８により発行された認証用情報とが整合するか否かを判断する。両者が整合する場合には、ユーザー側画像処理装置としての複合機１００と、サービスマン側画像処理装置としての複合機２００との間での通信を確立する。

支援終了要求受け付け部６９は、支援の終了の要求の入力を受け付ける。支援の終了の要求は、例えば作業終了後にサービスマンがサービスマン側表示操作部２０１のキーを操作することによって入力される。

支援終了要求受け付け部６９により支援の終了の要求の入力が受け付けられると、認証部６８は、支援を終了するための支援終了用認証情報、例えばテストパターンを発行する。画像形成部としてのユーザー側画像形成部１０５は、認証部６８により発行された支援終了用認証情報を示す画像を用紙上に形成する。画像形成部としてのユーザー側画像形成部１０５により用紙上に形成された、支援終了用認証情報を示す画像は、ユーザー側表示端末としてのＡＲグラス１０の、撮像部としての第１撮像カメラ１８により読み取られる。認証部６８は、ユーザー側表示端末としてのＡＲグラス１０の、撮像部としての第１撮像カメラ１８による読み取り結果と、認証部６８により発行された支援終了用認証情報とを照合する。照合の結果、両者が整合する場合には、ユーザー側画像処理装置としての複合機１００と、サービスマン側画像処理装置としての複合機２００との間の通信を停止する。

なお上述の説明において、ユーザー側画像処理装置としての複合機１００と、サービスマン側画像処理装置としての複合機２００とは、同一の構造を備えた同一の機種であるのが好ましい。複合機１００と複合機２００とが同一の構造を備えた同一の機種であれば、位置合わせ部６７による動画像の位置合わせを適切に行うことができ、動画像合成部６６による合成画像の形成を効率良く行うことができる。また同一の構造を備えた同一の機種を用いてサービスマンがり具体的で詳細な指示を行えることから、ユーザーは、より有用な内容の支援を受けることができる。

次に、この発明の一実施形態に係る作業支援システム１により、実際にユーザーがサービスマンの支援を受けながら作業を行う場合の流れについて説明する。一例として、サービスマンからの支援を受けながら、複合機１００のメンテナンス作業をユーザーが行う場合について説明する。このとき、図１を参照して、ＡＲグラス１０と、作業が行われる対象の機器である複合機１００は、ユーザー側にある。またＡＲグラス２０と、複合機２００とは、サービスマン側にある。またサービスマンは、ユーザーから遠隔の場所に居るものとする。さらに、ユーザー側画像処理装置としての複合機１００と、サービスマン側画像処理装置としての複合機２００は、同一の構造を備えた同一の機種であるとする。

図６は、作業を行う前の準備として、ユーザーがサービスマンから支援を受ける際の、支援手続きの開始の流れを示すフローチャートである（図６における、ステップＳ１１〜Ｓ２０（以下、「ステップ」を省略する））。

図６を参照して、まず、メンテナンスを行うユーザーは、複合機１００のユーザー側表示操作部１０１のキーを操作することにより、支援の要請を行う。支援要請受け付け部５２は、支援の要請の入力を受け付ける（Ｓ１１）。支援要請受け付け部５２により支援の要請が受け付けられると、その支援の要請は、ユーザー側通信部１０９から、ネットワーク５を介して複合機２００のサービスマン側通信部２０９に送信される。サービスマン側通信部２０９により支援の要請が受信されると（Ｓ１２）、複合機２００の認証部６８は、認証用情報として、ワンタイムパスワードを発行する（Ｓ１３）。そのワンタイムパスワードは、複合機２００のサービスマン側通信部２０９から、ネットワーク５を介して、複合機１００のユーザー側通信部１０９に送信される。ユーザー側通信部１０９により受信されたワンタイムパスワードは、ユーザー側の複合機１００のユーザー側表示操作部１０１に表示される。

ユーザーは、ＡＲグラス１０を装着した状態で、第１表示レンズ１６を通して、ユーザー側表示操作部１０１に表示されたワンタイムパスワードの像を見る。このとき、第１撮像カメラ１８は、ユーザーの視野に捉えられたそのワンタイムパスワードを読み取る（Ｓ１４）。第１撮像カメラ１８による読み取り結果は、ＡＲグラス１０のユーザー側データ送受信部１９から、複合機１００のユーザー側通信部１０９に送信される。さらに、その読み取り結果は、ユーザー側通信部１０９から、ネットワーク５を介して、複合機２００のサービスマン側通信部２０９に送信される（Ｓ１５）。認証部６８は、サービスマン側通信部２０９により受け取られた読み取り結果と、認証部６８により発行されたワンタイムパスワードとが整合するか否かを判定する（Ｓ１６）。両者が整合する場合（Ｓ１７において、ＹＥＳ）には、複合機１００と複合機２００との間での通信を確立する。この手続きが完了すると作業の支援の準備が完了する。

一方、上記読み取り結果と、認証部６８により発行された元のパスワードとを照合した結果、両者が整合しない場合（Ｓ１７において、ＮＯ）は以下の様な処理が行われる。不整合の回数が所定の回数以下、例えば３回以下である場合には（Ｓ１９において、ＮＯ）、複合機２００の認証部６８は、再度、別のワンタイムパスワードを発行する（Ｓ１３）。それでもなお、上記読み取り結果とパスワードとが一致せず、不整合の回数が連続して所定の回数を超えると（Ｓ１９において、ＹＥＳ）、複合機１００と複合２００の間の通信の接続は拒絶される（Ｓ２０）。

このようにして、ユーザー側画像処理装置としての複合機１００と、サービスマン側画像処理装置としての複合機２００との間の通信が確立された状態で、作業の支援が行われる。図７は、各撮像カメラ１８および２８により撮像される像と、各表示レンズ１６および２６に表示される像の関係を示した概略図である。

図７を参照して、ユーザー７６が装着するＡＲグラス１０には、第１撮像カメラ１８が設けられている。またサービスマン８６が装着するＡＲグラス２０には、第２撮像カメラ２８が設けられている。ユーザー７６側の第１撮像カメラ１８は、装着者であるユーザー７６の視野範囲内の、画像処理装置としての複合機１００の像と、装着者であるユーザー７６の手の像とを含む動画像（動画像１５０。以下、第１動画像と呼ぶ）を撮像する。またサービスマン８６側の第２撮像カメラ２８は、装着者であるサービスマン８６の視野範囲内の、画像処理装置としての複合機２００の像と、装着者であるサービスマン８６の手の像とを含む動画像（動画像１６０。以下、第２動画像と呼ぶ）を撮像する。複合機２００の制御部２０２内にある動画像抽出部６４は、第２撮像カメラ２８によって撮像された第２動画像から背景の像を除去し、サービスマン８６の両手の像８２および８４の動画像１７０を抽出する。得られた抽出動画像１７０は、第１動画像１５０と合成される。得られた合成動画像１８０は、ＡＲグラス１０および２０に送信され、ユーザー７６により装着されるＡＲグラス１０の第１表示レンズ１６と、サービスマン８６により装着されるＡＲグラス２０の第２表示レンズ２６に、それぞれ表示される。この同一の合成動画像１８０をユーザー７６とサービスマン８６の両者が視認する。この合成動画像１８０に加え、さらに音声によるサービスマン８６とのコミュニケーションを取りながらユーザー７６は作業を行う。

次に、この発明の一実施形態に係る作業支援システム１によって、ユーザー７６の作業の支援が行われる際の処理を説明する。図８は、この発明の一実施形態に係る作業支援システム１によって作業の支援が行われる際の処理の流れを示すフローチャートである（Ｓ３１〜Ｓ４２）。

図８を参照して、まずユーザー７６は、ＡＲグラス１０を頭部に装着する。同様に、サービスマン８６は、ＡＲグラス２０を頭部に装着する。このとき、ユーザー７６により装着されるＡＲグラス１０は、有線または無線の通信手段により、複合機１００と互いに通信可能に接続される。同様に、サービスマン８６により装着されるＡＲグラス２０は、有線または無線の通信手段により、複合機２００と互いに通信可能に接続される。

次に、ＡＲグラス１０を装着したユーザー７６およびＡＲグラス２０を装着したサービスマン８６が、光学透過式の第１表示レンズ１６および第２表示レンズ２６を通して、それぞれ、視野範囲にある複合機１００または２００を視認する。このとき、第１撮像カメラ１８および第２撮像カメラ２８は、ユーザー７６またはサービスマン８６の視野範囲の像を動画像としてそれぞれ撮像する（Ｓ３１）。図９は、ユーザー７６により装着されるＡＲグラス１０の、第１撮像カメラ１８により撮像される第１動画像１５０の一例を模式図として示した図である。図９を参照して、第１撮像カメラ１８によって撮像される第１動画像１５０には、ユーザー７６による作業が行われる対象の、ユーザー側画像処理装置としての複合機１００の像が含まれている。さらに図９の第１動画像１５０には、ユーザー７６の左手７２の像および右手７４の像が含まれている。

また、図１０は、サービスマン８６により装着されるＡＲグラス２０の、第２撮像カメラ２８により撮像される第２動画像１６０の一例を模式図として示した図である。図１０を参照して、第２撮像カメラ２８によって撮像される第２動画像１６０には、サービスマン側画像処理装置としての複合機２００の像が含まれている。さらに図１０の第１動画像１６０には、サービスマン８６の左手８２の像および右手８４の像が含まれている。

第１撮像カメラ１８による撮像の際、振動検知部３２は、動画像の動揺を検知する。安定化処理部３３は、検知された動揺の状態に応じて、第１撮像カメラ１８によって撮像された動画像１５０から動揺を取り除く画像安定化処理（ブレ補正）を行う。このとき、振動検知部３２によって検知された振動が所定の閾値を超えると、表示制御部３１は、第１表示レンズ１６に警告画面を電子画像として表示する。第２撮像カメラ２８においても同様の処理が行われる。

次に、ユーザー７６は、支援を求める作業の内容を音声によりサービスマン８６に伝える。ユーザー７６が発した第１の音声は、音声入力部としての第１マイク１５に入力される。また、サービスマン８６は、音声によりユーザー７６に指示を行う。サービスマン８６が発した第２の音声は、音声入力部としての第２マイク２５に入力される（Ｓ３２）。第１撮像カメラ１８および第２撮像カメラ２８により撮像された第１動画像および第２動画像および、第１マイク１５および第２マイク２５に入力された第１および第２の音声は、ユーザー側データ送受信部１９およびサービスマン側データ送受信部２９から、それぞれ複合機２００のサービスマン側通信部２０９に送信される（Ｓ３３）。

複合機２００のサービスマン側通信部２０９は、上記動画像と音声のデータを受信する（Ｓ３４）。位置合わせ部６７は、第１動画像１５０の複合機１００の像と、第２動画像１６０の複合機２００の像を参照し、複合機１００と複合機２００の像が重畳されるように第１動画像１５０と第２動画像１６０の大きさや位置を合わせる（Ｓ３５）。その後、動画像抽出部６４は、サービスマン側通信部２０９によって受信された第２動画像１６０から、装着者であるサービスマン８６の手８２および８４の動画像を抽出する処理を行う（Ｓ３６）。このようにして、サービスマン８６の両手８２および８４の動画像のみが抽出された抽出動画像１７０の図を図１１に示す。このとき、位置合わせ部６７により調整された第２動画像１６０の大きさや位置は保持されたまま、第２動画像１６０の背景が消去され、サービスマン８６の手８２および８４の動画像を抽出した抽出動画像１７０が形成される。

次に動画像合成部６６は、動画像抽出部６４によって抽出された抽出動画像と、第１動画像１５０とを統合して一つの合成動画像を形成する（Ｓ３７）。この第１動画像１５０は、上述したとおり、ユーザー７６が装着するＡＲグラス１０の第１撮像カメラ１８によって撮像されたものである。

上記抽出処理、および合成処理は、公知の画像認識技術や画像加工技術を用いて実施される。

動画像合成部６６により形成された合成動画像１８０の一例を図１２に示す。図１２を参照して、合成動画像１８０は、図９に示す第１動画像１５０と、図１１に示す抽出動画像１７０とが合成されたものである。合成動画像１８０には、ユーザー７６の両手７２および７４の動画像と、サービスマン８６の両手８２および８４の動画像と、ユーザー７６側の複合機１００の像が含まれている。

サービスマン側通信部２０９は、動画像合成部６６により形成された合成動画像１８０と、サービスマン側通信部２０９がＡＲグラス２０から受信したサービスマン８６の音声データとを、ネットワーク５およびユーザー側通信部１０９を介して、ユーザー７６側のＡＲグラス１０に送信する。同様に、サービスマン側通信部２０９は、動画像合成部６６により形成された合成動画像１８０と、サービスマン側通信部２０９がＡＲグラス１０から受信したユーザーの音声データとを、サービスマン８６側のＡＲグラス２０に送信する（Ｓ３８）。

ＡＲグラス１０のユーザー側データ送受信部１９は、サービスマン側通信部２０９により送信された合成動画像１８０と、サービスマン８６が発した第２の音声のデータとを受信する。同様に、ＡＲグラス２０のサービスマン側データ送受信部２９は、サービスマン側通信部２０９により送信された合成動画像１８０と、ユーザー７６が発した第１の音声のデータとを受信する（Ｓ３９）。表示制御部３１と４１とは、サービスマン側通信部２０９から送信され、端末データ送受信部としてのユーザー側データ送受信部１９およびサービスマン側データ送受信部２９により受信された合成動画像１８０を、表示部としての第１表示レンズ１６および第２表示レンズ２６に表示するよう制御する（Ｓ４０）。第１表示レンズ１６には、ユーザー７６の視野の画像にサービスマン８６の両手８２および８４が重畳するように電子画像が表示される。したがって、ユーザー７６がＡＲグラス１０の第１表示レンズ１６に表示された合成動画像１８０を視認すると、サービスマン８６の両手８２および８４が目の前に存在しているかのように視認することができる。またサービスマン８６は、ＡＲグラス２０の第２表示レンズ２６に表示された合成動画像１８０を視認することにより、ユーザー７６の作業の現状を認知できる。サービスマン８６は、ユーザー７６による複合機１００のメンテンナンス作業の現状を見ながら、実際に手を動かして指示を行う。ユーザー７６は、その合成動画像１８０に含まれるサービスマン８６の手８２および８４の動きを含む動画像による支援を受けながら、作業を進めることができる。

また、ユーザー７６が発した第１の音声の情報は、サービスマン８６が装着するＡＲグラス２０の、音声出力部としての第２スピーカ２７から出力される。また、サービスマン８６が発した第２の音声の情報は、ユーザー７６が装着するＡＲグラス１０の、音声出力部としての第１スピーカ１７から出力される（Ｓ４１）。そのため、サービスマン８６は、手による指示と共に、音声による指示を行いながら作業を支援することもできる。例えば、サービスマン８６は、合成動画像１８０を視認し、実際に手を動かしながら、「左手で『このレバー』を左に回しながら、右手で『このレバー』を上に上げてください。」という指示を行う。ＡＲグラス２０の第２マイク２５は、この、「左手で『このレバー』を左に回しながら、右手で『このレバー』を上に上げてください。」という音声情報の入力を受け付ける。第２マイク２５により受け付けられたサービスマン８６の第２の音声のデータは、ＡＲグラス１０に送信され、音声出力部としての第１スピーカ１７から出力される。ユーザー７６は、第１スピーカ１７から出力される、サービスマン８６の第２の音声による支援を受けながら、作業を進めることができる。

また、ユーザー７６が、サービスマン８６からの第２の音声による指示に対し返答すると、ユーザー７６が発した音声は、第１マイク１５に入力される。第１マイク１５により入力が受け付けられた第１の音声のデータは、ＡＲグラス２０に送信され、音声出力部としての第２スピーカ２７から出力される。サービスマン８６は、第２スピーカ２７から出力される、ユーザー７６の第１の音声を聞き取ることにより、ユーザー７６の理解度を確かめながら作業の支援を行うことができる。

このＳ３１〜４１を含むサイクルを、ユーザー７６による作業が完了するまで繰り返す（Ｓ４２）。

以上がこの発明の一実施形態に係る作業支援システム１により、実際にユーザー７６がサービスマン８６の支援を受けながら作業を行う場合の流れである。このように、この発明に係る作業支援システム１によると、第２表示レンズ２６に表示された合成動画像１８０をユーザー７６が視認すると、複合機１００の存在する作業現場において、サービスマン８６と協働で作業を行っているようにして作業の支援を受けることができる。また第１スピーカ１７からは、サービスマン８６が発した第２の音声による支援情報が出力される。そのため作業が行われる複合機１００から地理的に離れた位置にいるサービスマン８６が、あたかもユーザー７６と共に作業を行っているような状態で作業を行うことができる。またユーザー７６にとって視覚的に作業の流れがわかりやすく、作業効率の向上が期待できる。

このようにして一連の作業が完了すると、最後に作業完了の手続きを行う。図１３は、この発明の一実施形態に係る作業支援システム１による作業の支援が完了した後の、作業完了の処理の流れを示すフローチャートである（Ｓ５１〜Ｓ６２）。

まずサービスマン８６は、作業が完了したことを確認し、複合機２００の表示操作部２０１のキーを操作することにより支援の終了の要求を入力する。ユーザー側表示操作部１０１に支援の終了の要求が入力されると、支援終了要求受け付け部６９は、その入力を受け付ける（Ｓ５１）。支援終了要求受け付け部６９によりその要求の入力が受け付けられると、認証部６８は、支援を終了するための支援終了用認証情報として、テストパターンを発行する。そのテストパターンは、サービスマン側通信部２０９から、ネットワーク５を介して、ユーザー７６側の複合機１００のユーザー側通信部１０９に送信される（Ｓ５２）。

ユーザー側通信部１０９によりテストパターンの情報が受信されると、ユーザー側画像形成部１０５は、テストパターンの画像を用紙上に形成する（Ｓ５３）。ユーザー７６により装着されるＡＲグラス１０の第１撮像カメラ１８は、ユーザー側画像形成部１０５により用紙上に形成されたテストパターンの画像を撮像し、そのテストパターンに含まれる情報を読み取る（Ｓ５４）。

ＡＲグラス１０の第１撮像カメラ１８により読み取られた結果は、ＡＲグラス１０のユーザー側データ送受信部１９から、複合機１００のユーザー側通信部１０９およびネットワーク５を介して、複合機２００のサービスマン側通信部２０９に送信される（Ｓ５５）。サービスマン側通信部２０９により読み取り結果が受信されると（Ｓ５６）、認証部６８は、認証部６８から発行された元のテストパターンと、ユーザー７６側のＡＲグラス１０の第１撮像カメラ１８により読み取られた読み取り結果とを照合する（Ｓ５７）。

認証部６８による照合の結果、認証部６８から発行されたテストパターンと、ユーザー７６側のＡＲグラス１０の第１撮像カメラ１８により読み取られた読み取り結果が整合すると判断されると（Ｓ５８において、ＹＥＳ）、支援を完了する（Ｓ５９）。支援が完了すると、ユーザー７６側の複合機１００に向けて、複合機２００のサービスマン側通信部２０９から、ネットワーク５を介して支援が完了した旨の通知を送信する。複合機１００のユーザー側通信部１０９は、その通知を受信する（Ｓ６０）。ユーザー側通信部１０９により支援が完了した旨の通知が受け取られると、複合機１００の第三の制御部１０２内の作業ログ作成部５６は、作業ログを作成する（Ｓ６１）。その作業ログは、複合機２００のＨＤＤ２０４に保存される。その後、複合機１００と複合機２００の間の通信が終了される（Ｓ６２）。このようにして一連の支援が終了する。

以上が一連の流れである。なお、ユーザーが行う作業はメンテナンス作業に限られない。例えば、画像処理装置の設定や、通常の操作など、専門的な知識を有するサービスマンからの支援が必要な、画像処理装置に対するあらゆる作業にこの発明の作業支援システムは適用することができる。

またサービスマン側画像処理装置としての複合機２００に、マニュアル文書や、作業手順を示した画像などの作業支援情報が格納されている場合には、合成動画像１８０に重畳するように、ユーザー７６が装着するＡＲグラス１０の第１表示レンズ１６に表示させることも可能である。作業支援情報格納部としてのハードディスク２０４に格納されている作業支援情報は、サービスマン側通信部２０９から、ネットワーク５およびユーザー側通信部１０９を介して、ユーザー側データ送受信部１９に送信される。ＡＲグラス１０の表示制御部３１は、その作業支援情報を、静止画像または動画像として、ＡＲグラス１０の第１表示レンズ１６に表示するよう制御する。作業者は、動画像、音声による指示、および作業支援情報をそれぞれ参考することにより、作業を円滑に行うことができる。

上記実施形態において説明したマイクおよびスピーカは必須ではなく、省略が可能である。すなわち、支援は動画像のみを利用して行われてもよい。

上記実施形態においては、ユーザー側画像処理装置である複合機１００がサービスマン側画像処理装置である複合機２００と同一の構造を有する同一の機種の場合について説明したが、ユーザー側画像処理装置とサービスマン側画像処理装置は同一の機種である必要はない。サービスマン側の画像処理装置の画像は、動画像抽出部６４による動画像の抽出の際に消去されるので、サービスマン側画像処理装置とユーザー側画像処理装置とは同一の機種である必要はない。またこの場合、位置合わせ部６７も省略することができる。

またユーザー側画像処理装置およびサービスマン側画像処理装置は、それぞれ画像形成部１０５、２０５を有していなくてもよい。またサービスマン側画像処理装置は、ハードディスク２０４を有していなくてもよい。

上記実施形態においては、第１撮像カメラ１８がユーザー７６の両手７２，７４の動画像を、第２撮像カメラ２８がサービスマン８６の両手８２，８４の動画像を撮像する例を示している。しかしながら、第１撮像カメラ１８および第２撮像カメラ２８により撮像されるユーザー７６またはサービスマン８６の手は片手のみであっても構わない。

上記実施形態においては、ユーザー側表示端末およびサービスマン側表示端末がＡＲグラスである場合について説明したが、頭部装着型表示端末であるこれらの表示端末は、ＡＲグラスのみに限定されない。この発明において使用できる他の頭部装着型端末の例としては、片眼型端末や、メガネ型ウェアラブル端末、ゴーグル型端末、ヘルメット型端末などが挙げられる。但し、装着のし易さや装着時の安定性、視認性の高さなどから片眼型端末やメガネ型ウェアラブル端末、ＡＲグラスが好ましい。頭部装着型端末の装着部は、ユーザーの頭部に装着可能にする部材からなり、その構造は限定されないが、装着部の例としては、メガネのフレーム、ヘルメット、バンド、ゴーグル、片耳を利用して観察者の頭部に装着されるフレーム、またはそれらの類似構造物の、ユーザーが頭部に装着するために必要な構造を有する部材が挙げられる。また装着部の構成材料については適宜選択可能である。

ユーザー側表示端末およびサービスマン側表示端末は、ブレ防止機能を有していなくてもよい。すなわち、振動検知部３２および４２、ならびに安定化処理部３３および４３を設けるか否かは任意に選択できる。

ユーザー側複合機１００の制御部１０２内の、支援要請受け付け部５２、および作業ログ作成部５６は必須ではなく、省略が可能である。

サービスマン側複合機２００の制御部２０２内の、位置合わせ部６７、認証部６８、および支援終了要求受け付け部６９についても、省略が可能である。

今回開示された実施の形態および実施例はすべての点で例示であって、どのような面からも制限的なものではないと理解されるべきである。本発明の範囲は上記した説明ではなく、特許請求の範囲によって規定され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明にかかる作業支援システムは、機器のメンテナンス時におけるユーザーへの指示や、不慣れな者には操作方法がわかりにくい機器の操作の支援など、様々な作業の支援を行うために利用することができる。

１ 作業支援システム、５ ネットワーク、１０ ＡＲグラス、１２ ユーザーＡＲグラス制御部、１４ 第１メモリ、１５ 第１マイク、１６ 第１表示レンズ、１７ 第１スピーカ、１８ 第１撮像カメラ、１９ 第１通信部、２０ ＡＲグラス、２２ サービスマンＡＲグラス制御部、２４ 第２メモリ、２５ 第２マイク、２６ 第２表示レンズ、２７ 第２スピーカ、２８ 第２撮像カメラ、２９ サービスマン側データ送受信部、３１ 表示制御部、３２ 振動検知部、３３ 安定化処理部、４１ 表示制御部、４２ 振動検知部、４３ 安定化処理部、５２ 支援要請受け付け部、５６ 作業ログ作成部、６２ データ取得部、６４ 動画像抽出部、６６ 動画像合成部、６７ 位置合わせ部、６８ 認証部、６９ 支援終了要求受け付け部、７２ ユーザーの左手、７４ ユーザーの右手、７６ ユーザー、８２ サービスマンの左手、８４ サービスマンの右手、８６ サービスマン、１００ ユーザー側複合機、１０１ ユーザー側表示操作部、１０２ ユーザー側複合機制御部、１０５ ユーザー側画像形成部、１０９ ユーザー側通信部、１５０ 第１動画像、１６０ 第２動画像、１７０ 抽出動画像、１８０ 合成動画像、２００ サービスマン側複合機、２０１ サービスマン側表示操作部、２０２ サービスマン側複合機制御部、２０４ ハードディスク、２０５ サービスマン側画像形成部、２０９ サービスマン側通信部。

Claims (10)

1. 遠隔地に居るサービスマンからユーザーに対し指示を行うことにより、前記ユーザーの作業を支援する作業支援システムであって、
   頭部装着型の端末であって、前記ユーザーに装着されるユーザー側表示端末と、
   頭部装着型の端末であって、前記サービスマンに装着されるサービスマン側表示端末と、
   前記ユーザー側表示端末と通信可能なユーザー側画像処理装置と、
   前記サービスマン側表示端末と通信可能なサービスマン側画像処理装置と、
   を備え、
   前記ユーザー側画像処理装置と、前記サービスマン側画像処理装置とは通信可能に接続され、
   前記ユーザー側表示端末および前記サービスマン側表示端末は、それぞれ、
   前記ユーザーまたは前記サービスマンである装着者に装着可能な形状を有する装着部と、
   前記装着者の視野範囲内の画像処理装置の像と前記装着者の手の像とを含む動画像を撮像する撮像部と、
   前記ユーザー側画像処理装置または前記サービスマン側画像処理装置のうち、通信可能な画像処理装置との間でデータを送受信する端末データ送受信部と、
   前記装着部に設置され、前記装着者に視認可能な電子画像を表示すると共に、画像処理装置の前記像を光学的に透過しうる光学透過式のレンズを有する表示部と、
   前記端末データ送受信部により受信されたデータに基づいて、前記表示部に前記電子画像が表示されるよう制御する表示制御部と、を備え、
   前記ユーザー側画像処理装置は、
   前記ユーザー側表示端末および前記サービスマン側画像処理装置と通信可能なユーザー側通信部を備え、
   前記サービスマン側画像処理装置は、
   前記サービスマン側表示端末および前記ユーザー側画像処理装置と通信可能なサービスマン側通信部と、
   前記サービスマン側通信部を通じて、前記ユーザー側表示端末の前記撮像部により撮像されたユーザー側動画像と、前記サービスマン側表示端末の前記撮像部により撮像されたサービスマン側動画像とを取得するデータ取得部と、
   前記データ取得部により受信された前記サービスマン側動画像から、前記装着者である前記サービスマンの前記手の動画像を抽出する動画像抽出部と、
   前記動画像抽出部により抽出された、前記サービスマンの前記手の動画像を含む抽出動画像と、前記ユーザー側動画像とを統合し、合成動画像を形成する動画像合成部と、
   を備え、
   前記サービスマン側通信部は、前記動画像合成部により形成された合成動画像を、前記ユーザー側表示端末及び前記サービスマン側表示端末に送信し、
   前記表示制御部は、前記サービスマン側通信部から送信され、前記端末データ送受信部により受信された前記合成動画像を、前記表示部に表示するよう制御し、
   前記ユーザー側画像処理装置は、
   支援を要請するための支援要請の入力を受け付ける支援要請受け付け部をさらに備え、
   前記サービスマン側画像処理装置は、
   前記支援要請受け付け部により前記支援要請の入力が受け付けられると、前記ユーザー側画像処理装置に対し認証用情報を発行する認証部をさらに備え、
   前記ユーザー側画像処理装置は、
   前記認証部により発行された前記認証用情報を表示する表示操作部をさらに備え、
   前記表示操作部に表示された前記認証用情報は、前記ユーザー側表示端末の前記撮像部により読み取られ、
   前記認証部は、前記ユーザー側表示端末の前記撮像部により読み取られた読み取り結果と、前記認証部により発行された前記認証用情報とが整合するか否かを判断し、両者が整合する場合には、前記ユーザー側画像処理装置と前記サービスマン側画像処理装置との間での通信を確立する、作業支援システム。
2. 遠隔地に居るサービスマンからユーザーに対し指示を行うことにより、前記ユーザーの作業を支援する作業支援システムであって、
   頭部装着型の端末であって、前記ユーザーに装着されるユーザー側表示端末と、
   頭部装着型の端末であって、前記サービスマンに装着されるサービスマン側表示端末と、
   前記ユーザー側表示端末と通信可能なユーザー側画像処理装置と、
   前記サービスマン側表示端末と通信可能なサービスマン側画像処理装置と、
   を備え、
   前記ユーザー側画像処理装置と、前記サービスマン側画像処理装置とは通信可能に接続され、
   前記ユーザー側表示端末および前記サービスマン側表示端末は、それぞれ、
   前記ユーザーまたは前記サービスマンである装着者に装着可能な形状を有する装着部と、
   前記装着者の視野範囲内の画像処理装置の像と前記装着者の手の像とを含む動画像を撮像する撮像部と、
   前記ユーザー側画像処理装置または前記サービスマン側画像処理装置のうち、通信可能な画像処理装置との間でデータを送受信する端末データ送受信部と、
   前記装着部に設置され、前記装着者に視認可能な電子画像を表示すると共に、画像処理装置の前記像を光学的に透過しうる光学透過式のレンズを有する表示部と、
   前記端末データ送受信部により受信されたデータに基づいて、前記表示部に前記電子画像が表示されるよう制御する表示制御部と、を備え、
   前記ユーザー側画像処理装置は、
   前記ユーザー側表示端末および前記サービスマン側画像処理装置と通信可能なユーザー側通信部を備え、
   前記サービスマン側画像処理装置は、
   前記サービスマン側表示端末および前記ユーザー側画像処理装置と通信可能なサービスマン側通信部と、
   前記サービスマン側通信部を通じて、前記ユーザー側表示端末の前記撮像部により撮像されたユーザー側動画像と、前記サービスマン側表示端末の前記撮像部により撮像されたサービスマン側動画像とを取得するデータ取得部と、
   前記データ取得部により受信された前記サービスマン側動画像から、前記装着者である前記サービスマンの前記手の動画像を抽出する動画像抽出部と、
   前記動画像抽出部により抽出された、前記サービスマンの前記手の動画像を含む抽出動画像と、前記ユーザー側動画像とを統合し、合成動画像を形成する動画像合成部と、
   を備え、
   前記サービスマン側通信部は、前記動画像合成部により形成された合成動画像を、前記ユーザー側表示端末及び前記サービスマン側表示端末に送信し、
   前記表示制御部は、前記サービスマン側通信部から送信され、前記端末データ送受信部により受信された前記合成動画像を、前記表示部に表示するよう制御し、
   前記サービスマン側画像処理装置は、
   支援の終了の要求の入力を受け付ける支援終了要求受け付け部をさらに備え、
   前記支援終了要求受け付け部により前記支援の終了の要求の入力が受け付けられると、前記認証部は、前記支援を終了するための支援終了用認証情報を発行する、作業支援システム。
3. サービスマン側画像処理装置は、前記データ取得部により取得された前記ユーザー側動画像と前記サービスマン側動画像のうち、前記ユーザー側動画像に含まれる画像処理装置の前記像と、前記サービスマン側動画像に含まれる画像処理装置の前記像との位置を合わせる位置合わせ部をさらに備える、請求項１または２に記載の作業支援システム。
4. 前記ユーザー側画像処理装置と前記サービスマン側画像処理装置は、同一の構造を備えた同一の機種である、請求項１〜３のいずれか１項に記載の作業支援システム。
5. 前記サービスマン側表示端末および前記ユーザー側表示端末は、それぞれ、
   音声情報の入力を受け付ける音声入力部と、
   前記サービスマン側表示端末および前記ユーザー側表示端末のうち、他方の前記音声入力部から入力された音声情報を出力する音声出力部と、をさらに備える、請求項１〜４のいずれか１項に記載の作業支援システム。
6. 前記サービスマン側画像処理装置は、前記ユーザーの作業を支援する作業支援情報を格納する作業支援情報格納部をさらに備え、
   前記作業支援情報格納部に格納された前記作業支援情報は、静止画像または動画像として、前記ユーザー側表示端末の前記表示部に表示される、請求項１〜５に記載の作業支援システム。
7. 前記ユーザー側表示端末および前記サービスマン側表示端末は、それぞれ、
   前記撮像部の振動を検知する振動検知部と、
   前記振動検知部により検知された振動の状態に応じて、前記撮像部によって撮像された前記動画像から動揺を取り除く安定化処理を行う安定化処理部と、をさらに備える、請求項１〜６のいずれか１項に記載の作業支援システム。
8. 前記振動検知部によって検知された振動が所定の閾値を超えると、前記表示制御部は、前記表示制御部に対応する前記表示部に警告画面を電子画像として表示するよう制御する、請求項７に記載の作業支援システム。
9. 前記ユーザー側画像処理装置は、用紙上に画像を形成する画像形成部をさらに備え、
   前記画像形成部は、前記認証部により発行された前記支援終了用認証情報を示す画像を用紙上に形成し、
   前記画像形成部により用紙上に形成された、前記支援終了用認証情報を示す画像は、前記ユーザー側表示端末の前記撮像部により読み取られ、
   前記認証部は、前記ユーザー側表示端末の前記撮像部による読み取り結果と、前記認証部により発行された前記支援終了用認証情報とを照合し、照合の結果、両者が整合する場合には、前記ユーザー側画像処理装置と前記サービスマン側画像処理装置との間の通信を停止する、請求項２に記載の作業支援システム。
10. 前記ユーザー側画像処理装置は、前記作業の内容を示す作業ログを作成する作業ログ作成部をさらに備える、請求項１〜９のいずれか１項に記載の作業支援システム。
    

Images