JP7500866B2 - ウェアラブル端末装置、プログラムおよび表示方法 - Google Patents

Description

本開示は、ウェアラブル端末装置、プログラムおよび表示方法に関する。

従来、ユーザが頭部に装着するウェアラブル端末装置を用いて、仮想画像および／または仮想空間をユーザに体感させる技術として、ＶＲ（仮想現実）、ＭＲ（複合現実）およびＡＲ（拡張現実）が知られている。ウェアラブル端末装置は、ユーザが装着したときにユーザの視界を覆う表示部を有する。この表示部に、ユーザの位置および向きに応じて仮想画像および／または仮想空間を表示することで、あたかもこれらが存在しているかのような視覚効果を実現する（例えば、米国特許出願公開第２０１９／００８７０２１号明細書、および米国特許出願公開第２０１９／０３４０８２２号明細書）。

ＭＲは、ユーザに現実空間を視認させつつ、現実空間の所定位置に仮想画像が存在しているように見せる表示を行うことで、現実空間と仮想画像とが融合した複合現実を体感させる技術である。また、ＶＲは、ＭＲにおける現実空間に代えて仮想空間をユーザに視認させることで、あたかもユーザが仮想空間にいるように体感させる技術である。

ＶＲおよびＭＲにおいて表示される仮想画像は、ユーザが位置する空間における表示位置が定められており、その表示位置がユーザの視認領域の内部にある場合に表示部に表示されてユーザに視認される。

本開示のウェアラブル端末装置は、ユーザが装着して使用するウェアラブル端末装置であって、少なくとも一つのプロセッサを備える。前記少なくとも一つのプロセッサは、選択候補の複数の表示態様から一の表示態様を選択する操作を指示者から受け付けると、空間内に位置する指示画像を選択された表示態様で表示部に表示させる。前記少なくとも一つのプロセッサは、複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させる。前記選択候補の複数の表示態様は、前記指示者が前記選択を行うときに既に表示されている前記指示画像の表示態様を除いた表示態様からなる。

また、本開示のプログラムは、ユーザが装着して使用するウェアラブル端末装置の表示部を制御可能なコンピュータに、選択候補の複数の表示態様から一の表示態様を選択する操作を指示者から受け付けると、空間内に位置する指示画像を選択された表示態様で前記表示部に表示させる処理を実行させる。前記プログラムは、前記コンピュータに、複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させる処理を実行させる。前記プログラムは、前記コンピュータに、前記選択候補の複数の表示態様を、前記指示者が前記選択を行うときに既に表示されている前記指示画像の表示態様を除いた表示態様とする処理を実行させる。

また、本開示の表示方法は、ユーザが装着して使用するウェアラブル端末装置における表示方法である。当該表示方法では、選択候補の複数の表示態様から一の表示態様を選択する操作を指示者から受け付けると、空間内に位置する指示画像を選択された表示態様で表示部に表示させる。前記表示方法では、複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させる。前記表示方法では、前記選択候補の複数の表示態様を、前記指示者が前記選択を行うときに既に表示されている前記指示画像の表示態様を除いた表示態様とする。

第１の実施形態に係る表示システムの構成を示す模式図である。 ウェアラブル端末装置の構成を示す模式斜視図である。 ウェアラブル端末装置を装着しているユーザが視認する視認領域および仮想画像の例を示す図である。 空間における視認領域を説明する図である。 ウェアラブル端末装置の主要な機能構成を示すブロック図である。 外部機器の主要な機能構成を示すブロック図である。 遠隔指示に係る動作を行っているときの視認領域および指示者用画面を示す図である。 ペン入力の軌跡を表す指示画像が表示されている視認領域および指示者用画面を示す図である。 ドキュメント画像の指示画像が表示されている視認領域および指示者用画面を示す図である。 遠隔指示処理の制御手順を示すフローチャートである。 遠隔指示処理における視認領域および指示者用画面を示す図である。 カラーパレットが表示されている視認領域および指示者用画面を示す図である。 既存の指示画像がある場合のカラーパレットを示す図である。 カラーパレットに対する操作に応じた報知表示を示す図である。 視認領域および指示者用画面における指示画像の表示態様の他の例を示す図である。 視認領域および指示者用画面における指示画像の表示動作の他の例を示す図である。 指示者ごとに異なる文字が指示画像に付加されている例を示す図である。 指示画像に対する文字の付加態様の例を示す図である。 第２の実施形態に係る表示システムの構成を示す模式図である。 情報処理装置の主要な機能構成を示すブロック図である。

以下、実施の形態を図面に基づいて説明する。ただし、以下で参照する各図は、説明の便宜上、実施形態を説明する上で必要な主要部材のみを簡略化して示したものである。したがって、本開示のウェアラブル端末装置１０、外部機器２０および情報処理装置８０は、参照する各図に示されていない任意の構成部材を備え得る。

〔第１の実施形態〕
図１に示すように、表示システム１は、ウェアラブル端末装置１０と、複数の外部機器２０とを備える。表示システム１と外部機器２０とは、ネットワークＮを介して通信接続されている。ネットワークＮは、例えばインターネットとすることができるが、これに限られない。なお、表示システム１は、複数のウェアラブル端末装置１０を備えていてもよい。また、表示システム１が備える外部機器２０は１つであってもよい。

ウェアラブル端末装置１０は、ユーザ（装着者）に対してＭＲを体感させることのできる装置である。本実施形態では、所定の作業を行うユーザがウェアラブル端末装置１０を装着する。また、ウェアラブル端末装置１０を装着しているユーザに対し、ウェアラブル端末装置１０を介して遠隔地から指示を行う遠隔指示者が外部機器２０を操作する。

図２に示すように、ウェアラブル端末装置１０は、本体部１０ａ、および当該本体部１０ａに取り付けられたバイザー１４１（表示部材）などを備える。

本体部１０ａは、その周長を調整可能な環状の部材である。本体部１０ａの内部には、深度センサー１５３およびカメラ１５４などの種々の機器が内蔵されている。本体部１０ａを頭部に装着すると、ユーザの視界がバイザー１４１によって覆われるようになっている。

バイザー１４１は、光透過性を有する。ユーザは、バイザー１４１を通して現実空間を視認することができる。バイザー１４１のうちユーザの目に対向する表示面には、本体部１０ａに内蔵されたレーザースキャナー１４２（図５参照）から仮想画像等の画像が投影されて表示される。ユーザは、表示面からの反射光により仮想画像を視認する。このとき、ユーザは、併せてバイザー１４１越しに現実空間も視認しているため、あたかも現実空間に仮想画像が存在しているかのような視覚効果が得られる。

図３に示すように、仮想画像３０が表示された状態では、ユーザは、空間４０における所定位置に、所定方向を向いた仮想画像３０を視認する。本実施形態では、空間４０は、ユーザがバイザー１４１越しに視認する現実空間である。仮想画像３０は、光透過性を有するバイザー１４１に投影されているため、現実空間に重なる半透明の画像として視認される。図３では、仮想画像３０として平面状のウィンドウ画面が例示されている。また、仮想画像３０は、ウェアラブル端末装置１０のユーザに対して指示または説明などを行うための指示画像３１を含む。すなわち、指示画像３１は、仮想画像３０の一態様である。図３では、矢印の指示画像３１と、ペン入力の軌跡の指示画像３１とが例示されている。仮想画像３０は、これらに限られず、例えば各種の立体画像であってもよい。仮想画像３０がウィンドウ画面である場合には、仮想画像３０は表面（第１面）および裏面（第２面）を有し、このうち表面に必要な情報が表示され、通常、裏面には情報が表示されない。

ウェアラブル端末装置１０は、空間４０におけるユーザの位置および向き（言い換えると、ウェアラブル端末装置１０の位置および向き）に基づいて、ユーザの視認領域４１を検出する。図４に示すように、視認領域４１は、空間４０のうち、ウェアラブル端末装置１０を装着しているユーザＡの前方に位置する領域である。例えば、視認領域４１は、ユーザＡの正面から左右方向および上下方向にそれぞれ所定角度範囲内の領域である。この場合、視認領域４１の形状に相当する立体を、ユーザＡの正面方向に垂直な平面で切り取ったときの切り口の形状は矩形である。なお、視認領域４１の形状は、当該切り口の形状が矩形以外（例えば、円形または楕円形等）となるように定められていてもよい。視認領域４１の形状（例えば、正面から左右方向および上下方向の角度範囲）は、例えば以下の方法で特定することができる。

ウェアラブル端末装置１０では、初回起動時等の所定のタイミングにおいて、所定の手順で視野の調整（以下、キャリブレーションと記す）が行われる。このキャリブレーションにより、ユーザが視認できる範囲が特定され、以降、当該範囲内に仮想画像３０が表示される。このキャリブレーションにより特定された視認可能な範囲の形状を、視認領域４１の形状とすることができる。

また、キャリブレーションは、上記の所定の手順で行われるものに限られず、ウェアラブル端末装置１０の通常の操作を行っている中で自動的にキャリブレーションが行われてもよい。例えば、ユーザからのリアクションがなされるべき表示に対してリアクションがなされない場合に、当該表示を行っている範囲をユーザの視野の範囲外であるとみなして視野（および視認領域４１の形状）を調整してもよい。また、視野の範囲外として定められている位置に試験的に表示を行い、当該表示に対するユーザのリアクションがあった場合に、当該表示を行っている範囲をユーザの視野の範囲内であるとみなして視野（および視認領域４１の形状）を調整してもよい。

なお、視認領域４１の形状は、出荷時等において、視野の調整結果に基づかずに予め定められて固定されていてもよい。例えば、視認領域４１の形状は、表示部１４の光学設計上、最大限表示可能な範囲に定められていてもよい。

仮想画像３０は、ユーザの所定の操作に応じて、空間４０における表示位置および向きが定められた状態で生成される。また、仮想画像３０のうち指示画像３１は、例えば外部機器２０からウェアラブル端末装置１０に送信される指示データに基づいて生成される。また、指示画像３１は、ウェアラブル端末装置１０のユーザが備忘などの目的で自ら生成することもできる。ウェアラブル端末装置１０は、生成された仮想画像３０のうち、視認領域４１の内部に表示位置が定められている仮想画像３０をバイザー１４１に投影させて表示する。図３においては、視認領域４１が鎖線で示されている。

バイザー１４１における仮想画像３０の表示位置および向きは、ユーザの視認領域４１の変化に応じてリアルタイムに更新される。すなわち、「設定された位置および向きで空間４０内に仮想画像３０が位置している」とユーザが認識するように、視認領域４１の変化に応じて仮想画像３０の表示位置および向きが変化する。例えば、ユーザが仮想画像３０の表側から裏側に向かって移動すると、この移動に応じて表示される仮想画像３０の形状（角度）が徐々に変化する。また、ユーザが仮想画像３０の裏側に回り込んだ後で当該仮想画像３０の方向を向くと、仮想画像３０の裏面が視認されるように裏面が表示される。また、視認領域４１の変化に応じて、表示位置が視認領域４１から外れた仮想画像３０は表示されなくなり、表示位置が視認領域４１に入った仮想画像３０があれば当該仮想画像３０が新たに表示される。

図３に示すように、ユーザが手（または指）を前方にかざすと、手を伸ばした方向がウェアラブル端末装置１０により検出され、当該方向に延びる仮想線５１と、ポインタ５２とがバイザー１４１の表示面に表示されてユーザに視認される。ポインタ５２は、仮想線５１と仮想画像３０との交点に表示される。仮想線５１が仮想画像３０と交差しない場合には、仮想線５１と空間４０の壁面等との交点にポインタ５２が表示されてもよい。ユーザの手と仮想画像３０との距離が所定の基準距離以内である場合に、仮想線５１の表示を省略して、ユーザの指先の位置に応じた位置にポインタ５２を直接表示させてもよい。

ユーザが手を伸ばす方向を変えることで、仮想線５１の方向およびポインタ５２の位置を調整することができる。仮想画像３０に含まれる所定の操作対象（例えば、機能バー３０１、ウィンドウ形状変更ボタン３０２、およびクローズボタン３０３等）にポインタ５２が位置するように調整した状態で所定のジェスチャーを行うことで、当該ジェスチャーがウェアラブル端末装置１０により検出され、操作対象に対する所定の操作を行うことができる。例えば、ポインタ５２をクローズボタン３０３に合わせた状態で、操作対象を選択するジェスチャー（例えば、指先をつまむジェスチャー）を行うことで、仮想画像３０を閉じる（削除する）ことができる。また、ポインタ５２を機能バー３０１に合わせた状態で選択するジェスチャーを行い、選択状態のまま手を前後左右に移動させるジェスチャーを行うことで、仮想画像３０を奥行方向および左右方向に移動させることができる。仮想画像３０に対する操作はこれらに限られない。

このように、本実施形態のウェアラブル端末装置１０は、あたかも現実空間に仮想画像３０が存在するかのような視覚効果を実現し、仮想画像３０に対するユーザの操作を受け付けて仮想画像３０の表示に反映させることができる。すなわち、本実施形態のウェアラブル端末装置１０はＭＲを提供する。

次に、図５を参照してウェアラブル端末装置１０の機能構成について説明する。
ウェアラブル端末装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、表示部１４と、センサー部１５と、通信部１６と、マイク１７と、スピーカー１８などを備え、これらの各部はバス１９により接続されている。図５に示す構成要素のうち表示部１４のバイザー１４１を除いた各部は、本体部１０ａに内蔵されており、同じく本体部１０ａに内蔵されているバッテリーから供給される電力により動作する。

ＣＰＵ１１は、各種演算処理を行い、ウェアラブル端末装置１０の各部の動作を統括制御するプロセッサである。ＣＰＵ１１は、記憶部１３に記憶されたプログラム１３１を読み出して実行することで、各種制御動作を行う。ＣＰＵ１１は、プログラム１３１を実行することで、例えば視認領域検出処理および表示制御処理などを実行する。このうち視認領域検出処理は、空間４０内におけるユーザの視認領域４１を検出する処理である。また、表示制御処理は、空間４０における位置が定められた仮想画像３０のうち、視認領域４１の内部に位置が定められている仮想画像３０を表示部１４に表示させる処理である。

なお、図５では単一のＣＰＵ１１が図示されているが、これに限られない。ＣＰＵ等のプロセッサが２以上設けられていてもよく、本実施形態のＣＰＵ１１が実行する処理を、これらの２以上のプロセッサが分担して実行してもよい。

ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。

記憶部１３は、コンピュータとしてのＣＰＵ１１により読み取り可能な非一時的な記録媒体である。記憶部１３は、ＣＰＵ１１により実行されるプログラム１３１、および各種設定データなどを記憶する。プログラム１３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部１３に格納されている。記憶部１３としては、例えばフラッシュメモリを備えたＳＳＤ（Solid State Drive）などの不揮発性の記憶装置が用いられる。

記憶部１３に記憶されるデータとしては、仮想画像３０に係る仮想画像データ１３２などがある。仮想画像データ１３２は、仮想画像３０の表示内容に係るデータ（例えば画像データ）、表示位置のデータ、および向きのデータなどを含む。また、矢印の指示画像３１に係る仮想画像データ１３２は、矢印の大きさ、色、表示位置、および向きのデータなどを含む。ペン入力の軌跡の指示画像３１に係る仮想画像データ１３２は、軌跡の太さ、色、表示位置（軌跡の各点の座標を含む）、および向きのデータなどを含む。ドキュメント画像の指示画像３１に係る仮想画像データ１３２は、ドキュメント画像の内容、ウィンドウの大きさ、色、表示位置、および向きのデータなどを含む。

表示部１４は、バイザー１４１と、レーザースキャナー１４２と、当該レーザースキャナー１４２から出力された光をバイザー１４１の表示面に導く光学系とを有する。レーザースキャナー１４２は、ＣＰＵ１１からの制御信号に従って、画素ごとにオン／オフが制御されたパルス状のレーザー光を所定方向にスキャンしつつ光学系に照射する。光学系に入射したレーザー光は、バイザー１４１の表示面において２次元の画素マトリクスからなる表示画面を形成する。レーザースキャナー１４２の方式は、特には限られないが、例えばＭＥＭＳ（Micro Electro Mechanical Systems）によりミラーを動作させてレーザー光をスキャンする方式を用いることができる。レーザースキャナー１４２は、例えばＲＧＢの色のレーザー光を射出する３つの発光部を有する。表示部１４は、これらの発光部からの光をバイザー１４１に投影することでカラー表示を行うことができる。

センサー部１５は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５などを備える。なお、センサー部１５は、図５に示されていないセンサーをさらに有していてもよい。

加速度センサー１５１は、加速度を検出して検出結果をＣＰＵ１１に出力する。加速度センサー１５１による検出結果から、ウェアラブル端末装置１０の直交３軸方向の並進運動を検出することができる。

角速度センサー１５２（ジャイロセンサー）は、角速度を検出して検出結果をＣＰＵ１１に出力する。角速度センサー１５２による検出結果から、ウェアラブル端末装置１０の回転運動を検出することができる。

深度センサー１５３は、ＴｏＦ（Time of Flight）方式で被写体までの距離を検出する赤外線カメラであり、距離の検出結果をＣＰＵ１１に出力する。深度センサー１５３は、視認領域４１を撮影できるように本体部１０ａの前面に設けられている。空間４０においてユーザの位置および向きが変化するごとに深度センサー１５３による計測を繰り返し行って結果を合成することで、空間４０の全体の３次元マッピングを行う（すなわち、３次元構造を取得する）ことができる。

カメラ１５４は、ＲＧＢの撮像素子群により空間４０を撮影し、撮影結果としてカラー画像データを取得してＣＰＵ１１に出力する。カメラ１５４は、視認領域４１を撮影できるように本体部１０ａの前面に設けられている。カメラ１５４からの出力画像は、ウェアラブル端末装置１０の位置および向きなどの検出に用いられるほか、通信部１６から外部機器２０に送信されて、ウェアラブル端末装置１０のユーザの視認領域４１を外部機器２０において表示するためにも用いられる。

アイトラッカー１５５は、ユーザの視線を検出して検出結果をＣＰＵ１１に出力する。視線の検出方法は、特には限られないが、例えば、ユーザの目における近赤外光の反射点をアイトラッキングカメラで撮影し、その撮影結果と、カメラ１５４による撮影画像とを解析してユーザが視認している対象を特定する方法を用いることができる。アイトラッカー１５５の構成の一部は、バイザー１４１の周縁部などに設けられていてもよい。

通信部１６は、アンテナ、変復調回路、信号処理回路などを有する通信モジュールである。通信部１６は、所定の通信プロトコルに従って外部機器２０との間で無線通信によるデータの送受信を行う。また、通信部１６は、外部機器２０との間で音声データ通信を行うことができる。すなわち、通信部１６は、マイク１７により収集された音声データを外部機器２０に送信し、スピーカー１８から音声を出力させるために外部機器２０から送信された音声データを受信する。

マイク１７は、ユーザの声などの音を電気信号に変換してＣＰＵ１１に出力する。

スピーカー１８は、入力された音声データを機械的な振動に変換して音として出力する。

このような構成のウェアラブル端末装置１０において、ＣＰＵ１１は、以下のような制御動作を行う。

ＣＰＵ１１は、深度センサー１５３から入力された被写体までの距離データに基づいて空間４０の３次元マッピングを行う。ＣＰＵ１１は、ユーザの位置および向きが変化するたびにこの３次元マッピングを繰り返し行い、都度結果を更新する。また、ＣＰＵ１１は、一繋がりの空間４０を単位として３次元マッピングを行う。よって、壁などにより仕切られた複数の部屋の間をユーザが移動する場合には、ＣＰＵ１１は、それぞれの部屋を１つの空間４０と認識し、部屋ごとに別個に３次元マッピングを行う。

ＣＰＵ１１は、空間４０内におけるユーザの視認領域４１を検出する。詳しくは、ＣＰＵ１１は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５による検出結果と、蓄積されている３次元マッピングの結果と、に基づいて、空間４０におけるユーザ（ウェアラブル端末装置１０）の位置および向きを特定する。そして、特定した位置および向きと、予め定められている視認領域４１の形状と、に基づいて視認領域４１を検出（特定）する。また、ＣＰＵ１１は、ユーザの位置および向きの検出をリアルタイムで継続して行い、ユーザの位置および向きの変化に連動して視認領域４１を更新する。なお、視認領域４１の検出は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５のうちの一部による検出結果を用いて行われてもよい。

ＣＰＵ１１は、ユーザの操作に応じて仮想画像３０に係る仮想画像データ１３２を生成する。すなわち、ＣＰＵ１１は、仮想画像３０の生成を指示する所定の操作（ジェスチャー）を検出すると、仮想画像の表示内容（例えば画像データ）、表示位置、および向きを特定し、これらの特定結果を表すデータを含む仮想画像データ１３２を生成する。

ＣＰＵ１１は、視認領域４１の内部に表示位置が定められている仮想画像３０、すなわち視認領域４１の内部に位置する仮想画像３０を表示部１４に表示させる。ＣＰＵ１１は、仮想画像データ１３２に含まれる表示位置の情報に基づいて表示する仮想画像３０を特定し、その時点における視認領域４１と、仮想画像３０の表示位置との位置関係に基づいて、表示部１４に表示させる表示画面の画像データを生成する。ＣＰＵ１１は、この画像データに基づいてレーザースキャナー１４２にスキャン動作を行わせ、バイザー１４１の表示面に、仮想画像３０を含む表示画面を形成させる。すなわち、ＣＰＵ１１は、バイザー１４１を通して視認される空間４０に仮想画像３０が視認されるように、仮想画像３０をバイザー１４１の表示面に表示させる。ＣＰＵ１１は、この表示制御処理を連続して行うことで、ユーザの動き（視認領域４１の変化）に合わせて表示部１４による表示内容をリアルタイムで更新する。ウェアラブル端末装置１０が電源オフ状態となっても仮想画像データ１３２が保持される設定となっている場合には、次にウェアラブル端末装置１０が起動したときには、既存の仮想画像データ１３２が読み込まれ、視認領域４１の内部に位置する仮想画像３０があれば表示部１４に表示される。

ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出し、検出した方向に延びる仮想線５１と、ポインタ５２とを表示部１４に表示させる。また、ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）のジェスチャーを検出し、検出したジェスチャーの内容と、その時点におけるポインタ５２の位置とに応じた処理を実行する。

図６に示すように、外部機器２０は、ＣＰＵ２１と、ＲＡＭ２２と、記憶部２３と、操作表示部２４と、通信部２５と、マイク２６と、スピーカー２７などを備え、これらの各部はバス２８により接続されている。

ＣＰＵ２１は、各種演算処理を行い、外部機器２０の各部の動作を統括制御するプロセッサである。ＣＰＵ２１は、記憶部２３に記憶されたプログラム２３１を読み出して実行することで、各種制御動作を行う。

ＲＡＭ２２は、ＣＰＵ２１に作業用のメモリ空間を提供し、一時データを記憶する。

記憶部２３は、コンピュータとしてのＣＰＵ２１により読み取り可能な非一時的な記録媒体である。記憶部２３は、ＣＰＵ２１により実行されるプログラム２３１、および各種設定データなどを記憶する。プログラム２３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部２３に格納されている。記憶部２３としては、例えばフラッシュメモリを備えたＳＳＤ、またはＨＤＤ（Hard Disk Drive）などの不揮発性の記憶装置が用いられる。

操作表示部２４は、液晶ディスプレイ等の表示装置と、マウスおよびキーボードといった入力装置とを備える。操作表示部２４は、表示装置において表示システム１の動作ステータスや処理結果等の各種表示を行う。当該表示には、例えば、ウェアラブル端末装置１０のカメラ１５４により撮影された視認領域４１の画像を含む指示者用画面４２が含まれる。指示者用画面４２の内容については、後に詳述する。また、操作表示部２４は、入力装置に対するユーザの入力操作を操作信号に変換してＣＰＵ２１に出力する。

通信部２５は、所定の通信プロトコルに従ってウェアラブル端末装置１０との間でデータの送受信を行う。また、通信部２５は、ウェアラブル端末装置１０との間で音声データ通信を行うことができる。すなわち、通信部２５は、マイク２６により収集された音声データをウェアラブル端末装置１０に送信し、スピーカー２７から音声を出力させるためにウェアラブル端末装置１０から送信された音声データを受信する。通信部２５は、ウェアラブル端末装置１０以外の他の装置との通信が可能であってもよい。

マイク２６は、遠隔指示者の声などの音を電気信号に変換してＣＰＵ２１に出力する。

スピーカー２７は、入力される音声データを機械的な振動に変換して音として出力する。

次に、表示システム１の動作について、外部機器２０を操作する遠隔指示者から、ウェアラブル端末装置１０を装着しているユーザへの遠隔指示（遠隔支援）に係る動作を中心に説明する。

本実施形態の表示システム１では、ウェアラブル端末装置１０と、一または二以上の外部機器２０との間で双方向のデータ通信を行うことで、種々のデータを共有して共同作業を行うことができる。例えば、ウェアラブル端末装置１０のカメラ１５４により撮影されている画像のデータを外部機器２０に送信して操作表示部２４において表示させることで、ウェアラブル端末装置１０のユーザが見ているものを、遠隔指示者がリアルタイムで認識することができる。また、ウェアラブル端末装置１０のマイク１７、および外部機器２０のマイク２６によりそれぞれ収集された音声を双方向の音声データ通信で送信することで、音声通話を行うことができる。よって、ウェアラブル端末装置１０および外部機器２０により音声データ通信が実行されている期間は、ウェアラブル端末装置１０のユーザと遠隔指示者とが音声通話中である期間を含む。ウェアラブル端末装置１０のユーザと、二以上の外部機器２０を操作する二以上の遠隔指示者とを含む三者以上でカメラ画像の共有および音声通話を行うこともできる。遠隔指示者は、リアルタイムのカメラ画像を見ながら音声通話によってウェアラブル端末装置１０のユーザに対する指示および支援を行う、といったことが可能である。

さらに、外部機器２０は、ウェアラブル端末装置１０に対して、指示画像３１を表示させる指示を行うこともできる。すなわち、遠隔指示者が外部機器２０に対して所定の操作を行うことで、指示画像３１をウェアラブル端末装置１０の表示部１４に表示させることができる。

図７には、ウェアラブル端末装置１０のユーザＡと、異なる外部機器２０を操作する遠隔指示者Ｂ、Ｃと、によりカメラ画像の共有および音声通話が行われている場合が例示されている。図７には、ある時点におけるユーザＡの視認領域４１と、２つの外部機器２０においてそれぞれ表示されている指示者用画面４２とが示されている。指示者用画面４２は、ウェアラブル端末装置１０から送信されたカメラ１５４による撮影データに基づいて表示され、通常、ユーザＡの視認領域４１がそのまま反映される。図７の視認領域４１および指示者用画面４２には、作業対象としてのバルブ用のハンドルが含まれている。ここでは、ウェアラブル端末装置１０のユーザＡが、ハンドルの作業について、遠隔指示者Ｂ、Ｃからの指示および支援を受ける場合を例に挙げて説明する。

図７の視認領域４１および指示者用画面４２には、矢印の指示画像３１ａ～３１ｃが表示されている。指示画像３１ａは、ウェアラブル端末装置１０において受け付けられたユーザＡの指示に基づいて表示されたものである。指示画像３１ｂは、外部機器２０において受け付けられた遠隔指示者Ｂの指示に基づいて表示されたものである。指示画像３１ｃは、別の外部機器２０において受け付けられた遠隔指示者Ｃの指示に基づいて表示されたものである。このように、ウェアラブル端末装置１０のユーザＡも、指示画像３１の表示を指示することができる。すなわち、ユーザＡおよび遠隔指示者Ｂ、Ｃはいずれも、指示画像の表示を指示する指示者の一態様である。以下では、ユーザＡおよび遠隔指示者Ｂ、Ｃのうち任意の１人を単に「指示者」とも記す。ユーザＡによる指示画像３１ａの表示は、例えば、遠隔指示者Ｂ、Ｃからの指示画像３１ｂ、３１ｃによる指示に対し、作業位置の確認のために位置を指し示すといった目的で行うことができる。

上記を言い換えると、ウェアラブル端末装置１０のＣＰＵ１１は、指示者の指示に基づいて、空間４０内に位置する指示画像３１を表示部１４に表示させる。同様に、外部機器２０のＣＰＵ２１は、指示者の指示に基づいて、空間４０内に位置する指示画像３１を操作表示部２４に表示させる。

しかしながら、複数の指示者がそれぞれ指示画像３１を表示させると、その表示態様（色など）が互いに同一であると、各指示画像３１が誰の指示により表示されたものかを把握することができないという課題がある。

そこで、本実施形態のウェアラブル端末装置１０のＣＰＵ１１は、複数の指示者の指示に基づく複数の指示画像３１ａ～３１ｃを、指示を行った指示者ごとに異なる表示態様で表示部１４に表示させる。具体的には、ＣＰＵ１１は、複数の指示画像３１ａ～３１ｃを、指示を行った指示者ごとに異なる色で表示部１４に表示させる。同様に、外部機器２０のＣＰＵ２１は、複数の指示者の指示に基づく複数の指示画像３１ａ～３１ｃを、指示を行った指示者ごとに異なる色で操作表示部２４に表示させる。これにより、指示画像３１ａ～３１ｃが、それぞれ誰の指示により表示されたものかを、簡易かつ直感的に把握することができる。

ＣＰＵ１１は、通信部１６を介して音声データ通信の実行中に指示画像３１ａ～３１ｃを表示部１４に表示させる。また、ＣＰＵ１１は、音声データ通信による音声通話に参加しているユーザＡおよび遠隔指示者Ｂ、Ｃに互いに異なる色（表示態様）を対応付け、指示を行った指示者に対応付けられている色で指示画像３１ａ～３１ｃを表示部１４に表示させる。これによれば、簡易な処理により、指示者ごとに異なる色で指示画像３１ａ～３１ｃを表示させることができる。また、音声通話の実行中に指示画像３１ａ～３１ｃを表示することで、ユーザＡは、この指示画像３１ａ～３１ｃを視認しつつ、音声通話による遠隔指示者Ｂ、Ｃの指示に従った作業を行うことができる。

より詳しくは、音声通信においては、ユーザＡおよび遠隔指示者Ｂ、Ｃの各々には、互いに異なる色が付された複数のユーザアイコン６１（識別標識）のうちいずれかが対応付けられている。視認領域４１および指示者用画面４２の左上には、各指示者の名前とともに、各指示者に対応付けられているユーザアイコン６１が表示されている。ＣＰＵ１１は、指示を行った指示者に対応付けられているユーザアイコン６１に付された色で指示画像３１を表示部１４に表示させる。したがって、一の指示者について、当該指示者に対応付けられているユーザアイコン６１の色と、当該指示者の指示に基づいて表示された指示画像３１の色とが同一となっている。これにより、指示画像３１ａ～３１ｃの各々が、どの指示者による指示に基づいて表示されたものかを簡易かつ直感的に把握することができる。

視認領域４１および指示者用画面４２の上部には、矢印アイコン６２、ペン入力アイコン６３および画像アイコン６４が表示されている。図７に示すように矢印アイコン６２を選択した状態で所定の操作を行うことで、矢印の指示画像３１を生成して表示させることができる。このように、指示画像３１は、仮想オブジェクトの画像を含んでいてもよく、当該仮想オブジェクトは、位置および向きが指定された矢印形状のオブジェクト（矢印）を含んでいてもよい。

図８に示すように、ペン入力アイコン６３を選択した状態で所定の操作を行うことで、ペン入力の軌跡の指示画像３１を生成して表示させることができる。このように、指示画像３１としての仮想オブジェクトは、ペン入力の軌跡を表すオブジェクトを含んでいてもよい。ペン入力の軌跡を表すオブジェクトは、例えば手書きの文字または図形などであってもよい。ペン入力の軌跡は、ユーザの指先の軌跡の検出結果から特定されてもよいし、ユーザまたは遠隔指示者が保持する所定のペン型入力デバイスの先端の移動軌跡に基づいて特定されてもよい。

図８における指示画像３１ａは、ウェアラブル端末装置１０において受け付けられたユーザＡの指示に基づいて表示されたものである。また、指示画像３１ｂは、外部機器２０において受け付けられた遠隔指示者Ｂの指示に基づいて表示されたものである。図８に示すように、ペン入力の軌跡の指示画像３１ａ、３１ｂも、指示を行った指示者ごとに異なる色で表示されている。ペン入力の軌跡の各指示画像３１の色と、ユーザアイコン６１の色とを、指示者ごとに揃えてもよい。

図９に示すように、画像アイコン６４を選択した状態で所定の操作を行うことで、ドキュメント画像の指示画像３１を生成して表示させることができる。このように、指示画像３１は、所定のファイル形式のドキュメント画像を含んでいてもよい。ドキュメント画像は、例えば、図９に示すようなウィンドウ画面として表示される。ドキュメント画像は、作業内容の手順などを示す指示書またはマニュアルなどであってもよい。ドキュメント画像のファイル形式は、例えばＪＰＥＧ等の画像データに係るファイル形式、ＰＤＦ、または他の任意のソフトウェアで生成されるファイルのファイル形式であってもよい。

図９における指示画像３１ａは、ウェアラブル端末装置１０において受け付けられたユーザＡの指示に基づいて表示されたものである。また、指示画像３１ｃは、外部機器２０において受け付けられた遠隔指示者Ｃの指示に基づいて表示されたものである。図９に示すように、ドキュメント画像の指示画像３１ａ、３１ｃも、指示を行った指示者ごとに異なる色で表示されている。ここでは、指示画像３１ａ、３１ｃのウィンドウ画面における機能バーの色を指示者ごとに異ならせているが、これに限られず、ウィンドウ画面の背景の色などを指示者ごとに異ならせてもよい。ドキュメント画像の各指示画像３１の色と、ユーザアイコン６１の色とを、指示者ごとに揃えてもよい。

次に、上述のように指示画像３１ａを共有する動作を行うための遠隔指示処理について、図１０および図１１を参照して説明する。このうち図１０のフローチャートでは、外部機器２０において実行される遠隔指示処理のＣＰＵ２１による制御手順と、ウェアラブル端末装置１０において実行される遠隔指示処理のＣＰＵ１１による制御手順とが並列に記載されている。ここでは、まず遠隔指示者Ｂが操作する外部機器２０において指示画像３１ｂの表示指示がなされ、その後、ウェアラブル端末装置１０のユーザＡにより指示画像３１ａの表示指示がなされる場合を例に挙げて説明する。

図１０に示すように、ウェアラブル端末装置１０のＣＰＵ１１は、遠隔指示処理が開始されると、外部機器２０との間で音声データ通信を開始し、これにより音声通話を開始する。また、ＣＰＵ１１は、カメラ１５４により撮影されたカメラ画像の外部機器２０への送信を開始する（ステップＳ１０１）。

外部機器２０のＣＰＵ２１は、遠隔指示処理が開始されると、ウェアラブル端末装置１０との間で音声データ通信を開始し、これにより音声通話を開始する。また、ＣＰＵ２１は、ウェアラブル端末装置１０のカメラ１５４により撮影されたカメラ画像の受信を開始する（ステップＳ１０２）。以降、ＣＰＵ２１は、カメラ画像に基づいて指示者用画面４２を表示させ、指示者用画面４２においてカメラ画像をリアルタイムで動画表示させる。

外部機器２０のＣＰＵ２１は、指示画像３１ｂを生成するための遠隔指示者Ｂの操作（以下、「指示画像生成操作」と記す）を受け付ける（ステップＳ１０３）。指示画像生成操作は、指示者用画面４２および視認領域４１における指示画像３１ｂの大きさ、色、表示位置、および向きなどを指定する操作を含む。指示画像生成操作の受け付け中は、指示者用画面４２におけるカメラ画像を一時停止させて静止画としてもよい。

ＣＰＵ２１は、図１１のＳ１０４に示すように、指示画像生成操作の内容に応じて指示画像３１ｂを指示者用画面４２に表示させる（ステップＳ１０４）。

ＣＰＵ２１は、表示された指示画像３１ｂをウェアラブル端末装置１０において表示させるための第１の指示データを生成し、ウェアラブル端末装置１０に送信する（ステップＳ１０５）。

ウェアラブル端末装置１０のＣＰＵ１１は、第１の指示データを受信すると、図１１のＳ１０６に示すように、当該第１の指示データに基づいて指示画像３１ｂを表示部１４の視認領域４１に表示させる（ステップＳ１０６）。詳しくは、まず、ＣＰＵ１１は、第１の指示データに基づいて、指示画像３１ｂに係る仮想画像データ１３２を生成する。ＣＰＵ１１は、生成した仮想画像データ１３２に基づいて、空間４０のうち仮想画像データ１３２により指定された表示位置に指示画像３１ｂを表示させる。詳しくは、ＣＰＵ１１は、指示画像３１ｂの表示位置が視認領域４１の内部にある場合に、指示画像３１ｂを表示部１４に表示させる。これにより、遠隔指示者Ｂが所望する内容の指示画像３１ｂを、遠隔指示者Ｂが意図した位置に表示させることができ、当該指示画像３１ｂをウェアラブル端末装置１０のユーザＡに視認させて共有することができる。

ＣＰＵ１１は、ユーザＡからの指示画像生成操作を受け付ける（ステップＳ１０７）。

ＣＰＵ１１は、図１１のＳ１０８に示すように、指示画像生成操作の内容に応じて、指示画像３１ｂとは異なる表示態様で（ここでは、異なる色で）指示画像３１ａを表示部１４の視認領域４１に表示させる（ステップＳ１０８）。ここでは、ＣＰＵ１１は、指示画像３１ａの色が指示画像３１ｂと異なるように指示画像３１ａの色を定めて表示させる。すなわち、ＣＰＵ１１は、ユーザＡから指示画像３１ａを表示する指示がなされたときに、他の指示者からの指示に基づいて既に指示画像３１ｂが表示されている場合には、ユーザＡによる表示態様を指定する操作の有無に関わらず、既に表示されている指示画像３１ｂの表示態様と異なる表示態様で新たな指示画像３１ａを表示部１４に表示させる。これにより、指示者が特に意図しなくても、各指示画像３１を指示者ごとに異なる表示態様で表示させることができる。

ＣＰＵ１１は、表示された指示画像３１ａを外部機器２０において表示させるための第２の指示データを生成し、外部機器２０に送信する（ステップＳ１０９）。

外部機器２０のＣＰＵ２１は、図１１のＳ１１０に示すように、受信した第２の指示データに基づいて、指示画像３１ｂとは異なる表示態様で（ここでは、異なる色で）指示画像３１ａを指示者用画面４２に表示させる（ステップＳ１１０）。指示画像３１ａの色は、第２の指示データにおいて指定されていてもよいし、ＣＰＵ２１が、指示者用画面４２における指示画像３１ｂの色と異なるように定めてもよい。

ステップＳ１０９、Ｓ１１０が終了すると、ＣＰＵ１１、２１は、遠隔指示処理を終了させる。

次に、上記実施形態の変形例について説明する。以下の各変形例では、上記実施形態との相違点について説明し、上記実施形態と共通する内容については説明を省略する。また、以下の各変形例は、他の任意の変形例と組み合わせてもよい。

〔変形例１〕
上記実施形態では、ＣＰＵ１１またはＣＰＵ２１が、指示者ごとに異なる表示態様となるように各指示画像３１の表示態様を自動的に設定したが、これに代えて、指示者が選択した表示態様で指示画像３１を表示させてもよい。

例えば、図１２に示すように、矢印アイコン６２、ペン入力アイコン６３または画像アイコン６４が選択された場合に、生成する指示画像３１の色を選択するためのカラーパレット６５を表示してもよい。図１２では、矢印アイコン６２の選択に応じてカラーパレット６５が表示されている状態が描かれている。カラーパレット６５には、色が互いに異なる複数の色アイコンが配列されている。このうち１つの色アイコンを選択した状態で指示画像３１の表示指示が行われると、選択した色アイコンの色を有する矢印の指示画像３１が生成されて表示される。例えば、上記の操作がウェアラブル端末装置１０において受け付けられた場合には、ＣＰＵ１１が、選択された色の矢印の指示画像３１を表示部１４の視認領域４１において表示させる。このように、ＣＰＵ１１は、選択候補の複数の色（複数の表示態様）から一の色を選択する操作を指示者から受け付けて、選択された色で指示画像３１を表示部１４に表示させてもよい。これにより、所望の色の指示画像３１を表示させることができる。なお、上記の操作が外部機器２０において受け付けられた場合には、ＣＰＵ２１が、選択された色の矢印の指示画像３１を指示者用画面４２において表示させる。

ここで、図１３に示すように、ウェアラブル端末装置１０のユーザＡがカラーパレット６５により色の選択を行うときに、既に他の指示者の指示に基づいて指示画像３１ｂが表示されている場合には、カラーパレット６５の色アイコンからは、表示済の指示画像３１ｂの色の色アイコン６５ａが除外されてもよい。言い換えると、カラーパレット６５による選択候補の複数の色（複数の表示態様）は、指示者が選択を行うときに既に表示されている指示画像３１ｂの色を除いた色からなっていてもよい。また、ユーザＡがカラーパレット６５により色の選択を行う前の時点で既に特定の色が選択されていてもよく、該特定の色が既に表示されている指示画像３１ｂの色とは異なる色であってもよい。これらによれば、より確実に、指示者ごとに異なる表示態様で各指示画像３１を表示させることができる。なお、外部機器２０においても同様の動作が行われてもよい。

また、図１４に示すように、既に他の指示者の指示に基づいて指示画像３１ｂが表示されている場合において、ユーザＡが、指示画像３１ｂと同一色の色アイコン６５ａを選択したときに、報知表示６６を行ってもよい。言い換えると、ＣＰＵ１１は、既に表示されている指示画像３１ｂの色（表示態様）の選択を指示者が試みた場合には、所定の報知表示６６を表示部１４に行わせてもよい。ここで、報知表示６６は、図１４に示すように、同一色の指示画像３１が既に配置されていることを示す文字表示であってもよい。これによれば、意図せずに他の指示者による指示画像３１ｂと同一の表示態様で指示画像３１ａを表示させてしまう問題の発生を低減できる。また、図１４に示すように、ＣＰＵ１１は、空間４０において、報知表示６６がカラーパレット６５よりユーザに対して近い位置になるように表示部１４に表示を行わせてもよい。また、ＣＰＵ１１は、ユーザＡに対応付けられているユーザアイコン６１の色に基づいて、報知表示６６の表示態様を決定してよい。例えば、ＣＰＵ１１は、図１４に示す報知表示６６の外枠（報知表示６６の太線で示す枠部分）が前記ユーザＡに対応付けられているユーザアイコン６１の色となるように制御してよい。また、ＣＰＵ１１は、報知表示６６を表示部１４に行わせた後、所定の時間経過すると報知表示６６を止めてよい。また、報知表示６６を行うとき、ＣＰＵ１１は、ユーザに注意を促す旨の通知をスピーカー２７から出力させてもよい。スピーカー２７から出力させるユーザに注意を促す旨の通知は、例えば、「同一の色の矢印が配置されています。」等のメッセージ、ビープ音等のブザー音、等である。なお、外部機器２０においても同様の動作が行われてもよい。

〔変形例２〕
上記実施形態では、ウェアラブル端末装置１０の視認領域４１、および外部機器２０の指示者用画面４２において、同一の指示画像３１の表示態様は同一とされていたが、これに限られない。例えば、図１５に示すように、視認領域４１と指示者用画面４２との間で、同一の指示画像３１の表示態様（ここでは、色）が互いに異なっていてもよい。言い換えると、ウェアラブル端末装置１０における複数の指示者の指示に基づく複数の指示画像３１の表示態様は、外部機器２０における複数の指示画像３１の表示態様とは独立に定められていてもよい。また、各指示者に対応付けられているユーザアイコン６１の色も、ウェアラブル端末装置１０および外部機器２０の各々において独立に定められていてもよい。これにより、ウェアラブル端末装置１０および外部機器２０の各々における表示態様の選択の自由度を高めることができる。

〔変形例３〕
上記実施形態では、指示画像３１が表示される際に、表示態様が指示者ごとに異なるように表示態様が定められて表示された。すなわち、各指示画像３１の表示態様を指示画像３１ごとに個別に定めていた。しかしながら、これに限定する趣旨ではない。例えば、図１６に示すように、ＣＰＵ１１は、任意の色（任意の表示態様）で指示画像３１を表示部１４に表示させた後に、複数の指示者の指示に基づく複数の指示画像３１が、指示を行った指示者ごとに異なる色（表示態様）となるように、表示中の指示画像３１の色を変更してもよい。図１６の例では、上図において、ユーザＡの指示による指示画像３１ａが、一旦、既存の指示画像３１ｂと同一の色で表示されている。その後、下図に示すように、所定のタイミングで、指示画像３１ａ、３１ｂの色が指示者ごとに異なるように、指示画像３１ａの色が変更されている。下図のように指示画像３１の色を変更するタイミングは、例えば、指示画像３１に係る一連の作業が終了したとき、指示画像３１に係る共同編集処理が終了したとき、または指示画像３１に係るデータが保存されたときなどとすることができる。なお、外部機器２０においても同様の動作が行われてもよい。

〔変形例４〕
上記実施形態では、指示者ごとに異なる指示画像３１の表示態様として、指示画像３１の色を指示者ごとに異ならせる例を用いて説明したが、これに限られない。例えば、図１７に示すように、ＣＰＵ１１は、複数の指示者の指示に基づく複数の指示画像３１の表示に、指示を行った指示者ごとに異なる文字または記号を付加してもよい。また、付加する文字は、指示を行った指示者の名前、呼称または略称を含んでいてもよい。文字または記号の付加方法は、指示画像３１の近傍に配置する方法であってもよい。また、各指示画像３１から引き出し線を延ばし、当該引き出し線の先に文字または記号を表示する方法であってもよい。これにより、各指示画像３１が誰の指示により表示されたものかを明確に把握することができる。なお、図１７では、文字または記号を付加しつつ、さらに指示画像３１の色を指示者ごとに異ならせているが、これに限られず、指示画像３１は文字または記号により区別することとして、指示画像３１の色を共通としてもよい。

また、ＣＰＵ１１は、空間４０におけるユーザＡの位置と、指示画像３１の表示位置との距離が所定の基準距離以下である場合に、指示画像３１の表示に文字または記号を付加してもよい。これにより、表示が煩雑になるのを避けつつ、ユーザＡの作業対象に近い指示画像３１については誰の指示により表示されたものかを明確に示すことができる。

また、図１８に示すように、ＣＰＵ１１は、指示画像３１に対する所定の操作がなされた場合に当該指示画像３１の表示に文字または記号を付加してもよい。図１８では、所定の操作として、指示画像３１を指でタップする操作が例示されているが、これに限られず、例えばポインタ５２を用いて選択する操作などであってもよい。これにより、表示が煩雑になるのを避けつつ、ユーザＡが所望する指示画像３１について誰の指示により表示されたものかを明確に示すことができる。

指示者ごとに異なる指示画像３１の表示態様は、上述した色の変更、および文字または記号の付加に限られず、指示画像３１同士を区別可能な任意の表示態様とすることができる。

〔第２の実施形態〕
次に、第２の実施形態に係る表示システム１の構成について説明する。第２の実施形態は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の一部を外部の情報処理装置８０が実行する点で第１の実施形態と異なる。以下では、第１の実施形態との相違点について説明し、共通する点については説明を省略する。

図１９に示すように、表示システム１は、ウェアラブル端末装置１０と、複数の外部機器２０と、ウェアラブル端末装置１０に通信接続された情報処理装置８０（サーバ）とを備える。ウェアラブル端末装置１０と情報処理装置８０との間の通信経路の少なくとも一部は、無線通信によるものであってもよい。ウェアラブル端末装置１０のハードウェア構成は、第１の実施形態と同様とすることができるが、情報処理装置８０が実行する処理と同一の処理を行うためのプロセッサは省略してもよい。

図２０に示すように、情報処理装置８０は、ＣＰＵ８１と、ＲＡＭ８２と、記憶部８３と、操作表示部８４と、通信部８５などを備え、これらの各部はバス８６により接続されている。

ＣＰＵ８１は、各種演算処理を行い、情報処理装置８０の各部の動作を統括制御するプロセッサである。ＣＰＵ８１は、記憶部８３に記憶されたプログラム８３１を読み出して実行することで、各種制御動作を行う。

ＲＡＭ８２は、ＣＰＵ８１に作業用のメモリ空間を提供し、一時データを記憶する。

記憶部８３は、コンピュータとしてのＣＰＵ８１により読み取り可能な非一時的な記録媒体である。記憶部８３は、ＣＰＵ８１により実行されるプログラム８３１、および各種設定データなどを記憶する。プログラム８３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部８３に格納されている。記憶部８３としては、例えばフラッシュメモリを備えたＳＳＤ、またはＨＤＤなどの不揮発性の記憶装置が用いられる。

操作表示部８４は、液晶ディスプレイ等の表示装置と、マウスおよびキーボードといった入力装置とを備える。操作表示部８４は、表示装置において表示システム１の動作ステータスや処理結果等の各種表示を行う。ここで、表示システム１の動作ステータスには、ウェアラブル端末装置１０のカメラ１５４によるリアルタイムの撮影画像が含まれてもよい。また、操作表示部８４は、入力装置に対するユーザの入力操作を操作信号に変換してＣＰＵ８１に出力する。

通信部８５は、ウェアラブル端末装置１０と通信を行ってデータを送受信する。例えば、通信部８５は、ウェアラブル端末装置１０のセンサー部１５による検出結果の一部または全部を含むデータ、およびウェアラブル端末装置１０が検出したユーザの操作（ジェスチャー）に係る情報などを受信する。また、通信部８５は、ウェアラブル端末装置１０以外の他の装置、例えば外部機器２０との通信が可能であってもよい。

このような構成の表示システム１において、情報処理装置８０のＣＰＵ８１は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の少なくとも一部を実行する。例えば、ＣＰＵ８１は、深度センサー１５３による検出結果に基づいて空間４０の３次元マッピングを行ってもよい。また、ＣＰＵ８１は、センサー部１５の各部による検出結果に基づいて空間４０内におけるユーザの視認領域４１を検出してもよい。また、ＣＰＵ８１は、ウェアラブル端末装置１０のユーザの操作に応じて、または外部機器２０から受信した指示データに基づいて、仮想画像３０（指示画像３１）に係る仮想画像データ１３２を生成してもよい。また、ＣＰＵ８１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出してもよい。

ＣＰＵ２１による上記の処理結果は、通信部２５を介してウェアラブル端末装置１０に送信される。ウェアラブル端末装置１０のＣＰＵ１１は、受信した処理結果に基づいてウェアラブル端末装置１０の各部（例えば表示部１４）を動作させる。また、ＣＰＵ８１は、ウェアラブル端末装置１０に制御信号を送信して、ウェアラブル端末装置１０の表示部１４の表示制御、および／またはスピーカー１８の出力制御を行ってもよい。

このように、情報処理装置８０において処理の少なくとも一部を実行することで、ウェアラブル端末装置１０の装置構成を簡素化することができ、また製造コストを低減することができる。また、より高性能な情報処理装置８０を用いることで、ＭＲに係る各種の処理を高速化および高精度化することができる。よって、空間４０の３Ｄマッピングの精度を高めたり、表示部１４による表示品質を高めたり、ユーザの動作に対する表示部１４の反応速度を高めたりすることができる。

〔その他〕
なお、上記実施形態は例示であり、様々な変更が可能である。

例えば、上記の各実施形態では、ユーザに現実空間を視認させるために、光透過性を有するバイザー１４１を用いたが、これに限られない。例えば、遮光性を有するバイザー１４１を用い、カメラ１５４により撮影された空間４０の画像をユーザに視認させてもよい。すなわち、ＣＰＵ１１は、カメラ１５４により撮影された空間４０の画像、および当該空間４０の画像に重ねられた仮想画像３０を表示部１４に表示させてもよい。このような構成によっても、現実空間に仮想画像３０を融合させるＭＲを実現できる。

また、カメラ１５４による現実空間の撮影画像に代えて、予め生成された仮想空間の画像を用いることで、仮想空間にいるように体感させるＶＲを実現できる。このＶＲにおいても、ユーザの視認領域４１が特定されて、仮想空間のうち視認領域４１の内部にある部分、および視認領域４１の内部に表示位置が定められている仮想画像３０が表示される。よって、上記各実施形態と同様に、指示者ごとに異なる表示態様で指示画像３１を表示させる表示動作を適用できる。

ウェアラブル端末装置１０は、図１に例示した環状の本体部１０ａを有するものに限られず、装着時にユーザが視認可能な表示部を有していれば、どのような構造であってもよい。例えば、ヘルメットのように頭部全体を覆う構成であってもよい。また、メガネのように、耳に掛けるフレームを有し、フレーム内に各種機器が内蔵されていてもよい。

仮想画像３０は必ずしも空間４０において静止していなくてもよく、所定の軌跡で空間４０の内部を移動していてもよい。

また、ユーザのジェスチャーを検出して入力操作として受け付ける例を用いて説明したが、これに限られない。例えば、ユーザが手に持ったり、体に装着したりして使用するコントローラにより入力操作が受け付けられてもよい。

音声データ通信による音声通話の実行中に、外部機器２０からウェアラブル端末装置１０に対して指示画像３１の表示指示が行われる例を用いて説明したが、これに限定されず、音声データ通信を伴わずに指示画像３１の表示指示が行われてもよい。

ウェアラブル端末装置１０および外部機器２０の間で音声通話を行う例を用いて説明したが、これに限られず、ビデオ通話が可能であってもよい。この場合には、遠隔操作者を撮影するウェブカメラを外部機器２０に設け、当該ウェブカメラで撮影している画像データをウェアラブル端末装置１０に送信して表示部１４にて表示させればよい。

指示画像３１は、ウェアラブル端末装置１０のユーザに対する作業指示のために表示されるものに限られない。指示画像３１は、ウェアラブル端末装置１０のユーザに視認させることを目的として、指示者（ユーザ自身を含む）の指示に基づいてウェアラブル端末装置１０において表示される任意の仮想画像３０を含む。

その他、上記実施の形態で示した構成および制御の具体的な細部は、本開示の趣旨を逸脱しない範囲において適宜変更可能である。また、本開示の趣旨を逸脱しない範囲において、上記実施の形態で示した構成および制御を適宜組み合わせ可能である。

本開示は、ウェアラブル端末装置、プログラムおよび表示方法に利用することができる。

１ 表示システム
１０ ウェアラブル端末装置
１０ａ 本体部
１１ ＣＰＵ（プロセッサ）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 仮想画像データ
１４ 表示部
１４１ バイザー（表示部材）
１４２ レーザースキャナー
１５ センサー部
１５１ 加速度センサー
１５２ 角速度センサー
１５３ 深度センサー
１５４ カメラ
１５５ アイトラッカー
１６ 通信部
１７ マイク
１８ スピーカー
１９ バス
２０ 外部機器
２１ ＣＰＵ
２２ ＲＡＭ
２３ 記憶部
２３１ プログラム
２４ 操作表示部
２５ 通信部
２６ バス
３０ 仮想画像
３０１ 機能バー
３０２ ウィンドウ形状変更ボタン
３０３ クローズボタン
３１、３１ａ～３１ｃ 指示画像
４０ 空間
４１ 視認領域
４２ 指示者用画面
５１ 仮想線
５２ ポインタ
６１ ユーザアイコン
６２ 矢印アイコン
６３ ペン入力アイコン
６４ 画像アイコン
６５ カラーパレット
６６ 報知表示
８０ 情報処理装置
８１ ＣＰＵ
８２ ＲＡＭ
８３ 記憶部
８３１ プログラム
８４ 操作表示部
８５ 通信部
８６ バス
Ａ ユーザ（指示者）
Ｂ、Ｃ 遠隔指示者（指示者）
Ｎ ネットワーク

Claims (29)

1. ユーザが装着して使用するウェアラブル端末装置であって、
   少なくとも一つのプロセッサを備え、
   前記少なくとも一つのプロセッサは、
   選択候補の複数の表示態様から一の表示態様を選択する操作を指示者から受け付けると、空間内に位置する指示画像を選択された表示態様で表示部に表示させ、
   複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させ、
   前記選択候補の複数の表示態様は、前記指示者が前記選択を行うときに既に表示されている前記指示画像の表示態様を除いた表示態様からなる、ウェアラブル端末装置。
2. ユーザが装着して使用するウェアラブル端末装置であって、
   少なくとも一つのプロセッサを備え、
   前記少なくとも一つのプロセッサは、
   選択候補の複数の表示態様から一の表示態様を選択する操作を指示者から受け付けて、空間内に位置する指示画像を選択された表示態様で表示部に表示させ、
   複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させ、
   前記指示者が前記選択を行うときに既に表示されている前記指示画像の表示態様の選択を前記指示者が試みた場合には、所定の報知表示を前記表示部に行わせる、ウェアラブル端末装置。
3. ユーザが装着して使用するウェアラブル端末装置であって、
   少なくとも一つのプロセッサを備え、
   前記少なくとも一つのプロセッサは、
   指示者の指示に基づいて、空間内に位置する指示画像を表示部に表示させ、
   複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させ、
   任意の表示態様で前記指示画像を前記表示部に表示させた後に、前記複数の指示者の指示に基づく前記複数の指示画像が、指示を行った指示者ごとに異なる表示態様となるように、表示中の前記指示画像の表示態様を変更する、ウェアラブル端末装置。
4. ユーザが装着して使用するウェアラブル端末装置であって、
   少なくとも一つのプロセッサを備え、
   前記少なくとも一つのプロセッサは、
   指示者の指示に基づいて、空間内に位置する指示画像を表示部に表示させ、
   前記空間における前記ユーザの位置と前記指示画像の表示位置との距離が所定の基準距離以下の前記指示画像に、指示を行った指示者ごとに異なる文字または記号を表示させる、ウェアラブル端末装置。
5. ユーザが装着して使用するウェアラブル端末装置であって、
   少なくとも一つのプロセッサを備え、
   前記少なくとも一つのプロセッサは、
   指示者の指示に基づいて、空間内に位置する指示画像を表示部に表示させ、
   前記指示画像に対する所定の操作がなされた場合に、当該所定の操作がなされた指示画像に、指示を行った指示者ごとに異なる文字または記号を表示させる、ウェアラブル端末装置。
6. 前記表示部は、光透過性を有する表示部材を備え、
   前記少なくとも一つのプロセッサは、前記表示部材を通して視認される前記空間に前記指示画像が視認されるように、前記指示画像を前記表示部材の表示面に表示させる、請求項１～５のいずれか一項に記載のウェアラブル端末装置。
7. 前記空間を撮影するカメラを備え、
   前記少なくとも一つのプロセッサは、前記カメラにより撮影された前記空間の画像、および当該空間の画像に重ねられた前記指示画像を前記表示部に表示させる、請求項１～５のいずれか一項に記載のウェアラブル端末装置。
8. 前記複数の指示者には前記ユーザが含まれる、請求項１～３のいずれか一項に記載のウェアラブル端末装置。
9. 前記ユーザ以外の前記指示者が使用する外部機器との間で音声データ通信を行う通信部を備え、
   前記少なくとも一つのプロセッサは、前記通信部を介して前記音声データ通信の実行中に前記指示画像を前記表示部に表示させる、請求項１～３、８のいずれか一項に記載のウェアラブル端末装置。
10. 前記少なくとも一つのプロセッサは、
    前記音声データ通信による音声通話に参加している前記複数の指示者に互いに異なる表示態様を対応付け、
    前記指示を行った指示者に対応付けられている表示態様で前記指示画像を前記表示部に表示させる、請求項９に記載のウェアラブル端末装置。
11. 前記音声データ通信においては、前記複数の指示者の各々には、互いに異なる色が付された複数の識別標識のうちいずれかが対応付けられており、
    前記少なくとも一つのプロセッサは、前記指示を行った指示者に対応付けられている識別標識に付された色で前記指示画像を前記表示部に表示させる、請求項９または１０に記載のウェアラブル端末装置。
12. 前記複数の指示者の指示に基づく前記複数の指示画像の表示態様は、前記外部機器における前記複数の指示画像の表示態様とは独立に定められる、請求項９～１１のいずれか一項に記載のウェアラブル端末装置。
13. 前記少なくとも一つのプロセッサは、前記ユーザから前記指示がなされたときに、他の指示者からの指示に基づいて既に前記指示画像が表示されている場合には、前記ユーザによる表示態様を指定する操作の有無に関わらず、既に表示されている前記指示画像の表示態様と異なる表示態様で新たな指示画像を前記表示部に表示させる、請求項１～１２のいずれか一項に記載のウェアラブル端末装置。
14. 前記少なくとも一つのプロセッサは、前記複数の指示者の指示に基づく前記複数の指示画像を、指示を行った指示者ごとに異なる色で前記表示部に表示させる、請求項１～３、８～１２のいずれか一項に記載のウェアラブル端末装置。
15. 前記文字は、前記指示画像の表示に係る前記指示を行った前記指示者の名前、呼称または略称を含む、請求項４または５に記載のウェアラブル端末装置。
16. 前記指示画像は、所定のファイル形式のドキュメント画像を含む、請求項１～１５のいずれか一項に記載のウェアラブル端末装置。
17. 前記指示画像は、仮想オブジェクトの画像を含む、請求項１～１６のいずれか一項に記載のウェアラブル端末装置。
18. 前記仮想オブジェクトは、ペン入力の軌跡を表すオブジェクトを含む、請求項１７に記載のウェアラブル端末装置。
19. 前記仮想オブジェクトは、位置および向きが指定された矢印形状のオブジェクトを含む、請求項１７または１８に記載のウェアラブル端末装置。
20. ユーザが装着して使用するウェアラブル端末装置の表示部を制御可能なコンピュータに、
    選択候補の複数の表示態様から一の表示態様を選択する操作を指示者から受け付けると、空間内に位置する指示画像を選択された表示態様で前記表示部に表示させる処理、
    複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させる処理、
    前記選択候補の複数の表示態様を、前記指示者が前記選択を行うときに既に表示されている前記指示画像の表示態様を除いた表示態様とする処理、
    を実行させる、プログラム。
21. ユーザが装着して使用するウェアラブル端末装置の表示部を制御可能なコンピュータに、
    選択候補の複数の表示態様から一の表示態様を選択する操作を指示者から受け付けて、空間内に位置する指示画像を選択された表示態様で前記表示部に表示させる処理、
    複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させる処理、
    前記指示者が前記選択を行うときに既に表示されている前記指示画像の表示態様の選択を前記指示者が試みた場合には、所定の報知表示を前記表示部に行わせる処理、
    を実行させる、プログラム。
22. ユーザが装着して使用するウェアラブル端末装置の表示部を制御可能なコンピュータに、
    指示者の指示に基づいて、空間内に位置する指示画像を前記表示部に表示させる処理、
    複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させる処理、
    任意の表示態様で前記指示画像を前記表示部に表示させた後に、前記複数の指示者の指示に基づく前記複数の指示画像が、指示を行った指示者ごとに異なる表示態様となるように、表示中の前記指示画像の表示態様を変更する処理、
    を実行させる、プログラム。
23. ユーザが装着して使用するウェアラブル端末装置の表示部を制御可能なコンピュータに、
    指示者の指示に基づいて、空間内に位置する指示画像を前記表示部に表示させる処理、
    前記空間における前記ユーザの位置と前記指示画像の表示位置との距離が所定の基準距離以下の前記指示画像に、指示を行った指示者ごとに異なる文字または記号を表示させる処理、
    を実行させる、プログラム。
24. ユーザが装着して使用するウェアラブル端末装置の表示部を制御可能なコンピュータに、
    指示者の指示に基づいて、空間内に位置する指示画像を前記表示部に表示させる処理、
    前記指示画像に対する所定の操作がなされた場合に、当該所定の操作がなされた指示画像に、指示を行った指示者ごとに異なる文字または記号を表示させる処理、
    を実行させる、プログラム。
25. ユーザが装着して使用するウェアラブル端末装置における表示方法であって、
    選択候補の複数の表示態様から一の表示態様を選択する操作を指示者から受け付けると、空間内に位置する指示画像を選択された表示態様で表示部に表示させ、
    複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させ
    前記選択候補の複数の表示態様を、前記指示者が前記選択を行うときに既に表示されている前記指示画像の表示態様を除いた表示態様とする、表示方法。
26. ユーザが装着して使用するウェアラブル端末装置における表示方法であって、
    選択候補の複数の表示態様から一の表示態様を選択する操作を指示者から受け付けて、空間内に位置する指示画像を選択された表示態様で表示部に表示させ、
    複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させ、
    前記指示者が前記選択を行うときに既に表示されている前記指示画像の表示態様の選択を前記指示者が試みた場合には、所定の報知表示を前記表示部に行わせる、表示方法。
27. ユーザが装着して使用するウェアラブル端末装置における表示方法であって、
    指示者の指示に基づいて、空間内に位置する指示画像を表示部に表示させ、
    複数の前記指示者の指示に基づく複数の前記指示画像を、指示を行った指示者ごとに異なる表示態様で前記表示部に表示させ、
    任意の表示態様で前記指示画像を前記表示部に表示させた後に、前記複数の指示者の指示に基づく前記複数の指示画像が、指示を行った指示者ごとに異なる表示態様となるように、表示中の前記指示画像の表示態様を変更する、表示方法。
28. ユーザが装着して使用するウェアラブル端末装置における表示方法であって、
    指示者の指示に基づいて、空間内に位置する指示画像を表示部に表示させ、
    前記空間における前記ユーザの位置と前記指示画像の表示位置との距離が所定の基準距離以下の前記指示画像に、指示を行った指示者ごとに異なる文字または記号を表示させる、表示方法。
29. ユーザが装着して使用するウェアラブル端末装置における表示方法であって、
    指示者の指示に基づいて、空間内に位置する指示画像を表示部に表示させ、
    前記指示画像に対する所定の操作がなされた場合に、当該所定の操作がなされた指示画像に、指示を行った指示者ごとに異なる文字または記号を表示させる、表示方法。

Images