Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7802161B2 - 表示制御システムおよびウェアラブル装置 - Google Patents
[go: Go Back, main page]

JP7802161B2 - 表示制御システムおよびウェアラブル装置 - Google Patents

表示制御システムおよびウェアラブル装置

Info

Publication number
JP7802161B2
JP7802161B2 JP2024520267A JP2024520267A JP7802161B2 JP 7802161 B2 JP7802161 B2 JP 7802161B2 JP 2024520267 A JP2024520267 A JP 2024520267A JP 2024520267 A JP2024520267 A JP 2024520267A JP 7802161 B2 JP7802161 B2 JP 7802161B2
Authority
JP
Japan
Prior art keywords
user
display
range
control unit
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024520267A
Other languages
English (en)
Other versions
JPWO2023218740A1 (ja
Inventor
信貴 松嶌
勇一 水越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JPWO2023218740A1 publication Critical patent/JPWO2023218740A1/ja
Application granted granted Critical
Publication of JP7802161B2 publication Critical patent/JP7802161B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating three-dimensional [3D] models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、表示制御システムおよびウェアラブル装置に関する。
従来、AR(Augmented Reality)、VR(virtual reality)およびMR(Mixed Reality)に代表されるXR(Extended Reality)技術を適用したXRグラスが普及している。XRグラスには、ユーザの前方を撮像する撮像装置が設けられる場合がある。撮像装置によって撮像された撮像画像は、例えばXRグラスを装着したユーザによる作業を補助するために用いられる。または、撮像画像は、ユーザが作業を適切に行ったかを事後的に評価するための記録等に用いられる。
例えば、下記特許文献1には、実空間に配置されるマーカを用いて、仮想空間に配置される仮想オブジェクトと実空間の物体との位置合わせを実行する作業支援システムが開示されている。具体的には、作業支援システムは、表示部、撮像部、位置情報検出部および表示制御部を備える。表示部は、実空間に対応する仮想空間の画像を表示する。撮像部は、ユーザの視野の中心部を含む範囲を撮像する。位置情報検出部は、撮像されたマーカの画像に基づいてマーカと撮像部との位置関係を検出する。表示制御部は、マーカに視線を置いている状態で検出されたマーカの画像の検出結果と、ユーザの姿勢を機械的に検出した検出結果とに基づいて、仮想空間の画像の表示を制御する。
特開2020-170249号公報
一般に、XRグラスに搭載された撮像装置の撮像範囲と、ユーザの視野範囲とにはズレがある。よって、ユーザが想定している撮像範囲と実際の撮像範囲とが一致しておらず、必要とされる撮像画像が取得することができない可能性がある。また、例えば遠隔地にいる補助者からの助言を受けながらユーザが作業を行う場合、補助者が注目したい場所、すなわち、補助者が撮像装置で撮像して欲しい場所をユーザが把握できずに、作業効率が低下する可能性がある。
本発明の目的は、現実空間の特定の範囲を写す画像を効率的に撮像することにある。
本発明の一態様に係る表示制御システムは、ウェアラブル装置と、端末装置とを備える表示制御システムであって、前記ウェアラブル装置は、第1ユーザの眼前に位置する透過型の第1表示装置を制御する第1表示制御部と、前記第1ユーザの視野範囲に含まれる現実空間が撮像された撮像画像を前記端末装置に送信する第1通信制御部と、を備え、前記端末装置は、前記撮像画像を受信する第2通信制御部と、前記撮像画像を第2表示装置に表示する第2表示制御部と、前記第2表示装置に表示された前記撮像画像における第1領域の指定を第2ユーザから受け付ける受付部と、を備え、前記第2通信制御部は、前記撮像画像における前記第1領域の範囲を特定する領域情報を前記ウェアラブル装置に送信し、前記第1表示制御部は、前記領域情報に基づいて、前記現実空間のうち前記第1領域に対応する範囲を示す第1仮想オブジェクトを前記第1表示装置に表示する。
本発明の一態様に係るウェアラブル装置は、第1ユーザの眼前に位置する透過型の第1表示装置を制御する第1表示制御部と、前記第1ユーザの視野範囲に含まれる現実空間が撮像された撮像画像を端末装置に送信する送信部と、前記撮像画像に指定された第1領域の範囲を特定する領域情報を受信する受信部と、を備え、前記第1表示制御部は、前記領域情報に基づいて、前記現実空間のうち前記第1領域に対応する範囲を示す第1仮想オブジェクトを前記第1表示装置に表示する。
本発明の一態様によれば、現実空間のうち特定の範囲を写す画像を効率的に撮像することができる。
実施形態に係る表示制御システム1の構成を示すブロック図である。 ウェアラブル装置10の使用状態を模式的に示す図である。 端末装置20の使用状態を模式的に示す図である。 ウェアラブル装置10の構成を示すブロック図である。 端末装置20の構成を示すブロック図である。 第1ユーザU1の視野範囲R1に関連する範囲を模式的に示す説明図である。 表示装置201に写る撮像画像の一例を示す図である。 表示装置201に写る撮像画像の一例を示す図である。 透過型表示装置101の表示範囲R3の一例を示す図である。 透過型表示装置101の表示範囲R3の一例を示す図である。 透過型表示装置101の表示範囲R3の他の一例を示す図である。 表示範囲R3から第1仮想枠V1-1の一部が外れた場合の表示の一例を示す図である。 表示範囲R3に占める範囲RYの割合が所定値以下となった場合の表示の一例を示す図である。
A.実施形態
A-1.システム構成
図1は、実施形態に係る表示制御システム1の構成を示すブロック図である。表示制御システム1は、ウェアラブル装置10と、端末装置20とを備える。ウェアラブル装置10と、端末装置20とは、通信網Nを介して接続されている。
図2は、ウェアラブル装置10の使用状態を模式的に示す図である。図2に示すように、ウェアラブル装置10は、作業者である第1ユーザU1の頭部に装着されるヘッドマウントディスプレイである。ウェアラブル装置10は、ウェアラブル装置10を装着した第1ユーザU1の眼前に位置する透過型表示装置101(図4参照)を備える。透過型表示装置101は、第1表示装置の一例である。ウェアラブル装置10の形状は、例えば一般的な眼鏡と同様の形状である。ウェアラブル装置10は、レンズLと、レンズLを支持するフレームFを有する。レンズLは、第1ユーザU1の左眼の前方に配置される左レンズと、ユーザの右眼の前方に配置される右レンズとを有する。フレームFは、左レンズと右レンズとの間に設けられたブリッジ、および左右の耳にかかる一対のテンプルを有する。後述のように、透過型表示装置101は、仮想オブジェクトを含む各種の画像をレンズLに表示する。レンズLは、透過型表示装置101の表示範囲である。
本実施形態において、第1ユーザU1は、ウェアラブル装置10を装着した状態で、ラックRAに格納された複数の機器DV1~DV3間の配線作業を行う。ウェアラブル装置10は、撮像装置105(図4参照)を備える。ウェアラブル装置10は、撮像装置105で撮像された撮像画像を、端末装置20に対して送信する。
図3は、端末装置20の使用状態を模式的に示す図である。端末装置20は、作業の補助者である第2ユーザU2によって使用される。端末装置20は、例えばパーソナルコンピューター、ノートパソコン、タブレット端末、スマートフォン等の情報処理端末である。端末装置20は、表示装置201を備える。表示装置201は、第2表示装置の一例である。端末装置20は、ウェアラブル装置10から送信された撮像画像を表示装置201に表示する。撮像画像には、第1ユーザU1の視野範囲R1(図6参照)の少なくとも一部が映っている。具体的には、撮影画像には、機器DV1~DV3が配置された空間および第1ユーザU1が機器DV1~DV3に対して作業を行う様子が映っている。このような撮像画像を端末装置20で表示することによって、第2ユーザU2は、第1ユーザU1が行う作業について助言および監視を遠隔地から行うことができる。また、例えば端末装置20またはウェアラブル装置10で撮像画像を保存することによって、第1ユーザU1の作業手順および作業内容が正しかったかを事後的に検証したり、不具合が行った場合にその原因を追究したりすることができる。
A-2.ウェアラブル装置10
図4は、ウェアラブル装置10の構成を示すブロック図である。ウェアラブル装置10は、透過型表示装置101と、スピーカ102と、マイク103と、通信装置104と、撮像装置105と、記憶装置106と、処理装置107と、バス108とを備える。図4に示す構成の少なくとも一部は、例えばフレームFに格納されている。透過型表示装置101と、スピーカ102と、マイク103と、通信装置104と、撮像装置105と、記憶装置106と、処理装置107とは、情報を通信するためのバス108によって相互に接続される。バス108は、単一のバスを用いて構成されてもよいし、装置等の要素間ごとに異なるバスを用いて構成されてもよい。
透過型表示装置101は、左右のレンズL、表示パネルおよび光学部材を含む。表示パネルおよび光学部材は、例えばフレームFに収容されている。表示パネルおよび光学部材は、左右のレンズLに対応して、左右1対ずつ設けられてもよい。透過型表示装置101は、処理装置107からの制御に基づいて、仮想オブジェクトに対応する投影画像を表示パネルに表示する。表示パネルは、例えば、液晶パネルまたは有機EL(Electro Luminescence)パネルである。光学部材は、表示パネルから射出された光を左右のレンズLに導光する。
左右のレンズLは、各々ハーフミラーを有する。左右のレンズLが有するハーフミラーは、現実空間を表す光を透過させることによって、現実空間を表す光を第1ユーザU1の目に導く。また、左右のレンズLが有するハーフミラーは、光学部材によって導光された仮想オブジェクトを示す光を第1ユーザU1の目に向けて反射する。ハーフミラーを透過した現実空間の光と、ハーフミラーによって反射された仮想オブジェクトを示す光とが第1ユーザU1の目に入射されることによって、第1ユーザU1は、現実空間に仮想オブジェクトが位置しているように知覚する。
スピーカ102は、音声データを再生し、音声データに対応する音声を出力する。スピーカ102が再生する音声データは、例えば端末装置20のマイク204で収音された第2ユーザU2の発話音声を示す音声データである。マイク103は、周囲の音声を収音し、音声データを生成する。マイク103が収音する音声は、例えばウェアラブル装置10を装着した第1ユーザU1の発話音声である。スピーカ102およびマイク103は、例えばフレームFに配置される。または、スピーカ102およびマイク103は、ウェアラブル装置10に含まれずに、ウェアラブル装置10とは別体でもよい。
通信装置104は、他の装置と通信を行うための通信インターフェースを備える。通信装置104は、無線通信または有線通信を用いて通信網Nに接続し、通信網Nを介して端末装置20と通信する。
撮像装置105は、例えば、撮像光学系および撮像素子を有する。撮像光学系は、少なくとも1つの撮像レンズを含む光学系である。撮像レンズは、例えば上述したブリッジに設けられる。このため、撮像装置105は、第1ユーザU1の顔が向いている方向の外界を撮像する。撮像光学系は、例えばプリズム等の各種の光学素子を有してもよいし、ズームレンズまたはフォーカスレンズ等を有してもよい。撮像素子は、例えば、CCD(Charge Coupled Device)イメージセンサーまたはCMOS(Complementary MOS)イメージセンサー等である。
撮像装置105は、被写体を撮像し、撮像した画像(以下「撮像画像」という)に対応する撮像画像データを生成する。図6を用いて後述するように、本実施形態では、撮像装置105の撮像範囲R2(図6参照)は、第1ユーザU1の視野範囲R1のうち、レンズLを通して視認する範囲、すなわち、透過型表示装置101の表示範囲R3(図6参照)を含む。撮像装置105で撮像された撮像画像の各画素と、透過型表示装置101の各画素との対応関係は、予めキャリブレーションされている。よって、例えば撮像画像に写る物体Aを例にすると、第1ユーザU1が透過型表示装置101を通して現実空間を見た場合に、当該物体Aが透過型表示装置101の表示範囲R3に占める範囲は既知である。よって、後述する第1表示制御部111は、撮像画像に基づいて表示位置が決められた仮想オブジェクトを、透過型表示装置101に投影することが可能である。
撮像装置105で生成された撮像画像データは、通信装置104を介して端末装置20に送信される。撮像装置105は、所定の撮像間隔で撮像を繰り返し、撮像の都度、生成した撮像画像データを端末装置20に送信する。本実施形態では、撮影画像データが動画データであるものとする。
記憶装置106は、処理装置107が読み取り可能な記録媒体である。記憶装置106は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)およびEEPROM(Electrically Erasable Programmable Read Only Memory)である。揮発性メモリーは、例えば、RAM(Random Access Memory)である。記憶装置106は、プログラムPG1を記憶する。プログラムPG1は、ウェアラブル装置10を動作させるためのプログラムである。
処理装置107は、1または複数のCPU(Central Processing Unit)を含む。1または複数のCPUは、1または複数のプロセッサの一例である。プロセッサおよびCPUの各々は、コンピュータの一例である。
処理装置107は、記憶装置106からプログラムPG1を読み取る。処理装置107は、プログラムPG1を実行することによって、第1表示制御部111および第1通信制御部112として機能する。第1表示制御部111および第1通信制御部112の少なくとも1つは、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)およびFPGA(Field Programmable Gate Array)等の回路によって構成されてもよい。第1表示制御部111および第1通信制御部112の詳細は後述する。
A-3.端末装置20
図5は、端末装置20の構成を示すブロック図である。端末装置20は、表示装置201と、入力装置202と、スピーカ203と、マイク204と、通信装置205と、記憶装置206と、処理装置207と、バス208とを含む。表示装置201と、入力装置202と、スピーカ203と、マイク204と、通信装置205と、記憶装置206と、処理装置207とは、情報を通信するためのバス208によって相互に接続される。バス208は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
表示装置201は、外部に対して情報を表示する表示デバイス(例えば、液晶パネル、有機ELパネル等の各種の表示パネル)である。入力装置202は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、スイッチ、ボタン、センサなど)である。表示装置201は、なお、表示装置201および入力装置202は、これらが一体となった構成(例えばタッチパネル)であってもよい。
スピーカ203は、音声データを再生し、音声データに対応する音声を出力する。スピーカ203が再生する音声データは、例えばウェアラブル装置10のマイク103で収音された第1ユーザU1の発話音声を示す音声データである。マイク204は、周囲の音声を収音し、音声データを生成する。マイク204が収音する音声は、例えば端末装置20を使用する第2ユーザU2の発話音声である。スピーカ203およびマイク204は、端末装置20に含まれずに、端末装置20とは別体でもよい。
通信装置205は、他の装置と通信を行うための通信インターフェースを備える。通信装置104は、無線通信または有線通信を用いて通信網Nに接続し、通信網Nを介してウェアラブル装置10と通信する。
記憶装置206は、処理装置207が読み取り可能な記録媒体である。記憶装置206は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ROM、EPROMおよびEEPROMである。揮発性メモリーは、例えば、RAMである。記憶装置206は、プログラムPG2を記憶する。プログラムPG2は、端末装置20を動作させるためのプログラムである。
処理装置207は、1または複数のCPUを含む。1または複数のCPUは、1または複数のプロセッサの一例である。プロセッサおよびCPUの各々は、コンピュータの一例である。
処理装置207は、記憶装置206からプログラムPG2を読み取る。処理装置207は、プログラムPG2を実行することによって、第2通信制御部211、第2表示制御部212および受付部213として機能する。第2通信制御部211、第2表示制御部212および受付部213のうち少なくとも1つは、DSP、ASIC、PLDおよびFPGA等の回路によって構成されてもよい。第2通信制御部211、第2表示制御部212および受付部213の詳細は後述する。
A-4.処理装置107および処理装置207の詳細
以下、処理装置107および処理装置207の詳細について説明する。これに先立って、第1ユーザU1の視野範囲R1と、撮像装置105の撮像範囲R2と、透過型表示装置101の表示範囲R3との関係について説明する。図6は、第1ユーザU1の視野範囲R1に関連する範囲を模式的に示す説明図である。なお、図6に示す範囲R1~R3は、各範囲の大きさを相対的に示すことを目的としており、実際の視野角度とは異なっている。図6において、符号Eは、第1ユーザU1の目を模式的に示している。一般に、人間の視野範囲、すなわち第1ユーザU1の視野範囲R1は、水平方向(左右方向)に200°程度、垂直方向(上下方向)に130°程度であることが知られている。
これに対して、撮像装置105の撮像範囲R2は、撮像装置105の撮像レンズが広角レンズである場合で水平方向に100°、垂直方向に80°程度である。よって、撮像装置105の撮像範囲R2は、第1ユーザU1の視野範囲R1より狭い。なお、例えば撮像装置105の撮像レンズとして魚眼レンズ等の特殊なレンズが用いられた場合には、この限りではない。また、撮像範囲R2の始点は、厳密には第1ユーザU1の目Eとは異なる位置である。しかし、上述のように撮像装置105の撮像レンズはブリッジに設けられており、撮像範囲R2の始点と第1ユーザU1の目Eとは、ほぼ同じ位置と考えることができる。また、ウェアラブル装置10は第1ユーザU1の頭部に装着されているため、現実空間のうち撮像画像に写る範囲は、第1ユーザU1の動きによって変化する。よって、撮像装置105の撮像画像は、第1ユーザU1の視野範囲R1に含まれる現実空間が撮像されている。
透過型表示装置101の表示範囲R3は、第1ユーザU1の視野範囲R1のうち、レンズLを介して視認される範囲である。上述のように、透過型表示装置101は、レンズLに設けられたハーフミラーを透過した現実空間の光と、ハーフミラーによって反射された仮想オブジェクトを示す光とをユーザの目に入射させることによって、第1ユーザU1に仮想オブジェクトを知覚させる。よって、現実空間のうち、透過型表示装置101によって仮想オブジェクトを表示できる範囲は、第1ユーザU1がレンズLを介して視認する範囲である。本実施形態では、透過型表示装置101の表示範囲R3は、第1ユーザU1の視野範囲R1より狭いものとするが、例えばレンズLの形状を湾曲させる等の方法で、透過型表示装置101の表示範囲R3と第1ユーザU1の視野範囲R1とを等しくすることも可能である。また、本実施形態では、透過型表示装置101の表示範囲R3は、撮像装置105の撮像範囲R2より狭いものとするが、上述のように、透過型表示装置101の表示範囲R3をより広い範囲とすれば、透過型表示装置101の表示範囲R3を撮像装置105の撮像範囲R2以上とすることも可能である。
つぎに、ウェアラブル装置10の処理装置107について説明する。上述のように、処理装置107は、第1表示制御部111および第1通信制御部112として機能する。第1表示制御部111は、第1ユーザU1の眼前に位置する透過型表示装置101を制御する。
第1通信制御部112は、通信装置104によるデータの送受信を制御する。第1通信制御部112は、送信部および受信部の一例である。第1通信制御部112は、例えば第1ユーザU1の視野範囲に含まれる現実空間が撮像された撮像画像(より詳細には撮影画像に対応する撮像画像データ)を端末装置20に送信する。
端末装置20の処理装置207は、第2通信制御部211、第2表示制御部212および受付部213として機能する。第2通信制御部211は、通信装置205によるデータの送受信を制御する。第2通信制御部211は、例えばウェアラブル装置10から撮像画像(より詳細には撮影画像に対応する撮像画像データ)を受信する。
第2表示制御部212は、表示装置201を制御する。例えば、第2表示制御部212は、撮像画像を表示装置201に表示する。受付部213は、表示装置201に表示された撮像画像における特定領域RXの指定を受け付ける。特定領域RXは、第1領域の一例である。特定領域RXは、任意の領域であってよいが、本実施形態では、撮像画像のうち特に重要な領域であり、継続的に撮影画像に含まれることが望まれる領域とする。受付部213は、例えば、表示装置201に表示された撮像画像に対して、特定領域RXの外縁を示す枠の描画を受け付けることによって、特定領域RXの指定を受け付ける。この枠は、例えば入力装置202を用いて描画される。
図7Aおよび図7Bは、表示装置201に写る撮像画像の一例を示す図である。図7Aに示す撮像画像M1には、現実空間のうち、機器DV1およびDV2を含む領域が写っている。例えば、第1ユーザU1の作業に当たって、第2ユーザU2は、機器DV1の状態(例えばメータの表示およびコネクタの接続状態等)を監視する必要があるものとする。よって、撮像画像M1のうち、機器DV1を含む範囲を特定領域RXとして指定する。具体的には、受付部213は、撮像画像M1に重畳して領域指定ボタンB1を表示する。第2ユーザU2が領域指定ボタンB1を押下すると、受付部213は、特定領域RXの指定を受け付ける領域受付モードとなり、図7Bに示すように、ペンを模したカーソルCを撮像画像M1に重畳して表示する。第2ユーザU2は、例えば入力装置202の一例であるマウスを用いてカーソルCを移動させることで、機器DV1を囲うように枠Wを描画する。第2ユーザU2がOKボタンB2を押下すると、受付部213は、枠Wの内部の領域を特定領域RXとして受け付ける。受付部213は、特定領域RXを特定する領域情報として生成する。領域情報は、例えば撮像画像M1上における枠Wの各点の位置情報(例えば座標値)である。第2通信制御部211は、撮像画像M1における特定領域RXの位置を特定する領域情報をウェアラブル装置10に送信する。
ウェアラブル装置10が端末装置20から領域情報を受信すると、第1表示制御部111は、領域情報に基づいて、現実空間のうち特定領域RXに対応する範囲を示す第1仮想オブジェクトV1を透過型表示装置101に表示する。第1仮想オブジェクトV1は、例えば第1仮想枠V1-1と、メッセージ画像V1-2とを含む。第1仮想枠V1-1は、枠および第1枠の一例である。第1仮想枠V1-1は、現実空間のうち特定領域RXの外縁に対応する位置を示す。また、メッセージ画像V1-2は、第1仮想枠V1-1が透過型表示装置101の表示範囲R3に含まれた状態を維持することを第1ユーザU1に促すメッセージを含む。メッセージ画像V1-2は、第1メッセージの一例である。なお、第1仮想オブジェクトV1として第1仮想枠V1-1のみが表示されてもよい。
図8Aおよび図8Bは、透過型表示装置101の表示範囲R3の一例を示す図である。上述のように、透過型表示装置101の表示範囲R3は、第1ユーザU1の視野範囲R1のうちレンズLを介して視認される範囲である。また、透過型表示装置101の表示範囲R3は、撮像装置105の撮像範囲R2よりも狭い範囲である。図8Aおよび図8Bの例では、透過型表示装置101の表示範囲R3には、機器DV1の全体と、機器DV2の一部が含まれている。
第2ユーザU2が特定領域RXを指定するまでは、図8Aに示すように、表示範囲R3では現実空間のみが視認される。第2ユーザU2が特定領域RXを指定すると、図8Bに示すように、レンズLに第1仮想オブジェクトV1の一例である第1仮想枠V1-1が表示される。第1仮想枠V1-1は、第2ユーザU2が描画した枠Wと同形の枠である。第1仮想枠V1-1は、現実空間のうち、撮像画像における特定領域RXに対応する範囲RYの外縁を示す。
上述のように、撮像装置105で撮像された撮像画像の各画素と、透過型表示装置101の各画素との対応関係は、予めキャリブレーションされている。よって、第1表示制御部111は、撮像画像上に描画された枠Wに対応する第1仮想枠V1-1を、透過型表示装置101に表示することが可能である。
図9は、透過型表示装置101の表示範囲R3の他の一例を示す図である。図8Bでは、第1ユーザU1が機器DV1に対して正面に位置する場合の表示範囲R3を示した。図9では、第1ユーザU1が機器DV1に対して斜め横に位置する場合の表示範囲R3を示す。上述のように、第1仮想枠V1-1は、現実空間のうち、撮像画像の特定領域RXに対応する範囲RYの外縁に配置される。よって、図9のように、第1ユーザU1が機器DV1を斜め横から見ている場合には、第1仮想枠V1-1も斜め横から見ているように描画される。
また、図8Bに示すように、第1表示制御部111は、第1仮想オブジェクトV1としてメッセージ画像V1-2を表示する。メッセージ画像V1-2は、第1仮想枠V1-1の全体が表示範囲R3に入るように姿勢を調整することを第1ユーザU1に促すメッセージを含む。表示範囲R3に第1仮想枠V1-1の全体が含まれる場合、撮像装置105の撮像画像には特定領域RXが含まれる。一方、表示範囲R3から第1仮想枠V1-1の一部または全部が外れた場合、撮像装置105の撮像画像には特定領域RXの一部または全部が含まれない可能性がある。第1ユーザU1は、第1仮想枠V1-1が常に表示範囲R3に収まるように自身の顔の向きを調整しながら作業を行う。よって、撮像装置105の撮像画像に特定領域RXが常時含まれることになる。なお、第1仮想オブジェクトV1の表示と併せて、特定領域RXが設定されたことを第1ユーザU1に伝える音声の出力がスピーカ102からされてもよい。
図10は、表示範囲R3から第1仮想枠V1-1の一部が外れた場合の表示の一例を示す図である。例えば第1ユーザU1の注意が作業に集中し、表示範囲R3から第1仮想枠V1-1が外れたことを気付かない場合がある。図10の例では、矩形の第1仮想枠V1-1の上辺が表示範囲R3から外れている。このように第1仮想オブジェクトV1の少なくとも一部が透過型表示装置101の表示範囲R3から外れた場合、第1表示制御部111は、第1ユーザU1に移動を促す第2仮想オブジェクトV2を更に表示する。
図10の例では、第2仮想オブジェクトV2は、メッセージ画像V2-1と、矢印画像V2-2とを含む。メッセージ画像V2-1は、顔を上に向けて枠(第1仮想枠V1-1)が全てレンズLに入るように第1ユーザU1に促すメッセージを含む。矢印画像V2-2は、第1ユーザU1が顔を移動させるべき方向を示す。矢印画像V2-2が示す矢印は、第1ユーザが移動すべき方向を示す記号の一例である。なお、第2仮想オブジェクトV2としてメッセージ画像V2-1および矢印画像V2-2が両方とも表示されるに限らず、これらのいずれか1つが表示されればよい。すなわち、第2仮想オブジェクトV2は、透過型表示装置101の表示範囲R3に第1仮想枠V1-1が含まれるように第1ユーザU1に移動を促すメッセージ画像V2-1と、第1ユーザU1が移動すべき方向を示す矢印画像V2-2との少なくともいずれかを表示する。
第2仮想オブジェクトV2とともに、第1ユーザU1に注意を促す音声がスピーカ102から出力されてもよい。第2仮想オブジェクトV2を視認した第1ユーザU1は、第1仮想枠V1-1が全てレンズLに入るように自身の顔を動かすと予測される。よって、撮影画像に特定領域RXの全域が写るように、撮像装置105の撮像範囲を調整することができる。
なお、図6に示すように、本実施形態では、透過型表示装置101の表示範囲R3よりも撮像装置105の撮像範囲R2の方が広い。よって、表示範囲R3から第1仮想枠V1-1の一部が外れても、撮像画像上では特定領域RXの欠けが生じていない可能性もある。一方で、表示範囲R3から第1仮想枠V1-1の一部が外れた時点で第2仮想オブジェクトV2を表示することで、撮像画像上で特定領域RXの欠けが生じるのを予め防止することができる。よって、特定領域RX全体の撮像がより確実に行われる。
また、第1仮想枠V1-1の全体が表示範囲R3に入っているものの、第1ユーザU1が機器DV1から遠い位置にいる場合、撮像画像に写る特定領域RXの範囲が小さくなる。この場合、第2ユーザU2は、特定領域RXを視認しにくくなり、必要な情報を得られない可能性がある。このため、第1表示制御部111は、現実空間のうち特定領域RXに対応する範囲RYが表示範囲R3に占める割合が所定値以下となった場合に、第1ユーザU1に移動を促す第3仮想オブジェクトV3を更に表示する。上記所定値は、撮像画像中に占める特定領域RXの割合とも言える。所定値は、第2ユーザU2または第1ユーザU1が決定してもよいし、ウェアラブル装置10(例えば第1表示制御部111)が決定してもよい。
図11は、表示範囲R3に占める範囲RYの割合が所定値以下となった場合の表示の一例を示す図である。第1表示制御部111は、例えば図11に示すように、第1仮想オブジェクトV1および第3仮想オブジェクトV3を表示する。第1仮想オブジェクトV1は、第1仮想枠V1-1である。第1仮想枠V1-1は、現実空間のうち特定領域RXの外縁に対応する位置を示す。第1仮想枠V1-1を表示する。第3仮想オブジェクトV3は、第1仮想枠V1-1を囲う第2仮想枠V3-1と、第2仮想枠V3-1が透過型表示装置101の表示範囲R3から外れるように第1ユーザU1に移動を促すメッセージを含むメッセージ画像V3-2とを含む。第2仮想枠V3-1は、第2枠の一例である。メッセージ画像V3-2は、第2メッセージの一例である。
第2仮想枠V3-1は、第1仮想枠V1-1から外側に所定距離離れた箇所に表示される。第2仮想枠V3-1よりも外側の範囲は、いわば第1ユーザU1から見えてはいけない範囲である。第2仮想枠V3-1は、例えば第1仮想枠V1-1の枠とは異なる表示態様(例えば異なる色または異なる線種)で表示される。メッセージ画像V3-2には、点線の枠(第2仮想枠V3-1)が見えなくなるまで移動(前進)するように第1ユーザU1に促すメッセージが表示される。
なお、第3仮想オブジェクトとして第2仮想枠V3-1、メッセージ画像V3-2および矢印画像V3-3の全てが表示されるに限らず、これらのいずれか1つ以上が表示されればよい。また、例えば第2仮想枠V3-1に代えて、第2仮想枠V3-1の外側を塗りつぶす(マスクする)画像を表示してもよい。また、第3仮想オブジェクトV3の表示とともに、第1ユーザU1に注意を促す音声がスピーカ102から出力されてもよい。
A-5.実施形態のまとめ
以上説明したように、実施形態によれば、表示制御システム1は、ウェアラブル装置10で撮像した撮像画像を端末装置20に送信し、端末装置20において、撮像画像上の特定領域RXの指定を受け付ける。また、表示制御システム1は、ウェアラブル装置10の透過型表示装置101を用いて、第1ユーザU1の視野範囲R1に、現実空間のうち特定領域RXに対応する範囲を示す第1仮想オブジェクトV1を表示する。よって、第1ユーザU1は、現実空間のうち特定領域RXに対応する範囲を把握することができ、現実空間のうち特定領域RXに対応する範囲を写す画像を効率的に撮像することができる。
また、表示制御システム1は、第1仮想オブジェクトV1として、現実空間のうち特定領域RXの外縁に対応する位置を示す第1仮想枠V1-1と、第1仮想枠V1-1が透過型表示装置101の表示範囲R3に含まれた状態を維持することを第1ユーザU1に促すメッセージを含むメッセージ画像V1-2とを表示する。よって、第1ユーザU1は、現実空間のうち特定領域RXの外縁に対応する位置を直感的に把握することができ、自身の姿勢を適切に維持することができる。また、第1ユーザU1は、メッセージ画像V1-2を視認することで、第1仮想枠V1-1を表示範囲R3に維持すべきことを把握することができる。よって、例えば第1ユーザU1がウェアラブル装置10の使用に慣れていない場合、または、表示範囲R3に多くの仮想オブジェクトが表示される場合にも、現実空間のうち特定領域RXに対応する範囲を写す画像を容易に撮像することができる。
また、表示制御システム1は、第1仮想枠V1-1の少なくとも一部が表示範囲R3から外れた場合に、第1ユーザU1の移動を促す第2仮想オブジェクトV2を更に表示する。よって、第1ユーザU1は、例えば作業に集中している場合などでも、第1仮想枠V1-1の一部が表示範囲R3から外れたことに気づくことができる。
また、表示制御システム1は、第2仮想オブジェクトV2として、表示範囲R3に第1仮想枠V1-1が含まれるように第1ユーザU1に移動を促すメッセージを含むメッセージ画像V2-1または第1ユーザU1が移動すべき方向を示す矢印画像V2-2との少なくともいずれかを表示する。よって、第1ユーザU1は、自身が取るべき動きを具体的に把握することができ、効率的に作業を行うことができる。
また、表示制御システム1は、現実空間のうち特定領域RXに対応する範囲RYが、表示範囲R3に占める割合が所定値以下となった場合に、第1ユーザU1の移動を促す第3仮想オブジェクトV3を更に表示する。よって、撮像画像に写る特定領域RXが小さくなり過ぎるのを防止して、第2ユーザU2による作業支援をより効率的に行うことができる。
また、表示制御システム1は、第3仮想オブジェクトV3として、第1仮想枠V1-1を囲う第2仮想枠V3-1と、第2仮想枠V3-1が表示範囲R3から外れるように第1ユーザU1に移動を促すメッセージを含むメッセージ画像V3-2とを表示する。よって、第1ユーザU1は、自身が取るべき動きを具体的に把握することができ、効率的に作業を行うことができる。
B:変形例
上述の実施形態における変形の態様を以下に示す。以下の変形の態様から任意に選択された2以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
B1:第1変形例
上述した実施形態では、ウェアラブル装置10は眼鏡型の端末装置のみで構成されていた。これに限らず、ウェアラブル装置10は眼鏡型の端末装置と、スマートフォン、タブレット端末、ノートパソコン等の携帯型の端末装置とを含んでもよい。この場合、眼鏡型の端末装置と携帯型の端末装置とは相互に接続される。ウェアラブル装置10が携帯型の端末装置を含む場合、第1表示制御部111および第1通信制御部112の一部又は全部を、携帯型の端末装置が担ってもよい。
C:その他
(1)図4又は図5に例示された各機能は、ハードウェアおよびソフトウェアの任意の組み合わせによって実現される。各機能の実現方法は特に限定されない。各機能は、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続することによって構成される装置を用いて実現されてもよい。各機能は、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
(2)本明細書において、「装置」という用語は、回路、デバイス又はユニット等の他の用語に読み替えられてもよい。
(3)実施形態および第1変形例の各々において、記憶装置106および記憶装置206は、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリー(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つによって構成されてもよい。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。
(4)実施形態および第1変形例の各々は、LTE(Long Term Evolution)、LTE-A(LTA-Advanced)、SUPER 3G、IMT-Advanced、4G(4th generation mobile communication system)、5G(5th generation mobile communication system)、6th generation mobile communication system(6G)、xth generation mobile communication system(xG)(xは、例えば整数又は小数)、FRA(Future Radio Access)、NR(new Radio)、New radio access(NX)、Future generation radio access(FX)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi(登録商標))、IEEE 802.16(WiMAX(登録商標))、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステムおよびこれらに基づいて拡張、修正、作成、規定された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて(例えば、LTEおよびLTE-Aの少なくとも一方と5Gとの組み合わせ等)適用されてもよい。
(5)実施形態および第1変形例の各々において例示した処理手順、シーケンス、又はフローチャート等は、矛盾のない限り、順序を入れ替えてもよい。例えば、本明細書において説明した方法については、例示的な順序において様々なステップの要素を提示しており、提示した特定の順序に限定されない。
(6)実施形態および第1変形例の各々において、入出力された情報等は特定の場所(例えば、メモリー)に保存されてもよいし、管理テーブルを用いて管理されてもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
(7)実施形態および第1変形例の各々において、判定は、1ビットによって表される値(0か1か)に基づいて行われてもよいし、真偽値(Boolean:true又はfalse)に基づいて行われてもよいし、数値の比較(例えば、所定の値との比較)に基づいて行われてもよい。
(8)実施形態および第1変形例の各々において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。また、ソフトウェア、又は命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペアおよびデジタル加入者回線(DSL)など)および無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術および無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
(9)実施形態および第1変形例の各々において説明した情報などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、情報などは、電圧、電流、電磁波、磁界、磁性粒子、光場、光子、又はこれらの任意の組み合わせにて表されてもよい。なお、本明細書において説明した用語および本明細書の理解に必要な用語は、同一の又は類似する意味を有する用語と置き換えられてもよい。
(10)実施形態および第1変形例の各々において、「システム」および「ネットワーク」という用語は、互換的に使用される。
(11)実施形態および第1変形例の各々において、端末装置20は、移動局でもよい。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語を用いて称される場合もある。
(12)移動局は、送信装置、受信装置又は通信装置などと呼ばれてもよい。移動局は、移動体に搭載されたデバイス、又は移動体自体などであってもよい。移動体は、移動可能な物体を意味する。移動体の移動速度は任意である。移動体は、停止可能である。移動体は、例えば、車両、輸送車両、自動車、自動二輪車、自転車、コネクテッドカー、ショベルカー、ブルドーザー、ホイールローダー、ダンプトラック、フォークリフト、列車、バス、リヤカー、人力車、船舶(ship and other watercraft)、飛行機、ロケット、人工衛星、ドローン(登録商標)、マルチコプター、クアッドコプター、気球、およびこれらに搭載される物を含み、またこれらに限らない。移動体は、運行指令に基づいて自律走行する移動体であってもよい。移動体は、乗り物(例えば、車、飛行機など)であってもよいし、無人で動く移動体(例えば、ドローン、自動運転車など)であってもよし、ロボット(有人型又は無人型)であってもよい。移動局は、必ずしも通信動作時に移動しない装置も含む。例えば、移動局は、センサなどのIoT(Internet of Things)機器であってもよい。
(13)実施形態および第1変形例の各々において、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「決定」したとみなす事などを含み得る。また、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリー中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「決定」したとみなす事を含み得る。つまり、「決定」は、何らかの動作を「決定」したとみなす事を含み得る。また、「決定」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などで読み替えられてもよい。
(14)実施形態および第1変形例の各々において、「接続された(connected)」という用語、又はこれのあらゆる変形は、2又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された2つの要素間に1又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、2つの要素は、1又はそれ以上の電線、ケーブルおよびプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域および光(可視および不可視の両方)領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
(15)実施形態および第1変形例の各々において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
(16)本明細書において使用する「第1」および「第2」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書において使用され得る。したがって、第1および第2の要素への参照は、2つの要素のみが採用され得ること又は何らかの形において第1要素が第2要素に先行しなければならないことを意味しない。
(17)実施形態および第1変形例の各々において「含む(include)」、「含んでいる(including)」およびそれらの変形が、本明細書あるいは特許請求の範囲において使用されている場合、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
(18)本願の全体において、例えば、英語におけるa、anおよびtheのように、翻訳によって冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
(19)本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨および範囲を逸脱することなく修正および変更態様として実施できる。したがって、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせてもよい。
1…表示制御システム、10…ウェアラブル装置、20…端末装置、101…透過型表示装置、104…通信装置、105…撮像装置、106…記憶装置、107…処理装置、111…第1表示制御部、112…第1通信制御部、201…表示装置、202…入力装置、205…通信装置、206…記憶装置、207…処理装置、211…第2通信制御部、212…第2表示制御部、213…受付部、F…フレーム、L…レンズ、N…通信網。

Claims (6)

  1. ウェアラブル装置と、端末装置とを備える表示制御システムであって、
    前記ウェアラブル装置は、
    第1ユーザの眼前に位置する透過型の第1表示装置を制御する第1表示制御部と、
    前記第1ユーザの視野範囲に含まれる現実空間が撮像された撮像画像を前記端末装置に送信する第1通信制御部と、を備え、
    前記端末装置は、
    前記撮像画像を受信する第2通信制御部と、
    前記撮像画像を第2表示装置に表示する第2表示制御部と、
    前記第2表示装置に表示された前記撮像画像における第1領域の指定を第2ユーザから受け付ける受付部と、を備え、
    前記第2通信制御部は、前記撮像画像における前記第1領域の範囲を特定する領域情報を前記ウェアラブル装置に送信し、
    前記第1表示制御部は、前記領域情報に基づいて、前記現実空間のうち前記第1領域に対応する範囲を示す第1仮想オブジェクトを前記第1表示装置に表示し、
    前記現実空間のうち前記撮像画像に写る範囲は、前記第1ユーザの動きによって変化し、
    前記第1表示制御部は、前記現実空間のうち前記第1領域に対応する範囲が、前記第1表示装置の表示範囲に占める割合が所定値以下となった場合に、前記第1ユーザの移動を促す第3仮想オブジェクトを更に表示する、
    表示制御システム。
  2. 前記第1仮想オブジェクトは、第1枠であり、
    前記第1枠は、前記現実空間のうち前記第1領域の外縁に対応する位置を示し、
    前記第3仮想オブジェクトは、前記第1枠を囲う第2枠と、前記第2枠が前記第1表示装置の表示範囲から外れるように前記第1ユーザに移動を促す第2メッセージとを含む、
    請求項記載の表示制御システム。
  3. 前記第1仮想オブジェクトは、枠と、第1メッセージとを含み、
    前記枠は、前記現実空間のうち前記第1領域の外縁に対応する位置を示し、
    前記メッセージは、前記枠が前記第1表示装置の表示範囲に含まれた状態を維持することを前記第1ユーザに促す、
    請求項1記載の表示制御システム。
  4. 記第1表示制御部は、前記第1仮想オブジェクトの少なくとも一部が、前記第1表示装置の表示範囲から外れた場合に、前記第1ユーザに移動を促す第2仮想オブジェクトを更に表示する、
    請求項1記載の表示制御システム。
  5. 前記第2仮想オブジェクトは、前記第1表示装置の表示範囲に前記第1仮想オブジェクトが含まれるように前記第1ユーザに移動を促すメッセージと、前記第1ユーザが移動すべき方向を示す記号との少なくともいずれかを含む、
    請求項記載の表示制御システム。
  6. 第1ユーザの眼前に位置する透過型の第1表示装置を制御する第1表示制御部と、
    前記第1ユーザの視野範囲に含まれる現実空間が撮像された撮像画像を端末装置に送信する送信部と、
    前記撮像画像に指定された第1領域の範囲を特定する領域情報を受信する受信部と、を備え、
    前記第1表示制御部は、前記領域情報に基づいて、前記現実空間のうち前記第1領域に対応する範囲を示す第1仮想オブジェクトを前記第1表示装置に表示し、
    前記現実空間のうち前記撮像画像に写る範囲は、前記第1ユーザの動きによって変化し、
    前記第1表示制御部は、前記現実空間のうち前記第1領域に対応する範囲が、前記第1表示装置の表示範囲に占める割合が所定値以下となった場合に、前記第1ユーザの移動を促す第3仮想オブジェクトを更に表示する、
    ウェアラブル装置。
JP2024520267A 2022-05-13 2023-03-08 表示制御システムおよびウェアラブル装置 Active JP7802161B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2022079182 2022-05-13
JP2022079182 2022-05-13
PCT/JP2023/008769 WO2023218740A1 (ja) 2022-05-13 2023-03-08 表示制御システムおよびウェアラブル装置

Publications (2)

Publication Number Publication Date
JPWO2023218740A1 JPWO2023218740A1 (ja) 2023-11-16
JP7802161B2 true JP7802161B2 (ja) 2026-01-19

Family

ID=88729872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024520267A Active JP7802161B2 (ja) 2022-05-13 2023-03-08 表示制御システムおよびウェアラブル装置

Country Status (2)

Country Link
JP (1) JP7802161B2 (ja)
WO (1) WO2023218740A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132487A (ja) 2000-10-25 2002-05-10 Oki Electric Ind Co Ltd 遠隔作業支援システム
JP2012109852A (ja) 2010-11-18 2012-06-07 Nec Corp 遠隔画像表示システム、装置および方法
WO2015072195A1 (ja) 2013-11-13 2015-05-21 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
WO2017158718A1 (ja) 2016-03-15 2017-09-21 三菱電機株式会社 遠隔作業支援装置、指示用端末及び現場用端末

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132487A (ja) 2000-10-25 2002-05-10 Oki Electric Ind Co Ltd 遠隔作業支援システム
JP2012109852A (ja) 2010-11-18 2012-06-07 Nec Corp 遠隔画像表示システム、装置および方法
WO2015072195A1 (ja) 2013-11-13 2015-05-21 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
WO2017158718A1 (ja) 2016-03-15 2017-09-21 三菱電機株式会社 遠隔作業支援装置、指示用端末及び現場用端末

Also Published As

Publication number Publication date
JPWO2023218740A1 (ja) 2023-11-16
WO2023218740A1 (ja) 2023-11-16

Similar Documents

Publication Publication Date Title
US10564919B2 (en) Display system, display apparatus, method for controlling display apparatus, and program
EP3717992B1 (en) Device for providing augmented reality service, and method of operating the same
CN114648623A (zh) 信息处理装置、信息处理方法以及计算机可读介质
US11314965B2 (en) Method and apparatus for positioning face feature points
US20130179303A1 (en) Method and apparatus for enabling real-time product and vendor identification
US11449296B2 (en) Display system, display method, and program
US11393431B2 (en) Display system, control program for information processor, and control method for information processor that are configured to adjust display of a first image on a first display unit based on the position of a second display unit
US20250349071A1 (en) Image rendering method, electronic device and storage medium
CN113050907A (zh) 图像显示装置、馈电系统和图像显示装置的馈电方法
JP7802161B2 (ja) 表示制御システムおよびウェアラブル装置
CN112261340A (zh) 视野共享方法、装置、电子设备及可读存储介质
US10250845B1 (en) Remote collaboration system with projector-camera based robot device and head mounted display, and remote interaction method using the same
US11531508B2 (en) Data processing device, display system, and data processing method that controls the output of data based on a connection state
WO2020071144A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7814409B2 (ja) 情報処理装置
JP7777039B2 (ja) 情報処理装置
CN111464781A (zh) 图像显示方法、图像显示装置、存储介质与电子设备
US12535878B2 (en) Wearable apparatus
CN119025061A (zh) 一种远像显示的护眼学习方法、系统、设备及存储介质
JP7754729B2 (ja) 情報処理装置
CN114442801A (zh) 操作方法以及记录介质
JP7733213B2 (ja) 情報処理装置
JP7829680B2 (ja) 表示装置
CN119002844A (zh) 头显控制方法、设备和计算机可读存储介质
JP7717628B2 (ja) 情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250527

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20250924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260106

R150 Certificate of patent or registration of utility model

Ref document number: 7802161

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150