JP4989417B2 - 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム - Google Patents
画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム Download PDFInfo
- Publication number
- JP4989417B2 JP4989417B2 JP2007279383A JP2007279383A JP4989417B2 JP 4989417 B2 JP4989417 B2 JP 4989417B2 JP 2007279383 A JP2007279383 A JP 2007279383A JP 2007279383 A JP2007279383 A JP 2007279383A JP 4989417 B2 JP4989417 B2 JP 4989417B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- communication
- wireless access
- unit
- access point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W36/00—Hand-off or reselection arrangements
- H04W36/24—Reselection being triggered by specific parameters
- H04W36/32—Reselection being triggered by specific parameters by location or mobility data, e.g. speed data
- H04W36/322—Reselection being triggered by specific parameters by location or mobility data, e.g. speed data by location data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/16—Use of wireless transmission of display information
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Mobile Radio Communication Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Small-Scale Networks (AREA)
Description
本発明は、画像処理装置から受信する画像を、無線アクセスポイントを介して画像表示装置が受信して表示する画像表示システム、画像表示装置及びその制御方法、コンピュータプログラムに関するものである。
近年、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルー型ＨＭＤを利用して、ＨＭＤ使用者の瞳位置から観察される被写体と略一致する被写体を撮像装置で撮像し、その撮像画像にＣＧ画像を重畳表示した複合現実画像をＨＭＤ使用者が観察できる技術が知られている。
ここで、ＨＭＤは、Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙの略称である。また、ＣＧは、Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓの略称である。
図１０は、無線による画像伝送を行う一般的なビデオシースルー型複合現実システムの機能ブロック図である。この図を使用して、その動作の概要を説明する。
１００１は、画像表示装置であり、例えば、ビデオシースルー型ＨＭＤである。画像表示装置１００１は、撮像部１００４、三次元位置姿勢計測センサ１００５、無線通信Ｉ／Ｆ１００６及び表示部１００７を有する。
撮像部１００４は、ＨＭＤ使用者の視線位置と略一致する外界の観察画像を撮像する撮像部である。この撮像部１００４は、ステレオ画像を生成するための右目用及び左目用の二組の撮像素子と光学系及び後段の画像処理を行うためのＤＳＰ等による信号処理回路から構成される。
三次元位置姿勢計測センサ１００５は、ＣＧ画像の描画位置を算出するための計測対象物の三次元位置姿勢を計測する。例えば、三次元位置姿勢計測センサ１００５は、ＨＭＤ使用者（画像表示装置１００１）の三次元位置姿勢情報（以下、位置姿勢情報と略称する）を取得する。この三次元位置姿勢計測センサ１００５は、磁気センサやジャイロセンサ（加速度、角速度）で実現される。
無線通信Ｉ／Ｆ１００６は、無線アクセスポイント１００２ａや１００２ｂとのデータ送受信を行う。無線通信Ｉ／Ｆ１００６は、例えば、撮像部１００４による撮像画像と位置姿勢情報とをまとめて無線アクセスポイント１００２ａへ伝送し、一方で、合成されたＭＲ画像を受信する。この無線通信Ｉ／Ｆ１００６には、リアルタイム性が求められかつ大容量の伝送が可能なＵＷＢやＩＥＥＥ８０２．１１ｎ等の高速無線規格が使用される。
表示部１００７は、ＣＧ画像が重畳されたＭＲ画像を表示する。表示部１００７は、右目用及び左目用の二組の表示デバイスと光学系から構成される。表示デバイスは、小型の液晶ディスプレイやＭＥＭＳによる網膜スキャンタイプのデバイスが使用される。
１００２ａ及び１００２ｂは、画像表示装置１００１との間で情報伝送を無線通信によって行う無線アクセスポイント（ＡＰ）である。より具体的には、画像表示装置１００１との間で撮像画像と合成画像である表示画像及び三次元位置姿勢計測センサ１００５の出力情報の送受信を無線通信で行う。
１００３は、画像処理装置である。この画像処理装置１００３は、画像表示装置１００１から受信する撮像画像及び位置姿勢情報に基づいてＣＧ画像を描画し、撮像画像と合成処理を実行する。この画像処理装置１００３は、一般には、パーソナルコンピュータやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置によって実現される。
画像処理装置１００３は、通信Ｉ／Ｆ１００８、位置姿勢情報生成部１００９、ＣＧ描画部１０１０、コンテンツ記憶部１０１１及び画像合成部１０１２を有する。
通信Ｉ／Ｆ１００８は、画像処理装置１００３側の通信Ｉ／Ｆである。通信Ｉ／Ｆ１００８は、リアルタイム性が求められかつ大容量の伝送が可能な、ＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバが使用される。
位置姿勢情報生成部１００９は、受信した撮像画像及び位置姿勢情報から、画像表示装置１００１の装着者の位置姿勢情報を生成する。画像表示装置１００１の三次元位置姿勢計測センサ１００５からの情報の他、撮像画像からマーカーを抽出して補正情報として使用する形態もある。
ＣＧ描画部１０１０は、位置姿勢情報とコンテンツ記憶部１０１１から取得するコンテンツによりＣＧ画像を描画する。コンテンツ記憶部１０１１は、仮想空間における仮想画像を生成するためのコンテンツを記憶する。
画像合成部１０１２は、受信した撮像画像とＣＧ描画部１０１０で生成した仮想画像を合成する。ここで得られた合成画像であるＭＲ画像（複合画像）を通信Ｉ／Ｆ１００８を介して無線アクセスポイント１００２ａや１００２ｂへ送信する。その後、無線アクセスポイント１００２ａや１００２ｂは、無線通信によって画像表示装置１００１へＭＲ画像を送信する。これにより画像表示装置１００１の表示部１００７にＭＲ画像が表示される。
以上の構成及び処理により、ビデオシースルー型ＨＭＤを装着することで、現実世界と仮想世界とがリアルタイムかつシームレスに融合した複合現実世界を体験することができる。
一般的なＭＲ技術及びシステムの構成については、特許文献１や非特許文献１に開示されている。
ここで、マーカーを利用した位置姿勢情報の生成概念を、図１１を用いて説明する。
図１１において、マーカー１１０３は、あらかじめ撮像装置と位置関係が対応付けられているものとする。現実空間画像１１０１にマーカー１１０３が表示されている場合、位置姿勢計測部は、画像データ中からマーカー１１０３を検出する。そして、その検出したマーカー１１０３の大きさや形、塗りつぶしのパターン等の情報から、マーカー１１０３と撮像装置本体の相対的位置関係及びＨＭＤ使用者がマーカーを観察している方向に関する位置姿勢情報を算出することができる。
図１１中では、例として、マーカー１１０３の中心部を原点とする三次元座標系を想定しているが、座標系の原点はマーカー１１０３上に設定する必要はない。座標系の原点とマーカー１１０３との相対的位置関係を対応付けることにより、任意の位置に設定することができる。また、位置姿勢情報生成に用いるマーカー１１０３は単独ではなく、複数のマーカーを同時に用いることも可能である。複数のマーカーを同時に用いる場合、各マーカーの位置関係をあらかじめ定義しておくことによって、それらの相対的位置関係から、マーカーを観察している方向を算出することが可能となる。
従って、図１１に示すような内部の塗りつぶしパターンによって方向まで識別が可能なマーカー１１０３ではなく、例えば、カラーマーカーや、ＬＥＤ等の発光素子のような方向性の情報を持たない一次元の情報を持つマーカーを利用することも可能である。また、マーカー１１０３ではなく、テーブルの輪郭線１１０４のような画像中の特徴点や、画像中の特定の色等を抽出し、それらを用いて位置姿勢情報を算出することも可能である。同一種類のマーカーを複数用いたり、数種類のマーカーを同時に用いたり、マーカー情報と画像中の特徴点の情報を組み合わせて用いることによって、より高い精度の位置情報を生成できる。さらには、複数のマーカーや特徴点の位置関係が対応付けられているため、すべてのマーカーや特徴点が画像内に表示されていなくても、それぞれのマーカーや特徴点の位置を推定することも可能である。
尚、マーカー利用によるＭＲ技術の実現は、非特許文献１において公開されている。
図１０に示すシステムでは、ＨＭＤ使用者が広域を移動する場合、複数存在する無線アクセスポイントの切替が必要となる。無線アクセスポイントの切替（ハンドオーバー）方法には、移動体自体が複数のアンテナを持ち、エリアの切替の前に、切替先の基地局とリンクを確立してから以前のリンクを切断し、常にどこかの基地局とは無線通信の可能な状況にしておく構成がある。この構成の一例としては、特許文献２がある。
特許文献２では、エリアの切替を、現在リンク状態の基地局と、これからリンクを確立する基地局との通信範囲が重なり合う範囲で行う構成が開示されている。
また、何らかの原因により無線による画像伝送が途切れたときに、伝送されてこない映像を補間する手法が、特許文献３に開示されている。
特許文献３では、赤外線を使用したワイヤレス伝送において、何らかの原因により赤外線が遮断されたとき、予め用意された静止画の映像信号に切り替えて表示する構成が開示されている。
特開平１１−８８９１３号公報（図７、段落［００３５］）
特開平１０−１６４６４号公報（図１）
特開平５−７６０７８号公報
Ｋａｔｏ， Ｈ．， Ｂｉｌｌｉｎｇｈｕｒｓｔ， Ｍ．（１９９９） Ｍａｒｋｅｒ Ｔｒａｃｋｉｎｇ ａｎｄ ＨＭＤ Ｃａｌｉｂｒａｔｉｏｎ ｆｏｒ ａ ｖｉｄｅｏ−ｂａｓｅｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｃｏｎｆｅｒｅｎｃｉｎｇ Ｓｙｓｔｅｍ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＩＷＡＲ ９９）． Ｏｃｔｏｂｅｒ， ＳａｎＦｒａｎｃｉｓｃｏ， ＵＳＡ
しかしながら、上述の従来技術においては、以下のような問題があった。
無線通信機能を備えたＨＭＤが広域を移動する場合、ハンドオーバーに要する時間はＨＭＤ使用者によって無視し得ない時間である。そのため、ハンドオーバーが完了するリンクが切断されてから次のリンクが確立されるまでの間、また新たなリンクが確立されてから表示用の画像を受信するまでの間は画像が途切れることになる。
複数のアンテナの切替によって常に少なくとも一つのリンクを確立する構成は、移動体側でアンテナや通信のための回路を複数の備える必要があり、装置構成や回路規模の増大を招く。また、同時に複数のリンク状態となるため、通信のための帯域の割当が必要となり、空間全体で使用できる帯域を圧迫することになる。これは同じ無線アクセスポイントを使用するＨＭＤの台数が制限されることになる。さらには、途切れることを前提に特定の静止画像を表示する場合には、ＨＭＤ使用者の視界を妨げることとなり、移動を前提としたシステムとしては安全面で課題が残る。
本発明は上記の課題を解決するためになされたものである。その目的は、無線アクセスポイントの切替が生じる場合でも、観察者に違和感を与えることなく複合現実感環境を提供することができる画像表示システム、画像表示装置及びその制御方法、コンピュータプログラムを提供することにある。
上記の目的を達成するための本発明による画像表示システムは以下の構成を備える。即ち、
現実空間を撮像する撮像部と、前記撮像部による撮像画像の画像処理装置への送信を含む前記画像処理装置との通信を行うための無線通信部と、及び前記画像処理装置で合成された前記撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部とを有する画像表示装置と、
前記画像表示装置の位置姿勢情報を生成する生成部と、前記位置姿勢情報に基づいて仮想画像を生成する仮想画像生成部と、前記撮像画像と前記仮想画像を合成する合成部と、及び前記合成部で合成した合成画像の前記画像表示装置への送信を含む前記画像表示装置との通信を行うための通信部とを有する画像処理装置と、
前記画像表示装置と前記画像処理装置との間で通信を行うための複数の無線アクセスポイントと
を備える画像表示システムであって、
前記画像処理装置は、
前記画像表示装置の位置に応じて、前記画像表示装置との通信に使用している第１無線アクセスポイントから第２無線アクセスポイントへの切替が必要であるか否かを判断する判断手段と、
前記判断手段の判断の結果、前記切替が必要な場合には切替指示を前記第１無線アクセスポイント及び前記第２無線アクセスポイントへ送信する切替指示手段とを備え、
前記画像表示装置は、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御手段とを備える。
現実空間を撮像する撮像部と、前記撮像部による撮像画像の画像処理装置への送信を含む前記画像処理装置との通信を行うための無線通信部と、及び前記画像処理装置で合成された前記撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部とを有する画像表示装置と、
前記画像表示装置の位置姿勢情報を生成する生成部と、前記位置姿勢情報に基づいて仮想画像を生成する仮想画像生成部と、前記撮像画像と前記仮想画像を合成する合成部と、及び前記合成部で合成した合成画像の前記画像表示装置への送信を含む前記画像表示装置との通信を行うための通信部とを有する画像処理装置と、
前記画像表示装置と前記画像処理装置との間で通信を行うための複数の無線アクセスポイントと
を備える画像表示システムであって、
前記画像処理装置は、
前記画像表示装置の位置に応じて、前記画像表示装置との通信に使用している第１無線アクセスポイントから第２無線アクセスポイントへの切替が必要であるか否かを判断する判断手段と、
前記判断手段の判断の結果、前記切替が必要な場合には切替指示を前記第１無線アクセスポイント及び前記第２無線アクセスポイントへ送信する切替指示手段とを備え、
前記画像表示装置は、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御手段とを備える。
上記の目的を達成するための本発明による画像表示システムは以下の構成を備える。即ち、
現実空間を撮像する撮像部と、前記撮像部による撮像画像の画像処理装置への送信を含む前記画像処理装置との通信を行うための無線通信部と、前記画像処理装置で合成された前記撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、及び前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部とを有する画像表示装置と、
前記画像表示装置の位置姿勢情報を生成する生成部と、前記位置姿勢情報に基づいて仮想画像を生成する仮想画像生成部と、前記撮像画像と前記仮想画像を合成する合成部と、前記合成部で合成した合成画像の前記画像表示装置への送信を含む前記画像表示装置との通信を行うための通信部とを有する画像処理装置と、
前記画像表示装置と前記画像処理装置との間で通信を行うための複数の無線アクセスポイントと
を備える画像表示システムであって、
前記画像処理装置は、
前記画像表示装置の位置に応じて、前記画像表示装置との通信に使用している第１無線アクセスポイントから第２無線アクセスポイントへの切替が必要であるか否かを判断する判断手段と、
前記判断手段の判断の結果、前記切替が必要な場合には切替指示を前記第１無線アクセスポイント及び前記第２無線アクセスポイントへ送信する切替指示手段とを備え、
前記画像表示装置は、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御手段とを備える。
現実空間を撮像する撮像部と、前記撮像部による撮像画像の画像処理装置への送信を含む前記画像処理装置との通信を行うための無線通信部と、前記画像処理装置で合成された前記撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、及び前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部とを有する画像表示装置と、
前記画像表示装置の位置姿勢情報を生成する生成部と、前記位置姿勢情報に基づいて仮想画像を生成する仮想画像生成部と、前記撮像画像と前記仮想画像を合成する合成部と、前記合成部で合成した合成画像の前記画像表示装置への送信を含む前記画像表示装置との通信を行うための通信部とを有する画像処理装置と、
前記画像表示装置と前記画像処理装置との間で通信を行うための複数の無線アクセスポイントと
を備える画像表示システムであって、
前記画像処理装置は、
前記画像表示装置の位置に応じて、前記画像表示装置との通信に使用している第１無線アクセスポイントから第２無線アクセスポイントへの切替が必要であるか否かを判断する判断手段と、
前記判断手段の判断の結果、前記切替が必要な場合には切替指示を前記第１無線アクセスポイント及び前記第２無線アクセスポイントへ送信する切替指示手段とを備え、
前記画像表示装置は、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御手段とを備える。
上記の目的を達成するための本発明による画像表示システムは以下の構成を備える。即ち、
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部と、及び画像処理装置からの仮想画像の受信を含む前記画像処理装置と通信を行うための無線通信部とを有する画像表示装置と、
前記画像表示装置の位置姿勢情報に基づいて仮想画像を生成する仮想画像生成部と、前記仮想画像の前記画像表示装置への送信を含む前記画像表示装置との通信を行うための通信部とを有する画像処理装置と、
前記画像表示装置と前記画像処理装置との間で通信を行うための複数の無線アクセスポイントと
を備える画像表示システムであって、
前記画像処理装置は、
前記画像表示装置の位置に応じて、前記画像表示装置との通信に使用している第１無線アクセスポイントから第２無線アクセスポイントへの切替が必要であるか否かを判断する判断手段と、
前記判断手段の判断の結果、前記切替が必要な場合には切替指示を前記第１無線アクセスポイント及び前記第２無線アクセスポイントへ送信する切替指示手段とを備え、
前記画像表示装置は、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御手段とを備える。
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部と、及び画像処理装置からの仮想画像の受信を含む前記画像処理装置と通信を行うための無線通信部とを有する画像表示装置と、
前記画像表示装置の位置姿勢情報に基づいて仮想画像を生成する仮想画像生成部と、前記仮想画像の前記画像表示装置への送信を含む前記画像表示装置との通信を行うための通信部とを有する画像処理装置と、
前記画像表示装置と前記画像処理装置との間で通信を行うための複数の無線アクセスポイントと
を備える画像表示システムであって、
前記画像処理装置は、
前記画像表示装置の位置に応じて、前記画像表示装置との通信に使用している第１無線アクセスポイントから第２無線アクセスポイントへの切替が必要であるか否かを判断する判断手段と、
前記判断手段の判断の結果、前記切替が必要な場合には切替指示を前記第１無線アクセスポイント及び前記第２無線アクセスポイントへ送信する切替指示手段とを備え、
前記画像表示装置は、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御手段とを備える。
また、好ましくは、前記画像表示装置は、
前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部を更に備え、
前記表示制御手段は、更に、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する。
前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部を更に備え、
前記表示制御手段は、更に、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する。
また、好ましくは、前記メッセージ画像の重畳表示の切替選択を指示するための入力部を前記画像表示装置あるいは前記画像処理装置に備える。
また、好ましくは、前記合成部による合成時の前記画像表示装置の位置姿勢情報に基づいて、前記格納部に格納されている仮想画像の補正処理を実行する。
また、好ましくは、前記補正処理は、前記仮想画像の位置を平行移動する処理である。
また、好ましくは、前記補正処理は、前記仮想画像の拡大処理または縮小処理である。
また、好ましくは、前記画像表示装置は、
前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部を更に備え、
前記補正処理を実行できない場合、前記表示制御手段は、更に、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する。
前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部を更に備え、
前記補正処理を実行できない場合、前記表示制御手段は、更に、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する。
また、好ましくは、前記合成部は、クロマキー処理による画像合成、または、αチャネルを使用した半透明画像合成を実行する。
上記の目的を達成するための本発明による画像表示装置は以下の構成を備える。即ち、
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部とを備える画像表示装置であって、
複数の無線アクセスポイントのいずれかを介して、前記画像処理装置との通信を行うための無線通信手段と、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御手段と
を備える。
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部とを備える画像表示装置であって、
複数の無線アクセスポイントのいずれかを介して、前記画像処理装置との通信を行うための無線通信手段と、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御手段と
を備える。
上記の目的を達成するための本発明による画像表示装置は以下の構成を備える。即ち、
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部とを備える画像表示装置であって、
複数の無線アクセスポイントのいずれかを介して、前記画像処理装置との通信を行うための無線通信手段と、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御手段と
を備える。
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部とを備える画像表示装置であって、
複数の無線アクセスポイントのいずれかを介して、前記画像処理装置との通信を行うための無線通信手段と、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御手段と
を備える。
上記の目的を達成するための本発明による画像表示装置は以下の構成を備える。即ち、
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部とを備える画像表示装置であって、
複数の無線アクセスポイントのいずれかを介して、画像処理装置との通信を行うための無線通信手段と、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御手段と
を備える。
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部とを備える画像表示装置であって、
複数の無線アクセスポイントのいずれかを介して、画像処理装置との通信を行うための無線通信手段と、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御手段と
を備える。
上記の目的を達成するための本発明による画像表示装置の制御方法は以下の構成を備える。即ち、
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御方法であって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御工程と
を備える。
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御方法であって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御工程と
を備える。
上記の目的を達成するための本発明による画像表示装置の制御方法は以下の構成を備える。即ち、
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御方法であって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御工程と
を備える。
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御方法であって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御工程と
を備える。
上記の目的を達成するための本発明による画像表示装置の制御方法は以下の構成を備える。即ち、
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部と、複数の無線アクセスポイントのいずれかを介して画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御方法であって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御工程と
を備える。
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部と、複数の無線アクセスポイントのいずれかを介して画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御方法であって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御工程と
を備える。
上記の目的を達成するための本発明によるコンピュータプログラムは以下の構成を備える。即ち、
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御工程と
をコンピュータに実行させる。
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御工程と
をコンピュータに実行させる。
上記の目的を達成するための本発明によるコンピュータプログラムは以下の構成を備える。即ち、
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御工程と
をコンピュータに実行させる。
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御工程と
をコンピュータに実行させる。
上記の目的を達成するための本発明によるコンピュータプログラムは以下の構成を備える。即ち、
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部と、複数の無線アクセスポイントのいずれかを介して画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御工程と
をコンピュータに実行させる。
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部と、複数の無線アクセスポイントのいずれかを介して画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御工程と
をコンピュータに実行させる。
本発明によれば、無線アクセスポイントの切替が生じる場合でも、観察者に違和感を与えることなく複合現実感環境を提供することができる画像表示システム、画像表示装置及びその制御方法、コンピュータプログラムを提供できる。
以下、本発明の実施の形態について図面を用いて詳細に説明する。
（実施形態１）
図１は本発明の実施形態１の画像表示システムの機能ブロック図である。
図１は本発明の実施形態１の画像表示システムの機能ブロック図である。
１０１は、画像表示装置であり、例えば、ビデオシースルー型のＨＭＤを想定している。画像表示装置１０１は、撮像部１０４、三次元位置姿勢計測センサ１０５、無線通信Ｉ／Ｆ（無線通信部）１０６、表示制御部１０７、フレームバッファ（格納部）１０８及び表示部１０９を有する。
ここで、撮像部１０４、三次元位置姿勢計測センサ１０５、無線通信Ｉ／Ｆ１０６、及び表示部１０９はそれぞれ、図１０の撮像部１００４、三次元位置姿勢計測センサ１００５、無線通信Ｉ／Ｆ１００６及び表示部１００７に対応する。また、無線ＡＰ１０２ａ及び１０２ｂ（第１無線アクセスポイント及び第２無線アクセスポイント）はそれぞれ、図１０の無線ＡＰ１００２ａ及び１００２ｂに対応する。従って、図１の説明は、図１０の構成との相違点について説明する。
三次元位置姿勢計測センサ１０５は、ＨＭＤ使用者の頭部の動きや位置姿勢を把握するための情報を出力する。ここでは、画像表示装置１０１内部に組み込まれる構成を想定しているが、撮像画像中のマーカーから位置姿勢が把握できるアプリケーションの場合は、必須ではない。
無線通信Ｉ／Ｆ１０６は、撮像画像（現実空間画像）と位置姿勢情報を無線アクセスポイント（ＡＰ）１０２ａや１０２ｂへ送信し、また、無線ＡＰ１０２ａや１０２ｂを介して画像処理装置１０３で生成された合成画像を受信する。また、無線通信Ｉ／Ｆ１０６は、無線アクセスポイントとの間で、次のような通信制御を行う。つまり、無線通信Ｉ／Ｆ１０６は、画像処理装置１０３との通信に使用している第１無線アクセスポイントから通信の切断指示を受信した場合、第１無線アクセスポイントとの通信を切断する。そして、無線通信Ｉ／Ｆ１０６は、その切断指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、第２無線アクセスポイントへ送信する。
ここで、無線通信Ｉ／Ｆ１０６は、リアルタイム性が求められ、かつ大容量の伝送が可能な通信規格を採用するのが望ましい。例えば、ＩＥＥＥ８０２．１１のワイヤレスＬＡＮ、ＩＥＥＥ８０２．１５のワイヤレスＰＡＮ規格に準拠した高速無線通信が使用される。ここでは、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）を想定している。ＵＷＢの伝送レートは数百Ｍｂｐｓである。
表示制御部１０７は、無線ＡＰ切替処理であるハンドオーバー時の表示制御を行う。この処理の詳細に関しては、後述する。フレームバッファ１０８は、受信したＭＲ画像をフレーム単位で格納するメモリである。格納されたＭＲ画像の用いられ方についても後述する。
１０３は、画像処理装置である。この画像処理装置１０３は、画像表示装置１０１から受信する撮像画像及び位置姿勢情報に基づいてＣＧ画像を描画し、撮像画像との合成画像を生成するための合成処理を実行する。
画像処理装置１０３は、通信Ｉ／Ｆ（通信部）１１０、位置姿勢情報生成部１１１、ＣＧ描画部１１２、コンテンツ記憶部１１３、画像合成部１１４、切替判断・指示部１１５及び無線ＡＰ位置情報記憶部１１６を備える。
通信Ｉ／Ｆ１１０は、無線ＡＰ１０２ａや１０２ｂとのデータ通信を行う通信Ｉ／Ｆである。通信Ｉ／Ｆ１１０は、無線ＡＰ１０２ａや１０２ｂが受信した撮像画像と位置姿勢情報と、画像処理装置１０３で生成した合成画像の伝送に使用する。また、通信Ｉ／Ｆ１１０は、ＬＡＮ１１７を介さずに、無線ＡＰ１０２ａや１０２ｂと直接無線通信が可能な無線通信Ｉ／Ｆであっても良い。
位置姿勢情報生成部１１１は、受信した撮像画像から、ＨＭＤ使用者の位置姿勢情報を生成する。特に、位置姿勢情報生成部１１１は、撮像画像からマーカーやマーカーの代わりとなる特徴点を抽出して、位置姿勢情報を生成する。また、客観視点（不図示）による撮像画像や、画像表示装置１０１の三次元位置姿勢計測センサ１０５による情報を補足的に使用することで精度を上げ、撮像画像中に使用すべきマーカーや特徴点がない場合でも対応することが可能である。
ＣＧ描画部（仮想画像生成部）１１２は、位置姿勢情報とコンテンツ記憶部１１３から取得するコンテンツにより仮想画像であるＣＧ画像を描画する。コンテンツ記憶部１１３は、ＣＧ画像を生成するためのコンテンツを記憶する。画像合成部１１４は、画像表示装置１０１で撮像された撮像画像を背景に、ＣＧ描画部１１２で生成した仮想画像を合成する。
切替判断・指示部１１５は、複数の無線ＡＰ１０２ａ及び１０２ｂと画像表示装置１０１とのそれぞれの位置関係から各装置間の距離を算出する。切替判断・指示部１１５は、その算出結果に基づいて、無線ＡＰ１０２の通信エリアから外れ、他の無線ＡＰ１０２の通信エリアに切り替える必要があるか否かを判断する。判断の結果、切替の必要がある場合には、切替判断・指示部１１５は、無線ＡＰ１０２の切替指示を、現在リンク状況にある無線ＡＰ１０２と画像表示装置１０１と、及びこれからリンクを確立する無線ＡＰに対して送信する。
無線ＡＰ位置情報記憶部１１６は、無線ＡＰ１０２の位置情報を格納したデータテーブルである。設置位置の情報を格納する構成で更新が可能である。
１１７は、複数の無線ＡＰ１０２と画像処理装置１０３とを接続するＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。実施形態１では、無線ＡＰ１０２ａ及び１０２ｂが２台、画像処理装置１０３が１台接続される構成であるが、ＨＭＤ使用者の移動範囲によって、無線ＡＰ１０２がカバーできるエリア範囲によってその台数は変わる。同様に、一台の画像処理装置では処理負荷が大きい場合は、ＬＡＮ１１７に対して複数の画像処理装置を接続し、負荷分散を実現することができる。
実施形態１では、画像表示装置１０１内の各機能ブロックが一つの装置内に収まっている前提で説明を行っているが、機能を分離して二つ以上の装置構成とした場合でも同様の機能を実現することができる。
画像処理装置１０３は、撮像画像と、及び三次元位置姿勢計測センサ１０５の位置姿勢情報とを合わせて、無線通信Ｉ／Ｆ１０６を介して現在リンク中の無線ＡＰ１０２ａへ送信する。
無線ＡＰ１０２ａは、ＬＡＮ１１７を介して、受信した撮像及び位置姿勢情報を画像処理装置１０３へ送信する。
画像処理装置１０３では、受信した撮像画像及び位置姿勢情報を用いて画像表示装置１０１の位置姿勢を把握し、ＨＭＤ使用者の視線位置を決定する。得られた位置姿勢情報とＣＧ描画のためのコンテンツから所望のＣＧ画像を生成し、受信した撮像画像上に重畳する。得られた合成画像は、通信Ｉ／Ｆ１１０を介して無線ＡＰ１０２ａへ送信する。
その後、無線ＡＰ１０２ａは、受信した合成画像を無線通信によって画像表示装置１０１へ送信する。
画像表示装置１０１では、正常に合成画像が受信できた場合には表示部１０９を介してその合成画像をＨＭＤ使用者に表示する。以上が一般的な画像形成のプロセスである。
次に、切替時の動作について説明する。
ＨＭＤ使用者が無線エリア内を移動すると現在リンクを張っている無線ＡＰ１０２ａの通信エリアの範囲から外れる場合がある。通信エリアから外れるか否かの判断は、無線ＡＰの無線ＡＰ位置情報記憶部１１６に記憶している無線ＡＰ１０２の位置情報と、画像表示装置１０１の位置情報から算出される距離情報をもとに行われる。
現在リンク状態の無線ＡＰ１０２ａから無線ＡＰ１０２ｂへ切り替える必要があるか否かは、それぞれの無線ＡＰまでの距離によって行われるが、時間変化からの予測を加えても構わない。例えば、現在リンク中の無線ＡＰ１０２ａから離れ、他の無線ＡＰ１０２ｂとの距離が近づいていることが判断できれば、切替の指示をリンク中とこれからリンクを確立する双方の無線ＡＰ１０２に対して行う。画像表示装置１０１に対しても無線ＡＰ１０２ａを介してその指示を送信する。
指示を受信した画像表示装置１０１は、ハンドオーバー（切替が終了するまで）の間は合成画像の受信ができなくなるため、その間、リアルタイムに取得している撮像画像に切り替えて表示する。また、リンクが確立された後も、新たな合成画像の受信が行われるまでは、撮像画像の表示を続ける。その他の表示制御を含めて、詳細については後述する。
以上の構成及び処理のプロセスにより、ハンドオーバーの間、合成画像の送信が途切れても、ＨＭＤ使用者の視界を確保し、かつ複合現実感を損なわない画像の表示が可能となる。
次に、画像表示装置１０１、無線ＡＰ１０２ａ及び１０２ｂ、及び画像処理装置１０３の各装置間のデータフロー及び処理内容について、図２を用いて説明する。
図２は本発明の実施形態１の各装置間のデータフロー及び処理内容を示したシーケンス図である。
図２では、特に、現在、無線ＡＰ１０２ａ（以下、ＡＰ１）と無線通信している状態から、ＨＭＤ使用者の移動により無線ＡＰ１０２ｂ（以下、ＡＰ２）へリンク先を切り替える際の処理の流れを示している。
ステップＳ２０１で、画像表示装置１０１からリンク状態であるＡＰ１に対して取得した撮像画像と三次元位置姿勢計測センサのセンサ情報を送信する。尚、画像表示装置１０１では、周期的に撮像画像及びセンサ情報を取得するため、他の装置の処理とは非同期にこれらのデータをＡＰ１に対して送信する（ステップＳ２０１ａからステップＳ２０１ｄ）。
ステップＳ２０２で、ＡＰ１は、受信した撮像画像とセンサ情報を画像処理装置１０３に送信する。
ステップＳ２０３で、画像処理装置１０３は、受信した撮像画像中の特徴点を抽出して位置姿勢情報を生成する。ここでの生成方法は、センサ情報をもとに位置姿勢を算出する構成でも、センサ情報を補助的に使用する構成でも構わない。ステップＳ２０４で、画像処理装置１０３は、生成した位置姿勢情報をもとに仮想画像であるＣＧ画像を生成する。ステップＳ２０５で、画像処理装置１０３は、受信した撮像画像上に生成したＣＧ画像を重畳して合成し、得られる合成画像である複合現実画像（ＭＲ画像）を生成する。ステップＳ２０６で、画像処理装置１０３は、生成した合成画像をＡＰ１に送信する。
ステップＳ２０７で、ＡＰ１は、受信した合成画像を画像表示装置１０１に送信する。これにより、画像表示装置１０１は、受信した合成画像を表示する。
ステップＳ２０８で、画像処理装置１０３は、画像表示装置１０１の位置とＡＰ１及びＡＰ２との位置から各装置間の距離を算出し、ＡＰの切替が必要であるか否かを判断する。この例では、ＨＭＤ使用者がＡＰ１とＡＰ２のエリア範囲に存在し、かつ現在リンク状態にあるＡＰ１のエリアを外れ、ＡＰ２のエリアに入ることが予想されると判断しているものとする。この場合、画像処理装置１０３は、ＡＰ１からＡＰ２への切替判断を行う。
ステップＳ２０９で、画像処理装置１０３は、ＡＰ切替の判断結果に従い、現在リンク中であるＡＰ１に対してリンクの切替指示（切断）を送信する。送信する情報としては、切断の指示と次の切替先である無線ＡＰの物理的なＩＤや使用しているチャネル情報等が含まれる。ここで、使用しているチャネル番号は必須ではないが、予め把握しておくことでリンク確立までの時間を短縮することが可能である。
ステップＳ２１０で、ＡＰ１は、画像処理装置１０３からの切替指示を画像表示装置１０１に送信する。画像表示装置１０１では、先に送信した撮像画像（ステップＳ２０１ｂ以降）に対応する合成画像の受信までは合成画像の表示を続ける。尚、画像表示装置１０１側での表示制御処理の内容については、別のフローチャートを使用して後述する。
ステップＳ２１１で、画像処理装置１０３は、次にリンクを確立するＡＰ２に対して、切替指示（リンク）を送信する。実際には、この指示を受けてリンクの確立を行うわけではないが、通信先である画像表示装置１０１の物理ＩＤ等を送信し把握させておくことで、リンク確立までの時間を短縮することが可能である。
ステップＳ２０６ｄで、画像処理装置１０３は、ＡＰ１を介して画像表示装置１０１から受信した最後の撮像画像に対応する合成画像をＡＰ１に送信する。
ステップＳ２０７ｄで、ＡＰ１は、受信した合成画像を画像表示装置１０１に送信する。
ステップＳ２１２で、画像表示装置１０１は、ＡＰ１とのリンクを切断し、新たにリンクを確立するＡＰ２に対してリンク要求を送信する。
ステップＳ２１３で、ＡＰ２は、画像表示装置１０１からのリンク要求を受けて、リンクを確立し、その旨を画像表示装置１０１に送信する。
ステップＳ２１４で、ステップＳ２０７ｄでＡＰ１を介して受信した最後の合成画像の表示の更新前に、表示制御を行い、ハンドオーバーが終了し、新たにリンクを確立したＡＰ２からの合成画像を受信までの間、表示する画像を切り替える。この表示制御の詳細は後述する。
ステップＳ２１５で、画像表示装置１０１は、取得した撮像画像とセンサ情報をＡＰ２に送信する。
ステップＳ２１６で、ＡＰ２は、受信した撮像画像とセンサ情報を画像処理装置１０３に送信する。
ステップＳ２１７で、画像処理装置１０３は、受信した撮像画像中の特徴点を抽出して位置姿勢情報を生成する。この内容は、ステップＳ２０３と同様である。ステップＳ２１８で、画像処理装置１０３は、生成した位置姿勢情報をもとに仮想画像であるＣＧ画像を生成する。この内容は、ステップＳ２０４と同様である。ステップＳ２１９で、画像処理装置１０３は、受信した撮像画像上に生成したＣＧ画像を重畳して合成し、得られる合成画像である複合現実画像（ＭＲ画像）を生成する。この内容は、ステップＳ２０５と同様ある。ステップＳ２２０で、画像処理装置１０３は、生成した合成画像をＡＰ２に送信する。
ステップＳ２２１で、ＡＰ２は、受信した合成画像を画像表示装置１０１に送信する。
ステップＳ２２２で、画像表示装置１０１は、表示すべき合成画像が得られたことを受けて、表示画像の切替制御を終了し、受信した合成画像を表示する。
以上が、無線ＡＰ切替時の主なシーケンスである。
次に、図２のステップ２１４における、画像表示装置１０１による表示画像切替処理について、図３を用いて説明する。
図３は本発明の実施形態１の画像表示装置における表示画像切替処理を示すフローチャートである。
ステップＳ３０１で、画像表示装置１０１は、無線ＡＰを介して、画像処理装置１０３からの切替指示を受信したか否かを判断する。切替指示を受信した場合（ステップＳ３０１でＹＥＳ）、ステップＳ３０２へ進む。一方、切替指示を受信していない場合（ステップＳ３０１でＮＯ）、ステップＳ３１４へ進む。尚、この切替指示には、次に接続する無線ＡＰを示す接続先情報を含んでいる。
ステップＳ３０２で、画像表示装置１０１は、切替指示を受信するまでの間、既に送信した撮像画像に対応する合成画像をすべて受信したか否かを判断する。すべての合成画像を受信した場合（ステップＳ３０２でＹＥＳ）、ステップＳ３０３へ進む。一方、受信していない合成画像がある場合（ステップＳ３０２でＮＯ）、すべての合成画像を受信するまで待機する。
ステップＳ３０３で、画像表示装置１０１は、すべての合成画像の受信を終了したことを受けて、切替制御を開始する。具体的には、現在リンク中の無線ＡＰとのリンクを切断し、新たにリンクを確立する無線ＡＰとのネゴシエーションを開始する。
ステップＳ３０４で、画像表示装置１０１は、リンク切断の直前に取得した合成画像を、新たなリンク確立とその後の表示用画像（合成画像）の受信まで表示するか否かを判断する。
尚、この判断は、例えば、合成画像にＣＧ画像が含まれているか否か、リンク切断時にＨＭＤ使用者が大きく（所定距離以上）移動しているかによって行う。合成画像にＣＧ画像が含まれていない場合は、撮像画像をそのまま表示した方が望ましいため、合成画像の表示を選択しない。また、移動中の場合は、ＨＭＤ使用者に表示されるべき現実世界と合成画像とが大きくかけ離れたものになる可能性があるため、同様に合成画像の表示は選択しない。
このような判断の下、合成画像を表示する場合（ステップＳ３０４でＹＥＳ）、ステップＳ３０５へ進む。一方、合成画像を表示しないで撮像画像をそのまま表示する場合（ステップＳ３０４でＮＯ）、ステップＳ３０６へ進む。尚、表示する画像の選択は、表示画像の更新タイミング御値に合成画像を表示するか否かを判断しても、ハンドオーバー開始の最初に判断してから表示切替が終了するまで維持し続けても、どちらでも構わない。
ステップＳ３０５で、画像表示装置１０１は、リンク切断の直前に取得しているフレームバッファ１０８に格納されている合成画像の読出を行う。
ステップＳ３０６で、画像表示装置１０１は、撮像画像を取得する。その後、ステップＳ３１０で、画像表示装置１０１は、撮像画像を表示部１０９に表示する。
ステップＳ３０７で、画像表示装置１０１は、現在の位置姿勢情報を算出する。具体的には、ＨＭＤ使用者の頭部の位置姿勢情報を三次元位置姿勢計測センサの出力情報から算出する。
ステップＳ３０８で、画像表示装置１０１は、合成画像に補正処理を実施するか否かを判断する。この合成画像の補正処理は、ＨＭＤ使用者の位置姿勢の変化に伴い行うものである。補正処理を実施する場合（ステップＳ３０８でＹＥＳ）、ステップＳ３０９へ進む。一方、補正処理を実施しない場合（ステップＳ３０８でＮＯ）、ステップＳ３１０へ進む。
ステップＳ３０９で、画像表示装置１０１は、左右上下への移動時には合成画像をそれぞれ所望の方向へ移動した画像を生成する補正処理を実行する。前後への移動の場合には、合成画像の解像度変換を行う。移動方向が複数に渡り行われる場合には、それらの組み合わせによって補正処理を実行する。
ステップＳ３１０で、画像表示装置１０１は、補正処理された合成画像、補正処理されてない合成画像及び撮像画像の何れかを、新たな無線ＡＰとのリンクが確立され合成画像を受信するまでの間、更新しながら表示部１０９に表示する。
ステップＳ３１１で、画像表示装置１０１は、新たなリンクが確立したか否かを判断する。リンクが確立し、撮像画像の伝送が開始となっている場合（ステップＳ３１１でＹＥＳ）、ステップＳ３１２へ進む。一方、リンクがまだ確立しておらず、ハンドオーバー中の場合（ステップＳ３１１でＮＯ）、ステップＳ３０４へ戻る。
ステップＳ３１２で、画像表示装置１０１は、ハンドオーバーが終了して、新たにリンクを確立した無線ＡＰに対して送信した撮像画像に対応する合成画像を受信したか否かを判断する。これは撮像画像の取得・送信から合成画像の生成を経て受信するまで時間差が存在するためである。新たにリンクを確立した無線ＡＰより合成画像を受信している場合（ステップＳ３１２でＹＥＳ）、ステップＳ３１３へ進む。一方、受信していない場合（ステップＳ３１２でＮＯ）、ステップＳ３０４へ戻る。
ステップＳ３１３で、画像表示装置１０１の表示制御部１０７は、表示すべき合成画像の受信を受けて、表示画像の切替を行う。具体的には、それまで表示していた補正処理された合成画像、補正処理されていない合成画像及び撮像画像の何れかの表示制御を終了する。
ステップＳ３１４で、画像表示装置１０１は、受信した合成画像を表示部１０９に表示する。表示後は再度無線ＡＰの切替が発生するまでの間は、受信し続けている合成画像を表示部１０９に表示する。
以上説明したように、実施形態１によれば、無線ＡＰの切替時に、リアルタイムに撮像している撮像画像を表示することで、次の無線ＡＰとのリンクが確立されまでのハンドオーバーの間、ＨＭＤ使用者の視界を確保することができる。また、リンク切断前の合成画像をＨＭＤの位置姿勢に合わせて補正して表示することで、複合現実感を失うことなく表示を続けることができる。
（実施形態２）
実施形態１では、次の無線ＡＰとのリンクが確立し、合成画像を受信するまでの間、リアルタイムに取得し続けている撮像画像を表示画像として表示制御する構成を説明した。これに対し、実施形態２では、同様の表示制御を行いつつ、ＨＭＤ使用者に対して注意を促すメッセージを重畳して提示する構成について説明する。
実施形態１では、次の無線ＡＰとのリンクが確立し、合成画像を受信するまでの間、リアルタイムに取得し続けている撮像画像を表示画像として表示制御する構成を説明した。これに対し、実施形態２では、同様の表示制御を行いつつ、ＨＭＤ使用者に対して注意を促すメッセージを重畳して提示する構成について説明する。
まず、実施形態２における画像表示装置の機能構成について説明する。
図４は本発明の実施形態２の画像表示装置の機能ブロック図である。
４０１は、画像表示装置であり、例えば、ビデオシースルー型のＨＭＤを想定している。画像表示装置４０１は、撮像部４０４、三次元位置姿勢計測センサ４０５、無線通信Ｉ／Ｆ４０６、表示制御部４０７、フレームバッファ４０８、表示部４０９及びＯＳＤ部４１０を有する。
ここで、撮像部４０４、三次元位置姿勢計測センサ４０５及び無線通信Ｉ／Ｆ４０６はそれぞれ、図１の撮像部１０４、三次元位置姿勢計測センサ１０５及び無線通信Ｉ／Ｆ１０６に対応する。また、表示制御部４０７、フレームバッファ４０８及び表示部４０９はそれぞれ、図１の表示制御部１０７、フレームバッファ１０８及び表示部１０９に対応する。従って、これらの詳細説明については省略し、新たな構成であるＯＳＤ部４１０について説明する。また、画像表示装置４０１と、図１の画像処理装置１０３、無線ＡＰ１０２ａ及び１０２ｂとによって画像表示システムが実現される。
ＯＳＤ部４１０は、表示画像に対して、文字や画像等から構成されるメッセージ画像を重畳表示するＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）部（画像重畳表示部）４０６である。表示する内容の例及び処理フローについては後述する。特に、このＯＳＤ部４１０により、ＨＭＤ使用者が大きく移動している最中にハンドオーバーが発生した場合、無線ＡＰの切替が終了し、合成画像が受信できるようになるまでの間、使用者に注意を促す目的でメッセージを表示することが可能となる。
ここで、ＯＳＤ部４１０による表示例について、図５Ａ及び図５Ｂを用いて説明する。
図５Ａ及び図５Ｂは本発明の実施形態２の画像表示装置のＯＳＤ部によって表示するメッセージ画像の例を示す図である。
図５Ａは、無線ＡＰの切替中であることを示すメッセージの例である。実際には、リンクが確立されてから撮像画像を送信し、送信した撮像画像に対応する合成画像を受信するまでの間表示し続ける。背景である表示画像は、実施形態１と同様に、撮像画像、合成画像または補正処理された合成画像である。
ＨＭＤ使用者に表示されている画像中にＣＧ画像が含まれている場合、表示画像を撮像画像に切り替えることによって、急にＣＧ画像が消えることになる。また、合成画像は一定の処理を経て表示されるため、撮像画像に対して遅延が生じている。そこで、実施形態２では、これらの切替に伴う違和感が何によって生じているものかを使用者に提示することによって、使用者の安心感を生むことができる。
図５Ｂは、切替中であるメッセージと共に、使用者に注意を促すメッセージを追加した表示例である。表示画像切替処理が終了するまでの間、エリアの移動を制限することで、使用者の安全を確保することができる。
次に、実施形態２の画像表示装置４０１による表示画像切替処理について、図６を用いて説明する。
図６は本発明の実施形態２の画像表示装置における表示画像切替処理を示すフローチャートである。
尚、図６において、ステップＳ６０１〜ステップＳ６０９と、ステップＳ６１０〜ステップＳ６１４は、実施形態１の図３のステップＳ３０１〜ステップＳ３０９と、ステップＳ３１０〜ステップＳ３１４に対応し、その詳細説明は省略する。
図６では、ステップＳ６０９ａで、画像表示装置１０１は、ＨＭＤ使用者に注意を促すメッセージを表示する注意表示処理を実施するか否かを判断する。メッセージ表示の切替選択は、ＨＭＤ使用者が画像表示装置４０１に設けられたスイッチ等の入力部から行っても、画像処理装置１０３の入力部から行っても構わない。注意表示処理を実施する場合（ステップＳ６０９ａでＹＥＳ）、ステップＳ６０９ｂへ進む。一方、注意表示処理を実施しない場合（ステップＳ６０９ａでＮＯ）、ステップＳ６１０へ進む。
ステップＳ６０９ｂで、画像表示装置４０１は、注意表示処理を実行する。具体的には、予め用意した注意を促すメッセージをＯＳＤ部４１０によって表示画像へ重畳する。
以上説明したように、実施形態２によれば、無線ＡＰの切替時に、リアルタイムに撮像している撮像画像もしくは切断前に取得した合成画像を表示する際に使用者に対してメッセージを提示することで、その行動の制限や注意を促すことができる。ここで、このメッセージとしては、ハンドオーバー中であることを示すメッセージがある。
（実施形態３）
実施形態１及び２では、画像表示装置から撮像画像を画像処理装置へ送信し、画像処理装置でＣＧ画像が重畳された合成画像を画像表示装置が受信して表示する構成を説明した。これに対して、実施形態３では、画像表示装置からは少なくとも位置姿勢情報を画像処理装置へ送信し、それをもとに画像処理装置で生成されたＣＧ画像を画像表示装置が受信した後、画像表示装置で撮像画像とＣＧ画像との合成処理を行う構成について説明する。
実施形態１及び２では、画像表示装置から撮像画像を画像処理装置へ送信し、画像処理装置でＣＧ画像が重畳された合成画像を画像表示装置が受信して表示する構成を説明した。これに対して、実施形態３では、画像表示装置からは少なくとも位置姿勢情報を画像処理装置へ送信し、それをもとに画像処理装置で生成されたＣＧ画像を画像表示装置が受信した後、画像表示装置で撮像画像とＣＧ画像との合成処理を行う構成について説明する。
図７は本発明の実施形態３の画像表示システムの機能ブロック図である。
７０１は、画像表示装置であり、例えば、ビデオシースルー型のＨＭＤを想定している。画像表示装置７０１は、撮像部７０４、三次元位置姿勢計測センサ７０５、無線通信Ｉ／Ｆ７０６、フレームバッファ７０７及び７０８、表示部７０９、ＯＳＤ部７１０を備える。更に、画像表示装置７０１は、補正処理部７１１、補正処理判断部７１２、セレクタ７１３、画像合成部７１４及び位置姿勢情報生成部７１５を備える。
ここで、撮像部７０４、三次元位置姿勢計測センサ７０５及び無線通信Ｉ／Ｆ７０６はそれぞれ、図４の撮像部４０４、三次元位置姿勢計測センサ４０５及び無線通信Ｉ／Ｆ４０６に対応する。また、表示部４０９及びＯＳＤ部４１０はそれぞれ、図４の表示部４０９及びＯＳＤ部４１０に対応する。従って、これらの詳細説明については省略し、新たな構成について説明する。
また、無線ＡＰ７０２ａ及び７０２ｂ、ＬＡＮ７１１７はそれぞれ、図１の無線ＡＰ１０２ａ及び１０２ｂ、ＬＡＮ１１７に対応する。
画像表示装置７０１において、無線通信Ｉ／Ｆ７０６は、位置姿勢情報を無線ＡＰ７０２ａや７０２ｂへ送信し、また無線ＡＰ７０２ａや７０２ｂを介して画像処理装置７０３で生成されたＣＧ画像を受信する。ここでは、画像表示装置７０１からの送信を位置姿勢情報としているが、合わせて撮像画像を送信する構成でも構わない。
フレームバッファ７０７は、取得した撮像画像をフレーム単位で格納するメモリである。フレームバッファ７０８は、画像処理装置７０３から受信したＣＧ画像をフレーム単位で格納するメモリである。
補正処理部７１１は、ＣＧ画像の表示位置を補正する。この詳細説明については後述する。補正処理判断部７１２は、位置姿勢情報に基づき、仮想画像に対して表示位置の補正を行うことが可能か否か、補正を行う場合はどのような補正を行うかを判断する。この詳細説明については後述する。
セレクタ７１３は、撮像画像と合成するためのＣＧ画像を選択するセレクタである。通常は、受信したＣＧ画像を選択する。ハンドオーバーに伴う切替処理中は、フレームバッファ７０８に格納した既に取得済のＣＧ画像またはその表示位置補正後のＣＧ画像を選択する。
画像合成部７１４は、撮像画像とＣＧ画像を合成する画像合成部である。画像合成部７１４は、一度フレームバッファ７０７に格納された撮像画像を使用して、その撮像画像に対応するＣＧ画像と合成することができる。あるいは、画像合成部７１４は、リアルタイムに取得し続けている撮像画像上に、合成時のタイミングを考慮して表示位置を予測して生成したＣＧ画像と合成することもできる。
位置姿勢情報生成部７１５は、撮像画像や三次元位置姿勢計測センサ７０５からの出力情報によって、ＨＭＤ使用者の位置姿勢情報を生成する。
７０３は、画像処理装置である。この画像処理装置７０３は、画像表示装置７０１から受信する位置姿勢情報に基づきＣＧ画像を描画する。
画像処理装置７０３は、通信Ｉ／Ｆ７１１０、ＣＧ描画部７１１２、コンテンツ記憶部７１１３、切替判断・指示部７１１５、無線ＡＰ位置情報記憶部７１１６及び位置補正部７１７を備える。
ここで、通信Ｉ／Ｆ７１１０、ＣＧ描画部７１１２及びコンテンツ記憶部７１１３はそれぞれ、図１の通信Ｉ／Ｆ１１０、ＣＧ描画部１１２及びコンテンツ記憶部１１３に対応する。また、切替判断・指示部７１１５及び無線ＡＰ位置情報記憶部７１１６はそれぞれ、図１の切替判断・指示部１１５及び無線ＡＰ位置情報記憶部１１６に対応する。従って、これらの詳細説明については省略し、新たな構成について説明する。
位置補正部７１７は、画像表示装置７０１で生成した位置姿勢情報を画像合成時のタイミングに合わせて補正処理する。例えば、時系列的に把握した過去の位置姿勢情報から画像合成時の位置姿勢情報へ補正処理を行う。処理は、一般的な予測手法で構わず、良く知られた手法ではカルマンフィルタを用いたものがある。ここでは、画像合成時のタイミングと合わせているが、合成画像表示時のタイミングに合わせる構成でも構わない。その場合、撮像画像に関しては、取得から表示まで若干のタイムラグが生じるが、ＣＧ画像に関しては予測が大幅にずれない限り、リアルタイム性を保証しているように見せることができる。
次に、ＣＧ画像の補正処理を伴わない場合の処理について説明する。
撮像部７０４での撮像画像は、フレームバッファ７０７に格納される。一方、この撮像画像は、三次元位置姿勢計測センサ７０５の出力と併せて位置姿勢情報生成部７１５において、画像表示装置７０１の位置姿勢情報を算出するために使用される。
生成された位置姿勢情報は、無線通信Ｉ／Ｆ７０６から無線ＡＰ７０２ａを介して画像処理装置７０３に送信される。画像処理装置７０３では、受信した位置姿勢情報に基づきＣＧ画像をＣＧ描画部７１１２で描画し、通信Ｉ／Ｆ７１１０から無線ＡＰ７０２ａを介して画像表示装置７０１へ送信する。その際、画像合成をクロマキー処理で行う場合は、ＣＧ描画時に使用していないクロマキー合成のために使用する特定色（クロマキー色）を併せて情報として送付する。特定色の指定が一フレーム毎に行われない場合には、予め画像表示装置７０１との間でネゴシエーションを行い、一定の期間内は同じ特定色を使用する。
画像表示装置７０１では、受信したＣＧ画像とフレームバッファ７０７に格納されている撮像画像とが特定色を元に画像合成部７１４でクロマキー合成する。尚、ＣＧ画像と対応づけられる撮像画像は、そのＣＧ画像の生成に用いた位置姿勢情報を取得するために使用した画像である。αチャネルを使用して画像合成（半透明画像合成）を行う場合については、各画素のα値（マット値）による二次元データであるαチャネルをＣＧ画像と併せ画像処理装置７０３が送信する。得られる合成画像であるＭＲ画像は、表示部７０９で表示され、使用者に複合現実感をもたらす。
このような構成では、撮像画像を画像表示装置７０１から無線ＡＰ７０２ａへ送信する必要がなくなる。そのため、例えば、撮像画像とＣＧ画像の解像度、階調表現、フレームレートが同一の場合には、従来例に示す一般的なＭＲのシステム構成と比べて、送信するデータ量は半分程度になる。実際にはＣＧ画像と併せてクロマキー色またはαチャネルが送信されるため、半分よりは多くなる。
また、合成の際に採用する撮像画像は、ＣＧ画像の生成を行う際に計測した位置姿勢情報を算出するために用いた撮像画像であるため、撮像画像とＣＧ画像の遅れが生じず、違和感のないＭＲ画像を提供することができる。さらには、画像処理装置７０３で合成タイミングに合わせて表示位置を予測して、ＣＧ画像を生成することで、現実世界との遅延を少なくする構成でも可能である。
以上の構成及び処理により、ＭＲ画像表示のために撮像画像の伝送が不要となり、かつ同等の表示品質を維持することが可能となる。
次に、画像表示装置７０１による表示画像切替処理について、図８を用いて説明する。
図８は本発明の実施形態３の画像表示装置における表示画像切替処理を示すフローチャートである。
ステップＳ８０１で、画像表示装置７０１は、無線ＡＰを介して、画像処理装置７０３が判断した切替指示を受信したか否かを判断する。切替指示を受信した場合（ステップＳ８０１でＹＥＳ）、ステップＳ８０２へ進む。一方、切替指示を受信していない場合（ステップＳ８０１でＮＯ）、ステップＳ８１４へ進む。
ステップＳ８０２で、画像表示装置７０１は、切替指示を受信するまでの間、既に送信した位置姿勢情報に対応するＣＧ画像をすべて受信したか否かを判断する。すべてのＣＧ画像を受信した場合（ステップＳ８０２でＹＥＳ）、ステップＳ８０３へ進む。一方、受信していないＣＧ画像がある場合（ステップＳ８０２でＮＯ）、すべてのＣＧ画像を受信するまで待機する。
ステップＳ８０３で、画像表示装置７０１は、すべてのＣＧ画像の受信を終了したことを受けて、切替制御を開始する。
ステップＳ８０４で、画像表示装置７０１は、リンク切断の直前に取得しているフレームバッファ７０８に格納されたＣＧ画像の読出を行う。
ステップＳ８０５で、画像表示装置７０１は、ＣＧ画像の補正処理を行うか否かを判断する。補正処理を行う場合（ステップＳ８０５でＹＥＳ）、ステップＳ８０６へ進む。一方、補正処理を行わない場合（ステップＳ８０５でＮＯ）、ステップＳ８０７へ進む。
ステップＳ８０６で、画像表示装置７０１は、ＣＧ画像の補正処理を行う。補正処理の詳細については、別のフローチャートを使用して後述する。
ステップＳ８０７で、画像表示装置７０１は、ＨＭＤ使用者に注意を促すメッセージを表示する注意表示処理を実施するか否かを判断する。注意表示処理を実施する場合（ステップＳ８０７でＹＥＳ）、ステップＳ８０８へ進む。一方、注意表示処理を実施しない場合（ステップＳ８０７でＮＯ）、ステップＳ８０９へ進む。
ステップＳ８０８では、画像表示装置７０１は、注意表示処理を実行する。この処理は、実施形態２の図６のステップＳ６０９ｂと同様である。
ステップＳ８０９で、画像表示装置７０１は、ＣＧ画像と撮像画像の合成処理を行う。ステップＳ８１０で、画像表示装置７０１は、生成した合成画像を新たな無線ＡＰとのリンクが確立するまでの間更新しながら表示部７０９に表示する。
ステップＳ８１１で、画像表示装置７０１は、新たなリンクが確立したか否かを判断する。リンクが確立し、位置姿勢情報の伝送が開始となっている場合（ステップＳ８１１でＹＥＳ）、ステップＳ８１２へ進む。一方、リンクがまだ確立しておらず、ハンドオーバー中の場合（ステップＳ８１１でＮＯ）、ステップＳ８０４へ戻る。
ステップＳ８１２で、画像表示装置７０１は、ハンドオーバーが終了して、新たにリンクを確立した無線ＡＰに対して送信した位置姿勢情報に対応するＣＧ画像を受信したか否かを判断する。新たにリンクを確立した無線ＡＰよりＣＧ画像を受信している場合（ステップＳ８１２でＹＥＳ）、ステップＳ８１３へ進む。一方、受信していない場合（ステップＳ８１２でＮＯ）、ステップＳ８０４へ戻る。
ステップＳ８１３で、画像表示装置７０１は、受信したＣＧ画像と撮像画像の合成処理を行う。ステップＳ８１４で、画像表示装置７０１は、生成した合成画像を表示部７０９に表示する。
次に、ステップ８０６のＣＧ補正処理の詳細について、図９を用いて説明する。
図９は本発明の実施形態３のステップ８０６のＣＧ補正処理の詳細を示すフローチャートである。
ステップＳ９０１で、画像表示装置７０１は、フレームバッファ７０８に格納してあるリンク切断直前に取得したＣＧ画像の位置を算出する。ステップＳ９０２で、画像表示装置７０１は、三次元位置姿勢計測センサ７０５からのセンサ情報に基づき現在の位置姿勢情報を生成する。
ステップＳ９０３で、画像表示装置７０１は、ＨＭＤ使用者が現在どの方向に移動しているか、または視線位置を向けているのかを把握し、上下・左右への移動か否かを判断する。上下・左右への移動または同様の視線位置の移動である場合（ステップＳ９０３でＹＥＳ）、ステップＳ９０４へ進む。そうでない場合（ステップＳ９０３でＮＯ）、ステップＳ９０５へ進む。
ステップＳ９０４で、画像表示装置７０１は、ＣＧ画像の移動が可能であるか否かを判断する。具体的には、ＣＧ画像の取得時点の位置から、現時点の位置までの移動量を算出し、ＣＧ画像を移動量に合わせて表示位置をずらした際に不都合がないか否かを判断する。ここで、本来、存在するＣＧ画像表示領域の内、取得しているＣＧ画像以外の表示の可能性がある場合や、回転等の運動を伴い得られたＣＧ画像の背面や左右の画像を求められる場合等が、ＣＧ画像の移動が可能であると判断する。ＣＧ画像の移動が可能である場合（ステップＳ９０４でＹＥＳ）、ステップＳ９０６へ進む。ＣＧ画像の移動が不可能である場合（ステップＳ９０４でＮＯ）、ステップＳ９０７へ進む。
ステップＳ９０５で、画像表示装置７０１は、ＨＭＤ使用者が前後への移動を行っているか否かを判断する。前後に移動している場合（ステップＳ９０５でＹＥＳ）、ステップＳ９０８へ進む。前後に移動していない場合（ステップＳ９０５でＮＯ）、ステップＳ９０７へ進む。
ステップＳ９０６で、画像表示装置７０１は、上下・左右への移動が可能であることを受けて、ＣＧ画像を平行移動する。
ステップＳ９０７で、画像表示装置７０１は、ＣＧ画像の移動が不可能であることを受けて、注意メッセージを表示部７０９に表示する。
ステップＳ９０８で、画像表示装置７０１は、前後への移動が可能であることを受けて、ＣＧ画像の拡大処理または縮小処理を行う。特に、ＣＧ画像が描画されている前方へ近づいている場合は拡大処理を、遠ざかっている場合は縮小処理を行う。尚、ここでは説明していないが、上下・左右と前後の運動が組み合わされている場合は、それぞれの処理を実施する。
ステップＳ９０９で、画像表示装置７０１は、それぞれ位置が補正されたＣＧ画像を出力する。
以上説明したように、実施形態３によれば、画像表示装置で撮像画像とＣＧ画像を合成処理する場合においても、大きな移動を伴わなければリアルタイムに撮像している撮像画像上にそのときの位置姿勢に合わせたＣＧ画像を合成して表示することが可能である。また、ＣＧ画像の補正が適わない場合には、実施形態１と同じく撮像画像を表示することも、実施形態２と同じく注意メッセージを使用者に提示することもできる。
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスクがある。また、更に、記録媒体としては、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、その接続先のホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
１０１ 画像表示装置
１０２ａ、１０２ｂ 無線ＡＰ（アクセスポイント）
１０３ 画像処理装置
１０４ 撮像部
１０５ 三次元位置姿勢計測センサ
１０６ 無線通信Ｉ／Ｆ
１０７ 表示制御部
１０８ フレームバッファ
１０９ 表示部
１１０ 通信Ｉ／Ｆ
１１１ 位置姿勢情報生成部
１１２ ＣＧ描画部
１１３ コンテンツ記憶部
１１４ 画像合成部
１１５ 切替判断・指示部
１１６ 無線ＡＰ位置情報記憶部
１１７ ＬＡＮ
１０２ａ、１０２ｂ 無線ＡＰ（アクセスポイント）
１０３ 画像処理装置
１０４ 撮像部
１０５ 三次元位置姿勢計測センサ
１０６ 無線通信Ｉ／Ｆ
１０７ 表示制御部
１０８ フレームバッファ
１０９ 表示部
１１０ 通信Ｉ／Ｆ
１１１ 位置姿勢情報生成部
１１２ ＣＧ描画部
１１３ コンテンツ記憶部
１１４ 画像合成部
１１５ 切替判断・指示部
１１６ 無線ＡＰ位置情報記憶部
１１７ ＬＡＮ
Claims (19)
- 現実空間を撮像する撮像部と、前記撮像部による撮像画像の画像処理装置への送信を含む前記画像処理装置との通信を行うための無線通信部と、及び前記画像処理装置で合成された前記撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部とを有する画像表示装置と、
前記画像表示装置の位置姿勢情報を生成する生成部と、前記位置姿勢情報に基づいて仮想画像を生成する仮想画像生成部と、前記撮像画像と前記仮想画像を合成する合成部と、及び前記合成部で合成した合成画像の前記画像表示装置への送信を含む前記画像表示装置との通信を行うための通信部とを有する画像処理装置と、
前記画像表示装置と前記画像処理装置との間で通信を行うための複数の無線アクセスポイントと
を備える画像表示システムであって、
前記画像処理装置は、
前記画像表示装置の位置に応じて、前記画像表示装置との通信に使用している第１無線アクセスポイントから第２無線アクセスポイントへの切替が必要であるか否かを判断する判断手段と、
前記判断手段の判断の結果、前記切替が必要な場合には切替指示を前記第１無線アクセスポイント及び前記第２無線アクセスポイントへ送信する切替指示手段とを備え、
前記画像表示装置は、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御手段とを備える
ことを特徴とする画像表示システム。 - 現実空間を撮像する撮像部と、前記撮像部による撮像画像の画像処理装置への送信を含む前記画像処理装置との通信を行うための無線通信部と、前記画像処理装置で合成された前記撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、及び前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部とを有する画像表示装置と、
前記画像表示装置の位置姿勢情報を生成する生成部と、前記位置姿勢情報に基づいて仮想画像を生成する仮想画像生成部と、前記撮像画像と前記仮想画像を合成する合成部と、前記合成部で合成した合成画像の前記画像表示装置への送信を含む前記画像表示装置との通信を行うための通信部とを有する画像処理装置と、
前記画像表示装置と前記画像処理装置との間で通信を行うための複数の無線アクセスポイントと
を備える画像表示システムであって、
前記画像処理装置は、
前記画像表示装置の位置に応じて、前記画像表示装置との通信に使用している第１無線アクセスポイントから第２無線アクセスポイントへの切替が必要であるか否かを判断する判断手段と、
前記判断手段の判断の結果、前記切替が必要な場合には切替指示を前記第１無線アクセスポイント及び前記第２無線アクセスポイントへ送信する切替指示手段とを備え、
前記画像表示装置は、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御手段とを備える
ことを特徴とする画像表示システム。 - 現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部と、及び画像処理装置からの仮想画像の受信を含む前記画像処理装置と通信を行うための無線通信部とを有する画像表示装置と、
前記画像表示装置の位置姿勢情報に基づいて仮想画像を生成する仮想画像生成部と、前記仮想画像の前記画像表示装置への送信を含む前記画像表示装置との通信を行うための通信部とを有する画像処理装置と、
前記画像表示装置と前記画像処理装置との間で通信を行うための複数の無線アクセスポイントと
を備える画像表示システムであって、
前記画像処理装置は、
前記画像表示装置の位置に応じて、前記画像表示装置との通信に使用している第１無線アクセスポイントから第２無線アクセスポイントへの切替が必要であるか否かを判断する判断手段と、
前記判断手段の判断の結果、前記切替が必要な場合には切替指示を前記第１無線アクセスポイント及び前記第２無線アクセスポイントへ送信する切替指示手段とを備え、
前記画像表示装置は、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御手段とを備える
ことを特徴とする画像表示システム。 - 前記画像表示装置は、
前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部を更に備え、
前記表示制御手段は、更に、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する
ことを特徴とする請求項３に記載の画像表示システム。 - 前記メッセージ画像の重畳表示の切替選択を指示するための入力部を前記画像表示装置あるいは前記画像処理装置に備える
ことを特徴とする請求項２又は４に記載の画像表示システム。 - 前記合成部による合成時の前記画像表示装置の位置姿勢情報に基づいて、前記格納部に格納されている仮想画像の補正処理を実行する
ことを特徴とする請求項３に記載の画像表示システム。 - 前記補正処理は、前記仮想画像の位置を平行移動する処理である
ことを特徴とする請求項６に記載の画像表示システム。 - 前記補正処理は、前記仮想画像の拡大処理または縮小処理である
ことを特徴とする請求項６に記載の画像表示システム。 - 前記画像表示装置は、
前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部を更に備え、
前記補正処理を実行できない場合、前記表示制御手段は、更に、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する
ことを特徴とする請求項６に記載の画像表示システム。 - 前記合成部は、クロマキー処理による画像合成、または、αチャネルを使用した半透明画像合成を実行する
ことを特徴とする請求項３に記載の画像表示システム。 - 現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部とを備える画像表示装置であって、
複数の無線アクセスポイントのいずれかを介して、前記画像処理装置との通信を行うための無線通信手段と、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御手段と
を備えることを特徴とする画像表示装置。 - 現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部とを備える画像表示装置であって、
複数の無線アクセスポイントのいずれかを介して、前記画像処理装置との通信を行うための無線通信手段と、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御手段と
を備えることを特徴とする画像表示装置。 - 現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部とを備える画像表示装置であって、
複数の無線アクセスポイントのいずれかを介して、画像処理装置との通信を行うための無線通信手段と、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御手段と
を備えることを特徴とする画像表示装置。 - 現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御方法であって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御工程と
を備えることを特徴とする画像表示装置の制御方法。 - 現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御方法であって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御工程と
を備えることを特徴とする画像表示装置の制御方法。 - 現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部と、複数の無線アクセスポイントのいずれかを介して画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御方法であって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御工程と
を備えることを特徴とする画像表示装置の制御方法。 - 現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御工程と
をコンピュータに実行させることを特徴とするコンピュータプログラム。 - 現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御工程と
をコンピュータに実行させることを特徴とするコンピュータプログラム。 - 現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部と、複数の無線アクセスポイントのいずれかを介して画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御工程と
をコンピュータに実行させることを特徴とするコンピュータプログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007279383A JP4989417B2 (ja) | 2007-10-26 | 2007-10-26 | 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム |
| US12/257,280 US8681177B2 (en) | 2007-10-26 | 2008-10-23 | Virtual image display system, including wireless connection |
| US14/177,321 US9418630B2 (en) | 2007-10-26 | 2014-02-11 | Image display system, image display apparatus, and control method thereof |
| US15/213,881 US9721539B2 (en) | 2007-10-26 | 2016-07-19 | Image display system, image display apparatus, and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007279383A JP4989417B2 (ja) | 2007-10-26 | 2007-10-26 | 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009111511A JP2009111511A (ja) | 2009-05-21 |
| JP4989417B2 true JP4989417B2 (ja) | 2012-08-01 |
Family
ID=40582280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007279383A Active JP4989417B2 (ja) | 2007-10-26 | 2007-10-26 | 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (3) | US8681177B2 (ja) |
| JP (1) | JP4989417B2 (ja) |
Families Citing this family (69)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8717289B2 (en) * | 2010-06-22 | 2014-05-06 | Hsni Llc | System and method for integrating an electronic pointing device into digital image data |
| JP2012100116A (ja) * | 2010-11-02 | 2012-05-24 | Sony Corp | 表示処理装置、表示処理方法およびプログラム |
| US9262950B2 (en) * | 2011-04-20 | 2016-02-16 | Microsoft Technology Licensing, Llc | Augmented reality extrapolation techniques |
| JP5783885B2 (ja) * | 2011-11-11 | 2015-09-24 | 株式会社東芝 | 情報提示装置、その方法及びそのプログラム |
| JP2013162487A (ja) * | 2012-02-08 | 2013-08-19 | Canon Inc | 画像表示装置及び撮像装置 |
| WO2014087620A1 (ja) | 2012-12-06 | 2014-06-12 | 日本電気株式会社 | 視界表示システム、視界表示方法および視界表示プログラム |
| US10528135B2 (en) | 2013-01-14 | 2020-01-07 | Ctrl-Labs Corporation | Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display |
| JP2014160982A (ja) * | 2013-02-20 | 2014-09-04 | Sony Corp | 画像処理装置および撮影制御方法、並びにプログラム |
| WO2014186370A1 (en) | 2013-05-13 | 2014-11-20 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices that accommodate different user forms |
| US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
| US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
| US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
| US12504816B2 (en) | 2013-08-16 | 2025-12-23 | Meta Platforms Technologies, Llc | Wearable devices and associated band structures for sensing neuromuscular signals using sensor pairs in respective pods with communicative pathways to a common processor |
| WO2015081113A1 (en) | 2013-11-27 | 2015-06-04 | Cezar Morun | Systems, articles, and methods for electromyography sensors |
| US10199008B2 (en) | 2014-03-27 | 2019-02-05 | North Inc. | Systems, devices, and methods for wearable electronic devices as state machines |
| US20150325202A1 (en) * | 2014-05-07 | 2015-11-12 | Thalmic Labs Inc. | Systems, devices, and methods for wearable computers with heads-up displays |
| US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
| US9477079B2 (en) | 2014-06-25 | 2016-10-25 | Thalmic Labs Inc. | Systems, devices, and methods for wearable heads-up displays |
| CN108351519A (zh) | 2015-02-17 | 2018-07-31 | 赛尔米克实验室公司 | 用于在可穿戴式平视显示器中进行适眼区扩大的系统、设备和方法 |
| JP6481225B2 (ja) * | 2015-02-24 | 2019-03-13 | オリンパス株式会社 | 情報端末装置、情報支援方法及び情報支援プログラム |
| JP6546439B2 (ja) * | 2015-04-23 | 2019-07-17 | キヤノン株式会社 | 送信装置、複合現実システム、送信制御方法、及びプログラム |
| US10078435B2 (en) | 2015-04-24 | 2018-09-18 | Thalmic Labs Inc. | Systems, methods, and computer program products for interacting with electronically displayed presentation materials |
| US10175488B2 (en) | 2015-05-04 | 2019-01-08 | North Inc. | Systems, devices, and methods for spatially-multiplexed holographic optical elements |
| US10298281B2 (en) * | 2015-05-07 | 2019-05-21 | Nxp B. V. | Establishing communication with wireless devices using orientation data |
| KR102474236B1 (ko) | 2015-05-28 | 2022-12-05 | 구글 엘엘씨 | 착용 가능 헤드업 디스플레이들에 눈 추적 및 스캐닝 레이저 투사를 통합시키는 시스템들, 디바이스들 및 방법들 |
| WO2017041010A1 (en) | 2015-09-04 | 2017-03-09 | Thalmic Labs Inc. | Systems, articles, and methods for integrating holographic optical elements with eyeglass lenses |
| WO2017059285A1 (en) | 2015-10-01 | 2017-04-06 | Thalmic Labs Inc. | Systems, devices, and methods for interacting with content displayed on head-mounted displays |
| US9904051B2 (en) | 2015-10-23 | 2018-02-27 | Thalmic Labs Inc. | Systems, devices, and methods for laser eye tracking |
| US10802190B2 (en) | 2015-12-17 | 2020-10-13 | Covestro Llc | Systems, devices, and methods for curved holographic optical elements |
| US10303246B2 (en) | 2016-01-20 | 2019-05-28 | North Inc. | Systems, devices, and methods for proximity-based eye tracking |
| US10151926B2 (en) | 2016-01-29 | 2018-12-11 | North Inc. | Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display |
| US10365548B2 (en) | 2016-04-13 | 2019-07-30 | North Inc. | Systems, devices, and methods for focusing laser projectors |
| KR101768532B1 (ko) * | 2016-06-08 | 2017-08-30 | 주식회사 맥스트 | 증강 현실을 이용한 화상 통화 시스템 및 방법 |
| US12554325B2 (en) | 2016-07-25 | 2026-02-17 | Meta Platforms Technologies, Llc | Methods and apparatuses for low latency body state prediction based on neuromuscular data |
| US10277874B2 (en) | 2016-07-27 | 2019-04-30 | North Inc. | Systems, devices, and methods for laser projectors |
| WO2018027326A1 (en) | 2016-08-12 | 2018-02-15 | Thalmic Labs Inc. | Systems, devices, and methods for variable luminance in wearable heads-up displays |
| KR102522565B1 (ko) | 2016-08-31 | 2023-04-17 | 삼성전자주식회사 | 영상 표시 장치 및 그 동작 방법 |
| CN116775543A (zh) * | 2016-09-06 | 2023-09-19 | 株式会社半导体能源研究所 | 电子设备 |
| JP6808419B2 (ja) * | 2016-09-26 | 2021-01-06 | キヤノン株式会社 | 画像処理システム及びその制御方法 |
| US10345596B2 (en) | 2016-11-10 | 2019-07-09 | North Inc. | Systems, devices, and methods for astigmatism compensation in a wearable heads-up display |
| CA3045192A1 (en) | 2016-11-30 | 2018-06-07 | North Inc. | Systems, devices, and methods for laser eye tracking in wearable heads-up displays |
| US10663732B2 (en) | 2016-12-23 | 2020-05-26 | North Inc. | Systems, devices, and methods for beam combining in wearable heads-up displays |
| US10718951B2 (en) | 2017-01-25 | 2020-07-21 | North Inc. | Systems, devices, and methods for beam combining in laser projectors |
| JP6895657B2 (ja) * | 2017-01-31 | 2021-06-30 | サイレックス・テクノロジー株式会社 | 無人走行車、走行システム、及び、無人走行車の制御方法 |
| KR101874111B1 (ko) * | 2017-03-03 | 2018-07-03 | 클릭트 주식회사 | 가상현실영상 재생방법 및 이를 이용한 프로그램 |
| WO2018200993A1 (en) * | 2017-04-28 | 2018-11-01 | Zermatt Technologies Llc | Video pipeline |
| US10861142B2 (en) | 2017-07-21 | 2020-12-08 | Apple Inc. | Gaze direction-based adaptive pre-filtering of video data |
| GB2565101A (en) * | 2017-08-01 | 2019-02-06 | Lobster Pictures Ltd | Method for integrating photographic images and BIM data |
| CN112040858B (zh) | 2017-10-19 | 2024-06-07 | 元平台技术有限公司 | 用于识别与神经肌肉源信号相关的生物结构的系统和方法 |
| US20190121133A1 (en) | 2017-10-23 | 2019-04-25 | North Inc. | Free space multiple laser diode modules |
| US12579768B2 (en) | 2018-01-25 | 2026-03-17 | Meta Platforms Technologies, Llc | Wearable electronic devices, extended reality systems including neuromuscular sensors, and methods for generating text from speech input and modifying the generated text based on neuromuscular data |
| US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
| US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
| EP3886693A4 (en) | 2018-11-27 | 2022-06-08 | Facebook Technologies, LLC. | METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM |
| JP7365185B2 (ja) * | 2019-03-29 | 2023-10-19 | 株式会社ソニー・インタラクティブエンタテインメント | 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム |
| EP3772227B1 (en) * | 2019-07-29 | 2022-07-13 | British Telecommunications public limited company | Cellular telecommunications network |
| US11812320B2 (en) | 2019-07-29 | 2023-11-07 | British Telecommunications Public Limited Company | Initiation of transfer of user equipment to base station according to visual data |
| US11210048B2 (en) | 2019-10-04 | 2021-12-28 | Semiconductor Energy Laboratory Co., Ltd. | Display device, display module, and electronic device |
| US11606364B2 (en) * | 2020-09-15 | 2023-03-14 | Meta Platforms Technologies, Llc | Artificial reality collaborative working environments |
| JP7639288B2 (ja) * | 2020-09-18 | 2025-03-05 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、閲覧装置、及び情報処理プログラム |
| US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
| US12597174B2 (en) * | 2021-11-03 | 2026-04-07 | Tencent America LLC | Method and apparatus for delivering 5G AR/MR cognitive experience to 5G devices |
| JP7757172B2 (ja) * | 2021-12-15 | 2025-10-21 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム |
| CN118872257A (zh) | 2022-03-23 | 2024-10-29 | 三星电子株式会社 | 用于检测垃圾呼叫的电子装置及其操作方法 |
| US12614355B2 (en) | 2022-09-29 | 2026-04-28 | Meta Platforms Technologies, Llc | Mapping a real-world room for a shared artificial reality environment |
| US12100111B2 (en) | 2022-09-29 | 2024-09-24 | Meta Platforms Technologies, Llc | Mapping a real-world room for a shared artificial reality environment |
| US12368967B2 (en) * | 2023-03-08 | 2025-07-22 | Meta Platforms Technologies, Llc | Distributed image signal processor (ISP) system for a head-mounted device |
| WO2024232242A1 (ja) * | 2023-05-10 | 2024-11-14 | ソニーグループ株式会社 | 情報処理装置、情報処理システム、情報処理方法、および記録媒体 |
| JP2024162769A (ja) * | 2023-05-11 | 2024-11-21 | 株式会社ダイフク | 物品搬送設備 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0576078A (ja) | 1991-09-10 | 1993-03-26 | Matsushita Electric Ind Co Ltd | 赤外線ワイアレス伝送受信器 |
| US5815411A (en) * | 1993-09-10 | 1998-09-29 | Criticom Corporation | Electro-optic vision system which exploits position and attitude |
| JPH06268943A (ja) * | 1993-03-15 | 1994-09-22 | Mitsubishi Heavy Ind Ltd | 視点映像用ビデオカメラを有する頭部搭載型ディスプレイ |
| US5805173A (en) * | 1995-10-02 | 1998-09-08 | Brooktree Corporation | System and method for capturing and transferring selected portions of a video stream in a computer system |
| JPH10164640A (ja) | 1996-11-28 | 1998-06-19 | Matsushita Electric Works Ltd | 移動体通信システム |
| JPH1175142A (ja) * | 1997-08-29 | 1999-03-16 | Shimadzu Corp | ヘッドマウンテッドディスプレイ装置 |
| US6522312B2 (en) | 1997-09-01 | 2003-02-18 | Canon Kabushiki Kaisha | Apparatus for presenting mixed reality shared among operators |
| JP3486536B2 (ja) | 1997-09-01 | 2004-01-13 | キヤノン株式会社 | 複合現実感提示装置および方法 |
| JP3372926B2 (ja) * | 1999-03-26 | 2003-02-04 | キヤノン株式会社 | ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステム |
| JP3895929B2 (ja) * | 1999-04-30 | 2007-03-22 | ノキア コーポレイション | 位置情報を使用してハンドオーバーを行う方法及び装置 |
| JP2001145045A (ja) * | 2000-09-11 | 2001-05-25 | Olympus Optical Co Ltd | 映像表示装置 |
| CN1864409A (zh) * | 2003-10-16 | 2006-11-15 | 日本电气株式会社 | 媒体信号的发送方法、接收方法、发送接收方法以及装置 |
| JP2006345251A (ja) * | 2005-06-09 | 2006-12-21 | Kyocera Corp | 無線通信端末及び通信方法 |
| US8081684B2 (en) * | 2005-08-19 | 2011-12-20 | Qualcomm Incorporated | Picture-in-picture processing for video telephony |
| JP2007043755A (ja) * | 2006-11-06 | 2007-02-15 | Toshiba Corp | 無線通信システムおよび無線通信方法 |
| US7834886B2 (en) * | 2007-07-18 | 2010-11-16 | Ross Video Limited | Methods and apparatus for dynamic correction of data for non-uniformity |
-
2007
- 2007-10-26 JP JP2007279383A patent/JP4989417B2/ja active Active
-
2008
- 2008-10-23 US US12/257,280 patent/US8681177B2/en not_active Expired - Fee Related
-
2014
- 2014-02-11 US US14/177,321 patent/US9418630B2/en not_active Expired - Fee Related
-
2016
- 2016-07-19 US US15/213,881 patent/US9721539B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US9418630B2 (en) | 2016-08-16 |
| US8681177B2 (en) | 2014-03-25 |
| JP2009111511A (ja) | 2009-05-21 |
| US20140160164A1 (en) | 2014-06-12 |
| US9721539B2 (en) | 2017-08-01 |
| US20160329032A1 (en) | 2016-11-10 |
| US20090109241A1 (en) | 2009-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4989417B2 (ja) | 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム | |
| JP5113426B2 (ja) | 頭部装着型表示装置、及びその制御方法 | |
| JP5067850B2 (ja) | システム、頭部装着型表示装置、その制御方法 | |
| JP4738870B2 (ja) | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 | |
| JP5652037B2 (ja) | 模擬映像生成装置、方法、プログラム | |
| JP4553362B2 (ja) | システム、画像処理装置、情報処理方法 | |
| US10999412B2 (en) | Sharing mediated reality content | |
| JP2012048597A (ja) | 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム | |
| JP7163498B2 (ja) | 表示制御装置、表示制御方法、及びプログラム | |
| JP2020071718A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US20240404178A1 (en) | Method for changing viewpoint in virtual space | |
| JP4991515B2 (ja) | 画像処理システム、画像処理システムの制御方法及びコンピュータプログラム | |
| US11127208B2 (en) | Method for providing virtual reality image and program using same | |
| JP2020071394A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP5161544B2 (ja) | 画像表示システム | |
| WO2019229816A1 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| JP2018088604A (ja) | 画像表示装置、画像表示方法、システム | |
| WO2021095537A1 (ja) | 情報処理装置、情報処理方法、並びにプログラム | |
| JP2021086287A (ja) | 情報処理システム、情報処理装置、及び情報処理方法 | |
| WO2024004398A1 (ja) | 情報処理装置、プログラム、及び情報処理システム | |
| KR20190077253A (ko) | 가상현실 영상 제공 방법 및 이를 이용한 프로그램 | |
| JP6702779B2 (ja) | データ分配装置、画像表示システム及びデータ分配方法 | |
| JP2025029844A (ja) | 表示装置及び情報処理装置とそれら制御方法、情報処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101025 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120327 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120330 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120427 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4989417 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |