JP5907136B2 - ヘッドマウントディスプレイ、及び、制御プログラム - Google Patents

Description

本発明は、ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイを制御する為の制御プログラムに関する。

ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）はユーザの頭部に装着されて使用される。従ってＨＭＤには、ユーザの視野の確保及び装着時の負担の軽減の為に小型であることが要求される。ＨＭＤを小型化した場合、スイッチ等の機械的なユーザインターフェイス（User Interface ＵＩ）を設ける場所は制約される。特許文献１は、カメラによって撮影されたユーザの手の動きを検出することで、対応する操作情報を特定する技術を開示する。ＨＭＤにこの技術を応用することで、ＨＭＤは、カメラによって撮影された対象物の動きに対応する操作内容を特定し、特定した操作内容に応じた動作を実行できる。この場合、ＨＭＤは、小型化した場合でも十分なＵＩを確保できる。

特開２００７−１７２５７７号公報

ＨＭＤにカメラが設けられる場合、ユーザの頭部に表示部と共に配置する方法が考えられる。この場合、カメラの撮影領域は、ＨＭＤを装着したユーザの頭部が動くことによって変化する。この場合、撮影領域に対する対象物の相対位置は、ユーザの頭部が動いたことに伴って変化する。通常、ＨＭＤは、撮影領域に対する対象物の相対位置に基づいて、対象物の動きを検出する。従ってＨＭＤは、ユーザの頭部が動いた場合、対象物の動きを正確に検出できない場合がある。この場合、ＨＭＤは、ユーザの所望する動作を実行できないという問題点がある。

本発明の目的は、対象物の動きを正確に検出し、対応する動作を実行することが可能なヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイを制御する為の制御プログラムを提供することである。

本発明の第１態様に係るヘッドマウントディスプレイは、第１方向に画像光を射出可能な表示部と、前記第１方向と反対方向である第２方向の領域を少なくとも含む所定領域内を撮影して画像データを出力可能な撮影部と、前記撮影部から出力された画像データに基づいて、前記所定領域内に所定の対象物があるかを繰り返し判断する第１判断手段と、前記第１判断手段によって前記対象物が前記所定領域内にあると判断された場合に、検出部の出力に基づいて、前記撮影部の撮影方向に対応する位置である第１位置を示す第１情報を取得する第１取得手段と、前記所定領域に対する前記対象物の相対位置である第２位置を示す第２情報を、前記画像データに基づいて取得する第２取得手段と、前記第１取得手段によって取得された前記第１情報と、前記第２取得手段によって取得された前記第２情報とに基づく第３情報を、前記第１判断手段によって前記対象物が前記所定領域内にあると判断される度に決定する決定手段と、前記決定手段によって決定された前記第３情報を、決定された順序を示す順序情報と関連付けて第１記憶部に記憶する記憶手段と、前記第１記憶部に記憶された複数の第３情報のうち１の第３情報と、前記１の第３情報に関連付けられた順序情報によって示される順序よりも後の順序を示す順序情報に関連付けられた他の第３情報とに基づいて、前記１の第３情報に対応する第１情報が前記第１取得手段によって取得されてから、前記他の第３情報に対応する第１情報が前記第１取得手段によって取得されるまでの間に、前記第１位置と前記第２位置との位置関係が変化したかを判断する第２判断手段と、前記第２判断手段によって、前記位置関係が変化したと判断された場合、少なくとも前記他の第３情報に基づいて決定される位置を示す軌跡情報を前記表示部に繰り返し表示する第１表示手段と、前記第１記憶部に記憶された前記複数の第３情報に基づいて、夫々の第３情報に対応する前記第２位置を、対応する第１位置によって補正した複数の補正位置の変化の傾向が所定の条件を満たしているか判断する第３判断手段と、前記第３判断手段によって、前記所定の条件を満たしていると判断された場合、対応する処理を実行する実行手段とを備え、前記第３情報は、前記位置関係に対応する情報であることを特徴とする。

第１態様によれば、ヘッドマウントディスプレイは、第１情報と第２情報とに基づいて第３情報を決定し、第１記憶部に記憶する。第３情報は、第１位置（撮影部の撮影方向に対応する位置）と第２位置（所定領域に対する対象物の相対位置）との位置関係を示す情報である。第１位置は、撮影部の撮影方向が変化することに応じて変化する。このため、第１位置と第２位置との位置関係の経時的な変化は、撮影部の撮影方向が変化した場合でも、実際の対象物の動きを示す。ヘッドマウントディスプレイは、第２位置を第１位置によって補正した補正位置の経時的な変化の傾向が所定の条件を満たす場合、対応する処理を実行する。従ってヘッドマウントディスプレイは、撮影部の撮影方向が変化した場合でも、対象物の動きを正確に検出し、対応する処理を実行できる。

第１態様において、前記第３情報は、前記第１位置に対する前記第２位置の相対位置を示す情報であってもよい。この場合、ヘッドマウントディスプレイは、第３情報に基づいて、第１位置と第２位置との位置関係を容易に特定できる。

第１態様において、ｎ番目（ｎは２以上の自然数）の軌跡情報を、前記決定手段によってｎ番目に決定された第３情報に対応する第２位置に表示する第２表示手段を備え、前記第１表示手段は、前記表示部に表示された１からｎ−１番目の夫々の軌跡情報を消去する第１消去手段と、１からｎ−１番目の夫々に決定された第３情報に対応する第２位置を、ｎ番目に決定された第３情報に対応する第１位置に基づいて補正し、補正した第２位置に前記軌跡情報を表示する修正手段とを備えてもよい。この場合、ヘッドマウントディスプレイは、ユーザに対し、撮影部の撮影方向の変化分が反映された軌跡情報を認識させることができる。このためユーザは、所定の条件を満たすように対象物を移動させることが容易に可能となる。

第１態様において、前記第１表示手段は、前記決定手段によってｎ番目（ｎは２以上の自然数）に決定された前記第３情報に対応する第２位置を、１番目に決定された第３情報に対応する第１位置に基づいて補正し、補正した第２位置に前記軌跡情報を表示してもよい。この場合、ヘッドマウントディスプレイは、ユーザに対し、撮影部の撮影方向の変化分が反映された軌跡情報を認識させることができる。このためユーザは、所定の条件を満たすように対象物を移動させることが容易に可能となる。

第１態様において、前記第１判断手段によって前記所定領域内に前記対象物がないと判断される状態が所定の第１時間以上継続した場合であって、前記表示部に前記軌跡情報が表示されている場合に、前記軌跡情報を消去する第２消去手段を備えてもよい。この場合、ヘッドマウントディスプレイは、ユーザにとって不要な軌跡情報を表示部から消去できる。

第１態様において、前記第２判断手段によって前記位置関係が移動しないと判断される状態が所定の第２時間以上継続した場合であって、前記表示部に前記軌跡情報が表示されている場合に、前記軌跡情報を消去する第３消去手段を備えてもよい。この場合、ヘッドマウントディスプレイは、ユーザにとって不要な軌跡情報を表示部から消去できる。

第１態様において、前記第３判断手段によって、前記複数の補正位置の変化の傾向が所定の条件を満たしていると判断された場合に、前記軌跡情報を消去する第４消去手段を備えてもよい。この場合、ヘッドマウントディスプレイは、ユーザにとって不要な軌跡情報を表示部から消去できる。

第１態様において、前記第３判断手段は、第２記憶部に記憶されたテンプレートデータによって示される特定の形状と、前記複数の補正位置の変化の傾向とが一致するかを判断することによって、前記複数の補正位置の変化の傾向が所定の条件を満たしているか判断してもよい。この場合、ヘッドマウントディスプレイは、複数の補正位置の変化の傾向が所定の条件を満たしているかを適切に判断できる。

第１態様において、前記実行手段は、前記複数の補正位置の変化の傾向と一致すると判断された特定の形状を示すテンプレートデータに関連付けられた特定の処理を実行してもよい。この場合、ヘッドマウントディスプレイは、対象物の動きに対応する処理を容易に判断し、処理を実行できる。

第１態様において、前記第１取得手段は、前記画像データに基づき、前記所定領域内に含まれる比較物の位置を示す情報を、前記第１情報として取得してもよい。この場合、ヘッドマウントディスプレイは、撮影部の撮影方向に対応する位置を第１情報として適切に取得できる。

第１態様において、前記第１取得手段は、前記画像データに基づき、複数の第１情報を取得してもよい。この場合、ヘッドマウントディスプレイは、撮影部の撮影方向を、複数の第１情報に基づいて正確に特定できる。

第１態様において、前記複数の第１情報は、前記画像データによって示される撮影画像の四隅の夫々の近傍位置を示してもよい。この場合、ヘッドマウントディスプレイは、撮影部の撮影方向を、撮影画像の四隅の夫々の位置を示す複数の第１情報に基づいて更に正確に特定できる。

本発明の第２態様に係る制御プログラムは、表示部が画像光を射出可能な第１方向と反対方向である第２方向の領域を少なくとも含む所定領域内が、撮影部によって撮影された場合に、前記撮影部から出力される画像データに基づいて、前記所定領域内に所定の対象物があるかを繰り返し判断する第１判断ステップと、前記第１判断ステップによって前記対象物が前記所定領域内にあると判断された場合に、検出部の出力に基づいて、前記撮影部の撮影方向に対応する位置である第１位置を示す第１情報を取得する第１取得ステップと、前記所定領域に対する前記対象物の相対位置である第２位置を示す第２情報を、前記画像データに基づいて取得する第２取得ステップと、前記第１取得ステップによって取得された前記第１情報と、前記第２取得ステップによって取得された前記第２情報とに基づく第３情報を、前記第１判断ステップによって前記対象物が前記所定領域内にあると判断される度に決定する決定ステップと、前記決定ステップによって決定された前記第３情報を、決定された順序を示す順序情報と関連付けて第１記憶部に記憶する記憶ステップと、前記第１記憶部に記憶された複数の第３情報のうち１の第３情報と、前記１の第３情報に関連付けられた順序情報によって示される順序よりも後の順序を示す順序情報に関連付けられた他の第３情報とに基づいて、前記１の第３情報に対応する第１情報が前記第１取得ステップによって取得されてから、前記他の第３情報に対応する第１情報が前記第１取得ステップによって取得されるまでの間に、前記第１位置と前記第２位置との位置関係が変化したかを判断する第２判断ステップと、前記第２判断ステップによって、前記位置関係が変化したと判断された場合、少なくとも前記他の第３情報に基づいて決定される位置を示す軌跡情報を表示部に繰り返し表示する第１表示ステップと、前記第１記憶部に記憶された前記複数の第３情報に基づいて、夫々の第３情報に対応する前記第２位置を、対応する第１位置によって補正した複数の補正位置の変化の傾向が所定の条件を満たしているか判断する第３判断ステップと、前記第３判断ステップによって、所定の条件を満たしていると判断された場合、対応する処理を実行する実行ステップとを、ヘッドマウントディスプレイのコンピュータに実行させる。第２態様によれば、第１態様と同様の効果を奏することができる。

ＨＭＤ１の斜視図である。 ＨＭＤ１の電気的構成を示すブロック図である。 光景２５（２５Ａ〜２５Ｊ）を示す図である。 メイン処理のフローチャートである。 修正処理のフローチャートである。 撮影画像３１を示す図である。 テーブル５４１を示す図である。 テーブル５２１を示す図である。 軌跡画像２６（２６Ｆ〜２６Ｊ、２６１〜２７０）を示す図である。 変形例における修正処理のフローチャートである。 変形例におけるテーブル５２１を示す図である。 変形例における軌跡画像２６（２６Ｆ〜２６Ｊ、２８１〜２８４）を示す図である。

以下、本発明を具体化した実施形態について、図面を参照して説明する。図１を参照し、ヘッドマウントディスプレイ（以下、ＨＭＤという。）１の概要を説明する。ＨＭＤ１は、投影装置（以下、ヘッドディスプレイ又はＨＤという。）１０及び制御装置（以下、コントロールボックス又はＣＢという。）５０を備える。以下の説明において、図１の上方、下方、右斜め下方、左斜め上方、右斜め上方及び左斜め下方が夫々、ＨＭＤ１の上方、下方、前方、後方、右方及び左方である。実施形態において、種々の構成における位置関係及び方向関係の理解を助けるため、関連する図面において、ＨＭＤ１の上方、下方、前方、後方、右方及び左方は、３次元デカルト座標系の軸を参照して説明される。

ＨＤ１０の概要を説明する。ＨＤ１０は、専用の装着具である眼鏡５に取り付けられる。ユーザは、ＨＤ１０が取り付けられた眼鏡５をかけることによって、ＨＤ１０を頭部に装着して使用する。ＨＤ１０は、画像光を後方に向けて照射できる。画像光は、ＨＤ１０を装着したユーザの左眼に入射する。ＨＤ１０は、ハーネス７を介してＣＢ５０と着脱可能に接続する。ＨＤ１０は、筐体２、ハーフミラー３、画像表示部１４（図２参照）、接眼光学系（図示略）、カメラ２０等を主な構成要素とする。

筐体２は、眼鏡５の右端部に設けられる。筐体２の左端側に、ハーフミラー３が設けられる。ハーフミラー３は、ユーザがＨＤ１０を頭部に装着した状態で、ユーザの左眼の前方に配置される。画像表示部１４及び接眼光学系は、筐体２の内部に設けられる。画像表示部１４及び接眼光学系の詳細は後述する。カメラ２０は、筐体２の前面に設けられる。カメラ２０は、筐体２の前方の外界の風景のうち、所定の大きさの領域（以下、所定領域という。）を撮像可能である。

画像表示部１４は、液晶素子及び光源を備える。画像表示部１４は、コンテンツ画像を表示することが可能である。コンテンツ画像は、静止画像又は動画像である。又、画像表示部１４は、コンテンツ画像に撮影画像を重ねて表示することが可能である。撮影画像は、カメラ２０によって撮影された画像である。画像表示部１４は、ＣＢ５０からハーネス７を介して送信される映像信号に基づいて、画像を表示する。接眼光学系は、画像表示部１４に表示された画像を示す画像光を集光し、ハーフミラー３に射出する。接眼光学系から射出された画像光は、ハーフミラー３によって反射される。ハーフミラー３によって反射された画像光は、筐体２の後方（カメラ２０の撮影方向と反対方向）に射出される。ＨＭＤ１がユーザに装着されている状態で、画像光は、ユーザの左眼の眼球に入射する。又、ハーフミラー３は、外界の実像からの光を、ユーザの左眼に向けて透過する。ＨＭＤ１は、ユーザの視野範囲内の実像（例えば、外界の風景等）に、画像表示部１４に表示された画像を重ねた状態の光景を、ユーザに視認させることができる。

眼鏡５は、ＨＤ１０をユーザの頭部に保持する。眼鏡５は、フレーム６及び支持部４を備える。フレーム６の形状は、通常の眼鏡と略同一であるので、詳細な説明は省略する。フレーム６のうち、左眼用レンズを支えるリム部の上面右端に、支持部４が設けられる。支持部４は、ＨＤ１０の筐体２を保持する。支持部４は、筐体２の保持位置を上下方向及び左右方向に移動できる。ユーザは、筐体２を上下方向及び左右方向に移動させることによって、左眼の眼球の位置とハーフミラー３の位置とが前後方向に並ぶように位置を調整できる。

なお、ＨＤ１０は、ユーザが日常的に使用する眼鏡、ヘルメット、ヘッドホンなど、他の装着具に取り付けられてもよい。画像表示部１４は、他の空間変調素子であってもよい。例えば画像表示部１４は、画像信号に応じた強度のレーザ光を２次元走査して画像表示を行う網膜走査型表示部、及び有機ＥＬ（Organic Electro-luminescence）ディスプレイであってもよい。また、図１では支持部４及びＨＤ１０がフレーム６の右側に設けられるが、支持部４及びＨＤ１０は、フレーム６の右側に設けられてもよい。この場合、ＨＭＤ１がユーザに装着されている状態で、画像光は、ユーザの右眼の眼球に入射する。

又、本実施形態において、ＨＤ１０は、画像表示部１４に表示された画像を外界の実像に重ねた状態の光景をユーザに視認させる機能を有する、所謂光学シースルー型のヘッドディスプレイである。しかしながら本発明は、別の機能を有するヘッドディスプレイであってもよい。例えばＨＤ１０は、外界の実像からの光をユーザの眼に入射させず、画像表示部１４に表示された画像と、カメラによって撮像された外界の画像とをユーザに視認させる機能を有する、所謂ビデオシースルー型のヘッドディスプレイであってもよい。

又、本実施形態において、カメラ２０は筐体２の前面に設けられているが、カメラ２０は筐体２から着脱可能であってもよい。例えばカメラ２０は、ＨＤ１０の前面方向を撮影可能な状態で、眼鏡５のフレーム６に直接取り付けられてもよい。

ＣＢ５０の概要を説明する。ＣＢ５０は、例えばユーザの腰ベルトや腕等に取り付けられる。ＣＢ５０はＨＤ１０を制御する。ＣＢ５０は、ハーネス７を介してＨＤ１０と着脱可能に接続する。ＣＢ５０は、筐体６０、操作スイッチ６１、電源スイッチ６２等を主な構成要素とする。筐体６０の形状は、縁部の丸い略直方体である。操作スイッチ６１は、ＨＤ１０における各種設定や、使用時における各種操作等を行う為のスイッチである。電源スイッチ６２は、ＨＭＤ１の電源をオン又はオフにする為のスイッチである。電源スイッチ６２には、電源ランプ６３が内蔵される。

図２を参照し、ＨＭＤ１の電気的構成を説明する。はじめに、ＨＤ１０の電気的構成を説明する。ＨＤ１０は、ＨＤ１０全体の制御を行うＣＰＵ１１を備える。ＣＰＵ１１は、ＲＡＭ１２、プログラムＲＯＭ１３、画像表示部１４、インターフェイス１５、及び接続コントローラ１９に電気的に接続される。ＣＰＵ１１は、インターフェイス１５を介してカメラ２０に電気的に接続される。ＲＡＭ１２は、各種データを一時的に記憶する。プログラムＲＯＭ１３は、ＣＰＵ１１が実行するプログラムを記憶する。プログラムＲＯＭ１３はＯＳを記憶する。プログラムはＯＳ上で実行される。プログラム及びＯＳは、ＨＭＤ１の出荷時にプログラムＲＯＭ１３に記憶される。画像表示部１４は、コンテンツ画像及び撮影画像の少なくとも一方を表示できる。インターフェイス１５はカメラ２０に接続し、信号の入出力を制御する。接続コントローラ１９は、ハーネス７を介してＣＢ５０の接続コントローラ５８に接続し、有線通信を行う。

なお、ＨＤ１０は、フラッシュＲＯＭを更に備えてもよい。フラッシュＲＯＭには、ＣＰＵ１１が実行するプログラムが記憶されてもよい。ＣＰＵ１１は、フラッシュＲＯＭに記憶されたプログラムを実行してもよい。プログラムＲＯＭ１３及びフラッシュＲＯＭには、ＣＢ５０のＣＰＵ５１が実行するプログラムが記憶されてもよい。ＣＰＵ１１は、ＣＢ５０のＣＰＵ５１が実行する処理と同じ処理を、ＣＰＵ５１の代わりに実行してもよい。

ＣＢ５０の電気的構成を説明する。ＣＢ５０は、ＣＢ５０全体の制御を行うＣＰＵ５１を備える。ＣＰＵ５１は、ＲＡＭ５２、プログラムＲＯＭ５３、フラッシュＲＯＭ５４、インターフェイス５５、ビデオＲＡＭ５６、画像処理部５７、接続コントローラ５８、及び無線通信部５９に電気的に接続される。ＲＡＭ５２は、各種データを一時的に記憶する。ＲＡＭ５２は、テーブル５２１（図８参照）を記憶する。プログラムＲＯＭ５３は、ＣＰＵ５１が実行するプログラムを記憶する。プログラムＲＯＭ５３はＯＳを記憶する。プログラムはＯＳ上で実行される。プログラム及びＯＳは、ＨＭＤ１の出荷時にプログラムＲＯＭ５３に記憶される。フラッシュＲＯＭ５４は、テーブル５４１（図７参照）を記憶する。

インターフェイス５５は、操作スイッチ６１及び電源スイッチ６２に接続し、信号の入出力を制御する。画像処理部５７は、ＨＤ１０の画像表示部１４に表示する画像を形成し、ビデオＲＡＭ５６に記憶する。ビデオＲＡＭ５６は、画像処理部５７によって形成された画像を一時的に記憶する。接続コントローラ５８は、ハーネス７を介してＨＤ１０の接続コントローラ１９に接続し、有線通信を行う。無線通信部５９は、インターネット、ＬＡＮ等に接続されたアクセスポイント（図示略）を介して、インターネット、ＬＡＮ等に接続された周辺機器と通信を行う。周辺機器の例として、パーソナルコンピュータ、スマートフォン、タブレット型携帯端末、サーバ等が挙げられる。

なお、ＣＢ５０のフラッシュＲＯＭ５４に、ＣＰＵ５１が実行するプログラムが記憶されてもよい。ＣＰＵ５１は、フラッシュＲＯＭ５４に記憶されたプログラムを実行してもよい。プログラムＲＯＭ５３及びフラッシュＲＯＭ５４には、ＨＤ１０のＣＰＵ１１が実行するプログラムが記憶されてもよい。ＣＰＵ５１は、ＨＤ１０のＣＰＵ１１が実行する処理と同じ処理を、ＣＰＵ１１の代わりに実行してもよい。

なお、ＨＭＤ１は、プログラム及びＯＳを、無線通信部５９を介してプログラムダウンロード用のサーバからダウンロードし、インストールしてもよい。例えば、プログラム及びＯＳは、コンピュータで読み取り可能な一時的な記憶媒体（例えば、伝送信号）として、サーバからＨＭＤ１に送信されてもよい。プログラムは、ＨＭＤ１が備えるコンピュータで読み取り可能な記憶装置、例えば、フラッシュＲＯＭに保存されてもよい。ＣＰＵ１１は、フラッシュＲＯＭに記憶されたプログラムに基づいてプログラムを実行してもよい。ＣＰＵ５１は、フラッシュＲＯＭ５４に記憶されたプログラムに基づいてプログラムを実行してもよい。但し、記憶装置は、例えばＲＯＭ、フラッシュＲＯＭ、ＨＤＤ、ＲＡＭなどの、一時的な記憶媒体を除く記憶媒体であってもよい。また、記憶装置は、非一時的な記憶媒体であってもよい。非一時的な記憶媒体は、データを記憶する時間の長さに関わらず、データを留めておくことが可能なものであってもよい。

ＨＭＤ１の構成は上記実施形態に限定されず、例えば、ＨＤ１０とＣＢ５０とが一体となった構成であってもよい。ＨＤ１０のＣＰＵ１１とＣＢ５０のＣＰＵ５１とは、ハーネス７の代わりに無線によって通信を行ってもよい。

ＨＭＤ１は、カメラ２０によって撮影される所定領域内でユーザの指先が移動した時の指先の位置の経時的な変化の傾向が、所定の条件を満たすと判断した場合、対応する処理を実行する。対応する処理の具体例として、各種設定処理、画像表示部１４に表示されたコンテンツ画像の切り替え、コンテンツ画像のスクロール、電源制御等が挙げられる。ユーザは、所望する処理をＨＭＤ１に実行させる為に、所定の条件を満たすように指先を移動させる必要がある。ＨＭＤ１は、ユーザが指先の位置の経時的な変化を認識し易いように、指先の位置を示す軌跡画像を、指先の位置を特定したタイミングで繰り返し画像表示部１４に表示する。なお、本実施形態では、画像表示部１４に表示される画像は軌跡画像のみであり、カメラ２０によって撮影された撮影画像は画像表示部１４に表示されないことを前提とする。

図３を参照して具体的に説明する。なお以下では、説明を容易とする為、ＨＤ１０のＣＰＵ１１によって実行される処理と、ＣＢ５１のＣＰＵ５１によって実行される処理とを区別せず、ＨＭＤ１によって実行される処理として説明する。実際には、以下の処理はＣＰＵ１１、５１の夫々に割り当てられ、夫々によって実行される。詳細は、図４、図５のフローチャートを参照し、後述にて説明する。

図３は、ＨＤ１０を装着したユーザによって視認される光景２５を示す。光景２５には実像２２（２２Ａ、２２Ｆ〜２２Ｊ）が含まれる。実像２２にはユーザの手２３が含まれる。実像２２は、ユーザの視野範囲内の実像からの光が、ハーフミラー３を透過してユーザの左眼に到達することによって、ユーザが視認する像である。又、画像表示部１４に画像が表示された場合、実像２２に画像が重ねられる。これによってユーザは、視野範囲内の実像２２と画像との両方を視認できる。又、矩形状の点線で囲まれた領域は、カメラ２０によって撮影される所定領域２１（２１Ａ〜２１Ｊ）を示す。

ＨＭＤ１が、指先の位置が時間の経過とともに上から下に垂直に移動すると判断した時に、対応する処理（例えば、ＨＭＤ１の設定処理等）を実行する場合を例に挙げる。ＨＭＤ１は、カメラ２０によって撮影された撮影画像を取得し、撮影画像に指先が含まれているか判断する。指先が含まれているかの判断方法の詳細は後述する。ＨＭＤ１は、撮影画像に指先が含まれていると判断した場合、撮影画像に基づいて指先の位置を特定する。特定される指先の位置は、具体的には、カメラ２０によって撮影される所定領域内の特定の位置を座標系の基準とした場合の座標情報である。

ＨＭＤ１は、特定した指先の位置に基づいて、画像表示部１４に軌跡画像２６（２６Ａ〜２６Ｊ）を表示させる。軌跡画像２６は円形である。ＨＭＤ１は、実像２２に含まれる指先の位置に軌跡画像２６が重なるように、画像表示部１４に表示させる軌跡画像２６の位置を調整する。指先が移動を開始する前の状態では、光景２５Ａで示されるように、ユーザは、実像２２Ａ内の手２３の指先の位置に重ねられた軌跡画像２６Ａを視認できる。

ＨＭＤ１は、カメラ２０によって撮影された撮影画像を繰り返し取得し、撮影画像に含まれている指先の位置を繰り返し特定する。ＨＭＤ１は、画像表示部１４に軌跡画像２６を繰り返し表示する。ユーザが指先を上から下に向けて垂直方向に移動させた場合、ＨＭＤ１は、異なる指先の位置を複数特定する。ＨＭＤ１は、特定した複数の位置に基づいて、画像表示部１４に軌跡画像２６Ｂ〜２６Ｅを順番に表示させる。なおこの場合、ＨＭＤ１は、画像表示部１４に一旦表示させた軌跡画像２６を消去しない。このためユーザは、光景２５Ａ〜２５Ｅの夫々で示されるように、指先を上から下に向けて垂直方向に移動させたことに伴って徐々に増加する軌跡画像２６Ａ〜２６Ｅを視認する。従ってユーザは、軌跡画像２６Ａ〜２６Ｅを視認することによって、指先が上から下に向けて垂直に移動していることを容易に把握できる。

なお、ＨＭＤ１は、画像表示部１４に軌跡画像２６Ｂ、２６Ｃ、２６Ｄ、２６Ｅの夫々を表示させるタイミングで、軌跡画像２６Ａ−２６Ｂ間、軌跡画像２６Ｂ−２６Ｃ間、軌跡画像２６Ｃ−２６Ｄ間、及び軌跡画像２６Ｄ−２６Ｅ間に延びる点線を、画像表示部１４に表示してもよい。これによってユーザは、指先の経時的な動きを更に容易に把握できる。

又、ＨＭＤ１は、繰り返し特定した複数の指先の位置に基づいて、指先の位置が時間の経過とともに上から下に垂直に移動していると判断する。この場合、ＨＭＤ１は、対応する処理を特定し、処理を実行する。このためユーザは、カメラ２０によって撮影される所定領域内で指先を上から下に垂直に移動させることによって、ＨＭＤ１に処理を実行させることができる。

なお、カメラ２０は、ＨＤ１０の筐体２の前面に設けられており、ＨＤ１０の前面方向の外界を撮影する。従ってユーザは、カメラ２０によって指先が撮影されるように、目の前で指先を移動させる。ここで、ＨＤ１０を装着したユーザが頭部の向きを変えた場合、カメラ２０によって撮影される所定領域２１も変化する。ＨＤ１０を装着したユーザが頭部の向きを横方向に変化させた場合を例に挙げる。カメラ２０によって撮影される所定領域は、所定領域２１Ｆ〜２１Ｊのように徐々に変化する。この時に、光景２５Ａ〜２５Ｅの場合と同様にユーザが指先を上から下に向けて垂直方向に移動させた場合を例に挙げる。この場合、光景２５Ｆ〜２５Ｊで示されるように、実像２２Ｆ〜２２Ｊと指先との位置関係は、カメラ２０の撮影方向が変化しても変化せず、光景２５Ａ〜２５Ｅの場合と一致する。一方、所定領域２１Ｆ〜２１Ｊと実像２２Ｆ〜２２Ｊとの位置関係は、カメラ２０の撮影方向が横方向に変化することに応じて横方向に変化する。従って、所定領域２１Ｆ〜２１Ｊに対する指先の相対位置は、カメラ２０の撮影方向が横方向に変化したことに伴い、上下方向だけでなく横方向にも変化する。

ＨＭＤ１は、カメラ２０によって撮影される所定領域内の特定の位置を座標系の基準とした場合の座標情報を、指先の位置として特定する。ＨＤ１０を装着したユーザが頭部の向きを横方向に変化させた場合には、カメラ２０の撮影方向も変化するので、座標情報に対応する座標系の基準の位置は横方向に変化する。このためＨＭＤ１は、ユーザが指先を上から下に向けて垂直に移動させている場合でも、指先の位置が時間の経過とともに上から下に垂直に移動していると判断できない。このためＨＭＤ１は、対応する処理を特定できなくなる。

更に、光景２５Ｆ〜２５Ｊで示されるように、実像２２Ｆ〜２２Ｊに重ねられる軌跡画像２６Ｆ〜２２Ｊは、カメラ２０の撮影方向が横方向に変化した場合、ユーザが指先を上から下に向けて垂直に移動させているにも関わらず、斜め方向に直線状に並んだ状態になる。従ってユーザは、指先が上から下に向けて垂直に移動させていることを把握し難くなる。

このためＨＭＤ１は、以下の処理を行うことによって、カメラ２０の撮影方向が変化した場合でも、指先の適切な位置を特定し、対応する処理を実行できるようにする。又、ＨＭＤ１は、以下の処理を行うことによって、ユーザが指先の移動を適切に把握できるように、実像２２に重ねる軌跡画像２６の位置を調整する。以下では、はじめに、ＨＤ１０のＣＰＵ１１によって実行される処理の概要について説明する。次に、ＣＰＵ５１によって実行される処理について、図４、図５のフローチャートを参照して詳細に説明する。

ＨＤ１のＣＰＵ１１によって実行される処理の概要について説明する。ＣＢ５０の電源スイッチ６２を介してＨＭＤ１の電源をオンする操作がされた場合、ＣＰＵ１１は次の処理を開始する。ＣＰＵ１１は、カメラ２０による撮影を開始する。カメラ２０は、撮影を開始した場合、所定領域内を撮影しながら画像データを継続的に出力する。以下、カメラ２０から出力される画像データを、撮影画像データという。撮影画像データの画像形式は、Motion JPEG形式、Audio Video Interleave形式、QuickTime形式等である。ＣＰＵ１１は、カメラ２０から出力される撮影画像データを、インターフェイス１５を介して受信する。ＣＰＵ１１は、撮影画像データをＣＢ５０に送信する。

又、ＣＰＵ１１は、軌跡画像２６（図３参照）の映像信号をＣＢ５０から受信する。ＣＰＵ１１は、受信した映像信号に基づいて画像表示部１４を制御することによって、画像表示部１４に軌跡画像２６を表示させる。ＨＤ１を装着したユーザは、画像表示部１４に表示された画像からの光がハーフミラー３を反射して左眼に入射することによって、軌跡画像２６を視認する。なお、ＨＤ１を装着したユーザの左眼には、視野範囲内の実像２２からの光がハーフミラー３を透過して入射するので、ユーザは、画像表示部１４に表示された軌跡画像２６が外界の実像２２に重ねられた光景を視認する。

なお、上述において、カメラ２０は、ＣＢ５０に対して撮影画像データを直接送信してもよい。又、画像表示部１４は、ＣＢ５０から映像信号を直接受信してもよい。

図４、図５を参照し、ＣＢ５０のＣＰＵ５１によって実行される処理の詳細について説明する。メイン処理は、電源スイッチ６２を介してＨＭＤ１の電源をオンする操作がされた場合に、プログラムＲＯＭ５３に記憶されたプログラムをＣＰＵ５１が実行することによって開始される。ＣＰＵ５１は、ＲＡＭ５２に記憶した変数ｎに０を代入して初期化する（Ｓ１０）。ｎは、後述するテーブル５４１（図７参照）に情報を記憶する場合に、記憶された順序を示すインデックスとして対応付けられる。ＣＰＵ５１は、ＨＤ１０から送信された撮影画像データを、接続コントローラ５８を介して受信する（Ｓ１１）。ＣＰＵ５１は、受信した撮影画像データをＲＡＭ５２に記憶する。

ＣＰＵ５１は、ＲＡＭ５２に記憶した撮影画像データに基づいて解析を行い（Ｓ１３）、撮影画像から指先を特定する。具体的には次の通りである。ＣＰＵ５１は、撮影画像データに対応する撮影画像から、肌色の領域を検出する。肌色領域の検出は、例えば、肌色に対応する所定の画素値（例えば、Ｒ＝２４１，Ｇ＝１８７，Ｂ＝１４７）を有する画素が連続している領域と検出することで可能である。なお、所定の画素値は他の値であってもよく、所定の幅を有してもよい。ＣＰＵ５１は、検出した肌色の領域全体を囲う多角形を特定する。ＣＰＵ５１は、特定した多角形の形状と、プログラムＲＯＭ５３に予め記憶された指先特定用の画像テンプレートとに基づいて、周知のパターンマッチング処理を行う。ＣＰＵ５１は、パターンマッチング処理によって算出された相互相関係数が所定の範囲内の値である場合、特定した多角形の形状と画像テンプレートとのパターンマッチングに成功したと判断する。この場合、ＣＰＵ５１は、多角形の形状の頂点を指先と特定する。なお、撮影画像に指先が含まれているかの判断方法は、上記方法に限定されない。

ＣＰＵ５１は、上記の方法で指先を特定できたか判断する（Ｓ１５）。ＣＰＵ５１は、指先を特定できた場合、撮影画像に指先が含まれていると判断する（Ｓ１５：ＹＥＳ）。ＣＰＵ５１は、ｎに１を加算する（Ｓ１６）。ＣＰＵ５１は、撮影画像に指先が含まれていると判断してからの経過時間を計測する為のタイマ変数の更新を開始する（Ｓ１７）。タイマ変数は、ＯＳによって一定周期（例えば１ｍｓ）周期で１ずつ加算される。ＣＰＵ５１は、タイマ変数の値に基づいて、撮影画像に指先が含まれていると判断してからの経過時間を特定できる。

ＣＰＵ５１は、特定された指先の位置を示す座標情報を特定する（Ｓ１８）。座標情報の基準点は、カメラ２０によって撮影される所定領域２１（図３参照）内の左下の隅とされる。所定領域２１の左右方向がＸ軸方向とされ、上下方向がＹ軸方向とされる。右方向及び上方向が正方向とされ、左方向及び下方向が負方向とされる。ＣＰＵ５１は、特定した座標情報をＲＡＭ５２に記憶する。

ＣＰＵ５１は、Ｓ１８で特定した座標情報に基づき、画像表示部１４に軌跡画像２６（図３参照）を表示させる為に、次の処理を行う。ＣＰＵ５１は、座標情報によって示される所定領域２１内の位置に対応する実像２２（図３参照）上の位置（指先の位置）を特定する。ＣＰＵ５１は、画像処理部５７を駆動し、特定した実像２２上の位置に表示する軌跡画像２６を形成させ、ビデオＲＡＭ５６に記憶させる。ＣＰＵ５１は、ビデオＲＡＭ５６に記憶された軌跡画像２６に基づいて映像信号を生成する。映像信号の形式は、Transition Minimized Differential Signaling（ＴＭＤＳ）、Low voltage differential signaling（ＬＶＤＳ）等である。ＣＰＵ５１は、接続コントローラ５８を介してＨＤ１０に映像信号を送信する（Ｓ１９）。なお、映像信号は、ＣＰＵ５１によって生成される場合に限らない。例えば映像信号は、ビデオＲＡＭ５６に記憶されたコンテンツ画像に基づいて接続コントローラ１９が生成してもよい。

なお上記のように、ＨＤ１０のＣＰＵ１１は、ＣＢ５０から送信された軌跡画像２６の映像信号を、接続コントローラ１９を介して受信する。ＣＰＵ１１は、受信した映像信号に基づいて画像表示部１４を制御することによって、画像表示部１４に軌跡画像２６を表示させる。従って、ＣＰＵ５１は、ＨＤ１０に対して映像信号を送信することによって、画像表示部１４に軌跡画像を表示させていることになる。以下では、ＣＰＵ５１が画像処理部５７を駆動して軌跡画像２６を形成させ、形成された軌跡画像２６をビデオＲＡＭ５６に記憶させ、ビデオＲＡＭ５６に記憶された軌跡画像２６に基づいて映像信号を生成し、ＨＤ１０に対して映像信号を送信することによって、画像表示部１４に軌跡画像２６を表示させることを、ＣＰＵ５１が画像表示部１４に軌跡画像２６を表示させるという。

又、後述するように、ＣＰＵ５１は、Ｓ３５で指先の位置の経時的な変化の傾向が所定の条件を満たすと判断する迄の間、又は、Ｓ４１、Ｓ４３、Ｓ４５で、指先を特定してからの経過時間が所定値よりも大きいと判断する迄の間、Ｓ１９を繰り返し実行し、軌跡画像２６を画像表示部１４に表示させる。又、後述するように、ＣＰＵ５１は、Ｓ２７の修正処理によって、修正した軌跡画像２６を画像表示部１４に表示させる。ここでＣＰＵ５１は、Ｓ１９でｎ回目に軌跡画像２６を画像表示部１４に表示させる場合、Ｓ１９及びＳ２７で画像表示部１４に表示させた１〜ｎ−１回目に対応する軌跡画像２６も、同時に表示させる。このため、Ｓ１９でｎ回目に軌跡画像２６が画像表示部１４に表示された場合、画像表示部１４にはｎ個の軌跡画像２６が表示された状態になる。

ＣＰＵ５１は、Ｓ１１で取得された撮影画像データに基づき、撮影画像のうち所定領域２１の四隅の近傍に配置された特徴的な点を、カメラ２０の撮影方向に対応する点として特定する（Ｓ２１）。以下、特定される特徴的な点を、参照点という。図６の撮影画像３１を参照して具体的に説明する。撮影画像３１は、ＨＤ１０から受信した撮影画像データに対応する撮影画像を示す。撮影画像３１を囲む枠線は、カメラ２０によって撮影される所定領域２１を示す。所定領域２１の形状は長方形である。ＣＰＵ５１は、所定領域２１の四隅の頂点３２Ａ（左上）、３２Ｂ（右上）、３２Ｃ（左下）、３２Ｄ（右下）の夫々を中心とする円弧３３Ａ、３３Ｂ、３３Ｃ、３３Ｄを定義する。以下、円弧３３Ａ〜３３Ｄを総称して、円弧３３という。円弧３３の半径は、所定領域２１の短辺の半分の長さよりも短い。ＣＰＵ５１は、撮影画像３１のうち円弧３３Ａを含む扇形の内部の部分３４Ａ（左上）、円弧３３Ｂを含む扇形の内部の部分３４Ｂ（右上）、円弧３３Ｃを含む扇形の内部の部分３４Ｃ（左下）、及び、円弧３３Ｄを含む扇形の内部の部分３４Ｄ（右下）の夫々の部分を抽出する。部分３４Ａ〜３４Ｄは、夫々、撮影画像３１のうち所定領域２１の四隅の近傍の部分に対応する。ＣＰＵ５１は、抽出した部分３４Ａ〜３４Ｄの夫々について、Ｓｏｂｅ１オペレータを用いた手法やキャニー法などの一次微分の勾配を利用したアルゴリズムや、勾配の局所的極大を検出するために二次微分のゼロ交差点を利用したアルゴリズムなど、周知のエッジ検出法によって境界点を検出する。ＣＰＵ５１は、検出された複数の境界点のうち濃度差が最も大きい点を、夫々の部分の中の特徴的な点として特定する。これによってＣＰＵ５１は、部分３４Ａ〜３４Ｄの夫々から参照点３５Ａ〜３５Ｄを特定する。以下、参照点３５Ａ〜３５Ｄを総称して参照点３５という。

なおＣＰＵ５１は、Ｓ２１（図４参照）が繰り返し実行された場合でも、撮影画像３１のうち共通する特徴的な点を、夫々の部分から参照点３５として特定できる。その理由は、参照点３５を特定する場合のエッジ検出法の各種パラメータ（勾配の値や濃度差）、及び、エッジ検出によって検出された複数の境界点から参照点を選択する場合のアルゴリズムが、Ｓ２１が繰り返し実行される場合の夫々で共通とされるためである。具体的には次の通りである。撮影画像３１に含まれる一軒家の屋根（参照点３５Ａ）、長屋の屋根（参照点３５Ｂ）、一軒家の玄関（参照点３５Ｃ）、及び、長屋の側壁の特定の位置（参照点３５Ｄ）の夫々が、参照点３５として特定された場合を例に挙げる。ＣＰＵ５１は、参照点３５Ａ〜３５Ｄの夫々の位置を示す座標情報と、エッジ検出法によって参照点３５Ａ〜３５Ｄの夫々を特定した時のパラメータとを関連付けてＲＡＭ５２に記憶する。ＣＰＵ５１は、Ｓ２１を繰り返し実行する場合、ＲＡＭ５２に記憶されたパラメータを参照する。具体的には、ＣＰＵ５１は、エッジ検出法によって複数の境界点を検出した時の複数のパラメータのうち、ＲＡＭ５２に記憶されたパラメータに最も近いパラメータに対応する境界点を、参照点３５として特定する。これによってＣＰＵ５１は、ユーザの頭部の向きが変更されることによってカメラ２０の撮影方向が変化し、撮影画像３１に含まれる風景が変化した場合でも、撮影画像３１に含まれる一軒家の屋根、長屋の屋根、一軒家の玄関、及び、長屋の側壁の特定の位置の夫々を、参照点３５Ａ〜３５Ｄとして繰り返し特定できる。

なお、参照点３５を４つ特定する理由は、ＨＤ１０を装着したユーザによる頭部の向きが変化することによって、カメラ２０によって撮影される所定領域２１の内側から参照点３５が外れる場合がある為である。又、カメラ２０によって撮影された所定領域２１内の参照点３５が、ユーザの手によって隠れる場合がある為である。ＣＰＵ５１は、所定領域２１の四隅の近傍の部分３４Ａ〜３４Ｄから合計４つの参照点３５を特定することによって、ユーザの頭部の向きが変化した場合や、ユーザの手の位置が変化した場合でも、常に何れかの参照点３５を特定できる。

図４に示すように、ＣＰＵ５１は、Ｓ１８で特定した指先の位置を示す座標情報のＸ成分から、Ｓ２１で特定した４つの参照点３５の位置を示す座標情報の夫々のＸ成分を減算し、４つのＸ成分の算出結果を特定する。ＣＰＵ５１は、Ｓ１８で特定した指先の位置を示す座標情報のＹ成分から、Ｓ２１で特定した４つの参照点３５の位置を示す座標情報の夫々のＹ成分を減算し、４つのＹ成分の算出結果を特定する。ＣＰＵ５１は、特定された４つのＸ成分の算出結果及び４つのＹ成分の算出結果の夫々を対応付け、４つの差分情報を特定する（Ｓ２３）。４つの差分情報の夫々は、４つの参照点３５の夫々の位置を基準とした場合の指先の位置の相対位置を示す。

なお、ＣＰＵ５１は、Ｓ２１で４つの参照点３５のうち何れかを特定できなかった場合、例えば、ＨＤ１０を装着したユーザが頭部の向きを変化させたことによって何れかの参照点３５が所定領域２１の内側から外れた場合、何れかの参照点３５に基づいて差分情報を算出しない。しかしながら上記のように、参照点３５は、所定領域２１の四隅の近傍の夫々から特定されるので、ＣＰＵ５１は、ユーザの頭部の向きが変化した場合でも、常に何れかの参照点３５から差分情報を算出できる。

ＣＰＵ５１は、Ｓ２１で特定した参照点３５の位置を示す４つの座標情報、Ｓ１８で特定した指先の位置を示す座標情報、及び、Ｓ２３で特定された４つの差分情報を関連付けて、図７に示すテーブル５４１に記憶する（Ｓ２５）。ＣＰＵ５１は、ｎの値をインデックスとして更に関連付けてテーブル５４１に記憶する。以下、参照点の位置を示す座標情報を第１情報という。指先の位置を示す座標情報を第２情報という。差分情報を第３情報という。

図７を参照し、テーブル５４１を説明する。テーブル５４１には、インデックス、４つの第１情報、第２情報、及び、４つの第３情報が関連付けられて記憶される。インデックスは、４つの第１情報、第２情報、及び、４つの第３情報がテーブル５４１に記憶された順序、言い換えれば、Ｓ１８で指先の位置が特定され、Ｓ２１で参照点３５の位置が特定され、Ｓ２３で第３情報が算出された順序を示す。

なお、図７は、図３の光景２５Ｆ〜２５Ｊで示された場合のように、カメラ２０の撮影方向が横方向に変化し、且つ、指先の位置を上から下に向けて垂直方向に移動した場合に作成されるテーブル５４１を具体的に示している。図３の光景２５Ｆ〜２５Ｊでは、カメラ２０の撮影方向が横方向に変化することに伴い、指先の位置は、所定領域２１内を右上から左下に向けて斜め方向に変化している。この位置の変化の傾向は、第２情報のＸ成分及びＹ成分の夫々がインデックスの増加に伴って１ずつ減少していることによって示されている。一方、４つの第３情報の夫々は、インデックスが増加するに従ってＹ成分のみ減少し、Ｘ成分は変化しない。その理由は、４つの第３情報の夫々は、参照点３５の位置を基準とした場合の指先の位置の相対位置を示している為である。参照点３５の位置は、カメラ２０の撮影方向に応じて変化するので、参照点３５の位置を基準とした場合の指先の位置の相対位置は、ユーザの頭部の動きの影響を受けない。このように、４つの第３情報の夫々は、指先の実際の動きに対応する位置の変化の傾向を示す。

図４に示すように、ＣＰＵ５１は、テーブル５４１を参照し、ｎ−１のインデックスに対応する第１情報をＳ２１で取得してから、ｎのインデックスに対応する第１情報をＳ２１で取得する迄の間に、参照点３５の位置に対する指先の相対位置が変化したか判断する（Ｓ２６）。具体的には次の通りである。ＣＰＵ５１は、テーブル５４１のうちｎ−１のインデックスに対応付けられた４つの第３情報と、ｎのインデックスに対応付けられた４つの第３情報とを取得する。以下、ｎ−１のインデックスに対応付けられた４つの第３情報を、４つの第３情報（ｎ−１）という。ｎのインデックスに対応付けられた４つの第３情報を、４つの第３情報（ｎ）という。ＣＰＵ５１は、取得した４つの第３情報（ｎ−１）、及び、４つの第３情報（ｎ）について、同一の参照点３５に対応する第３情報どうしを比較する。４つの第３情報の何れかが相違する場合、参照点３５を基準とした場合の指先の相対位置は変化していることになる。ＣＰＵ５１は、参照点３５を基準とした場合の指先の相対位置が変化していると判断した場合（Ｓ２６：ＹＥＳ）、画像表示部１４に表示された軌跡画像２６を修正する処理（修正処理、図５参照）を実行する（Ｓ２７）。

図５を参照し、修正処理を説明する。ＣＰＵ５１は、ｎが１よりも大きいか判断する（Ｓ５０）。ＣＰＵ５１は、ｎが１よりも大きくないと判断した場合（Ｓ５０：ＮＯ）、修正処理を終了させ、処理をメイン処理（図４参照）に戻す。ＣＰＵ５１は、ｎが１よりも大きいと判断した場合（Ｓ５０：ＹＥＳ）、ＲＡＭ５２に記憶された変数ｉに１を記憶する（Ｓ５３）。ＣＰＵ５１は、テーブル５４１のうちｉのインデックスに対応する４つの第１情報及び第２情報を取得する（Ｓ５５）。ＣＰＵ５１は、テーブル５４１のうちｎのインデックスに対応する４つの第１情報を取得する（Ｓ５７）。

ＣＰＵ５１は、Ｓ５５で取得した４つの第１情報（インデックス：ｉ）と、Ｓ５７で取得した４つの第１情報（インデックス：ｎ）とに基づき、同一の参照点３５に対応する第３情報どうしのＸ成分及びＹ成分の夫々の減算を行うことによって、４つの参照点３５の夫々に対応するＸ成分及びＹ成分の差分を算出する。以下、Ｘ成分の差分をＸ差分といい、Ｙ成分の差分をＹ差分という。ＣＰＵ５１は、同一の参照点３５毎に算出したＸ差分及びＹ差分のうち、何れかの参照点３５に対応するＸ差分及びＹ差分を選択する。例えばＣＰＵ５１は、撮影画像３１（図６参照）のうち左上の部分３４Ａ（図６参照）、右上の部分３４Ｂ（図６参照）、右下の部分３４Ｃ（図６参照）、及び右下の部分３４Ｄ（図６参照）の順を優先度として定めてもよい。ＣＰＵ５１は、優先度の高い部分から特定された参照点３５に対応するＸ差分及びＹ差分を優先的に選択してもよい。ＣＰＵ５１は、選択したＸ差分及びＹ差分を加算する。なお、Ｘ差分及びＹ差分を加算した値は、テーブル５４１のうちｉのインデックスに対応する第１情報をＳ１１で取得してから、ｎのインデックスに対応する第１情報をＳ１１で取得する迄の間の、参照点３５の位置の移動量に対応する。つまり、ＣＰＵ５１は、Ｘ差分及びＹ差分を加算することによって、参照点３５の位置の移動量に対応する値を算出する（Ｓ５９）。なお以下では、Ｘ差分及びＹ差分を加算することによって算出された値を、変化量と呼称する。なお、ＣＰＵ５１は、Ｘ差分及びＹ差分の夫々を２乗し、２乗された夫々の値を加算し、加算された値の平方根を算出することによって、変化量を算出してもよい。

ＣＰＵ５１は、Ｓ５９で算出した参照点３５の位置の変化量が所定値（例えば１）よりも小さいか判断する（Ｓ６１）。ＣＰＵ５１は、参照点３５の位置の変化量が所定値よりも小さいと判断した場合（Ｓ６１：ＹＥＳ）、処理をＳ６７に進める。ＣＰＵ５１は、参照点３５の位置の変化量が所定値よりも小さくない場合（Ｓ６１：ＮＯ）、次の処理を行うことによって、テーブル５４１のうちｉのインデックスに対応する第２情報を補正する（Ｓ６３）。ＣＰＵ５１は、テーブル５４１のうちｉのインデックスに対応する第２情報のＸ成分から、Ｓ５９で算出されたＸ差分を減算する。ＣＰＵ５１は、テーブル５４１のうちｉのインデックスに対応する第２情報のＹ成分から、Ｓ５９で算出されたＹ差分を減算する。以下、Ｘ成分及びＹ成分の算出結果を、補正情報といい、補正情報によって示される位置を補正位置という。ＣＰＵ５１は、ｉ、ｎと補正情報とを関連付けて、図８に示すテーブル５２１に記憶する（Ｓ６５）。

図８を参照し、テーブル５２１を説明する。テーブル５２１は、ｉ，ｎと補正情報とを関連付けて記憶する。なお図８では、理解を容易とする為に、補正前の第２情報と矢印とが、夫々の補正情報の前に追加して示されている。又、後述するように、ｉ＝ｎの場合には補正情報は算出されない（Ｓ６９、図５参照）が、理解を容易とする為、Ｓ１９（図４参照）でｎ番目に表示された軌跡画像２６の位置を示す座標情報が、ｉ＝ｎに対応付けて示されている。テーブル５２１の詳細は後述する。

図５に示すように、ＣＰＵ５１は、Ｓ６５で補正情報をテーブル５２１に記憶した後、ｉに１を加算する（Ｓ６７）。ＣＰＵ５１は、Ｓ６７で１を加算したｉとｎとを比較する（Ｓ６９）。ＣＰＵ５１は、ｉとｎとが一致しないと判断した場合（Ｓ６９：ＮＯ）、ｉがｎよりも小さいと判断する。この場合、ＣＰＵ５１は処理をＳ５５に戻す。ＣＰＵ５１は、Ｓ６７で１が加算されたｉに基づいてＳ５５〜Ｓ６７の処理を繰り返す。これによってＣＰＵ５１は、テーブル５４１に記憶された第２情報をインデックスの順番に補正し、ｉ、ｎと補正情報とを関連付けてテーブル５２１に記憶する。

ｉとｎとが一致した場合、テーブル５４１のうち１からｎ−１のインデックスの夫々に対応する第２情報は、全て補正されたことになる。ＣＰＵ５１は、ｉとｎとが一致したと判断した場合（Ｓ６９：ＹＥＳ）、画像表示部１４に表示された状態の軌跡画像２６のうち、１〜ｎ−１番目に対応する軌跡画像２６を消去する（Ｓ７１）。１〜ｎ−１番目に対応する軌跡画像２６とは、Ｓ１９で１〜ｎ番目に表示された軌跡画像２６の夫々の位置がＳ６３で補正され、後述するＳ７３で補正位置に表示された軌跡画像２６を示す。

具体的には次の通りである。ＣＰＵ５１は、テーブル５４１のうちｎのインデックスに対応する第２情報によって示される所定領域２１内の位置を特定する。次にＣＰＵ５１は、特定した位置に対応する実像２２上の位置に重ねる軌跡画像２６を、画像表示部１４に表示させる。これによって、Ｓ１９でｎ番目に表示された軌跡画像２６のみ表示され、１〜ｎ−１番目に対応する軌跡画像２６が表示されない状態になる。次に、ＣＰＵ５１は、テーブル５２１に記憶した補正情報によって示される所定領域２１内の補正位置を特定する。ＣＰＵ５１は、特定した補正位置に対応する実像２２上の位置に重ねる軌跡画像２６を、画像表示部１４に表示させる（Ｓ７３）。これによって、Ｓ７１で消去された１〜ｎ−１番目に対応する軌跡画像２６の夫々の代わりに、位置が修正されたｎ−１個の軌跡画像２６が、ｎ番目に表示された軌跡画像２６に追加して表示される。ＣＰＵ５１は修正処理を終了させ、処理をメイン処理（図４参照）に戻す。

以下、ｎ番目に表示された軌跡画像２６を、ｎ番目の軌跡画像２６という。又、１〜ｎ−１番目の軌跡画像２６が、修正処理によって位置が補正位置に補正され、画像表示部１４に表示された場合の軌跡画像２６を、１〜ｎ−１番目の軌跡画像という。

図４に示すように、修正処理（Ｓ２７）の終了後、ＣＰＵ５１は、テーブル５４１に記憶された複数の第３情報に基づいて、指先の位置の経時的な変化が所定の条件を満たすか判断する（Ｓ２９、Ｓ３５）。

判断の具体的な方法は次の通りである。ＣＰＵ５１は、テーブル５４１のうち、複数のインデックスの夫々に関連付けて記憶された４つの第３情報のうち、何れかの参照点３５に対応する第３情報を選択する。例えばＣＰＵ５１は、撮影画像３１（図６参照）のうち左上の部分３４Ａ（図６参照）、右上の部分３４Ｂ（図６参照）、右下の部分３４Ｃ（図６参照）、及び右下の部分３４Ｄ（図６参照）の順を優先度として定めてもよい。ＣＰＵ５１は、優先度の高い部分から特定された参照点３５に対応する第３情報を選択してもよい。次にＣＰＵ４１は、インデックス毎に選択された複数の第３情報の夫々によって示される位置を、インデックスの順に線で結び、指先の移動の軌跡を示す線分として特定する。これによってＣＰＵ５１は、指先の位置の経時的な変化、即ち、指先の動きを特定する（Ｓ２９）。

ＣＰＵ５１は、特定した線分と、プログラムＲＯＭ５３に予め記憶された軌跡特定用の複数の画像テンプレートとに基づいて、周知のパターンマッチング処理を行う。軌跡特定用の複数の画像テンプレートは、特定の形状を示す画像のテンプレートである。特定の形状とは、例えば、上下方向に延びる直線、左右方向に延びる直線、三角形、円形等である。ＣＰＵ５１は、パターンマッチング処理によって複数の画像テンプレートの夫々に対応する複数の相互相関係数を算出し、最も１に近い相互相関係数が所定の範囲内の値であるか判断する。ＣＰＵ５１は、最も１に近い相互相関係数が所定の範囲内の値である場合、パターンマッチングに成功したと判断する。この場合ＣＰＵ５１は、指先の位置の変化の傾向が、最も１に近い相互相関係数に対応する画像テンプレートによって示される特定の形状と一致すると判断する（Ｓ３５：ＹＥＳ）。なお、複数の第３情報は、参照点３５に対する相対位置を示しているので、実際の指先の位置を示す。このためＣＰＵ５１は、カメラ２０による撮影方向が変化した場合でも、指先の位置の変化の傾向が所定の条件を満たしているかを、上記の処理によって適切に判断できる。ＣＰＵ５１は処理をＳ３７に進める。

なお、指先の位置の経時的な変化が所定の条件を満たすかの判断方法は、上記の方法に限定されない。例えばＣＰＵ５１は、インデックス毎に選択された複数の第３情報の変化の傾向が、複数の所定の条件式のうち何れかを満たす場合、指先の動きが、何れかの所定の条件式に対応する条件を満たすと判断してもよい。

ＣＰＵ５１は、画像表示部１４に表示させた軌跡画像２６を全て消去する（Ｓ３７）。理由は、指先の位置の経時的な変化が所定の条件を満たすと既に判断されているので、ユーザはこれ以上指先を移動させる必要がなく、軌跡画像２６はユーザにとって不要となる為である。従ってＣＰＵ５１は、上記処理によって、ユーザにとって不要な軌跡画像２６を消去できる。又、ＣＰＵ５１は、軌跡画像２６を消去することによって、指先の位置の変化の傾向が所定の条件を満たすと判断したことをユーザに通知できる。

ＣＰＵ５１は、プログラムＲＯＭ５３に記憶された処理内容ＤＢを参照する。処理内容ＤＢには、複数の画像テンプレートの種別を示す情報と、ＨＭＤ１の処理内容を示す情報とが関連付けて記憶されている。ＣＰＵ５１は、Ｓ３５で指先の動きを判断する時に算出された１に最も近い相互相関係数に対応する画像テンプレートに対応する処理内容を、処理内容ＤＢを参照することによって特定する。ＣＰＵ５１は、特定した処理内容に基づいて処理を実行する（Ｓ３９）。処理内容ＤＢを参照することによって、ＣＰＵ５１は、指先の位置の変化の傾向に対応する処理を容易に特定できる。ＣＰＵ５１は、Ｓ１７で開始したタイマ変数の更新を停止する（Ｓ４０）。ＣＰＵ５１は処理をＳ１１に戻す。

ＣＰＵ５１は、上記の処理が繰り返される中で、Ｓ１１で受信された撮影画像データに対応する撮影画像から指先を特定できないと判断した場合（Ｓ１５：ＮＯ）、Ｓ１７で更新を開始したタイマ変数の値に基づいて、撮影画像に指先が含まれていない状態の経過時間を特定する。ＣＰＵ５１は、特定した経過時間が所定値（以下、第１時間という。）よりも大きく、且つ、画像表示部１４に軌跡画像２６を表示させているか判断する（Ｓ４１）。ＣＰＵ５１は、特定した経過時間が第１時間よりも大きくないか、又は、画像表示部１４に軌跡画像２６を表示させていないと判断した場合（Ｓ４１：ＮＯ）、処理をＳ１１に戻す。ＣＰＵ５１は、特定した経過時間が第１時間よりも大きく、且つ、画像表示部１４に軌跡画像２６を表示させていると判断した場合（Ｓ４１：ＹＥＳ）、画像表示部１４に表示させた軌跡画像２６を全て消去する（Ｓ４２）。ＣＰＵ５１は処理をＳ４０に進める。

カメラ２０によって撮影される所定領域２１内に指先が含まれていると最初に判断された後（Ｓ１５）、第１時間以上継続して指先が所定領域２１内に含まれない状態となった場合（Ｓ４１：ＹＥＳ）、ユーザは、ＨＭＤ１に特定の処理を実行させるための指先の移動動作を行っていない場合がある。又、このような場合、Ｓ３５で、指先の位置の経時的な変化が所定の条件を満たすか否かを判断できなくなる。このような場合、軌跡画像２６はユーザにとって不要となる。従ってＣＰＵ５１は、上記処理によって、ユーザにとって不要な軌跡画像２６を消去できる。

ＣＰＵ５１は、上記の処理が繰り返される中で、Ｓ２６の処理で、４つの第３情報（ｎ−１）と４つの第３情報（ｎ）とについて同一の参照点３５に対応する第３情報どうしを比較し、何れも相違しないと判断した場合、参照点３５を基準とした場合の指先の相対位置が変化していないと判断する（Ｓ２６：ＮＯ）。ＣＰＵ５１は、Ｓ１７で更新を開始したタイマ変数の値に基づいて、参照点３５を基準とした場合の指先の相対位置が変化しない状態の経過時間を特定する。ＣＰＵ５１は、特定した経過時間が所定値（以下、第２時間という。）よりも大きく、且つ、画像表示部１４に軌跡画像２６を表示させているか判断する（Ｓ４３）。ＣＰＵ５１は、特定した経過時間が第２時間よりも大きくないか、又は、画像表示部１４に軌跡画像を表示させていないと判断した場合（Ｓ４３：ＮＯ）、処理をＳ１１に戻す。ＣＰＵ５１は、特定した経過時間が第２時間よりも大きく、且つ、画像表示部１４に軌跡画像を表示させていると判断した場合（Ｓ４３：ＹＥＳ）、画像表示部１４に表示させた軌跡画像２６を全て消去する（Ｓ４４）。ＣＰＵ５１は処理をＳ４０に進める。

カメラ２０によって撮影される所定領域２１内に指先が含まれていると最初に判断された後（Ｓ１５）、参照点３５を基準とした場合の指先の相対位置が変化しない状態が第２時間以上継続した場合（Ｓ４３：ＹＥＳ）、ユーザは、ＨＭＤ１に特定の処理を実行させるための指先の移動動作を行っていない場合可能性が高い。このような場合、軌跡画像２６はユーザにとって不要となる。従ってＣＰＵ５１は、上記処理によって、ユーザにとって不要な軌跡画像２６を消去できる。

ＣＰＵ５１は、上記の処理が繰り返される中で、Ｓ３５の処理で、最も１に近い相互相関係数が所定の範囲外の値である場合、指先の動きが、複数の画像テンプレートによって示される条件を満たしていないと判断する（Ｓ３５：ＮＯ）。ＣＰＵ５１は、Ｓ１７で更新を開始したタイマ変数の値に基づいて、指先の動作が所定の条件を満たしていない状態の経過時間を特定する。ＣＰＵ５１は、特定した経過時間が所定値（以下、第３時間という。）よりも大きいか判断する（Ｓ４５）。ＣＰＵ５１は、特定した経過時間が第３時間よりも大きくないと判断した場合（Ｓ４５：ＮＯ）、処理をＳ１１に戻す。ＣＰＵ５１は、特定した経過時間が第３時間よりも大きいと判断した場合（Ｓ４５：ＹＥＳ）、画像表示部１４に表示させた軌跡画像２６を全て消去する（Ｓ４６）。ＣＰＵ５１は処理をＳ４０に進める。

カメラ２０によって撮影される所定領域２１内に指先が含まれていると最初に判断され（Ｓ１５）、軌跡画像２６が表示された（Ｓ１９）後、指先の動作が所定の条件を満たさない状態が第３時間以上継続した場合（Ｓ４５：ＹＥＳ）、ユーザは、ＨＭＤ１に特定の処理を実行させるための指先の移動動作を行っていない可能性が高い。このような場合、軌跡画像２６はユーザにとって不要となる。従ってＣＰＵ５１は、上記処理によって、ユーザにとって不要な軌跡画像２６を消去できる。

図４、図５、図７〜図９を参照し、軌跡画像２６が画像表示部１４に表示される場合について、具体的に説明する。ＣＰＵ５１は、ｎが「１」の状態でメイン処理（図４参照）のＳ１７以降を実行する場合、テーブル５４１（図７参照）のうち「１」のインデックスに対応する第２情報（１３，８）に基づき、画像表示部１４の対応する位置に軌跡画像２６Ｆ（光景２５Ｆ、図９参照）を１番目の軌跡画像として表示させる（Ｓ１９、図４参照）。ＣＰＵ５１は、修正処理（Ｓ２７、図４参照）を実行した場合、ｎが１より大きくないので（Ｓ５０：ＮＯ、図５参照）、第２情報の補正（Ｓ６３、図５参照）を行わず、テーブル５２１（図８参照）に補正情報を記憶しない（但し、テーブル５２１では、上記で説明したように、理解を容易とする為に、軌跡画像２６Ｆに対応する位置を示す第２情報（１３，８）が、ｉ＝ｎ＝１に対応付けて示されている。）。

次に、ＣＰＵ５１は、ｎが「２」の状態でメイン処理のＳ１７以降を実行する場合、テーブル５４１のうち「２」のインデックスに対応する第２情報（１２，７）に基づき、画像表示部１４の対応する位置に軌跡画像２６Ｇ（光景２５Ｇ、図９参照）を２番目の軌跡画像として表示させる（Ｓ１９、図４参照）。又、ＣＰＵ５１は、１番目の軌跡画像２６Ｆも画像表示部１４に表示させる（Ｓ１９）。テーブル５２１では、軌跡画像２６Ｇに対応する位置を示す第２情報（１２，７）が、ｉ＝ｎ＝２に対応付けて示されている。ＣＰＵ５１は、修正処理（Ｓ２７、図４参照）を実行した場合、ｎが「１」より大きいので（Ｓ５０：ＹＥＳ、図５参照）、次のようにして第２情報の補正を行う。

ＣＰＵ５１は、「１」（＝ｉ）のインデックスに対応する第１情報（５，９）（１５，９）（５，１）（１５，１）及び第２情報（１３，８）を、テーブル５４１（図７参照）から取得する（Ｓ５５、図５参照）。ＣＰＵ５１は、「２」（＝ｎ）のインデックスに対応する第１情報（４，９）（１４，９）（４，１）（１４，１）を、テーブル５４１（図７参照）から取得する（Ｓ５７、図５参照）。ＣＰＵ５１は、Ｓ５５及びＳ５７の夫々で取得した第１情報に基づいて、Ｘ差分及びＹ差分を算出する。算出されるＸ差分は何れも「１」であり、Ｙ差分は何れも「０」である。ＣＰＵ５１は、Ｘ差分とＹ差分とを加算し、参照点３５の位置の変化量「１」を算出する（Ｓ５９、図５参照）。算出される参照点３５の位置の変化量「１」は所定値「１」よりも小さくないので（Ｓ６１：ＮＯ、図５参照）、ＣＰＵ５１は、テーブル５４１のうち「１」（＝ｉ）のインデックスに対応する第２情報のＸ成分「１３」から、Ｓ５９で算出されたＸ差分「１」を減算し、補正後のＸ成分「１２」を得る。ＣＰＵ５１は、テーブル５４１のうち「１」（＝ｉ）のインデックスに対応する第２情報のＹ成分「８」から、Ｓ５９で算出されたＹ差分「０」を減算し、補正後のＹ成分「８」を得る。ＣＰＵ５１は、補正情報（１２，８）を特定し、ｉ＝１、ｎ＝２に対応付けてテーブル５２１（図８参照）に記憶する（Ｓ６５、図５参照）。これによって、第２情報は（１３，８）から（１２，８）に修正されたことになる。

ＣＰＵ５１は、ｉ（＝１）に「１」を加算した結果「２」がｎ（＝２）と同一であるため（Ｓ６９：ＹＥＳ、図５参照）、テーブル５４１のうち「１」（＝ｎ−１）のインデックスに対応する第２情報に基づいて画像表示部１４に表示させた１番目の軌跡画像２６Ｆを消去する（Ｓ７１、図５参照）（光景２５Ｇ、図９参照）。ＣＰＵ５１は、画像表示部１４のうちテーブル５２１に記憶された補正情報（１２，８）によって示される補正位置に、軌跡画像２６１（光景２５Ｇ、図９参照）を、新たな１番目の軌跡画像として表示させる（Ｓ７３、図５参照）。図９に示すように、軌跡画像２６１（補正情報：（１２，８））は、消去した軌跡画像２６Ｆ（座標情報：（１３，８））に対して左方に配置する。また軌跡画像２６１は、Ｓ１９（図４参照）で表示させた軌跡画像２６Ｇ（座標情報：（１２，７））に対して垂直上側に配置する。

ＣＰＵ５１は、ｎが「３」の状態でメイン処理のＳ１７以降を実行する場合、テーブル５４１のうち「３」のインデックスに対応する第２情報（１１，６）に基づき、画像表示部１４の対応する位置に軌跡画像２６Ｈ（光景２５Ｈ、図９参照）を３番目の軌跡画像として表示させる（Ｓ１９、図４参照）。又、ＣＰＵ５１は、１番目の軌跡画像２６１、及び、２番目の軌跡画像２６Ｇも画像表示部１４に表示させる（Ｓ１９）。ＣＰＵ５１は、修正処理（Ｓ２７、図４参照）を実行した場合、ｎが「１」より大きいので（Ｓ５０：ＹＥＳ、図５参照）、次のようにして第２情報の補正を行う。

ＣＰＵ５１は、「１」（＝ｉ）のインデックスに対応する第１情報及び第２情報を、テーブル５４１（図７参照）から取得する（Ｓ５５、図５参照）。ＣＰＵ５１は、「３」（＝ｎ）のインデックスに対応する第１情報（３，９）（１３，９）（３，１）（１３，１）を、テーブル５４１（図７参照）から取得する（Ｓ５７、図５参照）。ＣＰＵ５１は、Ｓ５５及びＳ５７の夫々で取得した第１情報に基づいて、Ｘ差分及びＹ差分を算出する。算出されるＸ差分は何れも「２」であり、Ｙ差分は何れも「０」である。ＣＰＵ５１は、Ｘ差分とＹ差分とを加算し、参照点３５の位置の変化量「２」を算出する（Ｓ５９、図５参照）。算出される参照点３５の位置の変化量「２」は所定値「１」よりも小さくないので（Ｓ６１：ＮＯ、図５参照）、ＣＰＵ５１は、テーブル５４１のうち「１」（＝ｉ）のインデックスに対応する第２情報のＸ成分「１３」から、Ｓ５９で算出されたＸ差分「２」を減算し、補正後のＸ成分「１１」を得る。ＣＰＵ５１は、テーブル５４１のうち「１」（＝ｉ）のインデックスに対応する第２情報のＹ成分「８」から、Ｓ５９で算出されたＹ差分「０」を減算し、補正後のＹ成分「８」を得る。ＣＰＵ５１は、補正情報（１１，８）を特定し、ｉ＝１、ｎ＝３に対応付けてテーブル５２１（図８参照）に記憶する（Ｓ６５、図５参照）。これによって、第２情報は（１３，８）から（１１，８）に修正されたことになる。ＣＰＵ５１は、ｉ（＝１）に「１」を加算した結果「２」がｎ（＝３）より小さいので（Ｓ６９：ＮＯ、図５参照）、１が加算されたｉ（＝２）に基づいて処理を繰り返す。

ＣＰＵ５１は、「２」（＝ｉ）のインデックスに対応する第１情報（４，９）（１４，９）（４，１）（１４，１）及び第２情報（１２，７）を、テーブル５４１（図７参照）から取得する（Ｓ５５、図５参照）。ＣＰＵ５１は、「３」（＝ｎ）のインデックスに対応する第１情報を、テーブル５４１（図７参照）から取得する（Ｓ５７）。ＣＰＵ５１は、Ｓ５５及びＳ５７の夫々で取得した第１情報に基づいて、Ｘ差分及びＹ差分を算出する。算出されるＸ差分は何れも「１」であり、Ｙ差分は何れも「０」である。ＣＰＵ５１は、Ｘ差分とＹ差分とを加算し、参照点３５の位置の変化量「１」を算出する（Ｓ５９、図５参照）。算出される参照点３５の位置の変化量「１」は所定値「１」よりも小さくないので（Ｓ６１：ＮＯ、図５参照）、ＣＰＵ５１は、テーブル５４１のうち「２」（＝ｉ）のインデックスに対応する第２情報のＸ成分「１２」から、Ｓ５９で算出されたＸ差分「１」を減算し、補正後のＸ成分「１１」を得る。ＣＰＵ５１は、テーブル５４１のうち「２」（＝ｉ）のインデックスに対応する第２情報のＹ成分「７」から、Ｓ５９で算出されたＹ差分「０」を減算し、補正後のＹ成分「７」を得る。ＣＰＵ５１は、補正情報（１１，７）を特定し、ｉ＝２、ｎ＝３に対応付けてＲＡＭ５２に記憶する（Ｓ６５、図５参照）。これによって、第２情報は（１２，７）から（１１，７）に修正されたことになる。

ＣＰＵ５１は、ｉ（＝２）に「１」を加算した結果「３」がｎ（＝３）と同一であるため（Ｓ６９：ＹＥＳ、図５参照）、テーブル５４１のうち「１」「２」（＝ｎ−１）のインデックスに対応する第２情報に基づいて表示させた１番目の軌跡画像２６１、及び、２番目の軌跡画像２６Ｇを消去する（Ｓ７１、図５参照）（光景２５Ｈ、図９参照）。ＣＰＵ５１は、画像表示部１４のうちテーブル５２１に記憶された補正情報（１１，８）によって示される補正位置に、軌跡画像２６２（光景２５Ｈ、図９参照）を、新たな１番目の軌跡画像として表示させる。又、補正情報（１１，７）によって示される補正位置に、軌跡画像２６３（光景２５Ｈ、図９参照）を、新たな２番目の軌跡画像として表示させる（Ｓ７３、図５参照）。図９に示すように、軌跡画像２６２（補正情報：（１１，８））は、消去された軌跡画像２６１（補正情報：（１２，８））に対して左方に配置する。又、軌跡画像２６３（補正情報：（１１，７））は、消去された軌跡画像２６Ｇ（座標情報：（１２，７））に対して左方に配置する。又、軌跡画像２６２、２６３は、Ｓ１９（図４参照）で表示させた軌跡画像２６Ｈ（座標情報：（１１，６））に対して垂直上側に配置する。

以上の処理は、メイン処理のＳ３５で指先の位置の経時的な変化が所定の条件を満たすと判断されるまで繰り返される。これによって、図９の光景２５Ｉ、２５Ｊで示されるように、ｎ−１番目の軌跡画像２６は、修正処理（Ｓ２７参照）が繰り返される毎に補正される。従って、光景２５Ｉの軌跡画像２６４〜２６６、２６Ｉ、及び、光景２５Ｊの軌跡画像２６７〜２７０、２６Ｊで示されるように、軌跡画像２６は、上から下に向けて垂直に並んだ状態になる。なお、この配置は、実際の指先の位置の経時的な変化の傾向を示す。

以上説明したように、ＣＰＵ５１は、第１情報（参照点３５の位置を示す情報）と、第２情報（指先の位置を示す情報）とに基づいて第３情報を決定し、テーブル５４１に記憶する。第３情報は、参照点３５に対する指先の相対位置を特定可能な情報である。参照点３５の位置は、カメラ２０の撮影方向が変化することに応じて変化する。このため、参照点３５に対する指先の相対位置の経時的な変化は、カメラ２０の撮影方向が変化した場合でも、実際の指先の動きを示す。ＣＰＵ５１は、指先の相対位置の経時的な変化の傾向が所定の条件を満たす場合、対応する処理を実行する。これによってＣＰＵ５１は、カメラ２０による撮影方向が変化した場合でも、実際の指先の動きを正確に特定し、対応する処理を実行できる。

又、ＣＰＵ５１は、ＨＤ１０を装着したユーザの頭部の向きが変化し、カメラ２０の撮影方向が変化した場合でも、所定領域２１の変化分を排除した軌跡画像２６を、実際の指先の移動の様子を示す軌跡画像２６として表示できる。従ってユーザは、所定の条件に合致するように指先を適切に移動させることができる。又、ユーザは、指先が所定の条件に合致するように移動しているかを容易に確認できる。又、画像表示部１４に表示された直後の軌跡画像２６、即ち、ｎ番目に画像表示部１４に表示された軌跡画像２６は、実像２２に含まれる手２３の指先の位置と一致する。このためユーザは、軌跡画像２６が指先の位置を示していることを違和感なく認識できる。

本発明は上記実施形態に限定されず、種々の変更が可能である。図７、図１０、図１１を参照し、変形例における修正処理を説明する。図１０の修正処理は、図４のメイン処理のＳ２７で、図５の修正処理の代わりに実行される。メイン処理は上記実施形態と同一である為、処理を省略する。

図１０を参照し、変形例における修正処理を説明する。ＣＰＵ５１は、ＲＡＭ５２に記憶されたｎが１よりも大きいか判断する（Ｓ７０）。ＣＰＵ５１は、ｎが１よりも大きくないと判断した場合（Ｓ７０：ＮＯ）、修正処理を終了させ、処理をメイン処理（図４参照）に戻す。ＣＰＵ５１は、ｎが１よりも大きいと判断した場合（Ｓ７０：ＹＥＳ）、ｉの値としてｎを設定する（Ｓ７１）。ＣＰＵ５１は、テーブル５４１（図７参照）のうち「１」のインデックスに対応する４つの第１情報を取得する（Ｓ７５）。ＣＰＵ５１は、テーブル５４１のうちｉ（＝ｎ）のインデックスに対応する４つの第１情報及び第２情報を取得する（Ｓ７７）。

ＣＰＵ５１は、Ｓ７５で取得した４つの第１情報（インデックス：１）と、Ｓ７７で取得した４つの第１情報（インデックス：ｉ）とに基づき、同一の参照点３５に対応する第３情報どうしのＸ成分及びＹ成分の夫々の減算を行うことによって、４つの参照点３５の夫々に対応するＸ成分及びＹ成分の差分（Ｘ差分及びＹ差分））を算出する。ＣＰＵ５１は、同一の参照点３５毎に算出したＸ差分及びＹ差分のうち、何れかの参照点３５に対応するＸ差分及びＹ差分を選択する。ＣＰＵ５１は、選択したＸ差分及びＹ差分を加算し、参照点３５の位置の変化量を算出する（Ｓ７９）。

ＣＰＵ５１は、Ｓ７９で算出した参照点３５の位置の変化量が所定値（例えば「１」）よりも小さいか判断する（Ｓ８１）。ＣＰＵ５１は、参照点３５の位置の変化量が所定値よりも小さいと判断した場合（Ｓ８１：ＹＥＳ）、修正処理を終了させ、処理をメイン処理（図４参照）に戻す。ＣＰＵ５１は、参照点３５の位置の変化量が所定値よりも小さくないと判断した場合（Ｓ８１：ＮＯ）、次の処理を行うことによって、テーブル５４１のうちｉ（＝ｎ）のインデックスに対応する第２情報を補正する（Ｓ８３）。具体的には次の通りである。ＣＰＵ５１は、テーブル５４１のうちｉのインデックスに対応する第２情報のＸ成分に、Ｓ７９で算出されたＸ差分を加算する。ＣＰＵ５１は、テーブル５４１のうちｉのインデックスに対応する第２情報のＹ成分に、Ｓ７９で算出されたＹ差分を加算する。ＣＰＵ５１は、算出されたＸ成分及びＹ成分を含む補正情報を、ｉ（＝ｎ）、ｎと補正情報とを関連付けて、テーブル５２１（図１１参照）に記憶する（Ｓ８５）。

図１１に示すように、テーブル５２１では、上記のように補正情報が記憶されることによって、ｉ＝ｎに補正情報が関連付けて記憶される。なお図１１では、理解を容易とする為に、補正前の第２情報と矢印とが、夫々の補正情報の前に追加して示されている。又、ｉ＝ｎ以外に対応する情報は記憶されないが、理解を容易とする為、補正情報に基づいて継続して画像表示部１４に表示される軌跡画像２６の位置を示す座標情報が示されている。

図１０に示すように、ＣＰＵ５１は、画像表示部１４に表示された状態の軌跡画像２６のうち、Ｓ１９（図４参照）で表示されたｎ番目の軌跡画像２６を消去する（Ｓ８７）。これによって、１〜ｎ−１番目に対応する軌跡画像２６が画像表示部１４に表示された状態になる。１〜ｎ−１番目に対応する軌跡画像２６とは、Ｓ１９で１〜ｎ−１番目に表示された軌跡画像２６の夫々の位置が、ｉ＝１〜ｎ−１の時に実行された補正処理のＳ８３で補正され、更に、ｉ＝１〜ｎ−１の時に実行された補正処理のＳ８９（後述）で、補正位置に表示された軌跡画像２６を示す。

次にＣＰＵ５１は、テーブル５２１に記憶した補正情報によって示される所定領域２１内の補正位置を特定する。ＣＰＵ５１は、特定した位置に対応する実像２２上の位置に重ねる軌跡画像２６を、画像表示部１４に表示させる（Ｓ８９）。これによって、Ｓ８７で消去されたｎ番目に対応する軌跡画像２６の代わりに、位置が修正されたｎ番目に対応する軌跡画像２６が、１〜ｎ−１番目に対応する軌跡画像２６に追加して表示される。ＣＰＵ５１は修正処理を終了させ、処理をメイン処理（図４参照）に戻す。

図４、図１０〜図１２を参照し、軌跡画像２６が画像表示部１４に表示される場合について、具体的に説明する。ＣＰＵ５１は、ｎが「１」の状態でメイン処理（図４参照）のＳ１７以降を実行する場合、テーブル５４１（図７参照）のうち「１」のインデックスに対応する第２情報（１３，８）に基づき、画像表示部１４の対応する位置に軌跡画像２６Ｆ（光景２５Ｆ、図１２参照）を表示させる（Ｓ１９、図４参照）。ＣＰＵ５１は、修正処理（Ｓ２７、図４参照）を実行した場合、ｎが１より大きくないので（Ｓ７０：ＮＯ、図１０参照）、第２情報の補正（Ｓ８３、図１０参照）を行わず、テーブル５２１（図１１参照）に補正情報を記憶しない（但し、テーブル５２１では、上記で説明したように、理解を容易とする為に、軌跡画像２６Ｆに対応する位置を示す第２情報（１３，８）が、ｉ＝ｎ＝１に対応付けて示されている。）。

次に、ＣＰＵ５１は、ｎが「２」の状態でメイン処理のＳ１７以降を実行する場合、テーブル５４１のうち「２」のインデックスに対応する第２情報（１２，７）に基づき、画像表示部１４の対応する位置に軌跡画像２６Ｇ（光景２５Ｇ、図１２参照）を表示させる（Ｓ１９、図４参照）。ＣＰＵ５１は、修正処理（Ｓ２７、図４参照）を実行した場合、ｎが「１」より大きいので（Ｓ７０：ＹＥＳ、図１０参照）、次のようにして第２情報の補正を行う。

ＣＰＵ５１は、「１」のインデックスに対応する第１情報（５，９）（１５，９）（５，１）（１５，１）を、テーブル５４１（図７参照）から取得する（Ｓ７５、図１０参照）。ＣＰＵ５１は、「２」（＝ｉ＝ｎ）のインデックスに対応する第１情報（４，９）（１４，９）（４，１）（１４，１）及び第２情報（１２，７）を、テーブル５４１（図７参照）から取得する（Ｓ７７、図１０参照）。ＣＰＵ５１は、Ｓ７５及びＳ７７の夫々で取得した第１情報に基づいて、Ｘ差分及びＹ差分を算出する。算出されるＸ差分は何れも「１」であり、Ｙ差分は何れも「０」である。ＣＰＵ５１は、Ｘ差分とＹ差分とを加算し、参照点３５の位置の変化量「１」を算出する（Ｓ７９、図１０参照）。算出される参照点３５の位置の変化量「１」は所定値「１」よりも小さくないので（Ｓ８１：ＮＯ、図１０参照）、ＣＰＵ５１は、テーブル５４１のうち「２」（＝ｉ＝ｎ）のインデックスに対応する第２情報のＸ成分「１２」に、Ｓ７９で算出されたＸ差分「１」を加算し、補正後のＸ成分「１３」を得る。ＣＰＵ５１は、テーブル５４１のうち「２」のインデックスに対応する第２情報のＹ成分「７」に、Ｓ５９で算出されたＹ差分「０」を加算し、補正後のＹ成分「７」を得る。ＣＰＵ５１は、補正情報（１３，７）を特定し、ｉ＝２、ｎ＝２に対応付けてテーブル５２１（図１１参照）に記憶する（Ｓ８５、図１０参照）。これによって、第２情報は（１２，７）から（１３，７）に修正されたことになる。

ＣＰＵ５１は、テーブル５４１のうち「２」（＝ｉ＝ｎ）のインデックスに対応する第２情報に基づいて画像表示部１４に表示させた軌跡画像２６Ｇを消去する（Ｓ８７）（光景２５Ｇ、図１２参照）。ＣＰＵ５１は、画像表示部１４のうちテーブル５２１に記憶された補正情報（１３，７）によって示される補正位置に、軌跡画像２８１（光景２５Ｇ、図１２参照）を表示させる（Ｓ８９、図１０参照）。図１２の光景２５Ｇに示すように、軌跡画像２８１（補正情報：（１３，７））は、消去した軌跡画像２６Ｆ（座標情報：（１２，７））に対して右方に配置する。また軌跡画像２８１は、軌跡画像２６Ｆ（座標情報：（１３，８））に対して垂直下側に配置する。

ＣＰＵ５１は、ｎが「３」の状態でメイン処理のＳ１７以降を実行する場合、テーブル５４１のうち「３」のインデックスに対応する第２情報（１１，６）に基づき、画像表示部１４の対応する位置に軌跡画像２６Ｈ（光景２５Ｈ、図９参照）を表示させる（Ｓ１９、図４参照）。ＣＰＵ５１は、修正処理（Ｓ２７、図４参照）を実行した場合、ｎが「１」より大きいので（Ｓ７０：ＹＥＳ、図１０参照）、次のようにして第２情報の補正を行う。

ＣＰＵ５１は、「１」のインデックスに対応する第１情報を、テーブル５４１（図７参照）から取得する（Ｓ７５、図１０参照）。ＣＰＵ５１は、「３」（＝ｉ＝ｎ）のインデックスに対応する第１情報（３，９）（１３，９）（３，１）（１３，１）及び第２情報（１１，６）を、テーブル５４１（図７参照）から取得する（Ｓ７７、図１０参照）。ＣＰＵ５１は、Ｓ７５及びＳ７７の夫々で取得した第１情報に基づいて、Ｘ差分及びＹ差分を算出する。算出されるＸ差分は何れも「２」であり、Ｙ差分は何れも「０」である。ＣＰＵ５１は、Ｘ差分とＹ差分とを加算し、参照点３５の位置の変化量「２」を算出する（Ｓ７９、図１０参照）。算出される参照点３５の位置の変化量「２」は所定値「１」よりも小さくないので（Ｓ８１：ＮＯ、図１０参照）、ＣＰＵ５１は、テーブル５４１のうち「３」（＝ｉ＝ｎ）のインデックスに対応する第２情報のＸ成分「１１」に、Ｓ７９で算出されたＸ差分「２」を加算し、補正後のＸ成分「１３」を得る。ＣＰＵ５１は、テーブル５４１のうち「３」のインデックスに対応する第２情報のＹ成分「６」に、Ｓ５９で算出されたＹ差分「０」を加算し、補正後のＹ成分「６」を得る。ＣＰＵ５１は、補正情報（１３，６）を特定し、ｉ＝３、ｎ＝３に対応付けてテーブル５２１（図１１参照）に記憶する（Ｓ８５、図１０参照）。これによって、第２情報は（１１，６）から（１３，６）に修正されたことになる。

ＣＰＵ５１は、テーブル５４１のうち「３」（＝ｉ＝ｎ）のインデックスに対応する第２情報に基づいて画像表示部１４に表示させた軌跡画像２６Ｈを消去する（Ｓ８７）（光景２５Ｈ、図１２参照）。ＣＰＵ５１は、画像表示部１４のうちテーブル５２１に記憶された補正情報（１２，６）によって示される補正位置に、軌跡画像２８２（光景２５Ｈ、図１２参照）を表示させる（Ｓ８９、図１０参照）。図１２の光景２５Ｈに示すように、軌跡画像２８２（補正情報：（１３，６））は、消去した軌跡画像２６Ｈ（座標情報：（１１，６））に対して右方に配置する。また軌跡画像２８２は、軌跡画像２６Ｆ（座標情報：（１３，８））、２８１（座標情報：（１３，７））に対して垂直下側に配置する。

以上の処理は、メイン処理のＳ３５で指先の位置の経時的な変化が所定の条件を満たすと判断されるまで繰り返される。これによって、図１２の光景２５Ｉ、２５Ｊで示されるように、ｎ番目に画像表示部１４に表示された軌跡画像２６は、修正処理（Ｓ２７参照）によって補正される。従って、光景２５Ｉの軌跡画像２６Ｆ、２８１〜２８３、及び、光景２５Ｊの軌跡画像２６Ｆ、２８１〜２８４で示されるように、軌跡画像２６は、上から下に向けて垂直に並んだ状態になる。なお、この配置は、実際の指先の位置の経時的な変化の傾向を示す。

このようにＣＰＵ５１は、ＨＤ１０を装着したユーザの頭部の向きが変化し、カメラ２０の撮影方向が変化した場合でも、所定領域２１の変化分を排除した軌跡画像２６を、実際の指先の移動の様子を示す軌跡画像２６として表示できる。従ってユーザは、所定の条件に合致するように指先を適切に移動させることができる。又、ユーザは、指先が所定の条件に合致するように移動しているかを容易に確認できる。又、上記実施形態の場合と異なり、画像表示部１４に一旦表示された軌跡画像２６は移動しない。このためユーザは、軌跡画像２６を違和感なく視認できる。

上記実施形態において、ＣＰＵ５１は、Ｓ１５で指先を特定したが、特定される対象物は指先に限定されない。例えばＣＰＵ５１は、所定色（例えば赤色）のペン先を対象物として特定してもよい。この場合、ＣＰＵ５１は、所定色に対応する所定の画素値を有する画素が連続している領域を検出することで、対象物が含まれる領域を検出することができる。そして、検出した領域全体を囲う多角形の形状と、プログラムＲＯＭ５３に予め記憶された、対象物に対応する形状の画像テンプレートとに基づいて、周知のパターンマッチング処理が行われる。ＣＰＵ５１は、パターンマッチング処理によって算出された相互相関係数が所定の範囲内の値である場合、特定した多角形の形状と画像テンプレートとのパターンマッチングに成功したと判断する。この場合、ＣＰＵ５１は、多角形の領域をペン先と特定する。カメラ２０は、ＣＢ５０に対して撮影画像データを直接送信してもよい。

ＣＰＵ５１は、Ｓ２１で、カメラ２０の撮影方向を示す情報として参照点３５を特定した。ＣＰＵ４５１は、別の方法で、カメラ２０の撮影方向を示す情報を特定してもよい。例えば、ＨＤ１０には加速度センサ又は方位センサが更に設けられてもよい。加速度センサは、ユーザの頭部の向く方向の変化を、加速度の情報として検出してもよい。方位センサは、ユーザの頭部の向く方向の変化を、方位の情報として検出してもよい。ＣＰＵ５１は、加速度センサ又は方位センサによって検出される情報に基づき、ＨＭＤ１の起動時におけるユーザの頭部の向く方向に対する相対的な方向を、カメラ２０の撮影方向を示す情報として特定してもよい。ＣＰＵ５１は、カメラ２０の撮影方向を示す情報から、カメラ２０によって撮影される撮影領域の変化分を特定し、特定した変化分に基づいて参照点３５を特定してもよい。又、例えばＣＰＵ５１は、Ｓ２１で特定した参照点３５の位置を示す情報（第１情報）を、加速度センサから取得した加速度の情報に基づいて修正し、Ｓ２３で第３情報を特定してもよい。これによってＣＰＵ５１は、カメラ２０の撮影方向が変化した場合でも、共通する参照点３５を継続して特定し、第３情報を特定できる。

ＣＰＵ５１が特定する参照点３５の数、及び、参照点３５を抽出する撮影画像３１の場所は変更できる。例えばＣＰＵ４１は、１〜３、又は４よりも大きい数分、参照点３５を特定してもよい。例えばＣＰＵ５１は、参照点３５を特定する位置を、所定領域２１の略中央としてもよい。

ＣＰＵ５１は、Ｓ２５で、インデックス、４つの第１情報、第２情報、及び４つの第３情報を関連付けてテーブル５４１に記憶した。これに対し、インデックスの代わりに、Ｓ２５が実行されたときの時刻情報が、４つの第１情報、第２情報、及び４つの第３情報に関連付けてテーブル５４１に記憶されてもよい。或いは、ＣＰＵ５１は、４つの第１情報、第２情報、及び４つの第３情報を関連付けてテーブル５４１に記憶し、インデックスは記憶されなくてもよい。例えばＣＰＵ５１は、４つの第１情報、第２情報、及び４つの第３情報をテーブル５４１に記憶した順番を、テーブル５４１が記憶されるフラッシュＲＯＭ５４のアドレス情報に基づいて特定してもよい。

上記実施形態において、ＣＰＵ５１は、修正処理（Ｓ２７）を実行することによって軌跡画像２６の位置を修正した。ＣＰＵ５１は修正処理を行わなくてもよい。ＣＰＵ５１は、Ｓ１９で表示した軌跡画像２６の位置をそのまま維持しつつ、指の位置の経時的な変化が所定の条件を満たすかを第３情報に基づいて判断してもよい。ＣＰＵ５１は、Ｓ４１、Ｓ４３、Ｓ４５の夫々で、経過時間が所定値よりも大きく且つ軌跡画像２６が画像表示部１４に表示されている場合に、Ｓ４２、Ｓ４４、Ｓ４６の夫々で軌跡画像２６を消去した。これに対してＣＰＵ５１は、Ｓ４１、Ｓ４３、Ｓ４５の夫々で、画像表示部１４に表示された軌跡画像２６の数が所定値よりも大きいか否かを判断してもよい。ＣＰＵ５１は、軌跡画像２６の数が所定値よりも小さい場合に、軌跡画像２６を消去してもよい。

画像表示部１４、接眼光学系、及びハーフミラー３が本発明の「表示部」の一例である。カメラ２０が本発明の「撮影部」の一例である。指先が本発明の「対象物」の一例である。Ｓ１５の処理を行うＣＰＵ５１が本発明の「第１判断手段」の一例である。カメラ２０が本発明の「検出部」の一例である。撮影画像データが本発明の「検出部の出力」の一例である。参照点３５の位置が本発明の「第１位置」の一例である。Ｓ２１の処理を行うＣＰＵ５１が本発明の「第１取得手段」の一例である。Ｓ１８の処理を行うＣＰＵ５１が本発明の「第２取得手段」の一例である。所定領域２１に対する指先の位置が本発明の「第２位置」の一例である。Ｓ２３の処理を行うＣＰＵ５１が本発明の「決定手段」の一例である。Ｓ２５の処理を行うＣＰＵ５１が本発明の「記憶手段」の一例である。テーブル５４１を記憶するフラッシュＲＯＭ５４が本発明の「第１記憶部」の一例である。画像テンプレートを記憶するプログラムＲＯＭ５３が本発明の「第２記憶部」の一例である。Ｓ２６の処理を行うＣＰＵ５１が本発明の「第２判断手段」の一例である。Ｓ２７の処理を行うＣＰＵ５１が本発明の「第１表示手段」の一例である。Ｓ１９の処理を行うＣＰＵ５１が本発明の「第２表示手段」の一例である。Ｓ３５の処理を行うＣＰＵ５１が本発明の「第３判断手段」の一例である。Ｓ３９の処理を行うＣＰＵ５１が本発明の「実行手段」の一例である。Ｓ７１の処理を行うＣＰＵ５１が本発明の「第１消去手段」の一例である。Ｓ７３の処理を行うＣＰＵ５１が本発明の「修正手段」の一例である。Ｓ４２の処理を行うＣＰＵ５１が本発明の「第２消去手段」の一例である。Ｓ４４の処理を行うＣＰＵ５１が本発明の「第３消去手段」の一例である。Ｓ４６の処理を行うＣＰＵ５１が本発明の「第４消去手段」の一例である。

Ｓ１５の処理が本発明の「第１判断ステップ」の一例である。Ｓ２１の処理が本発明の「第１取得ステップ」の一例である。Ｓ１８の処理が本発明の「第２取得ステップ」の一例である。Ｓ２３の処理が本発明の「決定ステップ」の一例である。Ｓ２５の処理が本発明の「記憶ステップ」の一例である。Ｓ２６の処理が本発明の「第２判断ステップ」の一例である。Ｓ２７の処理が本発明の「第１表示ステップ」の一例である。Ｓ３５の処理が本発明の「第３判断ステップ」の一例である。Ｓ３９の処理が本発明の「実行ステップ」の一例である。

３ ハーフミラー
１４ 画像表示部
２０ カメラ
２１ 所定領域
２３ 手
２６ 軌跡画像
３５ 参照点
５１ ＣＰＵ５１
５２ ＲＡＭ
５４ フラッシュＲＯＭ
５２１、５４１ テーブル

Claims (13)

1. 第１方向に画像光を射出可能な表示部と、
   前記第１方向と反対方向である第２方向の領域を少なくとも含む所定領域内を撮影して画像データを出力可能な撮影部と、
   前記撮影部から出力された画像データに基づいて、前記所定領域内に所定の対象物があるかを繰り返し判断する第１判断手段と、
   前記第１判断手段によって前記対象物が前記所定領域内にあると判断された場合に、検出部の出力に基づいて、前記撮影部の撮影方向に対応する位置である第１位置を示す第１情報を取得する第１取得手段と、
   前記所定領域に対する前記対象物の相対位置である第２位置を示す第２情報を、前記画像データに基づいて取得する第２取得手段と、
   前記第１取得手段によって取得された前記第１情報と、前記第２取得手段によって取得された前記第２情報とに基づく第３情報を、前記第１判断手段によって前記対象物が前記所定領域内にあると判断される度に決定する決定手段と、
   前記決定手段によって決定された前記第３情報を、決定された順序を示す順序情報と関連付けて第１記憶部に記憶する記憶手段と、
   前記第１記憶部に記憶された複数の第３情報のうち１の第３情報と、前記１の第３情報に関連付けられた順序情報によって示される順序よりも後の順序を示す順序情報に関連付けられた他の第３情報とに基づいて、前記１の第３情報に対応する第１情報が前記第１取得手段によって取得されてから、前記他の第３情報に対応する第１情報が前記第１取得手段によって取得されるまでの間に、前記第１位置と前記第２位置との位置関係が変化したかを判断する第２判断手段と、
   前記第２判断手段によって、前記位置関係が変化したと判断された場合、少なくとも前記他の第３情報に基づいて決定される位置を示す軌跡情報を前記表示部に繰り返し表示する第１表示手段と、
   前記第１記憶部に記憶された前記複数の第３情報に基づいて、夫々の第３情報に対応する前記第２位置を、対応する第１位置によって補正した複数の補正位置の変化の傾向が所定の条件を満たしているか判断する第３判断手段と、
   前記第３判断手段によって、前記所定の条件を満たしていると判断された場合、対応する処理を実行する実行手段と
   を備え
   前記第３情報は、前記位置関係に対応する情報であることを特徴とするヘッドマウントディスプレイ。
2. 前記第３情報は、前記第１位置に対する前記第２位置の相対位置を示す情報であることを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. ｎ番目（ｎは２以上の自然数）の軌跡情報を、前記決定手段によってｎ番目に決定された第３情報に対応する第２位置に表示する第２表示手段を備え、
   前記第１表示手段は、
   前記表示部に表示された１からｎ−１番目の夫々の軌跡情報を消去する第１消去手段と、
   １からｎ−１番目の夫々に決定された第３情報に対応する第２位置を、ｎ番目に決定された第３情報に対応する第１位置に基づいて補正し、補正した第２位置に前記軌跡情報を表示する修正手段と
   を備えたことを特徴とする請求項１又は２に記載のヘッドマウントディスプレイ。
4. 前記第１表示手段は、
   前記決定手段によってｎ番目（ｎは２以上の自然数）に決定された前記第３情報に対応する第２位置を、１番目に決定された第３情報に対応する第１位置に基づいて補正し、補正した第２位置に前記軌跡情報を表示することを特徴とする請求項１又は２に記載のヘッドマウントディスプレイ。
5. 前記第１判断手段によって前記所定領域内に前記対象物がないと判断される状態が所定の第１時間以上継続した場合であって、前記表示部に前記軌跡情報が表示されている場合に、前記軌跡情報を消去する第２消去手段を備えたことを特徴とする請求項１から４の何れかに記載のヘッドマウントディスプレイ。
6. 前記第２判断手段によって前記位置関係が変化しないと判断される状態が所定の第２時間以上継続した場合であって、前記表示部に前記軌跡情報が表示されている場合に、前記軌跡情報を消去する第３消去手段を備えたことを特徴とする請求項１から５の何れかに記載のヘッドマウントディスプレイ。
7. 前記第３判断手段によって、前記複数の補正位置の変化の傾向が所定の条件を満たしていると判断された場合に、前記軌跡情報を消去する第４消去手段を備えたことを特徴とする請求項１から６の何れかに記載のヘッドマウントディスプレイ。
8. 前記第３判断手段は、第２記憶部に記憶されたテンプレートデータによって示される特定の形状と、前記複数の補正位置の変化の傾向とが一致するかを判断することによって、前記複数の補正位置の変化の傾向が所定の条件を満たしているか判断することを特徴とする請求項１から７の何れかに記載のヘッドマウントディスプレイ。
9. 前記実行手段は、前記複数の補正位置の変化の傾向と一致すると判断された特定の形状を示すテンプレートデータに関連付けられた特定の処理を実行することを特徴とする請求項８に記載のヘッドマウントディスプレイ。
10. 前記第１取得手段は、前記画像データに基づき、前記所定領域内に含まれる比較物の位置を示す情報を、前記第１情報として取得することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
11. 前記第１取得手段は、前記画像データに基づき、複数の第１情報を取得することを特徴とする請求項１０に記載のヘッドマウントディスプレイ。
12. 前記複数の第１情報は、前記画像データによって示される撮影画像の四隅の夫々の近傍位置を示すことを特徴とする請求項１１に記載のヘッドマウントディスプレイ。
13. 表示部が画像光を射出可能な第１方向と反対方向である第２方向の領域を少なくとも含む所定領域内が、撮影部によって撮影された場合に、前記撮影部から出力される画像データに基づいて、前記所定領域内に所定の対象物があるかを繰り返し判断する第１判断ステップと、
    前記第１判断ステップによって前記対象物が前記所定領域内にあると判断された場合に、検出部の出力に基づいて、前記撮影部の撮影方向に対応する位置である第１位置を示す第１情報を取得する第１取得ステップと、
    前記所定領域に対する前記対象物の相対位置である第２位置を示す第２情報を、前記画像データに基づいて取得する第２取得ステップと、
    前記第１取得ステップによって取得された前記第１情報と、前記第２取得ステップによって取得された前記第２情報とに基づく第３情報を、前記第１判断ステップによって前記対象物が前記所定領域内にあると判断される度に決定する決定ステップと、
    前記決定ステップによって決定された前記第３情報を、決定された順序を示す順序情報と関連付けて第１記憶部に記憶する記憶ステップと、
    前記第１記憶部に記憶された複数の第３情報のうち１の第３情報と、前記１の第３情報に関連付けられた順序情報によって示される順序よりも後の順序を示す順序情報に関連付けられた他の第３情報とに基づいて、前記１の第３情報に対応する第１情報が前記第１取得ステップによって取得されてから、前記他の第３情報に対応する第１情報が前記第１取得ステップによって取得されるまでの間に、前記第１位置と前記第２位置との位置関係が変化したかを判断する第２判断ステップと、
    前記第２判断ステップによって、前記位置関係が変化したと判断された場合、少なくとも前記他の第３情報に基づいて決定される位置を示す軌跡情報を表示部に繰り返し表示する第１表示ステップと、
    前記第１記憶部に記憶された前記複数の第３情報に基づいて、夫々の第３情報に対応する前記第２位置を、対応する第１位置によって補正した複数の補正位置の変化の傾向が所定の条件を満たしているか判断する第３判断ステップと、
    前記第３判断ステップによって、所定の条件を満たしていると判断された場合、対応する処理を実行する実行ステップと
    を、ヘッドマウントディスプレイのコンピュータに実行させる為の制御プログラム。

Images