JP7779062B2 - 情報処理装置、情報処理システム、およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム、およびプログラムに関する。

例えばＨＭＤ（ヘッドマウントディスプレイ）等の表示装置に表示されたオブジェクトをジェスチャによって操作するＡＲ（拡張現実）やＶＲ（仮想現実）の技術は、直感的な操作で３Ｄモデルの閲覧等を行える点でメリットがある。例えば、特許文献１には、ＨＭＤを装着しているユーザが、ジェスチャによってスマートフォンを１以上の仮想オブジェクトの各々に重ねながらタップやピンチ等の入力操作を行えるようにする技術が開示されている。

特許第６３４６５８５号公報

しかしながら、ＨＭＤに表示されたオブジェクトへの入力操作をジェスチャによって行う場合、パーソナルコンピュータ、スマートフォン、タブレット等の汎用デバイスに入力する場合よりも操作が難しいと感じるユーザが多い。

本発明の目的は、表示装置を介して視認可能になったオブジェクトに対する入力操作の操作性を、ジェスチャによる入力操作を行う場合よりも向上させることにある。

請求項１に記載された発明は、プロセッサを備え、前記プロセッサは、情報の入力操作を受付可能とするオブジェクトおよび入力装置を、表示装置を介して視認可能にする制御を行い、前記表示装置を介して視認可能になった前記オブジェクトおよび前記入力装置の各々の位置に関する情報に基づいて、当該オブジェクトと当該入力装置との接触を検知し、検知した前記接触が、ユーザのジェスチャによる、前記オブジェクトを移動させて前記入力装置に接触させる操作である場合には、当該ユーザの意図的な操作に基づくものとして当該オブジェクトと当該入力装置とを連携させ、当該入力装置に入力された情報を、当該オブジェクトに入力された情報として受け付けることを特徴とする、情報処理装置である。
請求項２に記載された発明は、前記プロセッサは、前記入力装置と接触した前記オブジェクトの状態をさらに検知し、当該オブジェクトの状態に応じて、当該オブジェクトと当該入力装置とを連携させるかどうかを決定することを特徴とする、請求項１に記載の情報処理装置である。
請求項３に記載された発明は、前記プロセッサは、前記オブジェクトの状態が、書き込み禁止の措置が講じられている場合、または入力ができない場合には、当該オブジェクトが前記入力装置に接触したときに連携させることなくはじき返すことを特徴とする、請求項２に記載の情報処理装置である。
請求項４に記載された発明は、前記プロセッサは、現実空間に存在する前記入力装置を、前記表示装置を介して視認可能にする制御を行うことを特徴とする、請求項１乃至３のいずれかに記載の情報処理装置である。
請求項５に記載された発明は、前記プロセッサは、前記現実空間に存在する前記入力装置のうち、前記ユーザの入力操作の対象となるものを特定して前記表示装置を介して視認可能にする制御を行うことを特徴とする、請求項４に記載の情報処理装置である。
請求項６に記載された発明は、前記プロセッサは、前記入力装置から提供されるデータ、当該入力装置を撮像した画像データ、および当該入力装置を対象とするセンシングデータのうち、いずれか１以上のデータから推定される当該入力装置の挙動に基づいて、前記ユーザの入力操作の対象となる前記入力装置を特定して前記表示装置を介して視認可能にする制御を行うことを特徴とする、請求項５に記載の情報処理装置である。
請求項７に記載された発明は、前記プロセッサは、前記入力装置の慣性計測データ（ＩＭＵデータ）と、三次元挙動データとの突合結果から推定される当該入力装置の挙動に基づいて、前記ユーザの入力操作の対象となる前記入力装置を特定して前記表示装置を介して視認可能にする制御を行うことを特徴とする、請求項６に記載の情報処理装置である。
請求項８に記載された発明は、前記プロセッサは、前記ユーザに装着された前記表示装置を介して、前記入力装置を視認可能にする制御を行うことを特徴とする、請求項１乃至３のいずれかに記載の情報処理装置である。
請求項９に記載された発明は、前記プロセッサは、前記ユーザの頭部に装着された前記表示装置としてのヘッドマウントディスプレイを介して、前記入力装置を視認可能にする制御を行うことを特徴とする、請求項８に記載の情報処理装置である。
請求項１０に記載された発明は、前記プロセッサは、テキスト情報、音声情報、および画像情報のうちいずれか１種類以上の情報の前記入力操作を受付可能とする前記オブジェクトおよび前記入力装置を、前記表示装置を介して視認可能にする制御を行うことを特徴とする、請求項１乃至３のいずれかに記載の情報処理装置である。
請求項１１に記載された発明は、前記プロセッサは、前記１種類以上の情報の前記入力操作を受付可能とする前記オブジェクトおよび前記入力装置を、前記表示装置を介して視認可能にする制御として、当該入力装置への当該入力操作を支援する他のオブジェクトをさらに視認可能にする制御を行うことを特徴とする、請求項１０に記載の情報処理装置である。
請求項１２に記載された発明は、前記プロセッサは、前記入力装置の近傍に、または当該入力装置の少なくとも一部に重畳するように、前記他のオブジェクトを視認可能にする制御を行うことを特徴とする、請求項１１に記載の情報処理装置である。
請求項１３に記載された発明は、前記プロセッサは、前記位置に関する情報として、前記表示装置を介して視認可能になった前記オブジェクトおよび前記入力装置の各々の外縁を示す情報に基づいて、当該オブジェクトと当該入力装置との接触を検知することを特徴とする、請求項１乃至３のいずれかに記載の情報処理装置である。
請求項１４に記載された発明は、前記プロセッサは、前記オブジェクトおよび前記入力装置の各々の前記外縁を示す情報から特定される、前記外縁を囲む仮想領域の外縁同士の接触を、当該オブジェクトと当該入力装置との接触として検知することを特徴とする、請求項１３に記載の情報処理装置である。
請求項１５に記載された発明は、前記仮想領域の外縁は、前記オブジェクトおよび前記入力装置の各々の外縁から外側に向かう距離の値として予め定められた値に基づいて特定されることを特徴とする、請求項１４に記載の情報処理装置である。
請求項１６に記載された発明は、前記プロセッサは、前記オブジェクトの種類と前記入力装置の機能との組み合わせに基づいて特定される前記入力操作を行うための入力機能により当該入力装置に入力された情報を、当該オブジェクトに入力された情報として受け付けることを特徴とする、請求項１乃至３のいずれかに記載の情報処理装置である。
請求項１７に記載された発明は、前記プロセッサは、前記入力装置から提供されるデータ、当該入力装置を撮像した画像データ、および当該入力装置を対象とするセンシングデータのうちいずれか１以上のデータに基づいて、前記入力装置の機能を特定することを特徴とする、請求項１６に記載の情報処理装置である。
請求項１８に記載された発明は、前記プロセッサは、データベースに記憶されている前記組み合わせにより特定される前記入力機能にて前記入力装置に入力された情報を、前記オブジェクトに入力された情報として受け付けることを特徴とする、請求項１６に記載の情報処理装置である。
請求項１９に記載された発明は、前記プロセッサは、前記オブジェクトおよび前記入力装置の各々の前記位置に関する情報に基づいて、接触した状態にある当該オブジェクトと当該入力装置との離隔をさらに検知し、前記離隔を検知すると、前記入力装置に情報が入力されたとしても、当該情報を前記オブジェクトに入力された情報として受け付けないことを特徴とする、請求項１乃至３のいずれかに記載の情報処理装置である。
請求項２０に記載された発明は、前記プロセッサは、検知した前記離隔が、ユーザによる意図的な操作に基づくものである場合に、前記入力装置に情報が入力されたとしても、当該情報を前記オブジェクトに入力された情報として受け付けないことを特徴とする、請求項１９に記載の情報処理装置である。
請求項２１に記載された発明は、前記プロセッサは、前記オブジェクトと、前記入力装置との間で連携先の候補の登録が完了している場合に、前記接触を検知することを特徴とする、請求項１乃至３のいずれかに記載の情報処理装置である。
請求項２２に記載された発明は、前記プロセッサは、前記オブジェクトと、予め定められた前記入力装置、または予め定められた接続用のアプリケーションソフトウェアがインストールされた前記入力装置との間で連携先の候補の登録が完了している場合に、前記接触を検知することを特徴とする、請求項２１に記載の情報処理装置である。
請求項２３に記載された発明は、情報の入力操作を受付可能とするオブジェクトおよび入力装置を、表示装置を介して視認可能にする制御を行う表示制御手段と、前記表示装置を介して視認可能になった前記オブジェクトおよび前記入力装置の各々の位置に関する情報に基づいて、当該オブジェクトと当該入力装置との接触を検知する検知手段と、検知した前記接触が、ユーザのジェスチャによる、前記オブジェクトを移動させて前記入力装置に接触させる操作である場合には、当該ユーザの意図的な操作に基づくものとして当該オブジェクトと当該入力装置とを連携させ、当該入力装置に入力された情報を、当該オブジェクトに入力された情報として受け付ける受付手段と、を有することを特徴とする情報処理システムである。
請求項２４に記載された発明は、情報の入力操作を受付可能とするオブジェクトおよび入力装置を、表示装置を介して視認可能にする制御を行う機能と、前記表示装置を介して視認可能になった前記オブジェクトおよび前記入力装置の各々の位置に関する情報に基づいて、当該オブジェクトと当該入力装置との接触を検知する機能と、検知した前記接触が、ユーザのジェスチャによる、前記オブジェクトを移動させて前記入力装置に接触させる操作である場合には、当該ユーザの意図的な操作に基づくものとして当該オブジェクトと当該入力装置とを連携させ、当該入力装置に入力された情報を、当該オブジェクトに入力された情報として受け付ける機能と、を実現させるためのプログラムである。

請求項１の本発明によれば、入力装置への入力操作がそのままオブジェクトへの入力操作として連携されるので、表示装置を介して視認可能となったオブジェクトに対する入力操作の操作性を、ジェスチャによる入力操作を行う場合によりも向上させることができる。また、オブジェクトを移動させて入力装置に接触させる操作を、ユーザによる意図的な操作とすることで、ユーザの意図せぬ接触による意図せぬ動作の発生を防ぐことができる。
請求項２の本発明によれば、入力装置に接触したオブジェクトの状態に応じて、オブジェクトと入力装置とを連携させるかどうかを決定できる。
請求項３の本発明によれば、ユーザは、書き込み禁止であることや、オブジェクトへの入力ができないことを感覚的に知得できる。
請求項４の本発明によれば、現実空間に存在する入力装置を、表示装置を介して視認可能にして、その入力装置に対する入力操作を、オブジェクトに対する入力操作とすることが可能となる。
請求項５の本発明によれば、現実空間にてユーザの入力操作の対象となる入力装置を、表示装置を介して視認可能にして、その入力装置に対するユーザの入力操作を、オブジェクトに対する入力操作とすることが可能となる。
請求項６の本発明によれば、現実空間にてユーザの入力操作の対象となる入力装置であるかどうかを、入力装置の挙動に基づいて特定することが可能となる。
請求項７の本発明によれば、現実空間にてユーザの入力操作の対象となる入力装置であるかどうかを、入力装置の慣性計測データ（ＩＭＵデータ）と、三次元の挙動データとの突合結果に基づいて推定することが可能となる。
請求項８の本発明によれば、ユーザに装着された表示装置を介してオブジェクトおよび入力装置を視認可能にし、入力装置に対するユーザの入力操作をオブジェクトに対する入力操作とすることが可能となる。
請求項９の本発明によれば、ユーザの頭部に装着されたヘッドマウントディスプレイを介して入力装置を視認可能にして、その入力装置に対するユーザの入力操作を、オブジェクトに対する入力操作とすることが可能となる。
請求項１０の本発明によれば、表示装置を介して視認可能になった入力装置に対する、テキスト情報、音声情報、および画像情報のうちいずれか１種類以上の情報の入力操作を、オブジェクトに対する入力操作とすることが可能となる。
請求項１１の本発明によれば、表示装置を介して視認可能になった入力装置に対する入力操作の操作性を向上させることが可能となる。
請求項１２の本発明によれば、表示装置を介して視認可能になった入力装置への入力操作の操作性を向上させることができる。
請求項１３の本発明によれば、表示装置を介して視認可能になったオブジェクトおよび入力装置の各々の外縁を示す情報から、オブジェクトと入力装置との接触の有無の検知が可能となる。
請求項１４の本発明によれば、表示装置を介して視認可能になったオブジェクトおよび入力装置の各々の外縁同士が完全に接触するよりも前に接触が検知されるという接触判定の緩和により、ユーザの操作性が向上する。
請求項１５の本発明によれば、接触判定の緩和の度合いを任意に設定することが可能になるので、ユーザの操作性がさらに向上する。
請求項１６の本発明によれば、オブジェクトの種類と入力装置の機能との組み合わせで特定される入力機能による入力操作が可能となる。
請求項１７の本発明によれば、入力装置から提供されるデータ、入力装置を撮像した画像データ、および入力装置を対象とするセンシングデータのいずれかから、入力装置の入力機能を特定することが可能となる。
請求項１８の本発明によれば、データベースに記憶されているオブジェクトの種類と入力装置の機能との組み合わせから入力機能の特定が可能となるので、様々な組み合わせに対応することが可能となる。
請求項１９の本発明によれば、ユーザは、接触した状態にあるオブジェクトと入力装置とを離隔させる操作を行うことで、オブジェクトと入力装置との入力操作の連携を解除することができる。
請求項２０の本発明によれば、ユーザの意図せぬ離隔に伴う意図せぬ動作の発生を防ぐことができる。
請求項２１の本発明によれば、オブジェクトと入力装置との間で連携先の候補の登録が事前に完了していることを条件とすることで、意図せぬ入力装置への接続を未然に防ぐことができる。
請求項２２の本発明によれば、オブジェクトと、予め定められた入力装置、または予め定められた接続用のアプリケーションソフトウェアがインストールされた入力装置との間で連携先の候補の登録が事前に完了していることを条件とすることで、意図せぬ入力装置への接続を未然に防ぐことができる。
請求項２３の本発明によれば、表示装置を介して視認可能となったオブジェクトに対する入力操作の操作性を、ジェスチャによる入力操作を行う場合によりも向上させる情報処理システムを提供することができる。また、オブジェクトを移動させて入力装置に接触させる操作を、ユーザによる意図的な操作とすることで、ユーザの意図せぬ接触による意図せぬ動作の発生を防ぐことができる。
請求項２４の本発明によれば、表示装置を介して視認可能となったオブジェクトに対する入力操作の操作性を、ジェスチャによる入力操作を行う場合によりも向上させるプログラムを提供することができる。また、オブジェクトを移動させて入力装置に接触させる操作を、ユーザによる意図的な操作とすることで、ユーザの意図せぬ接触による意図せぬ動作の発生を防ぐことができる。

本実施の形態が適用される情報処理システムの全体の構成を示す図である。 ＨＭＤのハードウェア構成を示す図である。 ＨＭＤの制御部の機能構成を示す図である。 ペアリングの処理の流れを示すフローチャートである。 ＨＭＤの処理の流れを示すフローチャートである。 ユーザがＨＭＤを介して視認可能となったオブジェクトおよび入力装置の具体例のうち、オブジェクトが、テキスト入力を受付可能とする電子文書であり、入力装置がタブレット端末である場合の例を示す図である。 ユーザがＨＭＤを介して視認可能となったオブジェクトおよび入力装置の具体例のうち、オブジェクトが、ＰＤＦ（Portable Document Format）文書であり、入力装置が、表示機能を有しないペンタブレットである場合の例を示す図である。 ユーザがＨＭＤを介して視認可能となったオブジェクトおよび入力装置の具体例のうち、オブジェクトが、スタイラスによる描画のための入力操作を受付可能とし、かつ、他のユーザとの共有が可能なオブジェクトであり、入力装置がタブレット端末である場合の例を示す図である。 ユーザがＨＭＤを介して視認可能となったオブジェクトおよび入力装置の具体例のうち、オブジェクトがソフトウェアキーボードであり、入力装置がタブレット端末である場合の例を示す図である。 ユーザがＨＭＤを介して視認可能となったオブジェクトおよび入力装置の具体例のうち、オブジェクトが、三次元モデル設計ソフトウェアによる編集のための入力を受付可能とする三次元モデルであり、入力装置がノートタイプのパーソナルコンピュータである場合の例を示す図である。 ユーザがＨＭＤを介して視認可能となったオブジェクトおよび入力装置の具体例のうち、オブジェクトが、テキスト入力を受付可能とする吹き出しであり、入力装置がタブレット端末である場合の例を示す図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
（情報処理システムの構成）
図１は、本実施の形態が適用される情報処理システム１の全体の構成を示す図である。
情報処理システム１は、情報処理機能を有するＨＭＤ（ヘッドマウントディスプレイ）３０と、入力装置５０とがネットワーク９０、または赤外線通信、可視光通信、近接無線通信、ブルートゥース（登録商標）、ＲＦＩＤ（登録商標）、ＵＷＢ（Ultra Wide Band）等の通信方式により接続されることにより構成されている。ネットワーク９０は、例えば、ＬＡＮ（Local Area Network）、インターネット等である。

ＨＭＤ３０は、オブジェクトを表示する制御と、現実空間に存在する入力装置５０を、ユーザＵが視認可能になるようにする制御とを行う。また、ＨＭＤ３０は、表示したオブジェクトと、視認可能になった入力装置５０との接触を検知する。そして、ＨＭＤ３０は、オブジェクトと入力装置５０との接触が、ユーザＵの意図的な操作に基づくものである場合には、オブジェクトと入力装置５０とを連携させ、その後、入力装置５０に入力された情報を、オブジェクトに入力された情報として受け付ける。

ＨＭＤ３０は、画像情報を表示するディスプレイを有する頭部装着型の情報処理装置である。ＨＭＤ３０には、透過型のものと非透過型のものがある。透過型のＨＭＤ３０は、オブジェクトをディスプレイに表示し、現実空間に存在する入力装置５０を、ディスプレイを介して視認可能にする。非透過型のＨＭＤ３０は、オブジェクトおよび入力装置５０をリアルタイムでディスプレイに表示する。

透過型のＨＭＤ３０を装着したユーザＵは、ＨＭＤ３０に表示されたオブジェクトと、現実空間に存在する入力装置５０とを、ＨＭＤ３０を介して同時に視認することができる。また、非透過型のＨＭＤ３０を装着したユーザＵは、ＨＭＤ３０に表示されたオブジェクトおよび入力装置５０を同時に視認することができる。なお、本実施の形態では、透過型のＨＭＤ３０が採用されている。ＨＭＤ３０に表示されるオブジェクトとしては、例えば、ドキュメントデータ、ホワイトボード、仮想キーボード、三次元モデル、画像、動画、音声ファイル等が挙げられる。

入力装置５０は、ユーザＵとともに現実空間に存在し、ユーザＵの入力操作を受け付ける機能を有する情報処理装置である。入力装置５０としては、例えば、スマートフォン、パーソナルコンピュータ（デスクトップタイプ、ノートタイプ）、タブレット端末のほか、いわゆるタッチセンサ、ペンタブレット、電子ペン、スマートペン等が挙げられる。

（ＨＭＤのハードウェア構成）
図２は、ＨＭＤ３０のハードウェア構成を示す図である。
ＨＭＤ３０は、制御部３１と、メモリ３２と、記憶部３３と、通信部３４と、表示部３５と、センサ部３６と、撮像部３７とを有している。これらの各部は、データバス、アドレスバス、ＰＣＩ（Peripheral Component Interconnect）バス等で接続されている。

制御部３１は、ＯＳ（基本ソフトウェア）やアプリケーションソフトウェア（応用ソフトウェア）等の各種ソフトウェアの実行を通じて自機の動作を制御するプロセッサである。制御部３１は、例えばＣＰＵ（Central Processing Unit）で構成される。メモリ３２は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、演算に際して作業エリアとして用いられる。メモリ３２は、例えばＲＡＭ（Random Access Memory）等で構成される。

記憶部３３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域であり、各種情報を記憶するデータベースが格納されている。記憶部３３は、例えばプログラムや各種設定データなどの記憶に用いられるＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、半導体メモリ等で構成される。通信部３４は、ネットワーク９０を介して、または赤外線通信等の通信方式によるデータの送受信を行う。通信部３４は、入力装置５０、および外部との間でデータの送受信を行う。

表示部３５は、液晶ディスプレイや有機ＥＬディスプレイにより画像をユーザに対して提示するものであり、通常のディスプレイと同様に非透過型のものとユーザがディスプレイを通して前方を視認できる透過型のものがある。通常、前者を仮想現実ＨＭＤ（ＶＲ－ＨＭＤ）、後者を拡張現実ＨＭＤ（ＡＲ－ＨＭＤ）もしくは混合現実ＨＭＤ（ＭＲ－ＨＭＤ）と呼ぶ。

センサ部３６は、ＬｉＤＡＲ(Laser Imaging Detection and Ranging）センサ等の光センサ、加速度センサなど各種のセンサで構成される。撮像部３７は、カメラ等で構成される。そして、これらの各部は、データバス、アドレスバス、ＰＣＩバス等で接続されている。

（入力装置のハードウェア構成）
入力装置５０のハードウェア構成は、入力装置５０の種類により異なるが、例えば、入力装置５０が、スマートフォン、パーソナルコンピュータ（デスクトップタイプ、ノートタイプ）、タブレット端末である場合には、図２に示すＨＭＤ３０のハードウェア構成と同様に加え、操作部を有する。操作部は、例えばキーボード、マウス、機械式のボタン、スイッチで構成され、入力操作を受け付ける。操作部には、表示部と一体的にタッチパネルを構成するタッチセンサも含まれる。また、例えば、入力装置５０が、いわゆるタッチセンサ、ペンタブレット、電子ペン、スマートペンなど画面を有しないものである場合には、図２に示すＨＭＤ３０のハードウェア構成のうち、表示部３５以外の構成と同様の構成を備えている。

（ＨＭＤの制御部の機能構成）
図３は、ＨＭＤ３０の制御部３１の機能構成を示す図である。
ＨＭＤ３０の制御部３１では、表示制御部１０１と、データ取得部１０２と、登録判定部１０３と、挙動推定部１０４と、装置特定部１０５と、位置取得部１０６と、接触検知部１０７と、入力情報受付部１０８と、入力制御部１０９とが機能する。

表示制御部１０１は、情報の入力操作を受付可能とするオブジェクトおよび入力装置５０を、自機を介して視認可能にする制御を行う。具体的には、表示制御部１０１は、情報の入力操作を受付可能とするオブジェクトを、表示部３５に表示させる制御を行い、現実空間に存在する入力装置５０を、表示部３５を介して視認可能にする制御を行う。

データ取得部１０２は、センサ部３６の各種のセンサのセンシングデータ、および撮像部３７により撮像された画像（静止画像および動画像）のデータを取得する。センサ部３６の各種のセンサのセンシングデータには、ユーザＵの両手の動きや目の動きに関するセンシングデータが含まれる。また、撮像部３７により撮像された画像のデータには、ユーザＵを撮像した画像のデータ、表示部３５を介して視認可能な領域に存在するオブジェクトおよび入力装置５０を撮像した画像のデータが含まれる。

登録判定部１０３は、ＨＭＤ３０と入力装置５０との間における連携先の候補の登録の状態を判定する。「連携先の候補の登録の状態」とは、複数台のデバイスの組み合わせが、互いに連携先の候補として登録されて、連携待ちの状態になっているかどうかを示す状態のことをいう。このような状態は、いわゆる「ペアリング」がなされた状態ともいう。一度ペアリングがなされると、２回目以降の接続時におけるペアリングは不要となる。登録判定部１０３は、ＨＭＤ３０と入力装置５０とがペアリングされて、連携待ちの状態になっているかどうかを、自機が保有する情報および入力装置５０の各々から得られる情報に基づいて判定する。

ここで、ＨＭＤ３０と入力装置５０とのペアリングについて説明する。ＨＭＤ３０と入力装置５０とのペアリングは、例えば以下のような手順で行われる。すなわち、ユーザＵの音声入力によりペアリングの処理が開始されてもよい。この場合、例えば、ユーザが「ペアリングして」と発話すると、その音声が検知されて、ＨＭＤ３０からペアリングに関する音声の案内が出力されてもよい。また、例えば、ＨＭＤ３０から「ペアリングしたいデバイスのアプリケーションソフトウェアでペアリング開始ボタンを押してください」といった案内が出力され、入力装置５０に予めインストールされている接続用のアプリケーションソフトが起動して、ペアリングの処理が開始されるようにしてもよい。

この場合、接続用のアプリケーションソフトがインストールされている入力装置５０であれば、どのようなものであってもペアリングの処理が開始されるような、オープンな接続環境にしてもよい。また、頭部にＨＭＤ３０を装着したユーザＵが、入力装置５０に表示されたＱＲコード（登録商標）をＨＭＤ３０越しに視認すると、ＨＭＤ３０がそのＱＲコード（登録商標）を検知して、自動的にペアリングの処理が開始されるようにしてもよい。また、意図しない入力装置５０とのペアリングを防ぐ見地から、ＨＭＤ３０がペアリング可能な入力装置５０を限定し、予めペアリングされているような、クローズドな接続環境にしてもよい。

挙動推定部１０４は、データ取得部１０２により取得されたデータ、および入力装置５０から提供されるデータに基づいて、ユーザＵおよび入力装置５０の各々の挙動を推定する。このうち、ユーザＵの挙動とは、ユーザＵの両手の動きや目の動きのことをいう。また、入力装置５０の挙動とは、現実空間における入力装置５０の動きのことをいう。データ取得部１０２により取得されデータには、例えば、入力装置５０とのペアリングの状態を示すデータ、センサ部３６の各種のセンサのセンシングデータ、および撮像部３７により撮像された画像（静止画像および動画像）のデータ等が含まれる。

また、入力装置５０から提供されるデータには、ＨＭＤ３０とのペアリングの状態を示すデータ、入力装置５０に入力されたデータ、入力装置５０の慣性計測データ（ＩＭＵデータ）、入力装置５０の三次元挙動データ、入力装置５０の位置に関するデータ等が含まれる。具体的には、例えば、挙動推定部１０４は、入力装置５０の慣性計測データ（ＩＭＵデータ）と三次元挙動データとの突合結果から、入力装置５０の挙動を推定する。

なお、入力装置５０の外形の三次元データをどのように取得するかについては特に限定されない。例えば、記憶部１３のデータベースに予め記憶されている入力装置の種類に基づいて別途取得してもよい。また、例えば、ＨＭＤ３０を装着したユーザＵが、入力装置５０を四方八方から眺める動作を行い、それと同時にＨＭＤ３０が入力装置５０を撮像することで得られる複数の撮像画像のデータから三次元データを生成してもよい。この場合、入力装置５０を眺める手順についての音声の案内が、ＨＭＤ３０からユーザＵに向けて出力されるようにしてもよい。

装置特定部１０５は、データ取得部１０２により取得されたデータ、および入力装置５０から提供されるデータ、挙動推定部１０４による推定の結果、および記憶部１３のデータベースに予め記憶されている入力装置の種類と機能との組み合わせに基づいて、ユーザＵの入力操作の対象となる入力装置５０を特定する。入力装置５０の特定には、入力装置５０の機能の特定が含まれる。データ取得部１０２により取得されたデータとしては、センシングデータおよび画像のデータ等が挙げられる。入力装置５０から提供されるデータとしては、ペアリングの状態を示すデータ、入力データ、慣性計測データ（ＩＭＵデータ）、三次元挙動データ、位置に関するデータ等が挙げられる。具体的には、例えば、装置特定部１０５は、データ取得部１０２により取得されたデータのうち、自機を介してユーザＵが視認可能な領域を示す画像のデータに基づいて入力装置５０を特定する。

位置取得部１０６は、自機を介してユーザＵが視認可能な領域における、オブジェクトおよび入力装置５０の各々の位置に関する情報を取得する。具体的には、位置取得部１０６は、データ取得部１０２により取得された画像のデータのうち、ユーザＵが表示部３５を介して視認可能な領域を示す画像のデータから、ユーザＵが表示部３５を介して視認可能な領域における、オブジェクトおよび入力装置５０の各々の位置に関する情報を取得する。

接触検知部１０７は、オブジェクトと入力装置５０との接触を検知する。具体的には、接触検知部１０７は、位置取得部１０６により取得された、オブジェクトおよび入力装置５０の各々の位置に関する情報に基づいて、表示部３５を介して視認可能な領域におけるオブジェクトと、入力装置５０との接触を検知する。オブジェクトと入力装置５０との接触は、オブジェクトおよび入力装置５０の各々の外縁同士が接触したときとしてもよいし、入力装置５０およびオブジェクトの各々の外縁を囲む仮想領域の外縁同士が接触したときとしてもよい。この場合、「外縁を囲む仮想領域」は、オブジェクトおよび入力装置５０の各々の外縁から外側に向かう距離の値として予め定められた値に基づいて特定される。

また、接触検知部１０７は、オブジェクトと入力装置５０との接触がユーザＵの意図的な操作に基づくものであるかどうかを検知する。接触検知部１０７がオブジェクトと入力装置５０との接触を検知し、その接触がユーザＵの意図的な操作に基づくものである場合には、そのオブジェクトと入力装置５０とが連携された状態となる。例えば、ＨＭＤ３０を装着したユーザＵのジェスチャとして、ＨＭＤ３０に表示されているオブジェクトを掴んで入力装置５０に接触させる動作が行われた場合、接触検知部１０７は、その接触がユーザＵの意図的な操作に基づくものであると検知する。また、例えば、オブジェクトと入力装置５０とが接触するタイミングにおけるユーザＵの視線の位置が、オブジェクトと入力装置５０との接触点、またはその近傍にあることが検知された場合、接触検知部１０７は、オブジェクトと入力装置５０との接触がユーザＵの意図的な操作に基づくものであると検知してもよい。

また、接触検知部１０７は、オブジェクトと入力装置５０との接触を検知した際、そのオブジェクトの状態を検知する。接触検知部１０７により検知されたオブジェクトの状態が、書き込み禁止の措置が講じられていて入力ができない場合や、ペアリングされた入力装置５０の入力機能ではオブジェクトへの入力ができない場合には、オブジェクトが入力装置５０に接触したとしても連携されることなくはじき返される。このようにすることで、ユーザＵは、書き込み禁止であることを感覚的に知得できる。また、例えば、オブジェクトへの入力ができないことを示す色やポップアップメッセージをＨＭＤ３０に表示したり、音声で出力したり、振動を発生させたりすることで、オブジェクトへの入力ができないことをユーザＵが視覚的、聴覚的、触覚的に知得できるようにしてもよい。

また、接触検知部１０７は、オブジェクトおよび入力装置の各々の位置に関する情報に基づいて、接触した状態にあるオブジェクトと入力装置とがの離隔をさらに検知する。これにより、オブジェクトと入力装置５０との連携が解除された状態となる。また、接触検知部１０７は、接触した状態にあるオブジェクトと入力装置５０との離隔が、ユーザＵの意図的な操作に基づくものであるかどうかを検知する。接触検知部１０７がオブジェクトと入力装置５０との離隔を検知し、その接触がユーザＵの意図的な操作に基づくものである場合には、そのオブジェクトと入力装置５０との連携が解除された状態となる。

例えば、ＨＭＤ３０を装着したユーザＵのジェスチャとして、ＨＭＤ３０を介して視認可能になっているオブジェクトを掴んで入力装置５０から離隔させる動作が行われた場合、接触検知部１０７は、オブジェクトと入力装置５０との離隔が、ユーザＵの意図的な操作に基づくものであると検知する。また、例えば、オブジェクトと入力装置５０とが離隔するタイミングにおけるユーザＵの視線の位置が、オブジェクトと入力装置５０との接触点、またはその近傍にあることが検知された場合、接触検知部１０７は、オブジェクトと入力装置５０との離隔が、ユーザＵの意図的な操作に基づくものであると検知してもよい。

入力情報受付部１０８は、接触検知部１０７によりオブジェクトと入力装置５０との接触が検知され、オブジェクトと入力装置５０とが連携した状態になると、入力装置５０に入力された情報を、オブジェクトに入力された情報として受け付ける。すなわち、ひとたびオブジェクトと入力装置５０とが連携した状態になると、ユーザＵは、オブジェクトと入力装置５０との位置関係を特に気にすることなく入力操作に集中することが可能となる。

具体的には、入力情報受付部１０８は、記憶部１３のデータベースに記憶されているオブジェクトの種類と入力装置５０の機能との組み合わせにより特定される入力操作を行うための入力機能により入力された情報を、オブジェクトに入力された情報として受け付ける。入力操作を行うための入力機能としては、例えば、入力装置５０がスマートフォンやタブレット端末である場合には、タッチパネル、スマートペン等が挙げられる。また、入力装置５０がパーソナルコンピュータである場合には、キーボード、マウス等が挙げられる。

また、入力情報受付部１０８は、接触検知部１０７が、接触して連携した状態にあるオブジェクトと入力装置５０との離隔を検知し、オブジェクトと入力装置５０との連携が解除された状態になると、入力装置５０に情報が入力されたとしても、この情報をオブジェクトに入力された情報として受け付けない。ただし、接触検知部１０７によりオブジェクトと入力装置５０との離隔が検知されたとき、その原因がユーザＵのジェスチャによるものでない場合には、その離隔がユーザＵの意図的な操作に基づいたものではないことが検知されて、オブジェクトと入力装置５０との連携は解除されることなく継続される。このため、入力装置５０に入力された情報は、引き続きオブジェクトに入力された情報として受け付けられる。

入力制御部１０９は、入力情報受付部１０８により受け付けられた入力情報を、オブジェクトに入力する制御を行う。例えば、オブジェクトがテキスト入力を受付可能とする電子文書であり、入力装置５０がタブレット端末である場合には、タブレット端末に入力されたテキスト情報を電子文書に入力する制御を行う。また、例えば、オブジェクトがＰＤＦ文書であり、入力装置５０がペンタブレットである場合には、スタイラスによりペンタブレットに入力された描画の情報である筆跡データを電子文書に入力する制御を行う。また、例えば、オブジェクトが三次元モデルであり、入力装置５０がパーソナルコンピュータである場合には、三次元モデルを編集するために入力された情報を三次元モデルに反映させる制御を行う。

（ペアリングの処理）
図４は、ＨＭＤ３０と入力装置５０とのペアリングの処理の流れを示す図である。図４には、ペアリングの処理の一例として、ユーザの音声入力によりペアリングの処理が開始される場合の例が示されている。

ＨＭＤ３０と入力装置５０とがペアリングされていない状態で、ペアリングの処理の開始を指示するための音声入力が行われると（ステップ２０１でＹＥＳ）、ＨＭＤ３０からペアリングに関する音声の案内が出力される（ステップ２０２）。これに対して、ペアリングの処理の開始を指示するための音声入力が行われていない場合には（ステップ２０１でＮＯ）、ペアリングの処理の開始を指示するための音声入力が行われるまでステップ２０１の処理が繰り返される。

ＨＭＤ３０からの案内に従い、ペアリングの処理を開始するための入力操作が入力装置５０に対して行われると（ステップ２０３でＹＥＳ）、入力装置５０から周囲のデバイスに向けてペアリングの開始通知が発信される（ステップ２０４）。これに対して、ペアリングの処理を開始するための入力操作が入力装置５０に対して行われていない場合には、（ステップ２０３でＮＯ）、ペアリングの処理を開始するための入力操作が入力装置５０に対して行われるまでステップ２０３の処理が繰り返される。

入力装置５０から発信されたペアリングの開始通知が、予め定められた時間内にＨＭＤ３０によって受信されると（ステップ２０５でＹＥＳ）、ＨＭＤ３０からユーザＵに向けて、ペアリングを確定させるための入力操作についての案内が報知される（ステップ２０６）。例えば、「パスコードを入力してペアリング確定ボタンを押して下さい」といった内容の案内が報知される。これに対して、発信されたペアリングの開始通知が、予め定められた時間内にＨＭＤ３０によって受信されない場合には（ステップ２０５でＮＯ）、ペアリングされることなく処理が終了する。

ここで、ユーザＵが、報知された内容の操作を行うと（ステップ２０７でＹＥＳ）、入力装置５０から周囲のデバイスに向けてパスコードを含むペアリングの確定通知が発信される（ステップ２０８）。これに対して、ユーザＵが、報知された内容の操作を行わない場合には（ステップ２０７でＮＯ）、ユーザＵが、報知された内容の操作を行うまでステップ２０７の処理が繰り返される。

発信されたペアリングの確定通知が、予め定められた時間内にＨＭＤ３０によって受信されると（ステップ２０９でＹＥＳ）、ＨＭＤ３０から入力装置５０に対して、入力装置５０を特定可能なデータ、および入力装置５０が提供可能な機能に関するデータの送信が要求される（ステップ２１０）。入力装置５０を特定可能なデータとしては、例えば、入力装置５０のＷｉ－Ｆｉアドレス等が挙げられる。これに対して、発信されたペアリングの確定通知が、予め定められた時間内にＨＭＤ３０によって受信されない場合には（ステップ２０９でＮＯ）、ペアリングされることなく処理が終了する。

入力装置５０が、ＨＭＤ３０から要求されたデータをＨＭＤ３０に向けて送信すると（ステップ２１１でＹＥＳ）、ＨＭＤ３０は、入力装置５０から送信されてきたデータを受信して記憶する（ステップ２１２）。これに対して、入力装置５０が、ＨＭＤ３０から要求されたデータをＨＭＤ３０に向けて送信していない場合には（ステップ２１１でＮＯ）、入力装置５０が、ＨＭＤ３０から要求されたデータをＨＭＤ３０に向けて送信するまでステップ２１１の処理が繰り返される。

そして、ＨＭＤ３０からユーザＵに向けて、入力装置５０の外形の三次元データを取得するための案内が報知される（ステップ２１３）。例えば、「デバイス（入力装置５０）を手に持ち、様々な角度からデバイスを見つめてください」といった音声の案内が報知される。そこで、ユーザＵが、入力装置５０を把持し、これを注視しながら向きを変えたり持ち替えたりすることで四方八方から眺めると（ステップ２１４でＹＥＳ）、ＨＭＤ３０は、入力装置５０の外形の特徴の認識結果を、ペアリング済みの入力装置５０の外形の特徴として記憶する（ステップ２１５）。

具体的には、ＨＭＤ３０は、ユーザＵが注視する点の近傍から、ユーザＵが把持している入力装置５０の三次元形状を推定し、様々な角度から入力装置５０の外形の特徴を認識して、その認識結果をペアリング済みの入力装置５０の外形の特徴として記憶する。これにより、ＨＭＤ３０と入力装置５０とのペアリングが完了して連携待ちの状態となる。これに対して、ユーザＵが、入力装置５０を把持し、これを注視しながら向きを変えたり持ち替えたりすることで四方八方から眺める動作が行われない場合には（ステップ２１４でＮＯ）、このような動作が行われるまでステップ２１４の処理が繰り返される。

（ＨＭＤの処理）
図５は、ＨＭＤ３０による連携処理の流れを示すフローチャートである。
ＨＭＤ３０は、オブジェクトおよび現実空間を、自機を介して視認可能にする制御を行う（ステップ４０１）。具体的には、ＨＭＤ３０の表示部３５にオブジェクトを表示させる制御が行われる。なお、本実施の形態では、透過型のＨＭＤ３０が採用されているため、表示部３５を介して入力装置５０が視認可能な状態になっている。

ＨＭＤ３０は、撮像部３７により撮像された画像のデータから、ユーザの視界に存在する物体を認識する（ステップ４０２）。そして、入力装置５０を特定した結果、ユーザＵの視界にペアリング済みの入力装置５０が存在する場合には（ステップ４０３でＹＥＳ）、連携待ちの状態となる（ステップ４０４）。ＨＭＤ３０は、データ取得部１０２により取得されたデータ、および入力装置５０の各々から取得したデータに基づいて、ユーザＵおよび入力装置５０の各々の挙動を推定する（ステップ４０５）。これに対して、ユーザの視界にペアリング済みの入力装置が存在しない場合には（ステップ４０３でＮＯ）、ステップ４０２の処理に戻る。

ＨＭＤ３０は、ユーザＵが自機を介して視認可能な領域を示す画像のデータから、オブジェクトおよび入力装置５０の各々の位置に関する情報を取得する（ステップ４０６）。ＨＭＤ３０は、取得したオブジェクトおよび入力装置５０の各々の位置に関する情報に基づいて、自機を介して視認可能な領域におけるオブジェクトと入力装置５０との接触を検知すると（ステップ４０７でＹＥＳ）、記憶部１３のデータベースに予め記憶されている入力装置５０の種類と機能との組み合わせに基づいて、入力方法と表示方法を決定（ステップ４０８）する。そして、ＨＭＤ３０は、入力装置５０に入力された情報を、オブジェクトに入力された情報として受け付けて（ステップ４０９）、受け付けた入力情報をオブジェクトに入力する制御を行う（ステップ４１０）。これに対して、オブジェクトと入力装置５０との接触を検知していない場合（ステップ４０７でＮＯ）、ＨＭＤ３０は、オブジェクトと入力装置５０との接触を検知するまでステップ４０７の処理を繰り返す。

（具体例）
図６乃至図１１は、ユーザＵがＨＭＤ３０を介して視認可能となったオブジェクトおよび入力装置５０の具体例を示す図である。なお、ＨＭＤ３０と入力装置５０とは事前にペアリングされているものとする。
図６（Ａ）乃至（Ｃ）には、ＨＭＤ３０を介して視認可能となったオブジェクトＶ１が、テキスト入力を受付可能とする電子文書であり、入力装置５０がタブレット端末である場合の例が示されている。図６（Ａ）は、ＨＭＤ３０を介して視認可能となったオブジェクトＶ１と入力装置５０とが離隔し、連携していない状態を示している。ここで、ユーザＵのジェスチャとして、オブジェクトＶ１を掴み、そのままオブジェクトＶ１を移動させて入力装置５０に接触させる動作を行うと、オブジェクトＶ１と入力装置５０との接触が検知される。

ユーザＵのジェスチャの結果、オブジェクトＶ１と入力装置５０との接触が検知されると、図６（Ｂ）に示すように、オブジェクトＶ１と入力装置５０とが接触している状態、すなわち、連携している状態になる。すると、ＨＭＤ３０を介して視認可能な状態となっている入力装置５０に重畳するように、ソフトウェアキーボードが表示される。これにより、ユーザＵは、表示されたソフトウェアキーボードに対する入力操作を行うことが可能となる。

そして、ユーザＵが、ＨＭＤ３０に表示されたソフトウェアキーボードを見ながら、現実空間に存在する入力装置５０に対する入力操作を行うと、その入力操作は、ソフトウェアキーボードの入力操作に連動する。これにより、入力装置５０に入力された情報が、オブジェクトＶ１に入力された情報として受け付けられて、視認可能な態様でオブジェクトＶ１に反映される。なお、図６（Ｂ）では、ＨＭＤ３０を介して視認可能な状態になっている入力装置５０に重畳するように表示されたソフトウェアキーボードに対する入力操作が行われる構成となっているが、入力装置５０の表示部に表示されたソフトウェアキーボードに対する入力操作が行われる構成であってもよい。

ユーザＵによる入力装置５０に対する入力操作が完了すると、ユーザＵは、ジェスチャにより、図６（Ｂ）に示す終了ボタンＢ１を押下する。すると、図６（Ｃ）に示すように、接触して連携した状態にあるオブジェクトＶ１と入力装置５０とが離隔される。これにより、オブジェクトＶ１と入力装置５０とが連携していない状態となり、入力装置５０に重畳するように表示されていたソフトウェアキーボードが消える。また、オブジェクトＶ１には、入力された情報が反映されて、視認可能な態様で表示される。

なお、接触して連携した状態にあるオブジェクトＶ１と入力装置５０とを離隔し、連携していない状態にする手法は、終了ボタンＢ１を押下する手法に限定されない。例えば、ユーザＵのジェスチャにより、入力装置５０に接触して連携した状態にあるオブジェクトＶ１を掴み、そのままオブジェクトＶ１を移動させて入力装置５０から離隔させる動作を行うことでも、連携していない状態にすることができる。

図７（Ａ）乃至（Ｃ）には、ＨＭＤ３０を介して視認可能となったオブジェクトＶ２が、ＰＤＦ文書であり、入力装置５０が、表示機能を有しないペンタブレットである場合の例が示されている。図７（Ａ）は、ＨＭＤ３０を介して視認可能となったオブジェクトＶ２と入力装置５０とが離隔し、連携していない状態を示している。ここで、ユーザＵのジェスチャとして、オブジェクトＶ２を掴み、そのままオブジェクトＶ２を移動させて入力装置５０に接触させる動作を行うと、オブジェクトＶ２と入力装置５０との接触が検知される。

ユーザＵのジェスチャの結果、オブジェクトＶ２と入力装置５０との接触が検知されると、図７（Ｂ）に示すように、オブジェクトＶ２と入力装置５０とが接触している状態、すなわち、連携している状態になる。すると、ＨＭＤ３０を介して視認可能な状態となっている入力装置５０に重畳するように、ＰＤＦ文書のうち編集の対象となる箇所が拡大表示される。これにより、ユーザＵは、拡大表示された箇所に対する入力操作として、スタイラスによる手書きの描画が可能となる。

そして、ユーザＵが、入力装置５０に重畳するように拡大表示された箇所を見ながら、現実空間に存在する入力装置５０に対する入力操作として、スタイラスによる手書きの描画を行うと、その入力操作は、オブジェクトＶ２の入力操作に連動する。これにより、入力装置５０に入力された情報が、オブジェクトＶ２に入力された情報として受け付けられて、視認可能な態様でオブジェクトＶ２に反映される。

ユーザＵによる入力装置５０に対する入力操作が完了すると、ユーザＵが、ジェスチャにより、図７（Ｂ）に示す終了ボタンＢ２をスタイラスで押下する。すると、図７（Ｃ）に示すように、接触して連携した状態にあるオブジェクトＶ２と入力装置５０とが離隔される。これにより、オブジェクトＶ２と入力装置５０とが連携していない状態となり、入力装置５０に重畳するように拡大表示されていた箇所が消える。また、オブジェクトＶ２には、入力された情報が視認可能な態様で表示される。

なお、接触して連携した状態にあるオブジェクトＶ２と入力装置５０とを離隔し、連携していない状態にする手法は、終了ボタンＢ２を押下する手法に限定されない。例えば、ユーザＵのジェスチャにより、入力装置５０に接触して連携した状態にあるオブジェクトＶ２を掴み、そのままオブジェクトＶ２を移動させて入力装置５０から離隔させる動作を行うことでも、連携していない状態にすることができる。

図８（Ａ）乃至（Ｃ）には、ＨＭＤ３０を介して視認可能となったオブジェクトＶ３が、スタイラスによる描画のための入力操作を受付可能とし、かつ、他のユーザＵとの共有が可能なオブジェクト（以下、「ホワイドボード」と呼ぶ）であり、入力装置５０がタブレット端末である場合の例が示されている。図８（Ａ）は、ＨＭＤ３０を介して視認可能となったオブジェクトＶ３と入力装置５０とが離隔し、連携していない状態を示している。ここで、ユーザＵのジェスチャとして、摘まむ操作により表示されるポインタＬでオブジェクトＶ３を示し、そのままオブジェクトＶ３を移動させて入力装置５０に接触させる動作を行うと、オブジェクトＶ３と入力装置５０との接触が検知される。

ユーザＵのジェスチャの結果、オブジェクトＶ３と入力装置５０との接触が検知されると、図８（Ｂ）に示すように、オブジェクトＶ３が元の位置に戻るとともに、オブジェクトＶ３と入力装置５０とが連携している状態になる。すると、ＨＭＤ３０を介して視認可能な状態の入力装置５０に重畳するように、オブジェクトＶ３のイメージ（ホワイトボードイメージ）が表示される。これにより、ユーザＵは、表示されたオブジェクトＶ３のイメージに対する入力操作として、スタイラスによる手書きの描画が可能となる。

そして、ユーザＵが、入力装置５０に重畳するように表示されたオブジェクトＶ３のイメージを見ながら、現実空間に存在する入力装置５０に対する入力操作として、スタイラスによる手書きの描画を行うと、その入力操作は、オブジェクトＶ３の入力操作に連動する。これにより、入力装置５０に入力された情報が、オブジェクトＶ３に入力された情報として受け付けられて、視認可能な態様でオブジェクトＶ３に反映される。

ユーザＵによる入力装置５０に対する入力操作が完了すると、ユーザＵが、ジェスチャにより、図８（Ｂ）に示す終了ボタンＢ３をスタイラスで押下する。すると、オブジェクトＶ３と入力装置５０とが連携していない状態となり、図８（Ｃ）に示すように、入力装置５０に重畳するように表示されていたオブジェクトＶ３のイメージ（ホワイトボードイメージ）が消える。また、オブジェクトＶ３には、入力された情報が視認可能な態様で表示される。

なお、接触して連携した状態にあるオブジェクトＶ３と入力装置５０とを離隔し、連携していない状態にする手法は、終了ボタンＢ３を押下する手法に限定されない。例えば、ユーザＵのジェスチャにより、入力装置５０に接触して連携した状態にあるオブジェクトＶ３をポインタＬで示し、そのままオブジェクトＶ３を移動させて入力装置５０から離隔させる動作を行うことでも、連携していない状態にすることができる。

図９（Ａ）乃至（Ｃ）には、ＨＭＤ３０を介して視認可能となったオブジェクトＶ４がソフトウェアキーボードであり、入力装置５０がタブレット端末である場合の例が示されている。図９（Ａ）は、ＨＭＤ３０を介して視認可能となったオブジェクトＶ４と入力装置５０とが離隔し、連携していない状態を示している。図９（Ａ）では、オブジェクトＶ４に入力された情報が反映されるオブジェクトＶ５が、ＨＭＤ３０を介して視認可能になっている。ここで、ユーザＵのジェスチャとして、オブジェクトＶ４を掴み、そのままオブジェクトＶ４を移動させて入力装置５０に接触させる動作を行うと、オブジェクトＶ４と入力装置５０との接触が検知される。

ユーザＵのジェスチャの結果、オブジェクトＶ４と入力装置５０との接触が検知されると、図９（Ｂ）に示すように、ソフトウェアキーボードとしてのオブジェクトＶ４が消え、ＨＭＤ３０を介して視認可能な状態になっている入力装置５０に重畳するようにソフトウェアキーボードが表示される。また、入力装置５０に接触するように、他のオブジェクトとしてのオブジェクトＶ６が出現する。オブジェクトＶ６には入力行および変換候補が表示される。このため、ユーザＵは、オブジェクトＶ６に表示される入力行および変換候補を見ながら、入力装置５０に重畳するように表示されたソフトウェアキーボードに対する入力操作を行うことが可能となる。

ユーザＵが、オブジェクトＶ６に表示される入力行および変換候補を見ながらソフトウェアキーボードに対する入力操作を行うと、その入力された情報が、オブジェクトＶ５に入力された情報として受け付けられる。そして、視認可能な態様でオブジェクトＶ５に反映される。なお、図９（Ｂ）では、入力装置５０に重畳するように表示されたソフトウェアキーボードに対する入力操作が行われる構成となっているが、入力装置５０に実際に表示されたソフトウェアキーボードに対する入力操作が行われる構成であってもよい。

ユーザＵによる入力装置５０に対する入力操作が完了すると、ユーザＵがジェスチャによって、図９（Ｂ）に示す終了ボタンＢ４を押下する。すると、図９（Ｃ）に示すように、オブジェクトＶ６が消え、オブジェクトＶ６と入力装置５０とが連携していない状態となり、入力装置５０に重畳するように表示されていたソフトウェアキーボードが消える。また、オブジェクトＶ５には、ソフトウェアキーボード入力された情報が視認可能な態様で表示される。

なお、接触して連携した状態にあるオブジェクトＶ６と入力装置５０とを離隔し、連携していない状態にする手法は、終了ボタンＢ４を押下する手法に限定されない。例えば、ユーザＵのジェスチャにより、入力装置５０に接触して連携した状態にあるオブジェクトＶ４を掴み、そのままオブジェクトＶ４を移動させて入力装置５０から離隔させる動作を行うことでも、連携していない状態にすることができる。

図１０（Ａ）乃至（Ｃ）には、ＨＭＤ３０を介して視認可能となったオブジェクトＶ７が、三次元モデル設計ソフトウェアによる編集のための入力を受付可能とする三次元モデルであり、入力装置５０がノートタイプのパーソナルコンピュータである場合の例が示されている。図１０（Ａ）は、ＨＭＤ３０を介して視認可能となったオブジェクトＶ７と入力装置５０とが離隔し、連携していない状態を示している。ここで、ユーザＵのジェスチャとして、オブジェクトＶ７を掴み、そのままオブジェクトＶ７を移動させて入力装置５０に接触させる動作を行うと、オブジェクトＶ７と入力装置５０との接触が検知される。

ユーザＵのジェスチャの結果、オブジェクトＶ７と入力装置５０との接触が検知されると、図１０（Ｂ）に示すように、オブジェクトＶ７は元の位置に戻るとともに、ＨＭＤ３０を介して視認可能な状態になっている入力装置５０の表示部に三次元モデルの編集画面が表示される。これにより、ユーザＵは、ＨＭＤ３０を介して視認可能となった三次元モデルの編集画面を見ながら、三次元モデルであるオブジェクトＶ７を編集するための入力操作を行うことが可能となる。ユーザＵが、三次元モデルの編集画面を見ながら三次元モデルを編集するための入力操作を行うと、その入力された情報が反映された三次元モデルがオブジェクトＶ７として表示される。

ユーザＵによる入力装置５０に対する入力操作が完了すると、ユーザＵがジェスチャによって、図１０（Ｂ）に示す終了ボタンＢ５を押下する。すると、図１０（Ｃ）に示すように、オブジェクトＶ７と入力装置５０とが連携していない状態となり、入力装置５０の表示部に表示されていた三次元モデルの編集画面が消える。また、三次元モデルを編集するために入力された情報が反映された三次元モデルが、オブジェクトＶ７として視認可能な態様で表示される。

図１１（Ａ）乃至（Ｃ）には、ＨＭＤ３０を介して視認可能となったオブジェクトＶ８が、テキスト入力を受付可能とする吹き出しであり、入力装置５０がタブレット端末である場合の例が示されている。図１１（Ａ）乃至（Ｃ）の吹き出しは、ＨＭＤ３０を介して視認可能となった現実空間の点検設備に接触するように、または点検設備の近傍に表示された吹き出しである。この吹き出しには、点検設備そのものを示す情報や、点検の内容を示す情報、あるいは点検設備から得られる情報等が、編集可能な態様で表示される。図１１（Ａ）は、ＨＭＤ３０を介して視認可能となったオブジェクトＶ８と入力装置５０とが離隔し、連携していない状態を示している。ここで、ユーザＵのジェスチャとして、オブジェクトＶ８を掴み、そのままオブジェクトＶ８を移動させて入力装置５０に接触させる動作を行うと、オブジェクトＶ８と入力装置５０との接触が検知される。

ユーザＵのジェスチャの結果、オブジェクトＶ８と入力装置５０との接触が検知されると、図１１（Ｂ）に示すように、オブジェクトＶ８が元の位置に戻るとともに、ＨＭＤ３０を介して視認可能な状態になっている入力装置５０に重畳するようにソフトウェアキーボードが表示される。また、入力装置５０に接触するように、他のオブジェクトとしてのオブジェクトＶ９が出現する。オブジェクトＶ９には入力行および変換候補が表示される。これにより、ユーザＵは、オブジェクトＶ９に表示される入力行および変換候補を見ながら、入力装置５０に重畳するように表示されたソフトウェアキーボードに対する入力操作を行うことが可能となる。

ユーザＵが、オブジェクトＶ９に表示される入力行および変換候補を見ながらソフトウェアキーボードに対する入力操作を行うと、その入力された情報が、オブジェクトＶ９に入力された情報として受け付けられて、視認可能な態様でオブジェクトＶ８に反映される。なお、図１１（Ｂ）では、入力装置５０に重畳するように表示されたソフトウェアキーボードに対する入力操作が行われる構成となっているが、入力装置５０に実際に表示されたソフトウェアキーボードに対する入力操作が行われる構成であってもよい。

ユーザＵによる入力装置５０に対する入力操作が完了すると、ユーザＵがジェスチャによって、図１１（Ｂ）に示す終了ボタンＢ６を押下する。すると、図１１（Ｃ）に示すように、オブジェクトＶ９が消え、オブジェクトＶ９と入力装置５０とが連携していない状態となり、入力装置５０に重畳するように表示されていたソフトウェアキーボードが消える。また、オブジェクトＶ８には、ソフトウェアキーボード入力された情報が視認可能な態様で表示される。

なお、連携した状態にあるオブジェクトＶ８と入力装置５０とが連携していない状態にする手法は、終了ボタンＢ６を押下する手法に限定されない。例えば、ユーザＵのジェスチャにより、入力装置５０に接触した状態にあるオブジェクトＶ９を掴み、そのままオブジェクトＶ９を移動させて入力装置５０から離隔させる動作を行うことでも、連携していない状態にすることができる。

以上、本実施の形態について説明したが、本発明は上述した本実施の形態に限るものではない。また、本発明による効果も、上述した本実施の形態に記載されたものに限定されない。例えば、図１に示すシステム構成、図２に示すハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。また、図３に示す機能構成も例示に過ぎず、特に限定されない。上述した処理を全体として実行できる機能が図１の情報処理システム１に備えられていれば足り、この機能を実現するためにどのような機能構成を用いるかは図３の例に限定されない。

また、図４および図５に示す処理のステップの順序も例示に過ぎず、特に限定されない。図示されたステップの順序に沿って時系列的に行われる処理だけではなく、必ずしも時系列的に処理されなくとも、並列的あるいは個別的に行われてもよい。また、図６乃至図１１に示す具体例も一例に過ぎず、特に限定されない。

また、例えば、図６乃至図１１には、ユーザＵのジェスチャとして、オブジェクトを掴んだり示したりすることで入力装置５０に接触させる構成となっているが、これに限定されない。オブジェクトと入力装置５０が接触すればよいので、ユーザＵのジェスチャとして、現実空間の入力装置５０を移動させてオブジェクトに接触させる構成であってもよい。具体的には、ユーザＵが、手に持った入力装置５０を動かして、ＨＭＤ３０に表示されたオブジェクトに接触させる。この場合、ＨＭＤ３０の接触検知部１０７（図３参照）は、オブジェクトと入力装置５０との接触が、ユーザＵの意図的な操作（この場合、ジェスチャ）に基づくものであることを検知する。

また、例えば、上述の実施の形態では、透過型のＨＭＤ３０が採用されているが、非透過型のＨＭＤ３０を採用してもよい。すなわち、本発明では、ユーザが表示装置を介してオブジェクトおよび入力装置を視認できればよいので、例えば、入力装置の撮像画像が、非透過型のＨＭＤにリアルタイムで表示されるようにしてもよい。

１…情報処理システム、３０…ＨＭＤ、３１…制御部、５０…入力装置、９０…ネットワーク、１０１…表示制御部、１０２…データ取得部、１０３…登録判定部、１０４…挙動推定部、１０５…装置特定部、１０６…位置取得部、１０７…接触検知部、１０８…入力情報受付部、１０９…入力制御部

Claims (24)

1. プロセッサを備え、
   前記プロセッサは、
   情報の入力操作を受付可能とするオブジェクトおよび入力装置を、表示装置を介して視認可能にする制御を行い、
   前記表示装置を介して視認可能になった前記オブジェクトおよび前記入力装置の各々の位置に関する情報に基づいて、当該オブジェクトと当該入力装置との接触を検知し、
   検知した前記接触が、ユーザのジェスチャによる、前記オブジェクトを移動させて前記入力装置に接触させる操作である場合には、当該ユーザの意図的な操作に基づくものとして当該オブジェクトと当該入力装置とを連携させ、当該入力装置に入力された情報を、当該オブジェクトに入力された情報として受け付けることを特徴とする、
   情報処理装置。
2. 前記プロセッサは、前記入力装置と接触した前記オブジェクトの状態をさらに検知し、当該オブジェクトの状態に応じて、当該オブジェクトと当該入力装置とを連携させるかどうかを決定することを特徴とする、
   請求項１に記載の情報処理装置。
3. 前記プロセッサは、前記オブジェクトの状態が、書き込み禁止の措置が講じられている場合、または入力ができない場合には、当該オブジェクトが前記入力装置に接触したときに連携させることなくはじき返すことを特徴とする、
   請求項２に記載の情報処理装置。
4. 前記プロセッサは、現実空間に存在する前記入力装置を、前記表示装置を介して視認可能にする制御を行うことを特徴とする、
   請求項１乃至３のいずれかに記載の情報処理装置。
5. 前記プロセッサは、前記現実空間に存在する前記入力装置のうち、前記ユーザの入力操作の対象となるものを特定して前記表示装置を介して視認可能にする制御を行うことを特徴とする、
   請求項４に記載の情報処理装置。
6. 前記プロセッサは、前記入力装置から提供されるデータ、当該入力装置を撮像した画像データ、および当該入力装置を対象とするセンシングデータのうち、いずれか１以上のデータから推定される当該入力装置の挙動に基づいて、前記ユーザの入力操作の対象となる前記入力装置を特定して前記表示装置を介して視認可能にする制御を行うことを特徴とする、
   請求項５に記載の情報処理装置。
7. 前記プロセッサは、前記入力装置の慣性計測データ（ＩＭＵデータ）と、三次元挙動データとの突合結果から推定される当該入力装置の挙動に基づいて、前記ユーザの入力操作の対象となる前記入力装置を特定して前記表示装置を介して視認可能にする制御を行うことを特徴とする、
   請求項６に記載の情報処理装置。
8. 前記プロセッサは、前記ユーザに装着された前記表示装置を介して、前記入力装置を視認可能にする制御を行うことを特徴とする、
   請求項１乃至３のいずれかに記載の情報処理装置。
9. 前記プロセッサは、前記ユーザの頭部に装着された前記表示装置としてのヘッドマウントディスプレイを介して、前記入力装置を視認可能にする制御を行うことを特徴とする、
   請求項８に記載の情報処理装置。
10. 前記プロセッサは、テキスト情報、音声情報、および画像情報のうちいずれか１種類以上の情報の前記入力操作を受付可能とする前記オブジェクトおよび前記入力装置を、前記表示装置を介して視認可能にする制御を行うことを特徴とする、
    請求項１乃至３のいずれかに記載の情報処理装置。
11. 前記プロセッサは、前記１種類以上の情報の前記入力操作を受付可能とする前記オブジェクトおよび前記入力装置を、前記表示装置を介して視認可能にする制御として、当該入力装置への当該入力操作を支援する他のオブジェクトをさらに視認可能にする制御を行うことを特徴とする、
    請求項１０に記載の情報処理装置。
12. 前記プロセッサは、前記入力装置の近傍に、または当該入力装置の少なくとも一部に重畳するように、前記他のオブジェクトを視認可能にする制御を行うことを特徴とする、
    請求項１１に記載の情報処理装置。
13. 前記プロセッサは、前記位置に関する情報として、前記表示装置を介して視認可能になった前記オブジェクトおよび前記入力装置の各々の外縁を示す情報に基づいて、当該オブジェクトと当該入力装置との接触を検知することを特徴とする、
    請求項１乃至３のいずれかに記載の情報処理装置。
14. 前記プロセッサは、前記オブジェクトおよび前記入力装置の各々の前記外縁を示す情報から特定される、前記外縁を囲む仮想領域の外縁同士の接触を、当該オブジェクトと当該入力装置との接触として検知することを特徴とする、
    請求項１３に記載の情報処理装置。
15. 前記仮想領域の外縁は、前記オブジェクトおよび前記入力装置の各々の外縁から外側に向かう距離の値として予め定められた値に基づいて特定されることを特徴とする、
    請求項１４に記載の情報処理装置。
16. 前記プロセッサは、前記オブジェクトの種類と前記入力装置の機能との組み合わせに基づいて特定される前記入力操作を行うための入力機能により当該入力装置に入力された情報を、当該オブジェクトに入力された情報として受け付けることを特徴とする、
    請求項１乃至３のいずれかに記載の情報処理装置。
17. 前記プロセッサは、前記入力装置から提供されるデータ、当該入力装置を撮像した画像データ、および当該入力装置を対象とするセンシングデータのうちいずれか１以上のデータに基づいて、前記入力装置の機能を特定することを特徴とする、
    請求項１６に記載の情報処理装置。
18. 前記プロセッサは、データベースに記憶されている前記組み合わせにより特定される前記入力機能にて前記入力装置に入力された情報を、前記オブジェクトに入力された情報として受け付けることを特徴とする、
    請求項１６に記載の情報処理装置。
19. 前記プロセッサは、
    前記オブジェクトおよび前記入力装置の各々の前記位置に関する情報に基づいて、接触した状態にある当該オブジェクトと当該入力装置との離隔をさらに検知し、
    前記離隔を検知すると、前記入力装置に情報が入力されたとしても、当該情報を前記オブジェクトに入力された情報として受け付けないことを特徴とする、
    請求項１乃至３のいずれかに記載の情報処理装置。
20. 前記プロセッサは、検知した前記離隔が、ユーザによる意図的な操作に基づくものである場合に、前記入力装置に情報が入力されたとしても、当該情報を前記オブジェクトに入力された情報として受け付けないことを特徴とする、
    請求項１９に記載の情報処理装置。
21. 前記プロセッサは、前記オブジェクトと、前記入力装置との間で連携先の候補の登録が完了している場合に、前記接触を検知することを特徴とする、
    請求項１乃至３のいずれかに記載の情報処理装置。
22. 前記プロセッサは、前記オブジェクトと、予め定められた前記入力装置、または予め定められた接続用のアプリケーションソフトウェアがインストールされた前記入力装置との間で連携先の候補の登録が完了している場合に、前記接触を検知することを特徴とする、
    請求項２１に記載の情報処理装置。
23. 情報の入力操作を受付可能とするオブジェクトおよび入力装置を、表示装置を介して視認可能にする制御を行う表示制御手段と、
    前記表示装置を介して視認可能になった前記オブジェクトおよび前記入力装置の各々の位置に関する情報に基づいて、当該オブジェクトと当該入力装置との接触を検知する検知手段と、
    検知した前記接触が、ユーザのジェスチャによる、前記オブジェクトを移動させて前記入力装置に接触させる操作である場合には、当該ユーザの意図的な操作に基づくものとして当該オブジェクトと当該入力装置とを連携させ、当該入力装置に入力された情報を、当該オブジェクトに入力された情報として受け付ける受付手段と、
    を有することを特徴とする情報処理システム。
24. 情報の入力操作を受付可能とするオブジェクトおよび入力装置を、表示装置を介して視認可能にする制御を行う機能と、
    前記表示装置を介して視認可能になった前記オブジェクトおよび前記入力装置の各々の位置に関する情報に基づいて、当該オブジェクトと当該入力装置との接触を検知する機能と、
    検知した前記接触が、ユーザのジェスチャによる、前記オブジェクトを移動させて前記入力装置に接触させる操作である場合には、当該ユーザの意図的な操作に基づくものとして当該オブジェクトと当該入力装置とを連携させ、当該入力装置に入力された情報を、当該オブジェクトに入力された情報として受け付ける機能と、
    を実現させるためのプログラム。