JP6350772B2 - 情報処理システム、情報処理装置、制御方法、及びプログラム - Google Patents

Description

本発明は、情報処理システム、情報処理装置、制御方法、及びプログラムに関する。

ジェスチャ入力等、ユーザが空間上で行った動作をカメラで撮像し、生成された撮像画像を解析することで、情報処理装置に対するユーザの入力操作を認識する技術が開発されている。特許文献１は、ユーザの手のひらのジェスチャ（例えば手のひらを開くジェスチャ）に応じて、その手のひらにメニュー画面を表示したり、そのメニュー画面を切り替えたりする技術を開示している。

特許文献２は、ヘッドマウントディスプレイに表示される仮想キーボードを用いて入力を行う技術を開示している。また、特許文献２は、上記仮想キーボードを実空間上の物に固定することで、ヘッドマウントディスプレイの装着者が頭部を動かしても上記仮想キーボードの位置が変化しないようにする技術を開示している。

米国特許出願公開第２０１５／００１６７７７号明細書 特表２０１５−５０４６１６号公報

ユーザの入力操作を認識するために撮像画像全体に対して画像解析処理を行うと、画像解析処理に長い時間を要する。

本発明は、上記課題に鑑みてなされたものである。本発明の目的は、撮像画像からユーザの入力操作を認識する際に要する処理を軽量にすることである。

本発明の第１の情報処理システムは、ユーザに身に付けられているデバイスのディスプレイ装置に表示される画像あるマーカと、情報処理装置と、を有する。
前記情報処理装置は、（１）前記マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出手段と、（２）前記操作領域に含まれる操作体の位置又は動きを算出し、前記算出した位置又は動きに基づいて入力操作を認識する認識手段と、を有する。
本発明の第２の情報処理システムは、ユーザに身に付けられるものであるか、又はユーザの身体の一部であるマーカと、情報処理装置と、画像を表示する表示装置と、を有する。
前記情報処理装置は、（１）前記マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出手段と、（２）前記操作領域に含まれる操作体の位置又は動きを算出し、前記算出した位置又は動きに基づいて入力操作を認識する認識手段と、（３）前記操作領域を表す操作領域画像を前記表示装置に表示させる表示制御手段と、を有する。

本発明の情報処理装置は、本発明の情報処理システムが有する上記情報処理装置である。

本発明の第１の制御方法は、コンピュータによって実行される。当該制御方法は、（１）マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出ステップと、（２）前記操作領域に含まれる操作体の位置又は動きを検出し、前記検出した位置又は動きに基づいて入力操作を認識する認識ステップと、を有する。
前記マーカは、ユーザに身に付けられているデバイスのディスプレイ装置に表示される画像である。
本発明の第２の制御方法は、コンピュータによって実行される。当該制御方法は、（１）マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出ステップと、（２）前記操作領域に含まれる操作体の位置又は動きを算出し、前記算出した位置又は動きに基づいて入力操作を認識する認識ステップと、（３）前記操作領域を表す操作領域画像を表示装置に表示させる表示制御ステップと、を有する。
前記マーカは、ユーザに身に付けられるものであるか、又はユーザの身体の一部である。

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

本発明によれば、撮像画像からユーザの入力操作を認識する際に要する処理を軽量にする技術が提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態１に係る情報処理システムを例示するブロック図である。 情報処理システムを概念的に説明するための図である。 情報処理装置を実現する計算機の構成を例示する図である。 カメラが設けられているヘッドマウントディスプレイを例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 撮像画像上の位置を例示する図である。 撮像画像における座標系上のマーカの位置を例示する図である。 マーカを中心とする操作領域を例示する図である。 マーカから離れた場所を中心位置とする操作領域を例示する図である。 操作領域が、マーカによって定まる３次元座標系の xy 平面上の所定形状である場合を例示する第１の図である。 操作領域が、マーカによって定まる３次元座標系の xy 平面上の所定形状である場合を例示する第２の図である。 マーカの傾きに合わせて操作領域の姿勢が変化する様子を例示する図である。 操作領域がユーザの腕である場合を例示する図である。 操作体の位置を定める方法を例示する第１の図である。 操作体の位置を定める方法を例示する第２の図である。 ぶれた状態のユーザの指が含まれる撮像画像を例示する図である。 操作体の位置に基づいて定まる操作を例示する図である。 操作体の動きによって定まる形状を入力する入力操作を認識するケースを例示する図である。 ジェスチャ入力を例示する図である。 操作体の位置や動きが、操作領域内における相対的な位置や動きによって表される様子を例示する図である。 操作体の位置や動きが、撮像画像全体における相対的な位置や動きによって表される様子を例示する図である。 実施形態２の情報処理システムを例示するブロック図である。 実施形態２の情報処理装置によって実行される処理の流れを例示するフローチャートである。 実施形態３の情報処理装置によって実行される処理の流れを例示するフローチャートである。 操作領域を基準とした位置に表示される操作画像を例示する図である。 実施例の情報処理システムの使用環境を例示する図である。 候補選択操作を例示する図である。 決定操作を例示する第１の図である。 決定操作を例示する第２の図である。 決定操作を例示する第３の図である。 キャンセル操作を例示する第１の図である。 キャンセル操作を例示する第２の図である。 キャンセル操作を例示する第３の図である。 変更操作を例示する第１の図である。 変更操作を例示する第２の図である。 変更操作を例示する第３の図である。 変更操作を例示する第４の図である。 変更操作を例示する第５の図である。 変更操作を例示する第６の図である。 スライドバーに対する入力操作を例示する第１の図である。 スライドバーに対する入力操作を例示する第２の図である。 スライドバーに対する入力操作を例示する第３の図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。

［実施形態１］
図１は、実施形態１に係る情報処理システム３０００を例示するブロック図である。情報処理システム３０００はマーカ３０２０を有する。マーカ３０２０は、情報処理システム３０００のユーザの身体の任意の部分であるか、又は情報処理システム３０００のユーザに身に付けられる任意の物である。マーカ３０２０についての詳細な説明は後述する。

情報処理装置２０００は、操作領域抽出部２０２０及び認識部２０４０を有する。操作領域抽出部２０２０は、マーカ３０２０の位置に基づき、撮像画像から操作領域を抽出する。

認識部２０４０は、撮像画像の上記操作領域に含まれる操作体の位置又は動きを算出する。操作体は、ユーザが操作に利用する任意の物である。例えば操作体は、ユーザの身体の一部（指など）や、ユーザの身体によって保持されている物（ペンなど）である。

さらに認識部２０４０は、算出した操作体の位置又は動きに基づいて入力操作を認識する。この入力操作の対象は、情報処理装置２０００であってもよいし、他の装置であってもよい。

図２は、情報処理システム３０００を概念的に説明するための図である。図２の例において、情報処理システム３０００を利用するユーザの手首には、時計型のデバイス１０が身に付けられている。図２の例において、マーカ３０２０は、デバイス１０のタッチパネル１４に表示されている画像（以下、マーカ画像）である。また、図２の例において、操作体は指３０である。

操作領域抽出部２０２０は、カメラ２０によって生成された撮像画像から、操作領域４０を抽出する。認識部２０４０は、操作領域４０から指３０の位置又は動きを算出し、その位置又は動きに基づいて入力操作を認識する。

ここで、認識部２０４０は、操作領域４０内から指３０を検出する。こうすることで、指３０の位置や動きを算出するために画像処理を行うべき画像領域が撮像画像全体よりも狭くなる。よって、入力操作の認識に要する処理が軽量になる。その結果、入力操作の認識に要する時間が短くなったり、入力操作の認識に要する計算機資源が少なくなったりするという利点がある。

なお、図２を用いて説明した情報処理システム３０００の動作は、情報処理システム３０００の理解を容易にするための例示であり、情報処理システム３０００の動作は上述の例に限定されるわけではない。情報処理システム３０００の動作の詳細やバリエーションについては、以降の記載で説明する。

＜作用・効果＞
本実施形態の情報処理システム３０００は、マーカ３０２０の位置に基づいて、撮像画像から操作領域４０を抽出する。そして、認識部２０４０は、操作領域４０内から操作体の位置又は動きを算出する。こうすることで、入力操作の認識に要する処理が軽量になる。その結果、入力操作の認識に要する時間が短くなったり、入力操作の認識に要する計算機資源が少なくなったりするという利点がある。

また、本実施形態の情報処理システム３０００によれば、キーボード、マウス、又はタッチパネルなどの入力デバイスを用いて入力操作を行う場合と異なり、入力操作を行う際にユーザが入力デバイスに触れなくてよい。よって、本実施形態の情報処理システム３０００は、ユーザが入力デバイスに触れないことが求められる環境での利用に好適である。

ユーザが入力デバイスに触れないことが求められる環境には、例えば医療現場や食料品を扱う現場（食料品の加工現場など）などがある。このような環境では、ユーザ（医師、看護士、救急隊員、又は食品加工の作業員など）の手が清潔に保たれていることや、無菌状態で作業を行うことが求められる。さらに医療現場では、感染が想定される場所での作業もありうる。このような環境でユーザがキーボードなどの入力デバイスを利用しなければならないと、入力操作を行う度に手の洗浄や手袋の交換などを行わなければならず、作業効率が下がる。またこのような環境では、仮に作業効率が下がらなくとも、物に触れることが無条件に嫌悪される実情がある。

ユーザが入力デバイスに触れないことが求められるその他の環境には、工事現場など、ユーザの手が汚れてしまう環境がある。このような環境でユーザ（工事の作業員など）が入力デバイスに触れると、入力デバイスが汚れてしまい、入力デバイスが故障しやすくなる。その他にも、放射線洗浄を行う現場など、ユーザ（放射線洗浄の作業員など）が周囲の物に触れることが望ましくない環境もある。

本実施形態の情報処理システム３０００を利用すれば、前述した種々の環境のように、ユーザが入力デバイスに触れないことが求められる環境において、ユーザは、入力デバイスに触れることなく入力操作を行うことができる。よって、本実施形態の情報処理システム３０００を利用すれば、コンピュータに対する入力操作を伴う作業を多様な環境で行うことができるようになる。

以下、本実施形態の情報処理装置２０００について、さらに詳細に説明する。

＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

計算機１０００は、ヘッドマウントディスプレイ、タブレット端末、スマートフォン、Personal Computer（PC）、又はサーバマシンなど、種々の計算機である。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

図３は、情報処理装置２０００を実現する計算機１０００の構成を例示する図である。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、及びストレージ１０８０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、ハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM などのメモリであってもよい。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。図３において、入出力インタフェース１１００にはカメラ２０が接続されている。カメラ２０は、繰り返し撮像を行って、各撮像結果を表す撮像画像を生成する任意のカメラである。例えばカメラ２０は、30 fps（frames/sec）の頻度で撮像を行い、時系列で並べられた複数の撮像画像で構成される動画を生成する。なお、カメラ２０は、二次元カメラであってもよいし、３次元カメラであってもよい。

カメラ２０が設けられる位置は任意である。例えばカメラ２０は、ユーザが身につけている物に取り付けられる。ユーザが身につけている物とは、例えばヘッドマウントディスプレイや、首から提げている社員証などである。

図４は、カメラ２０が設けられているヘッドマウントディスプレイを例示する図である。ヘッドマウントディスプレイ１００は、眼鏡型のヘッドマウントディスプレイである。ヘッドマウントディスプレイ１００のレンズ部分はディスプレイ装置１０２となっている。カメラ２０は、ディスプレイ装置１０２の付近に設けられている。こうすることで、カメラ２０によって生成される撮像画像に含まれる景色は、ヘッドマウントディスプレイ１００を装着するユーザの視線方向にある景色と同様の景色となる。

カメラ２０が設けられる位置は、ユーザが身に付けている物に限定されない。例えば、カメラ２０は、ユーザが情報処理装置２０００に対する入力操作を行う部屋の壁等に設けられてもよい。後者の場合、カメラ２０の撮影範囲（撮影方向やズーム率など）は、リモコンなどによる遠隔操作によって変更できることが好ましい。

ストレージ１０８０は情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。プロセッサ１０４０は、上記各モジュールをメモリ１０６０上に読み出して実行する。

計算機１０００のハードウエア構成は図３に示した構成に限定されない。例えば、各プログラムモジュールはメモリ１０６０に格納されてもよい。この場合、計算機１０００は、ストレージ１０８０を備えていなくてもよい。

＜処理の流れ＞
図５は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。情報処理装置２０００は、撮像画像を取得する（Ｓ１０２）。操作領域抽出部２０２０は、マーカ３０２０の位置を算出する（Ｓ１０４）。操作領域抽出部２０２０は、算出したマーカ３０２０の位置に基づいて、撮像画像から操作領域４０を抽出する（Ｓ１０６）。認識部２０４０は、操作領域４０内の操作体の位置又は動きを算出する（Ｓ１０８）。認識部２０４０は、算出した操作体の位置又は動きに基づいて入力操作を認識する（Ｓ１１０）。

＜撮像画像を取得する方法：Ｓ１０２＞
情報処理装置２０００は、カメラ２０によって生成された撮像画像を取得する（Ｓ１０４）。情報処理装置２０００が撮像画像を取得する方法は様々である。例えば情報処理装置２０００は、カメラ２０から撮像画像を取得する。この場合、情報処理装置２０００とカメラ２０とは通信可能に接続されている。

また、カメラ２０が外部の記憶装置に撮像画像を記憶する場合、情報処理装置２０００は、この記憶装置から撮像画像を取得する。この場合、情報処理装置２０００は、この記憶装置と通信可能に接続されている。

なお、情報処理装置２０００は、カメラ２０によって生成される撮像画像の全てを取得してもよいし、一部のみを取得してもよい。後者の場合、例えば情報処理装置２０００は、操作領域抽出部２０２０によってマーカ３０２０の位置が算出されたタイミング以降の操作画像のみを取得する。この場合、マーカ３０２０の位置の算出は、撮像画像を用いずに行われる。

＜マーカ３０２０の位置の算出方法：Ｓ１０４＞
マーカ３０２０は、操作領域抽出部２０２０によってその位置を算出できる任意の物である。マーカ３０２０として何を用いることができるかは、操作領域抽出部２０２０がどのようにマーカ３０２０の位置を算出する方法によって異なる。以下、マーカ３０２０の位置の算出方法を具体的に例示しながら、そのマーカ３０２０としてどのような物を用いることができるかを説明する。なお、操作領域抽出部２０２０が何をマーカ３０２０として認識するのかを示す情報は、マーカ３０２０に予め設定されていてもよいし、操作領域抽出部２０２０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。また、操作領域抽出部２０２０がマーカ３０２０として扱う物は、一種類であってもよいし、複数種類であってもよい。

＜＜撮像画像の解析による算出＞＞
操作領域抽出部２０２０が、撮像画像を解析することにより、マーカ３０２０の位置を算出するとする。この場合、マーカ３０２０は、カメラ２０によって生成される撮像画像において少なくともその位置が特定できる任意の物である。例えばマーカ３０２０は、３次元の座標系の決定に利用できるマーカである。３次元の座標系の決定に利用できるマーカは、例えば AR（Augmented Reality）マーカである。ただし、３次元の座標系の決定に利用できるマーカは、参照方向によらず、或る基準点からの相互に直交する３つの方向を一定に得ることができるものであればよく、AR マーカには限定されない。また、マーカ３０２０は、撮像画像においてその位置が特定できる物であればよく、必ずしも３次元の座標系の決定に利用できる必要はない。

マーカ３０２０がユーザの身体に身に付けられるものである場合、マーカ３０２０は、ユーザの身体の任意の箇所に取り付けることができる。例えばマーカは、ユーザの腕部に身に付けられる。ここで腕部とは、手から肩にかけての部分を意味する。

例えばこの場合、マーカは、ユーザの腕部に取り付けられたデバイス１０のディスプレイ装置に表示される画像である。デバイス１０は、ディスプレイ装置上に画像を表示する機能を有する任意の電子機器である。なおデバイス１０は、ユーザの腕に直接取り付けられてもよいし、服の上からユーザの腕に取り付けられてもよい。

例えば図２では、マーカ３０２０は、デバイス１０のタッチパネル１４に表示されているマーカ画像である。マーカ画像は、予めデバイス１０に記憶されている画像であってもよいし、デバイス１０の外部にある記憶装置に記憶されている画像であってもよい。後者の場合、デバイス１０は、マーカ画像を記憶装置から取得して表示する。

マーカ３０２０は、上述のようにデバイスに表示されるものに限定されない。またマーカ３０２０は、ユーザの腕部などに直接描画されていてもよいし、ユーザの腕部などにある任意の物に描画されていてもよい。後者の場合、例えばマーカ３０２０は、ユーザの指に取り付けられている指輪、ユーザの手首に取り付けられているリストバンド、又はユーザが着ている服の袖などに描画される。なお、マーカ３０２０は、手で描画されてもよいし、印字されてもよい。さらにマーカ３０２０は、ユーザの身体の特定の部分であってもよい。例えばマーカ３０２０は、ユーザの手の甲などである。このように、マーカ３０２０をデバイス１０に表示されるマーカ画像以外で実現すると、情報処理システム３０００を利用する際にデバイス１０を装着しなくてもよい。このことにより、例えば情報処理システム３０００の実現に要するコストを削減することができる。

さらに、マーカ３０２０は、光を発する発光デバイス（LED（Light Emitting Diode）など）であってもよい。なお、マーカ３０２０が発光デバイスであり、なおかつ操作領域抽出部２０２０がマーカ３０２０に基づいて３次元の座標系を決定する場合、マーカ３０２０は３つ以上の発光デバイスを用いて構成される。操作領域抽出部２０２０は、撮像画像に含まれるこれら３つ以上の発光デバイスそれぞれによって発せられた光の位置を算出する。そして、操作領域抽出部２０２０は、各発光デバイスの位置に基づいて、３次元の座標系を決定することができる。なお、３点以上の物を用いて３次元の座標系を決定する方法には既知の方法を利用できるため、その具体的な方法の説明は省略する。

撮像画像からマーカ３０２０を検出するために、操作領域抽出部２０２０は、マーカ３０２０として扱うものを特定する情報（マーカ３０２０の形状、サイズ、色などについての情報など：以下、マーカ情報）を利用する。この情報は、予め操作領域抽出部２０２０に設定されていてもよいし、操作領域抽出部２０２０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

操作領域抽出部２０２０は、マーカ情報を用いて撮像画像を画像解析することで、撮像画像に含まれるマーカ３０２０を検出する。そして操作領域抽出部２０２０は、検出したマーカ３０２０の位置を算出する。ここで、画像内から所定の物を検出し、さらにその物の画像内における位置を算出する技術には、既知の様々な技術を利用できる。

マーカ３０２０の位置を表す方法は任意である。例えばマーカ３０２０の位置は、撮像画像上の位置（座標）で表される。図６は、撮像画像上の位置を例示する図である。図６において、撮像画像２２は撮像画像である。撮像画像２２上の位置は、撮像画像２２の左上端を原点とし、撮像画像２２の右方向を x 方向とし、撮像画像２２の下方向を y 方向とする座標系で定まる座標で表される。ただし、撮像画像２２上の位置を定める方法は、図６に示した座標系によって定める方法に限定されない。

撮像画像を解析することでマーカ３０２０の位置を算出する方法によれば、マーカ３０２０がカメラ２０の撮像範囲に入った場合のみ、ユーザによる入力操作が情報処理装置２０００によって認識される。マーカ３０２０がカメラ２０の撮像範囲に入っていない場合には、ユーザによる入力操作が認識されない。そのためユーザは、カメラ２０の撮像範囲にマーカ３０２０を入れるか入れないかにより、情報処理装置２０００を利用する作業とそれ以外の作業とを切り分けることができる。これにより、情報処理装置２０００によって入力操作が誤検出される蓋然性を小さくできる。

例えば書類を書くなどの作業で指３０を動かす際、ユーザは、マーカ３０２０がカメラ２０の撮像範囲に入らないようにする。こうすることで、情報処理装置２０００による入力操作の認識が行われない。

撮像画像を解析することでマーカ３０２０の位置を算出する方法を採用する場合、ユーザの視界方向を撮像するようにカメラ２０が設けられることが、より好適である（図４のカメラ２０など）。こうすることで、ユーザにとって、マーカ３０２０をカメラ２０の撮像範囲に入れたり、マーカ３０２０をカメラ２０の撮像範囲から出したりする動作が容易になる。マーカ３０２０をカメラ２０の撮像範囲に入れたい場合、ユーザは、マーカ３０２０を視界に入れればよい。一方、マーカ３０２０をカメラ２０の撮像範囲に入れたくなければ、ユーザは、マーカ３０２０を視界に入れなければよい。

＜＜音の検出による算出＞＞
操作領域抽出部２０２０は、マーカ３０２０から発せられる音を用いて、マーカ３０２０の位置を算出してもよい。この場合、マーカ３０２０は、任意の音源である。ここで、音源から発せられる音に基づいて音源の位置を算出する技術には既存の種々の技術を利用できる。

例えば、カメラ２０の付近に３つのマイクを設置する。これらのマイクはそれぞれ、マーカ３０２０から発せられた音を検出する。操作領域抽出部２０２０は、マーカ３０２０から発せられた音がこれら３つのマイクによって検出された各時点の差に基づいて、これら３つのマイクの位置によって定まる座標系におけるマーカ３０２０の座標を算出する。

さらに操作領域抽出部２０２０は、これらマイクの位置とカメラ２０の位置との関係、及びカメラ２０の画角などの情報を用いて、上記３つのマイクの位置によって定まる座標系上の座標を、撮像画像において定まる座標系上の座標に変換する。そして操作領域抽出部２０２０は、撮像画像によって表される平面（図６における xy 平面）におけるマーカ３０２０の位置を算出する。なお、或る座標系上の座標を別の座標系上の座標に変換する方法には、既知の技術を利用できる。また、マイクとカメラ２０を設ける位置を、マイクの位置によって定まる座標系と撮像画像において定まる座標系が一致又はほぼ一致するように決定してもよい。こうすることで、上述した座標の変換が不要となる。

図７は、撮像画像における座標系上のマーカ３０２０の位置を例示する図である。図７において、撮像画像における座標系は、撮像画像の左上端を原点とし、撮像画像の右方向を x 方向とし、撮像画像の下方向を y 方向とし、撮像画像を平面視する方向を z 方向とする座標系である。この座標系におけるマーカ３０２０の位置は、(x1, y1, z1) である。そして操作領域抽出部２０２０は、撮像画像２２によって表される xy 平面上におけるマーカ３０２０の座標 (x1, y1) を、撮像画像２２上におけるマーカ３０２０の位置とする。

マーカ３０２０の位置を音に基づいて算出する方法によれば、撮像画像からマーカ３０２０を検出できる必要がない。そのため、撮像画像に含まれない位置（デバイス１０の内部など）にマーカ３０２０を設けることができる。また、マーカ３０２０を小型化することができる。さらに、カメラ２０に要求される解像度が低くなる。

＜操作領域４０の抽出方法：Ｓ１０６＞
操作領域抽出部２０２０は、算出した撮像画像上のマーカ３０２０の位置に基づいて、撮像画像から操作領域４０を抽出する（Ｓ１０６）。操作領域４０は、マーカ３０２０の位置を基準として定められる任意の領域である。例えば操作領域４０は、マーカ３０２０の位置（例えば中心位置）を中心位置とする所定形状で定まる領域である。この所定形状は、円形や矩形など、任意の形状である。

図８は、マーカ３０２０を中心とする操作領域４０を例示する図である。図８において、操作領域４０は、マーカ３０２０の中心位置を中心位置とし、幅が所定の長さ w であり、高さが所定の長さ h である矩形である。

ただし、マーカ３０２０の位置によって定まる位置は、操作領域４０の中心位置に限定されない。例えば、マーカ３０２０の位置によって操作領域４０の左上端などの位置が定まってもよい。

また例えば操作領域４０は、マーカ３０２０の位置から所定方向に所定距離離れた場所に中心位置などがある領域であってもよい。図９は、マーカ３０２０から離れた場所を中心位置とする操作領域４０を例示する図である。図９においても、操作領域４０の形状は、幅が所定の長さ w であり、高さが所定の長さ h である矩形である。ただし、図９の操作領域４０の中心位置は、マーカ３０２０から矢印４１によって定まる方向へ距離 d だけ移動した場所である。

なお図８及び図９において、操作領域４０は撮像画像によって表される平面（図６の xy 平面）における所定形状となっている。しかし、操作領域４０は、撮像画像によって表される平面以外の平面における所定形状であってもよい。

例えば操作領域４０は、マーカ３０２０によって定まる３次元座標系における平面上の所定形状でもよい。図１０は、操作領域４０が、マーカ３０２０によって定まる３次元座標系の xy 平面上の所定形状である場合を例示する第１の図である。図１０の操作領域４０は、図８の操作領域４０と同様に、マーカ３０２０の中心位置を中心位置とし、幅が所定の長さ w であり、高さが所定の長さ h である矩形である。ただし図１０では、操作領域４０は、マーカ３０２０によって定まる座標系４２の xy 平面における矩形である。より具体的には、操作領域４０は、座標系４２の原点を中心位置とし、座標系４２の x 軸方向における長さが w であり、座標系４２の y 軸方向における長さが h である。

図１１は、操作領域４０が、マーカ３０２０によって定まる３次元座標系の xy 平面上の所定形状である場合を例示する第２の図である。図１１の操作領域４０は、図９の操作領域４０と同様に、マーカ３０２０から矢印４１によって定まる方向へ距離 d だけ移動した場所を中心位置とし、幅が所定の長さ w であり、高さが所定の長さ h である矩形である。ただし図１１では、矢印４１によって表される方向が、座標系４２における方向となっている。また操作領域４０は、座標系４２の x 軸方向における長さが w であり、座標系４２の y 軸方向における長さが h である。

このように、マーカ３０２０で定まる座標系４２を利用して操作領域４０を抽出することにより、マーカ３０２０の姿勢の変化に操作領域４０の姿勢が追従する。例えば図１１のように、操作領域４０がユーザの腕上に位置するように定められているとする。この場合、デバイス１０が設けられている手首をユーザが捻ると、その捻りにあわせて操作領域４０の姿勢が変化する。図１２は、マーカ３０２０の傾きに合わせて操作領域４０の姿勢が変化する様子を例示する図である。

このように、マーカ３０２０の姿勢の変化に合わせて操作領域４０の姿勢が変化すると、操作領域４０があたかも一定の場所に張り付いているようになる。例えば図１２では、操作領域４０が常にユーザの腕上の一定の場所に張り付いているようになる。よって、ユーザにとって、腕上の同じ場所が常に操作領域４０となる。これにより、ユーザは、情報処理装置２０００を用いた入力操作をより直感的に行える。

なお、前述した所定形状を表す情報や、どの場所をマーカ３０２０の中心とするかを表す情報（矢印４１の情報など）は、操作領域抽出部２０２０に予め設定されていてもよいし、操作領域抽出部２０２０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。また、マーカ３０２０の座標系４２を利用する場合、マーカ３０２０は、３次元の座標の決定に用いることができるマーカ（AR マーカなど）である。

また、操作領域４０の大きさ（前述した幅 w や高さ h など）は、絶対値（画素数など）で定義されていてもよいし、相対値で定義されていてもよい。後者の場合、例えば操作領域４０の大きさは、撮像画像の大きさに対する相対値で表される。撮像画像の大きさに対する相対値は、例えば撮像画像の幅又は高さを１とする相対値である。また例えば、操作領域４０の大きさは、マーカ３０２０の大きさに対する相対値で表されてもよい。マーカ３０２０の大きさに対する相対値は、例えばマーカ３０２０の幅、高さ、対角線又は直径などを１とする相対値である。操作領域４０の大きさをマーカ３０２０の大きさに対する相対値で定義すると、マーカ３０２０をカメラ２０に近づけた場合に操作領域４０が大きくなり、マーカ３０２０をカメラ２０から遠ざけた場合に操作領域４０が小さくなる。

また操作領域抽出部２０２０は、撮像画像に含まれる所定の領域を操作領域４０として抽出してもよい。例えば操作領域抽出部２０２０は、マーカ３０２０が設けられているユーザの腕部における腕を、操作領域４０として抽出する。図１３は、操作領域４０がユーザの腕である場合を例示する図である。図１３では、腕３２が操作領域４０となっている。

操作領域抽出部２０２０は、ユーザの腕の検出にマーカ３０２０を利用する。例えば操作領域抽出部２０２０は、撮像画像２２からユーザの腕部を表す領域（例えば肌色の領域）を抽出する。そして操作領域抽出部２０２０は、その領域においてマーカ３０２０を境界として扱うことで、ユーザの手と腕を区別する。図１３の場合、マーカ３０２０（マーカ画像１６）は、ユーザの左の手首に設けられている。そのため、ユーザの腕部を表す領域の内、マーカ画像１６よりも左側にある領域が腕であり、マーカ画像１６よりも右側にある領域が手となる。例えばユーザの腕を操作領域４０とする場合、操作領域抽出部２０２０は、ユーザの腕部を表す領域のうち、マーカ画像１６よりも左側の領域を操作領域４０として抽出する（図１３参照）。

なお、マーカ３０２０を境にした腕と手の位置関係（どちら側が腕で、どちら側が手か）は、マーカ３０２０がどちらの腕部に設けられているかによって異なる。例えば操作領域抽出部２０２０は、マーカ３０２０がどちらの腕部に設けられているのかを示す情報を利用して、マーカ３０２０がどちらの腕部に設けられているのかを把握する。この情報は、操作領域抽出部２０２０に予め設定されていてもよいし、操作領域抽出部２０２０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。また例えば、操作領域抽出部２０２０は、マーカ３０２０を境としてユーザの腕部を表す領域を２つに分割し、分割された領域の内のより広い方の領域を、腕を表す領域として認識してもよい。

なお、操作領域抽出部２０２０は、腕ではなく、手を操作領域４０として抽出してもよい。

操作領域抽出部２０２０によって抽出される操作領域４０として好適な場所として、例えば前述したユーザの腕や手に含まれる領域が挙げられる。人の腕や手は、一般的な景色と比較し、色や模様が単調である。よって、人の腕や手に含まれる領域を操作領域４０とすることにより、操作体の背景の色や模様が単調となる。そのため、認識部２０４０が容易に操作体を検出できるようになる。

ここで、人の手や腕については、素肌が見えている必要はなく、手袋が装着されていたり、長袖が着用されていたりしてもよい。一般に、手袋や服の柄は、周囲の景色と比較すると色や模様が単調である。そのため、手袋や服の柄が操作体の背景である場合でも同様に、操作体の検出が容易となる。

なお、人の腕や手は操作領域４０として好適な場所の一例であり、操作領域４０は、人の腕や手に含まれる領域に限定されない。

＜操作体について＞
認識部２０４０によって操作体として扱われる物は様々である。例えば認識部２０４０は、ユーザの腕部の一部（指など）や、ユーザの腕部によって保持される物（ペンなど）を操作体として扱う。この場合、ユーザは、カメラ２０の撮像範囲内で指やペンなどを動かすことにより、入力操作を行う。

また例えば、認識部２０４０は、物やユーザの身体に付されたマーカを操作体として扱ってもよい。例えばこのマーカは、ユーザの身体（指など）に付される。また例えば、このマーカは、ユーザが保持する物（ペンなど）に付される。また例えば、このマーカは、ユーザが身につける物に付される。ユーザに身につけられる物は、例えばユーザの指にはめられる指輪などである。

なお、操作領域抽出部２０２０が撮像画像を解析することでマーカ３０２０の位置を算出する場合、操作体として扱うマーカとマーカ３０２０とを撮像画像上で（外見上で）区別できるように、操作体として扱うマーカとして扱う物と、マーカ３０２０として扱う物をそれぞれ定める。例えば、操作体として扱うマーカとして扱う物と、マーカ３０２０として扱う物において、形状、色、又は模様などが互いに異なるようにする。

認識部２０４０が何を操作体として扱うかを示す情報は、認識部２０４０に予め設定されていてもよいし、認識部２０４０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

なお、認識部２０４０が操作体として扱う物は、一種類であってもよいし、複数種類であってもよい。

操作領域抽出部２０２０によって抽出される操作領域４０として好適な場所として、例えば前述したユーザの腕や手に含まれる領域が挙げられる。人の腕や手は、一般的な景色と比較し、色や模様が単調である。よって、人の腕や手に含まれる領域を操作領域４０とすることにより、操作体の背景の色や模様が単調となる。そのため、認識部２０４０が容易に操作体を検出できるようになる。

ここで、人の手や腕については、素肌が見えている必要はなく、手袋が装着されていたり、長袖が着用されていたりしてもよい。一般に、手袋や服の柄は、周囲の景色と比較すると色や模様が単調である。そのため、手袋や服の柄が操作体の背景である場合でも同様に、操作体の検出が容易となる。

なお、人の腕や手は操作領域４０として好適な場所の一例であり、操作領域４０は、人の腕や手に含まれる領域に限定されない。

＜操作体の位置を算出する方法：Ｓ１０８＞
認識部２０４０は、操作領域４０から操作体を検出し、その操作体の位置を算出する（Ｓ１０８）。ここで、画像の所定領域に含まれる所定のオブジェクトを検出する技術には、既知の技術を利用できる。

認識部２０４０が操作体の位置を定める方法は様々である。例えば認識部２０４０は、操作領域４０の中から操作体を表す領域を割り出す。そして、認識部２０４０は、割り出した領域に含まれる点を、操作体の位置とする。この際、操作体の位置は、操作体を表す領域に含まれる任意の点でよい。

例えば操作体がユーザの身体の一部やユーザに保持されている物体である場合、認識部２０４０は、操作体を表す領域の重心を算出する。そして、認識部２０４０は、操作体を表す領域に含まれ、なおかつその領域の重心から最も遠い点を、操作体の位置とする。この方法によれば、例えば指先やペン先などが操作体の位置となる。

図１４は、操作体の位置を定める方法を例示する第１の図である。図１４において、操作体はユーザの手である。まず認識部２０４０は、操作領域４０の中からユーザの手を表す領域６０を割り出す。次に認識部２０４０は、領域６０の重心６２を算出する。そして認識部２０４０は、領域６０に含まれる点であり、なおかつ重心６２から最も遠い点６４を、操作体の位置とする。なお、重心６２から最も遠い点が領域６０の中に複数ある場合、例えば認識部２０４０は、これら複数の点のうち、マーカ３０２０から最も遠い点を操作体の位置とする。

ここで、例えば指の腹で入力操作を行う場合など、指先とは少しずれた場所を操作体の位置として扱うことが好ましい場合もある。そこで認識部２０４０は、操作体の重心から最も遠い点６４を算出し、さらにこの点から少しずらした位置（例えばマーカ３０２０へ近づく方向に所定距離ずらした位置）を操作体の位置としてもよい。操作体の重心から最も遠い点６４と操作体の位置との位置関係を表す情報は、認識部２０４０に予め設定されていてもよいし、認識部２０４０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

操作体が物やユーザの身体に付されたマーカである場合、例えば認識部２０４０は、撮像画像からこのマーカを表す領域を割り出し、その領域の中心位置などを操作体の位置とする。

また、認識部２０４０が、操作体として検出すべき物を表す参照画像を利用して、操作体を検出するとする。この場合、この参照画像において、操作体の位置を予め定義しておいてもよい。認識部２０４０は、操作領域４０の中から参照画像と類似する領域を割り出す。そして、認識部２０４０は、その領域において、参照画像において定義されている操作体の位置と対応する点を割り出し、その点を操作体の位置として扱う。

図１５は、操作体の位置を定める方法を例示する第２の図である。この例において、操作体はユーザの指である。参照画像１２０は、ユーザの指の形状などを表す参照画像である。操作体の位置１２１は、参照画像において予め定義されている、操作体の位置である。

認識部２０４０は、操作領域４０の中から、参照画像１２０と類似する領域１３０を割り出す。この領域１３０はユーザの指を表す。さらに認識部２０４０は、参照画像１２０を領域１３０にマッピングした際に操作体の位置１２１と対応する点１３１を割り出す。そして、認識部２０４０は点１３１を操作体の位置として扱う。

認識部２０４０が操作体の位置をどのように定めるかを表す情報は、認識部２０４０に予め設定されていてもよいし、認識部２０４０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

＜操作体の動きを算出する方法：Ｓ１０８＞
認識部２０４０は、撮像画像の操作領域４０から操作体を検出し、その操作体の動きを算出する。認識部２０４０は、複数の撮像画像を用いて操作体の動きを算出してもよいし、１つの撮像画像を用いて操作体の動きを算出してもよい。前者の場合、例えば認識部２０４０は、それら複数の撮像画像それぞれについて画像解析を行うことで、各撮像画像内の操作体の位置を算出する。そして認識部２０４０は、操作体の位置の変化を表す情報を、操作体の動きを表す情報とする。操作体の位置の変化を表す情報は、例えば操作体の位置を時系列で並べた情報である。

前述したように、認識部２０４０は、１つの撮像画像を用いて操作体の動きを算出してもよい。操作体が動いている場合、ぶれた状態の操作体が１つの撮像画像に含まれることが多い。そこで認識部２０４０は、ぶれた状態の操作体が含まれる１つの撮像画像から、その操作体の動きを算出する。

図１６は、ぶれた状態のユーザの指が含まれる撮像画像２２を例示する図である。撮像画像２２では、ユーザの指３０が、指３０−Ａから指３０−Ｂへ移動するようにぶれている。認識部２０４０は、指３０−Ａと指３０−Ｂに共通する特徴点の位置の変化を、操作体の動きとして算出する。例えば認識部２０４０は、指３０−Ａの指先と指３０−Ｂの指先の位置の変化によって定まる動き５０を算出する。

＜認識部２０４０によって認識される入力操作：Ｓ１１２＞
認識部２０４０は、算出した操作体の位置又は動きに基づいて入力操作を認識する（Ｓ１１２）。認識部２０４０は、操作体の位置又は動きに基づいて定まる様々な入力操作を認識できる。以下、認識部２０４０によって認識できる種々の入力操作を例示する。

＜＜操作体の位置に基づいて定まる入力操作＞＞
操作体の位置に基づいて認識部２０４０が認識する入力操作は様々である。例えば認識部２０４０は、操作体の位置に基づいて、複数の選択肢から一つを選択する入力操作（以下、選択操作）を受け付ける。例えば選択操作には、YES 又は NO を選択する操作などがある。

例えば、認識部２０４０は、操作領域４０の左半分の中に操作体が位置している場合には第１の選択肢を選択する操作を認識し、操作領域４０の右半分の中に操作体が位置している場合には第２の選択肢を選択する操作を認識する。

図１７は、操作体の位置に基づいて定まる操作を例示する図である。図１７において、操作体は指３０である。領域４４は操作領域４０の左半分であり、YES を選択するための領域である。領域４６は操作領域４０の右半分であり、NO を選択するための領域である。そのため、図１７（ａ）のように領域４４に指３０を位置させると、認識部２０４０は、YES を選択する選択操作を認識する。一方、図１７（ａ）のように領域４６に指３０を位置させると、認識部２０４０は、NO を選択する選択操作を認識する。

ここで、図１７では操作領域４０が表示されているが、この表示は便宜的なものであり、必ずしも操作領域４０の表示は行われなくてもよい。なお、操作領域４０の表示が行われる場合、情報処理システム３０００は、後述の実施形態で述べる表示装置３０４０を有する。表示装置３０４０を用いた操作領域４０の表示方法については、後述の実施形態で説明する。

操作領域４０の表示が行われない場合、例えば情報処理システム３０００は、ユーザに対し、行うべき入力操作や、入力操作の結果などを、音声で出力してもよい。この場合、情報処理システム３０００は、音声を出力するスピーカなどを有する。例えば図１４の例において、情報処理システム３０００は、「YES を選択する場合には左側、NO を選択する場合には右側です」といった音声ガイダンスを出力する。そして、例えばユーザが左半分に指３０を位置させ、認識部２０４０がその入力操作を認識した場合、情報処理システム３０００は、「YES が選択されました」といった音声ガイダンスを出力する。

なお、図１７に示すように操作領域４０を分割する方法は、左右に２分割する方法に限定されない。例えば認識部２０４０は、操作領域４０を上下に２分割したり、操作領域４０を上下左右に４分割したりしてもよい。

また、操作体の位置に基づいて認識部２０４０が認識する入力操作は、選択操作に限定されない。操作体の位置に基づいて認識する入力操作の他の例は、後述の実施形態で説明する。

＜＜操作体の動きに基づいて定まる入力操作＞＞
認識部２０４０は、１）算出した操作体の動きに基づく形状を入力する入力操作を認識してもよいし、２）算出した操作体の動きに対応する所定の入力操作を認識してもよい。以下、それぞれについて説明する。

＜＜操作体の動きに基づく形状を入力する入力操作を認識するケース＞＞
図１８は、操作体の動きによって定まる形状を入力する入力操作を認識するケースを例示する図である。図１８（ａ）では、認識部２０４０は、操作体の動き５０−Ａが表す形状５１や、動き５０−Ｂが表す形状５２を入力する入力操作を認識する。例えばこの入力操作は、手書き入力を行う入力操作で利用される。

図１８（ｂ）では、認識部２０４０は、操作体の動きとは異なる形状ではあるものの、操作体の動きによって形状及び大きさが定まる形状を入力する入力操作を認識する。具体的には、認識部２０４０は、動き５０−Ｃの両端を対角線の両端とする矩形５４や、動き５０−Ｃの両端を直径の両端とする円形５６を入力する入力操作を認識する。例えばこの入力は、ユーザがある範囲を表す入力（選択操作など）を行う際や、所定の図形の描画を行う際に用いられる。

図１８（ａ）に示した方法と図１８（ｂ）で示した方法のどちらを用いるのかを表す情報は、認識部２０４０に予め設定されていてもよいし、認識部２０４０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

＜＜操作体の動きに対応する所定の入力操作を認識するケース＞＞
算出した操作体の動きに対応する所定の入力操作は、例えばジェスチャ入力による入力操作である。図１９は、ジェスチャ入力を例示する図である。図１９（ａ）はフリック動作を表し、図１９（ｂ）はピンチイン・ピンチアウト動作を表している。なお、矢印は操作体の動きを表している。

操作体の動きと、その動きに対応する所定の入力操作とを関連付ける情報は、認識部２０４０に予め設定されていてもよいし、認識部２０４０からアクセス可能な記憶装置に予め記憶されていてもよいし、ユーザによって設定されてもよい。

＜＜操作体を動かす動作が行われた場所の取り扱いについて＞＞
認識部２０４０は、１）操作体を動かす動作が行われた位置に関係なく、その操作体の動きのみを入力として認識してもよいし、２）操作体の動きと、その操作体を動かす動作が行われた位置との組み合わせを入力として認識してもよい。前者の場合、操作体を動かす動作が撮像画像上のどの場所で行われても、同じ操作体の動きは同じ入力を表す。一方後者の場合、操作体を動かす動作が撮像画像上のどの場所で行われたかが意味を持つ。例えばユーザが撮像画像に含まれる特定の物を丸で囲む入力を行う場合、丸という形状だけでなく、その丸によって何が囲われたかが意味を持つ。

１）の場合、例えば認識部２０４０は、前述したように認識部２０４０によって算出された操作体の動きで定まる形状や、操作体の動きで定まるジェスチャを、入力として認識する。また例えば、認識部２０４０は、操作体の動きの始点を基準とした操作体の相対座標の遷移を、入力として認識してもよい。

一方２）の場合、認識部２０４０は、認識部２０４０によって算出された撮像画像上の操作体の座標の遷移を入力として認識する。ただし、認識部２０４０は、１）の場合においても、２）の場合と同様に、撮像画像上の操作体の座標の遷移を入力として認識してもよい。

認識部２０４０が１）と２）のどちらの方法で入力を認識するのかは、予め認識部２０４０に設定されていてもよいし、認識部２０４０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

＜操作体の位置や動きの表し方について＞
認識部２０４０が認識する操作体の位置や動きの表し方は任意である。例えば認識部２０４０は、操作体の位置や動きを、操作領域４０内における相対的な位置や動きで表す。

図２０は、操作体の位置や動きが操作領域４０内における相対的な位置や動きによって表される様子を例示する図である。図２０において、操作領域４０は矩形で表されている。

図２０（ａ）は、操作体の位置を入力操作として認識するケースである。図２０（ａ）において、操作体の位置である座標 (x1, y1) は、操作領域４０の左上端を原点とし、操作領域４０を平面視した場合における右方向を x 軸とし、操作領域４０を平面視した場合における下方向を y 軸とする座標系における座標である。なお、操作領域４０内における相対的な位置は、マーカ３０２０によって定まる座標系４２における座標で表されてもよい。

図２０（ｂ）は、操作体の動きを入力操作として認識するケースである。図２０（ｂ）において、操作体の位置は (x2, y2)、(x3, y3)、(x4, y4) の順に変化している。これらの座標はいずれも、図２０（ａ）で説明した座標系における座標である。操作体の動きは、例えばこれらの座標を時系列で並べた情報によって表される。なお、矢印は操作体の軌跡を表す。ただし、図を見やすくするため、上記矢印は、操作体の実際の軌跡とずれた位置に描画されている。

操作体の位置や動きを操作領域４０における相対位置として表すことにより、ユーザの意図している入力操作が認識部２０４０によって認識されやすくなるという利点がある。以下、その理由を説明する。まず図２のように、指３０が操作体であり、操作領域４０がユーザの腕３２上にあり、デバイス１０のタッチパネル１４に表示されるマーカ画像１６がマーカ３０２０であるとする。この状況において、ユーザが、指３０を腕３２上の同じ場所に留める入力操作を行うとする。この際、ユーザが腕３２を動かしてしまうと、撮像画像２２における指３０の位置は移動してしまう。しかし、腕３２を動かすと、指３０だけでなくマーカ画像１６も一緒に移動するため、操作領域４０における指３０の相対位置は変化しない。よって、ユーザが意図している「同じ場所に指３０を留める」という入力操作が認識部２０４０によって正しく認識される。

ただし、操作体の位置や動きの表し方は、操作領域４０における相対位置に限定されない。図２１は、操作体の位置や動きが、撮像画像全体における相対的な位置や動きによって表される様子を例示する図である。図２１（ａ）は、操作体の位置を入力操作として認識するケースである。図２１（ａ）において、操作体の位置である座標 (x1, x1) は、撮像画像２２の左上端を原点とし、撮像画像２２を平面視した場合における右方向を x 軸とし、撮像画像２２を平面視した場合における下方向を y 軸とする座標系における座標である。

図２１（ｂ）は、操作体の動きを入力操作として認識するケースである。図２１（ｂ）において、操作体の位置は (x2, y2)、(x3, y3)、(x4, y4) の順に変化している。これらの座標はいずれも、図２１（ａ）で説明した座標系における座標である。操作体の動きは、例えばこれらの座標を時系列で並べた情報によって表される。なお、図２０（ｂ）と同様に、矢印は操作体の軌跡を表す。

操作体の位置や動きを、操作領域４０内における相対的な位置や動きと、撮像画像全体における相対的な位置や動きのどちらによって表すかを示す情報は、認識部２０４０に予め設定されていてもよいし、認識部２０４０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

また、操作体の動きを入力操作として認識する際に、操作体を動かす動作が行われた位置に関係なく、その操作体の動きのみを入力として認識する場合、操作体の動きは、その動きの始点を原点とする相対位置で表されてもよい。

なお、上述した操作体の位置や動きを表す方法は、あくまで例示である。操作体の位置や動きを表す方法は、操作体の位置や動きを表すことができる任意の方法でよく、上述した方法には限定されない。

＜操作体の位置と動きのどちらによって入力操作を認識するか＞
認識部２０４０は、操作体の位置又は動きによって入力操作を認識する。ここで、操作体の位置と動きのどちらによって入力操作を認識するかを決定する方法は様々である。例えば、操作体の位置と動きのどちらによって入力操作を認識するかを、予め定めておく。ここで、操作体の位置と動きのどちらによって入力操作を認識するか示す情報は、認識部２０４０に設定されていてもよいし、認識部２０４０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

また例えば、認識部２０４０は、操作体の動きの程度によって、操作体の位置と動きのどちらで入力操作を認識するかを決定してもよい。例えば、所定時間内における操作体の移動範囲の大きさが所定値未満である場合、認識部２０４０は操作体の位置によって入力操作を認識する。これにより、例えばユーザが操作体を或る位置に留めることで、その位置を表す入力操作が認識部２０４０によって認識される。この操作は、例えばマウスで或る場所を長押しするようなイメージの操作である。

この場合に認識部２０４０が入力操作として認識する操作体の位置は、この所定時間内における操作体の位置によって定まる。例えば認識部２０４０は、この所定時間内における操作体の位置の内のいずれか１つ（例えば最初の位置又は最後の位置）を操作体の位置とする。また例えば、認識部２０４０は、この所定時間内における操作体の位置から算出される統計値（平均値や最頻値など）を操作体の位置とする。

一方、所定時間内における操作体の移動範囲の大きさが所定値以上である場合、認識部２０４０は操作体の動きによって入力操作を認識する。

上記所定時間又は所定値を示す情報は、認識部２０４０に設定されていてもよいし、認識部２０４０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

［実施形態２］
図２２は、実施形態２の情報処理システム３０００を例示するブロック図である。以下で説明する点を除き、実施形態２の情報処理システム３０００は、実施形態１の情報処理システム３０００と同様の機能を有する。

実施形態２の情報処理システム３０００は表示装置３０４０を有する。表示装置３０４０は、画像を出力する任意の装置である。例えば表示装置３０４０は、プロジェクタなど、画像を投影する装置である。また例えば、表示装置３０４０は、画像を表示するディスプレイ装置である。例えばディスプレイ装置は、ヘッドマウントディスプレイ１００に設けられているディスプレイ装置１０２である。

実施形態２の情報処理装置２０００は表示制御部２０６０を有する。表示制御部２０６０は、表示装置３０４０に画像を出力させる。本実施形態において、表示制御部２０６０は、表示装置３０４０に操作領域４０を表す画像を表示させる。これにより、ユーザは、操作領域４０を視覚的に認識できるようになる。以下、操作領域を表す画像を操作領域画像と表記する。

＜処理の流れ＞
図２３は、実施形態２の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。図２３のフローチャートは、図５のフローチャートのＳ１０６とＳ１０８との間に、Ｓ２０２を有する。Ｓ２０２において、表示制御部２０６０は、抽出された操作領域画像を表示装置３０４０に表示させる。

＜表示制御部２０６０の詳細＞
表示制御部２０６０が表示装置３０４０に操作領域画像を表示させる方法には、撮像画像に重畳せずに表示させる方法と、撮像画像に重畳して表示させる方法がある。以下、それぞれについて説明する。

＜＜撮像画像に重畳させずに操作領域画像を表示させる方法＞＞
ヘッドマウントディスプレイ１００を用いて情報処理装置２０００が実現され、なおかつヘッドマウントディスプレイ１００のディスプレイ装置１０２が透過型のディスプレイ装置である（ヘッドマウントディスプレイ１００が透過型のヘッドマウントディスプレイである）とする。この場合、表示装置３０４０は、透過型のヘッドマウントディスプレイ１００のディスプレイ装置１０２（レンズ部分）として実現される。またこの場合、撮像画像を生成するカメラ２０は、ユーザの目に映る景色と同様の景色を撮像するように設けられる（図４のカメラ２０など）。このような透過型のヘッドマウントディスプレイ１００を利用する場合、ユーザはディスプレイ装置１０２の先に見える実物体（実世界の景色）を見ることで周囲の景色を把握でき、なおかつその景色は撮像画像に含まれる景色と同様の景色となる。そのため、ディスプレイ装置１０２に撮像画像を表示させる必要がない。

そこで表示制御部２０６０は、操作領域画像を撮像画像に重畳せずに表示する。具体的には、表示制御部２０６０は、撮像画像上における操作領域４０の位置を、ディスプレイ装置１０２上の位置に変換し、この変換によって算出されたディスプレイ装置１０２上の位置に、操作領域画像を表示させる。

撮像画像上の座標とディスプレイ装置１０２上の座標との対応関係は、カメラ２０に関する各種のパラメタ（画角や焦点距離）や、ディスプレイ装置１０２とカメラ２０との位置関係などに基づいて定めることができる。この対応関係は、これらのパラメタなどを用いて表示制御部２０６０によって算出されてもよいし、設定値として予め定められていてもよい。

＜＜撮像画像に重畳させて操作領域画像を表示させる方法＞＞
ユーザが直接周囲の景色を見ることができない場合や、撮像画像に含まれる景色がユーザの目に映る景色と同様でない場合（カメラ２０によってユーザの視界方向が撮像されない場合）、ユーザは、撮像画像を見ながら入力操作を行う。例えばヘッドマウントディスプレイ１００を用いて情報処理装置２０００が実現され、なおかつヘッドマウントディスプレイ１００のディスプレイ装置１０２が非透過型のディスプレイ装置である（ヘッドマウントディスプレイ１００が非透過型のヘッドマウントディスプレイである）とする。この場合、ユーザは、周囲の景色を直接見ることができない。そのためディスプレイ装置１０２には、ユーザの視界方向を撮像するカメラ２０によって生成された撮像画像が表示される。ユーザは、その撮像画像を見ることで周囲の景色を把握する。よって、ユーザは、撮像画像を見ながら入力操作を行うこととなる。

また、カメラ２０がユーザの社員証などに設けられる場合には、カメラ２０が必ずしもユーザの視界方向を撮像するとは限らない。この場合、ユーザは、カメラ２０によって生成された撮像画像を見ながら入力操作を行う。なおこの場合、表示装置３０４０は、例えばプロジェクタ、据え置き型のディスプレイ装置（PC のディスプレイ装置など）、又は携帯端末のディスプレイ装置などとして実現される。

上述したように、ユーザが撮像画像を見ながら入力操作を行う場合、撮像画像が表示装置３０４０によって表示される。そこで表示制御部２０６０は、表示装置３０４０によって表示される撮像画像に操作領域画像を重畳させることで、操作領域画像を表示させる。この場合、表示制御部２０６０は、撮像画像に含まれる領域のうち、操作領域抽出部２０２０によって操作領域４０が抽出された領域に対して、操作領域画像を重畳させる。

＜操作領域画像について＞
操作領域画像は任意の画像でよい。また、表示制御部２０６０が操作領域画像を取得する方法は任意である。例えば操作領域画像は、表示制御部２０６０に予め設定されていてもよいし、表示制御部２０６０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。また、表示制御部２０６０は、撮像画像から抽出された操作領域４０と同じ形状を表す画像を自動的に生成し、その画像を操作領域画像としてもよい。例えば表示制御部２０６０は、操作領域４０と同じ形状を持ち、なおかつその形状が所定の色で塗りつぶされた画像を、操作領域画像として生成する。

＜ハードウエア構成＞
実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージ１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。また、表示装置３０４０は、入出力インタフェース１１００を介して計算機１０００に接続される。ただし、表示装置３０４０を計算機１０００に接続する方法は、入出力インタフェース１１００を介して接続する方法に限定されない。例えば表示装置３０４０は、ネットワークを介して計算機１０００に接続されてもよい。この場合、計算機１０００は、ネットワークに接続するためのネットワークインタフェースを有する。

＜作用・効果＞
本実施形態の情報処理システム３０００によれば、ユーザは、操作領域を視覚的に把握できるようになる。よって、どの場所で入力操作を行えばよいかをユーザが容易に把握できるようになるため、ユーザにとって情報処理システム３０００の操作性が向上する。

＜変形例＞
ユーザが操作領域を視覚的に把握できるようにする方法は、操作領域画像を表示する方法以外の方法であってもよい。例えば表示制御部２０６０は、上述した操作領域画像を表示する位置に所定の色を出力することで、ユーザが操作領域を視覚的に把握できるようにしてもよい。また、表示装置３０４０によって撮像画像が表示される場合、表示制御部２０６０は、操作領域４０が抽出された部分について、撮像画像の色や模様を変更することで、ユーザが操作領域４０を視覚的に把握できるようにしてもよい。

［実施形態３］
実施形態３の情報処理システム３０００は、実施形態２の情報処理システム３０００と同様に、例えば図２２によって表される。以下で説明する点を除き、実施形態３の情報処理システム３０００は、実施形態２の情報処理システム３０００と同様の機能を有する。ただし実施形態３の表示制御部２０６０は、操作領域画像を表示装置３０４０に表示させなくてもよい。

実施形態３の表示制御部２０６０は、入力操作の対象を表す画像を表示装置３０４０に表示させる。こうすることで、ユーザは、入力操作の対象を視覚的に認識できるようになる。以下、入力操作の対象を表す画像を、操作画像と表記する。

＜処理の流れ＞
図２４は、実施形態３の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。まず情報処理装置２０００は、操作画像を表示装置３０４０に出力させるトリガとなる入力操作を受け付ける（Ｓ３０２）。この入力操作は、認識部２０４０によって認識される入力操作であってもよいし、その他の入力操作であってもよい。後者の場合、例えば入力操作は、情報処理装置２０００に対して接続されている入力デバイス（マウスやキーボードなど）に対する操作である。

その後、表示制御部２０６０は、表示装置３０４０に、操作画像を出力させる（Ｓ３０４）。さらに情報処理装置２０００は、図５又は図２２に示した一連の処理を行うことで、操作対象に対する入力操作を認識する。そして表示制御部２０６０は、認識部２０４０によって認識された入力操作に応じて、操作結果を表示装置３０４０に行わせる（Ｓ３０６）。

表示装置３０４０に表示される操作結果に次の入力操作を表す操作画像が含まれる場合（Ｓ３０８：ＹＥＳ）、図２４の処理は、Ｓ１０２に進む。一方、操作結果に次の入力操作を表す操作画像が含まれない場合（Ｓ３０８：ＮＯ）、図２４の処理は終了する。

なお、Ｓ３０４の処理が実行される契機は、Ｓ３０２における入力操作に限定されない。例えばＳ３０４の処理は、情報処理装置２０００が起動された後に自動的に実行されてもよい。このように、入力操作をトリガとせずにＳ３０４が実行される場合、図２４のフローチャートは、Ｓ３０２を有さなくてもよい。

＜操作画像が表示される位置について＞
表示制御部２０６０が表示装置３０４０に表示させる操作画像の位置は任意である。例えば表示制御部２０６０は、操作領域４０の位置を基準とした位置に、操作画像を表示させる。より具体的には、表示制御部２０６０は、操作領域４０の付近に操作画像を表示させたり、操作領域４０に重畳させて操作画像を表示させたりする。図２５は、操作領域４０を基準とした位置に表示される操作画像を例示する図である。図２５において、操作画像は選択画像１２２−１から選択画像１２２−４である。

図２５（ａ）において、各選択画像１２２は操作領域４０の付近に表示されている。より具体的には、各選択画像１２２は、操作領域４０の上辺よりも所定距離 d だけ上の位置に並べて表示されている。なおここでは、「所定距離 d だけ上」が、マーカ３０２０（マーカ画像１６）によって定まる座標系４２における方向及び距離で表されている。一方、図２５（ｂ）において、各選択画像１２２は、操作領域４０に重畳させて表示されている。

また例えば、表示制御部２０６０は、操作領域４０の位置に関係なく、任意の位置に操作画像を表示させてもよい。例えば操作画像の位置は、撮像画像上の所定位置として予め定義される。

操作画像の表示位置を定義する情報は、表示制御部２０６０に予め設定されていてもよいし、表示制御部２０６０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

また、操作画像の表示位置を定義する情報（前述の所定距離 d など）は、絶対値（画素数など）で定義されていてもよいし、相対値で定義されていてもよい。後者の場合、例えば操作画像の表示位置は、撮像画像の大きさに対する相対値で表される。また例えば、操作画像の表示位置は、マーカ３０２０の大きさに対する相対値で表されてもよい。

ここで、操作領域４０の位置を基準として操作画像を表示させる方法は、実施形態２における操作領域画像を表示させる方法と同様に、撮像画像に重畳させずに操作領域画像を表示させるか、操作画像に重畳させて操作画像を表示させるかによって異なる。以下、それぞれについて例示する。

＜＜撮像画像に重畳させずに操作画像を表示させる方法＞＞
撮像画像の位置が、操作領域４０の位置との関係で定められているとする。この場合、表示制御部２０６０は、撮像画像上における操作領域４０の位置と操作画像の位置との位置関係に基づいて、撮像画像上における操作領域４０の位置から、撮像画像上における操作画像の位置を算出する。そして、表示制御部２０６０は、撮像画像上における操作画像の位置を、透過型のヘッドマウントディスプレイ１００のディスプレイ装置１０２上の位置に変換し、この変換によって算出されたディスプレイ装置１０２上の位置に、操作画像を表示させる。

撮像画像の位置が、撮像画像上の所定位置として定められているとする。この場合、表示制御部２０６０は、撮像画像上における操作画像の位置を、透過型のヘッドマウントディスプレイ１００のディスプレイ装置１０２上の位置に変換し、この変換によって算出されたディスプレイ装置１０２上の位置に、操作画像を表示させる。

なお前述したように、撮像画像上の座標とディスプレイ装置１０２上の座標との対応関係は、カメラ２０に関する各種のパラメタ（画角や焦点距離）や、ディスプレイ装置１０２とカメラ２０との位置関係などに基づいて定めることができる。

また、撮像画像上における操作領域４０と操作画像との位置関係を示す情報は、予め表示制御部２０６０に設定されていてもよいし、表示制御部２０６０からアクセス可能か記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

＜＜撮像画像に重畳させて操作画像を表示させる場合＞＞
撮像画像の位置が、操作領域４０の位置との関係で定められているとする。この場合、表示制御部２０６０は、撮像画像上における操作領域４０の位置と操作画像の位置との位置関係に基づいて、撮像画像上における操作画像の位置を算出する。そして、表示制御部２０６０は、その位置に操作画像を重畳させた撮像画像を、表示装置３０４０に出力させる。

撮像画像の位置が、撮像画像上の所定位置として定められているとする。この場合、表示制御部２０６０は、上記所定位置に操作画像を重畳させた撮像画像を、表示装置３０４０に出力させる。

なお、撮像画像上における操作領域４０と操作画像との位置関係を示す情報については、前述の通りである。

＜操作画像を取得する方法＞
表示制御部２０６０が操作画像を取得する方法は任意である。例えば操作画像は、表示制御部２０６０に予め設定されていてもよいし、表示制御部２０６０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

＜入力操作に応じて行われる表示について＞
表示制御部２０６０は、認識部２０４０によって認識された入力操作に応じて任意の処理を行う。そして、表示制御部２０６０は、その結果を表す表示を表示装置３０４０に行わせる。ここで、認識部２０４０によって認識される入力操作と、その入力操作に応じて表示装置３０４０が行う処理との対応は任意である。この対応付けは、予め表示制御部２０６０に設定されていてもよいし、表示制御部２０６０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

＜ハードウエア構成＞
実施形態３の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージ１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。また、実施形態２と同様に、本実施形態においても、入出力インタフェース１１００やネットワークインタフェースを介して表示装置３０４０が計算機１０００に接続される。

＜作用・効果＞
本実施形態によれば、表示制御部２０６０により、操作対象に関する情報が表示装置３０４０に出力される。よって、ユーザは操作対象に関する情報を参照しながら入力操作を行うことができる。こうすることで、ユーザにとって情報処理システム３０００の利便性が向上する。

［実施例１］
実施形態３の情報処理システム３０００について、実施例を通じてさらに詳細に説明する。図２６は、実施例の情報処理システム３０００の使用環境を例示する図である。本実施例において、情報処理装置２０００は、ヘッドマウントディスプレイ１００に内蔵される。表示装置３０４０は、ヘッドマウントディスプレイ１００のディスプレイ装置１０２である。カメラ２０は、ディスプレイ装置１０２の付近に、ユーザの視界方向を撮像するように設けられる。ユーザは、左の手首にデバイス１０を身につける。マーカ３０２０は、デバイス１０のタッチパネル１４に表示されるマーカ画像１６である。

本実施例の表示制御部２０６０は、操作領域画像及び操作画像を表示装置３０４０に表示させる。なお、本実施例において、操作領域４０はユーザの左の腕３２の上である。

本実施例において、ユーザは、ディスプレイ装置１０２に表示される複数の画像の中から１つを選択するための操作を行う。この際、まずユーザは、１つの画像を選択候補として選ぶための候補選択操作を行う。さらにユーザは、選択候補に対して決定操作を行う。その結果、決定操作の対象となった選択候補が選択対象として決定され、選択対象として決定された画像に対して種々の処理が行われる。例えば表示制御部２０６０は、選択された画像を、ディスプレイ装置１０２の中央に大きく表示させる。ここでユーザは、或る画像を選択候補とした後、その画像を選択候補ではない状態に戻す操作（以下、キャンセル操作）を行うこともできる。

＜操作１＞
図２７は、候補選択操作を例示する図である。ディスプレイ装置１０２には、選択画像１２２が４つ表示されている。ユーザは、選択候補を選ぶため、「選択画像１２２−１から選択画像１２２−４のいずれかの下に所定時間以上指３０を留める」という入力操作を行う。認識部２０４０はこの入力操作を認識する。そして表示制御部２０６０は、この入力操作に応じて、入力操作の対象となった選択画像１２２が選択候補となったことが分かるように、表示装置３０４０による表示を変更する。

図２７（ａ）において、ユーザは、指３０を選択画像１２２−２の下に留めている。これは、選択画像１２２−２を選択候補とするための候補選択操作である。認識部２０４０は、この候補選択操作を認識する。そして表示制御部２０６０は、この入力操作に応じて、選択候補となった選択画像１２２−２の表示位置を、他の選択画像１２２よりも少し上に移動させる処理を行う（図２７（ｂ））。

＜操作２＞
図２８は、決定操作を例示する図である。ユーザは、「選択候補の選択画像１２２に近づく方向へ、指３０を所定距離以上動かす」という入力操作を行う。認識部２０４０は、この入力操作を認識する。図２８（ａ）の場合、ユーザは、指３０を選択画像１２２−２に対して近づけている。表示制御部２０６０は、この入力操作に応じ、ディスプレイ装置１０２の中央に選択画像１２２−２を大きく表示させる処理を行う（図２８（ｂ））。

＜操作３＞
上述した決定操作の別の例について説明する。表示制御部２０６０は、「操作領域４０の上端の所定領域（以下、上端領域）に指３０を留める」という入力操作を、決定操作として扱う。

図２９は、決定操作を例示する第２の図である。ユーザは、操作領域４０の上端領域１３２に指３０を所定時間以上留める（図２９（ａ））。認識部２０４０はこの入力操作を認識する。具体的には、認識部２０４０は、所定時間内に生成された各撮像画像における指３０の位置がいずれも上端領域１３２内にある場合に、この入力操作を認識する。表示制御部２０６０は、この入力操作に応じて、図２８（ｂ）と同様に、ディスプレイ装置１０２の中央に、選択画像１２２を大きく表示させる処理を行う（図２９（ｂ））。

＜操作４＞
決定操作のさらに別の例を説明する。表示制御部２０６０は、「指３０の一部を操作領域４０の上端から操作領域４０の外へ出す」という入力操作を、決定操作として扱う。

図３０は、決定操作を例示する第３の図である。ユーザは、「操作領域４０の上端から指３０の一部が外へ出るように、指３０を動かす」という入力操作を行う。認識部２０４０は、この入力操作を認識する。表示制御部２０６０は、この入力操作に応じて、図２８（ｂ）と同様に、ディスプレイ装置１０２の中央に、選択画像１２２を大きく表示させる処理を行う（図２９（ｂ））。

ここで、「指３０の一部を操作領域４０の上端から操作領域４０の外へ出す」という入力操作を認識する方法は様々である。例えば認識部２０４０は、この入力操作を、「指３０の上端が操作領域４０の上端に接した後、さらに指３０が上方へ動かされた」ということを認識することによって認識する。また例えば、認識部２０４０は、この入力操作を、「指３０が上方へ移動しており、なおかつ操作領域４０に含まれる指３０の面積が減少した」ということを認識することによって認識する。また例えば認識部２０４０は、この入力操作を、「指３０が操作領域４０の上端領域１３２に含まれている」ということを認識することによって認識してもよい。

＜操作５＞
図３１は、キャンセル操作を例示する図である。図３１（ａ）において、ユーザは、「選択候補である選択画像１２２−２から指３０を所定距離以上遠ざける」という入力操作を行っている。認識部２０４０は、この入力操作を認識する。表示制御部２０６０は、この入力操作に応じて、「選択候補として選ばれていた選択画像１２２−２を、選択候補として選ばれていない状態に戻す」という処理を行う（図３１（ｂ））。

＜操作６＞
キャンセル操作の別の例を説明する。表示制御部２０６０は、「操作領域４０の下端の所定領域（以下、下端領域）に指３０を留める」という入力操作を、キャンセル操作として扱う。

図３２は、キャンセル操作を例示する第２の図である。ユーザは、「操作領域４０の下端領域１３４に指３０を所定時間以上留める」という入力操作を行う（図３２（ａ））。認識部２０４０はこの入力操作を認識する。具体的には、認識部２０４０は、所定時間内に生成された各撮像画像における指３０の位置がいずれも下端領域１３４内にある場合に、この入力操作を認識する。表示制御部２０６０は、この入力操作に応じて、図３１（ｂ）と同様に、「選択候補として選ばれていた選択画像１２２−２を、選択候補として選ばれていない状態に戻す」という処理を行う（図３２（ｂ））。

＜操作７＞
キャンセル操作のさらに別の例を説明する。表示制御部２０６０は、「指３０の一部を操作領域４０の下端から操作領域４０の外へ出す」という入力操作を、キャンセル操作として扱う。

図３３は、キャンセル操作を例示する第３の図である。ユーザは、「操作領域４０の下端から指３０の一部が外へ出るように、指３０を動かす」という入力操作を行う（図３３（ａ））。認識部２０４０は、この入力操作を認識する。表示制御部２０６０は、この入力操作に応じて、図３１（ｂ）と同様に、「選択候補として選ばれていた選択画像１２２−２を、選択候補として選ばれていない状態に戻す」という処理を行う（図３３（ｂ））。

ここで、「指３０の一部を操作領域４０の下端から操作領域４０の外へ出す」という入力操作を認識する方法は様々である。例えば認識部２０４０は、この入力操作を、「指３０が下方へ移動した後、指３０が操作領域４０の中から検出されなくなった」ということを認識することによって認識する。また例えば、認識部２０４０は、この入力操作を、「操作領域４０の下端の所定領域において検出される指３０の面積が所定値以上減少した」ということを認識することによって認識する。また例えば、認識部２０４０は、この入力操作を、「操作領域４０の下端領域１３４に操作領域４０が含まれている」ということを認識することによって認識してもよい。

＜操作８＞
本実施例において、図２７などに示されている選択画像１２２-１から選択画像１２２-４以外にも、選択画像１２２があるとする。例えば選択画像１２２として、選択画像１２２-１から選択画像１２２-８の８個がこの順に用意されているとする。この場合、図２７などに示す表示方法では、一度に全ての選択画像１２２を表示しきれない。

そこでユーザは、表示装置３０４０に表示される選択画像１２２を変更するための入力操作（以下、変更操作）を行う。例えばユーザは、「指３０を所定値以上の速度で左右へ動かす」という入力操作を行う。認識部２０４０によってこれらの入力操作が認識されると、表示制御部２０６０は、表示装置３０４０に表示させる選択画像１２２を変更する。

図３４は、変更操作を例示する第１の図である。図３４（ａ）において、ユーザは、「指３０を所定値以上の速度で左方向へ動かす」という入力操作を行っている。認識部２０４０は、この入力操作を認識する。表示制御部２０６０は、この入力操作に応じて、表示装置３０４０に表示される選択画像１２２を、選択画像１２２−１から選択画像１２２−４よりも後ろのもの（選択画像１２２−５から選択画像１２２−８）に変更する処理を行う（図３４（ｂ））。

認識部２０４０は、指３０が含まれる複数の撮像画像を用いて、指３０の位置の単位時間辺りの変化を算出することで、指３０の速度を算出することができる。例えば図３４（ａ）における指３０の動きが、時系列で連続する５つの撮像画像における各指３０の位置の変化で表されるとする。この場合、例えば認識部２０４０は、１つ目の撮像画像における指３０の位置と５つ目の撮像画像における指３０の位置との間の距離を算出し、この距離を、これらの撮像画像が生成された時点の差で割ることにより、指３０の速度を算出する。なお、映像に含まれるオブジェクトの速度を算出する技術には、種々の様々な技術を利用できるため、指３０の速度の算出方法は上述の方法に限定されない。

なお、認識部２０４０が指３０の速度に応じて認識する入力操作は、その速度に応じて複数種類あってもよい。例えば認識部２０４０は、第１の所定速度未満で指３０を動かす動作、第１の所定速度以上かつ第２の所定速度未満で指３０を動かす動作、及び第２の所定速度以上で指３０を動かす動作を、それぞれ異なる入力操作として認識する。

図３５は、変更操作を例示する第２の図である。図３５（ａ）では、前述した選択画像１２２-５から選択画像１２２−８が表示されている。ユーザは、「指３０を所定値以上の速度で右方向へ動かす」という入力操作を行う。認識部２０４０は、この入力操作を認識する。表示制御部２０６０は、この入力操作に応じ、表示装置３０４０に表示される選択画像１２２を、選択画像１２２−５から選択画像１２２−８よりも前のもの（選択画像１２２−１から選択画像１２２−４）に変更する処理を行う（図３３（ｂ））。

＜操作９＞
変更操作の別の例を説明する。表示制御部２０６０は、「操作領域４０の左右の端に指３０を留める」という入力操作を、変更操作として扱う。

図３６は、変更操作を例示する第３の図である。ユーザは、「操作領域４０の左端の所定範囲（左端領域１３６）に指３０を所定時間以上留める」という入力操作を行う（図３６（ａ））。認識部２０４０は、この入力操作を認識する。具体的には、認識部２０４０は、所定時間内に生成された各撮像画像における指３０の位置がいずれも左端領域１３６内にある場合に、この入力操作を認識する。表示制御部２０６０は、この入力操作に応じ、図３４（ｂ）と同様に、表示装置３０４０に表示される選択画像１２２を、選択画像１２２−１から選択画像１２２−４よりも後ろのもの（選択画像１２２−５から選択画像１２２−８）に変更する処理を行う（図３６（ｂ））。

図３７は、変更操作を例示する第４の図である。ユーザは、「操作領域４０の右端の所定範囲（右端領域１３８）に指３０を所定時間以上留める」という入力操作を行う（図３７（ａ））。認識部２０４０は、この入力操作を認識する。具体的には、認識部２０４０は、所定時間に生成された各撮像画像における指３０の位置がいずれも右端領域１３８内にある場合に、この入力操作を認識する。表示制御部２０６０は、この入力操作に応じ、図３５（ｂ）と同様に、表示装置３０４０に表示される選択画像１２２を、選択画像１２２−５から選択画像１２２−８よりも前のもの（選択画像１２２−１から選択画像１２２−４）に変更する処理を行う（図３５（ｂ））。

＜操作１０＞
変更操作のさらに別の例を説明する。表示制御部２０６０は、「操作領域４０の左右の端から指３０を操作領域４０の外へ出す」という入力操作を、変更操作として扱う。

図３８は、変更操作を例示する第５の図である。ユーザは、「指３０の一部を操作領域４０の左端から操作領域４０の外へ出す」という入力操作を行う（図３８（ａ））。認識部２０４０は、この入力操作を認識する。表示制御部２０６０は、この入力操作に応じ、図３４（ｂ）と同様に、表示装置３０４０に表示される選択画像１２２を、選択画像１２２−１から選択画像１２２−４よりも後ろのもの（選択画像１２２−５から選択画像１２２−８）に変更する処理を行う（図３８（ｂ））。

ここで、「指３０の一部を操作領域４０の左端から操作領域４０の外へ出す」という入力操作を認識する方法は様々である。例えば認識部２０４０は、この入力操作を、「指３０の左端が操作領域４０の左端に接した後、さらに指３０が左方へ動かされた」ということを認識することによって認識する。また例えば、認識部２０４０は、この入力操作を、「指３０が左方へ移動しており、なおかつ操作領域４０に含まれる指３０の面積が減少した」ということを認識することによって認識する。また例えば認識部２０４０は、この入力操作を、「指３０が操作領域４０の左端領域１３６に含まれている」ということを認識することによって認識してもよい。

図３９は、変更操作を例示する第６の図である。ユーザは、「指３０の一部を操作領域４０の右端から操作領域４０の外へ出す」という入力操作を行う（図３９（ａ））。認識部２０４０は、この入力操作を認識する。表示制御部２０６０は、この入力操作に応じ、図３５（ｂ）と同様に、表示装置３０４０に表示される選択画像１２２を、選択画像１２２−５から選択画像１２２−８よりも前のもの（選択画像１２２−１から選択画像１２２−４）に変更する処理を行う（図３９（ｂ））。

ここで、「指３０の一部を操作領域４０の右端から操作領域４０の外へ出す」という入力操作を認識する方法は様々である。例えば認識部２０４０は、この入力操作を、「指３０の右端が操作領域４０の右端に接した後、さらに指３０が右方へ動かされた」ということを認識することによって認識する。また例えば、認識部２０４０は、この入力操作を、「指３０が右方へ移動しており、なおかつ操作領域４０に含まれる指３０の面積が減少した」ということを認識することによって認識する。また例えば認識部２０４０は、この入力操作を、「指３０が操作領域４０の右端領域１３８に含まれている」ということを認識することによって認識してもよい。

＜入力操作と表示制御部２０６０による処理との対応について＞
認識部２０４０によって認識される入力操作（指３０を所定時間以上同じ場所に留める入力操作など）の種類と、表示制御部２０６０によって実行される処理（選択画像１２２を選択候補とする候補選択処理など）との対応関係は任意であり、上述した対応関係に限定されない。これらの対応関係は、予め情報処理装置２０００に設定されていてもよいし、情報処理装置２０００からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

例えば上述の例において、表示制御部２０６０は、「選択候補の選択画像１２２に近づく方向へ、指３０を所定距離以上動かす」という入力操作を決定操作として扱い、「選択候補の選択画像１２２から遠ざかる方向へ、指３０を所定距離以上動かす」という入力操作をキャンセル操作として扱っている。しかしこれとは逆に、表示制御部２０６０は、「選択候補の選択画像１２２から遠ざかる方向へ、指３０を所定距離以上動かす」という入力操作を決定操作として扱い、「選択候補の選択画像１２２に近づく方向へ、指３０を所定距離以上動かす」という入力操作をキャンセル操作として扱ってもよい。

＜表示装置３０４０による表示を変更させない方法の例＞
表示装置３０４０による表示が変更されないように、操作領域４０から指３０を外へ出したいとユーザが考えることもありうる。例えばユーザは、上述した各操作を行っている途中で、入力操作を一旦中断したい場合がある。例えば図２７（ｂ）に示すように選択画像１２２-２が選択候補となっている状態において、決定操作もキャンセル操作もせず、指３０を操作領域４０から外へ出したい場合などである。

この場合ユーザは、表示制御部２０６０によって前述した候補選択操作、決定操作、キャンセル操作、又は変更操作として扱われない動作を行えばよい。例えばユーザは、指３０をゆっくり移動させて、操作領域４０の左右の端から外へ出す。ここで「ゆっくり」とは、速度が、「指３０を所定値以上の速度で右方向へ動かす」という入力操作における所定値未満であることを意味する。指３０の速度が所定値未満であるため、指３０を左右に動かしても変更操作としては認識されない。ただしこの場合、表示制御部２０６０は、「指３０を操作領域４０の左右の端から外に出す」という入力操作を変更操作として扱わないように設定されているとする。

また、認識部２０４０が、指３０の水平方向及び垂直方向の位置だけでなく、指３０が位置している奥行き方向の位置（マーカ画像１６で定まる座標系４２における z 方向の位置）を含めて認識するとする。つまり認識部２０４０は、マーカ画像１６によって定まる座標系４２における指３０の３次元位置に基づいて、入力操作を認識する。

この場合、例えば操作領域抽出部２０２０は、前述した平面で表されていた操作領域４０を底面とし、なおかつ奥行きを所定値とする直方体を、操作領域として抽出する。こうすることで、前述した「選択候補の選択画像１２２に近づく方向へ、指３０を所定距離以上動かす」などの動作が腕３２から上記所定値以上離れた位置で行われると、その動作は入力操作として認識されない。そこでユーザは、指３０を腕３２から遠ざけることで、表示制御部２０６０によって前述した種々の処理が行われないようにすることができる。

なお、認識部２０４０が指３０の奥行き方向の位置を把握する方法は様々である。例えばカメラ２０が３次元カメラであるとする。この場合、認識部２０４０は、カメラ２０によって生成された撮像画像に含まれる指３０の３次元位置を取得できるため、指３０の奥行き方向の位置を把握できる。また例えば、認識部２０４０は、撮像画像に含まれる指３０の大きさから、指３０の奥行き方向の位置を推測してもよい。例えば認識部２０４０は、撮像画像に含まれるユーザの腕３２と指３０との大きさの比率に基づいて、指３０の奥行き方向の位置を算出する。

また表示制御部２０６０は、指３０の３次元位置を把握する代わりに、操作領域４０に含まれる指３０の大きさに応じて、入力操作の扱いを変えてもよい。例えば表示制御部２０６０は、指３０を表す領域が操作領域４０において占める割合が所定値以下である状況で前述した「選択候補の選択画像１２２に近づく方向へ、指３０を所定距離以上動かす」などの動作が行われた場合のみ、その動作に基づいて認識された入力操作を、キャンセル操作などとして扱う。「指３０を表す領域が操作領域４０において占める割合が所定値以下である」という状況は、撮像画像内の指３０の大きさが小さいことを意味する。そしてこのことは、指３０が腕３２の近くにあることを意味する。

一方、表示制御部２０６０は、指３０を表す領域が操作領域４０において占める割合が所定値より大きい状況で「選択候補の選択画像１２２に近づく方向へ、指３０を所定距離以上動かす」などの動作が行われた場合、その動作に基づいて認識された入力操作を、キャンセル操作などとして扱わない。「指３０を表す領域が操作領域４０において占める割合が所定値より大きい」という状況は、撮像画像内の指３０の大きさが大きいことを意味する。そしてこのことは、指３０が腕３２から遠い位置にあることを意味する。

［実施例２］
実施形態３の情報処理装置２０００の具体的な動作を、さらに別の実施例を用いて説明する。本実施例では、実施例１と同じ構成を有する情報処理システム３０００について、上述した選択画像１２２に対する操作とは別の操作について説明する。具体的には、スライドバーに対する入力操作を例示する。

図４０は、スライドバーに対する入力操作を例示する第１の図である。図４０において、スライドバー１４０は操作領域４０内に表示されている。スライドバー１４０は、つまみ１４２を有する。この例では、つまみ１４２を右側に動かすことで画像１５０が拡大され、つまみ１４２を左側に動かすことで画像１５０が縮小される。

ユーザは、「つまみ１４２に重畳するように指３０を置いた状態から、指３０を右側へ移動させる」という入力操作を行う（図４０（ａ））。認識部２０４０は、この入力操作を認識する。表示制御部２０６０は、この入力操作に応じ、つまみ１４２を表示する位置を、指３０が移動された位置へ変更する処理を行う（図４０（ｂ））。さらに、つまみ１４２が右側へ移動されたため、表示制御部２０６０は、つまみ１４２が動かされた距離（指３０が移動した距離）に応じて画像１５０を拡大する処理を行う（図４０（ｂ））。

図４１は、スライドバーに対する入力操作を例示する第２の図である。ユーザは、「つまみ１４２に重畳するように指３０を置いた状態から、指３０を左側へ移動させる」という入力操作を行う（図４１（ａ））。認識部２０４０は、この入力操作を認識する。表示制御部２０６０は、この入力操作に応じ、つまみ１４２を表示する位置を、指３０が移動された位置へ変更する処理を行う（図４１（ｂ））。さらに、つまみ１４２が左側へ移動されたため、表示制御部２０６０は、つまみ１４２が動かされた距離（指３０が移動した距離）に応じて画像１５０を縮小する処理を行う（図４１（ｂ））。

つまみ１４２を動かす操作の別のバリエーションについて説明する。図４２は、スライドバーに対する入力操作を例示する第３の図である。図４２（ａ）において、ユーザは、「スライドバー１４０上であり、なおかつ、つまみ１４２が表示されていない位置に指３０を所定時間以上留める」という入力操作を行っている。認識部２０４０は、この入力操作を認識する。表示制御部２０６０は、この入力操作に応じて、つまみ１４２の表示位置を指３０の位置へ変更する処理を行う（図４２（ｂ））。また、つまみ１４２が右側へ移動されたため、表示制御部２０６０は、つまみ１４２が動かされた距離に応じて画像１５０を拡大する処理を行う（図４２（ｂ））。

なお、図４２（ａ）に示した状況において、つまみ１４２の右側ではなく左側に指３０を留める入力操作が行われたとする。この場合、つまみ１４２が左側に移動することとなるため、表示制御部２０６０は、つまみ１４２が動かされた距離に応じて画像１５０を縮小する処理を行う。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。

例えば、認識部２０４０によって認識された入力操作に応じて情報処理装置２０００が実行する処理は、表示制御部２０６０によって行われる表示装置３０４０の制御に限定されない。例えば情報処理装置２０００は、認識部２０４０によって認識された入力操作に応じて、種々のデータをコピーする処理、削除する処理、暗号化する処理、再生する処理、アプリケーションを起動する処理など、様々な処理を実行しうる。

例えば、実施例１において表示装置３０４０にはファイルブラウザが表示されており、各選択画像１２２（図２７などを参照）は各ファイルを表すアイコンであるとする。この場合、例えば前述した決定操作の対象となったアイコンが文書ファイルであれば、情報処理装置２０００は、文書ファイルの閲覧ソフトなどのアプリケーションを起動し、起動したアプリケーションでその文書ファイルを開く。同様に、情報処理装置２０００は、決定操作の対象となったアイコンが音楽ファイルや動画ファイルであれば、音楽や映像の再生ソフトなどのアプリケーションを起動し、起動したアプリケーションでその音楽ファイルや動画ファイルを再生する。また同様に、情報処理装置２０００は、決定操作の対象となったアイコンがアプリケーションのアイコンであれば、そのアプリケーションを起動する。

同様に実施例１において、削除処理のための入力操作などを定義しておく。この場合、例えば或る選択画像１２２が選択候補となっている状態でユーザが削除処理用の入力操作を行うと、情報処理装置２０００は、選択候補となっている選択画像１２２に対応するデータの削除を実行する。

なお、上述した各処理の実行結果は、必ずしも表示装置３０４０に表示される必要はない。

以下、参考形態の例を付記する。
１． ユーザに身に付けられるものであるか、又はユーザの身体の一部であるマーカと、
情報処理装置と、を有し、
前記情報処理装置は、
前記マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出手段と、
前記操作領域に含まれる操作体の位置又は動きを算出し、前記算出した位置又は動きに基づいて入力操作を認識する認識手段と、
を有する情報処理システム。
２． 前記マーカは、前記ユーザの腕部に身につけられるものであり、
前記操作領域は、前記腕部上の領域である、１．に記載の情報処理システム。
３． 前記マーカは、前記ユーザに身につけられているデバイスのディスプレイ装置に表示される画像である、１．に記載の情報処理システム。
４． 前記認識手段は、前記操作体の速度に応じた入力操作を認識する、１．乃至３．いずれか一つに記載の情報処理システム。
５． 当該情報処理システムは、画像を表示する表示装置を有し、
前記情報処理装置は、前記操作領域を表す操作領域画像を前記表示装置に表示させる表示制御手段を有する、１．乃至４．いずれか一つに記載の情報処理システム。
６． 前記表示装置は、透過型のヘッドマウントディスプレイのディスプレイ装置であり、
前記表示制御手段は、前記撮像画像上の位置と前記ディスプレイ装置上の位置との対応関係に基づいて、前記撮像画像上における前記操作領域の位置を前記ディスプレイ装置上の位置に変換し、前記変換された前記ディスプレイ装置上の位置に前記操作領域画像を表示させる、５．に記載の情報処理システム。
７． 前記表示装置は、非透過型のヘッドマウントディスプレイのディスプレイ装置又はプロジェクタであり、
前記表示制御手段は、前記表示装置に、前記操作領域が抽出された位置に前記操作領域画像を重畳させた前記撮像画像を表示させる、５．に記載の情報処理システム。
８． 前記表示制御手段は、
入力操作の対象を表す画像である操作対象画像を前記表示装置に表示させ、
前記認識手段によって認識される入力操作に応じて、前記表示装置による表示を変更させる、５．乃至７．いずれか一つに記載の情報処理システム。
９． 前記認識手段は、
前記操作体を前記操作対象画像の近くに位置させる操作、
前記操作対象画像に対して前記操作体を近づける操作、
前記操作対象画像から前記操作体を遠ざける操作、
前記操作体を前記操作領域の中から外へ出す操作、又は
前記操作体を前記操作領域の端の所定範囲の領域に位置させる操作を認識する、８．に記載の情報処理システム。
１０． 前記表示制御手段は、
前記操作体を前記操作対象画像の近くに位置させる操作が認識されたことに応じて、その操作対象画像を選択候補とする処理を実行し、
前記操作対象画像が前記選択候補となっている状態において、前記操作体を前記選択候補に対して近づける入力操作、前記操作体を前記操作領域の上端の所定領域に位置させる操作、又は前記操作体を前記操作領域の上端をまたいで外へ出す操作のいずれかが認識されたことに応じて、その選択候補を選択対象として確定する処理を実行する、９．に記載の情報処理システム。
１１． 前記表示制御手段は、前記操作対象画像が前記選択候補となっている状態において、前記操作体を前記選択候補から遠ざける操作、前記操作体を前記操作領域の下端の所定領域に位置させる操作、又は前記操作体を前記操作領域の下端をまたいで外へ出す操作のいずれかが認識されたことに応じて、その選択候補となっている前記操作対象画像を、選択候補となっていない状態に変更する処理を実行する、１０．に記載の情報処理システム。
１２． 前記認識手段は、前記操作体を所定値以上の速さで動かす操作を認識し、
前記表示制御手段は、前記操作体を所定値以上の速さで動かす操作が認識されたことに応じて、前記表示装置に表示されている前記操作対象画像を別の操作対象画像に変更する処理を実行する、８．乃至１１．いずれか一つに記載の情報処理システム。
１３． 前記表示制御手段は、スライドバーを表す操作対象画像を前記表示装置に表示させ、
前記認識手段は、前記スライドバーのつまみに操作体を重畳させ、さらにその操作体を前記スライドバーのバーに沿って移動させる入力操作を認識し、
前記表示制御手段は、前記スライドバーのつまみの表示位置を、前記操作体の移動後の位置に変更する、８．乃至１２．いずれか一つに記載の情報処理システム。

１４． マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出手段と、
前記操作領域に含まれる操作体の位置又は動きを算出し、前記算出した位置又は動きに基づいて入力操作を認識する認識手段と、
を有し、
前記マーカは、ユーザに身に付けられるものであるか、又はユーザの身体の一部である、情報処理装置。
１５． 前記マーカは、前記ユーザの腕部に身につけられるものであり、
前記操作領域は、前記腕部上の領域である、１４．に記載の情報処理装置。
１６． 前記マーカは、前記ユーザに身につけられているデバイスのディスプレイ装置に表示される画像である、１４．に記載の情報処理装置。
１７． 前記認識手段は、前記操作体の速度に応じた入力操作を認識する、１４．乃至１６．いずれか一つに記載の情報処理装置。
１８． 前記操作領域を表す操作領域画像を表示装置に表示させる表示制御手段を有する、１４．乃至１７．いずれか一つに記載の情報処理装置。
１９． 前記表示装置は、透過型のヘッドマウントディスプレイのディスプレイ装置であり、
前記表示制御手段は、前記撮像画像上の位置と前記ディスプレイ装置上の位置との対応関係に基づいて、前記撮像画像上における前記操作領域の位置を前記ディスプレイ装置上の位置に変換し、前記変換された前記ディスプレイ装置上の位置に前記操作領域画像を表示させる、１８．に記載の情報処理装置。
２０． 前記表示装置は、非透過型のヘッドマウントディスプレイのディスプレイ装置又はプロジェクタであり、
前記表示制御手段は、前記表示装置に、前記操作領域が抽出された位置に前記操作領域画像を重畳させた前記撮像画像を表示させる、１８．に記載の情報処理装置。
２１． 前記表示制御手段は、
入力操作の対象を表す画像である操作対象画像を前記表示装置に表示させ、
前記認識手段によって認識される入力操作に応じて、前記表示装置による表示を変更させる、１８．乃至２０．いずれか一つに記載の情報処理装置。
２２． 前記認識手段は、
前記操作体を前記操作対象画像の近くに位置させる操作、
前記操作対象画像に対して前記操作体を近づける操作、
前記操作対象画像から前記操作体を遠ざける操作、
前記操作体を前記操作領域の中から外へ出す操作、又は
前記操作体を前記操作領域の端の所定範囲の領域に位置させる操作を認識する、２１．に記載の情報処理装置。
２３． 前記表示制御手段は、
前記操作体を前記操作対象画像の近くに位置させる操作が認識されたことに応じて、その操作対象画像を選択候補とする処理を実行し、
前記操作対象画像が前記選択候補となっている状態において、前記操作体を前記選択候補に対して近づける入力操作、前記操作体を前記操作領域の上端の所定領域に位置させる操作、又は前記操作体を前記操作領域の上端をまたいで外へ出す操作のいずれかが認識されたことに応じて、その選択候補を選択対象として確定する処理を実行する、２２．に記載の情報処理装置。
２４． 前記表示制御手段は、前記操作対象画像が前記選択候補となっている状態において、前記操作体を前記選択候補から遠ざける操作、前記操作体を前記操作領域の下端の所定領域に位置させる操作、又は前記操作体を前記操作領域の下端をまたいで外へ出す操作のいずれかが認識されたことに応じて、その選択候補となっている前記操作対象画像を、選択候補となっていない状態に変更する処理を実行する、２３．に記載の情報処理装置。
２５． 前記認識手段は、前記操作体を所定値以上の速さで動かす操作を認識し、
前記表示制御手段は、前記操作体を所定値以上の速さで動かす操作が認識されたことに応じて、前記表示装置に表示されている前記操作対象画像を別の操作対象画像に変更する処理を実行する、２１．乃至２４．いずれか一つに記載の情報処理装置。
２６． 前記表示制御手段は、スライドバーを表す操作対象画像を前記表示装置に表示させ、
前記認識手段は、前記スライドバーのつまみに操作体を重畳させ、さらにその操作体を前記スライドバーのバーに沿って移動させる入力操作を認識し、
前記表示制御手段は、前記スライドバーのつまみの表示位置を、前記操作体の移動後の位置に変更する、２１．乃至２５．いずれか一つに記載の情報処理装置。

２７． コンピュータによって実行される制御方法であって、
マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出ステップと、
前記操作領域に含まれる操作体の位置又は動きを算出し、前記算出した位置又は動きに基づいて入力操作を認識する認識ステップと、
を有し、
前記マーカは、ユーザに身に付けられるものであるか、又はユーザの身体の一部である、制御方法。
２８． 前記マーカは、前記ユーザの腕部に身につけられるものであり、
前記操作領域は、前記腕部上の領域である、２７．に記載の制御方法。
２９． 前記マーカは、前記ユーザに身につけられているデバイスのディスプレイ装置に表示される画像である、２７．に記載の制御方法。
３０． 前記認識ステップは、前記操作体の速度に応じた入力操作を認識する、２７．乃至２９．いずれか一つに記載の制御方法。
３１． 前記操作領域を表す操作領域画像を表示装置に表示させる表示制御ステップを有する、２７．乃至３０．いずれか一つに記載の制御方法。
３２． 前記表示装置は、透過型のヘッドマウントディスプレイのディスプレイ装置であり、
前記表示制御ステップは、前記撮像画像上の位置と前記ディスプレイ装置上の位置との対応関係に基づいて、前記撮像画像上における前記操作領域の位置を前記ディスプレイ装置上の位置に変換し、前記変換された前記ディスプレイ装置上の位置に前記操作領域画像を表示させる、３１．に記載の制御方法。
３３． 前記表示装置は、非透過型のヘッドマウントディスプレイのディスプレイ装置又はプロジェクタであり、
前記表示制御ステップは、前記表示装置に、前記操作領域が抽出された位置に前記操作領域画像を重畳させた前記撮像画像を表示させる、３１．に記載の制御方法。
３４． 前記表示制御ステップは、
入力操作の対象を表す画像である操作対象画像を前記表示装置に表示させ、
前記認識ステップによって認識される入力操作に応じて、前記表示装置による表示を変更させる、３１．乃至３３．いずれか一つに記載の制御方法。
３５． 前記認識ステップは、
前記操作体を前記操作対象画像の近くに位置させる操作、
前記操作対象画像に対して前記操作体を近づける操作、
前記操作対象画像から前記操作体を遠ざける操作、
前記操作体を前記操作領域の中から外へ出す操作、又は
前記操作体を前記操作領域の端の所定範囲の領域に位置させる操作を認識する、３４．に記載の制御方法。
３６． 前記表示制御ステップは、
前記操作体を前記操作対象画像の近くに位置させる操作が認識されたことに応じて、その操作対象画像を選択候補とする処理を実行し、
前記操作対象画像が前記選択候補となっている状態において、前記操作体を前記選択候補に対して近づける入力操作、前記操作体を前記操作領域の上端の所定領域に位置させる操作、又は前記操作体を前記操作領域の上端をまたいで外へ出す操作のいずれかが認識されたことに応じて、その選択候補を選択対象として確定する処理を実行する、３５．に記載の制御方法。
３７． 前記表示制御ステップは、前記操作対象画像が前記選択候補となっている状態において、前記操作体を前記選択候補から遠ざける操作、前記操作体を前記操作領域の下端の所定領域に位置させる操作、又は前記操作体を前記操作領域の下端をまたいで外へ出す操作のいずれかが認識されたことに応じて、その選択候補となっている前記操作対象画像を、選択候補となっていない状態に変更する処理を実行する、３６．に記載の制御方法。
３８． 前記認識ステップは、前記操作体を所定値以上の速さで動かす操作を認識し、
前記表示制御ステップは、前記操作体を所定値以上の速さで動かす操作が認識されたことに応じて、前記表示装置に表示されている前記操作対象画像を別の操作対象画像に変更する処理を実行する、３３．乃至３７．いずれか一つに記載の制御方法。
３９． 前記表示制御ステップは、スライドバーを表す操作対象画像を前記表示装置に表示させ、
前記認識ステップは、前記スライドバーのつまみに操作体を重畳させ、さらにその操作体を前記スライドバーのバーに沿って移動させる入力操作を認識し、
前記表示制御ステップは、前記スライドバーのつまみの表示位置を、前記操作体の移動後の位置に変更する、３４．乃至３８．いずれか一つに記載の制御方法。

４０． マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出ステップと、
前記操作領域に含まれる操作体の位置又は動きを算出し、前記算出した位置又は動きに基づいて入力操作を認識する認識ステップと、
をコンピュータに実行させ、
前記マーカは、ユーザに身に付けられるものであるか、又はユーザの身体の一部である、プログラム。
４１． 前記マーカは、前記ユーザの腕部に身につけられるものであり、
前記操作領域は、前記腕部上の領域である、４０．に記載のプログラム。
４２． 前記マーカは、前記ユーザに身につけられているデバイスのディスプレイ装置に表示される画像である、４０．に記載のプログラム。
４３． 前記認識ステップは、前記操作体の速度に応じた入力操作を認識する、４０．乃至４２．いずれか一つに記載のプログラム。
４４． 前記操作領域を表す操作領域画像を表示装置に表示させる表示制御ステップを前記コンピュータに実行させる、４０．乃至４３．いずれか一つに記載のプログラム。
４５． 前記表示装置は、透過型のヘッドマウントディスプレイのディスプレイ装置であり、
前記表示制御ステップは、前記撮像画像上の位置と前記ディスプレイ装置上の位置との対応関係に基づいて、前記撮像画像上における前記操作領域の位置を前記ディスプレイ装置上の位置に変換し、前記変換された前記ディスプレイ装置上の位置に前記操作領域画像を表示させる、４４．に記載のプログラム。
４６． 前記表示装置は、非透過型のヘッドマウントディスプレイのディスプレイ装置又はプロジェクタであり、
前記表示制御ステップは、前記表示装置に、前記操作領域が抽出された位置に前記操作領域画像を重畳させた前記撮像画像を表示させる、４４．に記載のプログラム。
４７． 前記表示制御ステップは、
入力操作の対象を表す画像である操作対象画像を前記表示装置に表示させ、
前記認識ステップによって認識される入力操作に応じて、前記表示装置による表示を変更させる、４４．乃至４６．いずれか一つに記載のプログラム。
４８． 前記認識ステップは、
前記操作体を前記操作対象画像の近くに位置させる操作、
前記操作対象画像に対して前記操作体を近づける操作、
前記操作対象画像から前記操作体を遠ざける操作、
前記操作体を前記操作領域の中から外へ出す操作、又は
前記操作体を前記操作領域の端の所定範囲の領域に位置させる操作を認識する、４７．に記載のプログラム。
４９． 前記表示制御ステップは、
前記操作体を前記操作対象画像の近くに位置させる操作が認識されたことに応じて、その操作対象画像を選択候補とする処理を実行し、
前記操作対象画像が前記選択候補となっている状態において、前記操作体を前記選択候補に対して近づける入力操作、前記操作体を前記操作領域の上端の所定領域に位置させる操作、又は前記操作体を前記操作領域の上端をまたいで外へ出す操作のいずれかが認識されたことに応じて、その選択候補を選択対象として確定する処理を実行する、４８．に記載のプログラム。
５０． 前記表示制御ステップは、前記操作対象画像が前記選択候補となっている状態において、前記操作体を前記選択候補から遠ざける操作、前記操作体を前記操作領域の下端の所定領域に位置させる操作、又は前記操作体を前記操作領域の下端をまたいで外へ出す操作のいずれかが認識されたことに応じて、その選択候補となっている前記操作対象画像を、選択候補となっていない状態に変更する処理を実行する、４９．に記載のプログラム。
５１． 前記認識ステップは、前記操作体を所定値以上の速さで動かす操作を認識し、
前記表示制御ステップは、前記操作体を所定値以上の速さで動かす操作が認識されたことに応じて、前記表示装置に表示されている前記操作対象画像を別の操作対象画像に変更する処理を実行する、４６．乃至５０．いずれか一つに記載のプログラム。
５２． 前記表示制御ステップは、スライドバーを表す操作対象画像を前記表示装置に表示させ、
前記認識ステップは、前記スライドバーのつまみに操作体を重畳させ、さらにその操作体を前記スライドバーのバーに沿って移動させる入力操作を認識し、
前記表示制御ステップは、前記スライドバーのつまみの表示位置を、前記操作体の移動後の位置に変更する、４７．乃至５１．いずれか一つに記載のプログラム。

この出願は、２０１６年２月２５日に出願された日本出願特願２０１６−０３３９６０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (20)

1. ユーザに身につけられているデバイスのディスプレイ装置に表示される画像であるマーカと、
   情報処理装置と、を有し、
   前記情報処理装置は、
   前記マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出手段と、
   前記操作領域に含まれる操作体の位置又は動きを算出し、前記算出した位置又は動きに基づいて入力操作を認識する認識手段と、を有する情報処理システム。
2. ユーザに身に付けられるものであるか、又はユーザの身体の一部であるマーカと、
   情報処理装置と、
   画像を表示する表示装置と、を有し、
   前記情報処理装置は、
   前記マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出手段と、
   前記操作領域に含まれる操作体の位置又は動きを算出し、前記算出した位置又は動きに基づいて入力操作を認識する認識手段と、
   前記操作領域を表す操作領域画像を前記表示装置に表示させる表示制御手段と、を有する情報処理システム。
3. 前記マーカは、前記ユーザの腕部に身につけられるものであり、
   前記操作領域は、前記腕部上の領域である、請求項１に記載の情報処理システム。
4. 前記マーカは、前記ユーザに身につけられているデバイスのディスプレイ装置に表示される画像である、請求項２に記載の情報処理システム。
5. 前記認識手段は、前記操作体の速度に応じた入力操作を認識する、請求項１乃至４いずれか一項に記載の情報処理システム。
6. 当該情報処理システムは、画像を表示する表示装置を有し、
   前記情報処理装置は、前記操作領域を表す操作領域画像を前記表示装置に表示させる表示制御手段を有する、請求項１乃至５いずれか一項に記載の情報処理システム。
7. 前記表示装置は、透過型のヘッドマウントディスプレイのディスプレイ装置であり、
   前記表示制御手段は、前記撮像画像上の位置と前記ディスプレイ装置上の位置との対応関係に基づいて、前記撮像画像上における前記操作領域の位置を前記ディスプレイ装置上の位置に変換し、前記変換された前記ディスプレイ装置上の位置に前記操作領域画像を表示させる、請求項２又は６に記載の情報処理システム。
8. 前記表示装置は、非透過型のヘッドマウントディスプレイのディスプレイ装置又はプロジェクタであり、
   前記表示制御手段は、前記表示装置に、前記操作領域が抽出された位置に前記操作領域画像を重畳させた前記撮像画像を表示させる、請求項２又は６に記載の情報処理システム。
9. 前記表示制御手段は、
   入力操作の対象を表す画像である操作対象画像を前記表示装置に表示させ、
   前記認識手段によって認識される入力操作に応じて、前記表示装置による表示を変更させる、請求項２及び６乃至８いずれか一項に記載の情報処理システム。
10. 前記認識手段は、
    前記操作体を前記操作対象画像の近くに位置させる操作、
    前記操作対象画像に対して前記操作体を近づける操作、
    前記操作対象画像から前記操作体を遠ざける操作、
    前記操作体を前記操作領域の中から外へ出す操作、又は
    前記操作体を前記操作領域の端の所定範囲の領域に位置させる操作を認識する、請求項９に記載の情報処理システム。
11. 前記表示制御手段は、
    前記操作体を前記操作対象画像の近くに位置させる操作が認識されたことに応じて、その操作対象画像を選択候補とする処理を実行し、
    前記操作対象画像が前記選択候補となっている状態において、前記操作体を前記選択候補に対して近づける入力操作、前記操作体を前記操作領域の上端の所定領域に位置させる操作、又は前記操作体を前記操作領域の上端をまたいで外へ出す操作のいずれかが認識されたことに応じて、その選択候補を選択対象として確定する処理を実行する、請求項１０に記載の情報処理システム。
12. 前記表示制御手段は、前記操作対象画像が前記選択候補となっている状態において、前記操作体を前記選択候補から遠ざける操作、前記操作体を前記操作領域の下端の所定領域に位置させる操作、又は前記操作体を前記操作領域の下端をまたいで外へ出す操作のいずれかが認識されたことに応じて、その選択候補となっている前記操作対象画像を、選択候補となっていない状態に変更する処理を実行する、請求項１１に記載の情報処理システム。
13. 前記認識手段は、前記操作体を所定値以上の速さで動かす操作を認識し、
    前記表示制御手段は、前記操作体を所定値以上の速さで動かす操作が認識されたことに応じて、前記表示装置に表示されている前記操作対象画像を別の操作対象画像に変更する処理を実行する、請求項９乃至１２いずれか一項に記載の情報処理システム。
14. 前記表示制御手段は、スライドバーを表す操作対象画像を前記表示装置に表示させ、
    前記認識手段は、前記スライドバーのつまみに操作体を重畳させ、さらにその操作体を前記スライドバーのバーに沿って移動させる入力操作を認識し、
    前記表示制御手段は、前記スライドバーのつまみの表示位置を、前記操作体の移動後の位置に変更する、請求項９乃至１３いずれか一項に記載の情報処理システム。
15. マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出手段と、
    前記操作領域に含まれる操作体の位置又は動きを算出し、前記算出した位置又は動きに基づいて入力操作を認識する認識手段と、を有し、
    前記マーカは、ユーザに身につけられているデバイスのディスプレイ装置に表示される画像である、情報処理装置。
16. マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出手段と、
    前記操作領域に含まれる操作体の位置又は動きを算出し、前記算出した位置又は動きに基づいて入力操作を認識する認識手段と、
    前記操作領域を表す操作領域画像を表示装置に表示させる表示制御手段と、を有し、
    前記マーカは、ユーザに身に付けられるものであるか、又はユーザの身体の一部である、情報処理装置。
17. コンピュータによって実行される制御方法であって、
    マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出ステップと、
    前記操作領域に含まれる操作体の位置又は動きを算出し、前記算出した位置又は動きに基づいて入力操作を認識する認識ステップと、を有し、
    前記マーカは、ユーザに身につけられているデバイスのディスプレイ装置に表示される画像である、制御方法。
18. コンピュータによって実行される制御方法であって、
    マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出ステップと、
    前記操作領域に含まれる操作体の位置又は動きを算出し、前記算出した位置又は動きに基づいて入力操作を認識する認識ステップと、
    前記操作領域を表す操作領域画像を表示装置に表示させる表示制御ステップと、を有し、
    前記マーカは、ユーザに身に付けられるものであるか、又はユーザの身体の一部である、制御方法。
19. マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出ステップと、
    前記操作領域に含まれる操作体の位置又は動きを算出し、前記算出した位置又は動きに基づいて入力操作を認識する認識ステップと、をコンピュータに実行させ、
    前記マーカは、ユーザに身につけられているデバイスのディスプレイ装置に表示される画像である、プログラム。
20. マーカの位置に基づいて、カメラによって生成された撮像画像に含まれる操作領域を抽出する操作領域抽出ステップと、
    前記操作領域に含まれる操作体の位置又は動きを算出し、前記算出した位置又は動きに基づいて入力操作を認識する認識ステップと、
    前記操作領域を表す操作領域画像を表示装置に表示させる表示制御ステップと、をコンピュータに実行させ、
    前記マーカは、ユーザに身に付けられるものであるか、又はユーザの身体の一部である、プログラム。

Images