Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5962403B2 - 情報処理装置、表示制御方法及びプログラム - Google Patents
[go: Go Back, main page]

JP5962403B2 - 情報処理装置、表示制御方法及びプログラム - Google Patents

情報処理装置、表示制御方法及びプログラム Download PDF

Info

Publication number
JP5962403B2
JP5962403B2 JP2012219451A JP2012219451A JP5962403B2 JP 5962403 B2 JP5962403 B2 JP 5962403B2 JP 2012219451 A JP2012219451 A JP 2012219451A JP 2012219451 A JP2012219451 A JP 2012219451A JP 5962403 B2 JP5962403 B2 JP 5962403B2
Authority
JP
Japan
Prior art keywords
scroll
item
information processing
user
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012219451A
Other languages
English (en)
Other versions
JP2014071812A (ja
JP2014071812A5 (ja
Inventor
野田 卓郎
卓郎 野田
山本 一幸
一幸 山本
鈴木 謙治
謙治 鈴木
徹行 宮脇
徹行 宮脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012219451A priority Critical patent/JP5962403B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to BR112015006833A priority patent/BR112015006833A2/pt
Priority to US14/407,746 priority patent/US20150143283A1/en
Priority to RU2015110680A priority patent/RU2638004C2/ru
Priority to EP13759324.0A priority patent/EP2904470A1/en
Priority to PCT/JP2013/004917 priority patent/WO2014054211A1/en
Priority to CN201380050007.8A priority patent/CN104662492B/zh
Publication of JP2014071812A publication Critical patent/JP2014071812A/ja
Publication of JP2014071812A5 publication Critical patent/JP2014071812A5/ja
Application granted granted Critical
Publication of JP5962403B2 publication Critical patent/JP5962403B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本開示は、情報処理装置、表示制御方法及びプログラムに関する。
近年、情報技術の発達の結果として、情報機器によりユーザへ提供される情報の量は膨大になっている。また、ユーザが情報に接する時間も長くなってきている。例えば、下記特許文献1は、健康管理などの目的のためにユーザの生体情報をヘッドマウントディスプレイ(HMD)の画面に表示させる技術を開示している。下記特許文献1により開示された技術では、ユーザの生体情報に関するメッセージが、画面内でスクロールされ得る。メッセージは、ユーザがジョギングなどの運動をしている最中にも表示される。
特開2008−99834号公報
しかしながら、通常の情報機器により情報が提供される場合には、ユーザが情報を知りたい時に画面を起動するのに対して、HMDなどのウェアラブル装置を通じて情報が提供される場合には、ユーザが画面を注視しているかに関わらず、画面は定常的に稼動している。そして、ユーザがいかなる行動をしている最中にも、画面に様々な情報が表示され得る。そのため、ウェアラブル装置を通じて情報が提供される場合、ユーザが情報を知りたいと望むタイミングと、ユーザが関心を抱く情報が表示されるタイミングとの間でズレが生じる可能性が高い。
従って、こうしたタイミングのズレを解消してユーザが効率的に情報を取得することを可能とする仕組みが提供されることが望ましい。
本開示によれば、ユーザの視界に入るように配置される画面を有し、前記ユーザにより装着される表示部と、ユーザ操作を検出する検出部と、前記検出部により検出される前記ユーザ操作に応じて、前記画面内で第1の方向に自動的にスクロールするスクロールアイテムの表示を制御する表示制御部と、を備える情報処理装置が提供される。
また、本開示によれば、ユーザの視界に入るように配置される画面を有し、前記ユーザにより装着される表示部を備える情報処理装置の制御部により実行される表示制御方法であって、ユーザ操作を検出することと、検出された前記ユーザ操作に応じて、前記画面内で第1の方向に自動的にスクロールするスクロールアイテムの表示を制御することと、を含む表示制御方法が提供される。
また、本開示によれば、ユーザの視界に入るように配置される画面を有し、前記ユーザにより装着される表示部備える情報処理装置を制御するコンピュータを、ユーザ操作を検出する検出部と、前記検出部により検出される前記ユーザ操作に応じて、前記画面内で第1の方向に自動的にスクロールするスクロールアイテムの表示を制御する表示制御部と、として機能させるためのプログラムが提供される。
本開示に係る技術によれば、ウェアラブル装置を通じて情報が提供される場合に、情報を知りたいと望むタイミングで関心を抱いた情報をユーザが効率的に取得することが可能となる。
情報処理装置の外観の一例を示す説明図である。 スクロールアイテムの第1の例について説明するための第1の説明図である。 スクロールアイテムの第1の例について説明するための第2の説明図である。 スクロールアイテムの第2の例について説明するための説明図である。 スクロールアイテムの第3の例について説明するための説明図である。 一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 一実施形態に係る情報処理装置の論理的な機能構成の一例を示すブロック図である。 ユーザ操作を検出するための第1の手法について説明するための説明図である。 ユーザ操作を検出するための第2の手法について説明するための説明図である。 ユーザ操作に応じたスクロール位置の巻き戻しの一例について説明するための説明図である。 ユーザ操作に応じたスクロール位置の早送りの一例について説明するための説明図である。 ユーザ操作に応じたスクロール位置の巻き戻しの他の例について説明するための説明図である。 一実施形態に係る表示制御処理の流れの第1の例を示すフローチャートである。 一実施形態に係る表示制御処理の流れの第2の例を示すフローチャートである。 操作対象選択処理の詳細な流れの第1の例を示すフローチャートである。 操作対象選択処理の詳細な流れの第2の例を示すフローチャートである。 ジェスチャ判定に基づく操作対象アイテムの選択について説明するための説明図である。 ユーザ操作に応じたさらなる表示制御について説明するための第1の説明図である。 ユーザ操作に応じたさらなる表示制御について説明するための第2の説明図である。 情報処理装置と外部装置との連携の一例について説明するための説明図である。 ユーザ操作を検出するための第3の手法について説明するための説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
1.概要
2.一実施形態に係る装置の構成
2−1.ハードウェア構成
2−2.機能構成
3.処理の流れ
3−1.全体的な流れ
3−2.操作対象選択処理
3−3.さらなる表示制御
4.外部装置との連携
5.まとめ
<1.概要>
本開示に係る技術は、様々な形態の情報処理装置に適用可能である。その代表例は、ヘッドマウントディスプレイ(HMD)などのウェアラブル装置である。
図1は、本開示に係る技術が適用され得る情報処理装置の外観の一例を示す説明図である。図1の例において、情報処理装置100は、ユーザの頭部に装着される眼鏡型のウェアラブル装置である。情報処理装置100は、一対の画面SCa及びSCb、筐体HS、撮像用レンズLN及び接触面TSを備える。画面SCa及びSCbは、ユーザの左目及び右目の前方にそれぞれ配置される、シースルー型の又は非シースルー型の画面(screen)である。なお、画面SCa及びSCbの代わりに、ユーザの両眼の前方に配置される単一の画面が採用されてもよい。筐体HSは、画面SCa及びSCbを支持するフレームと、ユーザの側頭部に位置するいわゆるテンプルとを含み、テンプルの内部には情報処理のための様々なモジュールが格納される。撮像用レンズLNは、その光軸がユーザの視線と略平行になるように配置され、画像を撮像するために用いられる。接触面TSは、ユーザによるタッチを検出する面であり、情報処理装置100がユーザ操作を受け付けるために用いられる。接触面TSの代わりに、ボタン、スイッチ又はホイールなどの操作手段が筐体HSに配設されてもよい。
図1から理解されるように、情報処理装置100の画面SCa及びSCbは、定常的にユーザの視界に入る。そして、ユーザがどのような行動をしているかに関わらず、画面SCa及びSCbには様々な情報が表示され得る。ユーザに提供される情報は、テキスト形式の情報であってもよく、又はイメージ形式の情報であってもよい。個々の情報アイテムの情報量が小さくない場合には、情報は、画面内で自動的にスクロールされ得る。本明細書では、画面内で自動的にスクロールする情報アイテムを、スクロールアイテムという。
図2A及び図2Bは、スクロールアイテムの第1の例について説明するための説明図である。図2Aを参照すると、情報処理装置100の画面に、ニュース情報に属する情報を表現するスクロールアイテムSI01が表示されている。スクロールアイテムSI01の表示サイズは、ニュースの全ての内容を一度に表現できるほど大きくはない。そのため、情報処理装置100は、スクロールアイテムSI01内で、ニュース内容を記述する文字列をスクロール方向D01へ自動的にスクロールさせる。図2AではスクロールアイテムSI01はニュース内容の前半部を示していたのに対し、図2BではスクロールアイテムSI01はニュース内容の後半部を示している。
図3は、スクロールアイテムの第2の例について説明するための説明図である。図3を参照すると、情報処理装置100の画面に、画像コンテンツを表現するスクロールアイテムSI02が表示されている。スクロールアイテムSI02の表示サイズは、全ての画像を一度に表現できるほど大きくはない。そのため、情報処理装置100は、スクロールアイテムSI02内で、画像コンテンツをスクロール方向D02へ自動的にスクロールさせる。
上述したスクロールアイテムは、情報処理装置100により仮想的に生成される情報アイテムである。これに対し、本開示に係る技術は、実空間内のスクロールアイテムにより表示される情報をも扱う。図4は、スクロールアイテムの第3の例について説明するための説明図である。図4の例において、情報処理装置100の画面は、実空間RS1内の電光掲示板に向けられている。当該電光掲示板は、例えば、駅などに設置され得る表示装置であり、列車運行情報をスクロール方向D03へ自動的にスクロールさせる。情報処理装置100は、撮像画像に映る当該電光掲示板により表示される情報アイテムを、スクロールアイテムSI03として扱う。スクロールアイテムSI03の情報内容は、情報処理装置100の通信手段を介して取得され得る。
これらスクロールアイテムは、ユーザにより操作されることなく、多くの情報をユーザに提供する。しかしながら、自動的なスクロールは、ユーザが情報を知りたいと望むタイミングと、ユーザが関心を抱く情報が表示されるタイミングとの間のズレを生じさせる。例えば、ユーザが列車運行情報を見た時には、遅延している路線の路線名が既にスクロールアウトしている可能性がある。また、ユーザがスポーツの結果を早く知りたいと望んでも、その結果が表示されるまでに数秒間待つことを要する可能性もある。そこで、次節より詳細に説明する実施形態では、こうしたタイミングのズレを解消してユーザが効率的に情報を取得することができるようなユーザインタフェースが提供される。
<2.一実施形態に係る装置の構成>
[2−1.ハードウェア構成]
図5は、一実施形態に係る情報処理装置100のハードウェア構成の一例を示すブロック図である。図5を参照すると、情報処理装置100は、撮像部102、センサ部104、操作部106、記憶部108、表示部110、通信部112、バス116及び制御部118を備える。
(1)撮像部
撮像部102は、画像を撮像するカメラモジュールである。撮像部102は、図1に例示したようなレンズLNと、CCD又はCMOSなどの撮像素子と、撮像用回路とを有し、ユーザの視界に入る実空間を撮像して、撮像画像を生成する。撮像部102により生成される一連の撮像画像は、動画を構成し得る。
(2)センサ部
センサ部104は、情報処理装置100の位置を測定する測位センサを含み得る。測位センサは、例えば、GPS(Global Positioning System)信号を受信して装置の緯度、経度及び高度を測定するGPSセンサであってもよい。その代わりに、測位センサは、無線アクセスポイントから受信される無線信号の強度に基づいて測位を実行するセンサであってもよい。センサ部104は、測位センサから出力される位置データを制御部118へ出力する。
(3)操作部
操作部106は、ユーザが情報処理装置100を操作し又は情報処理装置100へ情報を入力するために使用される操作インタフェースである。操作部106は、例えば、図1に例示したようなタッチセンサの接触面TSを介して、ユーザ操作を受け付けてもよい。操作部106は、タッチセンサの代わりに(又はそれに加えて)、ボタン、スイッチ、キーパッド又は音声入力インタフェースなどのその他の種類の操作インタフェースを含んでもよい。なお、後に説明するように、ユーザ操作は、これら操作インタフェースを介することなく、撮像画像に映る操作体の認識を通じて検出されてもよい。
(4)記憶部
記憶部108は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、情報処理装置100による処理のためのプログラム及びデータを記憶する。なお、本明細書で説明するプログラム及びデータの一部は、記憶部108により記憶されることなく、外部のデータソース(例えば、データサーバ、ネットワークストレージ又は外付けメモリなど)から取得されてもよい。
(5)表示部
表示部110は、ユーザの視界に入るように配置される画面(例えば、図1に示した一対の画面SCa及びSCb)と表示回路とを含む表示モジュールである。表示部110は、後に説明する表示制御部150により生成される出力画像を画面に表示する。
(6)通信部
通信部112は、情報処理装置100による他の装置との間の通信を仲介する通信インタフェースである。通信部112は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
(7)バス
バス116は、撮像部102、センサ部104、操作部106、記憶部108、表示部110、通信部112及び制御部118を相互に接続する。
(8)制御部
制御部118は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)などのプロセッサに相当する。制御部118は、記憶部108又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する情報処理装置100の様々な機能を動作させる。
[2−2.機能構成]
図6は、図5に示した情報処理装置100の記憶部108及び制御部118により実現される論理的機能の構成の一例を示すブロック図である。図6を参照すると、情報処理装置100は、画像認識部120、検出部130、情報取得部140及び表示制御部150を備える。
(1)画像認識部
画像認識部120は、撮像画像に映る操作体を認識する。操作体は、例えば、ユーザの手指、足、又はユーザにより把持される棒状物などであってよい。撮像画像に映るこれら操作体を認識するための手法は、例えば、特開2011−203823号公報及び特開2011−227649号公報に記載されている。画像認識部120は、撮像画像に映る操作体を認識すると、認識した操作体の画像内での位置(例えば、操作体の先端の位置)及び形状などを示す認識結果を、検出部130へ出力する。
また、画像認識部120は、撮像画像に映る物体又は人物を認識してもよい。画像認識部120は、例えば、パターンマッチング法などの公知の物体認識技術を用いて、撮像画像に映る物体を認識し得る。また、画像認識部120は、公知の顔画像認識技術を用いて、撮像画像に映る人物を認識し得る。画像認識部120により実行されるこれら画像認識の結果は、ユーザに提供されるべき情報の選択、又は情報アイテムの画面上での配置のために使用されてよい。撮像画像に依存することなく情報が提供される場合には、画像認識部120は、物体認識及び人物認識を実行しなくてもよい。
(2)検出部
検出部130は、ユーザ操作を検出する。例えば、第1の手法として、検出部130は、画像認識部120により撮像画像内で認識される操作体の動きを、ユーザ操作として検出してもよい。操作対象アイテムがスクロールアイテムである場合、当該スクロールアイテムのスクロール方向又はその反対方向に沿った操作体の動きは、スクロールアイテムのスクロール位置を動かすためのユーザ操作として検出され得る。操作対象アイテムは、撮像画像内で操作体と重なる位置にあるアイテムであってもよい。また、操作対象アイテムをユーザが指定するためのジェスチャが定義されてもよい。例えば、操作対象アイテムを指定するためのジェスチャは、アイテムを掴むような手指の形状若しくは動きであってもよく、又はアイテムを押すような手指の動きであってもよい。特開2011−209965号公報には、画像内の指のサイズの変化に基づいてアイテムを押すようなジェスチャを判定する手法が記載されている。
図7は、ユーザ操作を検出するための第1の手法について説明するための説明図である。図7のを参照すると、時刻Tから時刻T+dTにかけて、撮像画像内で操作体MB1が認識される様子が示されている。時刻Tにおいて、操作体MB1は、ポインティング位置P1を指し示している。その後、操作体MB1は左方へ移動し、時刻T+dTにおいて操作体MB1はポインティング位置P2を指し示している。位置P1から位置P2へのベクトルV1の向きがスクロールアイテムのスクロール方向に向いていれば、ベクトルV1の大きさに依存するスクロール量だけスクロールアイテムは早送りされ得る。ベクトルV1の向きがスクロール方向の反対方向に向いていれば、ベクトルV1の大きさに依存するスクロール量だけスクロールアイテムは巻き戻され得る。
また、第2の手法として、検出部130は、図1に示したような画面を支持する筐体HSに配設される接触面TSへのユーザのタッチを、操作部106を介してユーザ操作として検出してもよい。撮像画像の2次元の座標系は、予めチューニングされ得る座標変換比で、接触面TSの2次元の座標系に関連付けられる。操作対象アイテムがスクロールアイテムである場合、当該スクロールアイテムのスクロール方向又はその反対方向に沿ったタッチジェスチャ(例えば、ドラッグ又はフリック)は、スクロールアイテムのスクロール位置を動かすためのユーザ操作として検出され得る。操作対象アイテムは、例えば、ポインティング位置(タッチ位置に対応する撮像画像内の位置)と重なる位置にあるアイテムであってよい。また、操作対象アイテムをユーザが指定するためのタッチジェスチャ(例えば、タップ又はダブルタップなど)が定義されてもよい。
図8は、ユーザ操作を検出するための第2の手法について説明するための説明図である。図8を参照すると、接触面TSへユーザが指でタッチしている様子が示されている。指が移動すると、その移動方向及び移動量を示すベクトルV2が認識される。ベクトルV2の向きがスクロールアイテムのスクロール方向に対応していれば、ベクトルV2の大きさに依存するスクロール量だけスクロールアイテムは早送りされ得る。ベクトルV2の向きがスクロール方向の反対方向に対応していれば、ベクトルV2の大きさに依存するスクロール量だけスクロールアイテムは巻き戻され得る。
なお、ユーザ操作を検出するための手法は、ここで説明した例に限定されない。例えば、検出部130は、筐体HSに配設される方向キー、ホイール、ダイヤル又はスイッチなどの物理的な操作手段を介して、スクロールアイテムのスクロール位置を動かすためのユーザ操作を検出してもよい。ユーザ操作を検出するための他の手法について、後にさらに説明する。
検出部130は、ユーザ操作を検出すると、ユーザ操作イベントを情報取得部140及び表示制御部150へ出力する。ユーザ操作イベントは、ポインティング位置、操作ベクトル(例えば、上述したベクトルV1又はV2)及び操作の種類(例えば、ジェスチャの種類)などの操作内容を示すデータを含み得る。
(3)情報取得部
情報取得部140は、ユーザに提供すべき情報を取得する。例えば、情報取得部140は、通信部112を介してデータサーバへアクセスし、データサーバから情報を取得する。その代わりに、情報取得部140は、記憶部108により記憶されている情報を取得してもよい。情報取得部140は、センサ部104から入力される測位データを用いて、地域に固有の情報を取得してもよい。また、情報取得部140は、画像認識部120により認識される撮像画像に映る物体又は人物に関連付けられる付加情報を取得してもよい。付加情報は、物体又は人物の名称、属性、関連するメッセージ又は関連する広告などを含み得る。
情報取得部140は、一定の周期で定期的に情報を取得してもよい。その代わりに、情報取得部140は、所定のユーザ操作の検出又は情報提供アプリケーションの起動などのトリガに応じて、情報を取得してもよい。例えば、図4に示した状況では、撮像画像に映る電光掲示板が画像認識部120により認識される。そして、情報取得部140は、認識された電光掲示板のスクロールアイテムSI03を指し示すユーザ操作が検出されると、スクロールアイテムSI03により表示される情報アイテムを、通信部112によりデータサーバから受信させる。
情報取得部140は、上述した様々な手法で取得され得る情報を表示制御部150へ出力する。
(4)表示制御部
表示制御部150は、情報取得部140から入力される情報をユーザに提供するために、表示部110の画面に様々な情報アイテムを表示させる。表示制御部150により表示される情報アイテムは、スクロールアイテム及び非スクロールアイテムを含み得る。スクロールアイテムは、情報の内容を所定のスクロール方向へ自動的にスクロールさせるアイテムである。表示制御部150は、検出部130により検出されるユーザ操作に応じて、スクロールアイテム及び非スクロールアイテムの表示を制御する。
表示制御部150は、所定のユーザ操作に応じて、スクロールアイテムのスクロール位置をスクロール方向又はスクロール方向に対する反対方向に沿って動かす。例えば、表示制御部150は、第1のユーザ操作が検出された場合には、スクロールアイテムのスクロール位置をスクロール方向に対する反対方向へ動かすことにより、スクロールアイテムを巻き戻す。それにより、既にスクロールアウトした情報が再びユーザにとって閲覧可能となる。また、表示制御部150は、第2のユーザ操作が検出された場合には、スクロールアイテムのスクロール位置をスクロール方向へ動かすことにより、スクロールアイテムを早送りする。それにより、未だスクロールアイテムによって表示されていない情報が迅速にユーザにとって閲覧可能となる。さらに、表示制御部150は、複数の情報アイテムが画面に表示される場合に、第3のユーザ操作に応じて、制御すべきアイテムを複数の情報アイテムから選択してもよい。一例として、第1のユーザ操作及び第2のユーザ操作は、図7を用いて説明したような操作体の移動であってもよく、又は図8を用いて説明したようなタッチジェスチャであってもよい。第3のユーザ操作は、操作体の所定の形状若しくは動き、又は所定のタッチジェスチャであってもよい。
図9は、ユーザ操作に応じたスクロール位置の巻き戻しの一例について説明するための説明図である。図9の上段を参照すると、情報処理装置100の画面にスクロールアイテムSI1が表示されている。表示制御部150は、ニュース内容を記述する文字列をスクロールアイテムSI1内で左方向へ自動的にスクロールさせる。操作体MB1は、スクロールアイテムSI1を指し示している。その後、図9の下段に示したように、ユーザが操作体MB1を方向D11へ動かすと、表示制御部150は、スクロールアイテムSI1を巻き戻す。スクロールアイテムSI1のスクロール位置は、方向D11に沿って右方向へ動いている。例えば、“brink”という単語が右方向へ動いていることが図から理解される。そして、ユーザは、見過ごしてしまったニュース内容の前半部を閲覧することができる。
図10は、ユーザ操作に応じたスクロール位置の早送りの一例について説明するための説明図である。図10の上段を参照すると、情報処理装置100の画面にスクロールアイテムSI1が表示されている。表示制御部150は、ニュース内容を記述する文字列をスクロールアイテムSI1内で左方向へ自動的にスクロールさせる。操作体MB1は、スクロールアイテムSI1を指し示している。その後、図10の下段に示したように、ユーザが操作体MB1を方向D12へ動かすと、表示制御部150は、スクロールアイテムSI1を早送りする。スクロールアイテムSI1のスクロール位置は、方向D12に沿って左方向へ動いている。例えば、“grand slam”という語句が左方向へ動いていることが図から理解される。そして、ユーザは、早く見たいと望むニュース内容の後半部を迅速に閲覧することができる。
図11は、ユーザ操作に応じたスクロール位置の巻き戻しの他の例について説明するための説明図である。図11の上段を参照すると、実空間内の表示装置により表示されているスクロールアイテムSI2が情報処理装置100の画面に映っている。画像認識部120によるスクロールアイテムSI2の認識が成功すると、表示制御部150は、認識の成功を通知する標識(indication)IT1を、画面内でスクロールアイテムSI2に重畳する。操作体MB1は、スクロールアイテムSI2を指し示している。その後、図11の下段に示したように、ユーザは、操作体MB1を方向D13へ動かす。かかるユーザ操作が検出部130により検出されると、情報取得部140は、スクロールアイテムSI2により表示される情報アイテムを、通信部112を介してデータサーバから取得する。そして、表示制御部150は、取得された情報を表示するスクロールアイテムSI3を生成し、生成したスクロールアイテムSI3を画面内に配置した上で、スクロールアイテムSI3を巻き戻す。スクロールアイテムSI3のスクロール位置は、方向D13に沿って右方向へ動いている。例えば、“delayed”という単語が右方向へ動いていることが図から理解される。その結果として、ユーザは、実空間内でスクロールされていた情報(図11の例では、列車運行情報)の前半部を閲覧することができる。
<3.処理の流れ>
[3−1.全体的な流れ]
(1)第1の例
図12は、情報処理装置100により実行される表示制御処理の流れの第1の例を示すフローチャートである。第1の例では、表示制御部150により仮想的に生成される情報アイテムを通じて、ユーザに情報が提供される。
図12を参照すると、まず、表示制御部150は、撮像部102により生成される撮像画像を取得する(ステップS10)。次に、表示制御部150は、情報取得部140により取得される情報を表現する1つ以上の情報アイテムを、画面内に配置する(ステップS12)。ここで配置される情報アイテムは、スクロールアイテム及び非スクロールアイテムの少なくとも一方を含み得る。表示制御部150は、画像認識部120により認識される物体又は人物に関連付けられる位置に情報アイテムを配置してもよく、又は画像認識に依存しない位置に情報アイテムを配置してもよい。
検出部130は、画像認識部120により実行される操作体認識の結果又は操作部106からの入力をモニタリングし、ユーザ操作を判定する(ステップS14)。そして、検出部130によりユーザ操作が検出されると(ステップS16)、処理はステップS18へ進む。一方、ユーザ操作が検出されなければ、処理はステップS50へ進む。
検出部130によりユーザ操作が検出された場合、表示制御部150は、前のフレームから操作が継続中であるかを判定する(ステップS18)。前のフレームから操作が継続中でない場合には、表示制御部150は、後に説明する操作対象選択処理を実行することにより、操作対象アイテムを選択する(ステップS20)。操作が継続中である場合には、前のフレームの操作対象アイテムが維持される。
次に、表示制御部150は、操作対象アイテムがスクロールアイテムであるかを判定する(ステップS44)。操作対象アイテムがスクロールアイテムである場合には、表示制御部150は、操作ベクトルの方向(操作方向)及び大きさ(操作量)に従って、操作対象アイテムのスクロール位置を動かす(ステップS46)。操作対象アイテムが非スクロールアイテムである場合には、表示制御部150は、ユーザ操作イベントにより示される操作内容に従って、非スクロールアイテムを制御する(ステップS48).
次に、表示制御部150は、操作終了を判定する(ステップS50)。例えば、表示制御部150は、ステップS16においてユーザ操作が検出されなかった場合には、前のフレームまで継続されていた操作が終了したと判定し得る。また、表示制御部150は、操作開始から所定の時間が経過した場合に、継続中の操作が終了したと判定してもよい。また、表示制御部150は、操作方向が急激に変化した場合(例えば、ドラッグ方向が所定の閾値を上回る角度で方向転換した場合)に、継続中の操作が終了したと判定してもよい。操作終了のためのこのような判定条件が定義されることで、撮像画像に映る操作体にスクロール位置が過剰に追随する結果としてユーザの意図しないスクロールが行われることを防止することができる。
表示制御部150は、継続中の操作が終了したと判定されると、操作対象アイテムを解放する。操作対象アイテムがスクロールアイテムである場合、表示制御部150は、操作が継続している間の操作対象アイテムの自動的なスクロールを停止してもよい。その後、処理はステップS10へ戻り、次のフレームについて上述した処理が繰り返される。
(2)第2の例
図13は、情報処理装置100により実行される表示制御処理の流れの第2の例を示すフローチャートである。第2の例では、実空間内で表示装置により表示される情報アイテムが、情報処理装置100により認識される。
図13を参照すると、まず、表示制御部150は、撮像部102により生成される撮像画像を取得する(ステップS10)。
検出部130は、画像認識部120により実行される画像認識の結果又は操作部106からの入力をモニタリングし、ユーザ操作を判定する(ステップS14)。そして、検出部130によりユーザ操作が検出されると(ステップS16)、処理はステップS18へ進む。一方、ユーザ操作が検出されなければ、処理はステップS50へ進む。
検出部130によりユーザ操作が検出された場合、表示制御部150は、前のフレームから操作が継続中であるかを判定する(ステップS18)。前のフレームから操作が継続中でない場合には、表示制御部150は、後に説明する操作対象選択処理を実行することにより、操作対象アイテムを選択する(ステップS20)。ここで選択される操作対象アイテムは、画像認識部120により認識される実空間内の情報アイテムである。次に、情報取得部140は、操作対象アイテムとして選択された情報アイテムを、通信部112を介して取得する(ステップS40)。次に、表示制御部150は、情報取得部140により取得された情報アイテムを、画面内に配置する(ステップS42)。操作が継続中である場合には、前のフレームの操作対象アイテムが維持される。
次に、表示制御部150は、操作対象アイテムがスクロールアイテムであるかを判定する(ステップS44)。操作対象アイテムがスクロールアイテムである場合には、表示制御部150は、ユーザ操作イベントにより示される操作方向及び操作量に従って、操作対象アイテムのスクロール位置を動かす(ステップS46)。操作対象アイテムが非スクロールアイテムである場合には、表示制御部150は、ユーザ操作イベントにより示される操作内容に従って、非スクロールアイテムを制御する(ステップS48).
次に、表示制御部150は、図12に関連して説明したような条件に従って、操作終了を判定する(ステップS50)。表示制御部150は、継続中の操作が終了したと判定されると、操作対象アイテムを解放する。例えば、表示制御部150は、実空間内の物体に重畳して表示していた操作対象アイテムを画面から消滅させてもよい。その後、処理はステップS10へ戻り、次のフレームについて上述した処理が繰り返される。
[3−2.操作対象選択処理]
(1)第1の例
図14Aは、図12及び図13に示した操作対象選択処理の詳細な流れの第1の例を示すフローチャートである。
図14Aを参照すると、表示制御部150は、まず、ユーザ操作イベントにより示されるポインティング位置を取得する(ステップS22)。次に、表示制御部150は、取得したポインティング位置に重なるアイテムを特定する(ステップS24)。ここで特定されるアイテムは、仮想的に生成され画面に配置される情報アイテムであってもよく、又は画像認識部120により撮像画像内で認識される情報アイテムであってもよい。表示制御部150は、ポインティング位置に重なるアイテムが存在しない場合に、ポインティング位置の最も近傍に位置するアイテムを特定してもよい。また、ポインティング位置に重なるアイテムが複数存在する場合には、最前面に位置するアイテムを優先するなどの条件に従って、いずれか1つのアイテムが特定されてよい。
次に、表示制御部150は、ポインティング位置に基づいて特定されたアイテムが存在するかを判定する(ステップS26)。特定されたアイテムが存在する場合には、表示制御部150は、特定されたアイテムを操作対象アイテムとして選択する(ステップS30)。そして、表示制御部150は、いずれの操作対象アイテムが選択されたかをユーザが把握できるように、選択された操作対象アイテムの表示属性を変更する(ステップS32)。例えば、操作対象アイテムのサイズ、色、形状、輝度、透明度、奥行き又は輪郭線の太さなどの表示属性が変更されてよい。実空間内の情報アイテムが操作対象アイテムとして選択された場合には、選択を通知する標識が操作対象アイテムに重畳されてもよい。ステップS24において特定されたアイテムが存在しない場合には、表示制御部150は、操作対象アイテムは無いと決定する(ステップS34)。
(2)第2の例
図14Bは、図12及び図13に示した操作対象選択処理の詳細な流れの第2の例を示すフローチャートである。第2の例では、ユーザ操作は、図7に例示したような操作体を用いて行われるものとする。
図14Bを参照すると、表示制御部150は、まず、ユーザ操作イベントにより示されるポインティング位置を取得する(ステップS22)。次に、表示制御部150は、取得したポインティング位置に重なるアイテムを特定する(ステップS24)。
次に、表示制御部150は、ポインティング位置に基づいて特定されたアイテムが存在するかを判定する(ステップS26)。特定されたアイテムが存在する場合には、表示制御部150は、さらに、アイテムを掴むジェスチャが行われたかを判定する(ステップS28)。アイテムを掴むジェスチャが行われた場合には、表示制御部150は、特定されたアイテムを操作対象アイテムとして選択する(ステップS30)。そして、表示制御部150は、いずれの操作対象アイテムが選択されたかをユーザが把握できるように、選択された操作対象アイテムの表示属性を変更する(ステップS32)。ステップS24において特定されたアイテムが存在しない場合、又はアイテムを掴むジェスチャが行われていない場合には、表示制御部150は、操作対象アイテムは無いと決定する(ステップS34)。
図15は、上述したようなジェスチャ判定に基づく操作対象アイテムの選択について説明するための説明図である。図15の上段を参照すると、情報処理装置100の画面にスクロールアイテムSI41、SI42及びSI43が表示されている。なお、ここでは、表示部110が3D(three-dimensional)表示をサポートするものとする。スクロールアイテムSI41は最も浅い奥行きで最前面に、スクロールアイテムSI43は最も深い奥行きで最背面に、スクロールアイテムSI42はそれらの中間に配置されている。操作体MB2は、アイテムを掴むジェスチャ(形状を含む)をしているものの、そのポインティング位置はいずれのアイテムにも重なっていない。その後、図15の下段に示したように、ユーザが操作体MB2を移動させると、操作体MB2のポインティング位置がスクロールアイテムSI42に重なる。すると、表示制御部150は、スクロールアイテムSI42を操作対象アイテムとして選択し、スクロールアイテムSI42の輪郭線の太さを変更すると共に、選択を通知する標識IT2をスクロールアイテムSI42に重畳する。
こうしたジェスチャ判定が導入されることにより、ユーザが操作を意図していないにも関わらずユーザの手指などの操作体が撮像画像に映った結果として誤って情報アイテムが操作されてしまうことを防ぐことができる。また、アイテムを掴むという直感的なジェスチャでユーザが操作対象アイテムを指定することが可能となる。
[3−3.さらなる表示制御]
表示制御部150は、スクロールアイテムのスクロール位置を制御するのみならず、操作対象アイテムの様々な表示属性をユーザ操作に応じて制御してよい。そのような表示制御の2つの例について、本項で説明する。
図16は、ユーザ操作に応じたさらなる表示制御について説明するための第1の説明図である。図16には、図15の上段に示した状況から少しの時間が経過した後の情報処理装置100の画面の状況の一例が示されている。操作体MB2によりスクロールアイテムSI42が選択された後、ユーザが操作体MB2を手前に動かした結果として、スクロールアイテムSI42は、スクロールアイテムSI41よりも前面に移動されている。
図17は、ユーザ操作に応じたさらなる表示制御について説明するための第2の説明図である。図17には、図15の上段に示した状況から少しの時間が経過した後の情報処理装置100の画面の状況の他の例が示されている。操作体MB2によりスクロールアイテムSI42が選択された後、ユーザが操作体MB2を方向D2に沿って右下へ動かした結果として、スクロールアイテムSI42の表示サイズは拡大されている。このようなサイズ変更は、ポインティング位置が情報アイテムのコーナー部分にある場合にのみ実行されてもよい。
本項で説明したような奥行き又は表示サイズの制御により、ユーザは、自らが閲覧したいと望むスクロールアイテムの情報の内容をより明瞭に視認することができる。また、スクロールアイテムについての早送り及び巻き戻しなどの操作もより容易となる。
なお、表示制御部150は、表示部110の画面が可変的な透過率で外界の光を透過させるフィルタを有する場合には、当該フィルタの透過率を変化させることにより、表示アイテムを明瞭にユーザに視認させることができる。但し、情報処理装置100の電池残量がゼロになると、フィルタの透過率は変更不能となり得る。従って、表示制御部150は、情報処理装置100の電池残量が所定の閾値を下回っている間、フィルタの透過率を最大に設定し、当該最大の透過率を維持してもよい。それにより、画面が暗い状態で透過率が変更不能となってユーザの行動が阻害されてしまうことを未然に防ぐことができる。
<4.外部装置との連携>
上述した情報処理装置100の機能は、複数の装置が連携することにより実現されてもよい。図18には、図1に例示した情報処理装置100と外部装置EDとが示されている。外部装置EDは、スマートフォン又はモバイルPCのような携帯端末である。情報処理装置100は、無線LAN(Local Area Network)、Bluetooth(登録商標)又はZigbeeなどの任意の無線通信プロトコルを用いて、外部装置EDと無線通信する。そして、図6に示した情報処理装置100の様々な論理的機能のうちの1つ以上が、外部装置EDにおいて実行され得る。例えば、物体認識又は人物認識は、比較的高いプロセッサ性能を要求する処理である。従って、これら画像認識処理を外部装置ED上に実装することにより、情報処理装置100を低コストで軽量、小型のデバイスとして実現することが可能となる。
また、例えば、外部装置EDは、情報処理装置100の操作手段として利用されてもよい。図19は、ユーザ操作を検出するための第3の手法について説明するための説明図である。図19を参照すると、外部装置EDに配設される接触面へユーザが指でタッチしている様子が示されている。指が移動すると、その移動方向及び移動量を示すベクトルV3が認識される。検出部130は、外部装置ED上で行われるこのようなユーザ操作を、通信部112を介して検出する。検出部130は、外部装置ED上の接触面上のベクトルV3を情報処理装置100の画面上の対応するベクトルに変換する。そして、変換後のベクトルの向きがスクロールアイテムのスクロール方向に対応していれば、スクロールアイテムは早送りされ得る。変換後のベクトルの向きがスクロール方向の反対方向に対応していれば、スクロールアイテムは巻き戻され得る。なお、外部装置EDは、情報処理装置100の画面に映っていなくてよい。このように外部装置を操作手段として利用することにより、頭部に装着した装置を操作し又は操作体を前方へ掲げることが不自然な状況においても、ユーザは、周囲の人物に不審を感じさせることなく、スクロールアイテムを操作することができる。
<5.まとめ>
ここまで、図1〜図19を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、ユーザにより装着される表示部の画面内で自動的にスクロールするスクロールアイテムの表示が、ユーザ操作に応じて制御される。従って、スクロールアイテムによって情報が提供される場合の、ユーザが情報を知りたいと望むタイミングとユーザが関心を抱く情報が表示されるタイミングとの間のズレを解消することができる。その結果、ウェアラブル装置により提供される情報をユーザが効率的に取得することが可能となる。
例えば、上述した実施形態によれば、所定のユーザ操作に応じて、スクロールアイテムのスクロール位置がスクロール方向又はその反対方向に沿って動かされる。従って、ユーザは、見過ごした情報又は未だ表示されていない情報を、自らが望むタイミングで閲覧することができる。
また、上述した実施形態によれば、撮像画像に映る操作体のスクロール方向又はその反対方向に沿った動きが、上記所定のユーザ操作として検出され得る。この場合、ユーザは、例えば自らの手指(又はその他の操作体)を目の前で動かすという簡易且つ直感的な動作で、関心を抱く情報をタイムリーに閲覧することができる。
また、上述した実施形態によれば、上記画面を支持する筐体に配設される操作部を介して、上記所定のユーザ操作が検出され得る。この場合、画像認識の精度に影響されることのないロバストな操作が可能となる。また、ヘッドマウントディスプレイなどのウェアラブル装置に操作手段が一体化されるため、通信の遅延を原因として操作に対する制御の即応性が損なわれることもなく、装置のポータビリティも低下しない。
なお、本明細書において説明した情報処理装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体(非一時的な媒体:non-transitory media)に予め格納される。そして、各プログラムは、例えば、実行時にRAM(Random Access Memory)に読み込まれ、CPUなどのプロセッサにより実行される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザの視界に入るように配置される画面を有し、前記ユーザにより装着される表示部と、
ユーザ操作を検出する検出部と、
前記検出部により検出される前記ユーザ操作に応じて、前記画面内で第1の方向に自動的にスクロールするスクロールアイテムの表示を制御する表示制御部と、
を備える情報処理装置。
(2)
前記表示制御部は、所定のユーザ操作に応じて、前記スクロールアイテムのスクロール位置を前記第1の方向又は前記第1の方向に対する反対方向に沿って動かす、前記(1)に記載の情報処理装置。
(3)
前記表示制御部は、第1のユーザ操作に応じて、前記スクロール位置を前記反対方向へ巻き戻す、前記(2)に記載の情報処理装置。
(4)
前記表示制御部は、第2のユーザ操作に応じて、前記スクロール位置を前記第1の方向へ早送りする、前記(2)又は前記(3)に記載の情報処理装置。
(5)
前記情報処理装置は、前記ユーザの視界に入る実空間を撮像して撮像画像を生成する撮像部、をさらに備え、
前記検出部は、前記撮像画像に映る操作体の前記第1の方向又は前記反対方向に沿った動きを、前記所定のユーザ操作として検出する、
前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記検出部は、前記画面を支持する筐体に配設される操作部を介して前記所定のユーザ操作を検出する、前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(7)
前記情報処理装置は、前記ユーザにより携帯される携帯端末と通信する通信部、をさらに備え、
前記検出部は、前記携帯端末上で行われる前記所定のユーザ操作を、前記通信部を介して検出する、
前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(8)
前記表示制御部は、前記スクロールアイテムを含む複数の情報アイテムを前記画面に表示させ、第3のユーザ操作に応じて、制御すべきアイテムを前記複数の情報アイテムから選択する、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記表示制御部は、第4のユーザ操作に応じて、前記スクロールアイテムの奥行きを変更する、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記表示制御部は、第5のユーザ操作に応じて、前記スクロールアイテムの表示サイズを変更する、前記(1)〜(9)のいずれか1項に記載の情報処理装置。
(11)
前記スクロールアイテムは、仮想的に生成される情報アイテムである、前記(1)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記スクロールアイテムは、実空間内で表示装置により表示される情報アイテムであり、
前記情報処理装置は、
前記実空間を撮像して撮像画像を生成する撮像部と、
前記撮像画像内で認識される前記表示装置の前記情報アイテムを受信する通信部と、
をさらに備え、
前記表示制御部は、前記通信部により受信される前記情報アイテムを画面に表示させ、前記ユーザ操作に応じて当該情報アイテムの表示を制御する、
前記(1)〜(10)のいずれか1項に記載の情報処理装置。
(13)
ユーザの視界に入るように配置される画面を有し、前記ユーザにより装着される表示部を備える情報処理装置の制御部により実行される表示制御方法であって、
ユーザ操作を検出することと、
検出された前記ユーザ操作に応じて、前記画面内で第1の方向に自動的にスクロールするスクロールアイテムの表示を制御することと、
を含む表示制御方法。
(14)
ユーザの視界に入るように配置される画面を有し、前記ユーザにより装着される表示部備える情報処理装置を制御するコンピュータを、
ユーザ操作を検出する検出部と、
前記検出部により検出される前記ユーザ操作に応じて、前記画面内で第1の方向に自動的にスクロールするスクロールアイテムの表示を制御する表示制御部と、
として機能させるためのプログラム。
100 情報処理装置
102 撮像部
106 操作部
110 表示部
112 通信部
120 画像認識部
130 検出部
140 情報取得部
150 表示制御部

Claims (15)

  1. ユーザの視界に入るように配置される画面を有し、前記ユーザにより装着される表示部と、
    ユーザ操作を検出する検出部と、
    前記検出部により検出される前記ユーザ操作に応じて、前記画面内で第1の方向に自動的にスクロールするスクロールアイテムの表示を制御する表示制御部と、
    を備え、
    前記表示制御部は、複数の前記スクロールアイテムを前記画面に表示させ、第3のユーザ操作に応じて、複数の前記スクロールアイテムを含む複数の情報アイテムから制御対象となる前記スクロールアイテムを選択し、選択した前記スクロールアイテムを停止させる、
    情報処理装置。
  2. 前記表示制御部は、所定のユーザ操作に応じて、前記スクロールアイテムのスクロール位置を前記第1の方向又は前記第1の方向に対する反対方向に沿って動かす、請求項1に記載の情報処理装置。
  3. 前記表示制御部は、第1のユーザ操作に応じて、前記スクロール位置を前記反対方向へ巻き戻す、請求項2に記載の情報処理装置。
  4. 前記表示制御部は、第2のユーザ操作に応じて、前記スクロール位置を前記第1の方向へ早送りする、請求項2又は3に記載の情報処理装置。
  5. 前記情報処理装置は、前記ユーザの視界に入る実空間を撮像して撮像画像を生成する撮像部、をさらに備え、
    前記検出部は、前記撮像画像に映る操作体の前記第1の方向又は前記反対方向に沿った動きを、前記所定のユーザ操作として検出する、
    請求項2〜4のいずれか1項に記載の情報処理装置。
  6. 前記表示制御部は、前記所定のユーザ操作に応じて、前記撮像画像内で前記操作体と重なる位置にある前記スクロールアイテムを操作する、
    請求項5に記載の情報処理装置。
  7. 前記表示制御部は、前記第1の方向又は前記反対方向に沿った前記撮像画像に写る操作体の移動ベクトルの大きさに基づいて、前記スクロールアイテムのスクロール量を制御する、
    請求項5または請求項6に記載の情報処理装置。
  8. 前記検出部は、前記画面を支持する筐体に配設される操作部を介して前記所定のユーザ操作を検出する、請求項2〜4のいずれか1項に記載の情報処理装置。
  9. 前記情報処理装置は、前記ユーザにより携帯される携帯端末と通信する通信部、をさらに備え、
    前記検出部は、前記携帯端末上で行われる前記所定のユーザ操作を、前記通信部を介して検出する、
    請求項2〜4のいずれか1項に記載の情報処理装置。
  10. 前記表示制御部は、第4のユーザ操作に応じて、前記スクロールアイテムの奥行きを変更する、請求項1〜9のいずれか1項に記載の情報処理装置。
  11. 前記表示制御部は、第5のユーザ操作に応じて、前記スクロールアイテムの表示サイズを変更する、請求項1〜10のいずれか1項に記載の情報処理装置。
  12. 前記スクロールアイテムは、仮想的に生成される情報アイテムである、請求項1〜11のいずれか1項に記載の情報処理装置。
  13. 前記スクロールアイテムは、実空間内で表示装置により表示される情報アイテムであり、
    前記情報処理装置は、
    前記実空間を撮像して撮像画像を生成する撮像部と、
    前記撮像画像内で認識される前記表示装置の前記情報アイテムを受信する通信部と、
    をさらに備え、
    前記表示制御部は、前記通信部により受信される前記情報アイテムを前記画面に表示させ、前記ユーザ操作に応じて当該情報アイテムの表示を制御する、
    請求項1〜11のいずれか1項に記載の情報処理装置。
  14. ユーザの視界に入るように配置される画面を有し、前記ユーザにより装着される表示部を備える情報処理装置の制御部により実行される表示制御方法であって、
    ユーザ操作を検出することと、
    検出された前記ユーザ操作に応じて、前記画面内で第1の方向に自動的にスクロールするスクロールアイテムの表示を制御することと、
    複数の前記スクロールアイテムを前記画面に表示させ、第3のユーザ操作に応じて、複数の前記スクロールアイテムを含む複数の情報アイテムから制御対象となる前記スクロールアイテムを選択し、選択した前記スクロールアイテムを停止させることと、
    を含む、表示制御方法。
  15. コンピュータを、
    ユーザの視界に入るように配置される画面を有し、前記ユーザにより装着される表示部
    ユーザ操作を検出する検出部と、
    前記検出部により検出される前記ユーザ操作に応じて、前記画面内で第1の方向に自動的にスクロールするスクロールアイテムの表示を制御する表示制御部と、
    を備え、
    前記表示制御部は、複数の前記スクロールアイテムを前記画面に表示させ、第3のユーザ操作に応じて、複数の前記スクロールアイテムを含む複数の情報アイテムから制御対象となる前記スクロールアイテムを選択し、選択した前記スクロールアイテムを停止させる、
    情報処理装置、
    として機能させるためのプログラム。
JP2012219451A 2012-10-01 2012-10-01 情報処理装置、表示制御方法及びプログラム Active JP5962403B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2012219451A JP5962403B2 (ja) 2012-10-01 2012-10-01 情報処理装置、表示制御方法及びプログラム
US14/407,746 US20150143283A1 (en) 2012-10-01 2013-08-20 Information processing device, display control method, and program
RU2015110680A RU2638004C2 (ru) 2012-10-01 2013-08-20 Устройство обработки информации, способ управления отображением и программа
EP13759324.0A EP2904470A1 (en) 2012-10-01 2013-08-20 Information processing device, display control method, and program for modifying scrolling of automatically scrolled content
BR112015006833A BR112015006833A2 (pt) 2012-10-01 2013-08-20 aparelho de processamento de informação, método de controle de exibição, e, mídia legível por computador não temporária
PCT/JP2013/004917 WO2014054211A1 (en) 2012-10-01 2013-08-20 Information processing device, display control method, and program for modifying scrolling of automatically scrolled content
CN201380050007.8A CN104662492B (zh) 2012-10-01 2013-08-20 用于修改自动滚动的内容的滚动的信息处理装置、显示控制方法及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012219451A JP5962403B2 (ja) 2012-10-01 2012-10-01 情報処理装置、表示制御方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2014071812A JP2014071812A (ja) 2014-04-21
JP2014071812A5 JP2014071812A5 (ja) 2015-03-12
JP5962403B2 true JP5962403B2 (ja) 2016-08-03

Family

ID=49118753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012219451A Active JP5962403B2 (ja) 2012-10-01 2012-10-01 情報処理装置、表示制御方法及びプログラム

Country Status (7)

Country Link
US (1) US20150143283A1 (ja)
EP (1) EP2904470A1 (ja)
JP (1) JP5962403B2 (ja)
CN (1) CN104662492B (ja)
BR (1) BR112015006833A2 (ja)
RU (1) RU2638004C2 (ja)
WO (1) WO2014054211A1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10121142B2 (en) 2014-04-11 2018-11-06 Bank Of America Corporation User authentication by token and comparison to visitation pattern
US9588342B2 (en) * 2014-04-11 2017-03-07 Bank Of America Corporation Customer recognition through use of an optical head-mounted display in a wearable computing device
CN105094287A (zh) * 2014-04-15 2015-11-25 联想(北京)有限公司 一种信息处理方法和电子设备
JP6108357B2 (ja) * 2014-05-13 2017-04-05 ジャパンモード株式会社 ウェアラブル端末装置、表示方法、プログラム、およびサービス提供システム
WO2016014513A1 (en) * 2014-07-21 2016-01-28 Beam Authentic, LLC Wearable display devices
CN106794795A (zh) 2014-07-28 2017-05-31 碧姆奥森蒂克公司 可安装式显示设备
WO2016025853A1 (en) 2014-08-15 2016-02-18 Beam Authentic, LLC Systems for displaying media on display devices
USD754422S1 (en) 2014-08-19 2016-04-26 Beam Authentic, LLC Cap with side panel electronic display screen
USD811056S1 (en) 2014-08-19 2018-02-27 Beam Authentic, LLC Ball cap with circular-shaped electronic display screen
USD801644S1 (en) 2014-08-19 2017-11-07 Beam Authentic, LLC Cap with rectangular-shaped electronic display screen
USD791443S1 (en) 2014-08-25 2017-07-11 Beam Authentic, LLC T-shirt with screen display
USD764771S1 (en) 2014-08-25 2016-08-30 Beam Authentic, LLC Cap with an electronic display screen
USD751794S1 (en) 2014-08-25 2016-03-22 Beam Authentic, LLC Visor with a rectangular-shaped electronic display
USD751795S1 (en) 2014-08-25 2016-03-22 Beam Authentic, LLC Sun hat with a rectangular-shaped electronic display
USD764772S1 (en) 2014-08-25 2016-08-30 Beam Authentic, LLC Hat with a rectangularly-shaped electronic display screen
USD764770S1 (en) 2014-08-25 2016-08-30 Beam Authentic, LLC Cap with a rear panel electronic display screen
USD778037S1 (en) 2014-08-25 2017-02-07 Beam Authentic, LLC T-shirt with rectangular screen
USD765357S1 (en) 2014-08-25 2016-09-06 Beam Authentic, LLC Cap with a front panel electronic display screen
USD760475S1 (en) 2014-08-26 2016-07-05 Beam Authentic, LLC Belt with a screen display
USD776761S1 (en) 2014-08-26 2017-01-17 Beam Authentic, LLC Electronic display/screen with suction cups
USD772226S1 (en) 2014-08-26 2016-11-22 Beam Authentic, LLC Electronic display screen with a wearable band
USD764592S1 (en) 2014-08-26 2016-08-23 Beam Authentic, LLC Circular electronic screen/display with suction cups for motor vehicles and wearable devices
USD776202S1 (en) 2014-08-26 2017-01-10 Beam Authentic, LLC Electronic display/screen with suction cups
USD761912S1 (en) 2014-08-26 2016-07-19 Beam Authentic, LLC Combined electronic display/screen with camera
USD776762S1 (en) 2014-08-26 2017-01-17 Beam Authentic, LLC Electronic display/screen with suction cups
JP6340301B2 (ja) * 2014-10-22 2018-06-06 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム
JP6409118B2 (ja) * 2015-02-25 2018-10-17 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
JP6346585B2 (ja) * 2015-04-06 2018-06-20 日本電信電話株式会社 操作支援装置、及びプログラム
WO2016194844A1 (ja) 2015-05-29 2016-12-08 京セラ株式会社 ウェアラブル装置
AU2016288213B2 (en) * 2015-06-30 2021-06-24 Magic Leap, Inc. Technique for more efficiently displaying text in virtual image generation system
JP6144743B2 (ja) * 2015-09-30 2017-06-07 京セラ株式会社 ウェアラブル装置
WO2017179148A1 (ja) * 2016-04-13 2017-10-19 楽天株式会社 提示装置、提示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
USD849140S1 (en) 2017-01-05 2019-05-21 Beam Authentic, Inc. Wearable display devices
US10684480B2 (en) * 2017-03-16 2020-06-16 Denso Wave Incorporated Information display system
JP6774367B2 (ja) 2017-04-11 2020-10-21 富士フイルム株式会社 ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム
CN107479842A (zh) * 2017-08-16 2017-12-15 歌尔科技有限公司 虚拟现实场景中字符串显示方法及头戴显示设备
CN109491496A (zh) * 2017-09-12 2019-03-19 精工爱普生株式会社 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
JP2019086916A (ja) * 2017-11-02 2019-06-06 オリンパス株式会社 作業支援装置、作業支援方法、作業支援プログラム
JP2019105777A (ja) 2017-12-14 2019-06-27 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP7080636B2 (ja) * 2017-12-28 2022-06-06 Dynabook株式会社 システム
JP6995651B2 (ja) * 2018-01-31 2022-01-14 Dynabook株式会社 電子機器、ウェアラブル機器および表示制御方法
JP6582205B2 (ja) * 2018-02-28 2019-10-02 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
JP7457694B2 (ja) * 2019-04-05 2024-03-28 株式会社ワコム 情報処理装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1196807A1 (en) * 1999-07-20 2002-04-17 Smartspecs, L.l.c. Integrated method and system for communication
US7308653B2 (en) * 2001-01-20 2007-12-11 Catherine Lin-Hendel Automated scrolling of browser content and automated activation of browser links
WO2003085980A1 (en) * 2002-03-29 2003-10-16 Digeo, Inc. Interactive television ticker having pvr-like capabilities
KR100641434B1 (ko) * 2004-03-22 2006-10-31 엘지전자 주식회사 지문인식 수단이 구비된 이동통신 단말기 및 그 운용방법
JP4533791B2 (ja) * 2005-04-19 2010-09-01 株式会社日立製作所 情報閲覧装置
JP4063306B1 (ja) * 2006-09-13 2008-03-19 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP2008099834A (ja) 2006-10-18 2008-05-01 Sony Corp 表示装置、表示方法
JP2009217036A (ja) * 2008-03-11 2009-09-24 Toshiba Corp 電子機器
KR101854141B1 (ko) * 2009-01-19 2018-06-14 삼성전자주식회사 디스플레이 정보 제어 장치 및 방법
US8751954B2 (en) * 2009-02-18 2014-06-10 Blackberry Limited System and method for scrolling information in a UI table
US9292084B2 (en) * 2009-10-13 2016-03-22 Intel Corporation Control systems and methods for head-mounted information systems
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9128281B2 (en) * 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
JP5564300B2 (ja) * 2010-03-19 2014-07-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
JP2011205251A (ja) * 2010-03-24 2011-10-13 Ntt Docomo Inc 情報端末及びテロップ表示方法
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP5743416B2 (ja) 2010-03-29 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP5521727B2 (ja) 2010-04-19 2014-06-18 ソニー株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム
US20120066638A1 (en) * 2010-09-09 2012-03-15 Microsoft Corporation Multi-dimensional auto-scrolling
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
JP5977922B2 (ja) * 2011-02-24 2016-08-24 セイコーエプソン株式会社 情報処理装置および情報処理装置の制御方法、透過型頭部装着型表示装置
US8203502B1 (en) * 2011-05-25 2012-06-19 Google Inc. Wearable heads-up display with integrated finger-tracking input sensor
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
JP5703194B2 (ja) * 2011-11-14 2015-04-15 株式会社東芝 ジェスチャ認識装置、その方法、及び、そのプログラム
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays

Also Published As

Publication number Publication date
JP2014071812A (ja) 2014-04-21
US20150143283A1 (en) 2015-05-21
EP2904470A1 (en) 2015-08-12
BR112015006833A2 (pt) 2017-07-04
CN104662492A (zh) 2015-05-27
CN104662492B (zh) 2018-03-23
WO2014054211A1 (en) 2014-04-10
RU2638004C2 (ru) 2017-12-08
RU2015110680A (ru) 2016-10-20

Similar Documents

Publication Publication Date Title
JP5962403B2 (ja) 情報処理装置、表示制御方法及びプログラム
US11494000B2 (en) Touch free interface for augmented reality systems
CN112585564B (zh) 用于为头戴式图像显示设备提供输入的方法和装置
KR102284108B1 (ko) 전자 장치가 외부 디스플레이 장치와 화면을 공유하는 방법 및 전자 장치
KR101870773B1 (ko) 광학식 문자 판독기를 이용한 스케줄 관리 방법 및 장치
US20150128065A1 (en) Information processing apparatus and control method
US10073585B2 (en) Electronic device, storage medium and method for operating electronic device
US20120229509A1 (en) System and method for user interaction
WO2015096020A1 (en) Adaptive enclosure for a mobile computing device
US20170068418A1 (en) Electronic apparatus, recording medium, and operation method of electronic apparatus
CN109086366B (zh) 浏览器中的推荐新闻显示方法、装置、设备及存储介质
US12235444B2 (en) Linked display system and head-mounted display
JPWO2013121807A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP2019062464A (ja) 電子機器
US9350918B1 (en) Gesture control for managing an image view display
US11354031B2 (en) Electronic apparatus, computer-readable non-transitory recording medium, and display control method for controlling a scroll speed of a display screen
CN115878013A (zh) 菜单交互方法及相关设备
US20200033959A1 (en) Electronic apparatus, computer-readable non-transitory recording medium, and display control method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160613

R151 Written notification of patent or utility model registration

Ref document number: 5962403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250