Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6165846B2 - 目のトラッキングに基づくディスプレイの一部の選択的強調 - Google Patents
[go: Go Back, main page]

JP6165846B2 - 目のトラッキングに基づくディスプレイの一部の選択的強調 - Google Patents

目のトラッキングに基づくディスプレイの一部の選択的強調 Download PDF

Info

Publication number
JP6165846B2
JP6165846B2 JP2015511422A JP2015511422A JP6165846B2 JP 6165846 B2 JP6165846 B2 JP 6165846B2 JP 2015511422 A JP2015511422 A JP 2015511422A JP 2015511422 A JP2015511422 A JP 2015511422A JP 6165846 B2 JP6165846 B2 JP 6165846B2
Authority
JP
Japan
Prior art keywords
focus area
focus
display
subsequent
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015511422A
Other languages
English (en)
Other versions
JP2015528120A (ja
Inventor
ヤコブ,ミカル
フルヴィッツ,バラク
カムヒ,ギラ
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2015528120A publication Critical patent/JP2015528120A/ja
Application granted granted Critical
Publication of JP6165846B2 publication Critical patent/JP6165846B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、目のトラッキングに基づいてディスプレイの一部を選択的に強調することに関する。
トレーニング資料は、あらゆる種類のアプリケーションの幅広い適応に使用されることが多い。したがって、企業は、効果的にトレーニングセッションを記録するオンラインデモ及び/又はプレゼンテーションを含め、トレーニング資料の作成の方法に関心を持つことが多い。オンデマンドの対話型トレーニング及びサポートビデオはしばしば、新たなソフトウェアを公表し、新たなスタッフを指導し、製品の使用法を消費者に見せ、あるいは「セルフヘルプ」デスクを確立するために使用される。ある実装は、ライブプレゼンテーション又はレクチャを記録し、生徒にクラスについての巻戻しボタンを与えて、彼らが自身のペースで学習するか、欠席した分をキャッチアップするのを助けることが可能である。他の実装では、プレゼンタ及びオブザーバが双方、同じ時間に同じディスプレイを見ている可能性がある。
プレゼンテーション、デモ又はトレーニングの効率的な記録を容易にするソフトウェアは、幾つかの利点を有する。そのようなトレーニング/デモ記録ソフトウェアは、ソフトウェアパッケージ及びアプリケーションに対する効果的な強化及びトレーニングのための手段として使用され得る。トレーニは、トレーニング資料をオフラインで自身のペースで観察することができ、自身の関心のある特定のエリアに焦点を当てる可能性がある。さらに、トレーニングの配信は必ずしもトレーナ又はトレーニの有無によって制約されないので、そのようなトレーニング/デモ記録ソフトウェアは、広範な視聴者へのトレーニングセッションの配信に使用され得る。
マイクロソフト(登録商標)のライブミーティング、Camtasia(登録商標)レコーダ等のような今日のトレーニング/デモ記録ソフトウェアは、トレーナの音声を含め、画面の完全な又はカスタマイズされたセクションを記録し得る。実際のトレーニングセッションは、トレーナによる配信時又はオフライン時にキャプチャ/記録され、その後、公共使用のために編集されて掲載される可能性がある。加えて、記録ソフトウェア(例えばCamtasiaレコーダ)の多くは、専門のプレゼンタによるオンライントレーニングの経験をユーザに提供するセッションを記録するために、特殊効果を有するトレーニングセッションをキャプチャする能力を提供することがある。一部の場合において、ソフトウェアは、音声認識技術を使用して、トレーナによって後で修正されるか又は確定される可能性のあるキャプションを自動的に生成することできる。オーディオに加えて、マウスクリックも特殊効果(例えば関心エリアに対するフォーカス又はズーム)のために使用されることがある。したがって、トレーニング/デモ記録ソフトウェアは、(画面のどの領域をズームイン/ズームアウトするかを、マウスクリックに基づいて決定することにより)フォーカスを提供することがある。
少なくとも部分的に目のトラッキングに基づいてディスプレイの一部を選択的に強調するための動作を含む、システム、装置、製品及び方法を以下で説明する。
本明細書で説明される題材は、限定ではなく例として添付の図面に例示される。図の簡潔性及び明瞭性のために、図面に示される要素は必ずしもスケーリングするよう描かれていない。例えば一部の要素の寸法が、明瞭性のために他の要素に対して誇張されることがある。さらに、適切であると考えられる場合、参照符号は、対応又は類似する要素を示すのに図面において繰り返し用いられる。
本開示の少なくとも一部の実装に従って構成される、例示の選択的強調システムを示す図である。 本開示の少なくとも一部の実装に従って構成される、例示の選択的強調プロセスを示すフローチャートである。 本開示の少なくとも一部の実装に従って構成される、例示の選択的強調システムの動作を示す図である。 本開示の少なくとも一部の実装に従って構成される、例示の選択的強調システムを示す図である。 本開示の少なくとも一部の実装に従って構成される、例示のシステムを示す図である。 本開示の少なくとも一部の実装に従って構成される、例示のシステムを示す図である。
1つ又は複数の実施形態又は実装は、以下では図面に関連して説明される。具体的な構成及び配置を検討するが、これは単に例示の目的のために行われることを理解されたい。当業者は、この説明の精神及び範囲から逸脱することなく、他の構成及び配置を用いることも可能であることを認識するであろう。当業者には、本明細書で説明される技術及び/又は配置を、本明細書で説明されるものとは別の様々な他のシステム及びアプリケーションで用いてもよいことが明らかになるであろう。
以下の説明は、例えばシステムオンチップ(SoC)アーキテクチャのようなアーキテクチャで示される様々な実装について述べるが、本明細書で説明される技術及び/又は配置の実装は、特定のアーキテクチャ及び/又はコンピューティングシステムに制限されず、同様の目的の任意のアーキテクチャ及び/又はコンピューティングシステムによって実装されてもよい。例として、例えば複数の集積回路(IC)チップ及び/又はパッケージを用いるアーキテクチャ、並びに/あるいはセットトップボックス、スマートフォン等のような様々なコンピューティングデバイス及び/又は家庭用電化製品(CE)デバイスが、本明細書で説明される技術及び/又は配置を実装してもよい。さらに、以下の説明は、ロジック実装、システムコンポーネントの対応及び相互関係、ロジックの分割/統合の選択肢等のような様々な具体的な詳細について述べることがあるが、特許請求に係る主題は、そのような具体的な詳細を用いずに実施されてもよい。他の例として、例えば制御構造や完全なソフトウェア命令シーケンスのような一部の題材が、本明細書で開示される題材を不明確にしないために、詳細には示されないことがある。
本明細書で開示される題材は、ハードウェア、ファームウェア、ソフトウェア又はこれらの任意の組み合わせで実装され得る。本明細書で開示される題材は、マシン読取可能な媒体に格納される命令として実装されてもよく、これらの命令は、1つ又は複数のプロセッサによって読み取られて実行され得る。マシン読取可能な媒体は、マシン(例えばコンピューティングデバイス)により読取可能な形式の情報を格納又は伝送するための任意の媒体及び/又は機構を含み得る。例えばマシン読取可能な媒体は、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電子、光、音響又は他の形式で伝播される信号(例えば搬送波、赤外線信号、デジタル信号等)又は他のものを含み得る。
本明細書において、「一実装」、「実装」、「例示の実装」等への言及は、説明される実装が特定の特徴、機能又は特性を含み得ることを示すが、必ずしも全ての実装が、その特定の特徴、構造又は特性を含む必要はない。さらに、そのようなフレーズは必ずしも同じ実装を指してはいない。さらに、特定の特徴、構造又は特性が、ある実装と関連して説明されるとき、本明細書で明示的に説明されるか否かに関わらず、そのような特徴、構造又は特性を他の実装との関連で達成することが当業者の知識内であるように提示される。
少なくとも部分的に目のトラッキングに基づいてディスプレイの一部を選択的に強調するための動作を含む、システム、装置、製品及び方法を以下で説明する。
上述のように、一部の場合において、トレーニング/デモ記録ソフトウェアは、特殊効果(例えば関心エリアへのフォーカス又はズーム)を生成するためにマウスクリックを用いることがある。したがって、トレーニング/デモ記録ソフトウェアは、(例えば画面のどの領域をズームイン/ズームアウトすべきかをマウスクリックに基づいて決定することにより)フォーカスを提供することができる。しかしながら、カーソル位置又はマウスクリックに基づく自動フォーカス(スマートフォーカスとも呼ばれる)は、ツールのプレゼンテーション/デモンストレーションの配信中に、カーソルが必ずしもフォーカスエリアをポイントしないことがあるので、必ずしも正確なフォーカスを提供しないことがある。さらに、出力(トレーニング記録)が、トレーナの明示的なクリックにより微調整される場合、その記録は、トレーニを困らせる可能性のあるカーソルの冗長な表示を含むであろう。
以下でより詳細に説明されるように、ディスプレイの一部を選択的に強調するための動作は、強調する関心エリアの暗黙的かつ正確な識別のために、視線トラッキングを用いることがある。言い換えると、ユーザの注視(gaze)は、強調を暗黙的に制御することがあり、したがって、ユーザが意図的に見ている画面上のエリア(例えばユーザが一瞬だけ、無意識に、あるいは何気なく一瞥したエリアとは対照的に、ユーザのフォーカスのメインエリア)のみを自然に強調することが可能である。そのような注視情報の使用は、他の従来的な手段(すなわちキーボード又はマウスクリック)に比べて、コンピュータの前のユーザアクティビティを決定するより正確な手段である。加えて、ユーザの注視情報は、ディスプレイの一部を選択的に強調する動作を実装するための、より自然でユーザフレンドリな手段を提供し得る。
例えばディスプレイの一部を選択的に強調する動作は、マウスクリックの代わりに、トレーナの注視により、フォーカス(例えばズームイン/ズームアウト)を与えるべき画面上のエリアを決定してもよい。注視は、トレーナに倣う、自然な方法であり、最も自然で効果的なユーザ(トレーニ)経験を記録に提供することができる。トレーナの自己記録による画面キャプチャの場合、プレゼンテーション又はデモに対して置く必要があるフォーカスは、トレーナが主にトレーニのフォーカスを要する場所(例えばトレーナが、トレーニにフォーカスするよう意図する重要な領域)を見ることが想定されるトレーナの注視によって、自然に達成され得る。したがって、目のトラッキングが、製品のデモやセールのプレゼンテーションの記録中の関心エリアの暗黙的で正確な識別に、あるいは(再び目のトラッキングを使用して)画面の記録を編集することにより、画面の記録にフォーカス効果を追加するために用いられることがある。
同様に、2人の人が同じコンピュータの前に座り、同じディスプレイを見ているというシナリオにおいて、トレーナは、トレーニにどのようにアプリケーション、ドキュメントのレビュー、ウェブサイト等を使用するかを見せることがある。この状況において、ディスプレイは、多様で完全な詳細情報であり得る。トレーナにとって、何が関心エリアであるか及びディスプレイ内で関連情報が存在する場所は非常に明白である。しかしながら、トレーニは知識を共有していない。ディスプレイは情報でいっぱいであり、したがってトレーナが意図する関連スポットを検出することは、そのトレーナが明示的にそのスポットを指示しない限り、トレーニには明らかでない。この状況は典型的に、トレーナが物理的に指でポイントすることにより、あるいはマウスを使用することにより改善され得る。しかしながら、物理的にポイントすることは、時間を消費し、労力を要し、そしてしばしば十分に正確でない。同様に、マウスでポイントすることは、高速でないことがあり、またツールのプレゼンテーション又はデモンストレーションの配信中にカーソルが必ずしもフォーカスのエリアをポイントしないことがあるので、必ずしも正しいフォーカスを提供するとは限らない。
したがって、以下で更に詳述されるように、目のトラッキングを用いるディスプレイの一部を選択的に強調するための動作を、トレーナとトレーニが表示された同じ題材を同時に見ている、ライブプレゼンテーションにも適用してもよい。例えば目のトラッキングは、トレーナが意図している正確な情報領域を指示し得る注視スポットをハイライトすることにより、関心領域へポインティングする自然な方法として使用され得る。そのような目のトラッキングに基づくハイライトは、トレーニに所望の画面位置を案内し、トレーナへの追随を、より直感的なものにすることができる。このために、トレーナの目の固視(fixation)がトラックされ得る。したがって、ドキュメント全体をスキャンする代わりに、ディスプレイの一部をトレーナの目のトラッキングに基づいて選択的に強調することによって、トレーニを直ぐに正しいスポットへと導くことができる。さらに、そのような目のトラッキングに基づくハイライトは、マウスを使用しなくてよく、マウスを別個に、目のトラッキングに基づくハイライトと共時的に使用することが可能である。コンピュータディスプレイの前に同時に座っているとき、例えばトレーナとトレーニは、時々その役割を切り替えることも可能であり、あるいは彼らの双方の観察領域を同時に(例えば異なる色で)ハイライトすることも可能であることに留意されたい。
図1は、本開示の少なくとも一部の実装に従って配置される例示の選択的強調システム100を示す図である。図示される実装において、選択的強調システム100は、ディスプレイ102と画像化デバイス104とを含み得る。一部の例において、選択的強調システム100は、明瞭性のために図1には示されていない追加の項目を含んでもよい。例えば選択的強調システム100は、プロセッサ、無線型(RF)トランシーバ及び/又はアンテナを含んでもよい。さらに、選択的強調システム100は、スピーカ、マイクロフォン、加速度計、メモリ、ルータ、ネットワークインタフェースロジック等のような、明瞭性のために図1には示されていない追加の項目を含んでもよい。
画像化デバイス104は、目の動きデータを選択的強調システム100の1又は複数のユーザ110からキャプチャするように構成され得る。例えば画像化デバイス104は、目の動きデータを、第1のユーザ112、第2のユーザから、1又は複数の更なるユーザ等から及び/又はこれらの組み合わせからキャプチャするように構成され得る。一部の例において、画像化デバイス104は、ユーザ110がディスプレイ102を見ている間にユーザ110を見ることができるように、選択的強調システム100上に配置され得る。
一部の例において、第1のユーザの目の動きデータは、カメラセンサ型の画像化デバイス104又は同様のもの(例えば相補型MOS(CMOS:complementary metal-oxide-semiconductor)型の画像センサ、電荷結合素子(CCD:charge-coupled device)型の画像センサ、赤外線発光ダイオード(IR−LED:Infra-Red Light Emitting Diodes)とIR型のカメラセンサ及び/又は同様のもの)を用いて、赤緑青(RGB)深度カメラ及び/又は話している人を見つけるマイクロフォンアレイを使用せずに、キャプチャされ得る。他の例では、RGB深度カメラ及び/又はマイクロフォンアレイを、カメラセンサに加えて又はこれに代えて使用してもよい。一部の例において、画像化デバイス104は、周辺の目のトラッキングカメラを介して又は選択的強調システム100内の統合された周辺の目のトラッキングカメラとして提供されてもよい。
動作において、選択的強調システム100は、目の動きデータの入力を用いて、選択的に強調すべきディスプレイ102の部分を決定することが可能である。したがって、選択的強調システム100は、視覚情報処理技術を用いることにより、選択的強調を実行することが可能である。例えば選択的強調システム100は、画像化デバイス104から、1又は複数のユーザ110からの目の動きデータを受け取ることができる。ディスプレイ102のどの部分を選択的に強調すべきかに関する決定を、受信した目の動きデータに少なくとも部分的に基づいて行うことが可能である。
一部の例において、そのような目のトラッキングは、固視130及び/又は注視をトラッキングすることを含むことがある。本明細書で使用されるとき、「注視」という用語は、目のトラッカによりある特定の周波数で与えられるサンプルであり得る、注視点を指すことがあり、「固視」という用語は、注視データから推測される、ある時間の間の特定の点の観察であり得る。
固視130は、視野内の特定の点の観察を指すことがある。視野の約2度(degree)に広がるこの入力は、人間の脳によってシャープさ、明確性及び正確性(例えば周辺の視野と相対的に比べた正確性)により処理される。典型的に毎秒3から4の固視130が存在し、それぞれ200から300ミリ秒の期間を有する。例えば固視130は、密接してグループ化される幾つかの注視点(例えば60Hzの周波数でサンプリングされる、すなわち全て〜16.7ミリ秒に一度サンプリングされる注視点)を含み得る。
サッケード(saccade)132は、固視点の再配置を指すことがある。サッケード132は、第1の固視130と第2の固視134との間の素早い弾道移動とすることができる(例えば開始前にターゲットが決定される)。サッケード132は典型的に、約20度までの振幅と、約40ミリ秒の期間(視覚刺激の抑制が存在する間)を有する。
固視130/134及び/又はサッケード132を、視覚情報を収集して統合するのに使用してもよい。固視130/134及び/又はサッケード132は、1又は複数のユーザ110の意図及び認識状態を反映することもある。
一部の例において、目のトラッキングを、1又は複数のユーザのうちの少なくとも1のユーザについて実行することがある。例えば目のトラッキングは、受信した目の動きデータ130に少なくとも部分的に基づいて実行され得る。関心領域140を決定することができ、この場合、関心領域は、選択的強調システム100のディスプレイ102の一部に関連付けられ得る。例えば関心領域140の決定は、実行される目のトラッキングに少なくとも部分的に基づくものとすることができる。
一部の例において、そのような選択的強調は、関心領域140を個別の表示要素120に関連付けることに少なくとも部分的に基づいて、ディスプレイ102のエリアを選択的に強調することを含んでもよい。本明細書で使用されるとき、「個別の表示要素」という用語は、表示されている識別可能な別個のアイテムを指すことがある。例えば個別の表示要素120は、テキストボックス、テキストのパラグラフ、デフォルト数のテキスト行、ピクチャ、メニュー等及び/又はこれらの組み合わせを含み得る。図示されるように、別個の要素120は、幾つかのテキストのパラグラフ及び/又は幾つかのピクチャを含む可能性がある。例えば表示要素120上の注視期間を決定することができる。そのような注視期間は、所与の表示要素120を見るのに費やされる時間の割合の決定に基づくものとすることができる。あるいは、決定される関心領域140が、いずれの特定の個別の表示要素120にも関連付けられないこともある。そのような例では、関心領域140は、デフォルトの長方形、楕円又は他の形状のようなデフォルトの形状及び/又は割合により定義され得る。
決定された関心領域140に関連付けられるディスプレイ102の一部(例えばフォーカスエリア150)が、選択的に強調され得る。一部の例において、選択的強調システム100は、関心領域140を個別の表示要素120に関連付けることに少なくとも部分的に基づいて、選択的強調が、関心領域140に相当する選択的に強調されたフォーカスエリア150を含むように動作することがある。あるいはまた、選択的強調システム100は、関心領域140に中心が置かれるデフォルトのエリアサイズに少なくとも部分的に基づいて、選択的強調が、関心領域140に相当する選択的に強調されたフォーカスエリア150を含むように動作してもよい。例えば関心領域140に相当するフォーカスエリア150は、デフォルトの長方形、楕円又は他の形状のようなデフォルトの形状及び割合を有する可能性がある。
あるいはまた、選択的強調システム100は、選択的強調が、第2のフォーカスエリア152を選択的に強調することを含むように動作してもよい。例えば第2のフォーカスエリア152は、決定される第2の関心領域に関連付けられるディスプレイ102の部分に相当し得る。あるいはまた、選択的強調は、フォーカスエリア150と第2のフォーカスエリア152との間の遷移(サッケード132によって示されるような)をグラフィックで示すことを含んでもよい。選択的強調は、現在の関心領域がディスプレイ102の外に位置するとの決定に応答して、フォーカスエリア150の選択的強調を除去することを含んでもよい。一部の例において、2つの領域(例えばフォーカスエリア150と第2のフォーカスエリア152)は、これらの間で直接的なサッケードが実施されなかった場合であっても、フォーカスエリアとして決定され得る。幾つかの(2又はそれ以上の)エリアが経時的にフォーカス状態になると判断される場合、これらの幾つかのエリアを同時に強調してもよい。ある組のフォーカスされたエリアと別の組のフォーカスされたエリアとの間の遷移をグラフィックで示すことは、強調されたフォーカスエリアの組み合わせにおける変化をグラフィックで示すことによって行われてもよい。
選択的強調は、以下の強調技術のうちの1つ又は複数を含み得る:すなわち、フォーカスエリア150に対してズームインすること、フォーカスエリア150をアウトスケールすること(例えば元の画像の上に現れるように、拡大されたフォーカスエリア150を重ねること)、フォーカスエリア150をハイライトすること、のうちの1つ又は複数を含み得る。例えばフォーカスエリアをハイライトすることは、フォーカスエリア150を(例えばフレーム160により)フレーミングすること、フォーカスエリア150の色替えをすること(例えば色付け162により)、フォーカスエリア150をフレーミングして色替えをすること等及び/又はこれらの組み合わせを含み得る。
以下で更に詳細に説明されるように、選択的強調システム100を用いて、図2及び/又は図3に関連して以下で議論される様々な機能の一部又は全てを実行することができる。
図2は、本開示の少なくとも一部の実装に従って構成される例示の選択的強調プロセス200を示すフローチャートである。図示される実装において、プロセス200は、ブロック202、204、206及び/又は208の1つ又は複数によって示されるような、1つ又は複数の動作、機能又はアクションを含み得る。非限定的な例として、プロセス200は、本明細書において、図1及び/又は図4の例示の選択的強調システム100との関連で説明される。
プロセス200は、ブロック202「目の動きデータを受信」において開始し、ここで、目の動きデータが受信され得る。例えば受信される目の動きデータは、CMOS型の画像センサ、CCD型の画像センサ、RGB深度カメラ、IR−LEDを有するIR型の画像化センサ及び/又は同様のものによりキャプチャされ得る。
処理は、動作202から動作204「目のトラッキングを実行」に続き、ここで、目のトラッキングが実行され得る。例えば目のトラッキングは、1又は複数のユーザのうち少なくとも1のユーザについて、受信した目の動きデータに少なくとも部分的に基づいて実行され得る。
一部の例において、そのような目のトラッキングは、注視点のサンプルを含むことがあり、このサンプルから、固視、サッケード又は他の目の動きのタイプを推論することができる。例えば表示要素(例えば単語、センテンス、テキストエリアにおける特定の行/列及び/又は画像)に対する注視時間を決定することがある。例えばそのような注視時間は、所与の表示要素を見るのに費やされた時間の割合の決定に基づくものとすることができる。
別の例において、目の動きデータのそのような分析は、所与の表示要素との関連で、所与の時間枠(例えば直前の時間)の間の関心エリアに対する固視の数を決定することを含んでもよい。例えばそのような固視は、テキスト内又はディスプレイエリア内の他のエリアと比較した、表示要素(例えば単語、センテンス、テキストエリアにおける特定の行/列及び/又は画像)の関心エリアにおける関心の割合を示すことがある。このメトリックは、ビューアに対するエリアの「重要性」を示し、注視率に直接関連する可能性がある。
更なる例において、そのような目のトラッキングは、所与の時間枠の間の関心エリアに対する注視の数を決定することを含んでもよい。注視は、連続する固視で構成される、ある領域の継続的観察と呼ばれることがある。したがって、ある時間枠内での関心エリアに対する注視の数は、そのエリアへのリターン数を指す可能性がある。例えばそのようなリターン数の決定は、テキスト内又はディスプレイエリア内の他のエリアと比較した、表示要素の関心エリアの観察の割合を示すことがある。注視の数は、(表示要素又はテキスト要素を定義する)関心エリアへ戻るサッケードの数として測定され、表示アイテムの重要性の指示(例えば多くの可能性ある指示のうちの単なる一例として)をユーザに提供し、選択的強調をトリガするのに用いられることがある。
処理は、動作204から動作206「関心領域を決定」に続き、ここで、目の動きデータの分析に続いて関心領域が決定され得る。例えばコンピュータシステムのディスプレイの一部分に関連付けられる関心領域が、実行された目のトラッキングに少なくとも部分的に基づいて決定される。
処理は、動作206から動作208「決定された関心領域に関連付けられるフォーカスエリアを選択的に強調」に続き、ここで、決定された関心領域に関連付けられるフォーカスエリアを、選択的に強調することができる。例えば決定された関心領域に関連付けられるディスプレイの一部分に相当するフォーカスエリアを、選択的に強調することができる。
動作において、プロセス200は、ユーザの視覚的なキューに対して、スマートかつコンテキストを意識した応答を用いることがある。例えばプロセス200は、ユーザの注意の焦点が当てられる場所を伝えることができ、これに応答して所与のディスプレイの一部のみを選択的に強調することができる。
プロセス200に関連する幾つかの追加及び/又は代替的な詳細が、図3に関して以下で更に詳述される実装の1つ又は複数の例において説明され得る。
図3は、本開示の少なくとも一部の実装に従って配置される、例示の選択的強調システム100及びその動作における選択的強調プロセス300を示す図である。図示される実装において、プロセス300は、アクション310、311、312、314、316、318、320、324、326、328、330、332、334、336、338及び/又は340のうちの1つ又は複数によって示されるような、1つ又は複数の動作、機能又はアクションを含み得る。非限定的な例として、プロセス300は、本明細書において、図1及び/又は図4の例示の選択的強調システム100との関連で説明される。
図示される実装において、選択的強調システム100は、ディスプレイ102、画像化デバイス104、論理モジュール306等及び/又はこれらの組み合わせを含み得る。選択的強調システム100は、図3に示されるように、特定のモジュールに関連付けられるブロック又はアクションのある特定のセットを含み得るが、これらのブロック又はアクションを、本明細書で説明される特定のモジュールとは異なるモジュールに関連付けてもよい。
プロセス300は、ブロック310「アプリケーションが目のトラッキング用に設計されているかどうかを決定」で開始し、ここで、所与のアプリケーションが目のトラッキング用に設計されているかどうかに関する決定が行われる。例えばディスプレイ102上に現在提示されているアプリケーションは、目のトラッキングに基づく選択的強調の動作用に設計されていることもあり、そのように設計されていないこともある。
一部の例において、所与のアプリケーションは、デフォルトモード(例えば目のトラッキングがオン又は目のトラッキングがオフ)を有し、このデフォルトモードは、全てのアプリケーションに対して、一部のカテゴリのアプリケーションに対して(例えばテキストベースのアプリケーションは、目のトラッキングがオンであるようにデフォルト設定され、ビデオベースのアプリケーションは、目のトラッキングがオフであるようにデフォルト設定され得る)あるいはアプリケーションごとに機能を有効にする。あるいはまた、ユーザ選択を用いて、全てのアプリケーションに対して、一部のカテゴリのアプリケーションにして、あるいはアプリケーションごとに、その機能を有効にするか又は無効にしてもよい。例えばユーザは機能を有効にするか無効にするよう促されることがある。
処理は、動作310から動作312「目の動きデータをキャプチャ」に続き、ここで、目の動きデータがキャプチャされ得る。例えば目の動きデータをキャプチャすることは、画像化デバイス104によって実行されることがある。一部の例では、そのような目の動きデータのキャプチャは、ディスプレイ102上に現在提示されているアプリケーションが、目のトラッキングに基づく選択的強調の動作用に設計されているという、動作310における判定に応答して、実行されることがある。
処理は、動作312から動作314「目の動きデータを転送」に続き、ここで、目の動きデータが転送され得る。例えば目の動きデータは、画像化デバイス104から論理モジュール306に転送され得る。
処理は、動作314から動作316「目の動きデータを受信」に続き、ここで、目の動きデータが受信され得る。例えば受信される目の動きデータは、CMOS型の画像センサ、CCD型の画像センサ、RGB深度カメラ、IR−LEDを有するIR型の画像化センサ及び/又は同様のものによりキャプチャされ得る。
処理は、動作316から動作318「ユーザのプレゼンスを決定」に続き、ここではユーザの存在又は不在が決定され得る。例えば1又は複数のユーザのうちの少なくとも1のユーザが存在するかどうかの決定が、受信した目の動きデータに少なくとも部分的に基づいて行われる。この場合、1又は複数のユーザのうちの少なくとも1のユーザが存在するかどうかの決定は、アプリケーションが目のトラッキングの動作用に設計されているという動作310における判定に応答して起こり得る。
例えばプロセス300は、顔の検出を含んでもよく、この場合、ユーザの顔が検出され得る。例えば1又は複数のユーザの顔を、目の動きデータに少なくとも部分的に基づいて検出することができる。一部の例において、そのような顔検出(例えばオプションで顔認識を含んでもよい)は、1又は複数のユーザ間を区別するように構成され得る。あるいはまた、目の動きのパターンにおける相違を用いて、2又はそれ以上のユーザ間を区別してもよい。そのような顔検出技術は、相対蓄積(relative accumulation)により、顔検出、目のトラッキング、目印の検出、顔の位置合わせ(face alignment)、笑顔/まばたき/性別/年齢の検出、顔認識、2つ又はそれ以上の顔を検出すること並びに/あるいは同様のものを含むことを可能にする。
処理は、動作316及び/又は動作318から動作320「目のトラッキングを実行」に続き、ここで、目のトラッキングが実行され得る。例えば目のトラッキングは、1又は複数のユーザのうちの少なくとも1つのユーザについて、受信した目の動きデータに少なくとも部分的に基づいて実行され得る。例えば1又は複数のユーザのうちの少なくとも1のユーザについての目のトラッキングの実行は、1又は複数のユーザのうちの少なくとも1のユーザが存在するという動作318における決定に応答して起こり得る。あるいはまた、目のトラッキングの実行は、アプリケーションが目のトラッキングの動作用に設計されているという動作310の決定に応答して起こることもある。
処理は、動作320から動作322「関心領域を決定」に続き、ここで、関心領域が決定され得る。例えばコンピュータシステムのディスプレイの一部に関連付けられる関心領域は、実行された目のトラッキングに少なくとも少なくとも部分的に基づくものとすることができる。
処理は、動作322から動作324「選択的強調」に続き、ここで、決定された関心領域に関連付けられるフォーカスエリアが選択的に強調され得る。例えば決定された関心領域に関連付けられたディスプレイの一部分に相当するフォーカスエリアが、選択的に強調され得る。
一部の例において、プロセス300は、フォーカスエリアが、注視の位置を中心とする所与の半径、中央の注視位置から上方又は下方への所定の行数、中央の注視位置からディスプレイ全体の特定の割合のエリア、テキストのパラグラフ全体及び画像全体等によって定義される近接性(vicinity)基づいて決定されるように動作してもよい。言い換えると、プロセス300は、個別の表示要素に適合するようフォーカスエリアをサイズ変更することに少なくとも部分的に基づいて、フォーカスエリアを決定するように動作することがある。この場合において、個別の表示要素は、テキストボックス、テキストのパラグラフ、デフォルト数のテキスト行、ピクチャ、メニュー等及び/又はこれらの組み合わせを含み得る。
一部の例において、プロセス300は、フォーカスエリアの選択的強調が、次の強調技術のうちの1つ又は複数を含むように動作し得る:すなわち、フォーカスエリアに対してズームインすること、フォーカスエリアをアウトスケールすること、フォーカスエリアをハイライトすること等及び/又はこれらの組み合わせのうちの1つ又は複数を含む。例えばフォーカスエリアをハイライトすることは、フォーカスエリアをフレーミングすること、フォーカスエリアの色替えをすること、フォーカスエリアをフレーミングして色替えをすること及び/又は同様のことを含み得る。
処理は、動作324から動作326「フォーカスエリアを強調」に続き、ここで、ディスプレイ102は、該ディスプレイ102のフォーカスエリアの部分を強調することができる。例えば選択的強調は、デフォルトのエリアサイズに少なくとも部分的に基づいてエリアを選択的に強調することを含み得る。あるいはまた、選択的強調は、関心領域を個別の表示要素に関連付けることに少なくとも部分的に基づいて、エリアを選択的に強調することを含んでもよい。
処理は、動作326から動作328「更新された関心領域を決定」に続き、ここで、更新された関心領域が決定され得る。例えばコンピュータシステムのディスプレイの一部分に関連付けられる、更新された関心領域は少なくとも部分的に、実行された目のトラッキングを継続することにより示されるような、ユーザの注視における変化に基づくものとすることができる。例えばそのような更新された関心領域は、ユーザの目が新たな固視へ変わるとき、あるいはユーザの一連の固視の結果として決定され得る。
処理は、動作328から動作330「選択的強調を更新」に続き、ここで、決定された更新済みの関心領域に関連付けられる第2のフォーカスエリアが選択的に強調され得る。例えば決定された更新済みの関心領域に関連付けられるディスプレイの部分に相当する第2のフォーカスエリアが、選択的に強調され得る。一部の例において、1つ又は複数の後続のフォーカスエリアが順次強調され得る。
処理は、動作330から動作332「第2のフォーカスエリアを強調及び/又は遷移を図示」に続き、ここで、ディスプレイ102は、強調された第2のフォーカスエリア及び/又は遷移(例えば第1のフォーカスエリアから第2のフォーカスエリアへのサッケード)を提示し得る。例えば決定された更新済みの関心領域に関連付けられるディスプレイの部分に相当する第2のフォーカスエリアが、ディスプレイ102により選択的に強調され得る。あるいはまた、フォーカスエリアと1つ又は複数の後続のフォーカスエリアとの間の遷移は、ディスプレイ102により、グラフィックで示されてもよい。
あるいは、各固視は、該固視が生じたときにのみ1つずつ示されてもよく、ハイライトされたフォーカスエリアは、タイムラインに従って変化することがある。例えば複数の固視を連続して示すことができ、あるいは出現順に先行する固視に接続される固視で構成される、固視の連続的なパス(例えばそれら自身による固視のパス又はサッケードによって接続される固視のパス)を示すことが可能である。一部の例において、サッケードは、必ずしも強調されたフォーカスエリアとの関連で示される必要はないので(固視が示される必要がないので)、サッケードをフォーカスエリアとは別個にトレースすることができる。また、上述の一部の例では、複数のフォーカスエリアの間に直接のサッケードが存在する必要はない(すなわち別の場所に中間の固視が存在する可能性がある)。
以下で更に詳細に議論されるように、強調されたフォーカスエリア及び/又は遷移の記録は、オフラインで情報又はアクションの段階をレビューする(例えば内部メニュー内で関連するフィールドを見つける)ために、所望の速さでのユーザの一連の固視のリレーを可能にすることがある。したがって、トレーニは、多くの回数、望まれる正確なペースで、トレーニ自身によるデモンストレーションをレビューする機会を有する可能性がある。さらに、リレーの速度は、例えばデモンストレーションをゆっくり繰り返すように調整することができる。
処理は、動作332から動作334「ディスプレイの目のオフを決定」に続き、ここで、ユーザの目が、もはやディスプレイ上及び/又はアクティブなアプリケーション上にないことを決定し得る。例えばユーザの目がディスプレイ上及び/又はアクティブなアプリケーション上にないという決定を、実行された目のトラッキングを継続することにより示されるような、ユーザの注視における変化に少なくとも部分的に基づいて行ってもよい。例えばユーザの目が新たな固視に変わるときに、ユーザの目がディスプレイ上及び/又はアクティブなアプリケーション上にないという認識が決定され得る。
一部の例において、強調効果は、ユーザの注視がフォーカスエリア上にない(例えば注視のドウェル時間の間のフォーカスエリア上の不存在)場合、言い換えると、もはやフォーカスエリアでないとき、除去され得る。このステップは、アプリケーションが不必要に強調しないことを補償し得る。例えば強調効果は、先のフォーカスエリアに対するユーザの注視の割合が小さい場合;あるいはユーザの注視が、所定の期間の間、ディスプレイ上で観察されないとき(「ディスプレイ上に注視がない」期間の閾値は、システム構成によって決定され得る)、除去されることがある。
処理は、動作334から動作336「選択的強調を更新」に続き、ここで、更新される選択的強調が決定され得る。例えば更新される選択的強調はディスプレイ102に送信され、この場合、ユーザの目がディスプレイ上及び/又はアクティブなアプリケーション上にないという決定がなされる。
処理は、動作336から動作338「選択的強調を除去」に続き、ここで、いずれかの選択的強調がディスプレイ102から除去され得る。例えば現在の関心領域がディスプレイの外及び/又はアクティブなアプリケーションの外に位置するという決定に応答して、いずれかの選択的強調を除去してもよい。あるいはまた、フォーカスエリアから第2のフォーカスエリアへの変更が存在する(例えばフォーカスエリアにはもはやフォーカスがなく、後続のフォーカスエリアが確立されていない)という決定に応答して、フォーカスエリアの選択的強調をディスプレイ102から除去してもよい。
処理は、動作338から動作340「順次選択的強調を記録」に続き、ここで、いずれかの選択的強調が記録され得る。例えば連続的なフォーカスエリアの選択的強調、フォーカスエリアと第2のフォーカスエリアとの間の遷移及び第2のフォーカスエリアの選択的強調について記録が行われる。あるいはまた、そのような記録は、ユーザの声のオーディオデータ、ユーザの顔のビジュアルデータ、ディスプレイ102の変化する外観、同様のもの及び/又はこれらの組み合わせのような、他の態様のプレゼンテーションを記録してもよい。例えば記録動作340は、ユーザの声、ユーザの目の動き及び表示画像を、観察又は案内プロセスの間に同期して記録してもよい。記録されたデータは後に、例えば表示コンテンツ上に重ねられる固視のトレースを動的に提示してハイライトするように動作し得る。
一部の例において、記録動作340は、アクティブなアプリケーションが目のトラッキングに基づく選択的強調のために設計されていると決定したときに起こり得る。あるいはまた、記録動作340は、記録を行うべきか否かを指示するユーザへのプロンプトを介して、選択的にターンオン又はターンオフされ得る。
一部の例において、そのような記録は、オンライントレーニングセッション(例えばマイクロソフト(登録商標)のライブミーティング又は固有のソフトウェア(例えばCamtasia)のような電話プレゼンス及び/又は電話会議ソフトウェアに統合されるトレーニングセッション)を、実際のプレゼンテーションセッションの配信中にキャプチャしてもよい。他の例では、そのような記録は、トレーナが固有のソフトウェアを用いるオフラインの記録を事前に準備しているような場合、オフラインのトレーニングセッションをキャプチャしてもよい。双方の場合において、プロセス300は、トレーナがそのような記録を編集及び/又は修正して後処理(post process)するのを許可する。
動作において、プロセス300は、目のトラッキングを実行するのにどのアプリケーションを登録するかを決定することができる。プロセス300は、ユーザの注視をトラッキングすることによって、目のトラッキングが、アクティブなアプリケーション(例えばシステム100の前景にあるアプリケーション)について「オン」であるとき及び/又はユーザが存在していると決定したとき、選択的に強調すべきエリアを決定することができる。プロセス300は、注視データ(例えばディスプレイ102上の注視のx、y座標及び注視の関連するタイムスタンプ)を計算することができる。注視のx、y座標が、表示されたアプリケーションの領域の外側にある場合、全ての選択的強調効果がディスプレイ102から除去され得る。
一部の実装において、目のトラッキングモードがアクティブにされているとき、ユーザの目の動きをトラックして記録することができる。目のトラッキングに基づく強調(例えばズームインスマートフォーカス効果)は、ソフトウェア画面キャプチャ及び/又は記録アプリケーションによって提供される幾つかの予め定義された制御パラメータ(例えば強調スケール、強調期間、固視パラメータ、サッケードパラメータ及び/又は同様のもの)により構成され得る。例えばズームイン/アウト型の強調は、スケールについて予め設定されたシステム閾値に基づくものとすることができる。あるいはまた、そのようなズームイン/アウト型の強調は、期間について予め設定されたシステム閾値に基づくものとしてもよい。オンライン/オフラインのプレゼンテーション/デモの記録の間、フォーカスエリアの決定は、ディスプレイ102上のユーザの注視に基づいて行われ得る。
他の実装において、2人の人が同じコンピュータの前に座り、同じディスプレイを観察しているというシナリオでは、トレーナはトレーニに、アプリケーション、ドキュメントのレビュー、ウェブサイト等をどのように使用するかを見せることがある。この状況では、第1及び第2のユーザは、目のトラッキングの出力を制御する人に関して、互いの間で役割を切り替える可能性がある。例えば2又はそれ以上のユーザは、2人の間で目のトラッキングの変更を可能にする切り替えモードを使用して、該ユーザ間で役割を交換することができる。実用面では、目のトラッカは、双方の人に先立ってキャリブレートされることが可能であるが、これは、2人の人が離れて座っているとき、彼らの頭部は典型的に相互に十分な距離をとるので可能である。一部のアイトラッカの解決法は、選択された人の目の追随を可能にする、頭部トラッキング機構を使用することがある。
図2及び図3に示されるような例示のプロセス200及びプロセス300の実装は、示された全てのブロックの図示される順序での取り組みを含み得るが、本開示はこの観点に限定されず、様々な例において、プロセス200及びプロセス300の実装は、示されたブロックの一部のみ及び/又は図示された順序と異なる順序での取り組みも含み得る。
さらに、図2及び図3のブロックのいずれか1つ又は複数は、1つ又は複数のコンピュータプログラム製品によって提供される命令に応答して行われてもよい。そのようなプログラム製品は、例えばプロセッサによって実行されると本明細書で説明される機能性を提供し得る命令を提供する、信号担持媒体を含むことがある。コンピュータプログラム製品は、任意の形式のコンピュータ読取可能媒体として提供され得る。したがって、例えば1つ又は複数のプロセッサコアを含むプロセッサは、コンピュータ読取可能媒体によってプロセッサに伝達される命令に応答して、図2及び図3に示されるブロックの1つ又は複数に着手することができる。
本明細書で説明されるいずれかの実装において使用されるとき、「モジュール」という用語は、本明細書で説明される機能を提供するように構成されるソフトウェア、ファームウェア及び/又はハードウェアの任意の組み合わせを指す。ソフトウェアは、ソフトウェアパッケージ、コード及び/又は命令セット又は命令として具現化され、「ハードウェア」は、本明細書で説明されるいずれかの実装で使用されるとき、例えばハードワイヤード回路、プログラマブル回路、状態マシン回路及び/又はプログラマブル回路によって実行される命令を格納するファームウェアを単独又は任意の組み合わせで含み得る。モジュールは集合的又は個々に、例えば集積回路(IC)、システムオンチップ(SoC)等の大きなシステムの一部を形成する回路として具現化され得る。
図4は、本開示の少なくとも一部の実装に従って配置された例示の選択的強調システム100を示す図である。図示された実装において、選択的強調システム100は、ディスプレイ102、画像化デバイス104及び/又は論理モジュール306を含み得る。論理モジュール306は、データ受信論理モジュール412、目のトラッキング論理モジュール414、関心領域論理モジュール416、選択的強調論理モジュール418等及び/又はこれらの組み合わせを含み得る。図示されるように、ディスプレイ102、画像化デバイス104、プロセッサ406及び/又はメモリストア408は、相互に通信すること及び/又は論理モジュール306の一部と通信することができる。選択的強調システム100は、図4に示されるように特定のモジュールに関連付けられるブロック又はアクションのある特定のセットを含み得るが、これらのブロック又はアクションは、ここに図示されている特定のモジュールと異なるモジュールに関連付けられてもよい。
一部の例において、画像化デバイス104は、目の動きデータをキャプチャするように構成され得る。プロセッサ406は、ディスプレイ102及び画像化デバイス104に通信可能に結合され得る。メモリストア408が、プロセッサ406に通信可能に結合されてもよい。データ受信論理モジュール412、目のトラッキング論理モジュール414、関心領域論理モジュール416及び/又は選択的強調論理モジュール418が、プロセッサ406及び/又はメモリストア408に通信可能に結合されてもよい。
一部の例において、データ受信論理モジュール412は、1又は複数のユーザの目の動きデータを受信するように構成され得る。目のトラッキング論理モジュール414は、受信した目の動きデータに少なくとも部分的に基づいて、1又は複数のユーザのうちの少なくとも1のユーザについて目のトラッキングを実行するように構成され得る。関心領域論理モジュール416は、ディスプレイ102の一部に関連付けられる関心領域を、実行された目のトラッキングに少なくとも部分的に基づいて決定するように構成され得る。選択的強調論理モジュール418は、フォーカスエリアを選択的に強調するように構成され、ここで、フォーカスエリアは、決定された関心領域に関連付けられるディスプレイ102の部分に相当する。
一部の例において、論理モジュール306は、プロセッサ406及び/又はメモリストア408に結合され得る記録論理モジュール(図示せず)を含んでもよい。記録論理モジュールは、連続的なフォーカスエリアの選択的強調、フォーカスエリアと第2のフォーカスエリアとの間の遷移、第2のフォーカスエリアの選択的強調及び/又は同等のものを記録するように構成され得る。あるいはまた、記録論理モジュールは、ユーザの声のオーディオデータ、ユーザの顔のビジュアルデータ、ディスプレイ102の変化する外観等及び/又はこれらの組み合わせのような、プレゼンテーションの他の態様を記録するように構成され得る。
様々な実施形態において、選択的強調論理モジュール418がハードウェアで実装され、一方、ソフトウェアが、データ受信論理モジュール412、目のトラッキング論理モジュール414、関心領域論理モジュール416及び/又は記録論理モジュール(図示せず)を実装してもよい。例えば一部の実施形態では、選択的強調論理モジュール418がASICロジックによって実装され、データ受信論理モジュール412、目のトラッキング論理モジュール414、関心領域論理モジュール416及び/又は記録論理モジュールが、プロセッサ406のようなロジックによって実行されるソフトウェア命令によって提供されてもよい。しかしながら、本開示はこのような観点に限定されず、データ受信論理モジュール412、目のトラッキング論理モジュール414、関心領域論理モジュール416、選択的強調論理モジュール418及び/又は記録論理モジュールは、ハードウェア、ファームウェア及び/又はソフトウェアの任意に組み合わせによって実装され得る。加えて、メモリストア408は、揮発性メモリ(例えば静的RAM(SRAM)、動的RAM(DRAM)等)又は非揮発性メモリ(例えばフラッシュメモリ等)等のような任意のタイプのメモリであってよい。非限定的な例において、メモリストア408はキャッシュメモリによって実装され得る。
図5は、本開示に係る例示のシステム500を図示している。様々な実装において、システム500はメディアシステムとすることができるが、システム500はこのようなコンテキストに限定されない。例えばシステム500を、パーソナルコンピュータ(PC)、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パルムトップコンピュータ、パーソナルデジタルアシスタント(PDA)、携帯電話、携帯電話/PDAの組み合わせ、テレビジョン、スマートデバイス(例えばスマートフォン、スマートデバイス又はスマートテレビジョン)、モバイルインターネットデバイス(MID)、メッセージングデバイス、データ通信デバイス等に組み込んでもよい。
様々な実装において、システム500は、ディスプレイ520に結合されるプラットフォーム502を含む。プラットフォーム502は、コンテンツサービスデバイス530又はコンテンツ配信デバイス540又は他の同様のコンテンツソースのようなコンテンツデバイスから、コンテンツを受け取ることができる。1つ又は複数のナビゲーション機能を含むナビゲーションコントローラ550を用いて、例えばプラットフォーム502及び/又はディスプレイ520と対話することができる。これらのコンポーネントの各々は、以下で更に詳細に説明される。
様々な実装において、プラットフォーム502は、チップセット505、プロセッサ510、メモリ512、ストレージ514、グラフィクスサブシステム515、アプリケーション516及び/又は無線機518の任意の組み合わせを含む。チップセット505は、プロセッサ510、メモリ512、ストレージ514、グラフィクスサブシステム515、アプリケーション516及び/又は無線機518の間の相互通信を提供し得る。例えばチップセット505は、ストレージ514との相互通信を提供することができるストレージアダプタ(図示せず)を含んでもよい。
プロセッサ510は、複合命令セットコンピュータ(CISC)又は縮小命令セットコンピュータ(RISC)プロセッサ、x86命令セット互換プロセッサ、マルチコアあるいは任意の他のマイクロプロセッサ又は中央処理ユニット(CPU)として実装され得る。様々な実装において、プロセッサ510は、デュアルコアプロセッサ、デュアルコアモバイルプロセッサ等とすることができる。
メモリ512は、これらに限られないが、ランダムアクセスメモリ(RAM)、動的RAM(DRAM)又は静的RAM(SRAM)のような揮発性メモリデバイスとして実装され得る。
ストレージ514は、これらに限られないが、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内蔵記憶デバイス、外付け記憶デバイス、フラッシュメモリ、バッテリバックアップSDRAM(同期DRAM)及び/又はネットワークアクセス可能な記憶デバイスのような非揮発性記憶デバイスとして実装され得る。様々な実装において、ストレージ514は、例えば複数のハードドライブが含まれるとき、価値あるデジタルメディアについて保護を強化した記憶性能を向上させる技術を含み得る。
グラフィクスサブシステム515は、表示用に静止画又はビデオのような画像の処理を実行し得る。グラフィクスサブシステム515は、例えばグラフィクス処理ユニット(GPU)又はビジュアル処理ユニット(VPU)とすることができる。アナログ又はデジタルインタフェースを使用して、グラフィクスサブシステム515とディスプレイ520を通信可能に結合することができる。例えばインタフェースは、高解像度マルチメディアインタフェース(HDMI)、ディスプレイポート、無線HDMI及び/又は無線HD互換技術のうちのいずれかとすることができる。グラフィクスサブシステム515を、プロセッサ510又はチップセット505に統合してもよい。一部の実装において、グラフィクスサブシステム515は、チップセット505に通信可能に結合される、スタンドアロンのカードとすることができる。
本明細書で説明されるグラフィック及び/又はビデオ処理技術は、様々なハードウェアアーキテクチャで実装され得る。例えばグラフィック及び/又はビデオ処理機能を、チップセット内に統合してもよい。あるいは個別のグラフィック及び/又はビデオプロセッサを使用してもよい。更に別の実装として、グラフィック及び/又はビデオ機能は、マルチコアプロセッサを含め、汎用プロセッサによって提供されてもよい。更なる実施形態では、グラフィック及び/又はビデオ機能を、家庭用電化製品デバイスにおいて実装してもよい。
無線機518は、様々な適切な無線通信技術を使用して信号を送受信することができる1つ又は複数の無線機を含み得る。そのような技術は、1つ又は複数の無線ネットワークにわたる通信を含んでもよい。例示の無線ネットワークには、(これらに限られないが)無線ローカルエリアネットワーク(WLAN)、無線パーソナルエリアネットワーク(WPAM)、無線メトロポリタンエリアネットワーク(WMAN)、セルラネットワーク及びサテライトネットワークが含まれる。そのようなネットワークにわたる通信において、無線機518は、任意のバージョンの1つ又は複数の適用可能な標準に従って動作し得る。
様々な実装において、ディスプレイ520は、任意のテレビ型のモニタ又はディスプレイを含み得る。ディスプレイ520は、例えばコンピュータディスプレイ画面、タッチスクリーンディスプレイ、ビデオモニタ、テレビ類似のデバイス及び/又はテレビを含み得る。ディスプレイ520はデジタル及び/又はアナログとすることができる。様々な実装において、ディスプレイ520はホログラフィックディスプレイとすることができる。また、ディスプレイ520は、視覚的投影を受信し得る透明な面とすることができる。そのような投影は、様々な形式の情報、画像及び/又は物体を伝達することができる。例えばそのような投影は、モバイル拡張現実(MAR)アプリケーション用の視覚的オーバレイとすることができる。1つ又は複数のソフトウェアアプリケーション516の制御の下、プラットフォーム502は、ディスプレイ520上にユーザインタフェース522を表示してもよい。
様々な実装において、コンテンツサービスデバイス530は、任意の国のサービス、国際的サービス及び/又は独立のサービスによってホストされることがあり、したがって、例えばプラットフォーム502からインターネットを介してアクセス可能なことがある。コンテンツサービスデバイス530は、プラットフォーム502及び/又はディスプレイ520に結合され得る。プラットフォーム502及び/又はコンテンツサービスデバイス530は、ネットワーク560に結合されて、媒体情報をネットワーク560へ及びネットワーク560から通信(例えば送信及び/又は受信)することができる。コンテンツ配信デバイス540もプラットフォーム502及び/又はディスプレイ520に結合され得る。
様々な実装において、コンテンツサービスデバイス530は、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、デジタル情報及び/又はコンテンツを配信することができるインターネット対応型デバイス又は機器、並びにコンテンツプロバイダとプラットフォーム502及び/又はディスプレイ520との間でネットワーク560を介するか直接的に一方向又は双方向でコンテンツを通信することができる任意の他の同様のデバイスを含み得る。コンテンツは、システム500内のコンポーネントのいずれか1つとの間で、及びネットワーク560経由でコンテンツプロバイダとの間で、一方向及び/又は双方向で通信され得ることが認識されよう。コンテンツの例には、例えばビデオ、音楽、医療及びゲーム情報等を含め、任意のメディア情報が含まれ得る。
コンテンツサービスデバイス530は、メディア情報、デジタル情報及び/又は他のコンテンツを含む、ケーブルテレビ番組のようなコンテンツを受信することができる。コンテンツプロバイダの例には、任意のケーブル又は衛星テレビ又は無線又はインターネットコンテンツプロバイダが含まれ得る。提供される例は、いずれも本開示に係る実装を限定するようには意図されていない。
様々な実装において、プラットフォーム502は、1つ又は複数の機能を有するナビゲーションコントローラ550から制御信号を受信し得る。コントローラ550のナビゲーション機能を使用して、例えばユーザインタフェース522と対話することができる。諸実施形態において、ナビゲーションコントローラ550は、ユーザが空間的(例えば連続的で多次元の)データをコンピュータに入力できるようにするコンピュータハードウェアコンポーネント(特にヒューマンインタフェースデバイス)であり得る、ポインティングデバイスとすることができる。グラフィカルユーザインタフェース(GUI)、テレビ及びモニタのような多くのシステムは、ユーザが、身体的なジェスチャを使用してコンピュータ又はテレビに対してデータを制御又は提供できるようにする。
コントローラ550のナビゲーション機能の動きは、ディスプレイ(例えばディスプレイ520)上で、ポインタ、カーソル、フォーカスリング又はディスプレイ上に表示される他の視覚的インジケータの動きによって複製され得る。例えばソフトウェアアプリケーション516の制御の下、ナビゲーションコントローラ550に配置されるナビゲーション機能が、例えばユーザインタフェース522上に表示される仮想ナビゲーション機能にマップされ得る。諸実施形態において、コントローラ550は、別個のコンポーネントであるだけでなく、プラットフォーム502及び/又はディスプレイ520に統合されてもよい。しかしながら、本開示は、本明細書で図示又は説明される要素又はコンテキストに限定されない。
様々な実装において、ドライバ(図示せず)は、例えば初期ブートアップの後、有効にされると、ユーザがすぐに、テレビのようにボタンのタッチでプラットフォーム502をターンオン及びターンオフできるようにする技術を含み得る。プログラムロジックは、プラットフォーム502がターン「オフ」されるときであっても、プラットフォーム502がコンテンツをメディアアダプタあるいは他のコンテンツサービスデバイス530又はコンテンツ配信デバイス540にストリーミングできるようにする。加えて、チップセット505は、例えば5.1サラウンドサウンドオーディオ及び/又は高精細度の7.1サラウンドサウンドオーディオのためのハードウェア及び/またはソフトウェアサポートを含んでもよい。ドライバは、統合されたグラフィックプラットフォームのためのグラフィックドライバを含み得る。諸実施形態において、グラフィックドライバは、PCIエクスプレスグラフィックカードを備えることがある。
様々な実装において、システム500内に示されるコンポーネントのいずれか1つ又は複数を統合してもよい。例えばプラットフォーム502とコンテンツサービスデバイス530を統合してもよく、プラットフォーム502とコンテンツ配信デバイス540を統合してもよく、プラットフォーム502とコンテンツサービスデバイス530とコンテンツ配信デバイス540とを統合してもよい。様々な実施形態において、プラットフォーム502とディスプレイ540は一体型のユニットであってよい。例えばディスプレイ520とコンテンツサービスデバイス530を統合し、あるいはディスプレイ520とコンテンツ配信デバイス540とを統合してもよい。これらの例は、本開示を限定するようには意図されていない。
様々な実施形態において、システム500は、無線システム、有線システム又はこれらの組み合わせとして実装され得る。無線システムとして実装されるとき、システム500は、1つ又は複数のアンテナ、送信機、受信機、送受信機、増幅器、フィルタ及び制御ロジックのような無線共有媒体を介して通信するのに適したコンポーネント及びインタフェースを含み得る。無線共有媒体の例は、RFスペクトル等のような無線スペクトルの一部を含み得る。有線システムとして実装されるとき、システム500は、入出力(I/O)アダプタ、対応する有線通信媒体を有するI/Oアダプタへ接続する物理コネクタ、ネットワークインタフェースカード(NIC)、ディスクコントローラ、ビデオコントローラ、オーディオコントローラ等のような、有線通信媒体を介して通信するのに適したコンポーネント及びインタフェースを含み得る。有線通信媒体の例には、有線、ケーブル、金属導線、プリント基板、バックプレーン、スイッチファブリック、半導体材料、二重ペアワイヤ、同軸ケーブル、光ファイバ等が含まれ得る。
プラットフォーム502は、1つ又は複数の論理的又は物理的チャネルを確立して情報を通信し得る。そのような情報は、媒体情報及び制御情報を含み得る。媒体情報は、ユーザに対して意図されたコンテンツを表す任意のデータを指すことがある。コンテンツの例は、例えば音声会話、ビデオ会議、ストリーミングビデオ、電子メール(eメール)メッセージ、ボイスメールメッセージ、英数字の記号、グラフィック、画像、ビデオ、テキスト等からのデータを含み得る。音声会話からのデータは、例えばスピーチ情報、無音の期間、背景雑音、快適雑音、トーン等であってよい。制御情報は、自動システム用に意図されたコマンド、命令又は制御語を表す任意のデータを指すことがある。例えば制御情報を使用して、システムを通してメディア情報をルーティングするか、メディア情報を所定の手法により処理するようノードに指示することができる。しかしながら、諸実施形態は、図5に図示されるか説明される要素又はコンテキストに限定されない。
上述のように、システム500は、変化する物理的なスタイル又はフォームファクタで具現化され得る。図6は、システム500が具現化され得る小さなフォームファクタデバイス600の実装を図示している。諸実施形態において、例えばデバイス600は、無線機能を有するモバイルコンピューティングデバイスとして実装され得る。モバイルコンピューティングデバイスは、処理システムと、例えば1つ又は複数のバッテリのようなモバイル電源又は電力供給とを有する任意のデバイスを指すことがある。
上述のように、モバイルコンピューティングデバイスの例は、パーソナルコンピュータ(PC)、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パルムトップコンピュータ、パーソナルデジタルアシスタント(PDA)、携帯電話、携帯電話/PDAの組み合わせ、テレビジョン、スマートデバイス(例えばスマートフォン、スマートデバイス又はスマートテレビジョン)、モバイルインターネットデバイス(MID)、メッセージングデバイス、データ通信デバイス等を含み得る。
モバイルコンピューティングデバイスの例は、人によって着用されるように構成されたコンピュータ、例えばリストコンピュータ、フィンガコンピュータ、リングコンピュータ、アイグラスコンピュータ、ベルトクリップコンピュータ、アームバンドコンピュータ、シューズコンピュータ、クローズコンピュータ及び他の着用可能なコンピュータのようなものも含み得る。様々な実施形態において、例えばモバイルコンピューティングデバイスは、コンピュータアプリケーションだけでなく、音声通信及び/又はデータ通信を実行することができるスマートフォンとして実装され得る。一部の実施形態を、例としてスマートフォンとして実装されるモバイルコンピューティングデバイスを用いて説明しているが、他の実施形態は、他の無線モバイルコンピューティングデバイスを使用して実装されてもよいことが認識されよう。諸実施形態は、このコンテキストに限定されない。
図6に示されるように、デバイス600は、ハウジング602、ディスプレイ604、入出力(I/O)デバイス606及びアンテナ608を含み得る。デバイス600は、ナビゲーション機能612も含み得る。ディスプレイ604は、モバイルコンピューティングデバイスに適した情報を表示するための任意の適切なディスプレイユニットを含み得る。I/Oデバイス606は、情報をモバイルコンピューティングデバイスに入力するための任意の適切なI/Oデバイスを含み得る。I/Oデバイス606の例には、英数字のキーボード、数字のキーパッド、タッチパッド、入力キー、ボタン、スイッチ、ロッカースイッチ、マイクロフォン、スピーカ、音声認識デバイス及びソフトウェア等が含まれ得る。情報は、マイクロフォン(図示せず)によってデバイス600に入力されてもよい。そのような情報は、音声認識デバイス(図示せず)によってデジタル化されてもよい。諸実施形態はこのコンテキストに限定されない。
様々な実施形態が、ハードウェア要素、ソフトウェア要素又はこれらの組み合わせを使用して実装され得る。ソフトウェア要素の例は、プロセッサ、マイクロプロセッサ、回路、回路要素(例えばトランジスタ、レジスタ、キャパシタ、インダクタ等)、集積回路、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット等を含み得る。ソフトウェアの例は、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、メソッド、プロシージャ、ソフトウェアインタフェース、アプリケーションプログラムインタフェース(API)、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、記号又はこれらの任意の組み合わせを含み得る。実施形態を、ハードウェア要素及び/又はソフトウェア要素を使用して実装するかどうかの判断は、所望の計算レート、電力レベル、ヒートトレランス、処理サイクルバゲット、入力データレート、出力データレート、メモリリソース、データバススピード並びに他の設計的又は性能的制約のような、任意の数のファクタに応じて異なり得る。
少なくとも1つの実施形態の1つ又は複数の態様は、プロセッサ内の様々なロジックを表すマシン読取可能な媒体に格納される代表的命令によって実装されてよく、そのような命令は、マシンによって実行されると、該マシンに、本明細書で説明される技術を実行するロジックを構築させる。「IPコア」として知られるそのような表現は、有形のマシン読取可能な媒体に格納され、様々な消費者又は製造施設に供給されて、実際にロジック又はプロセッサを作る製作マシンにロードされる。
本明細書で説明される特定の特徴は、様々な実装との関連で説明されているが、この説明は、限定的な意味で解釈されるように意図されていない。したがって、本明細書で説明される実装、並びに本開示に関して当業者に明らかとなる他の実装の様々な修正は、本開示の精神及び範囲内に含まれるように意図される。
下記の例は、様々な実施形態に関する。
一例において、コンピュータのディスプレイ上のフォーカスエリアを選択的に強調するためにコンピュータにより実施される方法は、1又は複数のユーザの目の動きデータの受信を含み得る。1又は複数のユーザのうちの少なくとも1のユーザについて、目のトラッキングが実行され得る。例えば目のトラッキングは、受信した目の動きデータに少なくとも部分的に基づいて実行され得る。関心領域が決定され、ここで、該関心領域は、コンピュータシステムのディスプレイの一部分に関連付けられる。例えば関心領域の決定は、実行した目のトラッキングに少なくとも部分的に基づくものとすることができる。決定された関心領域に関連付けられるフォーカスエリアが選択的に強調され得る。例えばフォーカスエリアは、決定された関心領域に関連付けられるディスプレイの一部分に相当し得る。
一部の例において、当該方法は、アプリケーションが目のトラッキングの動作用に設計されているかどうかを判断するステップを含むことがあり、この場合、目のトラッキングの実行は、アプリケーションが目のトラッキングの動作用に設計されているという決定に応答して行われる。
一部の例において、当該方法は、1つ又は複数の後続のフォーカスエリアを選択的に強調するステップを含むことがあり、この場合、該1つ又は複数の後続のフォーカスエリアは、決定された1つ又は複数の後続の関心領域に関連付けられるディスプレイの一部分に相当する。
一部の例において、当該方法は、フォーカスエリアと1つ又は複数の後続のフォーカスエリアとの間の遷移をグラフィカルに示すステップを含むことがある。
一部の例において、当該方法は、連続的なフォーカスエリアの選択的強調、フォーカスエリアと1つ又は複数の後続のフォーカスエリアとの間の遷移並びに1つ又は複数の後続のフォーカスエリアの選択的強調を記録するステップを含むことがある。
一部の例において、当該方法は、現在の関心領域がディスプレイの外に位置するとの決定に応答して、及び/又はフォーカスエリアがフォーカス状態ではなく、後続のフォーカスエリアも確立されていないとき、フォーカスエリアの選択的強調を除去するステップを含むことがある。
一部の例において、当該方法は、フォーカスエリアの選択的強調が、フォーカスエリアをズームインすることと、フォーカスエリアをアウトスケールすることと、フォーカスエリアをハイライトすることとを含む強調技術のうちの1つ又は複数を含むように動作することがあり、フォーカスエリアをハイライトすることは、フォーカスエリアをフレーミングすること、フォーカスエリアの色替えをすること及び/又はフォーカスエリアをフレーミングして色替えをすることを含む。
一部の例において、当該方法は、フォーカスエリアの選択的強調が、デフォルトのエリアサイズに少なくとも部分的に基づいて及び/又は関心領域を個別の表示要素に関連付けることに少なくとも部分的に基づいて、フォーカスエリアを選択的に強調することを含むように動作することがあり、個別の表示要素は、テキストボックス、テキストのパラグラフ、デフォルト数のテキスト行、ピクチャ及び/又はメニューを含む。
他の例において、コンピュータディスプレイのフォーカスエリアの選択的強調のためのシステムは、ディスプレイ、画像化デバイス、1つ又は複数のプロセッサ、1つ又は複数のメモリストア、データ受信論理モジュール、目のトラッキング論理モジュール、関心領域論理モジュール、選択的強調論理モジュール等及び/又はこれらの組み合わせを含むことがある。画像化デバイスは、目の動きデータをキャプチャするように構成され得る。1つ又は複数のプロセッサは、ディスプレイ及び画像化デバイスに通信可能に結合され得る。1つ又は複数のメモリストアは、1つ又は複数のプロセッサに通信可能に結合され得る。データ受信論理モジュールは、1つ又は複数のプロセッサと1つ又は複数のメモリストアに通信可能に結合され、1又は複数のユーザの目の動きデータを受信するように構成され得る。目のトラッキング論理モジュールは、1つ又は複数のプロセッサと1つ又は複数のメモリストアに通信可能に結合され、受信した目の動きデータに少なくとも部分的に基づいて、1又は複数のユーザのうちの少なくとも1のユーザについて、目のトラッキングを実行するように構成され得る。関心領域論理モジュールは、1つ又は複数のプロセッサと1つ又は複数のメモリストアに通信可能に結合され、実行された目のトラッキングに少なくとも部分的に基づいて、ディスプレイの一部に関連付けられる関心領域を決定するように構成され得る。選択的強調論理モジュールは、1つ又は複数のプロセッサと1つ又は複数のメモリストアに通信可能に結合され、フォーカスエリアを選択的に強調するように構成され、該フォーカスエリアは、決定された関心領域に関連付けられるディスプレイの一部に相当する。
一部の例において、当該システムは、目のトラッキングの実行が、アプリケーションが目のトラッキングの動作用に設計されているとの判断に応答して行われるように動作し得る。フォーカスエリアの選択的強調は、1つ又は複数の後続のフォーカスエリアを選択的に強調することを含み、該1つ又は複数の後続のフォーカスエリアは、決定された1つ又は複数の後続の関心領域に関連付けられるディスプレイの一部分に相当する。フォーカスエリアの選択的強調は、フォーカスエリアと1つ又は複数の後続のフォーカスエリアとの間の遷移をグラフィカルに示すことを含み得る。フォーカスエリアの選択的強調は、現在の関心領域がディスプレイの外に位置するとの決定に応答して、及び/又はフォーカスエリアがもはやフォーカス状態ではなく、後続のフォーカスエリアも確立されていないときに、フォーカスエリアの選択的強調を除去することを含み得る。フォーカスエリアの選択的強調は、フォーカスエリアをズームインすることと、フォーカスエリアをアウトスケールすることと、フォーカスエリアをハイライトすることとを含む強調技術のうちの1つ又は複数を含み、フォーカスエリアをハイライトすることは、フォーカスエリアをフレーミングすること、フォーカスエリアの色替えをすること及び/又はフォーカスエリアをフレーミングして色替えをすることを含む。フォーカスエリアの選択的強調は、デフォルトのエリアサイズに少なくとも部分的に基づいて及び/又は前記関心領域を個別の表示要素に関連付けることに少なくとも部分的に基づいて、フォーカスエリアを選択的に強調することを含む。個別の表示要素は、テキストボックス、テキストのパラグラフ、デフォルト数のテキスト行、ピクチャ及び/又はメニューを含む。一部の例において、当該システムは、1つ又は複数のプロセッサと1つ又は複数のメモリストアに通信可能に結合され、連続的なフォーカスエリアの選択的強調、フォーカスエリアと1つ又は複数の後続のフォーカスエリアとの遷移、並びに1つ又は複数の後続のフォーカスエリアの選択的強調を記録するように構成される、記録論理モジュールを含むことがある。
更なる例では、少なくとも1つのマシン読取可能媒体が、コンピューティングデバイスにおいて実行されていることに応答して、該コンピューティングデバイスに、上記の例のいずれかの1つの方法を実行させる複数の命令を含むことがある。
また更なる例では、装置が、上記の例のいずれか1つの方法を実行するための手段を含むことがある。
上記の例は、特徴の具体的な組み合わせを含む。しかしながら、このような上記の例は、この観点に限定されず、様々な実装において、上記の例は、そのような特徴の一部のみの実施、そのような特徴の異なる順序の実施、そのような特徴の異なる組み合わせの実施及び/又は明示的にリストされた特徴に対して追加的な特徴の実施を含み得る。例えば例示の方法に関して説明された全ての特徴は、例示の装置、例示のシステム及び/又は例示の製品との関連で実装されてもよく、またその逆もあり得る。

Claims (25)

  1. コンピュータシステムのディスプレイ上のフォーカスエリアを選択的に強調するためにコンピュータにより実施される方法であって、
    画像化デバイスを通して、前記コンピュータシステムの前記ディスプレイにおける1又は複数のユーザの目の動きデータを受信するステップと、
    少なくとも前記受信した目の動きデータに基づいて、前記1又は複数のユーザのうちの少なくとも1のユーザについて、目のトラッキングを実行するステップと、
    少なくとも前記実行した目のトラッキングに基づいて、前記コンピュータシステムの前記ディスプレイの一部分に関連付けられる関心領域を決定するステップと、
    前記フォーカスエリアを選択的に強調するステップであって、前記フォーカスエリアは、前記決定された関心領域に関連付けられた前記ディスプレイの前記一部分に相当する、ステップと、
    1つ又は複数の後続のフォーカスエリアを選択的に強調するステップであって、該1つ又は複数の後続のフォーカスエリアは、1つ又は複数の後続の決定された関心領域に関連付けられる前記ディスプレイの一部分に相当する、ステップと、
    前記フォーカスエリアと前記1つ又は複数の後続のフォーカスエリアとの間の遷移をグラフィカルに示すステップであって、当該グラフィカルに示される遷移は、前記選択的に強調されたフォーカスエリアと、前記1つ又は複数の選択的に強調された後続のフォーカスエリアに加えて行われる、ステップと
    を含む、方法。
  2. 前記フォーカスエリアの選択的強調は、前記フォーカスエリアをズームインすることを含む、請求項1に記載の方法。
  3. 前記フォーカスエリアの選択的強調は、拡大された前記フォーカスエリアを元の画像の上に重ねることを含む、請求項1に記載の方法。
  4. 前記フォーカスエリアの選択的強調は、前記フォーカスエリアをハイライトすることを含み、前記フォーカスエリアをハイライトすることは、前記フォーカスエリアにフレームを付けること、前記フォーカスエリアの色替えをすること及び/又は前記フォーカスエリアにフレームを付けて色替えをすることを含む、請求項1に記載の方法。
  5. 前記フォーカスエリアの選択的強調は、少なくとも前記フォーカスエリアのデフォルトのエリアサイズに基づいて、前記フォーカスエリアを選択的に強調することを含む、請求項1に記載の方法。
  6. 前記フォーカスエリアの選択的強調は、少なくとも前記関心領域を個別の表示要素に関連付けることに基づいて、前記フォーカスエリアを選択的に強調することを含み、前記個別の表示要素は、テキストボックス、テキストのパラグラフ、デフォルト数のテキスト行、ピクチャ及び/又はメニューを含む、請求項1に記載の方法。
  7. 連続的な前記フォーカスエリアの選択的強調並びに前記1つ又は複数の後続のフォーカスエリアの選択的強調を記録するステップと
    を更に含む、請求項1に記載の方法。
  8. 連続的な前記フォーカスエリアの選択的強調、前記フォーカスエリアと前記1つ又は複数の後続のフォーカスエリアとの間の遷移並びに前記1つ又は複数の後続のフォーカスエリアの選択的強調を記録するステップと
    を更に含む、請求項1に記載の方法。
  9. 現在の関心領域が前記ディスプレイの外に位置するとの決定に応答して、及び/又は前記フォーカスエリアがもはやフォーカス状態ではなく、後続のフォーカスエリアも確立されていないとき、前記フォーカスエリアの選択的強調を除去するステップを更に含む、請求項1に記載の方法。
  10. 前記コンピュータシステムの前記ディスプレイに提示されているアプリケーションが、目のトラッキングの動作用に設計されているかどうかを判断するステップを更に含み、
    前記目のトラッキングの実行は、前記アプリケーションが目のトラッキングの動作用に設計されているとの判断に応答して行われる、請求項1に記載の方法。
  11. 前記コンピュータシステムの前記ディスプレイに提示されているアプリケーションが、目のトラッキングの動作用に設計されているかどうかを判断するステップであって、前記目のトラッキングの実行は、前記アプリケーションが目のトラッキングの動作用に設計されているとの判断に応答して行われる、ステップと
    現在の関心領域が前記ディスプレイの外に位置するとの決定に応答して、及び/又は前記フォーカスエリアがもはやフォーカス状態ではなく、後続のフォーカスエリアも確立されていないとき、前記フォーカスエリアの選択的強調を除去するステップと、
    連続的な前記フォーカスエリアの選択的強調、前記フォーカスエリアと前記1つ又は複数の後続のフォーカスエリアとの間の遷移、並びに前記1つ又は複数の後続のフォーカスエリアの選択的強調を記録するステップと
    を更に含み、
    前記フォーカスエリアの選択的強調は、前記フォーカスエリアをズームインすることと、拡大された前記フォーカスエリアを元の画像の上に重ねることと、前記フォーカスエリアをハイライトすることとを含む強調技術のうちの1つ又は複数を含み、前記フォーカスエリアをハイライトすることは、前記フォーカスエリアにフレームを付けること、前記フォーカスエリアの色替えをすること及び/又は前記フォーカスエリアにフレームを付けて色替えをすることを含み、
    前記フォーカスエリアの選択的強調は、少なくとも前記フォーカスエリアのデフォルトのエリアサイズに基づいて及び/又は少なくとも前記関心領域を個別の表示要素に関連付けることに基づいて、前記フォーカスエリアを選択的に強調することを含み、前記個別の表示要素は、テキストボックス、テキストのパラグラフ、デフォルト数のテキスト行、ピクチャ及び/又はメニューを含む、請求項1に記載の方法。
  12. コンピュータディスプレイのフォーカスエリアの選択的強調のためのシステムであって、
    ディスプレイと、
    目の動きデータをキャプチャするように構成された画像化デバイスと、
    前記ディスプレイ及び前記画像化デバイスに通信可能に結合される1つ又は複数のプロセッサと、
    前記1つ又は複数のプロセッサに通信可能に結合される1つ又は複数のメモリと、
    前記1つ又は複数のプロセッサと前記1つ又は複数のメモリに通信可能に結合される論理モジュールであって、
    前記画像化デバイスを通して、前記ディスプレイ上における1又は複数のユーザの目の動きデータを受信し、
    少なくとも前記受信した目の動きデータに基づいて、前記1又は複数のユーザのうちの少なくとも1のユーザについて、目のトラッキングを実行し、
    少なくとも前記実行された目のトラッキングに基づいて、前記ディスプレイの一部に関連付けられる関心領域を決定し、
    前記フォーカスエリアを選択的に強調前記フォーカスエリアが、前記決定された関心領域に関連付けられる前記ディスプレイの前記一部に相当しており、
    1つ又は複数の後続のフォーカスエリアを選択的に強調し、該1つ又は複数の後続のフォーカスエリアが、1つ又は複数の後続の決定された関心領域に関連付けられる前記ディスプレイの一部分に相当しており、
    前記フォーカスエリアと前記1つ又は複数の後続のフォーカスエリアとの間の遷移をグラフィカルに示し、当該グラフィカルに示される遷移が、前記選択的に強調されたフォーカスエリアと、前記1つ又は複数の選択的に強調された後続のフォーカスエリアに加えて行われる、
    ように構成される論理モジュールとを備える、
    システム。
  13. 前記フォーカスエリアの選択的強調は、前記フォーカスエリアをズームインすることを含む、請求項12に記載のシステム。
  14. 前記フォーカスエリアの選択的強調は、拡大された前記フォーカスエリアを元の画像の上に重ねることを含む、請求項12に記載のシステム。
  15. 前記フォーカスエリアの選択的強調は、前記フォーカスエリアをハイライトすることを含み、前記フォーカスエリアをハイライトすることは、前記フォーカスエリアにフレームを付けること、前記フォーカスエリアの色替えをすること及び/又は前記フォーカスエリアにフレームを付けて色替えをすることを含む、請求項12に記載のシステム。
  16. 前記フォーカスエリアの選択的強調は、少なくとも前記フォーカスエリアのデフォルトのエリアサイズに基づいて、前記フォーカスエリアを選択的に強調することを含む、請求項12に記載のシステム。
  17. 前記フォーカスエリアの選択的強調は、少なくとも前記関心領域を個別の表示要素に関連付けることに基づいて、前記フォーカスエリアを選択的に強調することを含み、前記個別の表示要素は、テキストボックス、テキストのパラグラフ、デフォルト数のテキスト行、ピクチャ及び/又はメニューを含む、請求項12に記載のシステム。
  18. 前記論理モジュールは、連続的な前記フォーカスエリアの選択的強調と前記1つ又は複数の後続のフォーカスエリアの選択的強調を記録する
    ように更に構成される、請求項12に記載のシステム。
  19. 前記論理モジュールは、連続的な前記フォーカスエリアの選択的強調、前記フォーカスエリアと前記1つ又は複数の後続のフォーカスエリアとの間の遷移、並びに前記1つ又は複数の後続のフォーカスエリアの選択的強調を記録する
    ように更に構成される、請求項12に記載のシステム。
  20. 前記論理モジュールは、現在の関心領域が前記ディスプレイの外に位置するとの決定に応答して、及び/又は前記フォーカスエリアがもはやフォーカス状態ではなく、後続のフォーカスエリアも確立されていないとき、前記フォーカスエリアの選択的強調を除去するように更に構成される、請求項12に記載のシステム。
  21. 前記目のトラッキングの実行は、前記ディスプレイに提示されているアプリケーションが目のトラッキングの動作用に設計されているとの判断に応答して行われる、請求項12に記載のシステム。
  22. 前記目のトラッキングの実行は、前記ディスプレイに提示されているアプリケーションが目のトラッキングの動作用に設計されているとの判断に応答して行われ
    前記フォーカスエリアの選択的強調は、前記フォーカスエリアと前記1つ又は複数の後続のフォーカスエリアとの間の遷移をグラフィカルに示すことを含み、前記フォーカスエリアの選択的強調は、現在の関心領域が前記ディスプレイの外に位置するとの決定に応答して、及び/又は前記フォーカスエリアがもはやフォーカス状態ではなく、後続のフォーカスエリアも確立されていないときに、前記フォーカスエリアの選択的強調を除去することを含み、
    前記フォーカスエリアの選択的強調は、前記フォーカスエリアをズームインすることと、拡大された前記フォーカスエリアを元の画像の上に重ねることと、前記フォーカスエリアをハイライトすることとを含む強調技術のうちの1つ又は複数を含み、前記フォーカスエリアをハイライトすることは、前記フォーカスエリアにフレームを付けること、前記フォーカスエリアの色替えをすること及び/又は前記フォーカスエリアにフレームを付けて色替えをすることを含み、
    前記フォーカスエリアの選択的強調は、少なくとも前記フォーカスエリアのデフォルトのエリアサイズに基づいて及び/又は少なくとも前記関心領域を個別の表示要素に関連付けることに基づいて、前記フォーカスエリアを選択的に強調することを含み、前記個別の表示要素は、テキストボックス、テキストのパラグラフ、デフォルト数のテキスト行、ピクチャ及び/又はメニューを含み、
    前記論理モジュールは、連続的な前記フォーカスエリアの選択的強調、前記フォーカスエリアと前記1つ又は複数の後続のフォーカスエリアとの間の遷移、並びに前記1つ又は複数の後続のフォーカスエリアの選択的強調を記録するように更に構成される、請求項12に記載のシステム。
  23. プロセッサによって実行されると、該プロセッサに、請求項1乃至11のいずれか一項に記載の方法を実行させるコンピュータプログラム。
  24. 請求項23に記載のコンピュータプログラムを記憶する少なくとも1つのコンピュータ読取可能記憶媒体。
  25. 請求項1乃至11のいずれか一項に記載の方法を実行するための手段
    を備える、装置。
JP2015511422A 2012-05-09 2012-05-09 目のトラッキングに基づくディスプレイの一部の選択的強調 Expired - Fee Related JP6165846B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/037017 WO2013169237A1 (en) 2012-05-09 2012-05-09 Eye tracking based selective accentuation of portions of a display

Publications (2)

Publication Number Publication Date
JP2015528120A JP2015528120A (ja) 2015-09-24
JP6165846B2 true JP6165846B2 (ja) 2017-07-19

Family

ID=49551088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015511422A Expired - Fee Related JP6165846B2 (ja) 2012-05-09 2012-05-09 目のトラッキングに基づくディスプレイの一部の選択的強調

Country Status (6)

Country Link
US (1) US20140002352A1 (ja)
EP (1) EP2847648A4 (ja)
JP (1) JP6165846B2 (ja)
CN (1) CN104395857A (ja)
TW (1) TWI639931B (ja)
WO (1) WO2013169237A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11853477B2 (en) 2013-03-01 2023-12-26 Tobii Ab Zonal gaze driven interaction

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2432218B1 (en) * 2010-09-20 2016-04-20 EchoStar Technologies L.L.C. Methods of displaying an electronic program guide
US8687840B2 (en) * 2011-05-10 2014-04-01 Qualcomm Incorporated Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
US20130325546A1 (en) * 2012-05-29 2013-12-05 Shopper Scientist, Llc Purchase behavior analysis based on visual history
US9674436B2 (en) * 2012-06-18 2017-06-06 Microsoft Technology Licensing, Llc Selective imaging zones of an imaging sensor
US9398229B2 (en) 2012-06-18 2016-07-19 Microsoft Technology Licensing, Llc Selective illumination of a region within a field of view
EP2929413B1 (en) 2012-12-06 2020-06-03 Google LLC Eye tracking wearable devices and methods for use
WO2014103732A1 (ja) * 2012-12-26 2014-07-03 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
DE112013007242T5 (de) * 2013-07-18 2016-04-07 Mitsubishi Electric Corporation Informationsdarstellungsgerät und Informationsdarstellungsverfahren
DE102013013698B4 (de) * 2013-08-16 2024-10-02 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9804753B2 (en) * 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
US10409366B2 (en) * 2014-04-28 2019-09-10 Adobe Inc. Method and apparatus for controlling display of digital content using eye movement
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
EP3140779A4 (en) 2014-05-09 2017-11-29 Google LLC Systems and methods for using eye signals with secure mobile communications
CN105320422B (zh) * 2014-08-04 2018-11-06 腾讯科技(深圳)有限公司 一种信息数据显示方法和装置
EP3210163B1 (en) * 2014-10-23 2020-12-23 Koninklijke Philips N.V. Gaze-tracking driven region of interest segmentation
US9674237B2 (en) 2014-11-02 2017-06-06 International Business Machines Corporation Focus coordination in geographically dispersed systems
CN105607730A (zh) * 2014-11-03 2016-05-25 航天信息股份有限公司 基于眼球追踪的增强显示方法及装置
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
CN107239213A (zh) * 2014-12-31 2017-10-10 华为终端(东莞)有限公司 屏幕显示控制方法及移动终端
WO2016112531A1 (en) * 2015-01-16 2016-07-21 Hewlett-Packard Development Company, L.P. User gaze detection
JP6557981B2 (ja) * 2015-01-30 2019-08-14 富士通株式会社 表示装置、表示プログラム及び表示方法
US10242379B2 (en) * 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
JP2016151798A (ja) * 2015-02-16 2016-08-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN104866785B (zh) * 2015-05-18 2018-12-18 上海交通大学 结合眼动跟踪的基于非拥塞窗口信息安全系统及方法
JP6553418B2 (ja) * 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示制御方法、表示制御装置及び制御プログラム
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
WO2017031089A1 (en) * 2015-08-15 2017-02-23 Eyefluence, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
EP3156879A1 (en) * 2015-10-14 2017-04-19 Ecole Nationale de l'Aviation Civile Historical representation in gaze tracking interface
EP3156880A1 (en) * 2015-10-14 2017-04-19 Ecole Nationale de l'Aviation Civile Zoom effect in gaze tracking interface
US10223233B2 (en) 2015-10-21 2019-03-05 International Business Machines Corporation Application specific interaction based replays
CN105426399A (zh) * 2015-10-29 2016-03-23 天津大学 一种基于眼动的提取图像兴趣区域的交互式图像检索方法
JP2017117384A (ja) 2015-12-25 2017-06-29 東芝テック株式会社 情報処理装置
TWI578183B (zh) * 2016-01-18 2017-04-11 由田新技股份有限公司 身分驗證方法、裝置、系統及電腦程式產品
US10775882B2 (en) 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
US10394316B2 (en) 2016-04-07 2019-08-27 Hand Held Products, Inc. Multiple display modes on a mobile device
CN106155316A (zh) * 2016-06-28 2016-11-23 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
AU2017301435B2 (en) 2016-07-25 2022-07-14 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
JP6933455B2 (ja) * 2016-09-29 2021-09-08 株式会社東芝 関心維持システム及びサーバ
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US10311641B2 (en) * 2016-12-12 2019-06-04 Intel Corporation Using saccadic eye movements to improve redirected walking
WO2018107566A1 (zh) * 2016-12-16 2018-06-21 华为技术有限公司 一种处理方法及移动设备
KR102739585B1 (ko) 2016-12-23 2024-12-06 삼성전자주식회사 가상현실 영상에 대한 정보를 제공하는 장치 및 방법
CN106652972B (zh) * 2017-01-03 2020-06-05 京东方科技集团股份有限公司 显示屏的处理电路、显示方法及显示器件
US10929860B2 (en) * 2017-03-28 2021-02-23 Adobe Inc. Viewed location metric generation and engagement attribution within an AR or VR environment
US10643485B2 (en) * 2017-03-30 2020-05-05 International Business Machines Corporation Gaze based classroom notes generator
US11079899B2 (en) * 2017-07-26 2021-08-03 Microsoft Technology Licensing, Llc Dynamic eye-gaze dwell times
DE102017213005A1 (de) * 2017-07-27 2019-01-31 Audi Ag Verfahren zum Darstellen eines Anzeigeinhalts
TWI646466B (zh) 2017-08-09 2019-01-01 宏碁股份有限公司 視覺範圍映射方法及相關眼球追蹤裝置與系統
US10795671B2 (en) 2017-11-21 2020-10-06 International Business Machines Corporation Audiovisual source code documentation
GB2571106A (en) * 2018-02-16 2019-08-21 Sony Corp Image processing apparatuses and methods
CN109324689A (zh) * 2018-09-30 2019-02-12 平安科技(深圳)有限公司 基于眼球运动轨迹的测试题目放大方法、系统及设备
TWI704473B (zh) * 2018-11-16 2020-09-11 財團法人工業技術研究院 視線向量偵測方向與裝置
CN113544749B (zh) 2019-02-20 2025-05-02 三星电子株式会社 用于在增强现实装置上显示内容的设备和方法
CN109919065A (zh) * 2019-02-26 2019-06-21 浪潮金融信息技术有限公司 一种使用眼球追踪技术在屏幕上获取关注点的方法
CN110248254A (zh) * 2019-06-11 2019-09-17 Oppo广东移动通信有限公司 显示控制方法及相关产品
US11614797B2 (en) * 2019-11-05 2023-03-28 Micron Technology, Inc. Rendering enhancement based in part on eye tracking
CN111190486B (zh) * 2019-12-27 2023-07-25 季华实验室 一种基于眼睛控制的分区显示方法及装置
US12105937B2 (en) 2020-01-14 2024-10-01 Hewlett-Packard Development Company, L.P. Face orientation-based cursor positioning on display screens
CN111260284B (zh) * 2020-01-15 2024-04-30 大亚湾核电运营管理有限责任公司 核电站物料远程验收方法、系统及存储介质
CN111563432A (zh) * 2020-04-27 2020-08-21 歌尔科技有限公司 一种显示方法及增强现实显示设备
TWI795823B (zh) * 2020-06-29 2023-03-11 仁寶電腦工業股份有限公司 電子裝置及其操作方法
CN111782202B (zh) * 2020-06-30 2024-07-19 京东科技控股股份有限公司 一种应用数据的编辑方法和装置
US11490968B2 (en) 2020-07-29 2022-11-08 Karl Storz Se & Co. Kg Devices, systems, and methods for labeling objects of interest during a medical procedure
KR102408941B1 (ko) * 2020-10-07 2022-06-14 ㈜ 한국공학기술연구원 수어 통역을 제공하는 양방향 대화 시스템
US11474598B2 (en) * 2021-01-26 2022-10-18 Huawei Technologies Co., Ltd. Systems and methods for gaze prediction on touch-enabled devices using touch interactions
US11775060B2 (en) * 2021-02-16 2023-10-03 Athena Accessible Technology, Inc. Systems and methods for hands-free scrolling
US12189845B2 (en) 2021-02-16 2025-01-07 Athena Accessible Technology, Inc. Systems and methods for hands-free scrolling based on a detected user reading activity
US12100005B2 (en) 2021-03-08 2024-09-24 Nec Corporation Payment system, payment method, and computer program
CN113010017B (zh) * 2021-03-29 2023-06-30 武汉虹信技术服务有限责任公司 一种多媒体信息交互显示方法、系统及电子设备
US20230128024A1 (en) * 2021-10-26 2023-04-27 Koninklijke Philips N.V. Automated virtual (ar/vr) education content adjustment based on gaze and learner attention tracking
JP2023087355A (ja) * 2021-12-13 2023-06-23 キヤノン株式会社 電子機器
JP7830101B2 (ja) * 2021-12-13 2026-03-16 キヤノン株式会社 電子機器
EP4390644A4 (en) * 2022-01-10 2025-01-22 Samsung Electronics Co., Ltd. PORTABLE DEVICE GROUPING AND PROVIDING MULTIPLE APPLICATION EXECUTION SCREENS AND METHOD OF CONTROLLING THE SAME
EP4297393A1 (en) * 2022-06-21 2023-12-27 Nokia Technologies Oy Object-dependent image illumination
US20240061561A1 (en) * 2022-08-22 2024-02-22 Microsoft Technology Licensing, Llc Visually-deemphasized effect for computing devices
CN115686199B (zh) * 2022-10-11 2023-05-23 北京津发科技股份有限公司 一种群体眼动轨迹生成方法、装置、计算设备及存储介质

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0759000A (ja) * 1993-08-03 1995-03-03 Canon Inc 画像送信システム
JPH07140967A (ja) * 1993-11-22 1995-06-02 Matsushita Electric Ind Co Ltd 画像表示装置
US5990954A (en) * 1994-04-12 1999-11-23 Canon Kabushiki Kaisha Electronic imaging apparatus having a functional operation controlled by a viewpoint detector
US6712468B1 (en) * 2001-12-12 2004-03-30 Gregory T. Edwards Techniques for facilitating use of eye tracking data
JP4301774B2 (ja) * 2002-07-17 2009-07-22 株式会社リコー 画像処理方法及びプログラム
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
EP1691670B1 (en) * 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7365738B2 (en) * 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
JP4352980B2 (ja) * 2004-04-23 2009-10-28 オムロン株式会社 拡大表示装置及び拡大画像制御装置
JP2006031359A (ja) * 2004-07-15 2006-02-02 Ricoh Co Ltd 画面共有方法、及び会議支援システム
US8020993B1 (en) * 2006-01-30 2011-09-20 Fram Evan K Viewing verification systems
US20070188477A1 (en) * 2006-02-13 2007-08-16 Rehm Peter H Sketch pad and optical stylus for a personal computer
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
WO2007105792A1 (ja) * 2006-03-15 2007-09-20 Omron Corporation 監視装置および監視方法、制御装置および制御方法、並びにプログラム
US20100231504A1 (en) 2006-03-23 2010-09-16 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation
JP5044237B2 (ja) * 2006-03-27 2012-10-10 富士フイルム株式会社 画像記録装置、画像記録方法、および画像記録プログラム
US9606621B2 (en) * 2006-07-28 2017-03-28 Philips Lighting Holding B.V. Gaze interaction for information display of gazed items
JP4961914B2 (ja) * 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
JP2008083289A (ja) * 2006-09-27 2008-04-10 Sony Corp 撮像表示装置、撮像表示方法
US8947452B1 (en) * 2006-12-07 2015-02-03 Disney Enterprises, Inc. Mechanism for displaying visual clues to stacking order during a drag and drop operation
JP5230120B2 (ja) * 2007-05-07 2013-07-10 任天堂株式会社 情報処理システム、情報処理プログラム
US20100045596A1 (en) * 2008-08-21 2010-02-25 Sony Ericsson Mobile Communications Ab Discreet feature highlighting
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
WO2010051037A1 (en) * 2008-11-03 2010-05-06 Bruce Reiner Visually directed human-computer interaction for medical applications
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
JP2011053587A (ja) * 2009-09-04 2011-03-17 Sharp Corp 画像処理装置
JP2011070511A (ja) * 2009-09-28 2011-04-07 Sony Corp 端末装置、サーバ装置、表示制御方法、及びプログラム
WO2011060525A1 (en) * 2009-11-19 2011-05-26 Esight Corporation Image magnification on a head mounted display
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
WO2011100436A1 (en) * 2010-02-10 2011-08-18 Lead Technology Capital Management, Llc System and method of determining an area of concentrated focus and controlling an image displayed in response
CN101779960B (zh) * 2010-02-24 2011-12-14 沃建中 刺激信息认知能力值测试系统及其方法
US9461834B2 (en) * 2010-04-22 2016-10-04 Sharp Laboratories Of America, Inc. Electronic document provision to an online meeting
US20110273369A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
US8749557B2 (en) * 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
EP3527121B1 (en) * 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US8605034B1 (en) * 2011-03-30 2013-12-10 Intuit Inc. Motion-based page skipping for a mobile device
CN102221881A (zh) * 2011-05-20 2011-10-19 北京航空航天大学 基于仿生代理与视线追踪兴趣区域分析的人机交互方法
CN102419828A (zh) * 2011-11-22 2012-04-18 广州中大电讯科技有限公司 一种视频点播可用性测试方法
US9071727B2 (en) * 2011-12-05 2015-06-30 Cisco Technology, Inc. Video bandwidth optimization
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11853477B2 (en) 2013-03-01 2023-12-26 Tobii Ab Zonal gaze driven interaction

Also Published As

Publication number Publication date
EP2847648A4 (en) 2016-03-02
JP2015528120A (ja) 2015-09-24
CN104395857A (zh) 2015-03-04
US20140002352A1 (en) 2014-01-02
TWI639931B (zh) 2018-11-01
EP2847648A1 (en) 2015-03-18
TW201411413A (zh) 2014-03-16
WO2013169237A1 (en) 2013-11-14

Similar Documents

Publication Publication Date Title
JP6165846B2 (ja) 目のトラッキングに基づくディスプレイの一部の選択的強調
CN109313812B (zh) 具有上下文增强的共享体验
US9992429B2 (en) Video pinning
US10134364B2 (en) Prioritized display of visual content in computer presentations
KR101634154B1 (ko) 눈 추적에 기초한 디스플레이의 선택적 백라이팅
US10521013B2 (en) High-speed staggered binocular eye tracking systems
CN110546601B (zh) 信息处理装置、信息处理方法和程序
CN110050290A (zh) 虚拟现实体验共享
US11545188B2 (en) Video processing method, video playing method, devices and storage medium
US10846535B2 (en) Virtual reality causal summary content
US10694145B1 (en) Presenting a portion of a first display on a second display positioned relative to the first display
US20240320256A1 (en) Method, apparatus, device, readable storage medium and product for media content processing
CN114341944A (zh) 计算机生成的现实记录器
US20260051129A1 (en) Systems and methods for enhancing interactive content creation and presentation for extended reality devices using single-camera technology
WO2022127524A1 (zh) 视频会议呈现方法、装置、终端设备和存储介质
US12541857B2 (en) Synthesizing images from the perspective of the dominant eye
TWI792444B (zh) 攝像頭的控制方法、裝置、介質和電子設備
Aydin Leveraging Computer Vision Techniques for Video and Web Accessibility
CN115454247A (zh) 虚拟内容交互的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161006

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161014

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20161209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170621

R150 Certificate of patent or registration of utility model

Ref document number: 6165846

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees