Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6059727B2 - 結合されたディスプレイの視覚焦点ベースの制御 - Google Patents
[go: Go Back, main page]

JP6059727B2 - 結合されたディスプレイの視覚焦点ベースの制御 - Google Patents

結合されたディスプレイの視覚焦点ベースの制御 Download PDF

Info

Publication number
JP6059727B2
JP6059727B2 JP2014533566A JP2014533566A JP6059727B2 JP 6059727 B2 JP6059727 B2 JP 6059727B2 JP 2014533566 A JP2014533566 A JP 2014533566A JP 2014533566 A JP2014533566 A JP 2014533566A JP 6059727 B2 JP6059727 B2 JP 6059727B2
Authority
JP
Japan
Prior art keywords
display
computing device
visual focus
user
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014533566A
Other languages
English (en)
Other versions
JP2014528608A5 (ja
JP2014528608A (ja
Inventor
ギブソン,タイラー・エドワード
ハモンツリー,モンティ・リー
バパト,ヴィクラム
アサンズ,エマヌエル・ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp, Microsoft Technology Licensing LLC filed Critical Microsoft Corp
Publication of JP2014528608A publication Critical patent/JP2014528608A/ja
Publication of JP2014528608A5 publication Critical patent/JP2014528608A5/ja
Application granted granted Critical
Publication of JP6059727B2 publication Critical patent/JP6059727B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/06Consumer Electronics Control, i.e. control of another device by a display or vice versa
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/24Keyboard-Video-Mouse [KVM] switch

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Description

[0001] 計算デバイスはディスプレイとインターフェースすることが多い。例えば、計算デバイスは、ディスプレイと結合すること及び/又はディスプレイを含むことが可能である。従来のユーザー経験は、典型的には、ユーザーにより見られ得る1つのディスプレイへコンテンツを出力する計算デバイスと関連する。最終的に、1つの計算デバイスにより動作させられる複数のディスプレイを使用することが、普及している。1つの計算デバイスにより複数のディスプレイを用いると、計算デバイスによりコンテンツをレンダリングできるディスプレイの物的財産が増加する。1つの例によると、計算デバイスは、或るディスプレイ上のワード・プロセッシング・アプリケーションと関連するコンテンツと、別のディスプレイ上のスプレッドシート・アプリケーションと関連するコンテンツとを、レンダリングすることができる。
[0002] より最近の傾向としては、複数の計算デバイスが互いにインタラクションを行い、それら複数の計算デバイスと個々に関連するディスプレイにわたってのユーザー経験をサポートする(例えば、複数計算デバイス環境)。1つの例によると、ユーザーは、ユーザーのリビング・ルームにおいて、メディア・センターと結合されたテレビジョンでテレビ番組を見ることができ、ユーザーのスマートフォンで実行されるアプリケーションを用いて、チャンネルや音量などを変えることができる。しかし、複数ディスプレイまたは複数計算デバイスの環境の一部として用いられるディスプレイの数が増加すると、幾つかのディスプレイの機能が、非効率的なことに、ユーザーにより使用されない場合や十分に使用されない場合がある。例えば、複数ディスプレイまたは複数計算デバイスの環境における或るディスプレイの機能がユーザーにより用いられるときに、別のディスプレイの機能がユーザーにより使用されない場合や十分に使用されない場合がある。
[0003] ここでは、ディスプレイの機能を制御するためにユーザーの視覚焦点を使用することと関連する様々な技術を説明する。ユーザーが視覚焦点を合わせている特定のディスプレイを一組のディスプレイの中から指定する視覚焦点情報を、受け取ることができる。一組のディスプレイは、少なくとも第1ディスプレイと第2ディスプレイとを含むことができる。幾つかの実施形態に従うと、第1ディスプレイおよび第2ディスプレイは、第1計算デバイスおよび第2計算デバイスとそれぞれインターフェースすることができ、第1計算デバイスと第2計算デバイスとはインタラクションすることができる。別の実施形態では、第1ディスプレイと第2ディスプレイとは、共有する計算デバイスとインターフェースすることができる。更に、第1ディスプレイは或るタイプの入力をユーザーから受け取るように構成されており、そのタイプの入力は、視覚焦点情報に基づいて制御することができる。更に、又は代替的には、第1ディスプレイでレンダリングされるコンテンツは、視覚焦点情報に基づいて制御することができる。
[0004] 様々な実施形態において、ユーザーの視覚焦点は、第1ディスプレイ上にあるもの又は第2ディスプレイ上にあるものとして、識別することができる。例えば、第1ディスプレイは、タッチ対応ディスプレイとすることができる。更に、ユーザーの視覚焦点は、受け取った視覚焦点情報から、またはセンサーの出力を用いての検出を通じて、識別することができる。更に、第1ディスプレイ上でレンダリングされるコンテンツと、ユーザーから受け取り可能な或るタイプの入力とは、ユーザーの視覚焦点が第1ディスプレイ上にあるか第2ディスプレイ上にあるかに基づいて、制御することができる。
[0005] 上記の概要では、ここで説明するシステム及び/又は方法の幾つかの構成の基礎的な理解を提供するために、簡略化した概要を示している。この概要は、ここで説明するシステム及び/又は方法の詳細にわたる概観ではない。鍵となるエレメントや重要なエレメントを特定することや、それらのシステム及び/又は方法の範囲の輪郭を示すことは、意図していない。唯一の目的は、後に示す更に詳細な説明の前置きとして、幾つかの概念を簡素化した形で示すことである。
図1は、複数のディスプレイを含む環境において、視覚焦点を用いてディスプレイの機能を制御する例示的システムの機能ブロック図を示す。 図2は、ユーザーの視覚焦点に基づいて、ディスプレイを介して、レンダリングされるコンテンツ及び/又は受け取り可能なタイプの入力を制御する例示的システムの機能ブロック図を示す。 図3ないし図6は、複数のディスプレイを含む環境において、視覚焦点に基づいてディスプレイの機能を制御するシステムの使用を示す、例示的シナリオを示す。 図3ないし図6は、複数のディスプレイを含む環境において、視覚焦点に基づいてディスプレイの機能を制御するシステムの使用を示す、例示的シナリオを示す。 図3ないし図6は、複数のディスプレイを含む環境において、視覚焦点に基づいてディスプレイの機能を制御するシステムの使用を示す、例示的シナリオを示す。 図3ないし図6は、複数のディスプレイを含む環境において、視覚焦点に基づいてディスプレイの機能を制御するシステムの使用を示す、例示的シナリオを示す。 図7および図8は、複数のディスプレイを含む環境において、視覚焦点に基づいてディスプレイ上のレンダリングされたコンテンツを制御するシステムの利用を示す、例示的シナリオを示す。 図7および図8は、複数のディスプレイを含む環境において、視覚焦点に基づいてディスプレイ上のレンダリングされたコンテンツを制御するシステムの利用を示す、例示的シナリオを示す。 図9は、第1ディスプレイの機能を制御するための例示的方法を示すフロー図である。 図10は、複数のディスプレイを含む環境において、タッチ対応ディスプレイを制御するための例示的方法を示すフロー図である。 図11は、例示的コンピューティング・デバイスを示す。
[0013] 複数のディスプレイを含む環境においてユーザーの視覚焦点に基づいてディスプレイの機能を制御することと関連する様々な技術を、ここで、図を参照して説明するが、図の全体を通して、同様のエレメントに対しては同様の参照番号を用いている。以下の説明では、1以上の構成を完全に理解できるように、説明を目的として、様々な特定の詳細が述べられる。しかし、そのような構成(1以上)は、それら特定の詳細が無くとも実施でき得ることは、明らかであろう。別の例では、1以上の構成の説明を容易にするために、既知の構造およびデバイスがブロック図の形で示されている。更に、特定のシステム・コンポーネントにより行われるものとして説明されている機能が、複数のコンポーネントにより行われ得ることは、理解される。同様に、例えば、1つのコンポーネントを、複数のコンポーネントにより行われるものとして説明されている機能を行うように、構成することができる。
[0014] 更に、用語「または」は、排他的な「または」(exclusive "or")ではなく包含的な「または」(inclusive "or")である。即ち、特定されていないかぎり、または文脈から明らかではないかぎり、「XはAまたはBを用いる」という句は、何れの自然な包含的な順列も意味することを、意図している。即ち、「XはAまたはBを用いる」という句は、「XはAを用いる」、「XはBを用いる」、または「XはAとBとの双方を用いる」の何れの場合にも満足させられる。更に、この出願および特許請求の範囲で用いられる冠詞「1つの(a、an)」は、特定されていないかぎり、または単数形に向けられたことが文脈から明らかではないかぎり、一般に、「1以上」意味すると解釈すべきである。
[0015] ここで述べるように、複数ディスプレイまたは複数計算デバイスの環境において、ユーザーの視覚焦点を、検出して、ディスプレイの機能を制御するために用いることができる。複数ディスプレイまたは複数計算デバイスの環境について、ここでは集合的に、複数のディスプレイを含む環境という。例えば、複数のディスプレイを含む環境において、1組のディスプレイを結合することができる。更に、ディスプレイでレンダリングされたコンテンツを、ユーザーの視覚焦点がそのディスプレイ上にあるか又は他のディスプレイ上にあるかに基づいて、変更することができる。更に又は代替的に、ユーザーからディスプレイを介して受け取ることができる或るタイプの入力を、ユーザーの視覚焦点がそのディスプレイ上にあるか又は異なるディスプレイ上にあるかに基づいて、変更することができる。
[0016] ここで図面を参照すると、図1は、複数のディスプレイを含む環境において、視覚焦点を用いてディスプレイの機能を制御するシステム100を示す。システム100は、第1ディスプレイと第2ディスプレイとを含む。第1ディスプレイはユーザー106の視覚焦点の関数として制御される。更に、第2ディスプレイを、ユーザー106の視覚焦点の関数として制御できることが、考慮されている。しかし、特許請求される主題事項がそのように限定されないことは、理解される。システム100は2個のディスプレイを含むものとして示されているが、システム100が、第1ディスプレイ102および第2ディスプレイ104に加えて、実質的に任意の数のディスプレイを含むことができることは、理解される。
[0017] ここで説明される様々な実施形態では、第1ディスプレイ102は、タッチ対応ディスプレイである(例えば、第1ディスプレイ102により入力を受け取り可能である)。そのような実施形態に従うと、タッチ対応ディスプレイは、ユーザー106から入力を受け取ることができ、ユーザー106へ向けて出力をレンダリングすることができる。例えば、タッチ対応ディスプレイは、接触(例えば、指や、ペンなどのような圧力を印加するツールなどによる接触)、ジェスチャーなどを検知することにより、ユーザー106から入力を受け取ることができる。更に、ここで説明する別の実施形態では、第1ディスプレイ102は、タッチ対応ディスプレイとすることも、タッチ非対応ディスプレイとすることもできる。例えば、タッチ非対応ディスプレイは、ユーザー106から入力を受け取るための機能を欠いているが、ユーザー106に対して出力をレンダリングすることができる。同様に、幾つかの実施形態では、第2ディスプレイ104がタッチ対応ディスプレイであることが考慮され、また、他の実施形態では、第2ディスプレイ104をタッチ対応ディスプレイとすることも、タッチ非対応ディスプレイとすることもできることが、考慮されている。
[0018] 更に、システム100において、第1計算デバイス108は第1ディスプレイ102とインターフェースする。第1計算デバイス108は、第1ディスプレイ102を介してデータを出力するために(例えば、イメージ、テキスト、グラフィックスをレンダリングするために)、第1ディスプレイ102とインターフェースすることができる。更に、第1計算デバイス108は、第1ディスプレイ102を介して入力を受け取るために、第1ディスプレイ102とインターフェースすることができる。例えば、第1計算デバイス108は、第1ディスプレイ102と結合させることができる。この例を続けると、第1ディスプレイ102は、第1計算デバイス108と直接的または間接的に接続される外部ディスプレイ(例えば、有線及び/又はワイヤレスの接続(1以上)を介して)とすることができる。別の実施形態に従うと、第1計算デバイス108は、第1ディスプレイ102を含むことができる。この例によると、第1計算デバイス108は、タブレット・コンピューター、ラップトップ・コンピューター、スマートフォン、または統合されたディスプレイを持つ他の任意のタイプの計算デバイスとすることができる。システム100は、第2計算デバイス110を更に含むことができ、第2計算デバイス110は、第2ディスプレイ104を介してデータを出力するためや、第2ディスプレイ104を介して入力を受け取るためなどのために、第2ディスプレイ104とインターフェースする。第1ディスプレイ102とインターフェースする第1計算デバイス108と関連して先に説明したのと同様に、第2計算デバイス110は、第2ディスプレイ104と結合すること、または第2ディスプレイ104を含むことができる。示していないが、代替的には、様々な実施形態に従うと、システム100は第2計算デバイス110を含む必要がないこと、従って、第1計算デバイス108が第2ディスプレイ104および第1ディスプレイ102とインターフェースできることが、考慮されている。
[0019] 更に、第1計算デバイス108は、第2計算デバイス110とインタラクションすることができる。例えば、第1計算デバイス108と第2計算デバイス110とは、ワイヤレス及び/又は有線の接続を介してインタラクションすることができる。第1計算デバイス108と第2計算デバイス110との間でのインタラクションは、これらとそれぞれにインターフェースされるディスプレイ(1以上)の入力機能、及び/又はこれらとそれぞれにインターフェースされるディスプレイ(1以上)の出力機能を共有することと関係し得る(例えば、第1ディスプレイ102を、第2ディスプレイ104のための周辺装置として用いることができること、第2ディスプレイ104がタッチに基づく入力機能を含むとき又は欠いているときに、第1ディスプレイ102はタッチに基づく入力機能を提供することができること、第1ディスプレイ102が第2ディスプレイ104のデスクトップを拡張できることなど)。更に又は代替的に、第1計算デバイス108と第2計算デバイス110との間のインタラクションは、それらの間でのコンテキスト情報を共有することと関係し得、その共有されるコンテキスト情報は、第1計算デバイス108と第2計算デバイス110とにより個々に実行されるアプリケーションと関連し得る。更に、第1計算デバイス108と第2計算デバイス110との間のインタラクションは、他のタイプのリソース共有と関係し得ることが、理解される。
[0020] 第1計算デバイス108は、第1コラボレーション・コンポーネント112を更に含むことができ、第2計算デバイス110は、第2コラボレーション・コンポーネント114を更に含むことができる。第1コラボレーション・コンポーネント112と第2コラボレーション・コンポーネント114とは、第1計算デバイス108と第2計算デバイス110とがインタラクションすることを可能にする。例として、第1コラボレーション・コンポーネント112と第2コラボレーション・コンポーネント114とは、第1計算デバイス108と第2計算デバイス110とにわたって、ユーザー106に対する1つのコンテキストに対して、共に働くことができる。更なる例に従うと、第1コラボレーション・コンポーネント112は、第2コラボレーション・コンポーネント114から、第1ディスプレイ102上のコンテンツをレンダリングするための命令を受け取ることができ、別の例に従うと、第1コラボレーション・コンポーネント112は、ユーザー106から受け取った入力関連のデータを、第1ディスプレイ102を介して第2コラボレーション・コンポーネント114へ送ることができる。
[0021] 更に、システム100は、環境118を監視するセンサー116を含む。例えば、ユーザー106は、センサー116により監視される環境118内にいることができる。図1に示すように、センサー116はスタンドアローンのデバイスとすることができる。しかし、更に又は代替的に、センサー116を、第1ディスプレイ102、第2ディスプレイ104、第1計算デバイス108、及び/又は第2計算デバイス110に含められ得ることが、考慮されている(例えば、第1計算デバイス108を、カメラを含むタブレット・コンピューターとすることができ、第2計算デバイス110を、カメラを含むラップトップ・コンピューターとすることができるなど)。1つの例に従うと、センサー116はカメラとすることができる。更なる例として、センサー116は、複数のカメラとすることができる。この例を続けると、複数のカメラは、環境118内で普及させることができる。例えば、複数のカメラからの出力を組み合わせて、環境118を表す1つの表現を生成することができる。しかし、特許請求される主題事項は、複数のカメラを用いることや、複数のカメラからの出力を用いて環境118の1つの表現を生成することには、限定されない。更に、センサー116が、カメラに加えて又はカメラに代えて、環境118を監視し、ユーザー106の視覚焦点の検出に使用できる出力を提供する他の任意のタイプの入力デバイスを含むことも、理解される。
[0022] システム100は、センサー116の出力からユーザー106と関連する視覚焦点情報を検出する焦点追跡コンポーネント120を更に含む。焦点追跡コンポーネント120により検出される視覚焦点情報は、第1計算デバイス108および第2計算デバイス110へ入力することができる。例として、焦点追跡コンポーネント120は、センサー116からの出力を分析して、ユーザー106の視覚焦点が第1ディスプレイ上にあるか(点線122で表す)又は第2ディスプレイ上にあるか(点線124で表す)を、検出することができる。焦点追跡コンポーネント120により生成された視覚焦点情報は、1組のディスプレイの中から、ユーザー106が視覚焦点を合わせている特定のディスプレイを明示することができる。従って、例えば、視覚焦点情報は、ユーザー106が、1組のディスプレイ(例えば、図1に示す例では、1組のディスプレイは、第1ディスプレイ102と第2ディスプレイ104とを含む)のうちの第1ディスプレイ102または第2ディスプレイ104の何れかに対して視覚焦点を合わせていることを、明示することができる。別の実施形態に従うと、焦点追跡コンポーネント120により検出された視覚焦点情報は、ユーザー106が特定のディスプレイに対して視覚焦点を合わせていること又は合わせていないことを、明示することができる。この例を続けると、第1計算デバイス108へ入力された視覚焦点情報は、ユーザー106が第1ディスプレイ102へ視覚焦点を合わせていること又は合わせていないことを、示すことができる(例えば、ユーザー106が第1ディスプレイ102へ視覚焦点を合わせていないということは、ユーザー106が第2ディスプレイ104へ視覚焦点を合わせているときや、ユーザー106が第1ディスプレイ102にも第2ディスプレイ104にも視覚焦点を合わせていないときを含む)。
[0023] 焦点追跡コンポーネント120は、センサー116からの出力に対して実質的に任意の追跡技術を用いて、視覚焦点情報を生成することができる。焦点追跡コンポーネント120により使用できる可能な追跡技術の例は、目の追跡、頭の追跡、および動きの追跡を含む。しかし、特許請求される主題事項が上記の例に限定されないことと、他の追跡技術も特許請求の範囲の範囲内にあると意図されてるいこととが、理解される。更に、焦点追跡コンポーネント120は、視覚焦点情報を検出するために、第1ディスプレイ102と第2ディスプレイ104との相対位置を識別する情報を用いることができる。
[0024] 1つの例に従うと、焦点追跡コンポーネント120は、センサー116からの出力における目の追跡を用いて、視覚焦点情報(例えば、ユーザー106の追跡された目の焦点)を作成することができる。この例を続けると、焦点追跡コンポーネント120は、目の位置及び/又は目の動きを特定して、ユーザー106の注視点(例えば、ユーザー106が見ている場所)を検出することができる。即ち、焦点追跡コンポーネント120は、ユーザー106の注視点が特定のディスプレイ上(例えば、第1ディスプレイ102上、第2ディスプレイ104上など)にあるか、または第1ディスプレイ102上に無いかや、第2ディスプレイ104に無いかを、追跡することができる。更に、焦点追跡コンポーネント120は、特定のディスプレイ上におけるユーザー106の注視点の場所、ユーザー106の注視点がその場所にあった時間、ユーザー106の注視点がその特定のディスプレイ上にあった時間などを、追跡することができる。
[0025] また、焦点追跡コンポーネント120は、例えば、ユーザー106の視覚焦点が特定のディスプレイ上にあった時間と、最小スレッショルド時間とを、比較することができる。例によると、ユーザー106の視覚焦点は、第2ディスプレイ104から第1ディスプレイ102へと移動し、最小スレッショルド時間よりも短い時間だけ第1ディスプレイ102にとどまり、第1ディスプレイ102から第2ディスプレイ104へ戻るように移動することがあり得る。この例を続けると、視覚焦点が第1ディスプレイ102上にとどまる時間が最小スレッショルド時間よりも短いので、焦点追跡コンポーネント120は、ユーザー106の視覚焦点が第1ディスプレイ102上へと変更されているということを明示するために視覚焦点情報を切り換えることを、禁止することができる。代替的に、上記の例において、視覚焦点が第1ディスプレイ102上にとどまる時間が最小スレッショルド時間を超える場合、焦点追跡コンポーネント120は、ユーザー106の視覚焦点が、第1ディスプレイ102上へと変更されたことと、その後に第2ディスプレイ104上へ戻るように変更されたこととを明示する視覚焦点情報を、出力することができる。しかし、特許請求される主題事項が上記の例に限定されないことは、理解される。
[0026] 図1に示すように、焦点追跡コンポーネント120は、センサー116から分離することができる。しかし、別の例に従うと、センサー116は焦点追跡コンポーネント120を含むことができる。別の例に従うと、第1計算デバイス108及び/又は第2計算デバイス110は、焦点追跡コンポーネント120を含むことができる。例えば、第1計算デバイス108が焦点追跡コンポーネント120を含む場合、それにより生成される視覚焦点情報を、第1コラボレーション・コンポーネント112により第2計算デバイス110(例えば、第2コラボレーション・コンポーネント114)へ送ることができる(またはその逆を行うことができる)。更に、第1計算デバイス108と第2計算デバイス110との双方が焦点追跡コンポーネント120を含む場合、第1コラボレーション・コンポーネント112と第2コラボレーション・コンポーネント114とが共に働いて視覚焦点情報を生成することができる。
[0027] 例えば、第1計算デバイス108と第2計算デバイス110とは、焦点追跡コンポーネント120から視覚焦点情報を受け取ることができる。しかし、第2計算デバイス110が視覚焦点情報を受け取る必要がないことことも、考慮されている。更に、第1計算デバイス108は制御コンポーネント126を含み、制御コンポーネント126は、焦点追跡コンポーネント120から受け取った視覚焦点情報に基づいて第1ディスプレイ102を制御する。制御コンポーネント126は、第1ディスプレイ102を介してユーザー106から受け取り可能なタイプの入力を、視覚焦点情報の関数として制御することができる。更に又は代替的に、制御コンポーネント126は、第1ディスプレイ102においてレンダリングされるコンテンツを、視覚焦点情報の関数として制御することができる。制御コンポーネント126は、ユーザー106の視覚焦点が変更されると、第1ディスプレイ102を介して受け取り可能なタイプの入力、及び/又は第1ディスプレイ102を介して呈示されるコンテンツを、変更することができる。即ち、制御コンポーネント126は、ユーザー106が注視している場所に基づいて、第1ディスプレイ102の機能を変更することができる。
[0028] 以下の例示的シナリオは、制御コンポーネント126の動作を例示すために示される。しかし、特許請求される主題事項が以下の例示的シナリオに限定されないことは、理解される。このシナリオに従うと、第2計算デバイス110はアプリケーションを実行することができ、第1計算デバイス108は、第2計算デバイス110により実行されるアプリケーションを補足するコンパニオン・アプリケーションを実行することができる。制御コンポーネント126が、ユーザー106が第1ディスプレイ102へ視覚焦点を合わせていること(例えば、点線122で表す)を明示する視覚焦点情報を受け取ると、第1ディスプレイ102を、コンパニオン・アプリケーションに関して最適化することができる。代替的に、制御コンポーネント126が、ユーザー106が第2ディスプレイ104へ視覚焦点を合わせていること(またはディスプレイ102に焦点を合わせていないこと、異なるディスプレイ(示さず)に焦点を合わせていることなど)を明示する視覚焦点情報を受け取ると、第1ディスプレイ102を、アプリケーションに関して最適化することができる。更に、制御コンポーネント126は、視覚焦点情報の変化に応じて、第1ディスプレイ102が、コンパニオン・アプリケーションに関して最適化されている状態とアプリケーションに関して最適化されている状態との間で移り変わるようにする。
[0029] 以下に、前記の例示的シナリオを例示する。例えば、テレビ番組を、アプリケーションを実行する第2計算デバイス110により、第2ディスプレイ104上でレンダリングすることができ、第1計算デバイス108により実行されるコンパニオン・アプリケーションを、番組ガイドと関連付けすることができる。従って、制御コンポーネント126が、ユーザー106が第1ディスプレイ102へ視覚焦点を合わせていること(例えば、点線122で示す)を明示する視覚焦点情報を受け取ると、第1ディスプレイ102を、番組ガイドに関して最適化することができる(例えば、第1ディスプレイ102は、番組ガイドと関連するコンテンツをレンダリングすることができ、第1ディスプレイ102は、番組ガイドと関連する入力を受け取るように構成することができるなど)。例として、第1ディスプレイ102は、第2ディスプレイ104でレンダリングされているテレビ番組についての豊富なメタデータをレンダリングすることができ、ユーザー106から受け取り可能なタイプの入力は、番組ガイドの詳細な操作(例えば、第1ディスプレイ102でレンダリングされる特定のチャンネルを選択する)などを可能にすることができる。更に、制御コンポーネント126が、ユーザー106が第2ディスプレイ104へ視覚焦点を合わせていること(例えば、点線124で示す)を明示する視覚焦点情報を受け取ると、第1ディスプレイ102を、テレビ番組に関して最適化することができる(例えば、第1ディスプレイ102を、第2ディスプレイ104でテレビ番組を見ることと関連する入力を受け取るように、構成することができる)。例えば、第1ディスプレイ102を介してユーザー106から受け取り可能なタイプの入力は、チャンネルを変更させたり音量を調節させたりする大まかなジェスチャーとすることができる。
[0030] 更に、状況依存(context sensitive)コンテンツを、第1ディスプレイ102でレンダリングすることができる。例えば、第1コラボレーション・コンポーネント112は、第2コラボレーション・コンポーネント114から、第2ディスプレイ104(または第2計算デバイス110)と関連するコンテキスト情報を受け取ることができる。コンテキスト情報は、ユーザー106が最後にインタラクションした場所と関係し得る。しかし、特許請求される主題事項は、これには限定されない。第1コラボレーション・コンポーネント112(及び/又は制御コンポーネント126)は、受け取った視覚焦点情報が、ユーザー106が第1ディスプレイ102へ視覚焦点を合わせていることを明示する場合、第1ディスプレイ102でレンダリングされるコンテンツを、第2ディスプレイ104と関連するコンテキスト情報の関数として、識別することができる。更に、制御コンポーネント126は、視覚焦点情報が、ユーザー106が第1ディスプレイ102へ視覚焦点を合わせていることを明示する場合、第1ディスプレイ102のコンテキスト情報の関数として識別されたコンテンツをレンダリングすることができる。
[0031] 更なる例に従うと、第2計算デバイス110は、図1に示す制御コンポーネント126と類似の制御コンポーネントを欠くことがある。例に従うと、第1ディスプレイ102を、タブレット・コンピューター(例えば、第1計算デバイス108)のタッチ対応ディスプレイとすることができ、第2ディスプレイ104を、デスクトップ・コンピューター(例えば、第2計算デバイス110)の外部ディスプレイとすることができる。この例を続けると、タッチ対応ディスプレイの機能を、制御コンポーネント126により、視覚焦点情報の関数として変化させることができることと、外部ディスプレイの機能を、視覚焦点情報とは関係無しに静的にとどめることができることとが、考慮されている。なお、特許請求される主題事項は、上記の例には限定されない。
[0032] 別の例に従うと、示していないが、第2計算デバイス110が、第1計算デバイス108の制御コンポーネント126と類似の制御コンポーネントを含み得ることが、考慮されている。第2計算デバイス110のそのような制御コンポーネントは、焦点追跡コンポーネント120から受け取った視覚焦点情報に基づいて、第2ディスプレイ104を制御することができる。従って、制御コンポーネント126による第1ディスプレイ102の制御と同様に、第2ディスプレイ104を介してユーザー106から受け取り可能なタイプの入力、及び/又は第2ディスプレイ104でレンダリングされるコンテンツを、第2計算デバイス110の制御コンポーネントにより制御することができる。別の例では、第1ディスプレイ102と第2ディスプレイ104との双方を、それぞれのタブレット・コンピューター(例えば、第1計算デバイス108と第2計算デバイス110)のタッチ対応ディスプレイとすることができる。この例に従うと、第1ディスプレイ102と第2ディスプレイ104との機能を、それぞれ、視覚焦点情報に基づいて、制御コンポーネント126と第2計算デバイス110の制御コンポーネント(示さず)とにより、変化させることができる。再度述べるが、特許請求される主題事項が上記の例には限定されないことに、留意されたい。
[0033] 図1では、システム100が、2個のディスプレイ(例えば、第1ディスプレイ102と第2ディスプレイ104)とそれぞれインターフェースする2個の計算デバイス(例えば、第1計算デバイス108と第2計算デバイス110)を含むことを示し、2個の計算デバイスは互いにインタラクションする。しかし、システム100に、2個より多くのディスプレイ及び/又は1個以上の計算デバイス110(例えば、システム100は、第2計算デバイス110を含む必要がないこともあり得る)を含められることが、理解される。例(示さず)として、システム100は、第3ディスプレイと第3計算デバイスとを含むことができる。この例を続けると、第3計算デバイスは、第3ディスプレイとインターフェースすることができる。更に、第3計算デバイスは、第1計算デバイス108および第2計算デバイス110とインタラクションすることができる。別の例(示さず)に従うと、システム100は、更に又は代替的に、第4ディスプレイを含むことができる。この例に従うと、第1計算デバイス108と第2計算デバイス110との何れかが、第4ディスプレイとインターフェースすることができ、従って、2個より多くのディスプレイを、共有される計算デバイスにより駆動することができる。この例に従った例示として、第1計算デバイス108は、第1ディスプレイ102および第4ディスプレイとインターフェースすることができる。即ち、制御コンポーネント126は、焦点追跡コンポーネント120から受け取った視覚焦点情報に基づいて、第1ディスプレイ102および第4ディスプレイを制御することができる。
[0034] 図2を参照すると、レンダリングされたコンテンツ及び/又はディスプレイ202を介して受け取り可能なタイプの入力を、ユーザーの視覚焦点に基づいて制御するシステム200が示されている。システム200は、ディスプレイ202および異なるディスプレイ204(例えば、図1の第1ディスプレイ102および第2ディスプレイ104)を含み、これらは、ディスプレイの組206に含まれている。1つの例に従うと、ディスプレイ202および異なるディスプレイ204は、異なる計算デバイス(例えば、図1の第1計算デバイス108および第2ディスプレイ104のそれぞれ)とインターフェースすることができ、それらの異なる計算デバイスは、互いにインターフェースする。別の例に従うと、ディスプレイ202および異なるディスプレイ204は、共有される計算デバイスとインターフェースすることができる(例えば、図1の計算デバイス108は、ディスプレイ202および異なるディスプレイ204の双方とインターフェースすることができる)。
[0035] 更に、システム200は制御コンポーネント126を含み、制御コンポーネント126は視覚焦点情報208を受け取る(例えば、図1の焦点追跡コンポーネント120から)。焦点追跡コンポーネント120は、ディスプレイの組206から、ユーザー(例えば、図1のユーザー106)が視覚焦点を合わせている特定のディスプレイを明示することができる。制御コンポーネント126は、視覚焦点情報208に基づいてディスプレイ202を制御する。更に、制御コンポーネント126はまた、ディスプレイ202および異なるディスプレイ204が共有計算デバイスとインターフェースする場合、異なるディスプレイ204を制御することができる。示していないが、計算デバイス(例えば、図1の第1計算デバイス108)が制御コンポーネント126を含み得ることは、理解される。しかし、特許請求される主題事項はそのように限定されない。
[0036] 制御コンポーネント126は、コンテンツ管理コンポーネント210と入力管理コンポーネント212とを更に含むことができる。コンテンツ管理コンポーネント210は、ディスプレイ202でレンダリングされるコンテンツを、視覚焦点情報208の関数として制御する。更に、入力管理コンポーネント212は、ディスプレイ202を介してユーザーから受け取り可能なタイプの入力を、視覚焦点情報208の関数として制御する。更に、ディスプレイ204と、異なるディスプレイ204とが、共有計算デバイスとインターフェースする場合、コンテンツ管理コンポーネント210と入力管理コンポーネント212とは、ディスプレイ204でレンダリングされるコンテンツと、異なるディスプレイ204を介してユーザーから受け取り可能なタイプの入力とを、視覚焦点情報208の関数として、同様に制御することができる。
[0037] 1つの例に従うと、コンテンツ管理コンポーネント210は、ディスプレイ202を制御して、視覚焦点情報208に基づいて、コンテンツを選択的にレンダリングすること又はレンダリングを禁止することができる。この例を続けると、コンテンツ管理コンポーネント210は、視覚焦点情報208が、ユーザーがディスプレイ202へ視覚焦点を合わせていることを明示するときに、ディスプレイ202でコンテンツをレンダリングすることができる。代替的に、コンテンツ管理コンポーネント210は、視覚焦点情報208が、ディスプレイの組206のうちのユーザーの視覚焦点が合わされている特定のディスプレイがディスプレイ202とは異なることを明示するとき(例えば、視覚焦点情報208が、ディスプレイの組206の中の異なるディスプレイ204または別のディスプレイ(示さず)へユーザーの視覚焦点が合わされていることを明示するとき)、ディスプレイ202でのコンテンツのレンダリングを禁止することができる。
[0038] 別の例として、コンテンツ管理コンポーネント210は、視覚焦点情報208の関数として、ディスプレイ202でレンダリングされるコンテンツの粒度を選択することにより、ディスプレイ202を制御することができる。更に、コンテンツ管理コンポーネント210は、選択された粒度を用いてディスプレイ202でコンテンツをレンダリングすることができる。例えば、視覚焦点情報208が、ユーザーがディスプレイ202へ視覚焦点を合わせていることを明示するとき、ディスプレイ202でレンダリングされるコンテンツの粒度に関して、詳細である度合を高くすることができる。更に、視覚焦点情報208が、ディスプレイの組206のうちのユーザーの視覚焦点が合わせている特定のディスプレイがディスプレイ202とは異なることを明示するとき(例えば、視覚焦点情報208が、ディスプレイの組206の中の異なるディスプレイ204または別のディスプレイ(示さず)へユーザーの視覚焦点が合わされていることを明示するとき)、ディスプレイ202でレンダリングされるコンテンツの粒度に関して、詳細である度合を低くすることができる。例示に従うと、詳細である度合を低くされたコンテンツは、ディスプレイ202がユーザーの周辺視野(例えば、注視の中心の外側にある視野の一部)にある場合に、情報を運ぶため又はユーザーの視覚焦点をキャプチャするために、用いることができる。
[0039] 更に、視覚焦点情報208が、ユーザーがディスプレイ202へ視覚焦点を合わせていることを明示する場合、コンテンツ管理コンポーネント210は、異なるディスプレイ204でレンダリングされるコンテンツと関連するディスプレイ202のコンテンツを、レンダリングすることができる。例えば、コンテンツ管理コンポーネント210によりディスプレイ202でレンダリングされるコンテンツは、異なるディスプレイ204でレンダリングされるコンテンツ、異なるディスプレイ204でレンダリングされるコンテンツの異なるビュー、異なるディスプレイ204でレンダリングされるコンテンツと関連するメタデータ、異なるディスプレイ204でレンダリングされるコンテンツと関連するプロパティ・グリッド(例えば、ディスプレイ202への入力を介して、プロパティ・グリッドのプロパティを変えることができるなど)などとすることができる。例示に従うと、視覚焦点情報208が、異なるディスプレイ204へユーザーが視覚焦点を合わせていることを明示する場合、異なるディスプレイ204でビデオをレンダリングすることができる(例えば、停止、開始、後方へのスキップ、前方へのスキップなどのために、大まかなジェスチャーをディスプレイ202へ入力することができる)。この例示を続けると、視覚焦点情報208が、ユーザーがディスプレイ202へ視覚焦点を合わせていることを明示する場合、コンテンツ管理コンポーネント210は、ディスプレイ202で、ビデオ・ストリームの特定のフレーム、ビデオ・ストリームのスライス、または同様のものをレンダリングすることができる。
[0040] 更に、入力管理コンポーネント212は、視覚焦点情報208の関数として、様々なタイプの入力を受け取るようにディスプレイ202を構成することができる。例示として、視覚焦点情報208が、ユーザーがディスプレイ202へ視覚焦点を合わせていることを明示する場合、入力管理コンポーネント212により構成されたように、ディスプレイ202を介してユーザーから受け取り可能なタイプの入力をディスプレイ202と関連させることができる。代替的には、視覚焦点情報208が、ユーザーが異なるディスプレイ204へ視覚焦点を合わせていることを明示する場合、入力管理コンポーネント212により構成されたように、ディスプレイ202を介してユーザーから受け取り可能なタイプの入力を異なるディスプレイ204と関連させることができる。
[0041] 更に、入力管理コンポーネント212は、視覚焦点情報208に基づいて、別の組の入力タイプを受け取るように、ディスプレイ202を構成することができる。例示として、異なるディスプレイ204でスライドショーをレンダリングすることができる。視覚焦点情報208が、ユーザーが異なるディスプレイ204へ視覚焦点を合わせていることを明示する場合、入力管理コンポーネント212は、異なるディスプレイ204でレンダリングされるスライドショーを、前方または後方へ1スライド動かすことと関連する入力を受け取るように、ディスプレイ202を構成することができる。更に、視覚焦点情報208が、ユーザーがディスプレイ202へ視覚焦点を合わせていることを明示する場合、入力管理コンポーネント212は、複数のタイプの入力からなる大きい組(例えば、1スライドだけ前方または後方へ移動、ジャンプ先となるスライドをスライドショーから選択、ディスプレイ202でレンダリングされるスライド・カルーセルを操作、ディスプレイ202でレンダリングされるノートをナビゲーションなど)と関連する入力を受け取るように、ディスプレイ202を構成することができる。しかし、特許請求される主題事項が上記の例には限定されないことが、理解される。
[0042] 図3ないし図6は、複数のディスプレイを含む環境において、視覚焦点に基づいてディスプレイ機能を制御するシステム300の使用を示す例示的シナリオを示す。例示的シナリオに示すように、システム200は、タッチ対応ディスプレイ302(例えば、図1の第1ディスプレイ102、図2のディスプレイ202など)と、ディスプレイ304(例えば、図1の第2ディスプレイ104、図2の異なるディスプレイ204など)と、センサー306(例えば、図1のセンサー116)とを含む。1つの例に従うと、タッチ対応ディスプレイ302は、タブレット・コンピューター、スマートフォンなどに含まれることができ、ディスプレイ304は、デスクトップ・コンピューターの外部ディスプレイとすることができる。別の例では、タッチ対応ディスプレイ302およびディスプレイ304は、共有計算デバイスとインターフェースすることができる。例示的シナリオは、ユーザー308の視覚焦点の関数として、タッチ対応ディスプレイ302が変化することを示す。図3ないし図6に示すように、タッチ対応ディスプレイ302は、ユーザー308がディスプレイ304へ視覚焦点を合わせているときに、ディスプレイ304のための専用の入力デバイスであることと、ユーザー308がタッチ対応ディスプレイ302へ視覚焦点を合わせているときに、コンテンツをレンダリングする入力デバイスおよび出力デバイスであることとの間で、切り替わることができる。図3ないし図6の例示的シナリオは例示目的で提供さており、特許請求の範囲を限定することを意図していないことが、理解される。
[0043] 図3に示すように、ユーザー308は、ディスプレイ304へ視覚焦点を合わせており(例えば、点線310で表す)、これを、センサー306からの出力に基づいて検出することができる。ユーザー308の視覚焦点はディスプレイ304上にあるが、ユーザー308は、タッチ対応ディスプレイ302を用いるものとして示されている。図4は、図3に示すシステム300の別の透視図を示す。ユーザー308がディスプレイ304(ディスプレイ304でレンダリングされているコンテンツ)へ視覚焦点を合わせていることが検出された場合、タッチ対応ディスプレイ302は、専用の入力デバイスである。例えば、ユーザー308がディスプレイ304へ視覚焦点を合わせていることが検出された場合、タッチ対応ディスプレイ302は、ユーザー308から、タッチに基づく入力を受け取ることができ、その入力は、ディスプレイ304でレンダリングされるコンテンツの操作やナビゲーションなどのために用いることができる。例示したように、ユーザー308の視覚焦点がディスプレイ304上にあることが検出された場合、コンテンツがタッチ対応ディスプレイ302でレンダリングされることが、禁止される。別の例(示さず)に従うと、ユーザー308の視覚焦点がディスプレイ304上にあることが検出された場合、コンテンツをタッチ対応ディスプレイ302でレンダリングすることができる。しかし、ユーザー308の視覚焦点がディスプレイ304上にあることが検出された場合にタッチ対応ディスプレイ302でレンダリングされるコンテンツは、ユーザー308の視覚焦点がタッチ対応ディスプレイ302上にあることが検出された場合のタッチ対応ディスプレイ302でレンダリングされるコンテンツとは、異なり得る。
[0044] ここで図5を参照すると、ユーザー308はタッチ対応ディスプレイ302へ視覚焦点を合わせており(例えば、点線502で表す)、これを、センサー306からの出力に基づいて検出することができる。ユーザー308は、タッチ対応ディスプレイ302へ視覚焦点を合わせており、タッチ対応ディスプレイ302を用いるものとして示されている。図6は、図5に示すシステム300の別の透視図を示す。ユーザー308がタッチ対応ディスプレイ302へ視覚焦点を合わせていることが検出された場合、タッチ対応ディスプレイ302はコンテンツをレンダリングする。更に、ユーザー308がタッチ対応ディスプレイ302へ視覚焦点を合わせていることが検出された場合、タッチ対応ディスプレイ302は、ユーザー308から、タッチに基づく入力を受け取ることができ、その入力は、タッチ対応ディスプレイ302でレンダリングされるコンテンツの操作やナビゲーションなどのために用いることができる。
[0045] 1つの例に従うと、図3および図4に示すように、ユーザー308はディスプレイ304へ視覚焦点を合わせることができる。ユーザー308の視覚焦点がディスプレイ304上にあるとき、ディスプレイ304でコンテンツがレンダリングされ、ユーザー308は、タッチ対応ディスプレイ302を操作して、ディスプレイ304でレンダリングされるコンテンツを操作することができる。ユーザー308が、図5および図6に示すように、ユーザー308の焦点をタッチ対応ディスプレイ302へと変更すると、タッチ対応ディスプレイ302は、ディスプレイ304でレンダリングされるコンテンツのプロパティと関連するコンテンツをレンダリングすることができる。更に、ユーザー308の視覚焦点がタッチ対応ディスプレイ302にとどまっている場合、ディスプレイ304でレンダリングされるコンテンツのプロパティは、タッチ対応ディスプレイ302を介して受け取った入力に基づいて操作することができる。その後、ユーザー308は、図3および図4に示すように、ユーザー308の視覚焦点をディスプレイ304へ戻すことができ、操作されたプロパティの明示(manifestation)がディスプレイ304に表示され得る。
[0046] 図7および図8は、複数のディスプレイを含む環境において、視覚焦点に基づいて、ディスプレイでレンダリングされるコンテンツを制御するシステム700の使用を示す例示的シナリオを示す。例示的シナリオは、システム700がディスプレイ702、ディスプレイ704、およびディスプレイ706(例えば、集合的にディスプレイ702−706という)を含むことを示す。1つの例に従うと、様々な計算デバイスが、それぞれ、ディスプレイ702、ディスプレイ704、およびディスプレイ706とインターフェースすることができ(例えば、計算デバイスAはディスプレイ702とインターフェースすることができ、計算デバイスBはディスプレイ704とインターフェースすることができ、計算デバイスCはディスプレイ706とインターフェースすることができる)、それらの計算デバイスは互いにインタラクションすることができる。別の例では、計算デバイスAは、ディスプレイ702−706のうちの2個のものとインターフェースすることができ、計算デバイスBは、ディスプレイ702−706のうちの残りの1個とインターフェースすることができ、計算デバイスAと計算デバイスBとはインタラクションする。例示的シナリオは、ユーザー710の視覚焦点の関数として、ディスプレイ702およびディスプレイ706でレンダリングされるコンテンツが変化することを示している。示していないが、同様に、ディスプレイ704でレンダリングされるコンテンツも、ユーザー710の視覚焦点に基づいて変化することが、考慮されている。しかし、図7および図8の例示的シナリオは例示目的で提供しており、特許請求される主題事項がそのように限定されないことは、理解される。
[0047] 図7に示すように、ユーザー710は、ディスプレイ702へ視覚焦点を合わせており(例えば、点線712で表す)、これを、センサー708からの出力に基づいて検出することができる。更に、図8では、ユーザー710は、ディスプレイ706へ視覚焦点を合わせており(例えば、点線802で表す)、これを、センサー708からの出力に基づいて検出することができる。図7および図8は、ユーザー710の視覚焦点の関数として変化する、ディスプレイ702およびディスプレイ706によりレンダリングされたコンテンツを示す。より特定的には、ユーザー710の視覚焦点がディスプレイ702上にあるとき(例えば、図7に示す)には、ユーザー710の視覚焦点がディスプレイ706上にあるとき(例えば、図8に示す)と比べて、ディスプレイ702でレンダリングされるコンテンツに関して、詳細である度合を高くすることができる。同様に、ユーザー710の視覚焦点がディスプレイ706上にあるとき(例えば、図8に示す)には、ユーザー710の視覚焦点がディスプレイ702上にあるとき(例えば、図7に示す)と比べて、ディスプレイ706でレンダリングされるコンテンツに関して、詳細である度合を高くすることができる。
[0048] 1つの例に従うと、ディスプレイでレンダリングされるコンテンツは、ユーザー710の視覚焦点がそのディスプレイから離れるように移動したときに、詳細である度合を低くすることができる。同様に、ディスプレイでレンダリングされるコンテンツは、ユーザー710の視覚焦点がそのディスプレイへ向けて移動したときに、詳細である度合を高くすることができる(例えば、凝縮するなど)。更に、ディスプレイがユーザー710の周辺視野にある場合、詳細である度合を低くしたコンテンツを、情報を運ぶため又はユーザー710の視覚焦点をキャプチャするために用いることができる。別の例では、ユーザー710の周辺視野に位置するディスプレイでレンダリングされる詳細である度合を低くしたコンテンツを、ディスプレイで呈示される色にすることができる。しかし、特許請求される主題事項はそのように限定されない。
[0049] 図9および図10は、結合されたディスプレイの視覚焦点ベースの制御と関連する例示的方法を示す。方法は、順に行われる一連の動作として示され説明されるが、方法が一連の順に限定されないことが理解および解釈される。例えば、幾つかの動作は、ここで説明する順とは異なる順で行うことができる。更に、或る動作と別の動作とを同時に行うこともできる。更に、幾つかの場合には、ここで説明する方法の実施において、全ての動作が必要ではない場合もあり得る。
[0050] 更に、ここで説明する動作は、1以上のプロセッサーによりインプリメントでき、且つ/又は1以上のコンピューター読取可能媒体に格納できるコンピューター実行可能命令とすることができる。コンピューター実行可能命令は、ルーチン、サブルーチン、プログラム、実行のスレッドなどを含むことができる。更に、方法の動作の結果を、コンピューター読取可能媒体へ格納すること、ディスプレイ・デバイスで表示することなどが可能である。
[0051] 図9は、第1ディスプレイの機能を制御するための方法900を示す。902において、一組のディスプレイの中からユーザーにより視覚焦点が合わされる特定のディスプレイを指定する視覚焦点情報を、受け取る。一組のディスプレイは、少なくとも、第1ディスプレイと第2ディスプレイとを含む。更に、第1計算デバイスは第1ディスプレイとインターフェースすることができ、第2計算デバイスは第2ディスプレイとインターフェースすることができる。更に、第1計算デバイスは第2ディスプレイとインタラクションを行うことができる。1つの例に従うと、一組のディスプレイの中からユーザーにより視覚焦点が合わされる特定のディスプレイを指定する視覚焦点情報は、センサーの出力から検出することができる。例示として、視覚焦点情報は、センサーの出力に関して目の追跡、頭の追跡、動きの追跡などを行うことにより、検出することができる。
[0052] 902において第1ディスプレイを介してユーザーから受け取り可能なタイプの入力と、第1ディスプレイでレンダリングされるコンテンツとのうちの少なくとも1つを、視覚焦点情報の関数として制御することができる。例として、視覚焦点情報が、ユーザーが第1ディスプレイへ視覚焦点を合わせていることを明示するときに、第1ディスプレイでコンテンツをレンダリングすることができ、視覚焦点情報が、一組のディスプレイのうちのユーザーの視覚焦点が合わされている特定のディスプレイが第1ディスプレイとは異なることを明示するとき、第1ディスプレイでのコンテンツのレンダリングを禁止することができる。別の例に従うと、第1ディスプレイでレンダリングされるコンテンツの粒度を、視覚焦点情報の関数として選択することができ、選択された粒度を用いて第1ディスプレイでコンテンツをレンダリングすることができる。この例を続けると、視覚焦点情報が、ユーザーが第1ディスプレイへ視覚焦点を合わせていることを明示するとき、コンテンツの粒度に関して、詳細である度合を高くすることができ、視覚焦点情報が、一組のディスプレイのうちのユーザーの視覚焦点が合わせている特定のディスプレイが第1ディスプレイとは異なることを明示するとき、コンテンツの粒度に関して、詳細である度合を低くすることができる。更に別の例に従うと、視覚焦点情報が、ユーザーが第1ディスプレイへ視覚焦点を合わせていることを明示する場合、第1ディスプレイを介してユーザーから受け取り可能なタイプの入力を、第1ディスプレイと関連させることができ、視覚焦点情報が、ユーザーが第2ディスプレイへ視覚焦点を合わせていることを明示する場合、第1ディスプレイを介してユーザーから受け取り可能なタイプの入力を、第2ディスプレイと関連させることができる。
[0053] 更なる例に従うと、第2ディスプレイと関連するコンテキスト情報を受け取ることができる。更に、視覚焦点情報が、ユーザーが第1ディスプレイへ視覚焦点を合わせていることを明示する場合、第1ディスプレイでレンダリングされるコンテンツを、第2ディスプレイと関連するコンテキスト情報の関数として識別することができる。更に、視覚焦点情報が、ユーザーが第1ディスプレイへ視覚焦点を合わせていることを明示する場合、コンテキスト情報の関数として識別されたコンテンツを、第1ディスプレイでレンダリングすることができる。
[0054] 1つの例に従うと、一組のディスプレイが少なくとも第3ディスプレイを更に含み得ることが、考慮される。この例を続けると、第3計算デバイスは、第3ディスプレイとインターフェースすることができる。更に、第3計算デバイスは、第1計算デバイスおよび第2計算デバイスとインタラクションすることができる。
[0055] 別の例では、一組のディスプレイが少なくとも第4ディスプレイを更に含み得ることが理解される。この例に従うと、第1計算デバイスまたは第2計算デバイスは、第4計算デバイスとインターフェースすることができる。
[0056] また、第1計算デバイスが、第2計算デバイスにより実行されるアプリケーションを補足するコンパニオン・アプリケーションを実行することができることが、考慮されている。更に、視覚焦点情報が、ユーザーが第1ディスプレイへ視覚焦点を合わせていることを明示する場合、第1ディスプレイを、コンパニオン・アプリケーションに関して最適化することができる。更に、視覚焦点情報が、一組のディスプレイのうちのユーザーの視覚焦点が合わされている特定のディスプレイが第1ディスプレイとは異なることを明示する場合、第1ディスプレイを、アプリケーションに関して最適化することができる。
[0057] 別の例に従うと、第1ディスプレイは、専用の入力デバイスであることと、コンテンツをレンダリングする入力デバイスおよび出力デバイスであることとの間で、切り替わることができる。例えば、第1ディスプレイは、視覚焦点情報が、ユーザーが第2ディスプレイへ視覚焦点を合わせていることを明示する場合、第2ディスプレイのための専用の入力デバイスとすることができ、視覚焦点情報が、ユーザーが第1ディスプレイへ視覚焦点を合わせていることを明示する場合、コンテンツをレンダリングする入力デバイスおよび出力デバイスとすることができる。更に、第1ディスプレイは、タッチ対応ディスプレイとすることができる。
[0058] 別の例に従うと、視覚焦点情報が、ユーザーが第1ディスプレイへ視覚焦点を合わせていることを明示する場合、第1ディスプレイでコンテンツをレンダリングすることができる。この例を続けると、第1ディスプレイでレンダリングされるコンテンツは、第2ディスプレイでレンダリングされる異なるコンテンツのプロパティと関連させることができる。更に、視覚焦点情報が、ユーザーが第1ディスプレイへ視覚焦点を合わせていることを明示する場合、第2ディスプレイでレンダリングされる異なるコンテンツのプロパティは、第1ディスプレイを介して受け取った入力に基づいて操作することができる。従って、視覚焦点情報が、ユーザーが第2ディスプレイへ視覚焦点を合わせていることを明示する場合、操作された異なるコンテンツのプロパティの明示を、第2ディスプレイに表示することができる。
[0059] 図10を参照すると、複数のディスプレイを含む環境においてタッチ対応ディスプレイを制御するための方法1000が示されている。1002において、ユーザーの視覚焦点が第1ディスプレイ上にあることを、識別することができる。例えば、第1ディスプレイはタッチ対応ディスプレイとすることができる。更に、第1計算デバイスは、第1ディスプレイとインターフェースすることができ、第2計算デバイスは第2ディスプレイとインターフェースすることができる。更に、第1計算デバイスは第2計算デバイスとインタラクションすることができる。1つの例に従うと、ユーザーの視覚焦点を明示するものである受け取った視覚焦点情報から、ユーザーの視覚焦点が第1ディスプレイ上にあることを識別することができる。別の例に従うと、センサーからの出力を分析することによりユーザーの視覚焦点を検出して、ユーザーの視覚焦点が第1ディスプレイ上にあることを識別することができる。
[0060] 1004において、ユーザーの視覚焦点が第1ディスプレイ上にあることに基づいて、第1ディスプレイでコンテンツをレンダリングすることができる。1006において、ユーザーの視覚焦点が第1ディスプレイ上にあることに基づいて、第1ディスプレイを、第1ディスプレイでレンダリングされるコンテンツを操作する第1のタイプの入力を受け取るように、構成することができる。1008において、ユーザーの視覚焦点が第2ディスプレイへ切り替わったことを識別することができる。1010において、ユーザーの視覚焦点が第2ディスプレイへ切り替わったことに基づいて、第1ディスプレイでのコンテンツのレンダリングを禁止することができる。1012において、ユーザーの視覚焦点が第2ディスプレイへ切り替わったことに基づいて、第1ディスプレイを、第2ディスプレイでレンダリングされる異なるコンテンツを操作する第2のタイプの入力を受け取るように、構成することができる。
[0061] 1つの例に従うと、ユーザーの視覚焦点が第1ディスプレイへ戻ったことを、識別することができる。この例を続けると、ユーザーの視覚焦点が第1ディスプレイへ戻ったことに基づいて、コンテンツを第1ディスプレイでレンダリングすることができる。更に、ユーザーの視覚焦点が第1ディスプレイへ戻ったことに基づいて、第1ディスプレイを、第1ディスプレイでレンダリングされるコンテンツを操作する第1のタイプの入力を受け取るように、構成することができる。
[0062] ここで図11を参照すると、ここで説明したシステムおよび方法に従って使用できる例示的計算デバイス1100の高レベルの図が示されている。例えば、計算デバイス1100は、ディスプレイを介してユーザーから受け取り可能なタイプの入力をユーザーの視覚焦点に基づいて制御するシステムで、使用することができる。別の例では、計算デバイス1100は、ディスプレイでレンダリングされるコンテンツをユーザーの視覚焦点に基づいて制御するシステムで、使用することができる。計算デバイス1100は、メモリ1104に格納された命令を実行する少なくとも1個のプロセッサー1102を含む。命令は、例えば、上述の1以上のコンポーネントにより行われるものとして説明した機能をインプリメントするための命令や、上述の1以上の方法をインプリメントするための命令とすることができる。プロセッサー1102は、システム・バス1106を用いてメモリ1104へアクセスすることができる。メモリ1104は、実行可能命令を格納することに加えて、ユーザーの視覚焦点情報、ディスプレイでレンダリングされるコンテンツ、ディスプレイの相対的位置を識別する情報なども、格納することができる。
[0063] 計算デバイス1100は、プロセッサー1102がシステム・バス1106を用いてアクセス可能なデータ・ストア1108を更に含む。データ・ストア1108は、実行可能命令、ユーザーの視覚焦点情報、ディスプレイでレンダリングされるコンテンツ、ディスプレイの相対的位置を識別する情報などを含むことができる。計算デバイス1100はまた、外部デバイスが計算デバイス1100と通信することを可能にする入力インターフェース1110を含む。例えば、入力インターフェース1110は、外部デバイスやユーザーなどから命令を受け取るために用いることができる。計算デバイス1100はまた、計算デバイス1100と1以上の外部デバイスとをインターフェースする出力インターフェース1112を含む。例えば、計算デバイス1100は、出力インターフェース1112を用いてテキストやイメージなどを表示することができる。
[0064] 更に、計算デバイス1100は、1つのシステムとして例示したが、分散型システムとすることもできることは、理解される。即ち、幾つかのデバイスを、ネットワーク接続により通信するようにでき、計算デバイス1100により行われるものとして説明したタスクを集団で行うようにすることができる。
[0065] ここで用いられる用語「コンポーネント」および「システム」は、コンピューター読取可能媒体を包含することを意図しており、コンピューター読取可能媒体は、プロセッサーにより実行されたときに特定の機能を行わせるコンピューター実行可能命令により構成される。コンピューター実行可能命令は、ルーチンや関数などを含むことができる。また、コンポーネントやシステムを、1つのデバイスにローカライズすることも、幾つかのデバイスにわたって分散させることもできることが、理解される。
[0066] 更に、ここで用いられる用語「例示的」は、「何かの例示または例として扱われる」を意味することを意図している。
[0067] ここでの様々な機能は、ハードウェア、ソフトウェア、またはそれらの任意の組み合わせによりインプリメントすることができる。ソフトウェアによりインプリメントする場合、機能は、コンピューター読取可能媒体上の1以上の命令またはコードとして、格納または送信することができる。コンピューター読取可能媒体はコンピューター読取可能ストレージ媒体を含む。コンピューター読取可能ストレージ媒体は、コンピューターによりアクセス可能な任意の使用可能な媒体である。限定ではなく例として、そのようなコンピューター読取可能ストレージ媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスク・ストレージ、磁気ディスク・ストレージまたは他の磁気ストレージ・デバイス、または命令またはデータの形態である望まれるプログラム・コードを搬送または格納するために使用でき且つコンピューターによりアクセスできる他の任意の媒体を含むことができる。ここで用いるディスク(diskおよびdisc)は、コンパクト・ディスク(CD)、レーザー・ディスク、光ディスク、デジタル・バーサタイル・ディスク(DVD)、フロッピー(登録商標)・ディスク、およびブルーレイ・ディスク(BD)を含み、disk(ディスク)は、通常、磁気的にデータを再生し、disc(ディスク)は、通常、レーザーを用いて光学的にデータを再生する。更に、伝播される信号は、コンピューター読取可能ストレージ媒体の範囲内に含まれていない。コンピューター読取可能媒体はまた、コンピューター・プログラムを或る場所から別の場所へ伝送することを容易にする任意の媒体を含む通信媒体を含む。例えば、接続は通信媒体であり得る。例えば、同軸ケーブル、光ファイバー・ケーブル、撚り線対、デジタル・サブスクライバー・ライン(DSL)、または赤外線や無線やマイクロ波などのようなワイヤレス技術を用いて、ソフトウェアが、ウェブサイト、サーバー、または他のリモート・ソースから送信される場合、同軸ケーブル、光ファイバー・ケーブル、撚り線対、デジタル・サブスクライバー・ライン(DSL)、または赤外線や無線やマイクロ波などのようなワイヤレス技術は、通信媒体の定義の中に含まれる。上記のものの組み合わせも、コンピューター読取可能媒体の範囲内に含まれるべきである。
[0068] 上記の記載は1以上の実施形態の例を含む。当然であるが、上記の構成の説明のために、上記のデバイスや方法の考えられ得る変更および代替の全てを記載することは、不可能である。しかし、当業者は、多くの更なる変更や様々な構成の置換が可能であることを、理解することができる。従って、説明した構成は、特許請求の範囲の精神および範囲にあるそのような代替、変更、および変形の全てを包含することを、意図している。更に、用語「含む」は、詳細な説明または特許請求の範囲で使用されているかぎり、用語「備える」と同様の含めることを意図している。用語「備える」は、特許請求の範囲において用いられる場合は移行のための語と解釈される。

Claims (22)

  1. 第1計算デバイスの第1ディスプレイの機能を制御する方法であって、
    前記第1計算デバイスが、第1アプリケーションを実行するステップであって、前記第1計算デバイスは前記第1ディスプレイを含む、ステップと、
    前記第1計算デバイスが、第2計算デバイスとインタラクションするステップであって、前記第2計算デバイスは、前記第1アプリケーションとは異なる第2アプリケーションを実行し、前記第2計算デバイスは第2ディスプレイとインターフェースする、ステップと、
    前記第1計算デバイスが、環境における一組のディスプレイの中の、ユーザーが視覚焦点を合わせている特定のディスプレイを明示する視覚焦点情報を受け取るステップであって、前記環境は、少なくとも、前記ユーザーにより見られ得る前記第1ディスプレイと前記第2ディスプレイとを含む、ステップと、
    前記第1計算デバイスが、前記視覚焦点情報に基づいて前記第1計算デバイスの前記第1ディスプレイを、前記第2計算デバイスのための周辺装置的タッチ対応入力デバイスへと選択的に構成するステップであって、前記第1計算デバイスの前記第1ディスプレイは、
    前記ユーザーから前記第1計算デバイスにより実行される前記第1アプリケーションに対する入力を、前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに受け取り、前記第1計算デバイスは、前記第1ディスプレイにより、前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに制御可能であり、
    前記ユーザーから前記第2計算デバイスにより実行される前記第2アプリケーションに対する入力を、前記ユーザーが前記第2ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに受け取り、前記第1計算デバイスの前記第1ディスプレイは、前記第2計算デバイスのための前記周辺装置的タッチ対応入力デバイスとして、前記ユーザーが前記第2ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに構成され、前記第2計算デバイスは、前記第1ディスプレイにより、前記ユーザーが前記第2ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに制御可能である
    ように構成された、ステップと、
    前記第1計算デバイスが、コンテキスト情報を前記第2計算デバイスから受け取るステップであって、前記コンテキスト情報は、ユーザーの視覚焦点が前記第2ディスプレイから切り替わる前に前記ユーザーが最後にインタラクションした、前記第2ディスプレイ上にレンダリングされるコンテンツを示す、ステップと、
    前記第1計算デバイスが、前記視覚焦点情報と前記コンテキスト情報との関数として、前記第1アプリケーションと前記第2アプリケーションとのうちの少なくとも一方についての、前記第1ディスプレイ上にレンダリングされるコンテンツを制御するステップと
    を含む方法。
  2. 請求項1に記載の方法であって、前記第1計算デバイスが、前記一組のディスプレイの中の、前記ユーザーが視覚焦点を合わせている前記特定のディスプレイを明示する前記視覚焦点情報を、センサーの出力から検出するステップを更に含む方法。
  3. 請求項2に記載の方法であって、前記第1計算デバイスが、前記センサーの前記出力に関して、目の追跡と、頭の追跡と、動きの追跡とのうちの少なくとも1つを実行することによって、前記視覚焦点情報を検出するステップを更に含む方法。
  4. 請求項1に記載の方法であって、前記視覚焦点情報と前記コンテキスト情報との関数として前記第1ディスプレイ上にレンダリングされる前記コンテンツを制御するステップは、
    記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1計算デバイスが、前記第1ディスプレイ上に前記コンテンツをレンダリングするステップと、
    記一組のディスプレイの中の前記ユーザーが視覚焦点を合わせている前記特定のディスプレイが前記第1ディスプレイとは異なることを前記視覚焦点情報が明示するときに、前記第1計算デバイスが、前記第1ディスプレイ上に前記コンテンツをレンダリングすることを禁止するステップと
    を更に含む、方法。
  5. 請求項1に記載の方法であって、前記視覚焦点情報と前記コンテキスト情報との関数として前記第1ディスプレイ上にレンダリングされる前記コンテンツを制御するステップは、
    前記視覚焦点情報の関数として、前記第1ディスプレイ上にレンダリングされる前記コンテンツの粒度を選択するステップであって、前記コンテンツの前記粒度は、前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、詳細の度合が高くなり、前記一組のディスプレイの中の前記ユーザーが視覚焦点を合わせている前記特定のディスプレイが前記第1ディスプレイとは異なることを前記視覚焦点情報が明示するときに、詳細の度合が低くなる、ステップと、
    選択された前記粒度で前記第1ディスプレイ上に前記コンテンツをレンダリングするステップと
    を更に含む、方法。
  6. 請求項1に記載の方法であって、
    記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1ディスプレイを介して、前記第1計算デバイス制御する入力タイプの第1セットを受け取り可能であ
    記ユーザーが前記第2ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1ディスプレイを介して、前記第2計算デバイス制御する入力タイプの第2セットを受け取り可能であり、入力タイプの前記第1セットは、入力タイプの前記第2セットとは異なる
    方法。
  7. 請求項1に記載の方法であって、
    前記第1計算デバイスが、前記第2ディスプレイに関係するコンテキスト情報を受け取るステップであって、前記コンテキスト情報は、前記ユーザーが最後にインタラクションした前記第2ディスプレイ上の位置にある、前記第2ディスプレイ上にレンダリングされたコンテンツを示す、ステップと、
    記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、
    前記第1計算デバイスが、前記ユーザーが最後にインタラクションした前記第2ディスプレイ上の前記位置にある、前記第2ディスプレイ上にレンダリングされた前記コンテンツの関数として、前記第1ディスプレイ上にレンダリングされるべき前記コンテンツを識別し、
    前記第1計算デバイスが、前記ユーザーが最後にインタラクションした前記第2ディスプレイ上の前記位置にある、前記第2ディスプレイ上にレンダリングされた前記コンテンツの関数として識別された前記コンテンツを、前記第1ディスプレイ上にレンダリングする
    ステップと
    を更に含む方法。
  8. 請求項1に記載の方法であって、前記第1計算デバイスにより実行される前記第1アプリケーションはコンパニオン・アプリケーションであり、前記第2計算デバイスにより実行される前記第2アプリケーションは主アプリケーションであり、前記コンパニオン・アプリケーションは、前記主アプリケーションを補足する、方法。
  9. 請求項1に記載の方法であって、
    記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1計算デバイスが、前記第1ディスプレイを、前記第1計算デバイスにより実行される前記第1アプリケーションに対して最適化するステップと、
    記一組のディスプレイの中の前記ユーザーが視覚焦点を合わせている前記特定のディスプレイが前記第1ディスプレイとは異なることを前記視覚焦点情報が明示するときに、前記第1計算デバイスが、前記第1ディスプレイを、前記第2計算デバイスにより実行される前記第2アプリケーションに対して最適化するステップと
    を更に含む方法。
  10. 請求項1に記載の方法であって、前記第1計算デバイスが、前記第1ディスプレイを、
    前記ユーザーが前記第2ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときの、前記第2計算デバイスのための周辺装置的タッチ対応入力デバイスとして構成された前記第2計算デバイスのための専用の入力デバイスである状態と、
    前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときの、入力デバイスであり前記コンテンツをレンダリングする出力デバイスである状態と
    の間で切り替えるステップを更に含む方法。
  11. 請求項1に記載の方法であって、前記第1ディスプレイ上にレンダリングされる前記コンテンツを制御するステップは、
    記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1計算デバイスが、前記第2ディスプレイ上にレンダリングされる、前記第1ディスプレイ上にレンダリングされる前記コンテンツとは異なるコンテンツのプロパティを示すものを前記第1ディスプレイ上にレンダリングするステップと、
    記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1計算デバイスによって実行される前記第1アプリケーションに対する、前記第1ディスプレイを介して前記ユーザーから受け取った前記入力に基づいて、前記第1計算デバイスが、前記第2ディスプレイ上にレンダリングされる前記異なるコンテンツの前記プロパティを操作するステップであって、前記ユーザーが前記第2ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、操作された前記異なるコンテンツの前記プロパティの明示が前記第2ディスプレイ上に表示される、ステップと
    を更に含む、方法。
  12. 請求項1に記載の方法であって、前記第1ディスプレイはタッチ対応ディスプレイである、方法。
  13. 請求項1に記載の方法であって、前記第1ディスプレイ上にレンダリングされる前記コンテンツを制御するステップは、
    記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1計算デバイスが、前記第2ディスプレイ上にレンダリングされる、前記第1ディスプレイ上にレンダリングされる前記コンテンツとは異なるコンテンツについてのメタデータを前記第1ディスプレイ上にレンダリングするステップ
    を更に含む、方法。
  14. 請求項1に記載の方法であって、前記第1ディスプレイ上にレンダリングされる前記コンテンツを制御するステップは、
    記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1計算デバイスが、前記第2ディスプレイ上にレンダリングされる、前記第1ディスプレイ上にレンダリングされる前記コンテンツとは異なるコンテンツの異なるビューを前記第1ディスプレイ上にレンダリングするステップ
    を更に含む、方法。
  15. ディスプレイの機能を視覚焦点を用いて制御する計算デバイスであって、該計算デバイスは前記ディスプレイとインターフェースし、前記計算デバイスは、
    プロセッサーと、
    コンピューター実行可能命令を含むメモリーと
    を備え、前記コンピューター実行可能命令は、前記プロセッサーにより実行されると、前記プロセッサーに、
    コンテキスト情報を異なる計算デバイスから受け取ることであって、前記異なる計算デバイスは異なるディスプレイとインターフェースし、前記コンテキスト情報は、ユーザーの前記視覚焦点が前記異なるディスプレイから切り替わる前に前記ユーザーが最後にインタラクションした、前記異なるディスプレイ上にレンダリングされコンテンツを示す、受け取ることと、
    前記ディスプレイ上にレンダリングされるコンテンツを、
    環境における一組のディスプレイの中の、前記ユーザーが視覚焦点を合わせている特定のディスプレイを明示する視覚焦点情報であって、前記環境は、少なくとも、前記ユーザーにより見られ得る前記ディスプレイと前記異なるディスプレイとを含む、前記視覚焦点情報と、
    前記ユーザーの前記視覚焦点が前記異なるディスプレイから切り替わる前に前記ユーザーが最後にインタラクションした、前記異なるディスプレイ上にレンダリングされ前記コンテンツを示す前記コンテキスト情報と
    の関数として制御することと、
    前記ユーザーから前記ディスプレイを介して受け取り可能な入力のタイプを、少なくとも前記視覚焦点情報の関数として制御することと
    を行うことをさせる、計算デバイス。
  16. 請求項15に記載の計算デバイスであって、前記ユーザーから前記ディスプレイを介して受け取り可能な入力のタイプを制御することは、前記ユーザーから前記ディスプレイを介して受け取り可能な入力のタイプを、前記視覚焦点情報と、前記ユーザーの前記視覚焦点が前記異なるディスプレイから切り替わる前に前記ユーザーが最後にインタラクションした、前記異なるディスプレイ上にレンダリングされた前記コンテンツを示す前記コンテキスト情報との関数として制御することを含む、計算デバイス。
  17. 請求項15又は16に記載の計算デバイスであって、前記メモリーは、前記プロセッサーにより実行されると、前記プロセッサーに、センサーの出力を分析することにより、目の追跡と、頭の追跡と、動きの追跡とのうちの少なくとも1つを用いて、前記視覚焦点情報を検出させるコンピューター実行可能命令を更に含む、計算デバイス。
  18. 請求項15又は16に記載の計算デバイスであって、前記メモリーは、前記プロセッサーにより実行されると、前記プロセッサーに、
    前記異なるディスプレイ上にレンダリングされるコンテンツを、前記視覚焦点情報と、前記ディスプレイ上にレンダリングされる前記コンテンツに関係したコンテキスト情報との関数として制御することと、
    前記ユーザーから前記異なるディスプレイを介して受け取り可能な入力のタイプを、前記視覚焦点情報と、前記ディスプレイ上にレンダリングされる前記コンテンツに関係した前記コンテキスト情報との関数として制御することと
    をさせるコンピューター実行可能命令を更に含む、計算デバイス。
  19. 請求項15又は16に記載の計算デバイスであって、前記メモリーは、前記プロセッサーにより実行されると、前記プロセッサーに、
    前記視覚焦点情報に基づいて、前記計算デバイスの前記ディスプレイを、前記異なる計算デバイスのための周辺装置的タッチ対応入力デバイスへと選択的に構成することであって、前記計算デバイスの前記ディスプレイは、
    前記ユーザーが前記ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記計算デバイスを制御する入力を前記ユーザーから受け取り、
    前記ユーザーが前記異なるディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記異なる計算デバイスを制御する入力を前記ユーザーから受け取る
    ように構成され、前記ディスプレイは、前記異なる計算デバイスのための前記周辺装置的タッチ対応入力デバイスとして、前記ユーザーが前記異なるディスプレイに視覚焦点情報を合わせていることを前記視覚焦点情報が明示するときに構成される、構成すること
    を行わせるコンピューター実行可能命令を更に含む、計算デバイス。
  20. 請求項15又は16に記載の計算デバイスであって、前記計算デバイスは第1アプリケーションを実行し、前記異なる計算デバイスは、前記第1アプリケーションとは異なる第2アプリケーションを実行し、前記メモリーは、前記プロセッサーにより実行されると、前記プロセッサーに、前記視覚焦点情報の関数として、前記第1アプリケーションと前記第2アプリケーションとのうちの少なくとも一方についての、前記ディスプレイ上にレンダリングされる前記コンテンツを制御することと、前記視覚焦点情報の関数として、前記第1アプリケーションと前記第2アプリケーションとのうちの少なくとも一方に対する、前記ユーザーから前記ディスプレイを介して受け取り可能な前記入力の前記タイプを制御することとをさせるコンピューター実行可能命令を更に含む、計算デバイス。
  21. ロセッサーに動作を行わせるコンピュータープログラムであって、前記動作は、
    ユーザーの視覚焦点が環境における第1ディスプレイ上にあることを識別する動作であって、前記環境は、少なくとも、前記ユーザーにより見られ得る前記第1ディスプレイと第2ディスプレイとを含み、第1計算デバイスが前記第1ディスプレイとインターフェースし、第2計算デバイスが前記第2ディスプレイとインターフェースし、前記第1計算デバイスが前記第2計算デバイスとインタラクションする、動作と、
    コンテキスト情報を前記第2計算デバイスから受け取る動作であって、前記コンテキスト情報は、ユーザーの前記視覚焦点が前記第2ディスプレイから切り替わる前に前記ユーザーが最後にインタラクションした、前記第2ディスプレイ上にレンダリングされるコンテンツを示す、動作と、
    前記ユーザーの前記視覚焦点が前記第1ディスプレイ上にあることに基づいて、前記コンテキスト情報の関数として、前記第1ディスプレイ上のコンテンツをレンダリングするように前記第1計算デバイスを制御する動作と、
    前記第1ディスプレイを、前記ユーザーの前記視覚焦点が前記第1ディスプレイ上にあることに基づいて、前記第1計算デバイスにより前記第1ディスプレイ上にレンダリングされる前記コンテンツを操作する第1のタイプの入力を受け取るように構成する動作であって、前記第1計算デバイスは、前記第1ディスプレイにより、前記第1のタイプの入力に応答して制御可能である、動作と、
    前記ユーザーの前記視覚焦点が前記環境における前記第2ディスプレイへ切り替わったことを識別する動作と、
    前記ユーザーの前記視覚焦点が前記第2ディスプレイへ切り替わったことに基づいて、前記第1ディスプレイ上の前記コンテンツを前記第1計算デバイスがレンダリングすることを禁止する動作と、
    前記第1ディスプレイを、前記ユーザーの前記視覚焦点が前記第2ディスプレイへ切り替わったことに基づいて、前記第2計算デバイスにより前記第2ディスプレイ上にレンダリングされる別のコンテンツを操作する第2のタイプの入力を受け取るように構成する動作であって、前記第1計算デバイスの前記第1ディスプレイは、前記第2計算デバイスのための周辺装置的タッチ対応入力デバイスとして、前記ユーザーの前記視覚焦点が前記第2ディスプレイへ切り替わったときに構成され、前記第2計算デバイスは、前記第1ディスプレイにより、前記第2のタイプの入力に応答して制御可能である、動作と
    を含む、コンピュータープログラム
  22. 請求項21に記載のコンピュータープログラムを記憶したコンピューター読取可能ストレージ媒体
JP2014533566A 2011-09-30 2012-09-12 結合されたディスプレイの視覚焦点ベースの制御 Expired - Fee Related JP6059727B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/249,239 US9658687B2 (en) 2011-09-30 2011-09-30 Visual focus-based control of coupled displays
US13/249,239 2011-09-30
PCT/US2012/054703 WO2013048723A1 (en) 2011-09-30 2012-09-12 Visual focus-based control of coupled displays

Publications (3)

Publication Number Publication Date
JP2014528608A JP2014528608A (ja) 2014-10-27
JP2014528608A5 JP2014528608A5 (ja) 2015-11-05
JP6059727B2 true JP6059727B2 (ja) 2017-01-11

Family

ID=47574753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014533566A Expired - Fee Related JP6059727B2 (ja) 2011-09-30 2012-09-12 結合されたディスプレイの視覚焦点ベースの制御

Country Status (6)

Country Link
US (2) US9658687B2 (ja)
EP (1) EP2761403B1 (ja)
JP (1) JP6059727B2 (ja)
KR (1) KR102079832B1 (ja)
CN (1) CN102902503B (ja)
WO (1) WO2013048723A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9658687B2 (en) 2011-09-30 2017-05-23 Microsoft Technology Licensing, Llc Visual focus-based control of coupled displays
US9383579B2 (en) * 2011-10-12 2016-07-05 Visteon Global Technologies, Inc. Method of controlling a display component of an adaptive display system
KR20140011203A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템
KR102100911B1 (ko) 2013-08-30 2020-04-14 엘지전자 주식회사 안경형 단말기와 이를 포함하는 시스템 및 안경형단말기의 제어방법
EP3575936A1 (en) * 2013-09-17 2019-12-04 Nokia Technologies Oy Determination of an operation
US20150241961A1 (en) * 2014-02-26 2015-08-27 Paul Morris Adjusting a display based on a detected orientation
US20150261293A1 (en) * 2014-03-12 2015-09-17 Weerapan Wilairat Remote device control via gaze detection
US10834450B2 (en) * 2014-09-30 2020-11-10 Nbcuniversal Media, Llc Digital content audience matching and targeting system and method
KR20160051411A (ko) 2014-11-03 2016-05-11 삼성전자주식회사 외부의 물체를 제어하는 전자 장치 및 그 방법
KR102183212B1 (ko) 2014-11-18 2020-11-25 삼성전자주식회사 화면 제어 방법 및 그 방법을 처리하는 전자 장치
DE102014017355A1 (de) * 2014-11-18 2016-05-19 DIPAX e. K. Dirk Pachael Verfahren und Anordnung zur intuitiven Auswahl eines Programms, Programmteils oder eines Computers, insbesondere bei Leitständen, wobei jedes Programm, Programmteil oder jeder Computer durch eine eigene Anzeige oder ein Bereich innerhalb einer Anzeige im
JP6390380B2 (ja) * 2014-11-25 2018-09-19 トヨタ自動車株式会社 表示操作装置
US9886598B2 (en) * 2014-12-29 2018-02-06 Paypal, Inc. Automatic adjustment of a display to obscure data
CN104679509B (zh) * 2015-02-06 2019-11-15 腾讯科技(深圳)有限公司 一种渲染图形的方法和装置
US11269403B2 (en) * 2015-05-04 2022-03-08 Disney Enterprises, Inc. Adaptive multi-window configuration based upon gaze tracking
CN104898996B (zh) * 2015-05-04 2022-04-22 联想(北京)有限公司 信息处理方法及电子设备
EP3109733B1 (en) 2015-06-22 2020-07-22 Nokia Technologies Oy Content delivery
US10031577B2 (en) * 2015-10-05 2018-07-24 International Business Machines Corporation Gaze-aware control of multi-screen experience
MY194747A (en) 2016-04-20 2022-12-15 Nissan Motor Information display method and display control device
US10139901B2 (en) * 2016-07-05 2018-11-27 Immersv, Inc. Virtual reality distraction monitor
US20180024631A1 (en) * 2016-07-21 2018-01-25 Aivia, Inc. Interactive Display System with Eye Tracking to Display Content According to Subject's Interest
US10019849B2 (en) * 2016-07-29 2018-07-10 Zspace, Inc. Personal electronic device with a display system
US10331190B2 (en) 2016-11-09 2019-06-25 Microsoft Technology Licensing, Llc Detecting user focus on hinged multi-screen device
JP7048256B2 (ja) * 2017-10-27 2022-04-05 古野電気株式会社 船舶情報表示装置及び船舶情報表示方法
US10528817B2 (en) 2017-12-12 2020-01-07 International Business Machines Corporation Smart display apparatus and control system
KR102496603B1 (ko) * 2018-05-30 2023-02-03 삼성에스디에스 주식회사 어플리케이션 실행 화면의 위치 선정 방법
CN110868623A (zh) * 2018-08-27 2020-03-06 上海哔哩哔哩科技有限公司 视觉焦点区域的弹幕隐藏方法及处理装置
WO2020144161A1 (en) * 2019-01-08 2020-07-16 Tobii Ab Dual display systems and methods
US10969863B2 (en) * 2019-05-08 2021-04-06 International Business Machines Corporation Configurable sensor array for a multi-target environment
CN112783411A (zh) * 2020-01-02 2021-05-11 珠海金山办公软件有限公司 一种文档内容显示方法及装置
WO2022103741A1 (en) * 2020-11-13 2022-05-19 Sterling Labs Llc Method and device for processing user input for multiple devices
US11644902B2 (en) * 2020-11-30 2023-05-09 Google Llc Gesture-based content transfer
CN114915821B (zh) * 2021-02-09 2023-01-10 海信视像科技股份有限公司 显示设备及其控制方法
US20240385795A1 (en) * 2023-05-15 2024-11-21 Apple Inc. Techniques for managing one or more displays
GB2641786A (en) * 2024-06-13 2025-12-17 Milestone Systems As Video surveillance method and system

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7430721B2 (en) * 2003-04-08 2008-09-30 Tidebreak, Inc. Pointright: a system to redirect mouse and keyboard control among multiple machines
US7391888B2 (en) 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
KR20050042399A (ko) 2003-11-03 2005-05-09 삼성전자주식회사 게이즈 디텍션을 이용한 비디오 데이터 처리 장치 및 방법
US7545362B2 (en) * 2004-02-26 2009-06-09 Microsoft Corporation Multi-modal navigation in a graphical user interface computing system
US7561143B1 (en) 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US8232962B2 (en) * 2004-06-21 2012-07-31 Trading Technologies International, Inc. System and method for display management based on user attention inputs
US7331929B2 (en) 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
US7573439B2 (en) 2004-11-24 2009-08-11 General Electric Company System and method for significant image selection using visual tracking
JP5510951B2 (ja) 2006-02-01 2014-06-04 トビー テクノロジー アーベー コンピュータシステムにおけるグラフィカルフィードバックの生成
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US7679639B2 (en) * 2006-04-20 2010-03-16 Cisco Technology, Inc. System and method for enhancing eye gaze in a telepresence system
US20080024433A1 (en) * 2006-07-26 2008-01-31 International Business Machines Corporation Method and system for automatically switching keyboard/mouse between computers by user line of sight
US8446509B2 (en) * 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
US8147316B2 (en) * 2006-10-10 2012-04-03 Wms Gaming, Inc. Multi-player, multi-touch table for use in wagering game systems
US7987423B2 (en) * 2006-10-11 2011-07-26 Hewlett-Packard Development Company, L.P. Personalized slide show generation
US8640034B2 (en) * 2006-11-16 2014-01-28 International Business Machines Corporation Remote GUI control by replication of local interactions
GB2457867B (en) 2007-10-08 2010-11-03 Keymed Electronic camera
JP2009118423A (ja) 2007-11-09 2009-05-28 Canon Inc 表示装置及び制御方法
JP2009245376A (ja) 2008-03-31 2009-10-22 Toshiba Corp 情報処理装置
JP2009301166A (ja) * 2008-06-11 2009-12-24 Panasonic Corp 電子機器制御装置
JP4352156B1 (ja) * 2008-08-25 2009-10-28 兵庫県 地図情報処理装置、ナビゲーションシステム、およびプログラム
KR100960269B1 (ko) 2008-10-07 2010-06-07 한국과학기술원 눈동자 시선 추정 장치 및 추정 방법
KR20100064177A (ko) 2008-12-04 2010-06-14 삼성전자주식회사 전자장치 및 그의 디스플레이방법
US20110210922A1 (en) * 2010-02-26 2011-09-01 Research In Motion Limited Dual-screen mobile device
TW201203001A (en) 2010-07-07 2012-01-16 Compal Electronics Inc Electronic device, multi-mode input/output device and mode switching method thereof
US9354718B2 (en) * 2010-12-22 2016-05-31 Zspace, Inc. Tightly coupled interactive stereo display
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US9563274B2 (en) * 2011-06-10 2017-02-07 Sri International Adaptable input/output device
US9658687B2 (en) 2011-09-30 2017-05-23 Microsoft Technology Licensing, Llc Visual focus-based control of coupled displays

Also Published As

Publication number Publication date
US9658687B2 (en) 2017-05-23
WO2013048723A1 (en) 2013-04-04
US20130083025A1 (en) 2013-04-04
US20170220308A1 (en) 2017-08-03
US10261742B2 (en) 2019-04-16
CN102902503B (zh) 2016-02-17
HK1178635A1 (zh) 2013-09-13
EP2761403A4 (en) 2015-04-08
KR102079832B1 (ko) 2020-02-20
CN102902503A (zh) 2013-01-30
KR20140081810A (ko) 2014-07-01
EP2761403B1 (en) 2019-01-16
EP2761403A1 (en) 2014-08-06
JP2014528608A (ja) 2014-10-27

Similar Documents

Publication Publication Date Title
JP6059727B2 (ja) 結合されたディスプレイの視覚焦点ベースの制御
KR102391699B1 (ko) 애플리케이션 윈도우에 대한 동적 조인트 디바이더
US9298266B2 (en) Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
JP5932831B2 (ja) 没入型環境の管理
JP6387404B2 (ja) 位置信号を介したユーザインターフェイスエレメントの選択
US9891782B2 (en) Method and electronic device for providing user interface
RU2623198C2 (ru) Жест скольжения по диагонали для выбора и перестановки
KR102120514B1 (ko) 터치 디바이스 상의 사용자에 의한 에지 입력의 동적 관리
US20110267371A1 (en) System and method for controlling touchpad of electronic device
JP2014528608A5 (ja)
US12430020B2 (en) Application window preview panels
US9678656B2 (en) Preventing accidental selection events on a touch screen
US11099731B1 (en) Techniques for content management using a gesture sensitive element
US20160103574A1 (en) Selecting frame from video on user interface
US20160026358A1 (en) Gesture-based window management
KR20170057288A (ko) 보편적인 인터렉션으로 컨텐츠를 영구 저장부에 캡쳐하는 기법
US20140168097A1 (en) Multi-touch gesture for movement of media
US10802702B2 (en) Touch-activated scaling operation in information processing apparatus and information processing method
US9990117B2 (en) Zooming and panning within a user interface
KR20170097717A (ko) 정보처리프로그램 및 정보처리방법
HK1178635B (en) Visual focus-based control of coupled displays
US20140372916A1 (en) Fixed header control for grouped grid panel
WO2016044968A1 (en) Moving an object on display
WO2014139149A1 (en) Remote control interaction with an operating system through a device display

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150911

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161209

R150 Certificate of patent or registration of utility model

Ref document number: 6059727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02