JP6059727B2 - 結合されたディスプレイの視覚焦点ベースの制御 - Google Patents
結合されたディスプレイの視覚焦点ベースの制御 Download PDFInfo
- Publication number
- JP6059727B2 JP6059727B2 JP2014533566A JP2014533566A JP6059727B2 JP 6059727 B2 JP6059727 B2 JP 6059727B2 JP 2014533566 A JP2014533566 A JP 2014533566A JP 2014533566 A JP2014533566 A JP 2014533566A JP 6059727 B2 JP6059727 B2 JP 6059727B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- computing device
- visual focus
- user
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1438—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/24—Keyboard-Video-Mouse [KVM] switch
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Description
[0067] ここでの様々な機能は、ハードウェア、ソフトウェア、またはそれらの任意の組み合わせによりインプリメントすることができる。ソフトウェアによりインプリメントする場合、機能は、コンピューター読取可能媒体上の1以上の命令またはコードとして、格納または送信することができる。コンピューター読取可能媒体はコンピューター読取可能ストレージ媒体を含む。コンピューター読取可能ストレージ媒体は、コンピューターによりアクセス可能な任意の使用可能な媒体である。限定ではなく例として、そのようなコンピューター読取可能ストレージ媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスク・ストレージ、磁気ディスク・ストレージまたは他の磁気ストレージ・デバイス、または命令またはデータの形態である望まれるプログラム・コードを搬送または格納するために使用でき且つコンピューターによりアクセスできる他の任意の媒体を含むことができる。ここで用いるディスク(diskおよびdisc)は、コンパクト・ディスク(CD)、レーザー・ディスク、光ディスク、デジタル・バーサタイル・ディスク(DVD)、フロッピー(登録商標)・ディスク、およびブルーレイ・ディスク(BD)を含み、disk(ディスク)は、通常、磁気的にデータを再生し、disc(ディスク)は、通常、レーザーを用いて光学的にデータを再生する。更に、伝播される信号は、コンピューター読取可能ストレージ媒体の範囲内に含まれていない。コンピューター読取可能媒体はまた、コンピューター・プログラムを或る場所から別の場所へ伝送することを容易にする任意の媒体を含む通信媒体を含む。例えば、接続は通信媒体であり得る。例えば、同軸ケーブル、光ファイバー・ケーブル、撚り線対、デジタル・サブスクライバー・ライン(DSL)、または赤外線や無線やマイクロ波などのようなワイヤレス技術を用いて、ソフトウェアが、ウェブサイト、サーバー、または他のリモート・ソースから送信される場合、同軸ケーブル、光ファイバー・ケーブル、撚り線対、デジタル・サブスクライバー・ライン(DSL)、または赤外線や無線やマイクロ波などのようなワイヤレス技術は、通信媒体の定義の中に含まれる。上記のものの組み合わせも、コンピューター読取可能媒体の範囲内に含まれるべきである。
Claims (22)
- 第1計算デバイスの第1ディスプレイの機能を制御する方法であって、
前記第1計算デバイスが、第1アプリケーションを実行するステップであって、前記第1計算デバイスは前記第1ディスプレイを含む、ステップと、
前記第1計算デバイスが、第2計算デバイスとインタラクションするステップであって、前記第2計算デバイスは、前記第1アプリケーションとは異なる第2アプリケーションを実行し、前記第2計算デバイスは第2ディスプレイとインターフェースする、ステップと、
前記第1計算デバイスが、環境における一組のディスプレイの中の、ユーザーが視覚焦点を合わせている特定のディスプレイを明示する視覚焦点情報を受け取るステップであって、前記環境は、少なくとも、前記ユーザーにより見られ得る前記第1ディスプレイと前記第2ディスプレイとを含む、ステップと、
前記第1計算デバイスが、前記視覚焦点情報に基づいて、前記第1計算デバイスの前記第1ディスプレイを、前記第2計算デバイスのための周辺装置的タッチ対応入力デバイスへと選択的に構成するステップであって、前記第1計算デバイスの前記第1ディスプレイは、
前記ユーザーから前記第1計算デバイスにより実行される前記第1アプリケーションに対する入力を、前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに受け取り、前記第1計算デバイスは、前記第1ディスプレイにより、前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに制御可能であり、
前記ユーザーから前記第2計算デバイスにより実行される前記第2アプリケーションに対する入力を、前記ユーザーが前記第2ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに受け取り、前記第1計算デバイスの前記第1ディスプレイは、前記第2計算デバイスのための前記周辺装置的タッチ対応入力デバイスとして、前記ユーザーが前記第2ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに構成され、前記第2計算デバイスは、前記第1ディスプレイにより、前記ユーザーが前記第2ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに制御可能である
ように構成された、ステップと、
前記第1計算デバイスが、コンテキスト情報を前記第2計算デバイスから受け取るステップであって、前記コンテキスト情報は、ユーザーの視覚焦点が前記第2ディスプレイから切り替わる前に前記ユーザーが最後にインタラクションした、前記第2ディスプレイ上にレンダリングされるコンテンツを示す、ステップと、
前記第1計算デバイスが、前記視覚焦点情報と前記コンテキスト情報との関数として、前記第1アプリケーションと前記第2アプリケーションとのうちの少なくとも一方についての、前記第1ディスプレイ上にレンダリングされるコンテンツを制御するステップと
を含む方法。 - 請求項1に記載の方法であって、前記第1計算デバイスが、前記一組のディスプレイの中の、前記ユーザーが視覚焦点を合わせている前記特定のディスプレイを明示する前記視覚焦点情報を、センサーの出力から検出するステップを更に含む方法。
- 請求項2に記載の方法であって、前記第1計算デバイスが、前記センサーの前記出力に関して、目の追跡と、頭の追跡と、動きの追跡とのうちの少なくとも1つを実行することによって、前記視覚焦点情報を検出するステップを更に含む方法。
- 請求項1に記載の方法であって、前記視覚焦点情報と前記コンテキスト情報との関数として前記第1ディスプレイ上にレンダリングされる前記コンテンツを制御するステップは、
前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1計算デバイスが、前記第1ディスプレイ上に前記コンテンツをレンダリングするステップと、
前記一組のディスプレイの中の前記ユーザーが視覚焦点を合わせている前記特定のディスプレイが前記第1ディスプレイとは異なることを前記視覚焦点情報が明示するときに、前記第1計算デバイスが、前記第1ディスプレイ上に前記コンテンツをレンダリングすることを禁止するステップと
を更に含む、方法。 - 請求項1に記載の方法であって、前記視覚焦点情報と前記コンテキスト情報との関数として前記第1ディスプレイ上にレンダリングされる前記コンテンツを制御するステップは、
前記視覚焦点情報の関数として、前記第1ディスプレイ上にレンダリングされる前記コンテンツの粒度を選択するステップであって、前記コンテンツの前記粒度は、前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、詳細の度合が高くなり、前記一組のディスプレイの中の前記ユーザーが視覚焦点を合わせている前記特定のディスプレイが前記第1ディスプレイとは異なることを前記視覚焦点情報が明示するときに、詳細の度合が低くなる、ステップと、
選択された前記粒度で前記第1ディスプレイ上に前記コンテンツをレンダリングするステップと
を更に含む、方法。 - 請求項1に記載の方法であって、
前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1ディスプレイを介して、前記第1計算デバイスを制御する入力タイプの第1セットを受け取り可能であり、
前記ユーザーが前記第2ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1ディスプレイを介して、前記第2計算デバイスを制御する入力タイプの第2セットを受け取り可能であり、入力タイプの前記第1セットは、入力タイプの前記第2セットとは異なる、
方法。 - 請求項1に記載の方法であって、
前記第1計算デバイスが、前記第2ディスプレイに関係するコンテキスト情報を受け取るステップであって、前記コンテキスト情報は、前記ユーザーが最後にインタラクションした前記第2ディスプレイ上の位置にある、前記第2ディスプレイ上にレンダリングされたコンテンツを示す、ステップと、
前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、
前記第1計算デバイスが、前記ユーザーが最後にインタラクションした前記第2ディスプレイ上の前記位置にある、前記第2ディスプレイ上にレンダリングされた前記コンテンツの関数として、前記第1ディスプレイ上にレンダリングされるべき前記コンテンツを識別し、
前記第1計算デバイスが、前記ユーザーが最後にインタラクションした前記第2ディスプレイ上の前記位置にある、前記第2ディスプレイ上にレンダリングされた前記コンテンツの関数として識別された前記コンテンツを、前記第1ディスプレイ上にレンダリングする
ステップと
を更に含む方法。 - 請求項1に記載の方法であって、前記第1計算デバイスにより実行される前記第1アプリケーションはコンパニオン・アプリケーションであり、前記第2計算デバイスにより実行される前記第2アプリケーションは主アプリケーションであり、前記コンパニオン・アプリケーションは、前記主アプリケーションを補足する、方法。
- 請求項1に記載の方法であって、
前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1計算デバイスが、前記第1ディスプレイを、前記第1計算デバイスにより実行される前記第1アプリケーションに対して最適化するステップと、
前記一組のディスプレイの中の前記ユーザーが視覚焦点を合わせている前記特定のディスプレイが前記第1ディスプレイとは異なることを前記視覚焦点情報が明示するときに、前記第1計算デバイスが、前記第1ディスプレイを、前記第2計算デバイスにより実行される前記第2アプリケーションに対して最適化するステップと
を更に含む方法。 - 請求項1に記載の方法であって、前記第1計算デバイスが、前記第1ディスプレイを、
前記ユーザーが前記第2ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときの、前記第2計算デバイスのための周辺装置的タッチ対応入力デバイスとして構成された前記第2計算デバイスのための専用の入力デバイスである状態と、
前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときの、入力デバイスであり前記コンテンツをレンダリングする出力デバイスである状態と
の間で切り替えるステップを更に含む方法。 - 請求項1に記載の方法であって、前記第1ディスプレイ上にレンダリングされる前記コンテンツを制御するステップは、
前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1計算デバイスが、前記第2ディスプレイ上にレンダリングされる、前記第1ディスプレイ上にレンダリングされる前記コンテンツとは異なるコンテンツのプロパティを示すものを前記第1ディスプレイ上にレンダリングするステップと、
前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1計算デバイスによって実行される前記第1アプリケーションに対する、前記第1ディスプレイを介して前記ユーザーから受け取った前記入力に基づいて、前記第1計算デバイスが、前記第2ディスプレイ上にレンダリングされる前記異なるコンテンツの前記プロパティを操作するステップであって、前記ユーザーが前記第2ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、操作された前記異なるコンテンツの前記プロパティの明示が前記第2ディスプレイ上に表示される、ステップと
を更に含む、方法。 - 請求項1に記載の方法であって、前記第1ディスプレイはタッチ対応ディスプレイである、方法。
- 請求項1に記載の方法であって、前記第1ディスプレイ上にレンダリングされる前記コンテンツを制御するステップは、
前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1計算デバイスが、前記第2ディスプレイ上にレンダリングされる、前記第1ディスプレイ上にレンダリングされる前記コンテンツとは異なるコンテンツについてのメタデータを前記第1ディスプレイ上にレンダリングするステップ
を更に含む、方法。 - 請求項1に記載の方法であって、前記第1ディスプレイ上にレンダリングされる前記コンテンツを制御するステップは、
前記ユーザーが前記第1ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記第1計算デバイスが、前記第2ディスプレイ上にレンダリングされる、前記第1ディスプレイ上にレンダリングされる前記コンテンツとは異なるコンテンツの異なるビューを前記第1ディスプレイ上にレンダリングするステップ
を更に含む、方法。 - ディスプレイの機能を視覚焦点を用いて制御する計算デバイスであって、該計算デバイスは前記ディスプレイとインターフェースし、前記計算デバイスは、
プロセッサーと、
コンピューター実行可能命令を含むメモリーと
を備え、前記コンピューター実行可能命令は、前記プロセッサーにより実行されると、前記プロセッサーに、
コンテキスト情報を異なる計算デバイスから受け取ることであって、前記異なる計算デバイスは異なるディスプレイとインターフェースし、前記コンテキスト情報は、ユーザーの前記視覚焦点が前記異なるディスプレイから切り替わる前に前記ユーザーが最後にインタラクションした、前記異なるディスプレイ上にレンダリングされたコンテンツを示す、受け取ることと、
前記ディスプレイ上にレンダリングされるコンテンツを、
環境における一組のディスプレイの中の、前記ユーザーが視覚焦点を合わせている特定のディスプレイを明示する視覚焦点情報であって、前記環境は、少なくとも、前記ユーザーにより見られ得る前記ディスプレイと前記異なるディスプレイとを含む、前記視覚焦点情報と、
前記ユーザーの前記視覚焦点が前記異なるディスプレイから切り替わる前に前記ユーザーが最後にインタラクションした、前記異なるディスプレイ上にレンダリングされた前記コンテンツを示す前記コンテキスト情報と
の関数として制御することと、
前記ユーザーから前記ディスプレイを介して受け取り可能な入力のタイプを、少なくとも前記視覚焦点情報の関数として制御することと
を行うことをさせる、計算デバイス。 - 請求項15に記載の計算デバイスであって、前記ユーザーから前記ディスプレイを介して受け取り可能な入力のタイプを制御することは、前記ユーザーから前記ディスプレイを介して受け取り可能な入力のタイプを、前記視覚焦点情報と、前記ユーザーの前記視覚焦点が前記異なるディスプレイから切り替わる前に前記ユーザーが最後にインタラクションした、前記異なるディスプレイ上にレンダリングされた前記コンテンツを示す前記コンテキスト情報との関数として制御することを含む、計算デバイス。
- 請求項15又は16に記載の計算デバイスであって、前記メモリーは、前記プロセッサーにより実行されると、前記プロセッサーに、センサーの出力を分析することにより、目の追跡と、頭の追跡と、動きの追跡とのうちの少なくとも1つを用いて、前記視覚焦点情報を検出させるコンピューター実行可能命令を更に含む、計算デバイス。
- 請求項15又は16に記載の計算デバイスであって、前記メモリーは、前記プロセッサーにより実行されると、前記プロセッサーに、
前記異なるディスプレイ上にレンダリングされるコンテンツを、前記視覚焦点情報と、前記ディスプレイ上にレンダリングされる前記コンテンツに関係したコンテキスト情報との関数として制御することと、
前記ユーザーから前記異なるディスプレイを介して受け取り可能な入力のタイプを、前記視覚焦点情報と、前記ディスプレイ上にレンダリングされる前記コンテンツに関係した前記コンテキスト情報との関数として制御することと
をさせるコンピューター実行可能命令を更に含む、計算デバイス。 - 請求項15又は16に記載の計算デバイスであって、前記メモリーは、前記プロセッサーにより実行されると、前記プロセッサーに、
前記視覚焦点情報に基づいて、前記計算デバイスの前記ディスプレイを、前記異なる計算デバイスのための周辺装置的タッチ対応入力デバイスへと選択的に構成することであって、前記計算デバイスの前記ディスプレイは、
前記ユーザーが前記ディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記計算デバイスを制御する入力を前記ユーザーから受け取り、
前記ユーザーが前記異なるディスプレイに視覚焦点を合わせていることを前記視覚焦点情報が明示するときに、前記異なる計算デバイスを制御する入力を前記ユーザーから受け取る
ように構成され、前記ディスプレイは、前記異なる計算デバイスのための前記周辺装置的タッチ対応入力デバイスとして、前記ユーザーが前記異なるディスプレイに視覚焦点情報を合わせていることを前記視覚焦点情報が明示するときに構成される、構成すること
を行わせるコンピューター実行可能命令を更に含む、計算デバイス。 - 請求項15又は16に記載の計算デバイスであって、前記計算デバイスは第1アプリケーションを実行し、前記異なる計算デバイスは、前記第1アプリケーションとは異なる第2アプリケーションを実行し、前記メモリーは、前記プロセッサーにより実行されると、前記プロセッサーに、前記視覚焦点情報の関数として、前記第1アプリケーションと前記第2アプリケーションとのうちの少なくとも一方についての、前記ディスプレイ上にレンダリングされる前記コンテンツを制御することと、前記視覚焦点情報の関数として、前記第1アプリケーションと前記第2アプリケーションとのうちの少なくとも一方に対する、前記ユーザーから前記ディスプレイを介して受け取り可能な前記入力の前記タイプを制御することとをさせるコンピューター実行可能命令を更に含む、計算デバイス。
- プロセッサーに動作を行わせるコンピュータープログラムであって、前記動作は、
ユーザーの視覚焦点が環境における第1ディスプレイ上にあることを識別する動作であって、前記環境は、少なくとも、前記ユーザーにより見られ得る前記第1ディスプレイと第2ディスプレイとを含み、第1計算デバイスが前記第1ディスプレイとインターフェースし、第2計算デバイスが前記第2ディスプレイとインターフェースし、前記第1計算デバイスが前記第2計算デバイスとインタラクションする、動作と、
コンテキスト情報を前記第2計算デバイスから受け取る動作であって、前記コンテキスト情報は、ユーザーの前記視覚焦点が前記第2ディスプレイから切り替わる前に前記ユーザーが最後にインタラクションした、前記第2ディスプレイ上にレンダリングされるコンテンツを示す、動作と、
前記ユーザーの前記視覚焦点が前記第1ディスプレイ上にあることに基づいて、前記コンテキスト情報の関数として、前記第1ディスプレイ上のコンテンツをレンダリングするように前記第1計算デバイスを制御する動作と、
前記第1ディスプレイを、前記ユーザーの前記視覚焦点が前記第1ディスプレイ上にあることに基づいて、前記第1計算デバイスにより前記第1ディスプレイ上にレンダリングされる前記コンテンツを操作する第1のタイプの入力を受け取るように構成する動作であって、前記第1計算デバイスは、前記第1ディスプレイにより、前記第1のタイプの入力に応答して制御可能である、動作と、
前記ユーザーの前記視覚焦点が前記環境における前記第2ディスプレイへ切り替わったことを識別する動作と、
前記ユーザーの前記視覚焦点が前記第2ディスプレイへ切り替わったことに基づいて、前記第1ディスプレイ上の前記コンテンツを前記第1計算デバイスがレンダリングすることを禁止する動作と、
前記第1ディスプレイを、前記ユーザーの前記視覚焦点が前記第2ディスプレイへ切り替わったことに基づいて、前記第2計算デバイスにより前記第2ディスプレイ上にレンダリングされる別のコンテンツを操作する第2のタイプの入力を受け取るように構成する動作であって、前記第1計算デバイスの前記第1ディスプレイは、前記第2計算デバイスのための周辺装置的タッチ対応入力デバイスとして、前記ユーザーの前記視覚焦点が前記第2ディスプレイへ切り替わったときに構成され、前記第2計算デバイスは、前記第1ディスプレイにより、前記第2のタイプの入力に応答して制御可能である、動作と
を含む、コンピュータープログラム。 - 請求項21に記載のコンピュータープログラムを記憶したコンピューター読取可能ストレージ媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/249,239 US9658687B2 (en) | 2011-09-30 | 2011-09-30 | Visual focus-based control of coupled displays |
| US13/249,239 | 2011-09-30 | ||
| PCT/US2012/054703 WO2013048723A1 (en) | 2011-09-30 | 2012-09-12 | Visual focus-based control of coupled displays |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2014528608A JP2014528608A (ja) | 2014-10-27 |
| JP2014528608A5 JP2014528608A5 (ja) | 2015-11-05 |
| JP6059727B2 true JP6059727B2 (ja) | 2017-01-11 |
Family
ID=47574753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014533566A Expired - Fee Related JP6059727B2 (ja) | 2011-09-30 | 2012-09-12 | 結合されたディスプレイの視覚焦点ベースの制御 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US9658687B2 (ja) |
| EP (1) | EP2761403B1 (ja) |
| JP (1) | JP6059727B2 (ja) |
| KR (1) | KR102079832B1 (ja) |
| CN (1) | CN102902503B (ja) |
| WO (1) | WO2013048723A1 (ja) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9658687B2 (en) | 2011-09-30 | 2017-05-23 | Microsoft Technology Licensing, Llc | Visual focus-based control of coupled displays |
| US9383579B2 (en) * | 2011-10-12 | 2016-07-05 | Visteon Global Technologies, Inc. | Method of controlling a display component of an adaptive display system |
| KR20140011203A (ko) * | 2012-07-18 | 2014-01-28 | 삼성전자주식회사 | 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템 |
| KR102100911B1 (ko) | 2013-08-30 | 2020-04-14 | 엘지전자 주식회사 | 안경형 단말기와 이를 포함하는 시스템 및 안경형단말기의 제어방법 |
| EP3575936A1 (en) * | 2013-09-17 | 2019-12-04 | Nokia Technologies Oy | Determination of an operation |
| US20150241961A1 (en) * | 2014-02-26 | 2015-08-27 | Paul Morris | Adjusting a display based on a detected orientation |
| US20150261293A1 (en) * | 2014-03-12 | 2015-09-17 | Weerapan Wilairat | Remote device control via gaze detection |
| US10834450B2 (en) * | 2014-09-30 | 2020-11-10 | Nbcuniversal Media, Llc | Digital content audience matching and targeting system and method |
| KR20160051411A (ko) | 2014-11-03 | 2016-05-11 | 삼성전자주식회사 | 외부의 물체를 제어하는 전자 장치 및 그 방법 |
| KR102183212B1 (ko) | 2014-11-18 | 2020-11-25 | 삼성전자주식회사 | 화면 제어 방법 및 그 방법을 처리하는 전자 장치 |
| DE102014017355A1 (de) * | 2014-11-18 | 2016-05-19 | DIPAX e. K. Dirk Pachael | Verfahren und Anordnung zur intuitiven Auswahl eines Programms, Programmteils oder eines Computers, insbesondere bei Leitständen, wobei jedes Programm, Programmteil oder jeder Computer durch eine eigene Anzeige oder ein Bereich innerhalb einer Anzeige im |
| JP6390380B2 (ja) * | 2014-11-25 | 2018-09-19 | トヨタ自動車株式会社 | 表示操作装置 |
| US9886598B2 (en) * | 2014-12-29 | 2018-02-06 | Paypal, Inc. | Automatic adjustment of a display to obscure data |
| CN104679509B (zh) * | 2015-02-06 | 2019-11-15 | 腾讯科技(深圳)有限公司 | 一种渲染图形的方法和装置 |
| US11269403B2 (en) * | 2015-05-04 | 2022-03-08 | Disney Enterprises, Inc. | Adaptive multi-window configuration based upon gaze tracking |
| CN104898996B (zh) * | 2015-05-04 | 2022-04-22 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| EP3109733B1 (en) | 2015-06-22 | 2020-07-22 | Nokia Technologies Oy | Content delivery |
| US10031577B2 (en) * | 2015-10-05 | 2018-07-24 | International Business Machines Corporation | Gaze-aware control of multi-screen experience |
| MY194747A (en) | 2016-04-20 | 2022-12-15 | Nissan Motor | Information display method and display control device |
| US10139901B2 (en) * | 2016-07-05 | 2018-11-27 | Immersv, Inc. | Virtual reality distraction monitor |
| US20180024631A1 (en) * | 2016-07-21 | 2018-01-25 | Aivia, Inc. | Interactive Display System with Eye Tracking to Display Content According to Subject's Interest |
| US10019849B2 (en) * | 2016-07-29 | 2018-07-10 | Zspace, Inc. | Personal electronic device with a display system |
| US10331190B2 (en) | 2016-11-09 | 2019-06-25 | Microsoft Technology Licensing, Llc | Detecting user focus on hinged multi-screen device |
| JP7048256B2 (ja) * | 2017-10-27 | 2022-04-05 | 古野電気株式会社 | 船舶情報表示装置及び船舶情報表示方法 |
| US10528817B2 (en) | 2017-12-12 | 2020-01-07 | International Business Machines Corporation | Smart display apparatus and control system |
| KR102496603B1 (ko) * | 2018-05-30 | 2023-02-03 | 삼성에스디에스 주식회사 | 어플리케이션 실행 화면의 위치 선정 방법 |
| CN110868623A (zh) * | 2018-08-27 | 2020-03-06 | 上海哔哩哔哩科技有限公司 | 视觉焦点区域的弹幕隐藏方法及处理装置 |
| WO2020144161A1 (en) * | 2019-01-08 | 2020-07-16 | Tobii Ab | Dual display systems and methods |
| US10969863B2 (en) * | 2019-05-08 | 2021-04-06 | International Business Machines Corporation | Configurable sensor array for a multi-target environment |
| CN112783411A (zh) * | 2020-01-02 | 2021-05-11 | 珠海金山办公软件有限公司 | 一种文档内容显示方法及装置 |
| WO2022103741A1 (en) * | 2020-11-13 | 2022-05-19 | Sterling Labs Llc | Method and device for processing user input for multiple devices |
| US11644902B2 (en) * | 2020-11-30 | 2023-05-09 | Google Llc | Gesture-based content transfer |
| CN114915821B (zh) * | 2021-02-09 | 2023-01-10 | 海信视像科技股份有限公司 | 显示设备及其控制方法 |
| US20240385795A1 (en) * | 2023-05-15 | 2024-11-21 | Apple Inc. | Techniques for managing one or more displays |
| GB2641786A (en) * | 2024-06-13 | 2025-12-17 | Milestone Systems As | Video surveillance method and system |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7430721B2 (en) * | 2003-04-08 | 2008-09-30 | Tidebreak, Inc. | Pointright: a system to redirect mouse and keyboard control among multiple machines |
| US7391888B2 (en) | 2003-05-30 | 2008-06-24 | Microsoft Corporation | Head pose assessment methods and systems |
| KR20050042399A (ko) | 2003-11-03 | 2005-05-09 | 삼성전자주식회사 | 게이즈 디텍션을 이용한 비디오 데이터 처리 장치 및 방법 |
| US7545362B2 (en) * | 2004-02-26 | 2009-06-09 | Microsoft Corporation | Multi-modal navigation in a graphical user interface computing system |
| US7561143B1 (en) | 2004-03-19 | 2009-07-14 | The University of the Arts | Using gaze actions to interact with a display |
| US8232962B2 (en) * | 2004-06-21 | 2012-07-31 | Trading Technologies International, Inc. | System and method for display management based on user attention inputs |
| US7331929B2 (en) | 2004-10-01 | 2008-02-19 | General Electric Company | Method and apparatus for surgical operating room information display gaze detection and user prioritization for control |
| US7573439B2 (en) | 2004-11-24 | 2009-08-11 | General Electric Company | System and method for significant image selection using visual tracking |
| JP5510951B2 (ja) | 2006-02-01 | 2014-06-04 | トビー テクノロジー アーベー | コンピュータシステムにおけるグラフィカルフィードバックの生成 |
| US8793620B2 (en) * | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
| US7679639B2 (en) * | 2006-04-20 | 2010-03-16 | Cisco Technology, Inc. | System and method for enhancing eye gaze in a telepresence system |
| US20080024433A1 (en) * | 2006-07-26 | 2008-01-31 | International Business Machines Corporation | Method and system for automatically switching keyboard/mouse between computers by user line of sight |
| US8446509B2 (en) * | 2006-08-09 | 2013-05-21 | Tenebraex Corporation | Methods of creating a virtual window |
| US8147316B2 (en) * | 2006-10-10 | 2012-04-03 | Wms Gaming, Inc. | Multi-player, multi-touch table for use in wagering game systems |
| US7987423B2 (en) * | 2006-10-11 | 2011-07-26 | Hewlett-Packard Development Company, L.P. | Personalized slide show generation |
| US8640034B2 (en) * | 2006-11-16 | 2014-01-28 | International Business Machines Corporation | Remote GUI control by replication of local interactions |
| GB2457867B (en) | 2007-10-08 | 2010-11-03 | Keymed | Electronic camera |
| JP2009118423A (ja) | 2007-11-09 | 2009-05-28 | Canon Inc | 表示装置及び制御方法 |
| JP2009245376A (ja) | 2008-03-31 | 2009-10-22 | Toshiba Corp | 情報処理装置 |
| JP2009301166A (ja) * | 2008-06-11 | 2009-12-24 | Panasonic Corp | 電子機器制御装置 |
| JP4352156B1 (ja) * | 2008-08-25 | 2009-10-28 | 兵庫県 | 地図情報処理装置、ナビゲーションシステム、およびプログラム |
| KR100960269B1 (ko) | 2008-10-07 | 2010-06-07 | 한국과학기술원 | 눈동자 시선 추정 장치 및 추정 방법 |
| KR20100064177A (ko) | 2008-12-04 | 2010-06-14 | 삼성전자주식회사 | 전자장치 및 그의 디스플레이방법 |
| US20110210922A1 (en) * | 2010-02-26 | 2011-09-01 | Research In Motion Limited | Dual-screen mobile device |
| TW201203001A (en) | 2010-07-07 | 2012-01-16 | Compal Electronics Inc | Electronic device, multi-mode input/output device and mode switching method thereof |
| US9354718B2 (en) * | 2010-12-22 | 2016-05-31 | Zspace, Inc. | Tightly coupled interactive stereo display |
| US10120438B2 (en) * | 2011-05-25 | 2018-11-06 | Sony Interactive Entertainment Inc. | Eye gaze to alter device behavior |
| US9563274B2 (en) * | 2011-06-10 | 2017-02-07 | Sri International | Adaptable input/output device |
| US9658687B2 (en) | 2011-09-30 | 2017-05-23 | Microsoft Technology Licensing, Llc | Visual focus-based control of coupled displays |
-
2011
- 2011-09-30 US US13/249,239 patent/US9658687B2/en active Active
-
2012
- 2012-09-12 JP JP2014533566A patent/JP6059727B2/ja not_active Expired - Fee Related
- 2012-09-12 WO PCT/US2012/054703 patent/WO2013048723A1/en not_active Ceased
- 2012-09-12 KR KR1020147008459A patent/KR102079832B1/ko not_active Expired - Fee Related
- 2012-09-12 EP EP12836612.7A patent/EP2761403B1/en active Active
- 2012-09-28 CN CN201210376124.0A patent/CN102902503B/zh active Active
-
2017
- 2017-04-14 US US15/488,020 patent/US10261742B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US9658687B2 (en) | 2017-05-23 |
| WO2013048723A1 (en) | 2013-04-04 |
| US20130083025A1 (en) | 2013-04-04 |
| US20170220308A1 (en) | 2017-08-03 |
| US10261742B2 (en) | 2019-04-16 |
| CN102902503B (zh) | 2016-02-17 |
| HK1178635A1 (zh) | 2013-09-13 |
| EP2761403A4 (en) | 2015-04-08 |
| KR102079832B1 (ko) | 2020-02-20 |
| CN102902503A (zh) | 2013-01-30 |
| KR20140081810A (ko) | 2014-07-01 |
| EP2761403B1 (en) | 2019-01-16 |
| EP2761403A1 (en) | 2014-08-06 |
| JP2014528608A (ja) | 2014-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6059727B2 (ja) | 結合されたディスプレイの視覚焦点ベースの制御 | |
| KR102391699B1 (ko) | 애플리케이션 윈도우에 대한 동적 조인트 디바이더 | |
| US9298266B2 (en) | Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects | |
| JP5932831B2 (ja) | 没入型環境の管理 | |
| JP6387404B2 (ja) | 位置信号を介したユーザインターフェイスエレメントの選択 | |
| US9891782B2 (en) | Method and electronic device for providing user interface | |
| RU2623198C2 (ru) | Жест скольжения по диагонали для выбора и перестановки | |
| KR102120514B1 (ko) | 터치 디바이스 상의 사용자에 의한 에지 입력의 동적 관리 | |
| US20110267371A1 (en) | System and method for controlling touchpad of electronic device | |
| JP2014528608A5 (ja) | ||
| US12430020B2 (en) | Application window preview panels | |
| US9678656B2 (en) | Preventing accidental selection events on a touch screen | |
| US11099731B1 (en) | Techniques for content management using a gesture sensitive element | |
| US20160103574A1 (en) | Selecting frame from video on user interface | |
| US20160026358A1 (en) | Gesture-based window management | |
| KR20170057288A (ko) | 보편적인 인터렉션으로 컨텐츠를 영구 저장부에 캡쳐하는 기법 | |
| US20140168097A1 (en) | Multi-touch gesture for movement of media | |
| US10802702B2 (en) | Touch-activated scaling operation in information processing apparatus and information processing method | |
| US9990117B2 (en) | Zooming and panning within a user interface | |
| KR20170097717A (ko) | 정보처리프로그램 및 정보처리방법 | |
| HK1178635B (en) | Visual focus-based control of coupled displays | |
| US20140372916A1 (en) | Fixed header control for grouped grid panel | |
| WO2016044968A1 (en) | Moving an object on display | |
| WO2014139149A1 (en) | Remote control interaction with an operating system through a device display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150528 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150911 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150911 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160707 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161007 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161020 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161111 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6059727 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees | ||
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |