JP7778950B2 - 混合モードの没入型テレプレゼンスアプリケーションのための輻輳に基づく注視一致 - Google Patents

Description

本願は、２０２２年７月８日に出願された米国仮出願第６３／３５９，７４６号である「混合モードの没入型テレプレゼンスアプリケーションのための輻輳に基づく注視一致」に対する優先権の利益を主張する、２０２３年６月８日に出願された米国特許出願第１８／２０７，５９４号である「混合モードの没入型テレプレゼンスアプリケーションのための輻輳に基づく注視一致」に対する優先権の利益を主張する。先行出願の開示内容は、その全体が参照により本明細書に組み込まれる。

本開示は、リアルタイムの没入型テレプレゼンスアプリケーションを含む、メディア処理に一般的に関連する実施形態を説明する。

本明細書で提供される「背景技術」の記載は、本開示の文脈を一般的に提示するためのものである。この背景技術セクションに記載されている範囲で、現在の発明者の研究、並びに、そうでない場合出願時に従来技術として認められない可能性のある記載の態様は、本開示に対する従来技術として明示的又は暗黙的に認められない。

ビデオチャットや、トレーニング、教育などのリアルタイムの没入型テレプレゼンスアプリケーションは、遠隔地にいる人々がリアルタイムの会話、トレーニング、様々な教育学的教示モデルを作成することを可能にする。いくつかの実施例では、リアルタイムの没入型テレプレゼンスアプリケーション中に、表示スクリーンは第１のユーザの前方に配置され、表示スクリーンは、第２のユーザのイメージを表示して対面環境をシミュレートすることができる。

本開示の態様は、注視一致のための方法及び装置を提供する。

いくつかの実施例では、処理回路は、第１のユーザの関心対象の位置を決定し、前記関心対象の前記位置とは異なるカメラ位置でカメラによって撮影される前記第１のユーザの第１の１つ又は複数のイメージを受信する。前記処理回路は、前記第１のユーザの眼の第１の輻輳又は回転を検出し、前記関心対象を視認するための前記第１の輻輳又は回転の不一致を計算し、前記関心対象を視認するための前記第１の輻輳又は回転の前記不一致に基づいて、前記第１の１つ又は複数のイメージの注視補正を行う。

いくつかの実施例では、前記処理回路は、第２のユーザの第２の１つ又は複数のイメージを受信し、前記第２のユーザと前記第１のユーザが没入型テレプレゼンスを行う。前記処理回路は、前記第２の１つ又は複数のイメージから前記第２のユーザの瞳孔間位置を導出し、前記瞳孔間位置が前記第１のユーザの表示スクリーンのスクリーン平面に設定された状態で前記第２の１つ又は複数のイメージを表示し、前記表示スクリーンの前記スクリーン平面における前記瞳孔間位置を、前記第１のユーザの前記関心対象の前記位置として決定する。

いくつかの実施例では、前記処理回路は、前記第１のユーザの表示スクリーンの中心点を、前記第１のユーザの関心対象の前記位置として決定する。

いくつかの実施例では、前記処理回路は、前記第１のユーザと没入型テレプレゼンスを行う第２のユーザの第２の１つ又は複数のイメージを受信し、前記第２の１つ又は複数のイメージを、前記第１のユーザの表示スクリーンに表示し、前記第２のユーザの眼を表示するための前記表示スクリーン上の位置を、前記第１のユーザの前記関心対象の前記位置として決定する。

一例では、前記カメラとは別個のアイトラッキングセンサに基づいて、前記第１の輻輳又は回転を感知する。また、別の実施例では、前記第１のユーザの前記第１の１つ又は複数のイメージのイメージ分析に基づいて、前記第１の輻輳又は回転を検出する。

いくつかの実施例では、前記処理回路は、前記第１のユーザの頭部位置に基づいて、前記第１のユーザの前記眼の前記第１の輻輳又は回転を計算する。

いくつかの実施例では、前記処理回路は、前記第１のユーザの前記眼の前記第１の輻輳又は回転、及び前記第１のユーザの頭部位置に従って、注視点を決定し、前記第１のユーザの前記関心対象の前記位置に対する前記注視点の前記不一致を計算する。

一例では、前記処理回路は、前記第１の１つ又は複数のイメージにおける前記第１のユーザの頭部位置を修正する。別の実施例では、前記処理回路は、前記第１の１つ又は複数のイメージにおける前記第１のユーザのボディ位置を修正する。別の実施例では、前記処理回路は、前記第１の１つ又は複数のイメージにおける前記第１のユーザの頭部姿勢を修正する。別の実施例では、前記処理回路は、前記第１の１つ又は複数のイメージにおける前記第１のユーザのボディ姿勢を修正する。別の実施例では、前記処理回路は、前記第１の１つ又は複数のイメージにおける前記第１のユーザの頭部回転角度を修正する。別の実施例では、前記処理回路は、前記第１の１つ又は複数のイメージにおける前記第１のユーザのボディ回転角度を修正する。別の実施例では、前記処理回路は、１つ又は複数のイメージにおける前記第１のユーザの眼の輻輳角又は回転角を修正する。

いくつかの実施例では、前記処理回路は、表示スクリーン上の人の顔表情、前記表示スクリーン上の前記人の視覚的感情分析、及び前記表示スクリーン上の前記人の気分のうちの少なくとも１つに従って、前記関心対象の前記位置を決定する。

いくつかの実施例では、前記処理回路は、慣性測定ユニット（ＩＭＵ）、深度センサ、光検出測距（ＬｉＤａｒ）センサ、近赤外線（ＮＩＲ）センサ、及び空間オーディオ検出器のうちの少なくとも１つを使用して、前記第１のユーザの前記眼の前記第１の輻輳又は回転を検出する。

本開示の態様は、コンピュータによって実行されると、前記コンピュータに注視一致の前記方法を実行させる命令を記憶する非一時的なコンピュータ読取可能な媒体も提供する。

本開示のいくつかの実施形態による注視補正の図を示す。 いくつかの実施形態における没入型テレプレゼンスシステムの図を示す。 本開示のいくつかの実施例によるプロセスの概要を示すフローチャートである。 一実施形態によるコンピュータシステムの概略図である。

開示された主題の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。

様々な場面で、カメラを人の真正面に割り付けることができない場合がある。したがって、カメラによって撮影された人のピクチャーは、現実の人の実際の視線とは異なる視線を示す場合がある。本開示の一態様によれば、没入型テレプレゼンスアプリケーションにおいて、現実の人と人の画像との間の視線接続は、没入感を向上させ、認知を高めることができ、いくつかの実施例では、どこにでもある手がかりとなり得る。

本開示のいくつかの態様は、注視補正や、注視一致などの、輻輳又は回転に基づく画像注視調整のための技術を提供する。画像注視調整は、カメラ位置を補償することができ、没入型テレプレゼンスアプリケーションにおけるユーザの注視を一致させることができる。

本開示のいくつかの態様によれば、輻輳に基づく画像注視調整は、ユーザの眼の輻輳又は回転を検出し、輻輳、ユーザの眼の位置及び頭部の位置が、ユーザの関心対象を視認していることに一致するか否かを決定することができる。例えば、注視とは、ユーザによる固定的な視覚的注意を指すことができ、イメージにおけるユーザの注視位置（ゲーズ位置とも呼ばれる）は、イメージにおけるユーザの眼の輻輳又は回転、ユーザの眼の位置及び頭部姿勢に基づいて決定されることができる。さらに、注視補正パラメータを決定して、注視位置を関心対象の位置と一致させることができる。例えば、頭部の回転パラメータ及び眼の回転パラメータを決定して、注視位置を関心対象の位置と一致させるように調整することができる。いくつかの実施例では、ユーザの１つ又は複数のイメージを撮影し、１つ又は複数のイメージにおける頭部の位置及び眼の位置を、注視補正パラメータに従って調整することができる。したがって、１つ又は複数のイメージにおけるユーザは、例えば、関心対象に対して適切な注視を持つことができる。

図１は、本開示のいくつかの実施形態による注視補正の図を示す。図１の例では、ユーザ（１０１）（例えば、人）は、表示スクリーン（１２０）の前方にいる。表示スクリーン（１２０）は、コンピュータシステムや、娯楽システム、ゲームシステム、通信システム、没入型テレプレゼンスシステムなどの電子システム（１１０）の一部であり得る。電子システム（１１０）のコンポーネントは、パッケージに統合されることができれば、有線接続又は無線接続によって接続される別個のコンポーネントとすることもできる。

電子システム（１１０）は、表示スクリーン（１２０）と、カメラ（１３０）や、１つ又は複数のプロセッサ（図示せず、処理回路とも呼ばれる）、通信コンポーネント（図示せず）などの他の適切なコンポーネントとを含む。図１の例では、カメラ（１３０）は、表示スクリーン（１２０）の上部に位置する。なお、カメラ（１３０）は、表示スクリーン（１２０）の側面などの他の適切な位置に配置されることができる。

一般に、ユーザ（１０１）は、表示スクリーン（１２０）の前方にいて、表示スクリーン（１２０）に面しており、表示スクリーン（１２０）は、ユーザ（１０１）が表示スクリーン（１２０）に表示されたコンテンツを快適に視認するために、ユーザ（１０１）の顔の高さ程度にある。カメラ（１３０）は、一般に、表示スクリーン（１２０）の周辺に配置され、ユーザ（１０１）が表示スクリーン（１２０）に表示されたコンテンツを視認するのを妨げないように、ユーザ（１０１）の真正面には配置されない。

本開示の一態様によれば、ユーザ（１０１）が表示スクリーン（１２０）を見ているときにカメラ（１３０）によって撮影されたユーザ（１０１）のイメージは、ユーザ（１０１）が、表示スクリーン（１２０）のほぼ中心とは異なる方向に注視していることを示す場合がある。例えば、ユーザ（１０１）が表示スクリーン（１２０）の中心位置を見ているときに、カメラ（１３０）によって撮影されたユーザ（１０１）のイメージは、ユーザ（１０１）が、表示スクリーン（１２０）の中心位置よりも低い位置を見ていることを示す場合がある。

別の例では、ユーザ（１０１）は、テレプレゼンスアプリケーションを介して第２のユーザと通信している第１のユーザである。ユーザ（１０１）は、カメラ（１３０）がユーザ（１０１）のイメージをキャプチャするときに、表示スクリーン（１２０）の左側に掲示されたメモを見ることがある。イメージが伝送されて、第２のユーザの前の第２の表示スクリーン上に表示されると、第２の表示スクリーン上のユーザ（１０１）のイメージは、第２のユーザの方向を見ていないように見えるため、第２のユーザは、第１のユーザとのアイコンタクトを感じない。

図１の例では、輻輳又は回転に基づく注視補正は、カメラ位置を補償するために、及び／又は、アイコンタクトのために第２のユーザの注視を一致させるために、例えば電子システム（１１０）によって行われることができる。例えば、電子システム（１１０）は、ユーザ（１０１）の眼の輻輳を検出することができる。眼の輻輳とは、単一の両眼視を獲得又は維持するための、両眼の反対方向への動き（内向き回転運動とも呼ばれる）である。次に、眼の輻輳を使用して注視調整を行う。なお、垂直回転眼球運動、水平眼球運動、又は回転眼球運動の任意の組み合わせなど、他の適切な回転眼球運動を注視補正に使用することができる。いくつかの実施例では、眼の輻輳と、ユーザ（１０１）の頭部の位置及び／又は眼の位置などの他の適切な情報とによって、ユーザ（１０１）の注視位置（１０２）を決定することができる。注視位置（１０２）をユーザ（１０１）の関心対象の位置（１１１）と比較して、注視補正パラメータを決定する。例えば、補正された注視位置を位置（１１１）に調整するために、注視補正パラメータをユーザ（１０１）に適用することができる。いくつかの実施例では、注視補正パラメータを、ユーザ（１０１）のイメージを処理するために使用することができ、これにより、処理されたイメージにおけるユーザ（１０１）は、関心対象を注視しているように見える。

なお、眼の輻輳は、様々な技術によって検出されることができる。一例では、物理的アイトラッキングセンサを使用して眼の輻輳を検出する。別の実施例では、ユーザ（１０１）のイメージに対してイメージ分析を行って、眼の輻輳を検出することができる。別の実施例では、ユーザの頭部位置だけを使用してユーザ（１０１）の眼の輻輳を検出する。

いくつかの実施例では、頭部位置及び眼の輻輳を使用して注視調整を行う。注視調整は、カメラ位置を補償することができ、第２のユーザの注視を一致させることができる。

なお、関心対象の位置は、様々な技術によって決定されることができる。一例では、表示スクリーン（１２０）の中心点が関心対象であると決定される。別の実施例では、表示スクリーン（１２０）上に第２のユーザのイメージが表示され、表示スクリーン（１２０）上の第２のユーザの眼位置が関心対象の位置であると決定される。別の実施例では、表示スクリーン上の人の顔表情、表示スクリーン上の人の視覚的感情分析、及び表示スクリーン上の人の気分のうちの少なくとも１つに従って、関心対象の位置を決定する。

いくつかの実施例では、カメラ（１３０）によって撮影されたユーザ（１０１）のイメージを修正する。例えば、イメージにおけるユーザ（１０１）のボディの位置、姿勢又は回転を調整することができる。別の実施例では、イメージにおけるユーザ（１０１）の頭部の位置、姿勢又は回転を調整することができる。別の実施例では、イメージにおけるユーザ（１０１）の眼の位置及び回転を調整することができる。

なお、図１のコンポーネントは、説明のために示されているが、様々な異なるコンポーネントを使用して電子システム（１１０）を実現することができる。例えば、電子システム（１１０）は、没入型テレプレゼンス用に構成される。例えば、表示スクリーン（１２０）は、左右のビューコーンを有する８Ｋオートステレオスコピックディスプレイなどの３Ｄディスプレイで実現されることができる。カメラ（１３０）は、高速ＲＧＢカメラ、ステレオカメラ、マルチカメラ、深度キャプチャカメラなどで実現されることができる。一例では、カメラ（１３０）は、４ＫステレオスコピックＲＧＢカメラで実現される。電子システム（１１０）は、ライブ８Ｋ３Ｄ伝送が可能なトランシーバなどの高速トランシーバを含むことができる。いくつかの実施例では、電子システム（１１０）は、カメラ（１３０）とは別個のアイトラッキングセンサを含むことができる。

本開示のいくつかの態様によれば、輻輳に基づく注視一致のために、没入型テレプレゼンスアプリケーションにおいて輻輳に基づく注視調整を行って、没入体験を向上させることができる。

図２は、いくつかの実施形態における没入型テレプレゼンスシステム（２００）の図を示す。没入型テレプレゼンスシステム（２００）は、ネットワーク（２０５）を介して接続される第１の電子システム（２１０Ａ）と第２の電子システム（２１０Ｂ）とを含む。没入型テレプレゼンスシステム（２００）は、いくつかの実施例では、双方向のリアルタイム注視一致を行うことができる。いくつかの実施例では、没入型テレプレゼンスアプリケーションは、サーバデバイスによってホストされ、第１の電子システム（２１０Ａ）及び第２の電子システム（２１０Ｂ）は、没入型テレプレゼンスアプリケーションのクライアントデバイスであり得る。

本開示のいくつかの態様によれば、没入型テレプレゼンスアプリケーションの仮想背景は、仮想カメラによって、第１の電子システム（２１０Ａ）及び第２の電子システム（２１０Ｂ）などのクライアント上でレンダリングされることができ、前景における動的な人間の被写体は、ステレオスコピックカメラアレイでキャプチャされることができる。いくつかの実施例では、輻輳とは、物体を固視するための眼の内向き／外向きの回転をいい、また、調節とは、網膜上に鮮明なイメージを生成するための眼の焦点調節機構をいう。ユーザによる輻輳と調節の不一致を回避するために、水平イメージ平行移動技術を使用して、ユーザの関心対象（例えば、表示スクリーン上の人の眼）の深さ位置を、表示スクリーンのスクリーン平面に設定することができ、スクリーン平面（screen plane）は、ゼロ視差位置とも呼ばれ、これにより、いくつかの実施例では、ユーザの焦点、調節、及び輻輳を一致させることができる。ユーザがカメラから離れた状態で、ユーザの両眼の内向きの輻輳回転を計算することができ、ユーザが実際に表示スクリーン上の人の眼を見ているときに、注視補正を適用することができる。

第１の電子システム（２１０Ａ）及び第２の電子システム（２１０Ｂ）は、それぞれ電子システム（１１０）と同様に構成されることができる。

例えば、第１の電子システム（２１０Ａ）は、左右のビューコーン又は任意の数のビューコーンを有する８Ｋオートステレオスコピックディスプレイなどの３Ｄディスプレイで実現される表示スクリーン（２２０Ａ）を含む。第１の電子システム（２１０Ａ）は、高速ＲＧＢカメラ、ステレオカメラ、マルチカメラ、深度キャプチャカメラなどで実現されるカメラ（２３０Ａ）を含む。第１の電子システム（２１０Ａ）は、ネットワーク（２０５）に信号を伝送し、及び／又はネットワーク（２０５）から信号を受信するように構成されるトランシーバ（図示せず、有線又は無線）を含む。いくつかの実施例では、第１の電子システム（２１０Ａ）は、カメラ（２３０Ａ）とは別個のアイトラッキングセンサ（図示せず）を含むことができる。第１の電子システム（２１０Ａ）は、イメージ処理のための１つ又は複数のプロセッサ（図示せず）などの処理回路も含む。

同様に、第２の電子システム（２１０Ｂ）は、左右のビューコーン又は任意の数のビューコーンを有する８Ｋオートステレオスコピックディスプレイなどの３Ｄディスプレイで実現される表示スクリーン（２２０Ｂ）を含む。第２の電子システム（２１０Ｂ）は、高速ＲＧＢカメラ、ステレオカメラ、マルチカメラ、深度キャプチャカメラなどで実現されるカメラ（２３０Ｂ）を含む。第２の電子システム（２１０Ｂ）は、ネットワーク（２０５）に信号を伝送し、及び／又はネットワーク（２０５）から信号を受信するように構成されるトランシーバ（図示せず、有線又は無線）を含む。いくつかの実施例では、第２の電子システム（２１０Ｂ）は、カメラ（２３０Ｂ）とは別個のアイトラッキングセンサを含むことができる。第２の電子システム（２１０Ｂ）は、イメージ処理のための１つ又は複数のプロセッサ（図示せず）などの処理回路も含む。

没入型テレプレゼンスシステム（２００）は、双方向のリアルタイム注視一致を行うことができる。図２の例では、第１のユーザ（２０１Ａ）は、表示スクリーン（２２０Ａ）の前方にいて、表示スクリーン（２２０Ａ）に面しており、表示スクリーン（２２０Ａ）は、第１のユーザ（２０１Ａ）が表示スクリーン（２２０Ａ）に表示されたコンテンツを快適に視認するために、第１のユーザ（２０１Ａ）の顔の高さ程度にある。カメラ（２３０Ａ）は、表示スクリーン（２２０Ａ）の周辺に配置され、第１のユーザ（２０１Ａ）が表示スクリーン（２２０Ａ）に表示されたコンテンツを視認するのを妨げないように、第１のユーザ（２０１Ａ）の真正面には配置されない。例えば、カメラ（２３０Ａ）は、図２における表示スクリーン（２２０Ａ）の左側に配置されている。

同様に、第２のユーザ（２０１Ｂ）は、表示スクリーン（２２０Ｂ）の前方にいて、表示スクリーン（２２０Ｂ）に面しており、表示スクリーン（２２０Ｂ）は、第２のユーザ（２０１Ｂ）が表示スクリーン（２２０Ｂ）に表示されたコンテンツを快適に視認するために、第２のユーザ（２０１Ｂ）の顔の高さ程度にある。カメラ（２３０Ｂ）は、表示スクリーン（２２０Ｂ）の周辺に配置され、第２のユーザ（２０１Ｂ）が表示スクリーン（２２０Ｂ）に表示されたコンテンツを視認するのを妨げないように、第２のユーザ（２０１Ｂ）の真正面には配置されない。例えば、カメラ（２３０Ｂ）は、図２における表示スクリーン（２２０Ｂ）の上部に配置されている。

本開示のいくつかの態様によれば、カメラ（２３０Ａ）は、第１のユーザ（２０１Ａ）の第１の立体イメージを撮影する。第１の立体イメージは、例えば、輻輳に基づく注視一致に従って処理されることができる。一例では、第１の立体イメージは、輻輳に基づく注視一致に従って、第１の電子システム（２１０Ａ）の処理回路によって処理される。別の実施例では、第１の立体イメージは、輻輳に基づく注視一致に従って、ネットワーク（２０５）におけるサーバ（例えば、没入型テレプレゼンスサーバ）によって処理される。処理された第１の立体イメージは、第２の電子システム（２１０Ｂ）に送信される。処理された第１の立体イメージは、表示スクリーン（２２０Ｂ）によって表示されて、図２における第１のユーザ（２０１Ａ）の表示イメージ（２０２Ｂ）などの修正されたイメージを示す。いくつかの実施例では、第１の立体イメージ又は処理された第１の立体イメージは、注視一致のために、さらに第２の電子システム（２１０Ｂ）の処理回路によって処理されることができ、その後、処理された第１の立体イメージは、表示スクリーン（２２０Ｂ）によって表示されて、第１のユーザ（２０１Ａ）の表示イメージ（２０２Ｂ）などの修正されたイメージを示す。

同様に、カメラ（２３０Ｂ）は、第２のユーザ（２０１Ｂ）の第２の立体イメージを撮影する。第２の立体イメージは、例えば、輻輳に基づく注視一致に従って処理されることができる。一例では、第２の立体イメージは、輻輳に基づく注視一致に従って、第２の電子システム（２１０Ｂ）の処理回路によって処理される。別の実施例では、第２の立体イメージは、輻輳に基づく注視一致に従って、ネットワーク（２０５）におけるサーバ（例えば、没入型テレプレゼンスサーバ）によって処理される。処理された第２の立体イメージは、第１の電子システム（２１０Ａ）に送信される。処理された第２の立体イメージは、表示スクリーン（２２０Ａ）によって表示されて、図２における第２のユーザ（２０１Ｂ）の表示イメージ（２０２Ａ）などの修正されたイメージを示す。いくつかの実施例では、第２の立体イメージ又は処理された第２の立体イメージは、さらに第１の電子システム（２１０Ａ）の処理回路によって処理されることができ、その後、さらに処理された第２の立体イメージは、表示スクリーン（２２０Ａ）によって表示されて、第２のユーザ（２０１Ｂ）の表示イメージ（２０２Ａ）などの修正されたイメージを示す。

いくつかの実施例では、第１のユーザ（２０１Ａ）が表示イメージ（２０２Ａ）を見るときに、第１のユーザ（２０１Ａ）は、第２のユーザ（２０１Ｂ）の表示イメージ（２０２Ａ）とアイコンタクト（注視一致ともいう）をとる。アイコンタクトは、第１のユーザ（２０１Ａ）の没入体験を向上させる。

同様に、第２のユーザ（２０１Ｂ）が表示イメージ（２０２Ｂ）を見るときに、第２のユーザ（２０１Ｂ）は、第１のユーザ（２０１Ａ）の表示イメージ（２０２Ｂ）とアイコンタクト（注視一致ともいう）をとる。アイコンタクトは、第２のユーザ（２０１Ｂ）の没入体験を向上させる。なお、いくつかの実施例では、第１のユーザ（２０１Ａ）及び第２のユーザ（２０１Ｂ）は、表示イメージを同時に見てアイコンタクトをとる必要はない。

いくつかの実施例では、第１の電子システム（２１０Ａ）は、第２のユーザ（２０１Ｂ）の処理された第２の立体イメージを受信する。いくつかの実施例では、処理された第２の立体イメージは、一対のイメージを含む。一対のイメージの各イメージについて、イメージにおける人（例えば、第２ユーザ（２０１Ｂ））の瞳孔間位置（例えば、２つの瞳孔の中央位置）を決定する。例えば、イメージにおける２つの瞳孔を決定し、２つの瞳孔の瞳孔間位置の３Ｄ ＸＹＺ座標を決定する。一対のイメージの瞳孔間位置を使用して、一対のイメージを、瞳孔間位置が重なり合って表示スクリーン（２２０Ａ）の１つの位置に表示されるようにそれぞれシフトして表示スクリーン（２２０Ａ）に表示させ、これにより、眼の深度平面が表示スクリーン（２２０Ａ）のスクリーン平面に設定される。その後、シフトされたイメージに従って表示される人の眼を、表示スクリーン（２２０Ａ）のスクリーン平面で観察することができ、表示スクリーン（２２０Ａ）のスクリーン平面は、ゼロ視差位置（ＺＰＳ）と呼ばれることができる。いくつかの実施例では、眼がスクリーン平面で観察されるときに、鼻がスクリーン平面の前方で観察されることができ、後頭部はスクリーン平面の後ろにある。一例では、（２０３Ａ）で示されるような、表示スクリーン（２２０Ａ）上の重なり合う瞳孔間位置の位置は、注視一致を達成するために、第１のユーザ（２０１Ａ）の関心対象として定義される。

さらに、図２の例では、第１のユーザ（２０１Ａ）の眼の輻輳を検出する。一例では、アイトラッキングセンサは、第１のユーザ（２０１Ａ）の眼の動きを決定することができる。眼の動きを使用して、眼の輻輳による収束点の３Ｄベクトルを決定することができる。別の例では、第１のユーザ（２０１Ａ）の第１の立体イメージのイメージ分析に従って、眼の輻輳による収束点の３Ｄベクトルを決定する。いくつかの実施例では、第１のユーザ（２０１Ａ）の第１の立体イメージのイメージ分析から頭部回転（又は頭部位置、又は頭部姿勢）を決定することができる。

次に、眼の輻輳を使用して、注視調整を行う。いくつかの実施例では、第１のユーザ（２０１Ａ）の眼の輻輳と、頭部回転や、眼の位置などの他の適切な情報とにより、第１のユーザ（２０１Ａ）の注視位置を決定することができる。第１のユーザ（２０１Ａ）の注視位置を、第１のユーザ（２０１Ａ）の関心対象の位置と比較して、第１の立体イメージの注視補正パラメータを決定する。第１の立体イメージを、注視補正パラメータに従って処理することができる。

いくつかの実施例では、第１の電子システム（２１０Ａ）は、第１のユーザ（２０１Ａ）の眼の輻輳を検出するように構成される感知モジュールを含む。一例では、感知モジュールは、高速ＲＧＢカメラや、ステレオカメラ、マルチカメラ、深度キャプチャカメラなどのカメラ（２３０Ａ）によって実現されることができる。別の例では、感知モジュールは、アイトラッキングセンサによって実現されることができる。

いくつかの実施例では、第１の電子システム（２１０Ａ）は、処理された第２の立体イメージにおける人の眼の深度平面を、表示スクリーン（２２０Ａ）のスクリーン平面に対して設定するように構成されるレンダリングモジュールを含む。例えば、処理された第２の立体イメージにおける人の眼の深度平面を、表示スクリーン（２２０Ａ）のスクリーン平面に設定する。いくつかの実施例では、レンダリングモジュールは、ソフトウェア命令を実行する１つ又は複数のプロセッサによって実現されることができる。

いくつかの実施例では、第１の電子システム（２１０Ａ）は、注視点と関心対象との間の不一致を決定するように構成される登録モジュールを含む。注視点を、アイトラッキングによって検出される眼の輻輳及び他の適切な情報に基づいて決定することができる。いくつかの実施例では、登録モジュールは、コンパクトモデルを含むことができ、ソフトウェア命令を実行する１つ又は複数のプロセッサによって実現されることができる。

いくつかの実施例では、第１の電子システム（２１０Ａ）は、第１の立体イメージにおいて注視補正を行うように構成される注視補正モジュールを含む。いくつかの実施例では、注視補正モジュールは、感知モジュール及び登録モジュールからのライブ入力を受信することができ、第１の立体イメージに対する修正を行うことができる。例えば、注視補正モジュールは、感知モジュール及び登録モジュールからのライブ入力を使用して、２Ｄ修復及び／又は３Ｄ回転注視補正を行うことができる。一例では、第１の立体イメージにおける人は、３Ｄメッシュの形態である。注視補正のために３Ｄメッシュを回転させることができる。一例では、注視補正のために人の眼を回転させることができる。別の例では、注視補正のために人の頭部を回転させることができる。別の例では、注視補正のために人のボディを回転させることができる。いくつかの実施例では、注視補正モジュールは、その目的を果たすように訓練されるニューラルネットワークモデルによって実現される。

一例では、カメラ（２３０Ａ）のロケーションのせいで、第１のユーザ（２０１Ａ）が表示イメージ（２０２Ａ）、例えば表示スクリーン（２２０Ａ）の中心を見るときに、カメラ（２３０Ａ）によってキャプチャされた第１の立体イメージは、第１のユーザ（２０１Ａ）が表示スクリーン（２２０Ａ）の右部を見ていることを示す。第１の電子システム（２１０Ａ）は、輻輳に基づく注視一致を行って注視補正を決定する。例えば、第１のユーザ（２０１Ａ）の注視点を、眼の輻輳に基づいて決定することができ、注視点は、表示スクリーン（２２０Ａ）の右部の点とすることができる。注視点と関心対象の位置（例えば、表示スクリーン（２２０Ａ）のスクリーン平面における瞳孔間位置）との差を決定することができる。この差に基づいて、第１の立体イメージにおける人を左に回転させる回転角度を決定して、第１の立体イメージを補正することができる。その後、注視補正のための回転角度に従って、第１の立体イメージにおける人を表すメッシュを左に回転させることができる。

以上の説明では、第１の立体イメージは、注視補正のために第１の電子システム（２１０Ａ）によって処理されるが、注視補正は、いくつかの実施例では、ネットワーク（２０５）におけるサーバによって適切に行われることができれば、いくつかの実施例では、第２の電子システム（２１０Ｂ）によって行われることもできることに留意されたい。

同様に、いくつかの実施例では、第２の電子システム（２１０Ｂ）は、第１のユーザ（２０１Ａ）の処理された第１の立体イメージを受信する。いくつかの実施例では、処理された第１の立体イメージは、一対のイメージを含む。一対のイメージの各イメージについて、イメージにおける人（第１のユーザ（２０１Ａ））の瞳孔間位置（例えば、２つの瞳孔の中央位置）を決定する。例えば、イメージにおける２つの瞳孔を決定し、２つの瞳孔の瞳孔間位置の３Ｄ ＸＹＺ座標を決定する。一対のイメージの瞳孔間位置を使用して、一対のイメージを、瞳孔間位置が重なり合って１点に表示されるようにそれぞれシフト（いくつかの実施例では、水平イメージ平行移動とも呼ばれる）して表示スクリーン（２２０Ｂ）に表示させ、眼の深度平面が表示スクリーン（２２０Ｂ）のスクリーン平面に設定される。その後、シフトされたイメージに従って表示される人の眼を、表示スクリーン（２２０Ｂ）のスクリーン平面で観察することができ、表示スクリーン（２２０Ｂ）のスクリーン平面は、ゼロ視差位置（ＺＰＳ）と呼ばれることができる。いくつかの実施例では、眼がスクリーン平面で観察されるときに、鼻がスクリーン平面の前方で観察されることができ、後頭部はスクリーン平面の後ろにある。一例では、（２０３Ｂ）で示されるような、表示スクリーン（２２０Ｂ）上の重なり合う瞳孔間位置の点は、注視一致を達成するために、第２のユーザ（２０１Ｂ）の関心対象として定義される。

さらに、図２の例では、第２のユーザ（２０１Ｂ）の眼の輻輳を検出する。一例では、アイトラッキングセンサは、第２のユーザ（２０１Ｂ）の眼の動きを決定することができる。眼の動きを使用して、眼の輻輳による収束点の３Ｄベクトルを決定することができる。別の例では、眼の輻輳による収束点の３Ｄベクトルを、第２のユーザ（２０１Ｂ）の第２の立体イメージのイメージ分析に従って決定する。いくつかの実施例では、第２のユーザ（２０１Ｂ）の第２の立体イメージのイメージ分析から頭部回転（又は頭部位置、又は頭部姿勢）を決定する。

次に、眼の輻輳を使用して、注視調整を行う。いくつかの実施例では、第２のユーザ（２０１Ｂ）の眼の輻輳と、頭部回転や、眼の位置などの他の適切な情報とにより、第２のユーザ（２０１Ｂ）の注視位置を決定することができる。第２のユーザ（２０１Ｂ）の注視位置を、第２のユーザ（２０１Ｂ）の関心対象の位置と比較して、第２の立体イメージの注視補正パラメータを決定する。第２の立体イメージを、注視補正パラメータに従って処理することができる。

いくつかの実施例では、第２の電子システム（２１０Ｂ）は、第２のユーザ（２０１Ｂ）の眼の輻輳を検出するように構成される感知モジュールを含む。一例では、感知モジュールは、高速ＲＧＢカメラや、ステレオカメラ、マルチカメラ、深度キャプチャカメラなどのカメラ（２３０Ｂ）によって実現されることができる。別の例では、感知モジュールは、アイトラッキングセンサによって実現されることができる。

いくつかの実施例では、第２の電子システム（２１０Ｂ）は、処理された第１の立体イメージにおける人の眼の深度平面を、表示スクリーン（２２０Ｂ）のスクリーン平面に対して設定するように構成されるレンダリングモジュールを含む。例えば、処理された第１の立体イメージにおける人の眼の深度平面を、表示スクリーン（２２０Ｂ）のスクリーン平面に設定する。いくつかの実施例では、レンダリングモジュールは、ソフトウェア命令を実行する１つ又は複数のプロセッサによって実現されることができる。

いくつかの実施例では、第２の電子システム（２１０Ｂ）は、注視点と関心対象との間の不一致を決定するように構成される登録モジュールを含む。注視点を、アイトラッキングによって検出される眼の輻輳及び他の適切な情報に基づいて決定することができる。いくつかの実施例では、登録モジュールは、ソフトウェア命令を実行する１つ又は複数のプロセッサによって実現されることができる。

いくつかの実施例では、第２の電子システム（２１０Ｂ）は、第２の立体イメージにおいて注視補正を行うように構成される注視補正モジュールを含む。いくつかの実施例では、注視補正モジュールは、感知モジュール及び登録モジュールからのライブ入力を受信し、第２の立体イメージに対する修正を行うことができる。例えば、注視補正モジュールは、感知モジュール及び登録モジュールからのライブ入力を使用して、２Ｄ修復及び／又は３Ｄ回転注視補正を行うことができる。一例では、第２の立体イメージにおける人は、３Ｄメッシュの形態である。注視補正のために３Ｄメッシュを回転させることができる。一例では、注視補正のために人の眼を回転させることができる。別の例では、注視補正のために人の頭部を回転させることができる。別の例では、注視補正のために人のボディを回転させることができる。いくつかの実施例では、注視補正モジュールは、その目的を果たすように訓練されるニューラルネットワークモデルによって実現される。

一例では、カメラ（２３０Ｂ）のロケーションのせいで、第２のユーザ（２０１Ｂ）が表示イメージ（２０２Ａ）、例えば表示スクリーン（２２０Ｂ）の中心を見るときに、カメラ（２３０Ｂ）によってキャプチャされた第２の立体イメージは、第２のユーザ（２０１Ｂ）が表示スクリーン（２２０Ｂ）の下部を見ていることを示す。第２の電子システム（２１０Ｂ）は、輻輳に基づく注視一致を行って注視補正を決定する。例えば、第２のユーザ（２０１Ｂ）の注視点を、眼の輻輳に基づいて決定することができ、注視点は、表示スクリーン（２２０Ｂ）の下部の点とすることができる。注視点と関心対象の位置（例えば、表示スクリーン（２２０Ｂ）のスクリーン平面における瞳孔間位置）との差を決定することができる。この差に基づいて、第２の立体イメージにおける人の頭部又はボディを上向きに回転させる回転角度を決定して、第２の立体イメージを修正することができる。その後、注視補正のための回転角度に従って、第２の立体イメージにおける人を表すメッシュを上向きに回転させることができる。

以上の説明では、第２の立体イメージは、注視補正のために第２の電子システム（２１０Ｂ）によって処理されるが、注視補正は、いくつかの実施例では、ネットワーク（２０５）におけるサーバによって適切に行われることができれば、いくつかの実施例では、第１の電子システム（２１０Ａ）によって行われることもできることに留意されたい。

図３は、本開示の一実施形態によるプロセス（３００）の概要を示すフローチャートを示す。様々な実施形態では、プロセス（３００）は、電子システム（１１０）や、第１の電子システム（２１０Ａ）、第２の電子システム（２１０Ｂ）などの電子システムにおける処理回路によって実行されることができる。いくつかの実施形態では、プロセス（３００）は、ソフトウェア命令で実現され、したがって、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（３００）を行う。プロセスは、（Ｓ３０１）から開始し、（Ｓ３１０）へ進む。

（Ｓ３１０）では、第１のユーザなどのユーザの関心対象の位置を決定する。

（Ｓ３２０）では、関心対象の位置とは異なるカメラ位置でカメラによって撮影される第１のユーザの第１の１つ又は複数のイメージを受信する。

（Ｓ３３０）では、第１のユーザの眼の第１の輻輳又は回転を決定する。

（Ｓ３４０）では、関心対象を視認するための第１の輻輳又は回転の不一致を決定する。

（Ｓ３５０）では、関心対象を視認するための第１の輻輳又は回転の不一致に基づいて、第１の１つ又は複数のイメージの注視補正を行う。

いくつかの実施例では、関心対象の位置を決定するために、第１のユーザと没入型テレプレゼンスを行う第２のユーザの第２の１つ又は複数のイメージを受信する。次に、第２の１つ又は複数のイメージから第２のユーザの瞳孔間位置を導出する。瞳孔間位置が第１のユーザの表示スクリーンのスクリーン平面に設定されている状態で第２の１つ又は複数のイメージを表示する。表示スクリーンのスクリーン平面における瞳孔間位置を、第１のユーザの関心対象の位置として決定する。

いくつかの実施例では、第１のユーザと一緒に没入型テレプレゼンスを行う第２のユーザの第２の１つ又は複数のイメージを受信する。第２の１つ又は複数のイメージを、第１のユーザの表示スクリーンに表示する。そして、第２ユーザの眼を表示するための表示スクリーン上の位置を、第１のユーザの関心対象の位置として決定する。

いくつかの実施例では、表示スクリーンの中心点を、第１のユーザの関心対象の位置として決定する。

第１のユーザの眼の第１の輻輳を検出するために、一例では、第１の輻輳を、カメラとは別個のアイトラッキングセンサによって感知されたデータに基づいて決定する。いくつかの実施例では、第１の輻輳を、第１のユーザの第１の１つ又は複数のイメージのイメージ分析に基づいて決定する。

一例では、第１のユーザの眼の第１の輻輳を、第１のユーザの頭部位置のみに基づいて計算する。

いくつかの実施例では、関心対象を視認するための第１の輻輳の不一致をさらに計算するために、第１のユーザの眼の第１の輻輳及び第１のユーザの頭部位置に従って注視点を決定する。次に、第１のユーザの関心対象の位置に対する注視点の差を計算して不一致を決定する。

いくつかの実施例では、第１のユーザの頭部及び／又はボディの位置や、第１のユーザの頭部及び／又はボディの姿勢、第１のユーザの頭部及び／又はボディの回転角度などの様々なパラメータを調整して注視補正を行うことができる。一例では、第１の１つ又は複数のイメージにおける第１のユーザの頭部位置を修正する。別の例では、第１の１つ又は複数のイメージにおける第１のユーザのボディ位置を修正する。別の例では、第１の１つ又は複数のイメージにおける第１のユーザの頭部姿勢を修正する。別の例では、第１の１つ又は複数のイメージにおける第１のユーザのボディ姿勢を修正する。別の例では、第１の１つ又は複数のイメージにおける第１のユーザの頭部回転角度を修正する。別の例では、第１の１つ又は複数のイメージにおける第１のユーザのボディ回転角度を修正する。

いくつかの実施例では、表示スクリーン上の人の顔表情、表示スクリーン上の人の視覚的感情分析、及び表示スクリーン上の人の気分のうちの少なくとも１つに従って、関心対象の位置を決定する。

いくつかの実施例では、慣性測定ユニット（ＩＭＵ）、深度センサ、光検出測距（ＬｉＤａｒ）センサ、近赤外線（ＮＩＲ）センサ、及び空間オーディオ検出器のうちの少なくとも１つを使用して、第１のユーザの眼の第１の輻輳を検出する。

そして、プロセスは、（Ｓ３９９）に進み、終了する。

プロセス（３００）を、適切に適応させることができる。プロセス（３００）のステップを修正及び／又は省略することができる。追加のステップを追加することができる。任意の適切な実現順序を使用することができる。

上述の技術は、コンピュータ読取可能な命令を使用するコンピュータソフトウェアとして実現され、非一時的なコンピュータ読取可能なストレージなどの１つ又は複数のコンピュータ読取可能な媒体に物理的に記憶されることができる。例えば、図４は、開示された主題の特定の実施形態を実現するのに適したコンピュータシステム（４００）を示す。

コンピュータソフトウェアは、任意の適切なマシンコードまたはコンピュータ言語を使用して符号化されてもよく、アセンブリ、コンパイル、リンクなどのメカニズムによって命令を含むコードを作成してもよく、この命令は、１つ又は複数のコンピュータ中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）などによって直接的に実行されてもよく、または解釈、マイクロコード実行などによって実行されてもよい。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々な種類のコンピュータ又はそのコンポーネント上で実行されることができる。

図４に示されるコンピュータシステム（４００）のコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実現するコンピュータソフトウェアの使用範囲または機能に関するいかなる制限も示唆することが意図されていない。コンポーネントの構成は、コンピュータシステム（４００）の例示的な実施形態に示されているコンポーネントのいずれかまたは組み合わせに関連する任意の依存性または要件を有すると解釈されるべきではない。

コンピュータシステム（４００）は、特定のヒューマンインタフェース入力デバイスを含んでもよい。このようなヒューマンインタフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの動きなど）や、オーディオ入力（例えば、声、拍手など）、視覚入力（例えば、ジェスチャーなど）、嗅覚入力（図示せず）によって、１人以上のユーザによる入力に応答することができる。ヒューマンインタフェース入力デバイスは、例えばオーディオ（例えば、音声、音楽、環境音など）、画像（例えば、スキャンされたイメージ、静止画カメラから得られた写真イメージなど）、ビデオ（例えば、２次元ビデオ、立体映像を含む３次元ビデオなど）などの、人間による意識的な入力に必ずしも直接関連しているとは限らない、特定のメディアを捕捉するために使用されることもできる。

入力ヒューマンインタフェースデバイスは、キーボード（４０１）、マウス（４０２）、トラックパッド（４０３）、タッチスクリーン（４１０）、データグローブ（図示せず）、ジョイスティック（４０５）、マイク（４０６）、スキャナ（４０７）、及びカメラ（４０８）のうちの１つ又は複数（そのうちの１つだけが図示された）を含んでもよい。

コンピュータシステム（４００）はまた、いくつかのヒューマンインタフェース出力デバイスを含むことができる。そのようなヒューマンインタフェース出力デバイスは、例えば、触覚出力、音、光、および嗅覚／味覚によって、１人以上のユーザの感覚を刺激することができる。このようなヒューマンインタフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（４１０）、データグローブ（図示せず）、又はジョイスティック（４０５）による触覚フィードバックであるが、入力デバイスとして作用しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（例えば、スピーカ（４０９）、ヘッドホン（図示せず））、視覚出力デバイス（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（４１０）であり、各々は、タッチスクリーン入力機能を備えてもよく、あるいは備えていなくてもよく、各々は、触覚フィードバック機能を備えてもよく、あるいは備えていなくてもよく、これらのいくつかは、ステレオグラフィック出力、仮想または拡張現実メガネ（図示せず）、マルチビューディスプレイ、ホログラフィックディスプレイとスモークタンク（図示せず）、およびプリンタ（図示せず）などの手段によって、２次元の視覚出力または３次元以上の出力を出力することができる）を含んでもよい。

コンピュータシステム（４００）はまた、例えばＣＤ／ＤＶＤ付きのＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（４２０）又は類似した媒体を含む光学媒体（４２１）、サムドライブ（４２２）、リムーバブルハードドライブ又はソリッドステートドライブ（４２３）、例えばテープ及びフロッピー（登録商標）ディスク等のレガシー磁気媒体（図示せず）、例えばセキュリティドングル等の専用ＲＯＭ／ＡＳＩＣ／ＰＬＤベースデバイス（図示せず）など、人間がアクセス可能な記憶デバイス及びそれらの関連媒体を含むことも可能である。

当業者は、現在開示されている主題に関連して使用される「コンピュータ読取可能な媒体」という用語は、伝送媒体、搬送波、又は他の一時的な信号を包含しないことも理解すべきである。

コンピュータシステム（４００）はまた、１つ又は複数の通信ネットワーク（４５５）へのインタフェース（４５４）を含むことができる。ネットワークは、例えば、無線、有線、光学的であってもよい。ネットワークはさらに、ローカルネットワーク、広域ネットワーク、大都市圏ネットワーク、車両用ネットワークおよび産業用ネットワーク、リアルタイムネットワーク、遅延耐性ネットワークなどであってもよい。ネットワークの例は、イーサネット（登録商標）、無線ＬＡＮ、ＧＳＭ（登録商標）や、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶを含むテレビ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両用ネットワークおよび産業用ネットワークなどを含む。いくつかのネットワークは、一般に、特定の汎用データポート又は周辺バス（４４９）（例えば、コンピュータシステム（４００）のＵＳＢポートなど）に接続された外部ネットワークインタフェースアダプタを必要とし、その他は、通常、以下に説明するようにシステムバスに接続することによって、コンピュータシステム（４００）のコアに統合される（例えば、イーサネットインタフェースからＰＣコンピュータシステムへ、またはセルラーネットワークインタフェースからスマートフォンコンピュータシステムへ）。これらのネットワークのいずれかを使用して、コンピュータシステム（４００）は、他のエンティティと通信することができる。このような通信は、単方向の受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、ＣＡＮバスから特定のＣＡＮバスデバイスへ）、あるいは、双方向の、例えばローカルまたは広域デジタルネットワークを使用して他のコンピュータシステムへの通信であってもよい。上記のように、特定のプロトコルおよびプロトコルスタックは、それらのネットワークおよびネットワークインタフェースのそれぞれで使用されることができる。

前述のヒューマンインタフェースデバイス、人間がアクセス可能な記憶デバイス、及びネットワークインタフェースは、コンピュータシステム（４００）のコア（４４０）に接続されることができる。

コア（４４０）は、１つ又は複数の中央処理装置（ＣＰＵ）（４４１）、グラフィックス処理装置（ＧＰＵ）（４４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（４４３）の形態の専用プログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ（４４４）、グラフィックスアダプタ（４５０）等を含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（４４５）、ランダムアクセスメモリ（４４６）、例えばユーザがアクセスできない内部ハードディスク、ＳＳＤなどの内部大容量ストレージ（４４７）とともに、システムバス（４４８）を介して接続されてもよい。いくつかのコンピュータシステムでは、システムバス（４４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするために、１つ又は複数の物理プラグの形態でアクセス可能である。周辺デバイスは、コアのシステムバス（４４８）に直接、又は周辺バス（４４９）を介して接続されることができる。いくつかの実施例では、スクリーン（４１０）は、グラフィックスアダプタ（４５０）に接続されることができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

ＣＰＵ（４４１）、ＧＰＵ（４４２）、ＦＰＧＡ（４４３）、及びアクセラレータ（４４４）は、いくつかの命令を実行することができ、これらの命令を組み合わせて上記のコンピュータコードを構成することができる。そのコンピュータコードは、ＲＯＭ（４４５）又はＲＡＭ（４４６）に記憶されることができる。過渡的なデータもＲＡＭ（４４６）に記憶されることができ、一方、永久的なデータは、例えば、内部大容量ストレージ（４４７）に記憶されることができる。１つ又は複数のＣＰＵ（４４１）、ＧＰＵ（４４２）、大容量ストレージ（４４７）、ＲＯＭ（４４５）、ＲＡＭ（４４６）などと密接に関連付けられることができるキャッシュメモリの使用によって、いずれかのメモリデバイスへの高速な記憶及び検索を可能にすることができる。

コンピュータ読取可能な媒体は、様々なコンピュータ実現操作を行うためのコンピュータコードをその上に持つことができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものであってもよいし、コンピュータソフトウェア分野の技術に精通する者によく知られ利用可能な種類のものであってもよい。

一例として、限定ではなく、アーキテクチャ（４００）を有するコンピュータシステム、特にコア（４４０）は、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ又は複数の有形のコンピュータ読取可能な媒体で具現化されたソフトウェアを実行する結果として、機能を提供することができる。このようなコンピュータ読取可能な媒体は、上述したようなユーザがアクセス可能な大容量ストレージに関連付けられる媒体、ならびに、例えばコア内部大容量ストレージ（４４７）又はＲＯＭ（４４５）などの非一時的な性質であるコア（４４０）の特定のストレージとすることができる。本開示の様々な実施形態を実現するソフトウェアは、このようなデバイスに記憶され、コア（４４０）によって実行され得る。コンピュータ読取可能な媒体は、特定のニーズに応じて、１つ又は複数のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア（４４０）、特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（４４６）に記憶されたデータ構造の定義、及びソフトウェアによって定義されたプロセスに従ってかかるデータ構造の修正を含む、本明細書に記載された特別なプロセス又は特別なプロセスの特別な部分を実行させることができる。加えて、又は代替として、コンピュータシステムは、ロジックハードワイヤまたは他の方式で回路（例えば、アクセラレータ（４４４））で具体化された結果としての機能を提供することができ、この回路は、ソフトウェアの代わりに動作しまたはソフトウェアと一緒に動作して、ここで説明された特定のプロセスまたは特定のプロセスの特定の部分を実行してもよい。適切な場合には、ソフトウェアへの参照はロジックを含むことができ、逆もまた然りである。適切な場合には、コンピュータ読み取り可能な媒体への参照は、実行のソフトウェアを記憶する回路（例えば、集積回路（ＩＣ）など）、実行のロジックを具体化する回路、またはその両方を兼ね備えることができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。

本開示は、いくつかの例示的な実施形態を説明したが、本開示の範囲内に入る変更、置換、及び様々な代替の等価物が存在する。したがって、当業者は、本明細書で明示的に示されていないか又は説明されていないが、本開示の原理を具現化し、ゆえにその精神及び範囲内にある多数のシステム及び方法を発明することができることが理解されるであろう。

Claims (10)

1. 第１のユーザの関心対象の位置を決定するステップと、
   前記関心対象の前記位置とは異なるカメラ位置でカメラによって撮影される前記第１のユーザの第１の１つ又は複数のイメージを受信するステップと、
   前記第１のユーザの眼の第１の輻輳を検出するステップと、
   前記関心対象を視認するための前記第１の輻輳の不一致を計算するステップと、
   前記関心対象を視認するための前記第１の輻輳の前記不一致に基づいて、前記第１の１つ又は複数のイメージの注視補正を行うステップと、
   を含み、
   前記注視補正を行うステップは、
   前記第１の１つ又は複数のイメージにおける前記第１のユーザの頭部位置を修正するステップと、
   前記第１の１つ又は複数のイメージにおける前記第１のユーザのボディ位置を修正するステップと、
   前記第１の１つ又は複数のイメージにおける前記第１のユーザの頭部姿勢を修正するステップと、
   前記第１の１つ又は複数のイメージにおける前記第１のユーザのボディ姿勢を修正するステップと、
   前記第１の１つ又は複数のイメージにおける前記第１のユーザの頭部回転角度を修正するステップと、
   前記第１の１つ又は複数のイメージにおける前記第１のユーザのボディ回転角度を修正するステップと、のうちの少なくとも１つを、さらに含む
   ことを特徴とする注視一致の方法。
2. 前記関心対象の前記位置を決定するステップは、
   第２のユーザの第２の１つ又は複数のイメージを受信するステップであって、前記第２のユーザと前記第１のユーザが没入型テレプレゼンスを行うステップと、
   前記第２の１つ又は複数のイメージから前記第２のユーザの瞳孔間位置を導出するステップと、
   前記瞳孔間位置が前記第１のユーザの表示スクリーンのスクリーン平面に設定された状態で前記第２の１つ又は複数のイメージを表示するステップと、
   前記表示スクリーンの前記スクリーン平面における前記瞳孔間位置を、前記第１のユーザの前記関心対象の前記位置として決定するステップと、をさらに含む、ことを特徴とする請求項１に記載の注視一致の方法。
3. 前記関心対象の前記位置を決定するステップは、
   前記第１のユーザの表示スクリーンの中心点を、前記第１のユーザの関心対象の前記位置として決定するステップであって、前記カメラ位置は前記表示スクリーンの周辺にあるステップ、をさらに含む、ことを特徴とする請求項１に記載の注視一致の方法。
4. 前記関心対象の前記位置を決定するステップは、
   第２のユーザの第２の１つ又は複数のイメージを受信するステップであって、前記第２のユーザと前記第１のユーザが没入型テレプレゼンスを行うステップと、
   前記第２の１つ又は複数のイメージを、前記第１のユーザの表示スクリーンに表示するステップであって、前記カメラ位置は前記表示スクリーンの周辺にあるステップと、
   前記第２のユーザの眼を表示するための前記表示スクリーン上の位置を、前記第１のユーザの前記関心対象の前記位置として決定するステップと、をさらに含む、ことを特徴とする請求項１に記載の注視一致の方法。
5. 前記第１のユーザの前記眼の前記第１の輻輳を検出するステップは、
   前記カメラとは別個のアイトラッキングセンサに基づいて、前記第１の輻輳を感知するステップと、
   前記第１のユーザの前記第１の１つ又は複数のイメージのイメージ分析に基づいて、前記第１の輻輳を検出するステップと、のうちの少なくとも１つをさらに含む、ことを特徴とする請求項１に記載の注視一致の方法。
6. 前記第１のユーザの前記眼の前記第１の輻輳を検出するステップは、
   前記第１のユーザの頭部位置に基づいて、前記第１のユーザの前記眼の前記第１の輻輳を計算するステップ、をさらに含む、ことを特徴とする請求項１に記載の注視一致の方法。
7. 前記関心対象を視認するための前記第１の輻輳の前記不一致を計算するステップは、
   前記第１のユーザの前記眼の前記第１の輻輳及び前記第１のユーザの頭部位置に従って、注視点を決定するステップと、
   前記第１のユーザの前記関心対象の前記位置に対する前記注視点の前記不一致を計算するステップと、をさらに含む、ことを特徴とする請求項１に記載の注視一致の方法。
8. 前記第１のユーザの前記眼の前記第１の輻輳を検出するステップは、
   慣性測定ユニット（ＩＭＵ）、深度センサ、光検出測距（ＬｉＤａｒ）センサ、近赤外線（ＮＩＲ）センサ、及び空間オーディオ検出器のうちの少なくとも１つを使用して、前記第１のユーザの前記眼の前記第１の輻輳を検出するステップを含む、ことを特徴とする請求項１に記載の注視一致の方法。
9. 第１のユーザの関心対象の位置を決定するステップと、
   前記関心対象の前記位置とは異なるカメラ位置でカメラによって撮影される前記第１のユーザの第１の１つ又は複数のイメージを受信するステップと、
   前記第１のユーザの眼の第１の輻輳を検出するステップと、
   前記関心対象を視認するための前記第１の輻輳の不一致を計算するステップと、
   前記関心対象を視認するための前記第１の輻輳の前記不一致に基づいて、前記第１の１つ又は複数のイメージの注視補正を行うステップと、
   を含み、
   前記第１のユーザの前記関心対象の前記位置を決定するステップは、
   表示スクリーン上の人の顔表情、前記表示スクリーン上の前記人の視覚的感情分析、及び前記表示スクリーン上の前記人の気分のうちの少なくとも１つに従って、前記関心対象の前記位置を決定する
   注視一致の方法。
10. 請求項１～９のいずれか一項に記載の注視一致の方法を実行するように構成される処理回路を含むことを特徴とする電子システム。