JP7789804B2 - プロキシエッジクラウドアーキテクチャを使用してライトフィールド／没入型メディアを分割レンダリングするための方法および装置 - Google Patents

Description

関連出願の相互参照
本出願は、米国特許商標庁において2021年12月1日に出願された米国仮特許出願第63／284，956号および2022年11月30日に出願された米国特許出願第18／072，324号の優先権の利益を主張するものであり、これらの開示は参照により本明細書に組み込まれる。

開示される主題は、没入型メディアのための分割レンダリングのための方法およびシステムに関する。より具体的には、開示される主題は、プロキシエッジクラウドコンピューティングアーキテクチャを使用する没入型メディアのための分割レンダリングのための方法およびシステムに関する。

没入型メディアは、デジタルシミュレーションを通して物理的世界を作成または模倣し、それによって、シーンの内側に物理的に存在するユーザの知覚を作成するように、任意または全てのヒト感覚系を刺激することを試みる没入型技術によって定義されている。

仮想現実（Virtual Reality）、拡張現実（Artificial Intelligence）、複合現実（Magnetic Resonance）、ライトフィールド／ホログラフィック（Light Field／Holographic）などの種々のタイプの没入型メディア技術が現在使用されている。VRは、ヘッドセットを使用してユーザをコンピュータ生成世界に配置することによって、ユーザの物理的環境を置き換えるデジタル環境を指す。一方、は、デジタルメディアを取得し、クリアビジョン眼鏡またはスマートフォンのいずれかを使用することによって、それらを周囲の現実世界上に重ねる。MRは、現実世界をデジタル世界と混合し、それによって、技術および物理世界が共存することができる環境を作成することを指す。

ライトフィールド／ホログラフィック技術は、各点および方向から来る光線を有する3D空間における光線から構成される。この技術は、観察される全てのものが、任意の光源から到来し、空間を介して進行し、物体の表面に当たる光によって照明され、そこで光が部分的に吸収され、別の表面に部分的に反射されてから、我々の目に到達するという概念に基づいている。どの正確な光線が眼に到達するかは、ライトフィールド内のユーザの正確な位置に依存し、ユーザが動き回ると、ユーザは、ライトフィールドの一部を知覚し、その知覚された部分を使用して、物体の位置についての考えを得る。

光線は、5次元プレノプティック演算によって定義することができ、各光線は、3D空間（3次元）における3つの座標と、3D空間における方向を指定するための2つの角度とによって定義することができる。

従来のカメラでは、所与の位置でカメラレンズに到達する光線の2D表現しか捕捉することができない。画像センサは、各画素に到達する全ての光線の輝度および色の合計を記録する。

ライトフィールドまたはホログラフィックベースのディスプレイのためのコンテンツを捕捉する場合、輝度および色だけでなく、カメラセンサに到達する全ての光線の方向も捕捉することが可能であるライトフィールドカメラが必要とされる。この情報を使用して、各光線の原点の正確な表現を用いてデジタルシーンを再構成することができ、正確な捕捉されたシーンを3Dでデジタル的に再構成することが可能になる。

現在、かかるボリュメトリックシーンを捕捉するために2つの主要な技術が使用されている。第1の技術は、カメラまたはカメラモジュールのアレイを使用して、各方向からの異なる光線／ビューを捕捉することである。第2の技術は、制御された照明条件下で複数の物体の深度を測定することによって、構造化された照明を必要とすることなく、単一の露出で3D情報を捕捉することができる深度カメラを使用することから構成される。

以下は、本開示の1つ以上の実施形態の基本的な理解を提供するために、かかる実施形態の簡略化された概要を提示する。本概要は、全ての企図された実施形態の広範な概要ではなく、全ての実施形態の主要なまたは重要な要素を特定することも、いずれかまたは全ての実施形態の範囲を線引きすることも意図されていない。その唯一の目的は、後で提示されるより詳細な説明の前置きとして、本開示の1つ以上の実施形態の一部の概念を簡略化された形で提示することである。

例示的な実施形態によれば、プロキシエッジクラウドコンピューティングアーキテクチャを使用して没入型メディアを分割レンダリングする方法が提供される。方法は、1つ以上のプロセッサによって実行され得、方法は、レンダリングプロキシサーバによって、没入型メディアを消費するエンドデバイスが限られたリソース容量を有すると判定するステップと、レンダリングプロキシサーバによって、没入型メディアストリーム内のシーンをレンダリングするタスクを複数のタスクに分割するステップと、レンダリングプロキシサーバによって、1つ以上の処理遅延に基づいて、複数のタスクを2つ以上の計算タスクに動的にグループ化するステップであって、2つ以上の計算タスクの第1のグループは、エッジコンピューティングシステムによって実行され、2つ以上の計算タスクの第2のグループは、クラウドコンピューティングシステムによって実行される、ステップと、レンダリングプロキシサーバによって、シーンの第1の部分をレンダリングするために、2つ以上の計算タスクの第1のグループに対応するシーンの第1の部分をエッジコンピューティングシステムに送信するステップと、レンダリングプロキシサーバによって、シーンの第2の部分をレンダリングするために、2つ以上の計算タスクの第2のグループに対応するシーンの第2の部分をクラウドコンピューティングシステムに送信するステップと、を含み得る。

例示的な実施形態によれば、プロキシエッジクラウドコンピューティングアーキテクチャを使用して没入型メディアを分割レンダリングする装置が提供される。本装置は、プログラムコードを記憶するように構成された少なくとも1つのメモリと、プログラムコードを読み取り、プログラムコードによって命令されたように動作するように構成された少なくとも1つのプロセッサとを含み得る。プログラムコードは、少なくとも1つのプロセッサに、レンダリングプロキシサーバによって、没入型メディアを消費するエンドデバイスが限られたリソース容量を有すると判定させるように構成された第1の決定コードと、少なくとも1つのプロセッサに、レンダリングプロキシサーバによって、没入型メディアストリーム内のシーンをレンダリングするタスクを複数のタスクに分割させるように構成された分割コードと、少なくとも1つのプロセッサに、レンダリングプロキシサーバによって、1つ以上の処理遅延に基づいて複数のタスクを2つ以上の計算タスクに動的にグループ化させるように構成された第1のグループ化コードであって、2つ以上の計算タスクの第1のグループは、エッジコンピューティングシステムによって実行され、2つ以上の計算タスクの第2のグループは、クラウドコンピューティングシステムによって実行される、第1のグループ化コードと、少なくとも1つのプロセッサに、レンダリングプロキシサーバによって、2つ以上の計算タスクの第1のグループに対応するシーンの第1の部分を、シーンの第1の部分をレンダリングするためにエッジコンピューティングシステムに送信させるように構成された第1の送信コードと、少なくとも1つのプロセッサに、レンダリングプロキシサーバによって、2つ以上の計算タスクの第2のグループに対応するシーンの第2の部分を、シーンの第2の部分をレンダリングするためにクラウドコンピューティングシステムに送信させるように構成された第2の送信コードと、を含み得る。

例示的な実施形態によれば、命令を記憶する非一時的コンピュータ可読媒体が提供され得る。命令は、プロキシエッジクラウドコンピューティングアーキテクチャを使用して没入型メディアを分割レンダリングするためのデバイスの1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、没入型メディアを消費するエンドデバイスが限られたリソース容量を有すると判定するステップと、没入型メディアストリーム内のシーンをレンダリングするタスクを複数のタスクに分割するステップと、1つ以上の処理遅延に基づいて、複数のタスクを2つ以上の計算タスクに動的にグループ化するステップであって、2つ以上の計算タスクの第1のグループは、エッジコンピューティングシステムによって実行され、2つ以上の計算タスクの第2のグループは、クラウドコンピューティングシステムによって実行される、ステップと、シーンの第1の部分をレンダリングするために、2つ以上の計算タスクの第1のグループに対応するシーンの第1の部分をエッジコンピューティングシステムに送信するステップと、シーンの第2の部分をレンダリングするために、2つ以上の計算タスクの第2のグループに対応するシーンの第2の部分をクラウドコンピューティングシステムに送信するステップと、を行わせる1つ以上の命令を含み得る。

追加の実施形態は、以下の説明に記載され、部分的には、説明から明らかになり、および／または本開示の提示された実施形態の実施によって知ることができる。

本開示の前述および他の目的、特徴、および利点は、同様の部分に同様の参照番号が与えられている添付の図面と併せて、以下の詳細な説明から明らかである。

本開示の一実施形態による、没入型メディアを動的に分割してレンダリングするためのプロキシエッジクラウドコンピューティングアーキテクチャの例示的なブロック図を示す。 本開示の一実施形態による、没入型メディアを動的に分割してレンダリングするためのプロキシエッジクラウドコンピューティングアーキテクチャの例示的なフローチャートを示す。 本開示の一実施形態による、没入型メディアを動的に分割してレンダリングするためのプロキシエッジクラウドコンピューティングアーキテクチャの例示的なフローチャートを示す。 本開示の一実施形態による、通信システムの簡略化されたブロック図である。

図面中の画像は、説明のために簡略化されており、一定の縮尺で描かれていない。図の説明内で、同様の要素には、前の図のものと同様の名称および参照番号が与えられる。要素に割り当てられた特定の数字は、単に説明を助けるために提供されており、本発明に対するいかなる限定（構造的または機能的）も示唆することを意図していない。

例示的な実施形態の以下の詳細な説明は、添付の図面を参照する。異なる図面における同じ参照番号は、同じまたは同様の要素を識別し得る。

前述の開示は、例示および説明を提供するが、網羅的であることも、実装形態を開示された厳密な形態に限定することも意図されていない。修正および変形は、上記の開示に照らして可能であり、または実装の実践から獲得され得る。さらに、一実施形態の1つ以上の特徴または構成要素は、別の実施形態（または別の実施形態の1つ以上の特徴）に組み込まれるか、または組み合わせられてもよい。加えて、以下に提供される動作のフローチャートおよび説明では、1つ以上の動作が省略されてもよく、1つ以上の動作が追加されてもよく、1つ以上の動作が（少なくとも部分的に）同時に行われてもよく、1つ以上の動作の順序が入れ替えられてもよいことを理解されたい。

本明細書で説明されるシステムおよび／または方法は、異なる形態のハードウェア、ファームウェア、またはハードウェアとソフトウェアの組み合わせで実装され得ることが明らかであろう。これらのシステムおよび／または方法を実装するために使用される実際の専用制御ハードウェアまたはソフトウェアコードは、実装を限定するものではない。したがって、システムおよび／または方法の動作および挙動は、特定のソフトウェアコードを参照せずに本明細書で説明されており、ソフトウェアおよびハードウェアは、本明細書の説明に基づいてシステムおよび／または方法を実装するように設計され得ることを理解されたい。

特徴の特定の組み合わせが特許請求の範囲に記載され、かつ／または本明細書に開示されているが、これらの組み合わせは、可能な実装形態の開示を限定するものではない。実際に、これらの特徴の多くは、特許請求の範囲に具体的に記載されていない、および／または本明細書に開示されていない方法で組み合わせることができる。以下に列挙される各従属請求項は、1つの請求項のみに直接従属し得るが、可能な実装の開示は、請求項セット内の全ての他の請求項と組み合わせた各従属請求項を含む。

本明細書で使用される要素、行為、または命令は、そのように明示的に説明されない限り、重要または必須であると解釈されるべきではない。また、本明細書で使用されるように、冠詞「a」および「an」は、1つ以上項目を含むことが意図され、「1つ以上」と同義的に使用されてもよい。1つの項目のみが意図される場合、用語「1つの（one）」または同様の言語が使用される。また、本明細書で使用される場合、用語「有する（has）」、「有する（have）」、「有している（having）」、「含む（include）」、「含んでいる（including）」などは、オープンエンドの用語であることが意図される。さらに、「～に基づいて」という句は、別段に明記されていない限り、「～に少なくとも部分的に基づいて」を意味するものとする。さらに、「［A］および［B］のうちの少なくとも1つ」または「［A］または［B］のうちの少なくとも1つ」などの表現は、Aのみ、Bのみ、またはAとBの両方を含むものとして理解されるべきである。

本明細書全体を通して、「一実施形態」、「実施形態」、または同様の言語への言及は、示された実施形態に関連して説明される特定の特徴、構造、または特性が、本解決策の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書全体を通して、「一実施形態では」、「実施形態では」という語句、および類似言語は、必ずしもそうではないが、全て、同一実施形態を指し得る。

さらに、本開示の説明された特徴、利点、および特性は、1つ以上の実施形態において任意の適切な方法で組み合わせることができる。当業者は、本明細書の説明に照らして、本開示が、特定の実施形態の特定の特徴または利点のうちの1つ以上を伴わずに実践され得ることを認識するであろう。他の事例では、本開示の全ての実施形態に存在しない場合がある、付加的特徴および利点が、特定の実施形態において認識され得る。

本開示の実施形態は、レンダリングプロキシ、エッジクラウド、およびクラウドベースのアーキテクチャを使用することによる、ライトフィールドまたは没入型メディアのための分割レンダリングのシステムおよび方法を対象とする。これは、本明細書ではプロキシエッジクラウドアーキテクチャと称され得る。

従来技術では、全てのコンピューティングデバイスおよびそれらの性能は、コンピュータ能力の増加に依存している。ムーアの法則に続いて、処理能力は、速度の増加およびチップサイズの減少に加えて、より多くの処理コアおよび帯域幅を追加した結果として、指数関数的に増加し続ける。しかしながら、高性能なアプリケーションでは、容量および処理要件に対する要件が増加している。このギャップを埋めるために、エッジクラウドベースのレンダリングアーキテクチャが必要とされ得る。

クラウドベースのコンピューティングは、現代のコンピュータグラフィックスに必要とされる大量の計算能力にアクセスするより多くの方法をエンドユーザに提供する。高品質ビデオフレームをレンダリングするために当業者がどの程度の処理をスマートフォンまたは任意のAR／VRデバイスに適合させることができるかについての現在の議論により、クラウドレンダリングへの移行は、高品質ビデオフレームのレンダリングを向上させている。したがって、著しく強力なオンラインコンピューティングリソースへの十分に高速な接続が開かれ得る場合、全ての小型デバイスは、リアルタイムビデオおよびゲームをストリーミングすることが可能なスーパーコンピュータになることが可能であり得る。

エッジクラウドベースの分割レンダリングアーキテクチャは、ライトフィールド／没入型メディアストリーミングのために使用することができ、エッジクラウドベースの分割レンダリングアーキテクチャは、必要とされるローカル処理能力の量を低減するが、全てのユーザデバイスがこの低減された量のローカル処理能力を有するわけではない。このギャップを埋めるために、プロキシエッジクラウド分割レンダリングアーキテクチャが必要である。これは、エッジクラウドおよび他のアーキテクチャにおけるエンドデバイスの代わりにレンダリングプロキシを使用し、レンダリングプロキシは、レンダリングされたシーンを、限られたローカル処理能力を有するデバイス上でより容易に処理されるビデオフォーマットにトランスコードまたは変換する。

本開示の実施形態は、より低い処理能力／電力を有するモバイルデバイスがライトフィールド／没入型メディアをレンダリングおよびストリーミングすることを可能にするプロキシエッジクラウドアーキテクチャを使用したライトフィールド／没入型メディアのための分割レンダリングを対象とする。

一実施形態では、プロキシエッジクラウドベースの分割レンダリングアーキテクチャを、ライトフィールド／没入型メディアストリーミングに使用することができる。これにより、エンドデバイス自体でローカルに処理するための要件が低減される。例えば、エンドデバイスは、許容可能なユーザエクスペリエンスを提供するためにGPUを必要としない場合がある。エッジとクラウドとの間のタスク分割は動的であってもよく、すなわち、エッジとクラウドとの間のタスク分割は、サンプリング遅延、画像処理およびフレームレンダリング遅延を含む計算遅延、ならびにキューイングおよび送信遅延を含むネットワーキング遅延などの要因に基づいてもよい。

図1は、本開示の一実施形態による、没入型メディアを動的に分割してレンダリングするためのプロキシエッジクラウドコンピューティングアーキテクチャ100の例示的なブロック図である。

図1を参照すると、シーン101は、3つの計算タスク（シーン102、103、104の構成要素または部分とも称される）に分割され得る。異なる決定パラメータに基づくレンダリングプロキシ108は、クラウド105（クラウドコンピューティングシステムとも称される）からシーン1 107およびシーン3 106をストリーミングし、エッジ110（エッジコンピューティングシステムとも称される）からシーン2 109をストリーミングする。誤解を避けるために、本明細書での「シーン」への言及は例にすぎず、「シーン」は、ストリーミングの影響を受けやすい任意のメディアを含むものと理解されたい。

本開示の一態様によれば、レンダリングプロキシ108がクラウド105およびエッジ110からシーンを受信すると、レンダリングプロキシ108は、これらのシーンをより計算負荷の低いフォーマットにトランスコードまたは変換し、この変換されたビデオ112を最終エンドデバイス111に送信し、最終エンドデバイス111は、エンドユーザのために変換されたビデオをレンダリングする。

一部の実施形態では、レンダリングプロキシ108は、エンドデバイスの能力を決定し、次いで、エンドデバイスのための適切なトランスコーディング技術を適用することができる。一部の実施形態では、レンダリングプロキシ108は、エンドデバイスからのフィードバックに基づいて、エンドデバイスの代わりに使用されるトランスコーディング技術またはトランスコーディングパラメータを動的に変更することができる。一部の実施形態では、レンダリングプロキシ108は、クラウド105およびエッジ110から受信されるように、一部のシーンをトランスコードし、他のシーンを変換せずにエンドデバイスに転送することができる。一部の実施形態では、レンダリングプロキシ108は、エンドデバイスからのフィードバックに基づいて、一部のシーンをトランスコードし、他のシーンをエンドデバイスに転送するために、その決定を変更することができる。

図2は、本開示の一実施形態による、プロキシエッジクラウドコンピューティングアーキテクチャを使用して没入型メディアを動的に分割レンダリングするためのプロセス200の例示的なフローチャートを示す。

図2に示すように、動作205において、レンダリングプロキシサーバシステムのプロセッサは、1つ以上の処理遅延に基づいて、タスクを動的に分割するか、または没入型メディアストリーム内のシーンをレンダリングするためのタスク分割を2つ以上の計算タスクに決定することができる。一部の実施形態では、タスク分割は、シーンを、エッジコンピューティングシステムによって実行される1つ以上の第1のタスクと、クラウドコンピューティングシステムによって実行される1つ以上の第2のタスクとに分割することができる。一例として、レンダリングプロキシ108サーバシステムのプロセッサは、1つ以上の処理遅延に基づいて、没入型メディアストリーム内のシーン101を2つ以上の計算タスク（102、103、104）にレンダリングするためのタスク分割を動的に決定することができる。

一部の実施形態では、処理遅延は、サンプリング遅延、計算遅延、画像処理負荷、フレームレンダリング遅延、およびネットワーキング遅延のうちの1つ以上を含み、ネットワーキング遅延は、キューイングおよび送信遅延をさらに含む。

動作210において、レンダリングプロキシサーバシステムのプロセッサは、エッジコンピューティングシステムの第1のプロセッサからシーンの1つ以上の第1の部分を受信することができ、シーンの1つ以上の第1の部分は、エッジコンピューティングシステムによって実行される1つ以上の第1のタスクに基づき得る。一例として、レンダリングプロキシサーバ105システムのプロセッサは、エッジコンピューティングシステム110の第1のプロセッサからシーン102の1つ以上の第1の部分を受信することができる。

動作215において、レンダリングプロキシサーバシステムのプロセッサは、クラウドコンピューティングシステムの第2のプロセッサからシーンの1つ以上の第2の部分を受信することができ、シーンの1つ以上の第2の部分は、クラウドコンピューティングシステムによって実行される1つ以上の第2のタスクに基づき得る。一例として、レンダリングプロキシサーバ105システムのプロセッサは、クラウドコンピューティングシステム105の第2のプロセッサによって、シーン103および104の1つ以上の第2の部分を受信することができる。

動作220において、レンダリングプロキシサーバシステムのプロセッサは、シーンの1つ以上の部分を送信することができる。一部の実施形態では、送信されたシーンは、エンドデバイス能力に基づいて変換またはトランスコードされ得る。一部の実施形態では、送信することは、レンダリングプロキシが、没入型メディアストリームを受信するエンドユーザに関連付けられたエンドユーザデバイス能力を決定することと、エンドユーザデバイス能力に基づいて、シーンの1つ以上の部分を計算上要求の厳しいフォーマットに変換することと、を含み得る。

一部の実施形態では、変換は、エンドユーザデバイス能力に基づく。一部の実施形態では、エンドユーザデバイス能力は、エンドユーザデバイスのタイプまたはエンドユーザデバイスの処理能力に基づく。一部の実施形態では、レンダリングプロキシ108サーバシステムのプロセッサは、エンドユーザデバイス（例えば、エンドデバイス111）の能力を決定し、次いで、エンドユーザデバイスのための適切なトランスコーディング技術を適用することができる。一部の実施形態では、レンダリングプロキシ108サーバシステムのプロセッサは、エンドユーザデバイスの代わりに使用されるトランスコーディング技術またはトランスコーディングパラメータを、エンドユーザデバイスからのフィードバックに基づいて動的に変更することができる。一部の実施形態では、レンダリングプロキシ108サーバシステムのプロセッサは、クラウド105およびエッジ110から受信されるように、一部のシーンをトランスコードし、他のシーンを変換なしにエンドユーザデバイスに転送することができる。一部の実施形態では、レンダリングプロキシ108サーバシステムのプロセッサは、エンドユーザデバイスからのフィードバックに基づいて、一部のシーンをトランスコードし、他のシーンをエンドユーザデバイスに転送するために、その決定を変更することができる。

動作225において、レンダリングプロキシサーバシステムのプロセッサは、シーンの第1および第2の部分を含むシーンをエンドユーザデバイスに送信することができる。一例として、レンダリングプロキシ108サーバシステムのプロセッサは、シーンの1つ以上の変換された部分またはシーンの第2の部分を含むシーンをエンドデバイス111に送信することができる。

本開示の一態様によれば、プロセス200は、レンダリングプロキシサーバシステムのプロセッサによって実行される追加の動作を含み得る。追加の動作は、クラウドコンピューティングシステムの第2のプロセッサから第2のシーンの1つ以上の第2の部分を受信することと、第2のシーンの1つ以上の第2の部分をトランスコードすることと、第2のシーンの1つ以上のトランスコードされた第2の部分と第2のシーンの1つ以上の第1の部分とを含む第2のシーンを送信することと、を含み得る。

図3は、本開示の一実施形態による、プロキシエッジクラウドコンピューティングアーキテクチャを使用して没入型メディアを動的に分割レンダリングするためのプロセス300の例示的なフローチャートを示す。

図3に示すように、動作305において、レンダリングプロキシサーバシステムのプロセッサは、シーンの1つ以上の第1の部分および第2の部分を含むシーンをエンドユーザデバイスに送信することができる。一例として、レンダリングプロキシ108サーバシステムのプロセッサは、シーンの1つ以上の変換された部分を含むシーンをエンドデバイス111に送信することができる。

動作310において、レンダリングプロキシサーバシステムのプロセッサは、送信されたシーンに関連するフィードバックを受信することができる。動作315において、レンダリングプロキシサーバシステムのプロセッサは、1つ以上の処理遅延およびフィードバックに基づいて、没入型メディアストリーム内の第2のシーンを2つ以上の第2の計算タスクにレンダリングするためのタスク分割を動的に分割または決定することができる。次いで、動作320において、レンダリングプロキシサーバシステムのプロセッサは、第2のシーンの1つ以上の部分を変換および／または送信することができる。

プロセス200の動作205～225およびプロセス300の動作305～320は、任意の順序で実行および／または組み合わせることができることを理解することができる。

本明細書に開示されるプロキシエッジクラウドアーキテクチャを使用するライトフィールドまたは没入型メディアのための分割レンダリングのための技術は、コンピュータ可読命令を使用してコンピュータソフトウェアとして実装され、1つ以上のコンピュータ可読媒体に物理的に記憶され得る。例えば、図4は、開示される主題の特定の実施形態を実装するのに適したコンピュータシステム400を示す。

コンピュータソフトウェアは、コンピュータ中央処理装置（CPU）、グラフィックス処理装置（GPU）などによって、直接、または解釈、マイクロコード実行などを通して実行され得る命令を備えるコードを作成するために、アセンブリ、コンパイル、リンキング、または同様の機構を受け得る、任意の適切な機械コードまたはコンピュータ言語を使用してコーディングされ得る。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、種々のタイプのコンピュータまたはその構成要素上で実行されてもよい。

コンピュータシステム400について図4に示される構成要素は、本質的に例示的であり、本開示の実施形態を実装するコンピュータソフトウェアの使用または機能性の範囲に関していかなる限定を示唆することも意図されていない。また、構成要素の構成は、コンピュータシステム400の例示的な実施形態に示された構成要素のいずれか1つまたは組み合わせに関するいかなる依存性または要件も有するものと解釈されるべきではない。

コンピュータシステム400は、特定のヒューマンインターフェース入力デバイスを含み得る。かかるヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブ移動など）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャなど）、嗅覚入力（図示せず）を通して、1人以上のヒトのユーザによる入力に応答してもよい。ヒューマンインターフェースデバイスはまた、オーディオ（スピーチ、音楽、周囲音など）、画像（スキャンされた画像、静止画像カメラから取得された写真画像など）、ビデオ（2次元ビデオ、立体視ビデオを含む3次元ビデオなど）など、必ずしも人間による意識的な入力に直接関係しない特定の媒体を捕捉するために使用され得る。

入力ヒューマンインターフェースデバイスは、キーボード401、マウス402、トラックパッド403、タッチスクリーン410、データグローブ（図示せず）、ジョイスティック405、マイクロホン406、スキャナ407、カメラ408のうちの1つ以上もの（それぞれ1つのみ図示）を含み得る。

コンピュータシステム400はまた、特定のヒューマンインターフェース出力デバイスを含み得る。かかるヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および匂い／味を通して、1人以上の人間ユーザの感覚を刺激していることがある。かかるヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン410、データグローブ（図示せず）、またはジョイスティック405による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスもあり得る）、オーディオ出力デバイス（スピーカー409、ヘッドフォン（図示せず）など）、視覚出力デバイス（CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン410など、各々がタッチスクリーン入力能力を有するかまたは有さず、各々が触覚フィードバック能力を有するかまたは有さず、そのうちの一部は、2次元視覚出力またはステレオ出力などの手段を通して3次元を超える出力を出力することが可能であり得る）、仮想現実眼鏡（図示せず）、ホログラフィックディスプレイおよびスモークタンク（図示せず）、ならびにプリンタ（図示せず）を含み得る。

コンピュータシステム400はまた、CD／DVDなどの媒体421を有するCD／DVD ROM／RW 420を含む光媒体、サムドライブ422、取外し可能ハードドライブまたはソリッドステートドライブ423、テープおよびフロッピーディスク（図示せず）などのレガシー磁気媒体、セキュリティドングル（図示せず）などの専用ROM／ASIC／PLDベースのデバイスなど、人間がアクセス可能な記憶デバイスおよびそれらの関連媒体を含み得る。

当業者はまた、本開示の主題に関連して使用される「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、または他の一時的信号を包含しないことを理解すべきである。

コンピュータシステム400はまた、1つ以上の通信ネットワークへのインターフェースを含み得る。ネットワークは、例えば、無線、有線、光であってもよい。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車両、および産業用、リアルタイム、遅延耐性などであり得る。ネットワークの例には、イーサネットなどのローカルエリアネットワーク、無線LAN、GSM、3G、4G、5G、LTEなどを含むセルラーネットワーク、ケーブルTV、衛星TV、および地上波放送TVを含むTV有線または無線ワイドエリアデジタルネットワーク、CANBusを含む車両および産業などが含まれる。特定のネットワークは、概して、特定の汎用データポートまたは周辺バス（449）に取り付けられる外部ネットワークインターフェースアダプタを必要とする（例えば、コンピュータシステム400のポートなど；他のものは、概して、以下に記載されるようなシステムバスへの取り付けによってコンピュータシステム400のコアに統合される（例えば、パーソナルコンピュータシステムへのイーサネットインターフェース435、またはスマートフォンコンピュータシステムへのセルラーネットワーク433インターフェース））。これらのネットワークのいずれかを使用して、コンピュータシステム400は他のエンティティと通信することができる。かかる通信は、単方向受信のみ（例えば、放送TV）、単方向送信のみ（例えば、特定のCANbusデバイスへのCANbus）、または例えば、ローカルもしくは広域デジタルネットワークを使用する他のコンピュータシステムへの双方向であってもよい。特定のプロトコルおよびプロトコルスタックは、上記で説明したように、それらのネットワークおよびネットワークインターフェースの各々上で使用され得る。

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、およびネットワークインターフェースは、コンピュータシステム400のコア440に取り付けられ得る。

コア440は、1つ以上の中央処理装置（CPU）441、グラフィックス処理装置（GPU）442、フィールドプログラマブルゲートエリア（FPGA）443の形態の専用プログラマブル処理装置、特定のタスクのためのハードウェアアクセラレータ444などを含み得る。これらのデバイスは、読み出し専用メモリ（ROM）445、ランダムアクセスメモリ446、ユーザがアクセスできない内部ハードドライブ、SSDなどの内部大容量ストレージ447とともに、システムバス448を介して接続され得る。一部のコンピュータシステムでは、システムバス448は、追加のCPU、GPUなどによる拡張を可能にするために、1つ以上の物理プラグの形態でアクセス可能であり得る。周辺デバイスは、コアのシステムバス448に直接、または周辺バス449を介して接続することができる。周辺バスのアーキテクチャには、PCI、USBなどが含まれる。

CPU 441、GPU 442、FPGA 443、およびアクセラレータ444は、組み合わせて、前述のコンピュータコードを構成し得る特定の命令を実行し得る。そのコンピュータコードは、ROM 445またはRAM 446に記憶されてもよい。過渡的なデータはまた、RAM 446に記憶されてもよく、一方、永続的なデータは、例えば、内部大容量ストレージ447に記憶されてもよい。1つ以上のCPU 441、GPU 442、大容量ストレージ447、ROM 445、RAM 446などに密接に関連付けられ得るキャッシュメモリを使用することによって、任意のメモリデバイスへの高速な記憶および検索が可能になり得る。

コンピュータ可読媒体は、種々のコンピュータ実装動作を実行するためのコンピュータコードをその上に有し得る。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されてもよく、またはそれらは、コンピュータソフトウェア分野の当業者に周知かつ利用可能な種類のものであってもよい。

限定ではなく、例として、アーキテクチャ400、具体的にはコア440を有するコンピュータシステムは、1つ以上の有形のコンピュータ可読媒体において具現化されたソフトウェアを実行するプロセッサ（CPU、GPU、FPGA、アクセラレータなどを含む）の結果として機能を提供することができる。かかるコンピュータ可読媒体は、上記で紹介したようなユーザアクセス可能な大容量ストレージ、ならびにコア内部大容量ストレージ447またはROM 445などの非一時的な性質のものであるコア440の特定のストレージに関連付けられた媒体であってもよい。本開示の種々の実施形態を実装するソフトウェアは、かかるデバイス内に記憶され、コア440によって実行されてもよい。コンピュータ可読媒体は、特定の必要性に応じて、1つ以上のメモリデバイスまたはチップを含み得る。ソフトウェアは、コア440および具体的にはその中のプロセッサ（CPU、GPU、FPGAなどを含む）に、RAM 446に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってかかるデータ構造を修正することを含む、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、本明細書に説明される特定のプロセスまたは特定のプロセスの特定の部分を実行するように、ソフトウェアの代わりに、またはそれとともに動作し得る、回路（例えば、アクセラレータ444）内にハードワイヤードまたは別様に具現化される論理の結果として、機能性を提供してもよい。ソフトウェアへの言及は、必要に応じて、論理を包含してもよく、逆もまた同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（IC）など）、実行のための論理を具現化する回路、または両方を包含し得る。本開示は、ハードウェアおよびソフトウェアの任意の適切な組み合わせを包含する。

本開示は、複数の例示的な実施形態を説明しているが、本開示の範囲内に入る変更、置換、および種々の代替均等物が存在する。したがって、当業者は、本明細書に明示的に図示または説明されていないが、本開示の原理を具現化し、したがって、その精神および範囲内である、多数のシステムおよび方法を考案することができるであろうことを理解されるであろう。

100 プロキシエッジクラウドコンピューティングアーキテクチャ
101 シーン
102 シーン1
103 シーン2
104 シーン3
105 クラウド
106 シーン3
107 シーン1
108 レンダリングプロキシ
109 シーン2
110 エッジ
111 エンドデバイス
112 変換されたビデオ
400 コンピュータシステム
401 キーボード
402 マウス
403 トラックパッド
405 ジョイスティック
406 マイクロホン
407 スキャナ
408 カメラ
410 タッチスクリーン
420 CD／DVD ROM／RW
421 媒体
422 サムドライブ
423 取外し可能ハードドライブまたはソリッドステートドライブ
430 グラフィックスアダプタ
433 セルラーネットワーク
435 イーサネットインターフェース
440 コア
441 中央処理装置（CPU）
442 グラフィックス処理装置（GPU）
443 フィールドプログラマブルゲートエリア（FPGA）
444 ハードウェアアクセラレータ
445 読み出し専用メモリ（ROM）
446 ランダムアクセスメモリ
447 内部大容量ストレージ
448 システムバス
449 周辺バス

Claims (9)

1. エッジコンピューティングシステムと、クラウドコンピューティングシステムと、エンドデバイスと、前記エッジコンピューティングシステムと前記エンドデバイスとの間、及び前記クラウドコンピューティングシステムと前記エンドデバイスとの間に介在するレンダリングプロキシサーバシステムと、を含むプロキシエッジクラウドコンピューティングアーキテクチャを使用して没入型メディアを分割レンダリングするための方法であって、前記方法は、前記レンダリングプロキシサーバシステムの1つ以上のプロセッサによって実行され、前記方法は、
   没入型メディアを消費するエンドデバイスが限られたレンダリングの処理能力を有すると判定するステップと、
   没入型メディアを消費するエンドデバイスが限られたレンダリングの処理能力を有すると判定された場合、
   没入型メディアストリームにおける1つのシーンをレンダリングするタスクを複数のタスクに分割するステップと、
   前記エンドデバイスのレンダリング処理に関する処理遅延を含む1つ以上の処理遅延に基づいて、前記複数のタスクを2つ以上の計算タスクに動的にグループ化するステップであって、前記2つ以上の計算タスクの第1のグループは、前記エッジコンピューティングシステムによって実行され、前記2つ以上の計算タスクの第2のグループは、前記クラウドコンピューティングシステムによって実行される、ステップと、
   前記1つのシーンの第1の部分をレンダリングするために、前記2つ以上の計算タスクの前記第1のグループに対応する前記1つのシーンの前記第1の部分を前記エッジコンピューティングシステムに送信するステップと、
   前記1つのシーンの第2の部分をレンダリングするために、前記2つ以上の計算タスクの前記第2のグループに対応する前記1つのシーンの前記第2の部分を前記クラウドコンピューティングシステムに送信するステップと、
   を含む、方法。
2. 前記1つ以上の処理遅延は、サンプリング遅延、計算遅延、画像処理負荷、フレームレンダリング遅延、およびネットワーキング遅延のうちの1つ以上を含み、前記ネットワーキング遅延は、キューイングおよび送信遅延をさらに含む、請求項1に記載の方法。
3. 前記方法は、
   前記2つ以上の計算タスクの前記第1のグループが前記エッジコンピューティングシステムによって実行されていることに基づいて、前記2つ以上の計算タスクの前記第1のグループに対応する前記1つのシーンの前記第1の部分を受信するステップと、
   前記2つ以上の計算タスクの前記第2のグループが前記クラウドコンピューティングシステムによって実行されていることに基づいて、前記2つ以上の計算タスクの前記第2のグループに対応する前記1つのシーンの前記第2の部分を受信するステップと、
   をさらに含む、請求項1に記載の方法。
4. 前記1つのシーンの前記第1の部分を送信する前記ステップは、
   没入型メディアを消費する前記エンドデバイスの処理能力を決定するステップと、
   前記処理能力に基づいて、前記1つのシーンの前記第1の部分を計算的により要求の少ないフォーマットに変換するステップと、
   を含む、請求項1に記載の方法。
5. 前記方法は、
   前記レンダリングプロキシサーバシステムによって、前記エンドデバイスから前記1つのシーンの前記第1の部分および前記1つのシーンの前記第2の部分に関連付けられた、前記エンドデバイスの処理遅延に関するフィードバックを受信するステップと、
   前記没入型メディアストリームにおける第2のシーンをレンダリングする第2のタスクを複数の第2のタスクに分割するステップと、
   前記1つ以上の処理遅延および前記エンドデバイスの処理遅延に関するフィードバックに基づいて、前記複数の第2のタスクを2つ以上の第2の計算タスクに動的にグループ化するステップであって、前記2つ以上の第2の計算タスクのうちの1つの計算タスクはトランスコードされない前記第2のシーンの第1の部分に対応し、前記2つ以上の第2の計算タスクのうちの別の1つの計算タスクはトランスコードされる前記第2のシーンの第2の部分に対応する、ステップと、
   をさらに含む、請求項1に記載の方法。
6. 前記1つのシーンの前記第2の部分を送信するステップは、前記1つのシーンの前記第2の部分を変換して送信するステップを含む、請求項1に記載の方法。
7. 前記方法は、
   前記エッジコンピューティングシステムの第1のプロセッサから、前記第2のシーンの第1の部分を受信するステップと、
   前記クラウドコンピューティングシステムの第2のプロセッサから、前記第2のシーンの第2の部分を受信するステップと、
   前記第2のシーンの前記第2の部分を変換するステップと、
   前記第2のシーンの前記第2の部分と前記第2のシーンの前記第1の部分とを含む前記第2のシーンを送信するステップと、
   をさらに含む、請求項5に記載の方法。
8. 請求項1～7のいずれか一項に記載の方法を実行するように構成された装置。
9. 1つ以上のプロセッサに請求項1～7のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。