Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7635908B2 - シーンが動的に更新される5gデバイスにar/mrコンテンツを提供するための方法、デバイス及びコンピュータ可読媒体 - Google Patents
[go: Go Back, main page]

JP7635908B2 - シーンが動的に更新される5gデバイスにar/mrコンテンツを提供するための方法、デバイス及びコンピュータ可読媒体 - Google Patents

シーンが動的に更新される5gデバイスにar/mrコンテンツを提供するための方法、デバイス及びコンピュータ可読媒体 Download PDF

Info

Publication number
JP7635908B2
JP7635908B2 JP2023552288A JP2023552288A JP7635908B2 JP 7635908 B2 JP7635908 B2 JP 7635908B2 JP 2023552288 A JP2023552288 A JP 2023552288A JP 2023552288 A JP2023552288 A JP 2023552288A JP 7635908 B2 JP7635908 B2 JP 7635908B2
Authority
JP
Japan
Prior art keywords
media
5gmsd
streaming
scene
scene description
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023552288A
Other languages
English (en)
Other versions
JP2024508487A (ja
Inventor
ソダガァ,イラジ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of JP2024508487A publication Critical patent/JP2024508487A/ja
Application granted granted Critical
Publication of JP7635908B2 publication Critical patent/JP7635908B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1069Session establishment or de-establishment
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/1059End-user terminal functionalities specially adapted for real-time communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/1063Application servers providing network services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/2869Terminals specially adapted for communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/34Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/222Secondary servers, e.g. proxy server, cable television Head-end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26291Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for providing content or additional data updates, e.g. updating software modules, stored at the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/08Bandwidth reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer Security & Cryptography (AREA)

Description

本出願は、米国特許商標庁において2021年11月3日に出願された米国仮出願第63/275,358号からの優先権を主張し、この開示は、その全体が参照により本明細書に組み込まれる。
この開示は、一般に、第5世代(5G)拡張現実(AR)/混合現実(MR)に関し、特に、シーンが動的に更新される5GデバイスにAR/MRコンテンツを提供するための方法及び装置に関する。
第3世代パートナーシッププロジェクト(3GPP)TS26.501は、第5世代(5G)ネットワークのためのメディアストリーミングアーキテクチャを定義する。3GPPは、拡張現実(AR)/混合現実(MR)アプリケーションをサポートする技術報告を開始した。3GPP TR 26.998は、5Gネットワークにおけるグラス型AR/MRデバイスのサポートを定義している。2つのデバイスクラス、すなわち、複雑なAR/MRコンテンツ(すなわち、スタンドアロンAR(STAR))を完全に復号及び再生することができるデバイスと、より小さな計算上のリソース及び/又は小さな物理的サイズ(すなわち、小さなバッテリ)を有し、かつ計算のより大きな部分がデバイス(エッジ依存AR(EDGAR))ではなく5Gエッジサーバ、ネットワーク、又はクラウド上で実行される場合にのみ、このようなアプリケーションを実行することが可能であるデバイスが考えられる。しかしながら、EDGARデバイスの呼び出しフローはシーン更新をサポートしない。
本開示の一態様によれば、方法は、完全なシーン記述を含むメディアコンテンツを選択するステップと、完全なシーン記述に基づいて、メディアコンテンツをストリーミングするために第5世代(5G)メディアストリーミング下りリンク(5GMSd)アプリケーションサーバ(AS)を選択するステップと、完全なシーン記述に基づいて簡略化されたシーン記述を導出すステップと、簡略化されたシーン記述に基づいて拡張現実(AR)/混合現実(MR)セッションを作成するステップと、含んでもよい。
本開示の一態様によれば、デバイスは、プログラムコードを記憶するように構成されている少なくとも1つのメモリと、プログラムコードを読み出し、プログラムコードによって命令されるように動作するように構成されている少なくとも1つのプロセッサと、を含み、プログラムコードは、少なくとも1つのプロセッサに、完全なシーン記述を含むメディアコンテンツを選択させるように構成されている第1の選択コードと、少なくとも1つのプロセッサに、完全なシーン記述に基づいて、メディアコンテンツをストリーミングするために5GMSd ASを選択させるように構成されている第2の選択コードと、少なくとも1つのプロセッサに、完全なシーン記述に基づいて簡略化されたシーン記述を導出させるように構成されている第1の導出コードと、少なくとも1つのプロセッサに、簡略化されたシーン記述に基づいてAR/MRセッションを作成させるように構成されている第1の作成コードと、を含んでもよい。
本開示の一態様によれば、非一時的なコンピュータ可読媒体は、命令を記憶してもよく、命令は、デバイスの1つ以上のプロセッサによって実行されるときに、1つ以上のプロセッサに、完全なシーン記述を含むメディアコンテンツを選択するステップと、完全なシーン記述に基づいて、メディアコンテンツをストリーミングするために5GMSd ASを選択するステップと、完全なシーン記述に基づいて簡略化されたシーン記述を導出すステップと、簡略化されたシーン記述に基づいてAR/MRセッションを作成するステップと、を行わせる。
開示された主題のさらなる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。
実施形態による、本明細書で説明される方法、装置、及びシステムが実装され得る環境の図である。
図1の1つ以上のデバイスの例示的なコンポーネントのブロック図である。
実施形態による、メディア上りリンクストリーミングのためのメディアアーキテクチャの図である。
実施形態による、メディア下りリンクストリーミングのためのメディアアーキテクチャの図である。
実施形態による、エッジ依存拡張現実(AR)(EDGAR)第5世代メディアストリーミング下りリンク(5GMSd)ダウンロードアーキテクチャの図である。 実施形態による、エッジ依存拡張現実(AR)(EDGAR)第5世代メディアストリーミング下りリンク(5GMSd)ダウンロードアーキテクチャの図である。
実施形態による、EDGARベースの5G下りリンクストリーミングのための動作フローの図である。 実施形態による、EDGARベースの5G下りリンクストリーミングのための動作フローの図である。 実施形態による、EDGARベースの5G下りリンクストリーミングのための動作フローの図である。
実施形態による、EDGARベースの5G下りリンクストリーミングのための方法のフローチャートである。
図1は、実施形態による、本明細書で説明される方法、装置、及びシステムが実装され得る環境100の図である。図1に示すように、環境100は、ユーザデバイス110、プラットフォーム120、及びネットワーク130を含み得る。環境100のデバイスは、有線接続、無線接続、又は有線及び無線接続の組み合わせを介して相互接続し得る。
ユーザデバイス110は、プラットフォーム120に関連する情報を受信、生成、記憶、処理、及び/又は提供することが可能な1つ以上のデバイスを含む。例えば、ユーザデバイス110は、コンピューティングデバイス(例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカ、サーバなど)、携帯電話(例えば、スマートフォン、無線電話等)、ウェアラブルデバイス(例えば、一対のスマートグラス若しくはスマートウオッチ)、又は類似のデバイスを含んでもよい。いくつかの実装において、ユーザデバイス110は、プラットフォーム120から情報を受信し、及び/又はプラットフォーム120に情報を送信してもよい。
プラットフォーム120は、本明細書の他の箇所で説明されるように、1つ以上のデバイスを含む。いくつかの実装において、プラットフォーム120は、クラウドサーバ又はクラウドサーバのグループを含んでもよい。いくつかの実装において、プラットフォーム120は、ソフトウェアコンポーネントが特定のニーズに応じてスワップイン又はスワップアウトされるように、モジュール化されるように設計されてもよい。そのようなものとして、プラットフォーム120は、異なる使用のために容易に及び/又は迅速に再構成されてもよい。
いくつかの実装において、図示のように、プラットフォーム120は、クラウドコンピューティング環境122においてホストされてもよい。特に、本明細書で説明される実装は、プラットフォーム120をクラウドコンピューティング環境122でホストされるものとして説明するが、いくつかの実装において、プラットフォーム120は、クラウドベースではなくてもよいし(すなわち、クラウドコンピューティング環境の外部で実装されてもよい)、部分的にクラウドベースであってもよい。
クラウドコンピューティング環境122は、プラットフォーム120をホストする環境を含む。クラウドコンピューティング環境122は、プラットフォーム120をホストするシステム及び/又はデバイスの物理的な位置及び構成のエンドユーザ(例えば、ユーザデバイス100)の知識を必要としない計算、ソフトウェア、データアクセス、ストレージなどのサービスを提供してもよい。図示のように、クラウドコンピューティング環境122は、コンピューティングリソース124のグループ(まとめて「コンピューティングリソース124」と呼ぶか、個々に「コンピューティングリソース124」と呼ぶ)を含んでもよい。
コンピューティングリソース124は、1つ以上のパーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、又は他のタイプの計算及び/又は通信デバイスを含む。いくつかの実装において、コンピューティングリソース124はプラットフォーム120をホストしてもよい。クラウドリソースは、コンピューティングリソース124において実行するコンピューティングインスタンス、コンピューティングリソース124において提供されるストレージデバイス、コンピューティングリソース124によって提供されるデータ転送デバイスなどを含んでもよい。いくつかの実装において、コンピューティングリソース124は、有線接続、無線接続、又は有線及び無線接続の組み合わせを介して、他のコンピューティングリソース124と通信し得る。
図1にさらに示すように、コンピューティングリソース124は、1つ以上のアプリケーション(APP)124-1、1つ以上の仮想マシン(VM)124-2、仮想化ストレージ(VS)124-3、1つ以上のハイパーバイザ(HYP)124-4などのクラウドリソースのグループを含む。
アプリケーション124-1は、ユーザデバイス110及び/又はプラットフォーム120に提供されるか、又はこれらによってアクセスされ得る1つ以上のソフトウェアアプリケーションを含む。アプリケーション124-1は、ユーザデバイス110にソフトウェアアプリケーションをインストールして実行する必要性を排除してもよい。例えば、アプリケーション124-1は、プラットフォーム120に関連するソフトウェア、及び/又はクラウドコンピューティング環境122を介して提供可能な他の任意のソフトウェアを含んでもよい。いくつかの実装において、1つのアプリケーション124-1は、仮想マシン124-2を介して、1つ以上の他のアプリケーション124-1に情報を送信する/これらから情報を受信してもよい。
仮想マシン124-2は、物理マシンのようにプログラムを実行するマシン(例えば、コンピュータ)のソフトウェア実装を含む。仮想マシン124-2は、仮想マシン124-2によるあらゆる実マシンへの使用及び対応の程度に応じて、システム仮想マシン又はプロセス仮想マシンのいずれであってもよい。システム仮想マシンは、完全なオペレーティングシステム(OS)の実行をサポートする完全なシステムプラットフォームを提供してもよい。プロセス仮想マシンは、単一のプログラムを実行し、単一のプロセスをサポートしてもよい。いくつかの実装において、仮想マシン124-2は、ユーザ(例えば、ユーザデバイス110)に代わって実行し得、データ管理、同期化、又は長時間データ転送のようなクラウドコンピューティング環境122のインフラストラクチャを管理してもよい。
仮想化ストレージ124-3は、コンピューティングリソース124の記憶システム又はデバイス内で仮想化技術を使用する1つ以上のストレージシステム及び/又は1つ以上のデバイスを含む。いくつかの実装において、ストレージシステムの文脈内で、仮想化のタイプは、ブロック仮想化及びファイル仮想化を含んでもよい。ブロック仮想化は、物理ストレージ又は異種構造に関係なくストレージシステムにアクセスできるように、物理ストレージからの論理ストレージの抽象化(又は分離)を指してもよい。この分離により、ストレージシステムの管理者は、エンドユーザに対するストレージを管理する方法に柔軟性を持たせることが可能となってもよい。ファイル仮想化は、ファイルレベルでアクセスされるデータと、ファイルが物理的に記憶される位置との間の依存関係を排除してもよい。これにより、ストレージの使用、サーバの統合、及び/又は継続的なファイル移行のパフォーマンスの最適化を可能にしてもよい。
ハイパーバイザ124-4は、複数のオペレーティングシステム(例えば、「ゲストオペレーティングシステム」)が、コンピュータリソース124などのホストコンピュータで同時に実行することを可能にするハードウェア仮想化技術を提供してもよい。ハイパーバイザ124-4は、ゲストオペレーティングシステムに対して仮想オペレーティングプラットフォームを提示し、ゲストオペレーティングシステムの実行を管理してもよい。様々なオペレーティングシステムの複数のインスタンスが、仮想化されたハードウェアリソースを共有してもよい。
ネットワーク130は、1つ以上の有線及び/又は無線ネットワークを含む。例えば、ネットワーク130は、セルラーネットワーク(例えば、第5世代(5G)ネットワーク、ロングタームエボリューション(LTE)ネットワーク、第3世代(3G)ネットワーク、符号分割多元接続(CDMA)ネットワークなど)、公衆陸上移動体網(PLMN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、電話網(例えば、公衆交換電話網(PSTN))、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワークなど、及び/又はこれら又は他のタイプのネットワークの組み合わせを含んでもよい。
図1に示すデバイス及びネットワークの数及び配置は、一例として提供される。実際には、図1に示されたものよりも、追加のデバイス及び/又はネットワーク、より少ないデバイス及び/又はネットワーク、異なるデバイス及び/又はネットワーク、又は異なる配置のデバイス及び/又はネットワークがあってもよい。さらに、図1に示す2つ以上のデバイスは、単一のデバイス内に実装されてもよいし、図1に示す単一のデバイスは、複数の分散されたデバイスとして実装されてもよい。追加的又は代替的に、環境100のデバイスのセット(例えば、1つ以上のデバイス)は、環境100の別のデバイスのセットによって実行されるものとして説明される1つ以上の機能を実行してもよい。
図2は、図1の1つ以上のデバイスの例示的なコンポーネントのブロック図である。デバイス200は、ユーザデバイス110及び/又はプラットフォーム120に対応してもよい。図2に示すように、デバイス200は、バス210、プロセッサ220、メモリ230、ストレージコンポーネント240、入力コンポーネント250、出力コンポーネント260、及び通信インターフェース270を含んでもよい。
バス210は、デバイス200のコンポーネント間の通信を可能にするコンポーネントを含む。プロセッサ220は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアの組み合わせで実装される。プロセッサ220は、中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、加速処理ユニット(APU)、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、又は別のタイプの処理コンポーネントである。いくつかの実装において、プロセッサ220は、機能を実行するようにプログラムされることが可能な1つ以上のプロセッサを含む。メモリ230は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、及び/又は、プロセッサ220による使用のための情報及び/又は命令を記憶する別のタイプのダイナミック又はスタティックストレージデバイス(例えば、フラッシュメモリ、磁気メモリ、及び/又は、光メモリ)を含む。
ストレージコンポーネント240は、デバイス200の動作及び使用に関連する情報及び/又はソフトウェアを記憶する。例えば、ストレージコンポーネント240は、ハードディスク(例えば、磁気ディスク、光ディスク、光磁気ディスク、及び/又はソリッドステートディスク)、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、フロッピーディスク、カートリッジ、磁気テープ、及び/又は他のタイプの非一時的コンピュータ可読媒体を、対応するドライブと共に含んでもよい。
入力コンポーネント250は、デバイス200がユーザ入力(例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、及び/又はマイクロホン)を介して情報を受信することを可能にするコンポーネントを含む。追加的又は代替的に、入力コンポーネント250は、情報(例えば、全地球測位システム(GPS)コンポーネント、加速度計、ジャイロスコープ、及び/又はアクチュエータ)を感知するためのセンサを含んでもよい。出力コンポーネント260は、デバイス200からの出力情報を提供するコンポーネント(例えば、ディスプレイ、スピーカ、及び/又は1つ以上の発光ダイオード(LED))を含む。
通信インターフェース270は、デバイス200が有線接続、無線接続、又は有線及び無線接続の組み合わせを介して他のデバイスと通信することを可能にするトランシーバ様コンポーネント(例えば、トランシーバ及び/又は別個の受信機及び送信機)を含む。通信インターフェース270は、デバイス200が別のデバイスから情報を受信し、及び/又は別のデバイスに情報を提供することを可能にしてもよい。例えば、通信インターフェース270は、Ethernet(登録商標)インターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数(RF)インターフェース、ユニバーサルシリアルバス(USB)インターフェース、Wi-Fi(登録商標)インターフェース、セルラーネットワークインターフェースなどを含んでもよい。
デバイス200は、本明細書で説明される1つ以上のプロセスを実行してもよい。デバイス200は、メモリ230及び/又はストレージコンポーネント240などの非一時的コンピュータ可読媒体によって記憶されたソフトウェア命令をプロセッサが実行することに応答して、これらのプロセスを実行してもよい。コンピュータ可読媒体は、本明細書において、非一時的メモリデバイスとして定義される。メモリデバイスは、単一の物理ストレージデバイス内のメモリスペース、又は複数の物理ストレージデバイスに拡散したメモリスペースを含む。
ソフトウェア命令は、別のコンピュータ可読媒体から、又は通信インターフェース270を介して別のデバイスから、メモリ230及び/又はストレージコンポーネント240に読み出されてもよい。実行されるときに、メモリ230及び/又はストレージコンポーネント240に記憶されたソフトウェア命令は、プロセッサ220に本明細書で説明される1つ以上のプロセスを実行させてもよい。追加的又は代替的に、ハードワイヤード回路を、本明細書で説明される1つ以上のプロセスを実行するために、ソフトウェア命令の代わりに、又はそれと組み合わせて使用してもよい。したがって、本明細書で説明される実施形態は、ハードウェア回路とソフトウェアのいかなる特定の組み合わせにも限定されない。
図2に示すコンポーネントの数及び配置は、一例として提供される。実際には、デバイス200は、図2に示されるものよりも追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント、又は異なる配置のコンポーネントを含んでもよい。追加的又は代替的に、デバイス200のコンポーネントのセット(例えば、1つ以上のコンポーネント)は、デバイス200の別のコンポーネントのセットによって実行されるものとして説明される1つ以上の機能を実行してもよい。
5Gメディアストリーミング(5GMS)システムは、下りリンクメディアストリーミングサービス又は上りリンクメディアストリーミングサービス、又はその両方をサポートする5Gメディアストリーミングアーキテクチャからのアプリケーション機能、アプリケーションサーバ、及びインターフェースのアセンブリである。したがって、メディアアーキテクチャ400は、多数の機能を含んでもよい。5GMSアウェアアプリケーションは、5GMSアプリケーションサービスのサービスロジックを含み、5GMSアーキテクチャで定義されたインターフェース及びアプリケーションプログラミングインターフェース(API)を介して他の5GMSクライアント及びネットワーク機能と対話する5GMSアプリケーションプロバイダによって提供されるユーザ機器内のアプリケーション(UE)を参照してもよい。5GMSクライアントは、5GMS下りリンク(5GMSd)クライアント又は5GMS上りリンク(5GMSu)クライアントのいずれか、又はその両方であるUE機能を指してもよい。
5GMSdクライアントは、少なくとも5Gメディアストリーミングプレーヤと下りリンクストリーミングのためのメディアセッションハンドラを含み、明確に定義されたインターフェース/APIを介してアクセスされ得るUE機能を指してもよい。5GMSuクライアントは、明確に定義されたインターフェース/APIを介してアクセスできる5GMSuサービスのオリジネータを指してもよい。5GMSuメディアストリーマは、5GMSアプリケーションプロバイダのアプリケーションサーバ(AS)機能にメディアコンテンツをストリーミングする上りリンク配信を可能にし、メディアキャプチャとその後のストリーミングのための5GMSuアウェアアプリケーションとメディアセッション制御のためのメディアセッションハンドラの両方と対話するUE機能を指してもよい。
動的ポリシーは、メディアセッション中の上りリンク又は下りリンクアプリケーションフローのための動的ポリシー及び課金制御(PCC、policy and charging control)ルールを指してもよい。イジェスト(egest)セッションは、5GMS ASから5GMSuアプリケーションプロバイダへの上りリンクメディアストリーミングセッションを指してもよい。インジェスト(ingest)セッションは、メディアコンテンツを5GMSd ASにアップロードするセッションを指してもよい。ポリシーテンプレートは、5GMSアプリケーションプロバイダ及び結果として生じるPCCルールに固有の(半静的)ポリシー又は制御機能(PCF、Policy or Control Function)/ネットワーク公開機能(NEF、Network Exposure Function)APIパラメータのコレクションを指してもよい。ポリシーテンプレートIDは、所望のポリシーテンプレートを識別してもよく、これは、PCFが所望のPCCルールをコンパイルすることができるように、5Gシステムに対して適切なPCF/NEF APIを選択するために5GMSdアプリケーション機能(AF、Application Function)によって使用される。メディアプレーヤエントリ(Media Player Entry)は、メディアプレゼンテーションを定義するドキュメント又はドキュメントへのポインタ(例えば、DASHのためのメディアプレゼンテーション記述(MPD)又はビデオクリップファイルへのユニフォームリソースロケータ(URL))を指してもよい。メディアストリーマエントリ(Media Streamer Entry)は、上りリンクメディアストリーミングセッションのエントリポイントを定義するポインタ(例えば、URLの形式)を指してもよい。プレゼンテーションエントリは、HTML5ドキュメントのような、アプリケーションプレゼンテーションを定義するドキュメント又はドキュメントへのポインタを参照してもよい。
プロビジョニングセッションは、5GMSdアウェアアプリケーションのセットに関連する5GMSd機能を設定する5GMSdアプリケーションプロバイダによってインターフェース(M1d)において提供されるデータ構造を指してもよい。5GMSdメディアプレーヤは、メディア再生エントリに基づいてメディアプレゼンテーションの再生及びレンダリングを可能にし、再生、一時停止、シーク、停止などの基本的な制御を5GMSdアウェアアプリケーションに公開するUE機能を指してもよい。サーバアクセス情報は、ストリーミングセッションの受信をアクティブにするために必要なパラメータとアドレス(5GMSd AFと5GMSd ASアドレスを含む)のセットを指す。サービス及びコンテンツディスカバリ(Service and Content Discovery)は、エンドユーザが利用可能なストリーミングサービス及びコンテンツ提供物を発見し、アクセスのための特定のサービス又はコンテンツ項目を選択することを可能にする、5GMSdアプリケーションプロバイダによって5GMSアウェアアプリケーションに提供される機能及び手順を指してもよい。サービスアナウンスメント(Service Announcement)は、5GMSアウェアアプリケーションが5GMSサービスアクセス情報を直接、又はその情報への参照形式で取得できるように、5GMSアウェアアプリケーションと5GMSアプリケーションプロバイダの間で行われる手順を指してもよい。
サードパーティプレイヤーは、APIを使用して、選択された5GMSd機能を実行してメディアコンテンツを再生するアプリケーションの一部を指してもよい。サードパーティ上りリンクストリーマは、APIを使用して、選択された5GMSu機能を実行してメディアコンテンツをキャプチャしストリーミングするアプリケーションの一部を指してもよい。
図3は、実施形態によるメディア上りリンクストリーミングのためのメディアアーキテクチャ300の図である。5GMSuアプリケーションプロバイダ301は、上りリンクストリーミングサービスのために5GMSuを使用してもよい。5GMSuアプリケーションプロバイダ301は、5GMSuクライアント304及び5GMSuで定義されたインターフェース及びAPIを使用するネットワーク機能を利用するために、UE303上に5GMSuアウェアアプリケーション302を提供してもよい。5GMSu ASは、5Gメディア上りリンクストリーミング専用のASとしてもよい。5GMSuクライアント304は、5Gメディア上りリンクストリーミング専用のUE303の内部機能であってもよい。
5GMSu AF306及び5GMSu AS305は、データネットワーク(DN)307の機能であってもよい。トラステッドDN内の機能は、オペレータのネットワークによって信頼されてもよい。したがって、トラステッドDN内のAFは、すべての5Gコア機能と直接通信してもよい。外部DN内の機能は、リンク320を使用して、NEF308を介してのみ、5Gコア機能と通信してもよい。
メディアアーキテクチャ300は、UE303の内部機能及び5Gメディア上りリンクストリーミングのための関連ネットワーク機能を接続してもよい。したがって、メディアアーキテクチャ300は、多数の機能を含んでもよい。例えば、UE303上の5GMSuクライアント304は、インターフェース/APIを介してアクセスされ得る5GMSuサービスのオリジネータであってもよい。5GMSuクライアント304は、メディアセッションハンドラ309及びメディアストリーマ310の2つのサブ機能を含んでもよい。メディアセッションハンドラ309は、メディアセッションの配信を確立し、制御し、サポートするために、5GMSu AF306と通信してもよい。メディアセッションハンドラ309は、5GMSuアウェアアプリケーション302によって使用され得るAPIを公開してもよい。メディアストリーマ310は、メディアコンテンツをストリーミングし、かつメディアキャプチャ及びストリーミング用に5GMSuアウェアアプリケーション302及びメディアセッション制御用にメディアセッションハンドラ309にサービスを提供するために、5GMSu AS305と通信してもよい。5GMSuアウェアアプリケーション302は、外部アプリケーション又はコンテンツサービスプロバイダ特有のロジックを実装し、メディアセッションの確立を可能にすることによって、5GMSuクライアント304を制御してもよい。5GMSu AS305は、例えば、5G媒体機能をホストしてもよく、コンテンツ配信ネットワーク(CDN)として実装されてもよい。5GMSuアプリケーションプロバイダ301は、外部アプリケーション、又は、例えば、5GMSuアウェアアプリケーション302からのメディアをストリーミングするために5GMSuを使用する、メディア記憶、消費、トランスコーディングであるコンテンツ特有のメディア機能であってもよい。5GMSu AF306は、UE303上のメディアセッションハンドラ309及び/又は5GMSuアプリケーションプロバイダ301に様々な制御機能を提供してもよい。5GMSu AF306は、異なるPCF311の処理に対する要求を中継若しくは開始するか、又は他のネットワーク機能と対話してもよい。
メディアアーキテクチャ300は、多数の異なるインターフェースを含んでもよい。例えば、リンク321は、M1uに関連してもよく、これは、メディアアーキテクチャ300の使用をプロビジョニングし、フィードバックを取得するための5GMSu AF306によって公開される5GMSuプロビジョニングAPIであって、5GMSuプロビジョニングAPIであってもよい。リンク322は、M2uに関連してもよく、これは、5GMSu AS305によって公開され、かつDN307のようなトラステッドDN内の5GMSu AS305がストリーミングサービスのためのコンテンツを受信するように選択されるときに使用される5GMSuパブリッシュAPIであってもよい。リンク323は、M3uに関連してもよく、これは、DN307のようなトラステッドDN内の5GMSu AS305上でホストするコンテンツのための情報を交換するために使用される内部APIであってもよい。リンク324は、M4uに関連してもよく、これは、メディアコンテンツをストリーミングするためにメディアストリーマ310に5GMSu AS323によって公開されるメディア上りリンクストリーミングAPIであってもよい。リンク325は、M5uに関連してもよく、これは、例えば、認可及び認証である適切なセキュリティメカニズムも含むメディアセッション処理、制御及び支援のために、メディアセッションハンドラに5GMSu AF305によって公開されたメディアセッション処理APIであってもよい。リンク326は、M6uに関連してもよく、これは、5GMSu機能を利用するために、5GMSuアウェアアプリケーション302にメディアセッションハンドラ309によって公開されたUE303のメディアセッションハンドリングAPIであってもよい。リンク327は、M7uに関連してもよく、これは、メディアストリーマ310を利用するために、5GMSuアウェアアプリケーション302及びメディアセッションハンドラ309にメディアストリーマ310によって公開されるUEのメディアストリーマAPIであってもよい。リンク328は、M8uに関連してもよく、これは、例えば、5GMSuアウェアアプリケーション302にサービスアクセス情報を提供するために、5GMSuアウェアアプリケーション302と5GMSuアプリケーションプロバイダ301との間の情報交換のために使用されるアプリケーションAPIであってもよい。また、UE303は、インターフェースM6u326及びM7u327が公開されないように自己完結型方式で実装されてもよい。
図4は、実施形態による、メディア下りリンクストリーミングのためのメディアアーキテクチャ400の図である。5GMSdアプリケーションプロバイダ401は、下りリンクストリーミングサービスのために5GMSdを使用してもよい。5GMSdアプリケーションプロバイダ401は、5GMSdクライアント404及び5GMSdで定義されたインターフェース及びAPIを使用するネットワーク機能を利用するために、UE403上に5GMSdアウェアアプリケーション402を提供してもよい。5GMSd ASは、5Gメディア下りリンクストリーミング専用のASとしてもよい。5GMSdクライアント404は、5Gメディア下りリンクストリーミング専用のUE403の内部機能であってもよい。
5GMSd AF406及び5GMSd AS405は、DN407の機能であってもよい。トラステッドDN内の機能は、オペレータのネットワークによって信頼されてもよい。したがって、トラステッドDN内のAFは、すべての5Gコア機能と直接通信してもよい。外部DN内の機能は、リンク420を使用して、NEF408を介してのみ、5Gコア機能と通信してもよい。
メディアアーキテクチャ400は、UE403の内部機能及び5Gメディア下りリンクストリーミングのための関連ネットワーク機能を接続してもよい。したがって、メディアアーキテクチャ400は、多数の機能を含んでもよい。例えば、UE403上の5GMSdクライアント404は、インターフェース/APIを介してアクセスされ得る5GMSdサービスのレシーバであってもよい。5GMSdクライアント404は、メディアセッションハンドラ409及びメディアプレーヤ410の2つのサブ機能を含んでもよい。メディアセッションハンドラ409は、メディアセッションの配信を確立し、制御し、サポートするために、5GMSd AF406と通信してもよい。メディアセッションハンドラ409は、5GMSdアウェアアプリケーション402によって使用され得るAPIを公開してもよい。メディアプレーヤ410は、メディアコンテンツをストリーミングし、かつメディア再生用に5GMSdアウェアアプリケーション402及びメディアセッション制御用にメディアセッションハンドラ409にサービスを提供するために、5GMSd AS405と通信してもよい。5GMSdアウェアアプリケーション402は、外部アプリケーション又はコンテンツサービスプロバイダ特有のロジックを実装し、メディアセッションの確立を可能にすることによって、5GMSdクライアント404を制御してもよい。5GMSd AS405は、5Gメディア機能をホストしてもよい。5GMSdアプリケーションプロバイダ401は、外部アプリケーション、又は、例えば、5GMsdアウェアアプリケーション402にメディアをストリーミングするために5GMSdを使用する、メディア作成、エンコード、及びフォーマッティングであるコンテンツ特有のメディア機能であってもよい。5GMSd AF406は、UE403上のメディアセッションハンドラ409及び/又は5GMSdアプリケーションプロバイダ401に様々な制御機能を提供してもよい。5GMSd AF406は、異なるPCF411の処理に対する要求を中継若しくは開始するか、又は他のネットワーク機能と対話してもよい。
メディアアーキテクチャ400は、多数の異なるインターフェースを含んでもよい。例えば、リンク421は、M1dに関連してもよく、これは、メディアアーキテクチャ400の使用をプロビジョニングし、フィードバックを取得するための5GMSd AF406によって公開される5GMSdプロビジョニングAPIであって、5GMSdプロビジョニングAPIであってもよい。リンク422は、M2dに関連してもよく、これは、5GMSd AS405によって公開され、かつDN407のようなトラステッドDN内の5GMSd AS405がストリーミングサービスのためのコンテンツを受信するように選択されるときに使用される5GMSdインジェストAPIであってもよい。リンク423は、M3dに関連してもよく、これは、DN407のようなトラステッドDN内の5GMSd AS305上でホストするコンテンツのための情報を交換するために使用される内部APIであってもよい。リンク424は、M4dに関連してもよく、これは、メディアコンテンツをストリーミングするためにメディアストリーマ410に5GMSd AS423によって公開されるメディア下りリンクストリーミングAPIであってもよい。リンク425は、M5dに関連してもよく、これは、例えば、認可及び認証である適切なセキュリティメカニズムも含むメディアセッション処理、制御及び支援のために、メディアセッションハンドラに5GMSd AF405によって公開されたメディアセッション処理APIであってもよい。リンク426は、M6dに関連してもよく、これは、5GMSd機能を利用するために、5GMSdアウェアアプリケーション402にメディアセッションハンドラ409によって公開されたUE403のメディアセッションハンドリングAPIであってもよい。リンク427は、M7dに関連してもよく、これは、メディアプレーヤ410を利用するために、5GMSdアウェアアプリケーション402及びメディアセッションハンドラ409にメディアプレーヤ410によって公開されるUEのメディアプレーヤAPIであってもよい。リンク428は、M8dに関連してもよく、これは、例えば、5GMSdアウェアアプリケーション402にサービスアクセス情報を提供するために、5GMSdアウェアアプリケーション302と5GMSdアプリケーションプロバイダ401との間の情報交換のために使用されるアプリケーションAPIであってもよい。
図5A及び図5Bは、実施形態による、エッジ依存拡張現実(AR)(EDGAR)5GMSdダウンロードアーキテクチャ500の図である。AR EDGAR 5GMSdアーキテクチャ500は、混合現実(MR)にも適用されてもよい。アーキテクチャ500は、5G EDGAR UE502と、クラウド/エッジサーバ504と、AR/MRアプリケーションプロバイダ506と、を含む。5G EDGAR UE502は、ARランタイム508、軽量シーンマネージャ510、5GMSクライアント512、及び基本AR/MRアプリケーション514を含む。ARランタイム508は、ビジョンエンジン/同時ローカライゼーションとマッピング516、ポーズ補正モジュール518、及び音場マッピングモジュール520を含む。軽量シーンマネージャ510は、基本シーングラフハンドラ(SGH)522、及びコンポジタ524を含む。5GMSクライアント512は、(エッジセッションを含む)メディアセッションハンドラ526、及びメディアクライアント528を含む。メディアクライアント528は、シーン記述配信モジュール530、コンテンツ配信モジュール532、及び基本コーデック534を含む。5G EDGAR UE502は、クラウド/エッジサーバ504の5Gシステム(gNb)538と通信する5G軽量システム(Uu)536を含む。
クラウド/エッジサーバ504は、AR/MRアプリケーション540、及びメディア配信機能542を含む。メディア配信機能542は、メディアAF544及びメディアAS546を含む。メディアAS546は、コンテンツ配信機能548、シーン記述機能(SDF)550、デコーダ552、及びエンコーダ554を含む。AR/MRアプリケーション540は、ARシーンマネージャ556、AR機能564、意味知覚モジュール566、社会統合モジュール568、及びメディアアセットデータベース570を含む。Arシーンマネージャ556は、シーングラフジェネレータ558、没入型ビジュアルレンダラ560、及び没入型オーディオレンダラ562を含む。
AR/MRアプリケーションプロバイダ506は、没入型メディアサーバ574を含む。没入型メディアサーバ574は、シーン記述モジュール576、マニフェストサーバ578、及びセグメントサーバ580を含む。
メディアクライアント528は、M4インターフェース582によってコンテンツ配信モジュール548に送信する(例えば、ポーズ及びインタラクションを送信する)。コンテンツ配信モジュール548は、M4インターフェース584によってメディアクライアント528に送信する(例えば、事前レンダリングされたメディアを送信する)。メディアセッションハンドラ526は、M5dインターフェース586によってメディアAF544と通信している。基本AR/MRアプリケーション514は、M8インターフェース588によってAR/MRアプリケーション540と通信している。基本AR/MRアプリケーション514は、ユーザ入力591及びARランタイム508からARデータ590を受信することができる。ARランタイム508は、カメラ592及びセンサ593からデータを受信してもよく、ディスプレイ594及びスピーカ595にデータを出力してもよい。
この開示の実施形態は、2つのループ、すなわち、外側ループとしてのシーン及びシーン更新をストリーミングすること、及び内側ループとしての各シーンのメディアオブジェクトをストリーミングすることを含む呼び出しフローを提供する。
図6A、図6B、及び図6Cは、実施形態による、EDGARベースの5G下りリンクストリーミングのための動作フローの図である。図6の動作フローを実行するシステムは、基本AR/MRアプリケーション606、ARランタイム608、AR/MRシーンマネージャ610、メディアクライアント612、及びメディアセッションハンドラ614を含んでもよく、これらは、EDGAR UE602の一部であってもよい(さらに、メディアクライアント612及びメディアセッションハンドラ614は、メディアアクセス機能の一部であってもよい)。システムはまた、5GMSd AF616、5GMSd AS618を含んでもよく、これらは、クラウド/エッジサーバ604の一部であってもよい。システムはまた、AR/MRアプリケーションプロバイダ620を含んでもよい。アプリケーションプロバイダ620は、シーンサーバと呼ばれることがある。
動作630では、シーンコンテンツは、5GMSd AS618によってインジェストされる。動作632では、サービスアナウンスとコンテンツ配信は、AR/MRアプリケーション606によってトリガされる。サービスアクセス情報は、メディアクライアントエントリ、又はM8dインターフェースを介して提供されるサービスアクセス情報の参照を含む。動作634では、メディアコンテンツ/シーンが選択される。オペレーション636では、サービスアクセス情報は、必要に応じて獲得又は更新される(すなわち、オペレーション636は任意選択であってもよい)。動作638では、AR/MRアプリケーション606は、エントリポイント(すなわち、完全なシーン記述)URLを用いてシーンマネージャ610を初期化する。動作640では、メディアクライアント612は、エントリポイントを受信するためのトランスポートセッションを確立する。動作641では、メディアクライアント612は、エントリポイント又はシーン記述の更新を要求及び受信する。動作642では、エントリポイントが処理される。
動作644では、システムは、シーン記述及びデバイス能力に基づいて5GMSd ASを選択し、エッジ処理をインスタンス化する。処理されたシーン記述及びデバイス能力に基づいて、5GMSd ASが選択され、エッジサーバ604で定義されたプロセスを使用してエッジプロセスがインスタンス化される。AR/MRシーンマネージャ610は、シーン記述及びデバイス能力を5GMSd AS618に送信してもよい。5GMSd AS618は、エッジAS(EAS)主要性能指標(KPI)を導出し、必要に応じて、新しいKPIに基づいて(例えば、AF616を介して)新しいAS/EASを選択する。エッジプロセスが開始され、新しいエントリポイントURLがAR/MRシーンマネージャ610に提供される。代替的には、いくつかの実施形態では、AR/MRシーンマネージャ610は、シーン記述及びデバイス能力からEAS KPIを導出し、好適なEASのリストを提供するように5GMSd AF616に要求してもよい。AR/MRシーンマネージャ610は、AS/EASを選択し、ASにおいてエッジプロセスを開始するように要求(例えば、選択されたASが5GMSd AS618であってもよい)してもよい。エッジプロセスが開始され、新しいエントリポイントURLがAR/MRシーンマネージャに提供される。
動作646では、AR/MRシーンマネージャ610は、簡略化されたシーンエントリポイント/シーン記述を要求する。エッジプロセスは、簡略化されたシーンエントリ/記述を完全なシーン記述から導出し、それをAR/MRシーンマネージャに提供する。動作648では、簡略化されたエントリポイント(すなわち、簡略化されたシーン記述)が処理される。
動作650では、AR/MRシーンマネージャ610は、ARランタイム608からの新しいAR/MRセッションの作成を要求する。動作652では、ARランタイム608は、新しいAR/MRセッションを作成する。動作654では、ストリーミングセッションが作成される。メディアクライアント612及び/又はAR/MRシーンマネージャ610は、必要なサービス品質(QoS)情報をメディアセッションハンドラ614に提供してもよい。動作656では、ストリーミングセッションが設定される。メディアセッションハンドラ614は、いくつかの実施形態では、所望のQoS情報を含む情報を5GMSd AF616と共有してもよい。AR/MRアプリケーションプロバイダ620による既存のプロビジョニングに基づいて、5GMSd AF616は、プロトコルデータユニットセッションに対するQoS修正を要求してもよい。
動作658では、配信マニフェストのためのトランスポートセッションが確立される。必要なメディアコンテンツについては、メディアクライアント612は、配信マニフェスト情報を獲得するためにトランスポートセッションを確立する。動作660では、メディアクライアント612は、5GMSd AS618からの配信マニフェストを要求及び受信する。動作662では、メディアクライアント612は、配信マニフェストを処理する。例えば、メディアクライアント612は、メディア獲得に必要なトランスポートセッションの数を決定する。メディアクライアント612は、配信マニフェスト情報を使用して、各メディアストリームに対してメディアパイプラインを初期化するように構成されている。動作664では、AR/MRシーンマネージャ610及びメディアクライアント612は、レンダリング及び配信メディアパイプラインを設定する。
動作666では、メディアクライアント612は、メディアコンテンツを獲得するためのトランスポートセッションを確立する。動作668では、5GMSd AS618は、メディアセッションを初期化及び開始する。メディアセッションは、UEに特有のステートフルセッションループ(すなわち、動作670、672、674、及び676)を形成する。
動作670では、最新のポーズ情報は、AR/MRシーンマネージャ610によって獲得され、メディアクライアント612と共有される。動作672では、メディアクライアント612は、最新のポーズ情報を5GMSd AS618に送信する。動作674では、5GMSd AS618は、最新の受信したポーズ情報、及び可能であれば任意のオリジナルのシーン更新に基づいてメディアの事前レンダリングを実行する。事前レンダリングは、没入型メディアを復号及びレンダリングすることと、レンダリングされた(すなわち、二次元)メディアをエンコードすることと、を含んでもよい。動作676では、事前レンダリングされたメディアが、メディアクライアント612に5GMSd AS618によって送信される。動作678では、メディアクライアント612は、メディアデータをデコード及び処理する。暗号化されたメディアデータの場合、メディアクライアント612は復号も実行してもよい。動作680では、メディアクライアント612は、メディアデータをAR/MRシーンマネージャ610に渡す。動作682では、AR/MRシーンマネージャ610は、メディアをレンダリングし、レンダリングされたメディアをARランタイム608に渡す。ARランタイム608は、ARコンテンツの実世界への登録、コンポジット、ポーズ補正などのさらなる処理を実行する。
AR/MRシーンは、EDGARデバイスへのストリーミング中に動的に更新されてもよく、したがって、ストリーミングセッション中にシーンが完全に変更され得る。EDGARデバイスのシーン更新は、メディアオブジェクトと同じループの一部である。しかし、シーン更新は、エッジネットワーク上のメディアアプリケーションサーバで発生する。したがって、クライアントは、任意のシーン更新をビデオストリーミングセッションの連続部分として見る。
図7は、実施形態による、EDGARベースの5G下りリンクストリーミングのための方法のフローチャートである。動作702では、システムは、完全なシーン記述を含むメディアコンテンツを選択する。動作704では、システムは、完全なシーン記述に基づいてメディアコンテンツをストリーミングするために5GMSd ASを選択する。動作706では、システムは、完全なシーン記述に基づいて簡略化されたシーン記述を導出する。動作708では、システムは、簡略化されたシーン記述に基づいてAR/MRセッションを作成する。
図7は、プロセス700の例示的なブロックを示し、いくつかの実装において、プロセス700は、図7に示されるブロックよりも、追加のブロック、より少ないブロック、異なるブロック、又は異なる配置のブロックを含み得る。追加的又は代替的に、プロセス700のブロックのうちの2つ以上は、並列で実行されてもよい。
さらに、提案された方法は、処理回路(例えば、1つ以上のプロセッサ又は1つ以上の集積回路)によって実装されてもよい。一例において、1つ以上のプロセッサは、提案された方法の1つ以上を実行するために、非一時的なコンピュータ可読媒体に記憶されたプログラムを実行する。
上述の技術は、コンピュータ可読命令を使用し、1つ以上のコンピュータ可読媒体に物理的に記憶されたコンピュータソフトウェアとして実装され得る。
本開示の実施形態は、別々に、又は任意の順序で組み合わせて使用されてもよい。さらに、実施形態(及びその方法)の各々は、処理回路(例えば、1つ以上のプロセッサ又は1つ以上の集積回路)によって実装されてもよい。一例において、1つ以上のプロセッサは、非一時的なコンピュータ可読媒体に記憶されたプログラムを実行する。
前述の開示は、例示及び説明を提供するが、網羅的であることを意図しておらず、また、実装を開示された正確な形態に限定することを意図していない。修正及び変形は、上記の開示に照らして可能であるか、又は実装の実施から取得されてもよい。
本明細書で使用される場合、コンポーネントという用語は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアの組み合わせとして広く解釈されることを意図している。
特徴の組み合わせが特許請求の範囲に規定され、及び/又は明細書に開示されているとしても、これらの組み合わせは、可能な実装の開示を限定するものではない。実際、これらの特徴の多くは、具体的に特許請求の範囲に規定されていない、及び/又は明細書に開示されていない方法で組み合わせられてもよい。以下に列挙される各従属請求項は、1のクレームのみに直接従属してもよいが、可能な実装の開示は、クレームセットにおいて、他の全てのクレームと組み合わせた各従属クレームを含む。
本明細書中で使用されるいかなる要素、行為、又は命令も、明示的に記述されない限り、重要又は必須と解釈されるべきではない。また、本明細書で使用される場合、「a」及び「an」という品詞は、1つ以上の項目を含むことを意図し、「1つ以上」と互換的に使用されてもよい。さらに、本明細書で使用される場合、「セット」という用語は、1つ以上の項目(例えば、関連項目、非関連項目、関連項目と非関連項目の組み合わせなど)を含むことを意図し、「1つ以上」と互換的に使用されてもよい。1つの項目のみが意図される場合、「1」という用語又は類似の言語が使用される。また、本明細書で使用される場合、「有する(has)」、「有する(have)」、「有している(having)」などの用語は、オープンエンドの用語であることを意図している。さらに、「に基づく」という語句は、明示的に別段の記載がない限り、「少なくとも部分的に基づく」を意味することを意図している。

Claims (9)

  1. エッジサーバと、ユーザ機器とを含むシステムにおいて拡張現実(AR)/混合現実(MR)コンテンツを提供するための方法であって、
    前記ユーザ機器のAR/MRアプリケーションが、完全なシーン記述を含むメディアコンテンツを選択するステップと、
    前記ユーザ機器のAR/MRシーンマネージャが、前記完全なシーン記述を前記エッジサーバの第5世代(5G)メディアストリーミング下りリンク(5GMSd)アプリケーションサーバ(AS)に送信することによって、メディアコンテンツをストリーミングするため5GMSd ASを選択するステップと、
    前記AR/MRシーンマネージャが、簡略化されたシーン記述を前記5GMSd ASに要求することによって、前記5GMSd ASから前記完全なシーン記述に基づいて導出された前記簡略化されたシーン記述を受信するステップと、
    前記AR/MRシーンマネージャが、前記簡略化されたシーン記述に基づいてAR/MRセッションを作成するステップと、含む、方法。
  2. 前記簡略化されたシーン記述の導出及び前記AR/MRセッションの作成は、外側ループ及び内側ループを含む2つのループ呼び出しフローを含み、
    前記内側ループは、前記完全なシーン記述のシーンの前記簡略化されたシーン記述のメディアオブジェクトをストリーミングするためのものであり、
    前記外側ループは、前記メディアオブジェクトがストリーミングされる間、前記内側ループを更新して、前記簡略化されたシーン記述の前記メディアオブジェクトに加えて前記完全なシーン記述の前記シーンの少なくとも1つの他のメディアオブジェクトをストリーミングするためのものである、請求項1に記載の方法。
  3. 前記メディアコンテンツをストリーミングするため5GMSd ASを選択するステップは、第1の5GMSd ASの少なくとも1つの主要性能指標(KPI)に基づいて導出された5GMSd ASを選択するステップを含む、請求項1に記載の方法。
  4. 前記AR/MRシーンマネージャが、前記ユーザ機器の5GMSdアプリケーション機能(AF)から前記メディアコンテンツをストリーミングするために好適なエッジアプリケーションサーバ(EAS)のリストを受信するステップをさらに含み、
    前記メディアコンテンツをストリーミングするため5GMSd ASを選択するステップは、EASの前記リストからEASを選択するステップをさらに含む、請求項に記載の方法。
  5. 前記メディアコンテンツをストリームするため5GMSd ASを選択するステップの後に、前記AR/MRシーンマネージャが、前記5GMSd ASによって提供された新しいエントリポイントユニフォームリソースロケータ(URL)を受信するステップをさらに含む、請求項1に記載の方法。
  6. 前記AR/MRシーンマネージャが、前記メディアコンテンツの更新されたポーズ情報を受信するステップと、
    前記AR/MRシーンマネージャが、前記更新されたポーズ情報に基づいて事前レンダリングされたメディアコンテンツを受信するステップと、をさらに含む、請求項1に記載の方法。
  7. 前記更新されたポーズ情報を受信するステップ、及び前記事前レンダリングされたメディアコンテンツを受信するステップは、前記メディアコンテンツがストリーミングされるメディアストリーミングセッション中に実行される、請求項6に記載の方法。
  8. プログラムコードを記憶するように構成されている少なくとも1つのメモリと、
    前記プログラムコードを読み出し、前記プログラムコードによって命令されるように動作して、請求項1~7のいずれか一項に記載の方法を実行するように構成されているプロセッサと、を含む、デバイス。
  9. 命令を含むコンピュータプログラムであって、前記命令は、1つ以上のプロセッサによって実行されるときに、前記1つ以上のプロセッサに、請求項1~7のいずれか一項に記載の方法を実行させる、コンピュータプログラム
JP2023552288A 2021-11-03 2022-03-29 シーンが動的に更新される5gデバイスにar/mrコンテンツを提供するための方法、デバイス及びコンピュータ可読媒体 Active JP7635908B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163275358P 2021-11-03 2021-11-03
US63/275,358 2021-11-03
US17/705,905 2022-03-28
US17/705,905 US12045940B2 (en) 2021-11-03 2022-03-28 Method for streaming dynamic 5G AR/MR experience to 5G devices with updatable scenes
PCT/US2022/022269 WO2023080920A1 (en) 2021-11-03 2022-03-29 A method for streaming dynamic 5g ar/mr experience to 5g devices with updatable scenes

Publications (2)

Publication Number Publication Date
JP2024508487A JP2024508487A (ja) 2024-02-27
JP7635908B2 true JP7635908B2 (ja) 2025-02-26

Family

ID=86145401

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2023552288A Active JP7635908B2 (ja) 2021-11-03 2022-03-29 シーンが動的に更新される5gデバイスにar/mrコンテンツを提供するための方法、デバイス及びコンピュータ可読媒体
JP2023552350A Active JP7639161B2 (ja) 2021-11-03 2022-05-11 更新可能なシーンを有する5gデバイスに動的5g ar/mr体験をストリーミングする方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023552350A Active JP7639161B2 (ja) 2021-11-03 2022-05-11 更新可能なシーンを有する5gデバイスに動的5g ar/mr体験をストリーミングする方法

Country Status (6)

Country Link
US (3) US12045940B2 (ja)
EP (2) EP4427199A4 (ja)
JP (2) JP7635908B2 (ja)
KR (2) KR102935406B1 (ja)
CN (2) CN116601546A (ja)
WO (2) WO2023080920A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240089166A (ko) * 2021-11-03 2024-06-20 퀄컴 인코포레이티드 에지 애플리케이션 서버에 의해 제공되는 번들링 서비스
KR20230085767A (ko) * 2021-12-07 2023-06-14 삼성전자주식회사 성능 기반의 스플릿 컴퓨팅 제공 방법 및 장치
US20230300860A1 (en) * 2022-02-08 2023-09-21 Qualcomm Incorporated Uniform resource locator indicating parameters for reception of a service announcement for a receive only mode service
US12563119B2 (en) * 2022-05-05 2026-02-24 Tencent America LLC Procedure for discovery of capabilities and performance of 5G EDGAR devices
KR20260020749A (ko) * 2024-08-05 2026-02-12 삼성전자주식회사 무선 통신 시스템에서 동적 정책 적용을 위한 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190114830A1 (en) 2017-10-13 2019-04-18 Samsung Electronics Co., Ltd. 6dof media consumption architecture using 2d video decoder
CN110913279A (zh) 2018-09-18 2020-03-24 北京悉见科技有限公司 一种用于增强现实的处理方法及增强现实终端
US20210051522A1 (en) 2019-08-15 2021-02-18 At&T Intellectual Property I, L.P. Radio access network intelligent controller-based dynamic time division duplex communication in a radio communication network
JP2021120854A (ja) 2019-12-30 2021-08-19 ティーエムアールダブリュー ファウンデーション アイピー エスエーアールエル n層アーキテクチャにより仮想世界計算を最適化するためのシステムおよび方法
US20210320955A1 (en) 2020-04-10 2021-10-14 Samsung Electronics Co., Ltd. Offering media services through network edge

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714201B1 (en) * 1999-04-14 2004-03-30 3D Open Motion, Llc Apparatuses, methods, computer programming, and propagated signals for modeling motion in computer applications
JP2002271694A (ja) 2001-03-13 2002-09-20 Canon Inc 画像処理方法、画像処理装置、スタジオ装置、記憶媒体及びプログラム
US20070050482A1 (en) * 2005-08-23 2007-03-01 Microsoft Corporation System and method for executing web pages using a multi-tiered distributed framework
US20100289804A1 (en) * 2009-05-13 2010-11-18 International Business Machines Corporation System, mechanism, and apparatus for a customizable and extensible distributed rendering api
JP5891388B2 (ja) 2011-03-31 2016-03-23 パナソニックIpマネジメント株式会社 立体視画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
US8970618B2 (en) * 2011-06-16 2015-03-03 University Of Leeds Virtual microscopy
RU2017115669A (ru) * 2011-10-28 2019-01-28 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
WO2018027983A1 (zh) * 2016-08-12 2018-02-15 华为技术有限公司 一种数据传输方法及设备
US10063612B2 (en) 2016-09-30 2018-08-28 Amazon Technologies, Inc. Request-based encoding for streaming content portions
US20180285129A1 (en) 2017-04-04 2018-10-04 General Dynamics Mission Systems, Inc. Systems and methods for providing computer interface interaction in a virtualized environment
KR102432283B1 (ko) 2017-05-01 2022-08-11 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
CN110313187B (zh) 2017-06-15 2022-06-07 杜比国际公司 处理媒体内容以供第一装置再现的方法、系统和装置
CN107909643B (zh) * 2017-11-06 2020-04-24 清华大学 基于模型分割的混合场景重建方法及装置
US10504280B2 (en) * 2018-01-10 2019-12-10 Qualcomm Incorporated Accelerated occlusion computation
US10755425B2 (en) * 2018-02-05 2020-08-25 Intel Corporation Automatic tuning of image signal processors using reference images in image processing environments
WO2020018431A1 (en) 2018-07-15 2020-01-23 Magical Technologies, Llc Systems and methods to administer a chat session in an augmented reality environment
CN114600064B (zh) 2019-10-15 2026-04-24 奇跃公司 具有定位服务的交叉现实系统
US20210105451A1 (en) * 2019-12-23 2021-04-08 Intel Corporation Scene construction using object-based immersive media
US11395027B2 (en) * 2020-02-28 2022-07-19 Verizon Patent And Licensing Inc. Methods and systems for request-based graphics rendering at a multi-access server
KR20230057372A (ko) * 2020-08-27 2023-04-28 삼성전자주식회사 증강 현실 미디어 오브젝트들에 대한 앵커 기반 렌더링을 수행하는 방법 및 장치
US11563827B1 (en) * 2021-07-12 2023-01-24 Verizon Patent And Licensing Inc. Method and system for network performance optimization service
KR20230085767A (ko) * 2021-12-07 2023-06-14 삼성전자주식회사 성능 기반의 스플릿 컴퓨팅 제공 방법 및 장치
US20230215075A1 (en) * 2022-01-01 2023-07-06 Samsung Electronics Co., Ltd. Deferred rendering on extended reality (xr) devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190114830A1 (en) 2017-10-13 2019-04-18 Samsung Electronics Co., Ltd. 6dof media consumption architecture using 2d video decoder
CN110913279A (zh) 2018-09-18 2020-03-24 北京悉见科技有限公司 一种用于增强现实的处理方法及增强现实终端
US20210051522A1 (en) 2019-08-15 2021-02-18 At&T Intellectual Property I, L.P. Radio access network intelligent controller-based dynamic time division duplex communication in a radio communication network
JP2021120854A (ja) 2019-12-30 2021-08-19 ティーエムアールダブリュー ファウンデーション アイピー エスエーアールエル n層アーキテクチャにより仮想世界計算を最適化するためのシステムおよび方法
US20210320955A1 (en) 2020-04-10 2021-10-14 Samsung Electronics Co., Ltd. Offering media services through network edge

Also Published As

Publication number Publication date
KR20230109755A (ko) 2023-07-20
KR102935406B1 (ko) 2026-03-09
KR102831496B1 (ko) 2025-07-09
US12045940B2 (en) 2024-07-23
US20230135220A1 (en) 2023-05-04
US20230139635A1 (en) 2023-05-04
CN116888650A (zh) 2023-10-13
JP2024508487A (ja) 2024-02-27
EP4427199A1 (en) 2024-09-11
WO2023080920A1 (en) 2023-05-11
CN116888650B (zh) 2025-12-02
US20240371103A1 (en) 2024-11-07
US12430854B2 (en) 2025-09-30
WO2023080926A1 (en) 2023-05-11
EP4427210A1 (en) 2024-09-11
EP4427199A4 (en) 2025-03-05
KR20230118150A (ko) 2023-08-10
JP2024508491A (ja) 2024-02-27
US12417586B2 (en) 2025-09-16
JP7639161B2 (ja) 2025-03-04
CN116601546A (zh) 2023-08-15
EP4427210A4 (en) 2025-03-05

Similar Documents

Publication Publication Date Title
JP7635908B2 (ja) シーンが動的に更新される5gデバイスにar/mrコンテンツを提供するための方法、デバイス及びコンピュータ可読媒体
KR102887545B1 (ko) 동적 장면 업데이트들을 포함하는 5g 에지 서버들/클라우드 상에서 ar/mr 처리를 실행함으로써 5g 디바이스들에 ar/mr 애플리케이션들을 제공하기 위한 절차들
JP7643802B2 (ja) 5gのar/mr認知体験を5gデバイスに配信するための方法、装置、およびコンピュータプログラム
JP7512421B2 (ja) 5gアップリンク・ストリーミングにおけるエジェスト・コンフィギュレーション及びプロトコルを定める方法及び装置
JP2025532545A (ja) 5gメディアネットワークにおけるアップリンクストリーミングのためのサービスアクセス情報を提供するための方法および装置
JP7550978B2 (ja) 5gネットワークにおけるアップリンクストリーミングの貢献報告の方法および装置
CN115668954B (zh) 内容准备方法、装置、设备及存储介质
HK40090855A (zh) 将动态5g ar/mr体验流式传输到具有可更新场景的5g设备的方法
EP4714094A2 (en) Method and apparatus for dynamic policy selection for media uplink streaming in 5g media streaming networks
CN119586113A (zh) 用于在5g媒体流式传输中发信号通知用于多种格式的个体和群组服务操作点的方法和装置
HK40091321A (zh) 用於向5g设备递送5g ar/mr认知体验的方法和装置
HK40098254A (zh) 一种媒体流式传输方法、设备以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240910

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20241206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250129

R150 Certificate of patent or registration of utility model

Ref document number: 7635908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150