Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7376830B2 - リソース推定装置、リソース推定方法、および、リソース推定プログラム - Google Patents
[go: Go Back, main page]

JP7376830B2 - リソース推定装置、リソース推定方法、および、リソース推定プログラム - Google Patents

リソース推定装置、リソース推定方法、および、リソース推定プログラム Download PDF

Info

Publication number
JP7376830B2
JP7376830B2 JP2022503053A JP2022503053A JP7376830B2 JP 7376830 B2 JP7376830 B2 JP 7376830B2 JP 2022503053 A JP2022503053 A JP 2022503053A JP 2022503053 A JP2022503053 A JP 2022503053A JP 7376830 B2 JP7376830 B2 JP 7376830B2
Authority
JP
Japan
Prior art keywords
resource
value
virtual terminal
image
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022503053A
Other languages
English (en)
Other versions
JPWO2021171615A1 (ja
Inventor
大司 相浦
宏紀 岩澤
健太 川上
健 桑原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021171615A1 publication Critical patent/JPWO2021171615A1/ja
Application granted granted Critical
Publication of JP7376830B2 publication Critical patent/JP7376830B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00Three-dimensional [3D] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00Three-dimensional [3D] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

本発明は、リソース推定装置、リソース推定方法、および、リソース推定プログラムに関する。
VR(Virtual Reality)画像を提供するVRサービスでは、VRアプリケーションプログラムを実行してVR画像をレンダリング(生成)するVRレンダリングマシンと、VR画像を視聴するためのVR端末と、が用いられる。
VRサービスにおいては、VR端末がVR視聴者の動作を検知してVR視聴者の向きや動作の変位を示す変位情報をVRアプリケーションプログラムへ送信してから、当該変位情報に対応するVR画像がVR端末に表示されるまでの遅延、いわゆるMTP(Motion to Photon)遅延に超低遅延性が要求される。
それ故、高品質なハイエンドVRを視聴するには、VRレンダリングマシンをVR画像の視聴拠点に配置し、VRレンダリングマシンとVR端末とをHDMI(High-Definition Multimedia Interface)又はWi-Fiでダイレクトに近接続するオンプレミス環境が採用されている。
一方、VRサービスをクラウド環境で提供することが検討されている。しかし、オンプレミス環境をそのままクラウド化した場合、VRレンダリングマシンがクラウド内に配置されることになるため、VRレンダリングマシンとVR端末との間を接続しているインターネット等の通信ネットワークの影響により、要求される超遅延性のMTP遅延を実現することが困難となる。
"SteamVR システム要件"、STEAM、[2020年2月19日検索]、インターネット<URL : https://store.steampowered.com/app/1098190/VersaillesVR__the_Palace_is_yours/> "SteamVR システム要件"、STEAM、[2020年2月19日検索]、インターネット<URL : https://store.steampowered.com/app/496240/Onward/>
そこで、本発明は、MEC(Multi-access Edge Computing)技術による低遅延クラウドを活用し、VR画像のレンダリングをリアルタイムに行うエッジクラウド基盤の提供を想定し、エッジクラウド上に必要となるマシンリソースを考える。即ち、本発明は、VRレンダリングマシンをクラウドのエッジに設置することを想定し、エッジクラウド環境のVRレンダリングマシンにおいてリアルタイムVRレンダリングの実現に必要なマシンリソースを推定する。
通常、VRアプリケーションプログラムには、VR画像のレンダリングに必要となるマシンリソースの推奨性能値が仕様書に提示されている(非特許文献1,2)。それ故、VRアプリケーションプログラムの利用者は、当該推奨性能値に基づきVRレンダリングマシンを調達して導入することができる。
また、VRアプリケーションプログラムの開発者は、試作段階のVRアプリケーションプログラムを自身の保有する既設のマシン上で動作させ、VR画像の動きの滑らかさ等に応じてVRアプリケーションプログラムがマシンに要求する負荷を調整することができる。
しかし、VR向けのクラウドプラットフォームを提供するクラウド提供者においては、そのどちらも困難である。その理由は、VRアプリケーションプログラム毎にマシンリソースの推奨性能値が提示されているものの、クラウド提供者はVRアプリケーションプログラムが推奨マシンに与える負荷の大きさを知ることはできないからである。また、1つのマシンで複数のVRアプリケーションプログラムを効率的に動作させるためには、当該マシンのマシンリソースに対する各VRアプリケーションプログラムのそれぞれの負荷の大きさを何らかの尺度で想定し、マシンリソースを各VRアプリケーションプログラムに対して適切に割り当てることが必要である。
それ故、クラウド提供者は、既存の各VRアプリケーションプログラムが既存のVRレンダリングマシンで動作するか否かを把握し、VRアプリケーションプログラムに対して割り当てるマシンリソースを判定することを必要としていた。
また、MTP遅延の制約により、通信ネットワークで遅延が生じるクラウド環境では、遅延が小さい場合に比べ、VR画像のレンダリングに充てる時間を短縮する必要があるため、更なるマシンリソースが必要であった。
本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、VR画像のレンダリングを行うマシンのリソースを推定可能な技術を提供することである。
本発明の一態様のリソース推定装置は、通信ネットワーク網の網端に設置され、VR画像のレンダリングを行う仮想端末に必要なリソースを推定するリソース推定装置において、VR画像を出力するVR画像出力方式毎に設定されたリソース関係情報であり、VRアプリケーションプログラムが描画するオブジェクトの3Dデータの特性値と、前記特性値で前記仮想端末を動作させるために必要なリソース値と、の変化の関係を示す前記リソース関係情報を用いて、入力されたVR画像出力方式及び3Dデータの特性値に対応するリソース値を算出し、算出したリソース値を前記仮想端末に必要なリソースとして算出する推定部と、前記リソース推定装置とVR端末との間の通信ネットワークに所定の遅延時間がある場合、前記遅延時間に応じて前記リソース関係情報に含まれる前記リソース値を変更する補正部と、を備える。
本発明の一態様のリソース推定方法は、通信ネットワーク網の網端に設置されたリソース推定装置で行う、VR画像のレンダリングを行う仮想端末に必要なリソースを推定するリソース推定方法において、VR画像を出力するVR画像出力方式毎に設定されたリソース関係情報であり、VRアプリケーションプログラムが描画するオブジェクトの3Dデータの特性値と、前記特性値で前記仮想端末を動作させるために必要なリソース値と、の変化の関係を示す前記リソース関係情報を用いて、入力されたVR画像出力方式及び3Dデータの特性値に対応するリソース値を算出し、算出したリソース値を前記仮想端末に必要なリソースとして算出するステップと、前記リソース推定装置とVR端末との間の通信ネットワークに所定の遅延時間がある場合、前記遅延時間に応じて前記リソース関係情報に含まれる前記リソース値を変更するステップと、を行う。
本発明の一態様のリソース推定プログラムは、上記リソース推定装置としてコンピュータを機能させるリソース推定プログラムである。
本発明によれば、VR画像のレンダリングを行うマシンのリソースを推定可能な技術を提供できる。
図1は、エッジクラウド環境によるVRレンダリング方式の全体像を示す図である。 図2は、システム全体の機能構成を示す図である。 図3は、リソース推定装置の機能構成を示す図である。 図4は、VRサービスの処理フローを示す図である。 図5は、リソース推定、割当方法の処理フローを示す図である。 図6は、リソース関係の算出例を示す図である。 図7は、リソース推定装置のハードウェア構成を示す図である。
以下、図面を参照して、本発明の実施形態を説明する。図面の記載において同一部分には同一符号を付し説明を省略する。
図1は、エッジクラウド環境によるVRレンダリング方式の全体像を示す図である。
本実施形態では、VRレンダリングマシンが持つ機能を、VR画像のレンダリングを実行するVRレンダリング機能と、VR画像のレンダリングの実行を制御する制御機能と、に分離する。そして、VRレンダリング機能を、VR画像の視聴拠点の物理的近傍に位置するクラウドのエッジ(通信ネットワーク網の網端)に設置されたサーバ(VRレンダリングサーバ200)に配置する。また、制御機能を、クラウド内(通信ネットワーク網の網内)に設置されたサーバ(制御サーバ300)に配置する。尚、制御機能は、上記クラウドのエッジに併設された他サーバに配置してもよいし、VRレンダリングサーバ200内に配置してもよい。
VR向けのクラウドプラットフォームを提供するクラウド提供者は、VRレンダリングサーバ200及び制御サーバ300を運用し、VRレンダリングサーバ200からVRレンダリング機能をVR視聴者へ提供する。VRレンダリングサーバ200は、様々な種類の仮想端末(VM(Virtual Machine)。仮想マシンともいう。)を複数構築可能であり、仮想端末の構築時に当該仮想端末に対してCPU使用率、GPU使用率、メモリ使用量、ストレージ使用量等を割り当てる。例えば、VRレンダリングサーバ200は、VR視聴者からのVRサービス利用の要求に応じてVRアプリケーションプログラム用の仮想端末を構築する。
VR視聴者は、VR画像の視聴拠点に、VR端末100と、VRレンダリングサーバ200の内部に構築された仮想端末に接続するためのネットワーク装置(例えば、ONU(Optical Network Unit)、Wi-Fi機器等)と、を配備する。そして、VR視聴者は、VRアプリケーションプログラムをVRレンダリングサーバ200へ提供し、当該VRアプリケーションプログラムを事前に仮想端末内に配置して、当該VRアプリケーションプログラム用の仮想端末を動作させることで、VRレンダリング機能のみを享受する。
図2は、システム全体の機能構成を示す図である。
本実施形態に係るシステムは、VR端末100と、VRレンダリングサーバ200と、制御サーバ300と、を備えている。
VR端末100は、VR視聴者の宅内等、VR画像の視聴拠点に配置され、VR画像を視聴するための端末である。例えば、VR端末100は、ヘッドマウントディスプレイ、スマートフォン等で実現可能である。VR端末100は、例えば、VRレンダリングサーバ200から受信したVR画像を表示するVR画像表示部110と、VR端末100の向きや位置座標等の変位を示す変位情報をVR端末100内の計測機構より取得する変位情報取得部120と、当該変位情報をVRレンダリングサーバ200へ送信し、当該変位情報に対応するVR画像をVRレンダリングサーバ200から受信する通信インタフェース部130と、を備えている。
VRレンダリングサーバ200は、クラウドのエッジに設置され、VRアプリケーションプログラム用の仮想端末等を実行し、VR端末100からの変位情報に対応するVR画像をレンダリングしてVR端末100へ送信するサーバである。例えば、VRレンダリングサーバ200は、IA(Intel Architecture)サーバ等、汎用のサーバで実現可能である。
本実施形態において、VRレンダリングサーバ200は、VRレンダリング機能に加えて、リアルタイムVRレンダリングの実現に必要なマシンリソースを推定するリソース推定装置1を更に備えている。
VRレンダリングサーバ200は、例えば、VR画像をレンダリングする仮想端末であるVRレンダリング部210と、VR端末100との間を接続している通信ネットワークの遅延時間を計測する仮想端末であるNW遅延計測部220と、予め設定されたリソース関係情報を用いて、VR画像のレンダリングを行う仮想端末(VRレンダリング部210)に必要なマシンリソースを推定する仮想端末であるリソース推定部230と、通信ネットワークの遅延時間に基づきリソース関係情報を補正する仮想端末である関係補正部240と、VRサービスに関連する諸データを送受信する通信インタフェース部250と、を備えている。リソース推定部230及び関係補正部240がリソース推定装置1を構成する。
制御サーバ300は、クラウド内に設置され、VRレンダリングサーバ200によるVR画像のレンダリングの実行を制御するサーバである。制御サーバ300も汎用のサーバで実現可能である。制御サーバ300は、例えば、VRレンダリングサーバ200内に構築された各仮想端末を管理する仮想端末管理部310と、VRサービスに関連する諸データを送受信する通信インタフェース部320と、を備えている。
図3は、リソース推定装置1の機能構成を示す図である。リソース推定装置1は、リソース推定部230と、関係補正部240と、を備えている。
リソース推定部(推定部)230は、関係抽出部231を備え、関係抽出部231で抽出されたリソース関係情報を用いて、VR視聴者が提供したVRアプリケーションプログラムが描画する3Dデータの特性値とVR視聴者が指定したVR画像出力方式とをもとに、当該VRアプリケーションプログラムに対応する仮想端末(VRレンダリング部210)でVR画像をレンダリングするために必要なマシンリソースを推定する機能を備える。
関係抽出部231は、所定のVR画像出力方式に対応する、VRアプリケーションプログラムが描画する3Dデータの特性値と、当該特性値に応じて仮想端末(VRレンダリング部210)に必要なマシンリソース値と、の変化の関係を示すリソース関係情報を抽出する機能を備える。
具体的には、リソース推定部230は、VR画像を出力するVR画像出力方式毎に設定されたリソース関係情報であり、VRアプリケーションプログラムが描画するオブジェクトの3Dデータの特性値と、当該特性値で仮想端末(VRレンダリング部210)を動作させるために必要なマシンリソース値と、の変化の関係を示すリソース関係情報を用いて、入力されたVR画像出力方式及び3Dデータの特性値に対応するマシンリソース値を算出し、算出したマシンリソース値を仮想端末に必要なマシンリソースとして算出する。
3Dデータの特性値とは、例えば、ドローコール数、プリミティブ数である。ドローコールとは、同じプロパティをもつオブジェクトごとにCPUから発行されるGPUへの描画命令である。プリミティブとは、描画するオブジェクトを構成する点、線、ポリゴン(三角形)等の最小単位を表す情報である。マシンリソース値とは、例えば、CPUクロック数、GPU使用率である。VR画像出力方式とは、例えば、解像度、フレームレートである。
関係補正部(補正部)240は、VR端末100との間を接続している通信ネットワークの遅延の影響を踏まえ、上記リソース関係情報を補正(変更)する機能を備える。具体的には、関係補正部240は、VRレンダリングサーバ200(リソース推定装置1)とVR端末100との間の通信ネットワークに所定の遅延時間がある場合、当該遅延時間に応じてリソース関係情報に含まれるマシンリソース値を変更する。
図4は、VRサービスの処理フローを示す図である。
ステップS101;
VR視聴者は、手持ちのPCを用いて、VRアプリケーションプログラム(又は、VRアプリケーションプログラムのソースコード)、ドローコール数、プリミティブ数等をVRレンダリングサーバ200へ送信するとともに、VR画像の解像度、フレームレート等を指定する。
ステップS102;
VRレンダリングサーバ200は、VR視聴者からの上記諸データをもとに、上記VRアプリケーションプログラムに対応する仮想端末(VRレンダリング部210)でVR画像をレンダリングするために必要なマシンリソースを算出(推定)する。その後、VRレンダリングサーバ200は、推定したマシンリソースを当該仮想端末に割り当て可能か否かを判定し、VRサービスの提供可否及びVRサービス提供可能であれば利用料金を回答する。
ステップS103;
VR視聴者からVRサービスの利用に合意が得られた後、VRレンダリングサーバ200は、上記仮想端末を構築するとともに、推定したマシンリソースを当該仮想端末に割り当て、当該仮想端末への通信を可能にするためにネットワーク構築(例えば、新規構築した仮想端末向けた通信方路の新設、試験、確定等)を行い、VRサービスの提供準備が完了したことをVR視聴者へ通知する。その後、VRレンダリングサーバ200は、VR端末100との間で接続待ち状態として待機する。
ステップS104;
VR端末100は、VRレンダリングサーバ200の仮想端末に接続し、VR視聴者の動作を検知してVR視聴者の向きや動作の変位を示す変位情報を当該仮想端末へ送信する。
ステップS105;
VRレンダリングサーバ200の仮想端末は、当該変位情報に対応するVR画像をレンダリングし、レンダリングしたVR画像をVR端末100へ配信する。
以降、VR端末100がVR視聴者の動作を検知する毎に、ステップS104~ステップS105を繰り返し行う。これにより、VR視聴者は、自身の向きに応じたVR画像を視聴可能となる。
図5は、リソース推定装置1で行うリソース推定、割当方法の処理フローを示す図である。
ステップS201;
リソース推定部230が、メモリ又はストレージからリソース関係情報を抽出する。リソース関係情報には、各VR画像出力方式に応じて、VRアプリケーションプログラムが描画するオブジェクトの3Dデータの特性値と、当該特性値で仮想端末を動作させるために必要なマシンリソース値と、の変化の関係を示す情報が設定されている。
VR画像出力方式としては、解像度及びフレームレートを用いる。リソース推定部230は、各解像度及び各フレームレートに応じた、3Dデータの特性値と仮想端末に必要なマシンリソース値との変化の関係を示すリソース関係情報を抽出する。
3Dデータの特性値としては、例えば、VRアプリケーションプログラムがグラフィックドライバにコールするドローコール数、描画するオブジェクトを構成するプリミティブ数(頂点数)を用いる。ドローコール数とプリミティブ数は、それぞれ、描画するオブジェクトの数、各オブジェクトの滑らかさに比例する。
仮想端末に必要なマシンリソース値としては、例えば、CPUクロック数、GPU使用率を用いる。CPUクロック数とGPU使用率は、それぞれ、ドローコール数とプリミティブ数に応じて増加する。
3Dデータの特性値(ドローコール数、プリミティブ数)と必要なマシンリソース値(CPUクロック数、GPU使用率)との変化の関係を把握するため、ベンチマークアプリケーションプログラムを用いる。当該ベンチマークアプリケーションプログラムとしては、ドローコール数やプリミティブ数を段階的に変化させることが可能なアプリケーションプログラムを用意する。変化の関係は、例えば、描画するオブジェクト数とプリミティブ数とを適切に設定し、あるマシンリソースを割り当てた仮想端末を構築して、当該仮想端末上でベンチマークアプリケーションを動作させることで、把握可能である。
図6を参照しながら、ドローコール数dと必要なCPUクロック数cとの変化の関係を算出する方法を説明する。
ドローコール数dを変化させたときの、1枚のVR画像を描画するためのCPU計算時間tの変化をサンプリングする。このとき、CPU計算時間tは、ドローコール数dの増加に伴って増加するが、あるドローコール数dmaxを境にCPUの性能限界に達し、一定となる。又は、あるドローコール数dmaxを境に、当初に定めたフレームレートを達成するためのCPU計算時間を超過する。このときのCPU計算時間をt[ミリ秒]とする。また、必要となるCPUの最大クロック数をcmax[GHz]とし、ドローコール数がdのときのCPU計算時間をt[ミリ秒]とすると、ドローコール数dとそのときに必要となるCPUクロック数(t/t)・cmax[GHz]との組を得る。当該組をドローコール数とCPUクロック数との関係とする。
実際には、全てのドローコール数に対してCPU計算時間を計測することは困難であるため、直線近似等により定式化する。例えば、上記の場合を直線近似すると、ドローコール数dに対する必要なCPUクロック数c[GHz]は、c=k・d+l(d≦dmax、k及びlは定数)と表される。当該数式を、ドローコール数dと必要なCPUクロック数cとの変化の関係と定義する。但し、dmax<dの範囲においては、VRレンダリングサーバ200の備える既設CPUの性能限界とし、実行不能として扱う。
プリミティブ数と必要なGPU使用率との変化の関係を算出する方法を説明する。
上記CPUとの変化の関係の算出方法において、ドローコール数をプリミティブ数に読み替え、CPU計算時間をGPU計算時間に読み替えて、プリミティブ数とGPU計算時間の関係を抽出する。GPU性能限界におけるGPU計算時間をt[ミリ秒]としたとき、プリミティブ数がpであるときのGPU計算時間t[ミリ秒]に対するGPU使用率を(100・t)/t[%]として算出する。尚、実行不能な範囲については、上述したCPUとの変化の関係の算出方法と同様とする。
ステップS202;
関係補正部240は、NW遅延計測部220から、VR端末100との間を接続している通信ネットワークの遅延時間を取得し、取得した遅延時間が、上記リソース関係情報を補正すべきに値する有意な遅延時間であるか否かを判定する。例えば、超遅延性が要求されるMTP遅延の遅延時間を考慮して所定の許容時間を予め設定しておき、取得した遅延時間が当該許容時間を超えるか否かを判定する。有意な遅延時間である場合、ステップS203へ進む。有意な時間でない場合、ステップS203をスキップしてステップS204へ進む。
ステップS203;
関係補正部240は、有意なネットワーク遅延が存在する場合、3Dデータの特性値とマシンリソース値との関係を補正する。ステップS201で説明した用いた例において、出力するVR映像のフレームレートをf[fps]とし、VR端末100と仮想端末との間にt[ミリ秒]のネットワーク遅延が存在する状況を想定する。
図6を参照しながら、CPUクロック数の補正方法を説明する。
出力するフレームレートf[fps]を実現するために必要なCPU計算時間は、1/f[ミリ秒]であるが、t[ミリ秒]のネットワーク遅延が存在する場合、t=(1/f)-t[ミリ秒]に短縮される。このtが前述のCPU性能限界におけるCPU計算時間であるt[ミリ秒]と比較して小さい場合に、CPU計算時間がt[ミリ秒]よりも大きい範囲をCPU性能限界の範囲とみなして補正を行う。具体的には、CPU計算時間がt[ミリ秒]となるドローコール数をdとすると、ドローコール数dに対して必要となるCPUクロック数を(t/t)・cmax[GHz]から(t/t)・cmax[GHz]に補正する。尚、t≦tの場合は補正しない。また、d<dの範囲を新たに実行不能として扱う。
GPU使用率の補正方法を説明する。
上記CPUクロック数の補正方法において、ドローコール数をプリミティブ数に読み替え、CPU計算時間をGPU計算時間に読み替えることで、上記t<tの場合において、プリミティブ数pのときのGPU計算時間t[ミリ秒]に対するGPU使用率を(100・t)/t[%]から(100・t)/t[%]に補正する。尚、t≦tの場合や実行不能な範囲については、CPUクロック数の補正方法と同様とする。
ステップS204;
リソース推定部230は、ステップS201で抽出したリソース関係情報、又は、ステップS203で補正されたリソース関係情報を用いて、VR視聴者により入力されたVR画像出力方式及び3Dデータの特性値(ドローコール数、プリミティブ数)に対応するマシンリソース値(CPUクロック数、GPU使用率)を算出する。例えば、リソース推定部230は、リソースの関係より、動作させるVRアプリケーションのドローコール数に対応するCPUクロック数を算出し、動作させるVRアプリケーションのプリミティブ数に対応するGPU使用率を算出する。
ステップS205;
リソース推定部230は、算出したマシンリソース値を仮想端末に割り当て可能か否かを判定する。割り当て可能である場合、ステップS206へ進む。割り当て不可能である場合、ステップS207へ進む。
ステップS206;
リソース推定部230は、算出したマシンリソース値を仮想端末に割り当て可能である場合、算出したマシンリソース値を仮想端末に割り当てる。例えば、リソース推定部230は、算出したCPUクロック数がVRレンダリングサーバ200に搭載されたものよりも小さい場合には、「動作可能」として仮想端末に割り当てを行う。リソース推定部230は、算出したGPU使用率が100%未満の場合(例えば、算出したGPU使用率がGPU未使用率の範囲内に収まる場合)には、「動作可能」として仮想端末に割り当てを行う。その後、処理を終了する。
ステップS207;
リソース推定部230は、算出したマシンリソース値を仮想端末に割り当て不可能である場合、VRアプリケーションプログラムの動作不可をVR視聴者へ回答する。例えば、リソース推定部230は、算出したCPUクロック数がVRレンダリングサーバ200に搭載されたものよりも大きい場合には、「動作不可」とする。リソース推定部230は、算出したGPU使用率が100%を超える場合(例えば、算出したGPU使用率を現在使用中のGPU使用率に加算した使用率が100%を超える場合)には、「動作不可」とする。その後、処理を終了する。
以上より、本実施形態によれば、クラウトのエッジに設置され、VR画像のレンダリングを行う仮想端末に必要なリソースを推定するリソース推定装置1において、VR画像を出力するVR画像出力方式毎に設定されたリソース関係情報であり、VRアプリケーションプログラムが描画するオブジェクトの3Dデータの特性値と、前記特性値で前記仮想端末を動作させるために必要なリソース値と、の変化の関係を示す前記リソース関係情報を用いて、入力されたVR画像出力方式及び3Dデータの特性値に対応するリソース値を算出し、算出したリソース値を前記仮想端末に必要なリソースとして算出するリソース推定部230と、前記リソース推定装置1とVR端末100との間の通信ネットワークに所定の遅延時間がある場合、前記遅延時間に応じて前記リソース関係情報に含まれる前記リソース値を変更する関係補正部240と、を備えるので、VR画像のレンダリングを行うマシンのリソースを推定可能な技術を提供できる。すなわち、エッジクラウド環境をリアルタイムVRレンダリング用途に提供する場合において、想定される視聴コンテンツをエッジクラウドに既設のマシンリソースでレンダリング可能か否か、また、消費するマシンリソースを推定することが可能となる。
本発明は、上記実施形態に限定されない。本発明は、本発明の要旨の範囲内で数々の変形が可能である。
上記説明した本実施形態のリソース推定装置1は、図7に示すように、CPU(Central Processing Unit、プロセッサ)901と、メモリ902と、ストレージ903(HDD:Hard Disk Drive、SSD:Solid State Drive)903と、通信装置904と、入力装置905と、出力装置906と、を備えた汎用的なコンピュータシステムを用いて実現できる。メモリ902及びストレージ903は、記憶装置である。当該コンピュータシステムにおいて、CPU901がメモリ902上にロードされた所定のプログラムを実行することにより、リソース推定装置1の各機能が実現される。
また、リソース推定装置1は、1つのコンピュータで実装されてもよい。リソース推定装置1は、複数のコンピュータで実装されてもよい。リソース推定装置1用のプログラムは、HDD、SSD、USB(Universal Serial Bus)メモリ、CD(Compact Disc)、DVD(Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶できる。リソース推定装置1用のプログラムは、通信ネットワークを介して配信することもできる。
1 :リソース推定装置
100:VR端末
110:VR画像表示部
120:変位情報取得部
130:通信インタフェース部
200:VRレンダリングサーバ
210:VRレンダリング部
220:NW遅延計測部
230:リソース推定部
231:関係抽出部
240:関係補正部
250:通信インタフェース部
300:制御サーバ
310:仮想端末管理部
320:通信インタフェース部
901:CPU
902:メモリ
903:ストレージ
904:通信装置
905:入力装置
906:出力装置

Claims (6)

  1. 通信ネットワーク網の網端に設置され、VR画像のレンダリングを行う仮想端末に必要なリソースを推定するリソース推定装置において、
    VR画像を出力するVR画像出力方式毎に設定されたリソース関係情報であり、VRアプリケーションプログラムが描画するオブジェクトの3Dデータの特性値と、前記特性値で前記仮想端末を動作させるために必要なリソース値と、の変化の関係を示す前記リソース関係情報を用いて、入力されたVR画像出力方式及び3Dデータの特性値に対応するリソース値を算出し、算出したリソース値を前記仮想端末に必要なリソースとして算出する推定部と、
    前記リソース推定装置とVR端末との間の通信ネットワークに所定の遅延時間がある場合、前記遅延時間に応じて前記リソース関係情報に含まれる前記リソース値を変更する補正部と、
    を備えるリソース推定装置。
  2. 前記特性値は、
    ドローコール数又はプリミティブ数である請求項1に記載のリソース推定装置。
  3. 前記リソース値は、
    CPUクロック数又はGPU使用率である請求項1又は2に記載のリソース推定装置。
  4. 前記VR画像出力方式は、
    解像度又はフレームレートに関する方式である請求項1乃至3のいずれかに記載のリソース推定装置。
  5. 通信ネットワーク網の網端に設置されたリソース推定装置で行う、VR画像のレンダリングを行う仮想端末に必要なリソースを推定するリソース推定方法において、
    VR画像を出力するVR画像出力方式毎に設定されたリソース関係情報であり、VRアプリケーションプログラムが描画するオブジェクトの3Dデータの特性値と、前記特性値で前記仮想端末を動作させるために必要なリソース値と、の変化の関係を示す前記リソース関係情報を用いて、入力されたVR画像出力方式及び3Dデータの特性値に対応するリソース値を算出し、算出したリソース値を前記仮想端末に必要なリソースとして算出するステップと、
    前記リソース推定装置とVR端末との間の通信ネットワークに所定の遅延時間がある場合、前記遅延時間に応じて前記リソース関係情報に含まれる前記リソース値を変更するステップと、
    を行うリソース推定方法。
  6. 請求項1乃至4のいずれかに記載のリソース推定装置としてコンピュータを機能させるリソース推定プログラム。
JP2022503053A 2020-02-28 2020-02-28 リソース推定装置、リソース推定方法、および、リソース推定プログラム Active JP7376830B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/008515 WO2021171615A1 (ja) 2020-02-28 2020-02-28 リソース推定装置、リソース推定方法、および、リソース推定プログラム

Publications (2)

Publication Number Publication Date
JPWO2021171615A1 JPWO2021171615A1 (ja) 2021-09-02
JP7376830B2 true JP7376830B2 (ja) 2023-11-09

Family

ID=77490858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022503053A Active JP7376830B2 (ja) 2020-02-28 2020-02-28 リソース推定装置、リソース推定方法、および、リソース推定プログラム

Country Status (3)

Country Link
US (1) US12039655B2 (ja)
JP (1) JP7376830B2 (ja)
WO (1) WO2021171615A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014504409A (ja) 2010-12-15 2014-02-20 インターナショナル・ビジネス・マシーンズ・コーポレーション ネットワーク対応アプリケーションのためのハードウェア・アクセラレーテッド・グラフィックス
WO2015151129A1 (ja) 2014-03-31 2015-10-08 株式会社スクウェア・エニックス 情報処理装置、描画システム、制御方法及びプログラム
WO2020022018A1 (ja) 2018-07-23 2020-01-30 日本電信電話株式会社 リソース割当装置、リソース管理システム、および、リソース割当プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8933967B2 (en) * 2005-07-14 2015-01-13 Charles D. Huston System and method for creating and sharing an event using a social network
KR101977726B1 (ko) * 2015-11-17 2019-05-14 한국전자통신연구원 가상 데스크탑 서비스 방법 및 장치
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
US9940898B2 (en) * 2016-02-25 2018-04-10 Nvidia Corporation Variable refresh rate video capture and playback
CN108810554B (zh) * 2018-06-15 2021-06-22 腾讯科技(深圳)有限公司 虚拟场景的场景图像传输方法、计算机设备及存储介质
US10628910B2 (en) * 2018-09-24 2020-04-21 Intel Corporation Vertex shader with primitive replication
KR20190104945A (ko) * 2019-08-23 2019-09-11 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
JP2021100222A (ja) * 2019-12-23 2021-07-01 ソニーグループ株式会社 端末装置、アプリケーションサーバ、受信方法及び送信方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014504409A (ja) 2010-12-15 2014-02-20 インターナショナル・ビジネス・マシーンズ・コーポレーション ネットワーク対応アプリケーションのためのハードウェア・アクセラレーテッド・グラフィックス
WO2015151129A1 (ja) 2014-03-31 2015-10-08 株式会社スクウェア・エニックス 情報処理装置、描画システム、制御方法及びプログラム
WO2020022018A1 (ja) 2018-07-23 2020-01-30 日本電信電話株式会社 リソース割当装置、リソース管理システム、および、リソース割当プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
岩澤宏紀 ほか,エッジコンピューティング環境におけるリアルタイムVR映像転送向けフレームキュー制御の検討,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2019年02月25日,第118巻, 第465号,pp.15-20,ISSN 2432-6380
本間文,ロードマップチェック,日経WinPC,日本,日経BP社,2012年06月29日,第18巻, 第11号,pp.130-131,ISSN 1341-1497

Also Published As

Publication number Publication date
WO2021171615A1 (ja) 2021-09-02
US20230169712A1 (en) 2023-06-01
US12039655B2 (en) 2024-07-16
JPWO2021171615A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
US10042469B2 (en) Methods and apparatus for reducing perceived pen-to-ink latency on touchpad devices
JP4810548B2 (ja) サーバ装置、更新画像検出方法およびプログラム
RU2445705C2 (ru) Способ подготовки отображения данных в серверах (варианты) и машиночитаемый носитель
EP3203748B1 (en) Cloud streaming service system, cloud streaming service method using optimal gpu, and apparatus for same
US20150133214A1 (en) Video encoding based on areas of interest
US9176710B2 (en) Dynamically selecting service provider, computing system, computer, and program
US20120147015A1 (en) Graphics Processing in a Multi-Processor Computing System
CN110968395B (zh) 一种在模拟器中处理渲染指令的方法及移动终端
CN108269222A (zh) 一种窗口渲染方法及终端
CN113613043A (zh) 屏幕显示和图像处理方法以及嵌入式设备和云服务器
US20170371614A1 (en) Method, apparatus, and storage medium
JP7376830B2 (ja) リソース推定装置、リソース推定方法、および、リソース推定プログラム
US8203567B2 (en) Graphics processing method and apparatus implementing window system
CN112930556B (zh) 集成用于可视化大数据集的第三方几何结构的系统和方法
KR20220147381A (ko) 분산 렌더링 기반의 클라우드 vr 장치
CN113655977B (zh) 一种素材展示方法、装置、电子设备及存储介质
CN117014590A (zh) 图像处理方法、装置、终端和存储介质
CN109951737A (zh) 视频处理方法、装置、电子设备和计算机可读存储介质
KR102733513B1 (ko) 3차원 객체 전송 방법 및 장치
CN113836455A (zh) 特效渲染方法、装置、设备、存储介质及计算机程序产品
CN113766318A (zh) 视频生成方法、装置、存储介质及计算机设备
US20240231885A1 (en) Method and system for optimizing live migration of a virtual machine from a source server to a destination server
CN120510022B (zh) 显存管理方法、装置、存储介质和程序产品
CN116402674B (zh) Gpu的命令处理方法、装置、电子设备和存储介质
KR102461478B1 (ko) 이미지 내의 객체 떨림 감소를 위한 클라우드 vr 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231009

R150 Certificate of patent or registration of utility model

Ref document number: 7376830

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350