JP7376830B2 - リソース推定装置、リソース推定方法、および、リソース推定プログラム - Google Patents
リソース推定装置、リソース推定方法、および、リソース推定プログラム Download PDFInfo
- Publication number
- JP7376830B2 JP7376830B2 JP2022503053A JP2022503053A JP7376830B2 JP 7376830 B2 JP7376830 B2 JP 7376830B2 JP 2022503053 A JP2022503053 A JP 2022503053A JP 2022503053 A JP2022503053 A JP 2022503053A JP 7376830 B2 JP7376830 B2 JP 7376830B2
- Authority
- JP
- Japan
- Prior art keywords
- resource
- value
- virtual terminal
- image
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—Three-dimensional [3D] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—Three-dimensional [3D] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
VR視聴者は、手持ちのPCを用いて、VRアプリケーションプログラム(又は、VRアプリケーションプログラムのソースコード)、ドローコール数、プリミティブ数等をVRレンダリングサーバ200へ送信するとともに、VR画像の解像度、フレームレート等を指定する。
VRレンダリングサーバ200は、VR視聴者からの上記諸データをもとに、上記VRアプリケーションプログラムに対応する仮想端末(VRレンダリング部210)でVR画像をレンダリングするために必要なマシンリソースを算出(推定)する。その後、VRレンダリングサーバ200は、推定したマシンリソースを当該仮想端末に割り当て可能か否かを判定し、VRサービスの提供可否及びVRサービス提供可能であれば利用料金を回答する。
VR視聴者からVRサービスの利用に合意が得られた後、VRレンダリングサーバ200は、上記仮想端末を構築するとともに、推定したマシンリソースを当該仮想端末に割り当て、当該仮想端末への通信を可能にするためにネットワーク構築(例えば、新規構築した仮想端末向けた通信方路の新設、試験、確定等)を行い、VRサービスの提供準備が完了したことをVR視聴者へ通知する。その後、VRレンダリングサーバ200は、VR端末100との間で接続待ち状態として待機する。
VR端末100は、VRレンダリングサーバ200の仮想端末に接続し、VR視聴者の動作を検知してVR視聴者の向きや動作の変位を示す変位情報を当該仮想端末へ送信する。
VRレンダリングサーバ200の仮想端末は、当該変位情報に対応するVR画像をレンダリングし、レンダリングしたVR画像をVR端末100へ配信する。
リソース推定部230が、メモリ又はストレージからリソース関係情報を抽出する。リソース関係情報には、各VR画像出力方式に応じて、VRアプリケーションプログラムが描画するオブジェクトの3Dデータの特性値と、当該特性値で仮想端末を動作させるために必要なマシンリソース値と、の変化の関係を示す情報が設定されている。
関係補正部240は、NW遅延計測部220から、VR端末100との間を接続している通信ネットワークの遅延時間を取得し、取得した遅延時間が、上記リソース関係情報を補正すべきに値する有意な遅延時間であるか否かを判定する。例えば、超遅延性が要求されるMTP遅延の遅延時間を考慮して所定の許容時間を予め設定しておき、取得した遅延時間が当該許容時間を超えるか否かを判定する。有意な遅延時間である場合、ステップS203へ進む。有意な時間でない場合、ステップS203をスキップしてステップS204へ進む。
関係補正部240は、有意なネットワーク遅延が存在する場合、3Dデータの特性値とマシンリソース値との関係を補正する。ステップS201で説明した用いた例において、出力するVR映像のフレームレートをf[fps]とし、VR端末100と仮想端末との間にtn[ミリ秒]のネットワーク遅延が存在する状況を想定する。
リソース推定部230は、ステップS201で抽出したリソース関係情報、又は、ステップS203で補正されたリソース関係情報を用いて、VR視聴者により入力されたVR画像出力方式及び3Dデータの特性値(ドローコール数、プリミティブ数)に対応するマシンリソース値(CPUクロック数、GPU使用率)を算出する。例えば、リソース推定部230は、リソースの関係より、動作させるVRアプリケーションのドローコール数に対応するCPUクロック数を算出し、動作させるVRアプリケーションのプリミティブ数に対応するGPU使用率を算出する。
リソース推定部230は、算出したマシンリソース値を仮想端末に割り当て可能か否かを判定する。割り当て可能である場合、ステップS206へ進む。割り当て不可能である場合、ステップS207へ進む。
リソース推定部230は、算出したマシンリソース値を仮想端末に割り当て可能である場合、算出したマシンリソース値を仮想端末に割り当てる。例えば、リソース推定部230は、算出したCPUクロック数がVRレンダリングサーバ200に搭載されたものよりも小さい場合には、「動作可能」として仮想端末に割り当てを行う。リソース推定部230は、算出したGPU使用率が100%未満の場合(例えば、算出したGPU使用率がGPU未使用率の範囲内に収まる場合)には、「動作可能」として仮想端末に割り当てを行う。その後、処理を終了する。
リソース推定部230は、算出したマシンリソース値を仮想端末に割り当て不可能である場合、VRアプリケーションプログラムの動作不可をVR視聴者へ回答する。例えば、リソース推定部230は、算出したCPUクロック数がVRレンダリングサーバ200に搭載されたものよりも大きい場合には、「動作不可」とする。リソース推定部230は、算出したGPU使用率が100%を超える場合(例えば、算出したGPU使用率を現在使用中のGPU使用率に加算した使用率が100%を超える場合)には、「動作不可」とする。その後、処理を終了する。
100:VR端末
110:VR画像表示部
120:変位情報取得部
130:通信インタフェース部
200:VRレンダリングサーバ
210:VRレンダリング部
220:NW遅延計測部
230:リソース推定部
231:関係抽出部
240:関係補正部
250:通信インタフェース部
300:制御サーバ
310:仮想端末管理部
320:通信インタフェース部
901:CPU
902:メモリ
903:ストレージ
904:通信装置
905:入力装置
906:出力装置
Claims (6)
- 通信ネットワーク網の網端に設置され、VR画像のレンダリングを行う仮想端末に必要なリソースを推定するリソース推定装置において、
VR画像を出力するVR画像出力方式毎に設定されたリソース関係情報であり、VRアプリケーションプログラムが描画するオブジェクトの3Dデータの特性値と、前記特性値で前記仮想端末を動作させるために必要なリソース値と、の変化の関係を示す前記リソース関係情報を用いて、入力されたVR画像出力方式及び3Dデータの特性値に対応するリソース値を算出し、算出したリソース値を前記仮想端末に必要なリソースとして算出する推定部と、
前記リソース推定装置とVR端末との間の通信ネットワークに所定の遅延時間がある場合、前記遅延時間に応じて前記リソース関係情報に含まれる前記リソース値を変更する補正部と、
を備えるリソース推定装置。 - 前記特性値は、
ドローコール数又はプリミティブ数である請求項1に記載のリソース推定装置。 - 前記リソース値は、
CPUクロック数又はGPU使用率である請求項1又は2に記載のリソース推定装置。 - 前記VR画像出力方式は、
解像度又はフレームレートに関する方式である請求項1乃至3のいずれかに記載のリソース推定装置。 - 通信ネットワーク網の網端に設置されたリソース推定装置で行う、VR画像のレンダリングを行う仮想端末に必要なリソースを推定するリソース推定方法において、
VR画像を出力するVR画像出力方式毎に設定されたリソース関係情報であり、VRアプリケーションプログラムが描画するオブジェクトの3Dデータの特性値と、前記特性値で前記仮想端末を動作させるために必要なリソース値と、の変化の関係を示す前記リソース関係情報を用いて、入力されたVR画像出力方式及び3Dデータの特性値に対応するリソース値を算出し、算出したリソース値を前記仮想端末に必要なリソースとして算出するステップと、
前記リソース推定装置とVR端末との間の通信ネットワークに所定の遅延時間がある場合、前記遅延時間に応じて前記リソース関係情報に含まれる前記リソース値を変更するステップと、
を行うリソース推定方法。 - 請求項1乃至4のいずれかに記載のリソース推定装置としてコンピュータを機能させるリソース推定プログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/008515 WO2021171615A1 (ja) | 2020-02-28 | 2020-02-28 | リソース推定装置、リソース推定方法、および、リソース推定プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2021171615A1 JPWO2021171615A1 (ja) | 2021-09-02 |
| JP7376830B2 true JP7376830B2 (ja) | 2023-11-09 |
Family
ID=77490858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022503053A Active JP7376830B2 (ja) | 2020-02-28 | 2020-02-28 | リソース推定装置、リソース推定方法、および、リソース推定プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US12039655B2 (ja) |
| JP (1) | JP7376830B2 (ja) |
| WO (1) | WO2021171615A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014504409A (ja) | 2010-12-15 | 2014-02-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ネットワーク対応アプリケーションのためのハードウェア・アクセラレーテッド・グラフィックス |
| WO2015151129A1 (ja) | 2014-03-31 | 2015-10-08 | 株式会社スクウェア・エニックス | 情報処理装置、描画システム、制御方法及びプログラム |
| WO2020022018A1 (ja) | 2018-07-23 | 2020-01-30 | 日本電信電話株式会社 | リソース割当装置、リソース管理システム、および、リソース割当プログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8933967B2 (en) * | 2005-07-14 | 2015-01-13 | Charles D. Huston | System and method for creating and sharing an event using a social network |
| KR101977726B1 (ko) * | 2015-11-17 | 2019-05-14 | 한국전자통신연구원 | 가상 데스크탑 서비스 방법 및 장치 |
| US10229540B2 (en) * | 2015-12-22 | 2019-03-12 | Google Llc | Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image |
| US9940898B2 (en) * | 2016-02-25 | 2018-04-10 | Nvidia Corporation | Variable refresh rate video capture and playback |
| CN108810554B (zh) * | 2018-06-15 | 2021-06-22 | 腾讯科技(深圳)有限公司 | 虚拟场景的场景图像传输方法、计算机设备及存储介质 |
| US10628910B2 (en) * | 2018-09-24 | 2020-04-21 | Intel Corporation | Vertex shader with primitive replication |
| KR20190104945A (ko) * | 2019-08-23 | 2019-09-11 | 엘지전자 주식회사 | Xr 디바이스 및 그 제어 방법 |
| JP2021100222A (ja) * | 2019-12-23 | 2021-07-01 | ソニーグループ株式会社 | 端末装置、アプリケーションサーバ、受信方法及び送信方法 |
-
2020
- 2020-02-28 JP JP2022503053A patent/JP7376830B2/ja active Active
- 2020-02-28 US US17/802,394 patent/US12039655B2/en active Active
- 2020-02-28 WO PCT/JP2020/008515 patent/WO2021171615A1/ja not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014504409A (ja) | 2010-12-15 | 2014-02-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ネットワーク対応アプリケーションのためのハードウェア・アクセラレーテッド・グラフィックス |
| WO2015151129A1 (ja) | 2014-03-31 | 2015-10-08 | 株式会社スクウェア・エニックス | 情報処理装置、描画システム、制御方法及びプログラム |
| WO2020022018A1 (ja) | 2018-07-23 | 2020-01-30 | 日本電信電話株式会社 | リソース割当装置、リソース管理システム、および、リソース割当プログラム |
Non-Patent Citations (2)
| Title |
|---|
| 岩澤宏紀 ほか,エッジコンピューティング環境におけるリアルタイムVR映像転送向けフレームキュー制御の検討,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2019年02月25日,第118巻, 第465号,pp.15-20,ISSN 2432-6380 |
| 本間文,ロードマップチェック,日経WinPC,日本,日経BP社,2012年06月29日,第18巻, 第11号,pp.130-131,ISSN 1341-1497 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021171615A1 (ja) | 2021-09-02 |
| US20230169712A1 (en) | 2023-06-01 |
| US12039655B2 (en) | 2024-07-16 |
| JPWO2021171615A1 (ja) | 2021-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10042469B2 (en) | Methods and apparatus for reducing perceived pen-to-ink latency on touchpad devices | |
| JP4810548B2 (ja) | サーバ装置、更新画像検出方法およびプログラム | |
| RU2445705C2 (ru) | Способ подготовки отображения данных в серверах (варианты) и машиночитаемый носитель | |
| EP3203748B1 (en) | Cloud streaming service system, cloud streaming service method using optimal gpu, and apparatus for same | |
| US20150133214A1 (en) | Video encoding based on areas of interest | |
| US9176710B2 (en) | Dynamically selecting service provider, computing system, computer, and program | |
| US20120147015A1 (en) | Graphics Processing in a Multi-Processor Computing System | |
| CN110968395B (zh) | 一种在模拟器中处理渲染指令的方法及移动终端 | |
| CN108269222A (zh) | 一种窗口渲染方法及终端 | |
| CN113613043A (zh) | 屏幕显示和图像处理方法以及嵌入式设备和云服务器 | |
| US20170371614A1 (en) | Method, apparatus, and storage medium | |
| JP7376830B2 (ja) | リソース推定装置、リソース推定方法、および、リソース推定プログラム | |
| US8203567B2 (en) | Graphics processing method and apparatus implementing window system | |
| CN112930556B (zh) | 集成用于可视化大数据集的第三方几何结构的系统和方法 | |
| KR20220147381A (ko) | 분산 렌더링 기반의 클라우드 vr 장치 | |
| CN113655977B (zh) | 一种素材展示方法、装置、电子设备及存储介质 | |
| CN117014590A (zh) | 图像处理方法、装置、终端和存储介质 | |
| CN109951737A (zh) | 视频处理方法、装置、电子设备和计算机可读存储介质 | |
| KR102733513B1 (ko) | 3차원 객체 전송 방법 및 장치 | |
| CN113836455A (zh) | 特效渲染方法、装置、设备、存储介质及计算机程序产品 | |
| CN113766318A (zh) | 视频生成方法、装置、存储介质及计算机设备 | |
| US20240231885A1 (en) | Method and system for optimizing live migration of a virtual machine from a source server to a destination server | |
| CN120510022B (zh) | 显存管理方法、装置、存储介质和程序产品 | |
| CN116402674B (zh) | Gpu的命令处理方法、装置、电子设备和存储介质 | |
| KR102461478B1 (ko) | 이미지 내의 객체 떨림 감소를 위한 클라우드 vr 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231009 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7376830 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |