JP6808419B2 - 画像処理システム及びその制御方法 - Google Patents

Description

本発明は、画像処理システム及びその制御方法に関するものである。

現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）を提示する技術が知られている。このＭＲ技術を利用したシステムを実現する方法の一つとして、ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：以下、単にＨＭＤ）を利用するものがある。このＭＲシステムでは、ＨＭＤ使用者の視界領域（現実空間）をカメラで撮像し、その撮像映像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を合成した映像をＨＭＤの表示装置に表示する。特許文献１では、ＨＭＤは視界領域及び位置姿勢を検出するための映像を出力するためのカメラを持ち、ＣＧ処理装置から返送されたＣＧ映像を表示する構成を開示している。特許文献１では、ＨＭＤ（デバイス）の視線、周囲情報をＣＧ処理装置（ホスト）へ送信し、ＣＧ処理装置でそれらを基に生成したＣＧ映像を描画後に符号化してＨＭＤに送信する。ＨＭＤは、受信した符号化映像を復号し、視線映像と重ね合わせる方式が提案されている。

特開２０１６−４５８１４号公報

特許文献１に依れば、ＣＧ処理装置はＣＧ描画した映像をＨＭＤに送信する。従って、映像の高精細化に伴ってＣＧ処理装置がＨＭＤへ送信する映像の伝送量が増大してしまう、と言う課題がある。

この課題を解決するため、例えば本発明の画像処理システムは以下の構成を備える。すなわち、
ユーザに画像を表示する表示部を有するＣＧ（コンピュータグラフィクス）を表示するための表示デバイスと、前記表示部にＣＧを表示するための情報を転送する情報処理装置とを含む、画像処理システムであって、
前記表示デバイスは、
物理空間を撮像する撮像部と、
前記表示デバイスの位置姿勢を検出する位置姿勢検出センサと、
前記情報処理装置と通信するための第１の通信インタフェースと、
第１の複数の処理を実行するため、第１の命令を実行する制御部とを有し、前記第１の複数の処理には、
前記第１の通信インタフェースを介して前記情報処理装置に、前記位置姿勢検出センサで検出された位置姿勢に関する位置姿勢情報と、前記撮像部で撮像されたフレームを特定する情報を転送する第１の転送処理、
前記情報処理装置からＣＧコマンドを受信する第１の受信処理、
前記第１の受信処理により受信したＣＧコマンドに基づきＣＧを描画する描画処理、
前記描画処理で描画されたＣＧの特定情報と合成対象画像の特定情報とが一致する場合、前記物理空間の撮像画像上に前記ＣＧを合成する合成処理と、
前記描画処理によって描画されたＣＧと、前記合成処理で合成された画像とを表示するよう、前記表示部を制御する表示制御処理が含まれ、
前記情報処理装置は、
前記表示デバイスと通信するための第２の通信インタフェースと、
第２の複数の処理を実行するため、第２の命令を実行する少なくとも１つのプロセッサ又は回路とを有し、前記第２の複数の処理には、
前記表示デバイスから、前記位置姿勢情報及び前記特定情報とを受信する第２の受信処理と、
前記表示デバイスから受信した前記位置姿勢情報と前記特定情報とに基づいてＣＧコマンドを生成するＣＧコマンド生成処理と、
前記生成されたＣＧコマンドを前記第２の通信インタフェースを介して前記表示デバイスに転送する第２の転送処理が含まれることを特徴とする。

本発明によれば、複合現実感提示システムを構成するデバイス及び情報処理装置間の通信帯域が圧迫されるのを抑制できる。

第１実施形態におけるＨＭＤシステムを示す図。 第１実施形態におけるＨＭＤの構成を示す図。 第１実施形態におけるＣＧコマンド生成装置の構成を示す図。 第１実施形態におけるＨＭＤの処理シーケンスを示す図である。 第１実施形態におけるＣＧコマンド生成装置の処理シーケンスを示す図。 第１実施形態におけるＨＭＤの処理フローを示す図。 第１実施形態におけるＣＧコマンド生成装置の処理フローを示す図。 第２実施形態におけるＨＭＤの構成を示す図である。 第２実施形態におけるＨＭＤの処理シーケンスを示す図。 第２実施形態におけるＣＧコマンド生成装置の処理シーケンスを示す図。 第２実施形態におけるＨＭＤの処理フローを示す図。 第２実施形態におけるＣＧコマンド生成装置の処理フローを示す図。

以下、添付図面を参照して本発明に係る実施形態を詳細に説明する。なお、以下に説明する実施形態の構成要素はあくまでも例示であり、本発明がそれらによって限定されるものではない。

［第１実施形態］
図１は本実施形態における複合現実感提示システムを示す。複合現実感提示システムはヘッドマウントディスプレイ（以下、ＨＭＤ）２０、ＣＧコマンド生成装置３０、及び、両者間のデータ送受信するための通信路１０から構成される。通信路１０は有線、無線を問わない。有線の場合には、例えばＩＥＥＥ８０２．３規格、Ｅｔｈｅｒｎｅｔ（ＴＭ）、Ｉｎｆｉｎｉｂａｎｄ（ＴＭ）などの高速伝送規格を用いても良い。通信路１０が無線の場合には、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃ／ａｄ／ａｘ規格を用いることができるのは勿論のこと、ＩＥＥＥ８０２．１５．３ｃ、Ｂｌｕｅｅｔｏｏｔｈ（ＴＭ）など類似した規格を用いても良い。ＨＭＤ２０は、それに搭載されたカメラで撮像して得た画像と、位置姿勢センサから自身の位置姿勢を判定して通信機能を用いてＣＧコマンド生成装置３０に送信する。更に、ＨＭＤ２０は通信機能によって受信したＣＧコマンドを用いてＣＧを描画し、取得した映像とＣＧを重畳してディスプレイに表示する。

ここで、ＣＧコマンド生成装置３０が生成するＣＧコマンドとして、ＯｐｅｎＧＬ、ＯｐｅｎＧＬ ＥＳ、ＯｐｅｎＣＬ、ＤｉｒｅｃｔＸ（ＴＭ）等のＣＧコマンドを用いても良い。ＣＧコマンド生成装置３０は、通信機能によってＨＭＤ２０からした位置姿勢情報を基にしてＣＧコマンドを生成して、ＨＭＤ２０へ送信する一方、ＨＭＤ２０から受信した映像を表示する。ＣＧコマンド生成装置３０は、一般のパーソナルコンピュータに代表される情報処理装置で実現できるものである。また、実施形態で示すＨＭＤ２０は、同様の構成要素を持つスマートフォン、タブレット、ＰＣ等を用いても良い。要するに、撮像機能（ビデオシースルーの場合）、位置姿勢検出の機能、表示機能を持つデバイスであれば良い。

図２に実施形態におけるＨＭＤ２０の構成を示す。カメラ２０２は、例えば１秒当たり３０フレーム（３０ＦＰＳ）で撮像し、その撮像画像（以下、単に画像）を撮像系画像処理部２０３に供給する。撮像系画像処理部２０３は、入力した画像に対して予め設定された画像処理を施す。ここで言う画像処理とは、ゲイン補正、画素欠陥補正、自動露光補正、歪曲収差補正等である。また撮像系画像処理部２０３は、画像処理後の画像を出力する際、その画像に、その画像の特定するための特定情報（以下、参照ビデオフレーム情報Ｍ）を付加する。この参照ビデオフレーム情報Ｍを付加する理由は、ＣＧコマンド生成装置３０により生成されたＣＧが、時間的にずれた撮像画像と合成しないようにするためである。例えば、ＣＧコマンド生成装置３０が、或るフレームｉ用のＣＧコマンドを生成したとする。この場合、ＨＭＤ２０は、そのＣＧコマンドより生成したＣＧを、１つ前のフレームｉ−１の画像と合成するのではなく、フレームｉの画像と合成させなければならない。参照ビデオフレーム情報Ｍを利用するのは、特にＨＭＤ２０とＣＧコマンド生成装置３０との間が無線通信を行う場合に有効である。無線通信の場合、通信障害が発生する可能性が高いためである。なお、通信障害による画像のずれを１秒間で復帰するようにするのであれば、撮像系画像処理部２０３は、１フレームの撮像画像を受信するたびに、０〜３０（実施形態ではカメラ２０２が３０ＦＰＳで撮像するため）の範囲で、カウントアップするカウンタを有すればよい（５ビットカウンタで良い）。

図２の説明に戻る。制御情報生成部２０４は、撮像系画像処理部２０３から出力された画像とセンサ２０１から出力されるセンサ情報に従って、ＨＭＤ２０の３次元空間における位置姿勢情報する。この位置姿勢情報は、ＨＭＤ２０の３次元空間における座標、ＨＭＤ２０（カメラ２０２）の視線方向、視線方向の軸に対するＨＭＤ２０の回転角等が含まれる。センサ情報は例えばジャイロスコープを使ってＨＭＤの方向や加速度などの情報でもよい。そして、制御情報生成部２０４は、制御情報生成部２０４より受信した参照ビデオフレーム情報Ｍと、位置姿勢情報とを通信インターフェイス２００に出力する。通信インターフェイス２００は、制御情報生成部２０４より受信した参照ビデオフレーム情報Ｍと位置姿勢情報を、ＨＭＤ２０の制御情報として、ＣＧコマンド生成装置３０に送信する。

ＣＧ描画部２０６は、通信インターフェイス２００を介して、ＣＧコマンド生成装置３０から、参照ビデオフレーム情報Ｍを含むＣＧコマンドを取得する。そして、ＣＧ描画部２０６は、取得したＣＧコマンドに従ってＣＧ（仮想オブジェクト）を描画する。そして、ＣＧ描画部２０６は、参照ビデオフレーム情報Ｍと描画したＣＧとを画像合成部２０５に供給する。

画像合成部２０５は、撮像系画像処理部２０３からの合成対象の画像及び参照ビデオフレーム情報Ｍを受信すると共に、ＣＧ描画部２０６からＣＧ及びその参照ビデオフレーム情報Ｍを受信する。そして、両者のビデオフレーム情報Ｍが一致した場合には、撮像系画像処理部２０３から画像に、ＣＧ描画部２０６からのＣＧを合成し、合成後の画像を画像加工処理部２０８へ出力する。画像合成部２０５は、撮像系画像処理部２０３からの参照ビデオフレーム情報Ｍと、ＣＧ描画部２０６からの参照ビデオフレーム情報Ｍとが不一致であった場合、一致する参照ビデオフレーム情報Ｍを持つＣＧを受信するまで待つ。ただし、ディスプレイ２２０にはフレームレート３０ＦＰＳで画像を表示しなければならない。そこで、画像合成部２０５が待つ時間は、撮像系画像処理部２０３からの着目画像の表示タイミングの所定時間前までとする。このタイミングになっても、着目画像に一致する参照ビデオフレーム情報Ｍを持つＣＧを受信しない場合には、画像合成部２０５は合成処理をスキップし、撮像系画像処理部２０３から画像をそのまま画像加工処理部２０８に出力する。なお、前回表示したＣＧ合成の画像を表示するようにしても良い。この場合、ＨＭＤのユーザは、同じ画像が表示されるので、映像が止まって見えることとなるが、ＣＧは表示される。また、いずれを採用するかを、ユーザが予め選択するようにしても良い。

視線検出部２０７はＨＭＤ２０を利用しているユーザの瞳の位置を検出し、ユーザがディスプレイ２１０上でどの位置を見ているかという視線情報を座標データとして画像加工処理部２０８に供給する。視線検出部２０７による視線検出の時間間隔は、カメラ２０２のフレームレートのフレーム間隔と同じか、それより短いものとする。

画像加工処理部２０８は、ユーザの最新の視線の座標データを元に、画像合成部２０５からの画像（撮像画像とＣＧとの合成画像）における加工する領域を決定し、画像の加工処理を行う。具体的には、画像合成部２０５からの画像において、ユーザの視線方向を中心とする所定範囲内は無加工とし、その範囲外についてぼかす等の加工処理を行う。視覚は、その視線方向から外れるほど鈍感になるからである。また、ぼかし処理は例えばフィルタ処理で実現できる。代表的なものとしては、平滑化フィルタを適用すればよい。ぼかすことによって、隣接する画素の差が小さくなり、高い符号化効率が期待できるからである。なお、符号化効率を上げるために、ぼかす処理の代わりに間引き処理等を行って画素数を減らすようにしても構わない。

表示系画像処理部２１１は、ディスプレイ２２０を制御する表示制御部として機能するものであり、画像加工処理部２０８による加工後の画像をディスプレイ２２０に合わせた画像処理、例えばγ補正等を行った後、ディスプレイ２２０に出力する。この結果、ユーザは映像として見ることができる。映像形式変換部２１２は、画像加工処理部２０８からの加工後の画像を映像符号器２１３の入力形式に変換する。映像符号器２１３は、映像形式変換部２１２が出力した映像を圧縮し、通信インターフェイス２００へ出力する。ここで、映像圧縮方式は、Ｈ．２６４、Ｈ．２６５（ＨＥＶＣ）規格等を用いても良いし、可逆圧縮方式を用いても良い。通信インターフェイス２００は、圧縮した符号化データを、ＣＧコマンド生成装置３０に向けて送信する。

以上が、実施形態におけるＨＭＤ２０の構成と各部の処理内容である。次に、実施形態におけるＣＧコマンド生成装置３０の構成と各部の処理内容を、図３を参照して説明する。

図３において、制御部３５０は装置全体の制御を司るものであり、プログラムを格納したＲＯＭ、それを実行するＣＰＵ、ワークエリアとして使用するＲＡＭ等で構成される。ＣＧコマンド生成部３１０は、通信インターフェイス３００を介して位置姿勢情報及び参照ビデオフレーム情報Ｍを取得する。そして、ＣＧコマンド生成部３１０は、取得した位置姿勢情報に基づき、不図示のＣＧ用データベースを参照して、ＨＭＤ２０のカメラ２０２の視野内に見えることになるＣＧオブジェクトを描画するためのＣＧコマンドを生成する。そして、ＣＧコマンド生成部３１０は、生成したＣＧコマンドを、受信した参照ビデオフレーム情報Ｍと共に、通信インターフェイス３００を介して、ＨＭＤ２０に送信する。

復号器３２１は通信インターフェイス３００を介して取得した圧縮映像データを復号し、復号して得た画像を映像形式変換部３２２へ供給する。映像形式変換部３２２は、供給された画像を、ディスプレイ３２４に適した映像フォーマット変換を行う。例えば、ＢａｙｅｒからＲＧＢへの変換、またはその逆変換等を行っても良い。表示系画像処理部３２３は、映像形式変換部３２２から出力された映像をディスプレイ３２４の特性に合った補正、例えばγ補正等を行った上で映像をディスプレイ３２４へ出力する。

以上が、実施形態におけるＣＧコマンド生成装置３０の構成と各部の処理内容である。なお、上記において通信インターフェイス３００、ディスプレイ３２４を除く各処理部は、制御部３５０によるプログラムを実行することで実現しても構わない。

次に、実施形態におけるＨＭＤ（２０）の処理シーケンスを、図４を参照して説明する。なお、同図はカメラ２０２による１フレームの画像の撮像処理に関するシーケンスを示している。実施形態におけるカメラ２０２は３０ＦＰＳとしているので、同図は１／３０秒という期間の処理シーケンスということができる。

Ｓ４０１において、センサ２０１からのセンサ情報が制御情報生成部２０４へと供給される。Ｓ４０２にて、カメラ２０２は撮像して得た画像を撮像系画像処理部２０３に供給し、ここで画像処理が実行される。Ｓ４０３において撮像系画像処理部２０３は、参照ビデオフレーム情報Ｍと画像処理後の画像とを制御情報生成部２０４へ供給する。Ｓ４０５において制御情報生成部２０４が、参照ビデオフレーム情報Ｍと位置姿勢情報とを含むＨＭＤ２０の制御情報として、通信部２００を介して、ＣＧコマンド生成装置３０に送信させる。制御情報生成部２０４が、撮像画像やセンサ情報を受信してから、ＨＭＤ２０の制御情報の送信処理までに要する時間が期間Ｔ_CMDである。

Ｓ４０４において、撮像系画像処理部２０３は画像合成部２０５へ参照ビデオフレーム情報と撮像した画像を出力する。画像合成部（２０５）は、重畳するＣＧが描画されるのを待つため、所定の期間、受信した参照ビデオフレーム情報と撮像した画像をバッファリングする。その期間がＴ_frameである。

Ｓ４０６にて、ＣＧ描画部２０６は、通信インターフェイス２００を介して、参照ビデオフレーム情報ＭとＣＧコマンドとを取得する。この時、通信インターフェイス２００が位置姿勢情報を送信してからＣＧコマンドを受信するまでの期間がＴ_CGCである。Ｓ４０７においてＣＧ描画部２０６は、受信したＣＧコマンドを基にＣＧ映像を描画して画像合成部２０５へ供給する。ここでＣＧ描画の処理遅延がＴ_CGRである。

ここまでで、Ｓ４０３とＳ４０４の出力がほぼ同時刻であるとすると、映像を保持する時間Ｔ_frameは、Ｔ_frame≧Ｔ_CMD + Ｔ_CGC + Ｔ_CGRである。

Ｓ４０８において、視線検出部２０７は、検出した視線の座標情報を画像加工処理部２０８へ出力する。この時、Ｓ４０３において眼の映像を取得してから視線を座標データとて取得するまでの時間はＴ_gazeである。画像加工処理部２０８は、Ｔgaze≦Ｔ_CMD + Ｔ_CGC + Ｔ_CGRを満たす場合には、映像をバッファリングせず、そうで無い場合は視線の座標データが出力されるまでの時間映像をバッファリングする。その期間はＴ_IMGである。Ｓ４０９において、画像合成部２０５はバッファリングされた画像にＣＧ映像を重畳し、その重畳映像を画像加工処理部２０８へ出力する。この重畳処理は、説明したように、バッファリングした画像の参照ビデオフレーム情報と、ＣＧの参照ビデオフレーム情報とが一致した場合に行う。一致する参照ビデオフレーム情報を持つＣＧが生成されずに、所定時間経過してしまった場合、ＣＧの重畳処理は行わず、撮像画像を画像加工処理部２０８に供給する。

Ｓ４１０において、画像加工処理部２０８は、視線の位置座標を基に加工した画像を表示系画像処理部２１１へ出力する。Ｓ４１１において、表示系画像処理部２１１はディスプレイ２１０に適するように補正した画像をディスプレイ２１０へ出力する。Ｓ４１２において、画像加工処理部２０８は視線の位置座標を基に加工した映像を映像形式変換部２１２へ出力する。Ｓ４１３において、映像形式変換部２１２は映像符号器２１３に適するように変換した映像を映像符号器２１３へ出力する。Ｓ４１４において、映像符号器２１３は圧縮した映像データを通信インターフェイス２００へ出力し、圧縮符号化データをＣＧコマンド生成装置３０に送信させる。

次に、実施形態におけるＣＧコマンド生成装置３０の処理シーケンスを図５に従って説明する。

Ｓ５１１において、ＣＧコマンド生成部３１０は、通信インターフェイス３００を介して、ＨＭＤの制御情報を受信する。Ｓ５１２において、ＣＧコマンド生成部３１０は、受信した制御情報における位置生成情報に基づき、不図示の実空間に対するＣＧオブジェクトのデータベースを参照して、ＨＭＤ２０のカメラ２０２の視野内に見えるＣＧコマンドを生成する。そして、ＣＧコマンド生成部３１０は、生成したＣＧコマンドと、制御情報に含まれていた参照ビデオフレーム情報を、通信インターフェイス３００を介して、ＨＭＤ２０に向けて送信する。ＣＧコマンド生成部３１０が、制御情報を受信してから、ＣＧコマンドを送信するまでの期間がＴ_CGCとなる。

Ｓ５２１において、復号器３２１が、通信インターフェイス３００を介して圧縮映像データを受信し、復号する。復号器３２１は、Ｓ５２２において、復号した画像を映像形式変換部３２２へ出力する。Ｓ５２３において、映像形式変換部３２２は変換した映像を表示系画像処理部３２３へ出力する。Ｓ５２４において、表示系画像処理部３２３はディスプレイ３２４の表示に適した補正を行って映像をディスプレイ３２４へ出力する。

図６（ａ）乃至（ｃ）は本実施形態におけるＨＭＤ２０の処理フローを示す図である。同図（ａ）が、ＨＭＤ２０の制御情報の送信処理、同図（ｂ）がＨＭＤ２０の画像の送信処理、同図（ｃ）がＣＧコマンドの受信処理にそれぞれ対応する。

まず図６（ａ）に従って説明する。Ｓ６００において、カメラ２０２が撮像映像を取得して撮像系画像処理部２０１へ撮像した画像を共有する。Ｓ６０１において、撮像系画像処理部２０３は、制御情報生成部２０４が処理する事の出来る映像形式に入力した画像を補正すると共に、画像合成部２０５が画像と重畳するＣＧ描画と同様の映像形式になるようにその画像を補正する。Ｓ６０２において、画像合成部２０５は入力された画像を一次保存する。Ｓ６０３において、制御情報生成部２０４は、撮像映像及びセンサ２０１からのセンサ情報を基に、ＨＭＤ２０の制御情報を生成し、Ｓ６０４において通信インターフェイス２００を介して、ＣＧコマンド生成装置３０に送信する。

次に、同図（ｃ）に従って、ＣＧコマンドの受信時の処理を説明する。Ｓ６２０において、通信インターフェイス２００を介してＣＧコマンドが受信されるのを待つ。ＣＧコマンドが受信された場合、Ｓ６２１において、ＣＧ描画部２０６はそのＣＧコマンドを実行することでＣＧ映像を生成する。そして、Ｓ６２２にて、画像合成部２０６が、一時保存された撮像した画像に、ＣＧを重畳（合成）し、重畳画像（合成画像）を生成する。

Ｓ６２３において、画像加工処理部２０８は視線検出部２０７から視線情報を取得するのを待つ。視線情報が取得できたら、Ｓ６２４において、その視線情報に基づいて重畳画像を加工する。Ｓ６２５にて、表示系画像処理部２１１は加工後の画像をディスプレイ２２０の表示に適するように補正し、Ｓ６２６において、ディスプレイ２２０に補正後の画像を表示する。

次に、図６（ｂ）に従い、画像の送信にいたす処理を説明する。Ｓ６１０において、映像加工処理部２０８からの重畳画像を待つ。重畳画像を受信すると、Ｓ６１１において、映像形式変換部２１２は符号器の入力形式に適合するように重畳画像を変換する。そして、Ｓ６１２において、符号器２１３は入力された重畳画像を圧縮し、Ｓ６１３において、通信インターフェイス２００を介して圧縮画像データとしてＣＧコマンド生成装置３０に向けて送信する。

図７（ａ），（ｂ）は本実施形態におけるＣＧコマンド生成装置３０の処理フローを示す図である。同図（ａ）は、ＣＧコマンド送信系の処理であり、同図（ｂ）が画像受信系の処理である。まず、図７（ａ）のフローチャートから説明する。

Ｓ７００において、制御部３５０は、通信インターフェイス３００を介してＨＭＤ２０の制御情報（参照ビデオフレーム情報Ｍと位置姿勢情報）を取得（受信）するのを待つ。制御情報を取得したと判定された場合、制御部３５０は、その制御情報をＣＧコマンド生成部３１０に供給する。ＣＧコマンド生成部３１０は、制御情報に含まれるＨＭＤ２０の位置姿勢情報に基づき、ＨＭＤ２０のカメラ２０２の視野内に見えることになるＣＧオブジェクトを描画するためのＣＧコマンドを生成する（Ｓ７０１）。そして、Ｓ７０２にて、制御部３５０は、通信インターフェイス３００から、ＣＧコマンド生成部３１０が生成したＣＧコマンド（参照ビデオフレーム情報Ｍを含む）を、ＨＭＤ２０に送信させる。

次に図７（ｂ）に従って、画像受信処理を説明する。

Ｓ７０１において、制御部３５０は、通信インターフェイス３００を介してＨＭＤ２０から圧縮画像データの取得するのを待つ。圧縮画像データが取得できたら、Ｓ７１１にて、制御部３５０は、圧縮画像データを復号器３２１に供給し、復号器３２１に圧縮画像データの復号処理を行わせる。次いで、Ｓ７１２にて、制御部３５０は、復号して得た画像データを映像形式変換部３２２に供給する。映像形式変換部３２２は、受信した画像データをディスプレイ３２４の入力形式に変換する。次いで、制御部３５０は、Ｓ７１３にて、表示系画像処理部３２３を制御し、ディスプレイ３２４の表示に適するように画像をガンマ補正させる。そして、Ｓ７１４にて、制御部３５０は、ディスプレイ３２４に補正後の画像データを表示させ、次のフレームの圧縮画像データに備え、Ｓ７１０に処理を戻す。

以上説明したように本実施形態によれば、ＨＭＤ２０が位置姿勢情報を取得して、ＣＧコマンド生成装置３０へ送信し、ＣＧコマンド生成装置３０はＣＧコマンドをＨＭＤに送信する。この結果、合成映像を伝送するのに比べて伝送帯域が圧迫されるのを軽減することができる。ＣＧコマンドの伝送量は、撮像映像の映像高精細化に比例することはない。それ故、ＨＭＤ２０のカメラの解像度が更に高くなっても、通信帯域が圧迫されることを抑制できる。更に、実施形態によれば、ＨＭＤ２０では、カメラ２０２が撮像した画像において、ユーザの視線方向から外れる領域では平滑化等のぼかしや間引き処理を行ってから圧縮符号化する。従って、ＨＭＤ２０から外部（実施形態ではＣＧコマンド生成装置３０）に転送する合成画像の単位時間当たりのデータ量をより低くすることができる。

なお、上記実施形態では、ＨＭＤ２０におけるＣＧ描画部２０６は、ＣＧコマンド生成装置３０から受信するＣＧコマンドを実行して、ＣＧオブジェクトを描画するものとした。描画するＣＧオブジェクトが比較的単純な形状の場合には、それを描画するＣＧコマンドのデータ量は少なくできるので問題はない。しかし、描画しようするＣＧオブジェクトの形状が複雑になればなるほど、ＣＧコマンドの量もそれに応じて膨らむ。そこで、ＨＭＤ２０のＣＧ描画部２０６には、基準方向から見た複数のＣＧオブジェクトを、オブジェクトＩＤで分類して記憶する記憶装置を接続していく。そして、ＣＧコマンド生成装置３０は、位置姿勢情報から、ＨＭＤ２０のカメラ２０２の視野内に存在することにあるオブジェクトの位置と方向を推定し、そのオブジェクトＩＤと、見える方向及び描画倍率等をＣＧコマンドとして、ＨＭＤ２０に送信する。この結果、ＣＧオブジェクトが複雑であっても、ＣＧコマンド生成装置３０からＨＭＤ２０に送信する情報量が増えることを抑制できる。

［第２の実施形態］
第２の実施形態を以下に説明する。説明を単純化するため、第１の実施形態と同じ部分についての説明は省略し、第１の実施形態に対して異なる点について説明する。

図８は第２の実施形態におけるＨＭＤ２０Ａの構成を示す図である。図２と異なる点は、視線検出部２０７は、ユーザの視線方向を示す視線情報を、画像加工処理部２０８のみならず、通信インターフェイス２００へ出力する点、通信インターフェイス２００は、視線情報を、ＣＧコマンド生成装置３０に送信する点である。なお、ＣＧコマンド生成装置３０に送信する制御情報に視線情報を含ませても構わない。

本第２の実施形態におけるＣＧ描画部２０６は、通信インターフェイス２００から取得したＣＧコマンドを実行するが、ＣＧ描画は視線の周辺を低解像度でレンダリングする。この結果、ＣＧ描画部２０６の処理負荷を軽減できる。

図９は本第２の実施形態におけるＨＭＤ２０Ａの処理シーケンスを示す図である。以下、同図に従ってＨＭＤ２０Ａの処理を説明する。

Ｓ９１０において、視線検出部２０７は検出した視線情報を通信インターフェイス２００へ出力する。この結果、通信インターフェイス２００はＣＧコマンド生成装置３０にその視線情報を送信する。この時、視線検出部２０７は、視線情報を出力するまでの時間Ｔ_gazeが、制御情報を生成するまでの時間Ｔ_CMDを下回る場合にはＳ９１０は、Ｓ４０５より前に、そうで無い場合はＳ４０５の後のタイミングとなる。

画像合成部２０５は、重畳するＣＧを描画するまでの間、映像をバッファリングする必要があり、その時間Ｔ_frameは、Ｔ_gaze≦Ｔ_CMDの時にはＴ_frame≧Ｔ_CMD + Ｔ_CGC + Ｔ_CGRである。また、Ｔ_gaze＞TCMDの時にはＴ_frame≧Ｔ_gaze + Ｔ_CGC + Ｔ_CGRである。

図１０は本第２の実施形態におけるＣＧコマンド生成装置３０の処理シーケンスを示す図である。

Ｓ１０１０において、ＣＧコマンド生成部（３１０）は、通信インターフェイス３００を介して、視線情報を取得する。そして、ＣＧコマンド生成部３１０は制御情報、視線情報の二つの情報が揃ってからＣＧコマンド生成処理を開始する。その処理遅延はＴ_CGCである。

図１１は第２の本実施形態におけるＨＭＤ２０Ａの処理フローを示す図である。Ｓ１１１００において、通信インターフェイス２００は、視線検出部２０７から視線情報を取得し、Ｓ１１１１において視線情報をＣＧコマンド生成装置３０へ送信する。

図１２は本第２の実施形態におけるＣＧコマンド生成装置３０の処理フローを示す図である。制御部３５０は、通信インターフェイス３００を介して、ＨＭＤ２０Ａから制御情報を受信すると、Ｓ１２１００において、視線情報を取得するまで待つ。取得できたならば、制御部３５０は、ＣＧコマンド生成部３１０へ視線情報を出力し、そうで無ければＳ７００のステップを再実行する。尚、Ｓ７００とＳ１２１０のステップはどちらが先に実行されても良く、論理式を統合することでステップをまとめても良い。

Ｓ７０１において、ＣＧコマンド生成部３１０は取得した制御情報内の位置姿勢情報から視線情報を用いて空間内に所望のＣＧを描画するためのコマンドを生成する。この時に生成するＣＧコマンドは、視線方向が示す位置から所定の範囲内では、通常の高い精度の描画コマンドを生成し、その範囲外では粗いＣＧコマンドを生成するものである。

本第２の実施形態に依れば、第１の実施形態での効果に加え、ＨＭＤ２０Ａが受信するＣＧコマンドに応じて視線から離れた領域は低解像度でＣＧ描画することにより、ＣＧ描画部の処理負荷を低減でき、所費電力を削減することが可能となる。

上記第１、第２の実施形態では、ＨＭＤ２０としてビデオシースルーＨＭＤとして説明したが、光学シースルーＨＭＤとしても良い。さらには、撮像機能、表示機構、並びに、位置姿勢を検出する機能を有していれば、スマートフォン等のデバイスであっても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０…通信路、２０…ＨＭＤ（ヘッドマウントディスプレイ）、３０…ＣＧコマンド生成装置、２００…通信インターフェイス、２０１…センサ、２０２…カメラ、２０３…撮像系画像処理部、２０４…制御情報生成部、２０５…画像合成部、２０６…ＣＧ描画部、２０７…視線検出部、２０８…画像加工処理部、２１１…表示系画像処理部、２１２…映像形式変換部、２１３…符号器、２２０…ディスプレイ、３００…通信インターフェイス、３１０…ＣＧコマンド生成部３１０、３２１…復号器、３２２…映像形式変換部、３２３…表示系画像処理部３２３、３２４…ディスプレイ

Claims (8)

1. ユーザに画像を表示する表示部を有するＣＧ（コンピュータグラフィクス）を表示するための表示デバイスと、前記表示部にＣＧを表示するための情報を転送する情報処理装置とを含む、画像処理システムであって、
   前記表示デバイスは、
   物理空間を撮像する撮像部と、
   前記表示デバイスの位置姿勢を検出する位置姿勢検出センサと、
   前記情報処理装置と通信するための第１の通信インタフェースと、
   第１の複数の処理を実行するため、第１の命令を実行する制御部とを有し、前記第１の複数の処理には、
   前記第１の通信インタフェースを介して前記情報処理装置に、前記位置姿勢検出センサで検出された位置姿勢に関する位置姿勢情報と、前記撮像部で撮像されたフレームを特定する情報を転送する第１の転送処理、
   前記情報処理装置からＣＧコマンドを受信する第１の受信処理、
   前記第１の受信処理により受信したＣＧコマンドに基づきＣＧを描画する描画処理、
   前記描画処理で描画されたＣＧの特定情報と合成対象画像の特定情報とが一致する場合、前記物理空間の撮像画像上に前記ＣＧを合成する合成処理と、
   前記描画処理によって描画されたＣＧと、前記合成処理で合成された画像とを表示するよう、前記表示部を制御する表示制御処理が含まれ、
   前記情報処理装置は、
   前記表示デバイスと通信するための第２の通信インタフェースと、
   第２の複数の処理を実行するため、第２の命令を実行する少なくとも１つのプロセッサ又は回路とを有し、前記第２の複数の処理には、
   前記表示デバイスから、前記位置姿勢情報及び前記特定情報とを受信する第２の受信処理と、
   前記表示デバイスから受信した前記位置姿勢情報と前記特定情報とに基づいてＣＧコマンドを生成するＣＧコマンド生成処理と、
   前記生成されたＣＧコマンドを前記第２の通信インタフェースを介して前記表示デバイスに転送する第２の転送処理が含まれる
   ことを特徴とする画像処理システム。
2. 前記撮像部は、所定のフレームレートで前記物理空間の画像を撮像し、
   前記撮像部による撮像して得た前記フレームを特定する特定情報は、当該フレームによって示される画像を特定し、
   前記第１の受信処理は、前記情報処理装置から、前記ＣＧコマンドと共に前記特定情報を受信する
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記表示デバイスは、更に、ユーザの視線方向を検出する視線検出部を有し、
   前記第１の複数の処理は、前記視線検出部により検出した視線方向に基づき、前記合成処理による合成画像を加工する加工処理を含む
   ことを特徴とする請求項１に記載の画像処理システム。
4. 前記加工処理は、前記合成画像における視線方向によって示される位置から所定の範囲を超える領域をぼかすことを特徴とする請求項３に記載の画像処理システム。
5. 前記表示制御処理は、前記加工処理で加工された画像を表示するよう前記表示部を制御することを特徴とする請求項４に記載の画像処理システム。
6. 前記第１の転送処理は、前記情報処理装置に、前記視線検出部で検出された視線方法を表す視線情報を転送し、
   前記ＣＧコマンド生成処理は、
   前記視線情報によって表される位置から所定領域内の場合では第１のＣＧコマンドを、前記所定領域外では前記第１のＣＧコマンドよりも描画が粗い第２のＣＧコマンドを生成する
   ことを特徴とする請求項３に記載の画像処理システム。
7. 前記第１の複数の処理は、前記加工処理による変更された変更後の合成画像を符号化する符号化処理を含み、
   前記第１の転送処理は、前記符号化処理によって得られた符号化データを前記情報処理装置に転送し、
   前記第２の受信処理は、前記符号化データを受信し、
   前記第２の複数の処理は、前記第２の受信処理により受信した前記符号化データを復号する復号処理を含む
   ことを特徴とする請求項３に記載の画像処理システム。
8. 物理空間を撮像する撮像部及びユーザに画像を表示する表示部とを有するＣＧ（コンピュータグラフィクス）を表示するための表示デバイスと、前記表示部にＣＧを表示するための情報を転送する情報処理装置とを含む画像表示システムの制御方法であって、
   前記表示デバイスが、当該表示デバイスに設けられたセンサを介して、前記表示デバイスの位置姿勢を検出する検出工程と、
   前記表示デバイスが、当該表示デバイスに設けられた第１の通信インタフェースを介して、検出工程で検出した前記位置姿勢に関する位置姿勢情報及び前記撮像部で撮像されたフレームを特定する特定情報とを、前記情報処理装置に転送する第１の転送工程と、
   前記表示デバイスが、前記情報処理装置からＣＧコマンドを受信する第１の受信工程と、
   前記表示デバイスが、前記第１の受信工程で受信したＣＧコマンドに基づきＣＧを描画する描画工程と、
   前記描画工程で描画されたＣＧの特定情報と合成対象画像の特定情報とが一致する場合、前記物理空間の撮像画像上に前記ＣＧを合成する合成工程と、
   前記描画工程によって描画されたＣＧと、前記合成工程で合成された画像とを表示する表示工程と、
   前記情報処理装置が、当該情報処理装置に設けられた第２の通信インタフェースを介して、前記位置姿勢情報及び前記特定情報とを受信する第２の受信工程と、
   前記情報処理装置が、前記表示デバイスから受信した前記位置姿勢情報と前記特定情報とに基づいてＣＧコマンドを生成するＣＧコマンド生成工程と、
   前記情報処理装置が、前記生成されたＣＧコマンドを前記第２の通信インタフェースを介して前記表示デバイスに転送する第２の転送工程と
   を有することを特徴とする方法。

Images