JP7797221B2 - 情報処理装置、情報処理システム、情報処理方法、及びプログラム - Google Patents

Description

本発明は、物体の反射特性情報を用いた処理を行う技術に関する。

近年、ＣＧ技術の向上に伴いモノの質感表現が可能になりつつある。質感は材質に応じた表面の凹凸や光沢等から感じる印象のことであり、被写体に照射された照明の反射から視認される。そのため、現実に近い質感表現をＣＧで行いたい場合、材質情報だけではなく照明情報も重要となる。一般的に使用されている技術として、全方位の照明情報として環境マップを使用したレンダリング手法がある。環境マップには全方位カメラや魚眼レンズで撮影した画像や映像が用いられる。特許文献１では、レンダリング時に指定する視野範囲を基に使用される環境マップ領域を求め、その領域部分のみを高解像度にする手法が開示されている。

特開２０１７－９８９２１号公報

環境マップのような全方位の照明情報は、情報量が多く、メモリ読込み、保存、通信の観点で問題となるため、情報量の削減が求められる。しかしながら、照明情報の情報量を削減するとなると、質感表現が劣化してしまうという課題がある。

本発明は上述した課題を解決するためになされたものであり、照明情報を用いた質感表現を行う場合に、質感表現の劣化を抑えつつ、照明情報の情報量を削減することを目的とする。

本発明に係る情報処理装置は、レンダリング対象の反射特性情報を取得する取得手段と、前記反射特性情報のうち鏡面反射情報に基づいて、レンダリングを行う際に用いる照明情報の解像度レベルを決定する決定手段と、を有し、前記鏡面反射情報が、鏡面反射成分の拡がりを表す鏡面反射幅をマップ形式で格納する鏡面反射幅マップであって、前記決定手段は、前記鏡面反射幅マップの全体領域に対する前記鏡面反射幅が閾値以下である領域が占める割合に基づいて、前記解像度レベルを決定することを特徴とする。

本発明によれば、照明情報を用いた質感表現を行う場合に、質感表現の劣化を抑えつつ、照明情報の情報量を削減することができる。

物体の反射特性の説明図である。 鏡面反射成分の見え方への影響の説明図である。 実施形態１に係る情報処理装置のハードウェア構成例を示す図である。 実施形態１に係る情報処理装置の機能構成例を示す図である。 実施形態１に係る情報処理装置の処理を示すフローチャートである。 鏡面反射幅情報の説明図である。 環境マップの解像度レベルの決定方法の説明図である。 実施形態１に係る効果の説明図である。 実施形態２に係る情報処理システムのハードウェア構成例を示す図である。 実施形態２に係る情報処理システムの機能構成例を示す図である。 実施形態２に係る情報処理システムの処理を示すシーケンス図である。 実施形態２のサーバ装置の処理を示すフローチャートである。 実施形態２のクライアント装置の処理を示すフローチャートである。 視線情報の説明図である。 環境マップの説明図である。 ＪＰＥＧ圧縮パラメータの変換方法の説明図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

＜実施形態１＞
（物体の反射特性について）
詳細な説明に入る前に、図１を用いて物体の反射特性について説明する。図１は、光源１１０１の方向から、法線方向１１０３を持つ物体表面上の点１１０２に向かって光を照射したときの反射光の強度１１０４を示している。物体表面を反射した光は、拡散反射成分１１０５と鏡面反射成分１１０６とに分離できる。拡散反射成分１１０５は、入射光が測定面の内部で乱反射することで生じる成分であり、通常はあらゆる方向において均一の強度で観測される。一方、鏡面反射成分１１０６は、入射光が測定面の表面で鏡面反射することで生じる光沢感に関わる成分であり、法線方向１１０３を基準に照明方向と反対方向（正反射方向）に偏った強度で観測される。また、鏡面反射成分１１０６のうち強度が最も高い成分（最大強度）を鏡面反射強度１１０７と呼ぶ。また、鏡面反射成分１１０６の拡がり（分散）を表す成分を鏡面反射幅１１０８と呼ぶ。いわゆる低光沢体といった材質の物体表面では、鏡面反射強度１１０７は小さくなり、鏡面反射幅１１０８は大きくなる。

（鏡面反射成分の見え方への影響）
次に、図２を用いて鏡面反射成分の見え方への影響について説明する。図２（ａ）は、鏡面反射幅が小さい反射特性をもつ被写体に対し、環境マップが高解像度である例を示す。図２（ｂ）は、鏡面反射幅が小さい反射特性をもつ被写体に対し、環境マップが低解像度である例を示す。図２（ｃ）は、鏡面反射幅が大きい反射特性をもつ被写体に対し、環境マップが高解像度である例を示す。図２（ｄ）は、鏡面反射幅が大きい反射特性をもつ被写体に対し、環境マップが低解像度である例を示す。

鏡面反射幅が小さい反射特性をもつ被写体の場合、図２（ａ）に示すように、被写体で反射して観測される見え方は環境マップが写り込んだ見え方となる。そのため、図２（ｂ）に示すように、環境マップの解像度が低下した場合、被写体で反射して観測される見え方は、ぼけた環境マップの映り込みとなり、見え方に違いが生じる。従って、環境マップの解像度が低下すると被写体の質感が正しく表現されない。

一方で、鏡面反射幅が大きい反射特性をもつ被写体の場合、図２（ｃ）に示すように、被写体で反射して観測される見え方は環境マップがぼけて写り込んだ見え方となる。そのため、図２（ｄ）に示すように、環境マップの解像度が低下した場合でも被写体で反射して観測される見え方との差は少ない。言い換えれば、質感表現に必要な環境マップは、低解像度で十分であるということになる。そこで、本実施形態に係る情報処理装置は、レンダリング対象である被写体の鏡面反射幅が大きい場合に、レンダリングを行う際に用いる環境マップの解像度レベルを低下させる。これにより、質感表現の劣化を抑えつつ、環境マップのデータ量を削減することが可能となる。ここで、解像度レベルは、環境マップの解像度をどの程度上げるべきか、又はどの程度下げるべきかを示す情報である。つまり、環境マップに対する解像度変換を指定するための情報である。

（実施形態１に係る情報処理装置の構成）
図３は、本実施形態に係る情報処理装置のハードウェア構成例を示す。
情報処理装置１００は、ＣＰＵ１０１、メインメモリ１０２、記憶装置１０３、入力装置１０４、及び表示装置１０５を備える。これらの各部は、バス１０６を介して相互に接続されている。ＣＰＵ１０１は、情報処理装置１００の全体の制御を司る。ＣＰＵ１０１がメインメモリ１０２等に記憶されるプログラムを実行することで、後述するフローチャートに示す処理が実現する。メインメモリ１０２は、処理に必要な各種のプログラム、データ等を記憶する。記憶装置１０３は、ハードディスクであり、各種のプログラム、データ等を記憶する。入力装置１０４は、キーボードやマウスであり、ユーザ操作を入力する。表示装置１０５は、ＣＲＴや液晶画面などにより構成され、ＣＰＵ１０１の制御により、ＣＰＵ１０１が生成した画像や数値データを表示する。

図４は、本実施形態に係る情報処理装置の機能構成例を示す。
情報処理装置１００は、ＣＰＵ１０１がメインメモリ１０２等に記憶されるプログラムを実行することで、反射特性情報取得部２０１、及び解像度レベル決定部２０２として機能する。また、記憶装置１０３は、反射特性情報から環境マップの解像度レベルへ変換するための変換テーブルを保持する変換テーブル保持部２０３を格納している。
反射特性情報取得部２０１は、レンダリング対象である被写体の反射特性情報の取得を行う。本実施形態では、反射特性情報のうち、鏡面反射幅情報を取得する。鏡面反射幅情報は、鏡面反射情報の一例である。
解像度レベル決定部２０２は、反射特性情報取得部２０１で取得された反射特性情報から環境マップの解像度レベルを決定する。本実施形態では、変換テーブル保持部２０３から変換テーブルを読み込んで、変換テーブルを用いて鏡面反射幅情報から環境マップの解像度レベルを決定する。決定された環境マップの解像度レベルは、レンダリングを行う別のシステムに提供される。なお、環境マップは、レンダリングに用いる照明情報の一例である。

（実施形態１に係る処理の説明）
次に、本実施形態に係る情報処理装置のメイン処理について、図５のフローチャートを用いて説明する。本フローチャートの処理は、ＣＰＵ１０１がメインメモリ１０２等に記憶されるプログラムを実行することにより実現される。以下のフローチャートの説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。

まずＳ１１において、反射特性情報取得部２０１が、記憶装置１０３に記憶される反射特性情報をメインメモリ１０２に読み込む。本実施形態では、記憶装置１０３から反射特性情報を取得するが、外部装置等から取得する構成でも構わない。
本実施形態では、反射特性情報として、鏡面反射幅情報をマップ形式（以下、鏡面反射幅マップという）で読み込み、以降のステップで使用する。本実施形態において、鏡面反射幅マップは、サイズ１２８×１２８ｐｉｘｅｌ、解像度１５０ｄｐｉであるとする。また鏡面反射幅マップは、８ｂｉｔのＧｒａｙ画像形式であり、各画素に対応付けて、当該画素位置での鏡面反射幅を格納している。図６（ａ）は、鏡面反射幅マップの例を示す。図６（ａ）の例では、領域３０１が鏡面反射幅の大きい領域を示し、領域３０２が鏡面反射幅の小さい領域を示す。格納されている鏡面反射幅は、鏡面反射値をガウス近似した際の、分散σ²の値である。図６（ｂ）は、鏡面反射値の分布の例を示す。図６（ｂ）に示すように、標準的な場合の鏡面反射幅（図中の幅３０４）に対して、シャープな場合の鏡面反射幅（図中の幅３０３）では分散σ²の値が小さくなり、逆にブロードな場合の鏡面反射幅（図中の幅３０５）では分散σ²の値が大きくなる。

Ｓ１２において、解像度レベル決定部２０２が、環境マップの解像度レベルを決定する。本ステップの詳細な処理を、図５（ｂ）を用いて説明する。
Ｓ１２１において、解像度レベル決定部２０２が、鏡面反射幅の頻度を算出する。具体的には、鏡面反射幅の範囲毎に、当該範囲にある画素数をカウントする。図７（ａ）は、図６（ａ）に示す鏡面反射幅マップでの鏡面反射幅の頻度を示す。鏡面反射幅の頻度の算出には、予め指定されたビン数やビン幅を用いる。図７（ａ）の例では、０－２５５の値で表現された鏡面反射幅に対して、ビン数８ビン幅３２で頻度を求め、頻度の合計値が１００％になるように正規化している。

次にＳ１２２において、解像度レベル決定部２０２が、Ｓ１２１で算出した鏡面反射幅の頻度から、鏡面反射幅小の割合を算出する。以下、図７（ａ）を例に説明する。鏡面反射幅小の割合は、鏡面反射幅の頻度において、鏡面反射幅の最小値を含むビンから、予め指定しておいた鏡面反射幅小の割合を求めるための閾値４０１を含むビンまでの合計頻度によって算出する。言い換えれば、鏡面反射幅マップを構成する全画素に対する鏡面反射幅が閾値以下である画素の占める割合を算出する。鏡面反射幅小の割合は、鏡面反射幅マップの全体領域に対する鏡面反射幅が閾値以下である領域の占める割合に相当する。図７（ａ）の例では、鏡面反射幅小の割合は、幅４０２の範囲内の合計頻度である。図７（ａ）の例では、閾値として鏡面反射幅の２５％が指定され、鏡面反射幅小の割合は２０％である。

次にＳ１２３において、解像度レベル決定部２０２が、変換テーブル保持部２０３に予め保持されている変換テーブルを読み込む。図７（ｂ）は、変換テーブルをグラフ化した例を示す。本実施形態において、変換テーブルは、鏡面反射幅小の割合から環境マップの解像度レベルに変換するためのテーブルである。変換テーブルは、鏡面反射幅小の割合が大きい程環境マップの解像度を上げ、逆に鏡面反射幅小の割合が小さい程環境マップの解像度を下げる傾向を持つ。なお、環境マップの解像度レベルは、０－７の１ビットデータで表現されるが、解像度変換を指定するためのパラメータであれば、ビット深度やフォーマット形式はこれに限定されない。
最後にＳ１２４において、解像度レベル決定部２０２が、Ｓ１２３で取得した変換テーブルを用いて、Ｓ１２２で算出した鏡面反射幅小の割合から環境マップの解像度レベルへ変換する。変換テーブルを用いることで、解像度レベル決定部２０２が、鏡面反射幅小の割合が大きい場合には、解像度レベルを上げ、鏡面反射幅小の割合が小さい場合には、解像度レベルを下げる処理を行う。その後、Ｓ１２の処理が終了する。
Ｓ１２の処理が終了すると、ＣＰＵ１０１が、決定された環境マップの解像度レベルを、レンダリングを行う別のシステムへ出力する。その後図５（ａ）に示す一連のフローチャートが終了する。

なお、本実施形態では、鏡面反射情報として鏡面反射幅情報を利用したが、反射特性の説明で記述したように、鏡面反射強度情報を用いてもよい。また、鏡面反射幅のスカラー値、鏡面反射強度のスカラー値、スペキュラーマップ、グロスマップ、ラフネスマップ、またはＣｏｏｋ－Ｔｏｒｒａｎｃｅモデルに代表される鏡面反射成分の物理ベースパラメータを格納したデータを用いてもよい。また、鏡面反射幅マップのデータサイズ、解像度、ビット深度、フォーマット形式に関しても、上記の内容に限定されない。

また、Ｓ１２では、解像度レベル決定部２０２が、鏡面反射幅小の割合に基づいて、環境マップの解像度レベルを決定したが、鏡面反射幅が小さい場合に解像度を上げ、鏡面反射幅が大きい場合に解像度を下げる処理であれば、これに限定されない。例えば、鏡面反射幅マップから鏡面反射幅の最小値を求め、当該最小値に基づいて、解像度レベルを決定する処理でもよい。
また、鏡面反射強度情報を用いてもよい。この場合には、解像度レベル決定部２０２が、鏡面反射強度情報をマップ形式（以下、鏡面反射強度マップ）で読み込む。鏡面反射強度マップは、各画素に対応付けて、各画素位置での鏡面反射強度を格納している。図６（ｂ）の例で言うと、格納されている鏡面反射強度は、鏡面反射値のピークの値である。解像度レベル決定部２０２が、鏡面反射強度マップから鏡面反射強度の最大値を求め、当該最大値に基づいて、解像度レベルを決定する処理でもよい。更に、鏡面反射強度が大きい場合に解像度を上げ、鏡面反射強度が小さい場合に解像度を下げる処理でもよい。
また、解像度レベル決定部２０２が、鏡面反射幅小の割合に基づいて、解像度変換実施の可否を判定してもよい。具体的には、解像度レベル決定部２０２が、鏡面反射幅小の割合が小さい場合には解像度低下実施を許容し、鏡面反射幅小の割合が大きい場合には解像度低下実施を許可しない。この場合には、ＣＰＵ１０１が、環境マップの解像度変換実施の可否を表す情報を、レンダリングを行う別のシステムへ出力する。

（実施形態１に係る効果の説明）
本実施形態に係る効果を、図８を用いて説明する。
図８の上段では、鏡面反射幅が小さい領域を持つ鏡面反射幅マップ５０１に対して、環境マップが高解像度の場合のレンダリング結果５０２と、環境マップが低解像度の場合のレンダリング結果５０３を示す。また、図８の下段では、鏡面反射幅が全体的に大きい鏡面反射幅マップ５０４に対して、環境マップが高解像度の場合のレンダリング結果５０５と、環境マップが低解像度の場合のレンダリング結果５０６を示す。レンダリング結果５０２とレンダリング結果５０６は、本実施形態を適用して得られている。

レンダリング結果５０２は、鏡面反射幅が小さい領域５０２ａにおいて、環境マップの映り込みをぼかさずに正しく質感再現できている。一方でレンダリング結果５０３は、鏡面反射幅が小さい領域５０３ａにおいて、環境マップの映り込みがぼけてしまっており、質感再現に劣化が生じている。本実施形態の情報処理装置１００は、鏡面反射幅が小さい領域を持つ鏡面反射幅マップ５０１に対しては、高解像度の環境マップが必要であると決定する。従って、レンダリング結果５０２に示すように、質感再現に劣化が生じない。
レンダリング結果５０５は、鏡面反射幅が大きい領域５０５ａにおいて、環境マップの映り込みはぼけて再現されており、質感再現として正しいと言える。一方でレンダリング結果５０６も、鏡面反射幅が大きい領域５０６ａにおいて、環境マップの映り込みはぼけて再現されており、レンダリング結果５０５との差は少ない。本実施形態の情報処理装置１００は、鏡面反射幅が全体的に大きい鏡面反射幅マップ５０４に対しては、低解像度の環境マップでよいと決定する。従って、レンダリング結果５０６に示すように、質感再現の劣化を抑えつつ、環境マップのデータ量を削減できる。

以上のように本実施形態によれば、レンダリングを行う際に、質感表現の劣化を抑えつつ、環境マップのデータ量を削減することができる。

＜実施形態２＞
実施形態１では、単体の情報処理装置に適用した例について説明した。本実施形態では、レンダリングを行うサーバ装置と、環境マップの取得やレンダリング結果の表示を行うクライアント装置とを含む情報処理システムに適用した例について説明する。以下では、実施形態１とは異なる部分を中心に説明する。

（実施形態２に係る情報処理システムの構成）
図９は、本実施形態に係る情報処理システムのハードウェア構成例を示す。情報処理システムは、サーバ装置６２０とクライアント装置６３０とを含み、これらの装置がネットワークを介して相互に接続されている。
サーバ装置６２０は、ＣＰＵ６０１、メインメモリ６０２、記憶装置６０３、ＧＰＵ６０４、及び通信装置６０５を備える。これらの各部は、バス６０６を介して相互に接続されている。ＣＰＵ６０１は、サーバ装置６２０の全体の制御を司る。ＣＰＵ６０１がメインメモリ６０２等に記憶されるプログラムを実行することで、後述するシーケンス図やフローチャートに示す処理のうち、サーバ装置６２０側の処理が実現する。メインメモリ６０２は、処理に必要な各種のプログラム、データ等を記憶する。記憶装置６０３は、ハードディスクであり、各種のプログラム、データ等を記憶する。ＧＰＵ６０４は、ＣＰＵ６０１の制御により、画像処理やレンダリング処理に特化した演算処理を行う。通信装置６０５は、各種のネットワークと接続する装置である。ＣＰＵ６０１は、通信装置６０５を介してクライアント装置６３０を含む外部装置とデータ通信を行う。

クライアント装置６３０は、ＣＰＵ６０７、メインメモリ６０８、記憶装置６０９、入力装置６１０、表示装置６１１、撮影装置６１２、及び通信装置６１３を備える。これらの各部は、バス６１４を介して相互に接続されている。ＣＰＵ６０７、メインメモリ６０８、及び記憶装置６０９は、上述したサーバ装置６２０のＣＰＵ６０１、メインメモリ６０２、及び記憶装置６０３と同様の構成で実現できるため説明を割愛する。入力装置６１０は、キーボードやマウスやタッチパネルであり、ユーザ操作を入力する。表示装置６１１は、ＣＲＴや液晶画面などにより構成され、ＣＰＵ６０７の制御により、サーバ装置６２０から受信した画像やＧＵＩを表示する。撮影装置６１２は、周辺照明情報を環境マップとして取得するための装置であり、全方位カメラ、魚眼レンズカメラ等の視野角が広いカメラが用いられる。通信装置６１３は、各種のネットワークと接続する装置である。ＣＰＵ６０７は、通信装置６１３を介してサーバ装置６２０を含む外部装置とデータ通信を行う。

図１０は、本実施形態に係る情報処理システムの機能構成例を示す。
サーバ装置６２０は、視線情報取得部７０１、形状情報取得部７０２、反射特性情報取得部７０４、解像度レベル決定部７０６、照明情報取得部７０７、及びレンダリング部７０８の機能を有する。サーバ装置６２０は、ＣＰＵ６０１がメインメモリ６０２等に記憶されるプログラムを実行することで、これらの各機能部として機能する。また、記憶装置６０３は、形状情報をデータベースとして保持する形状情報保持部７０３、及び反射特性情報をデータベースとして保持する反射特性情報保持部７０５を格納している。
クライアント装置６３０は、レンダリング条件指示部７０９、環境マップ取得部７１０、解像度変換部７１１、及びレンダリング結果表示部７１２の機能を有する。クライアント装置６３０は、ＣＰＵ６０７がメインメモリ６０８等に記憶されるプログラムを実行することで、これらの各機能部として機能する。

視線情報取得部７０１は、クライアント装置６３０から受信したレンダリング条件指示情報のうち、視線情報の取得を行う。
形状情報取得部７０２は、クライアント装置６３０から受信したレンダリング条件指示情報に含まれる、形状情報の指示情報に基づき、形状情報保持部７０３から形状情報を取得する。
形状情報保持部７０３は、形状情報取得部７０２からの指示により形状情報をデータベースから読み出す。
反射特性情報取得部７０４は、クライアント装置６３０から受信したレンダリング条件指示情報に含まれる、反射特性情報の指定情報に基づき、反射特性情報保持部７０５から反射特性情報を取得する。
反射特性情報保持部７０５は、反射特性情報取得部７０４からの指示により反射特性情報をデータベースから読み出す。
解像度レベル決定部７０６は、取得された反射特性情報に基づき、環境マップの解像度レベルを決定する。なお、環境マップの解像度レベルを決定する方法については、実施形態１と同様であるため説明を割愛する。解像度レベル決定部７０６は、決定された解像度レベルをクライアント装置６３０に送信する。クライアント装置６３０は、サーバ装置６２０から受信した解像度レベルを解像度変換部７１１に入力する。
照明情報取得部７０７は、クライアント装置６３０から受信した解像度変換後の環境マップを照明情報として取得する。
レンダリング部７０８は、取得された視線情報、形状情報、反射特性情報、及び照明情報に基づき、レンダリング処理を実行し、レンダリング結果をクライアント装置６３０に送信する。クライアント装置６３０は、サーバ装置６２０から受信したレンダリング結果をレンダリング結果表示部７１２に入力する。

レンダリング条件指示部７０９は、ユーザの操作によりレンダリング条件を指定してレンダリング結果を表示するアプリケーションソフトを用いて生成されたレンダリング条件指示情報を、サーバ装置６２０へ送信する。レンダリング条件指示情報には、視線情報、形状情報、及び反射特性情報に関するレンダリング条件が含まれる。サーバ装置６２０は、クライアント装置６３０から受信したレンダリング条件指示情報を、視線情報取得部７０１、形状情報取得部７０２、及び反射特性情報取得部７０４にそれぞれ入力する。
環境マップ取得部７１０は、レンダリングに使用する環境マップを撮影装置６１２から取得する。
解像度変換部７１１は、サーバ装置６２０から受信した解像度レベルに基づき、環境マップ取得部７１０で取得された環境マップの解像度変換を行い、解像度変換後の環境マップを、サーバ装置６２０へ送信する。サーバ装置６２０は、クライアント装置６３０から受信した環境マップを照明情報取得部７０７に入力する。
レンダリング結果表示部７１２は、サーバ装置６２０から受信したレンダリング結果を表示装置６１１に表示する。

（実施形態２に係る処理の説明）
図１１は、本実施形態に係る情報処理システムの処理を示すシーケンス図である。なお、図１１では、処理の概要について説明し、サーバ装置６２０及びクライアント装置６３０にて実行される各ステップの処理の詳細についてはフローチャートを用いて後述する。
まずＳ２０１において、クライアント装置６３０が、サーバ装置６２０へレンダリング依頼を送信する。
次にＳ２０２において、サーバ装置６２０が、クライアント装置６３０へレンダリング受注の許可情報を送信する。
次にＳ２０３において、クライアント装置６３０が、サーバ装置６２０へレンダリング条件指示情報を送信する。
次にＳ２０４において、サーバ装置６２０が、Ｓ２０３にて受信したレンダリング条件指示情報に含まれる、形状情報の指示情報に基づき、形状情報保持部７０３に格納されている形状情報の読込みを行う。
次にＳ２０５において、サーバ装置６２０が、Ｓ２０３にて受信したレンダリング条件指示情報に含まれる、反射特性情報の指示情報に基づき、反射特性情報保持部７０５に格納されている反射特性情報の読込みを行う。
次にＳ２０６において、サーバ装置６２０が、Ｓ２０５で読み込んだ反射特性情報の鏡面反射幅マップに基づき、環境マップの解像度レベルを決定する。
Ｓ２０４からＳ２０６の実行中に、Ｓ２０７において、クライアント装置６３０は、環境マップを取得する。環境マップは、クライアント装置６３０の一部である撮影装置６１２によって取得される。なお、クライアント装置６３０が、外部のカメラから環境マップを取得する構成でも構わない。
次にＳ２０８において、サーバ装置６２０は、Ｓ２０６で決定した解像度レベルをクライアント装置６３０へ通知する。
次にＳ２０９において、クライアント装置６３０は、サーバ装置６２０から受信した解像度レベルに基づき、Ｓ２０７で取得した環境マップの解像度変換を実行する。
次にＳ２１０において、クライアント装置６３０は、Ｓ２０９で解像度変換した環境マップをサーバ装置６２０へ送信する。
次にＳ２１１において、サーバ装置６２０は、Ｓ２０３にて受信したレンダリング条件指示情報に含まれる視線情報、Ｓ２０４で読み込んだ形状情報、Ｓ２０５で読み込んだ反射特性情報、及びＳ２１０で受信した環境マップを基に、レンダリングを行う。
次にＳ２１２において、サーバ装置６２０は、Ｓ２１１でのレンダリング結果をクライアント装置６３０へ送信する。
最後にＳ２１３において、クライアント装置６３０は、サーバ装置６２０から受信したレンダリング結果をクライアント装置６３０の一部である表示装置６１１に表示する。
以上のようにして、図１１のシーケンス図に示す一連の処理が終了する。

図１２Ａは、本実施形態に係るサーバ装置６２０の処理の詳細を示すフローチャートである。本フローチャートの処理は、ＣＰＵ６０１がメインメモリ６０２等に記憶されるプログラムを実行することにより実現される。また、ＣＰＵ６０１は、通信装置６０５を用いてクライアント装置６３０との間でデータを送受信する。
Ｓ３０１において、ＣＰＵ６０１が、クライアント装置６３０からレンダリング依頼の信号を受信する。
Ｓ３０２において、ＣＰＵ６０１が、レンダリング受注が可能かの判定を行う。本実施形態では、予め定めた同時レンダリング数を超えているかを判定基準として用いる。ＣＰＵ６０１がレンダリング受注が可能と判定した場合、Ｓ３０４以降の処理が実行され、レンダリング受注が不可と判定した場合、Ｓ３０３の処理が実行される。なお、判定基準はその他の基準を用いてもよい。
Ｓ３０３において、ＣＰＵ６０１が、レンダリング受注結果が不可を示す信号を、クライアント装置６３０へ送信する。その後、一連のフローチャートの処理が終了する。
Ｓ３０４において、ＣＰＵ６０１が、レンダリング受注結果が可を示す信号を、クライアント装置６３０へ送信する。

Ｓ３０５において、ＣＰＵ６０１が、クライアント装置６３０からレンダリング条件指示情報を受信する。レンダリング条件指示情報に含まれる視線情報は、レンダリング上でレンダリング対象である被写体を観測する際の位置や距離を示す情報である。図１３は、視線情報を説明する図である。本実施形態では、視線情報として、図１３に示すように視線ベクトル８０１を用いる。図１３の例では、視線ベクトル８０１は、Ｖ（θｖ、φｖ）で表される。また、レンダリング条件指示情報で指定される形状情報は、被写体の三次元形状を指定するための情報である。本実施形態で指定される形状情報は、均一の法線ベクトルＮを持つ板状の形状であるとする。また、レンダリング条件指示情報で指定される反射特性情報は、拡散反射特性と鏡面反射特性を指定するための情報である。反射特性情報には、拡散反射光マップ、法線マップ、及び鏡面反射幅マップの３つの情報がセットで含まれているとする。また、本実施形態で指定される反射特性情報には、均一の拡散反射光を持つ拡散反射光マップ、均一の法線ベクトルＮを持つ法線マップ、及び鏡面反射幅が小さい領域を一部に持つ鏡面反射幅マップが含まれているとする。この鏡面反射幅マップは、実施形態１の図６（ａ）に示す鏡面反射幅マップと同じである。

Ｓ３０６において、ＣＰＵ６０１が、Ｓ３０５にて受信したレンダリング条件指示情報に含まれる、形状情報の指示情報に基づき、形状情報保持部７０３に格納されている形状情報の読込みを行う。
Ｓ３０７において、ＣＰＵ６０１が、Ｓ３０５にて受信したレンダリング条件指示情報に含まれる、反射特性情報の指示情報に基づき、反射特性情報保持部７０５に格納されている反射特性情報の読込みを行う。
Ｓ３０８において、ＣＰＵ６０１が、Ｓ３０７で読み込んだ反射特性情報に含まれる鏡面反射幅マップに基づき、環境マップの解像度レベルを決定する。本実施形態では、実施形態１と同様に解像度レベルを０－７の１ビットデータで表現する。
Ｓ３０９において、ＣＰＵ６０１が、Ｓ３０８で決定した解像度レベルをクライアント装置６３０へ通知する。
Ｓ３１０において、ＣＰＵ６０１は、クライアント装置６３０から環境マップを受信する。本実施形態において、環境マップは、計測時の極角と方位角を軸に取ったＬａｔｉｔｕｄｅ－Ｌｏｎｇｉｔｕｄｅ型（またはＣｙｌｉｎｄｒｉｃａｌ型とも呼ばれる）であるとし、受信するのは１枚のＲＧＢ画像形式であるとする。

次に環境マップの詳細について、図１４を用いて説明する。図１４（ａ）は、環境マップ取得時の計測デバイスの構成例を示す。図１４（ｂ）は、作成された環境マップの例を示す。図１４（ａ）に示す計測デバイスにおいて、環境マップは、任意の点Ｘに配置された全方位カメラ９０１（撮影装置６１２に相当）で取得することができる。具体的には、任意の点Ｘから視線方向（θｉ、φｉ）に対して光の強度を測定し、視線方向（θｉ、φｉ）毎に測定した強度を格納することで環境マップを作成する。図１４（ｂ）における（θ、φ）は、全方位カメラ９０１の位置にある物体上の点Ｘを原点とし、θは表面法線Ｎに対する極角を示し、φは基準方向に対する方位角を示している。またｉは、Δθ及びΔφ毎に計測した際の計測時の番号を示しており、環境マップにおけるｉは、左上の画素を０として昇順に対応する。

Ｓ３１１において、ＣＰＵ６０１は、前述する各ステップで取得した視線情報、形状情報、反射特性情報、及び環境マップを基に、レンダリング処理を行う。レンダリング処理の詳細については、説明を割愛する。レンダリング結果は、指定された形状情報及び反射特性情報を持つ被写体を、環境マップで照明し、指定された視線情報が示す方向から観察した場合の見え方を表す。レンダリング結果は、ＲＧＢ画像形式であるとする。
Ｓ３１２において、ＣＰＵ６０１は、Ｓ３１１でのレンダリング結果をクライアント装置６３０へ送信する。
以上のようにして、図１２Ａに示す一連のフローチャートの処理が終了する。

なお、Ｓ３０５において、視線情報は、視線ベクトルＶ（θｖ、φｖ）で表したが、これに限定されない。レンダリング処理で使用する視線情報を定義可能な情報であればよく、フォーマット形式は限定されない。また、視線距離情報や、視野情報が含まれていてもよい。
また、Ｓ３０５において、反射特性情報には、拡散反射光マップ、法線マップ、及び鏡面反射幅マップの３つの情報がセットで含まれているとしたが、これに限定されない。レンダリング処理で使用する反射特性情報が定義可能な情報が含まれていればよく、種類やフォーマット形式は限定されない。
また、Ｓ３１０において、環境マップは、測定時の極角と方位角を軸に取ったＬａｔｉｔｕｄｅ－Ｌｏｎｇｉｔｕｄｅ型であるとしたが、三次元の照明情報が格納されていればよく、これに限定されない。具体的には、Ｌａｔｉｔｕｄｅ－Ｌｏｎｇｉｔｕｄｅ型、Ｃｕｂｅ型、Ｓｐｈｅｒｅ型に代表されるように、全方向の照明情報を二次元の画像形式に変換した環境マップであればよい。また、三次元空間上に照明の配置や方向が指定された情報についても、レンダリング技術で一般的に使用されているベイク処理を行うことによって上記のような環境マップへ変換することが可能なため、適用できる。
また、Ｓ３１０で受信した環境マップ、及びＳ３１１で作成したレンダリング結果は、ＲＧＢ画像形式の情報であるとしたが、これに限定されない。例えば、環境マップがＧｒａｙ画像形式である場合、レンダリング結果にＲＧＢ情報はほとんど含まれないため、ＲＧＢ画像形式であってもＧｒａｙ画像形式であってもよい。また、環境マップが全方位の映像情報である場合、Ｓ３１１において、ＣＰＵ６０１は、環境マップの映像フレーム毎にレンダリング処理を行い、レンダリング結果を映像形式で作成してもよい。

図１２Ｂは、本実施形態に係るクライアント装置６３０の処理の詳細を示すフローチャートである。本フローチャートの処理は、ＣＰＵ６０７がメインメモリ６０８等に記憶されるプログラムを実行することにより実現される。また、ＣＰＵ６０７は、通信装置６１３を用いてサーバ装置６２０との間でデータを送受信する。
Ｓ４０１において、ＣＰＵ６０７は、サーバ装置６２０へレンダリング依頼の信号を送信する。
Ｓ４０２において、ＣＰＵ６０７は、サーバ装置６２０からレンダリング受注結果を受信する。
Ｓ４０３において、ＣＰＵ６０７は、Ｓ４０２で受信したレンダリング受注結果の判定を行う。ＣＰＵ６０７がレンダリング受注結果が可を示す場合、Ｓ４０４以降の処理が実行され、レンダリング受注結果が不可を示す場合、一連のフローチャートの処理が終了する。
Ｓ４０４において、ＣＰＵ６０７は、ユーザから指示されたレンダリング条件指示情報をサーバ装置６２０へ送信する。ユーザはレンダリング結果を表示するアプリケーションソフトが提供するＧＵＩを用いて、レンダリング条件の指定を行う。具体的には、形状情報や反射特性情報については、サーバ装置６２０内の形状情報保持部７０３や反射特性情報保持部７０５に予め保存されている情報の一覧がユーザに提示され、ユーザはその一覧から選択をして指定する。視線情報については、ユーザがタッチパネル上を指定して被写体の観測方向を指定する。

Ｓ４０５において、ＣＰＵ６０７は、環境マップを撮影装置６１２によって取得する。環境マップの取得方法については、前述したＳ３１０で説明した通りである。
Ｓ４０６において、ＣＰＵ６０７は、環境マップの解像度レベルをサーバ装置６２０から受信する。
Ｓ４０７において、ＣＰＵ６０７は、Ｓ４０６で受信した解像度レベルに基づき、Ｓ４０５で取得した環境マップの解像度の変換処理を行う。本実施形態において、解像度の変換処理は、ＪＰＥＧ圧縮方式を使用する。具体的には、０－７の１ビットで表される解像度レベルに対し、予め保存された変換テーブルを使用し、ＪＰＥＧ圧縮パラメータへ変換する。図１５は、変換テーブルをグラフ化した例を示す。本実施形態において、変換テーブルは、解像度レベルからＪＰＥＧ圧縮パラメータに変換するテーブルである。変換テーブルは、解像度レベルが高い程低圧縮にし、逆に解像度レベルが低い程高圧縮にする傾向を持つ。ＣＰＵ６０７は、変換したＪＰＥＧ圧縮パラメータを使用してＪＰＥＧ圧縮を行う。なお、ＪＰＥＧ圧縮方式の詳細については、公知の技術であるため説明を省略する。
Ｓ４０８において、ＣＰＵ６０７は、Ｓ４０７で解像度変換した環境マップをサーバ装置６２０へ送信する。
Ｓ４０９において、ＣＰＵ６０７は、サーバ装置６２０からレンダリング結果を受信する。
Ｓ４１０において、ＣＰＵ６０７は、Ｓ４０９で受信したレンダリング結果を表示装置６１１に表示し、ユーザに提示する。
以上のようにして、図１２Ｂに示す一連のフローチャートの処理が終了する。

なお、Ｓ４０４において、レンダリング条件をユーザから指定する方法を説明したが、これに限定されない。レンダリング条件指示情報に反射特性情報を指定する情報が含まれていればよく、その他のレンダリング条件はサーバ側で指定してもよい。また、レンダリング条件は、アプリケーションソフトから自動で指定されてもよい。また、クライアント装置６３０の撮影装置６１２やジャイロセンサからの出力値から自動で指定されてもよい。また、アプリケーションソフトの提供するＧＵＩも上記の例に限定されない。

また、Ｓ４０５において、ＣＰＵ６０７は、撮影装置６１２を用いて環境マップの撮影を行い、Ｓ４０７において、環境マップの解像度変換を行ったが、これに限定されない。例えば、環境マップのデータベースをクライアント装置６３０のメインメモリ６０８等に保持しており、指定された環境マップの種類とその解像度に応じて、ＣＰＵ６０７が、当該データベースから取得する方法でもよい。
また、Ｓ４０７において、ＣＰＵ６０７が、環境マップの解像度レベルに関わらず環境マップの解像度変換を開始したが、解像度変換実施の可否を判定し、当該判定の結果に応じて、解像度変換を開始してもよい。例えば、環境マップの解像度レベルが最も高解像度を示すレベルの場合、ＣＰＵ６０７は、解像度変換を実施せず、Ｓ４０５で取得された環境マップをサーバ装置６２０へそのまま送信してもよい。
また、Ｓ４０７において、環境マップの解像度変換では、ＪＰＥＧ圧縮方式が用いられたが、これに限定されない。環境マップの解像度変換は、環境マップの高周波成分を取り除いて環境マップのデータ量削減を行うことを目的としており、目的に対応していればその他の手法を用いてもよい。例えば、環境マップの画像サイズを縮小する処理、環境マップの高周波情報を低減させる処理、解像度変換を用いた画像圧縮処理を行う処理でもよい。また、本実施形態では、解像度変換に用いるＪＰＥＧ圧縮パラメータをクライアント側で決定したが、サーバ側で決定してもよい。その場合には、Ｓ３０８で、サーバ装置６２０が、解像度レベルからＪＰＥＧ圧縮パラメータを決定して、ＪＰＥＧ圧縮パラメータをクライアント装置６３０へ通知する。

また、本実施形態では、サーバクライアントシステムに適用した例を示したが、適用可能な装置構成はこれに限定されない。例えば画像処理装置とカメラ装置との間で相互に通信を行うシステムにも同様に適用可能である。環境マップを取得するカメラ装置側に演算部がない場合、画像処理装置が環境マップ取得時の解像度や画像サイズを指定すればよい。
また、画像処理装置とデータベース装置との間で相互に通信を行うシステムにも同様に適用可能である。データベース装置に環境マップの解像度レベル毎の環境マップが格納されている場合、画像処理装置が環境マップの種類と解像度レベルを指定してデータベース装置から読み出す処理を行えばよい。

（実施例２に係る効果の説明）
本実施形態に係る効果は、実施形態１に係る効果と同様である。また、ＪＰＥＧ圧縮方式を利用することにより、高解像度の環境マップは圧縮前と比較して約４０％程度のデータ量に削減することができ、低解像度の環境マップは圧縮前と比較して約１０％程度のデータ量まで削減することができた。

以上のように本実施形態によれば、レンダリングを行う際に、質感表現の劣化を抑えつつ、環境マップのデータ量を削減することができる。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

また、上述の各実施形態の変形例として、鏡面反射幅情報と環境マップの解像度レベルの関係性を学習した学習モデルを生成し、当該学習モデルを用いて環境マップの解像度レベルの決定を行ってもよい。この場合に、解像度レベル決定部２０２は、機械学習された学習モデルを用いて環境マップの解像度レベルを決定する。例えば、情報処理装置１００が、ＳＶＭ（サポートベクターマシン）アルゴリズム等の機械学習アルゴリズムに従った学習モデルに対して、入力データと教師データの複数の組を用いて機械学習を行うことで学習モデルを生成する。入力データとしては、鏡面反射幅マップを用いる。教師データとしては、環境マップの映り込みの再現性に劣化が無いと判断される解像度レベルを用いる。これらのデータを用いて学習を行うことにより、鏡面反射幅マップから環境マップの解像度レベルを決定する学習モデルを生成する。解像度レベル決定部２０２は、学習モデルを用いる場合、鏡面反射幅マップを学習モデルに入力して得られる出力データを用いて、環境マップの解像度レベルを決定する。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：情報処理装置、６２０：サーバ装置、６３０：クライアント装置

Claims (15)

1. レンダリング対象の反射特性情報を取得する取得手段と、
   前記反射特性情報のうち鏡面反射情報に基づいて、レンダリングを行う際に用いる照明情報の解像度レベルを決定する決定手段と、
   を有し、
   前記鏡面反射情報が、鏡面反射成分の拡がりを表す鏡面反射幅をマップ形式で格納する鏡面反射幅マップであって、
   前記決定手段は、前記鏡面反射幅マップの全体領域に対する前記鏡面反射幅が閾値以下である領域が占める割合に基づいて、前記解像度レベルを決定することを特徴とする情報処理装置。
2. 前記決定手段は、前記割合が所定の閾値よりも大きい場合には、前記解像度レベルを上げ、前記割合が所定の閾値よりも小さい場合には、前記解像度レベルを下げることを特徴とする請求項１に記載の情報処理装置。
3. レンダリング対象の反射特性情報を取得する取得手段と、
   前記反射特性情報のうち鏡面反射情報に基づいて、レンダリングを行う際に用いる照明情報の解像度レベルを決定する決定手段と、
   を有し、
   前記鏡面反射情報が、鏡面反射成分の拡がりを表す鏡面反射幅をマップ形式で格納する鏡面反射幅マップであって、
   前記決定手段は、前記鏡面反射幅マップにおける前記鏡面反射幅の最小値に基づいて、前記解像度レベルを決定することを特徴とする情報処理装置。
4. 前記決定手段は、鏡面反射成分の拡がりを表す鏡面反射幅が大きい場合には、前記解像度レベルを下げ、前記鏡面反射幅が小さい場合には、前記解像度レベルを上げることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記決定手段は、鏡面反射成分の拡がりを表す鏡面反射幅が大きい場合、前記照明情報の解像度の変換を許容し、前記鏡面反射幅が小さい場合、前記照明情報の解像度の変換を許容しないよう決定することを特徴とする請求項１又は３に記載の情報処理装置。
6. 前記照明情報は、全方向の照明情報を二次元の画像形式で格納する環境マップであることを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記決定手段は、前記解像度レベルとして、前記環境マップの解像度を変換する変換処理に用いるパラメータを決定することを特徴とする請求項６に記載の情報処理装置。
8. 前記変換処理が、前記環境マップの画像サイズを変換する処理、前記環境マップの高周波情報を削減する処理、又は前記環境マップの解像度変換を伴う圧縮処理であることを特徴とする請求項７に記載の情報処理装置。
9. 前記解像度レベルは、前記照明情報の解像度変換を指定するための情報であることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. レンダリング対象の反射特性情報を取得する取得手段と、
    前記反射特性情報のうち鏡面反射情報を学習モデルに入力して得られる出力データに基づいて、レンダリングを行う際に用いる照明情報の解像度レベルを決定する決定手段と、
    を有することを特徴とする情報処理装置。
11. レンダリングを行う第１の装置と、前記第１の装置に接続される第２の装置を含む情報処理システムであって、
    前記第１の装置は、
    レンダリング対象の反射特性情報を取得する第１の取得手段と、
    前記反射特性情報のうち鏡面反射情報に基づいて、レンダリングを行う際に用いる照明情報の解像度レベルを決定する決定手段と、
    前記第２の装置に対して前記解像度レベルを通知する通知手段と、
    前記第２の装置から前記照明情報を受信する受信手段と、
    前記反射特性情報と前記照明情報を用いてレンダリングを行うレンダリング手段と、
    を有し、
    前記第２の装置は、
    前記照明情報を取得する第２の取得手段と、
    取得した前記照明情報を前記第１の装置から通知された前記解像度レベルで変換する変換手段と、
    変換した前記照明情報を前記第１の装置に対して送信する送信手段と、
    を有し、
    前記鏡面反射情報が、鏡面反射成分の拡がりを表す鏡面反射幅をマップ形式で格納する鏡面反射幅マップであって、
    前記決定手段は、前記鏡面反射幅マップの全体領域に対する前記鏡面反射幅が閾値以下である領域が占める割合に基づいて、前記解像度レベルを決定することを特徴とする情報処理システム。
12. レンダリングを行う第１の装置と、前記第１の装置に接続される第２の装置を含む情報処理システムであって、
    前記第１の装置は、
    レンダリング対象の反射特性情報を取得する第１の取得手段と、
    前記反射特性情報のうち鏡面反射情報に基づいて、レンダリングを行う際に用いる照明情報の解像度レベルを決定する決定手段と、
    前記第２の装置に対して前記解像度レベルを通知する通知手段と、
    前記第２の装置から前記照明情報を受信する受信手段と、
    前記反射特性情報と前記照明情報を用いてレンダリングを行うレンダリング手段と、
    を有し、
    前記第２の装置は、
    前記照明情報を取得する第２の取得手段と、
    取得した前記照明情報を前記第１の装置から通知された前記解像度レベルで変換する変換手段と、
    変換した前記照明情報を前記第１の装置に対して送信する送信手段と、
    を有し、
    前記鏡面反射情報が、鏡面反射成分の拡がりを表す鏡面反射幅をマップ形式で格納する鏡面反射幅マップであって、
    前記決定手段は、前記鏡面反射幅マップにおける前記鏡面反射幅の最小値に基づいて、前記解像度レベルを決定することを特徴とする情報処理システム。
13. レンダリング対象の反射特性情報を取得する取得工程と、
    前記反射特性情報のうち鏡面反射情報に基づいて、レンダリングを行う際に用いる照明情報の解像度レベルを決定する決定工程と、
    を含み、
    前記鏡面反射情報が、鏡面反射成分の拡がりを表す鏡面反射幅をマップ形式で格納する鏡面反射幅マップであって、
    前記決定工程では、前記鏡面反射幅マップの全体領域に対する前記鏡面反射幅が閾値以下である領域が占める割合に基づいて、前記解像度レベルを決定することを特徴とする情報処理方法。
14. レンダリング対象の反射特性情報を取得する取得工程と、
    前記反射特性情報のうち鏡面反射情報に基づいて、レンダリングを行う際に用いる照明情報の解像度レベルを決定する決定工程と、
    を含み、
    前記鏡面反射情報が、鏡面反射成分の拡がりを表す鏡面反射幅をマップ形式で格納する鏡面反射幅マップであって、
    前記決定工程では、前記鏡面反射幅マップにおける前記鏡面反射幅の最小値に基づいて、前記解像度レベルを決定することを特徴とする情報処理方法。
15. 請求項１乃至１０の何れか１項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。