JP6720972B2 - 画像処理システム、方法、及びプログラム - Google Patents

Description

本発明は、画像処理システム、方法、及びプログラムに関し、より詳細には、表示物の素材の質感を画像表示する画像処理システム、方法、及びプログラムに関する。

近年の製造技術、通信技術及び情報処理技術の発展により、種々のシーンにおいて、スマートフォンやタブレット端末などの携帯型端末が利用されている。タッチパネル型ディスプレイや通信インタフェースの他、ＧＰＳ、ジャイロセンサ、カメラ等の各種機能を備えた複合型携帯型端末の適応シーンは今後さらに拡大が見込まれる。

例えば、従来、商取引の対象である商品は、紙媒体のパンフレットに写真やイラストとして掲載されて紹介されていた。写真やイラスト（色見本）では素材の質感を知覚しにくい建装材等は、実物の小片を集めたサンプル集の態様で紹介されていた。

一方、被写体表面の光沢感や繊維織りの細かなテクスチャー等の被写体（素材）の質感を画像表示する方法及び装置が提案されている（例えば、特許文献１を参照）。特許文献１は、鏡面反射状態が異なる１つの静止被写体について、光源の照明位置及び／又は照明方向を変えて複数の原画像を取得すること、複数の原画像に基づいて生成された複数のフレーム画像を作成すること、連続的に複数のフレーム画像を切り替えて１つの静止被写体を表すこと、フレーム画像の画像信号は、被写体の鏡面反射画像信号と拡散反射画像信号とを用いて光沢信号を生成し、この光沢信号にウィンドウ処理を行って作成されることを開示する。

さらに、視差効果等を適用することで静止画に奥行き感を付加し、素材の質感を変化させる技術の実用化も進められている。

マンション等の住宅購入希望者は、モデルルームへ行くことで、実物の間取りや建装材の素材の質感を体験できる。間取り等を含む住宅仕様を、コンピュータグラフィックス（ＣＧ）で再現することが知られている（例えば、特許文献２参照）。住宅供給者によって提供されるバーチャルモデルルームを通じて、住宅購入希望者は、間取り等を含む住宅仕様を疑似体験することができる。

特開２００３−１３２３５０号公報（要約、請求項１，２等参照） 特開２００４−５２１６号公報（第００３７段落、図３参照）

しかしながら、従来のバーチャルモデルルームでは、住宅購入希望者は、部屋全体のイメージをつかむことができる程度に過ぎず、部屋の中の壁紙や床材等の素材が持つ質感を感じ取ることができなかった。また、紙媒体であっても電子媒体であっても、観察環境の変化や素材の向きの変化に応じた当該素材の見えの変化（質感）を表現することができないという問題があった。

したがって、空間に配置されている素材のより詳細な見えの変化（質感）を確認できる、すなわち、観察環境の変化や素材の向きの変化に応じた当該素材の見えの変化（質感）を疑似体験できるシステムが提供されることが望ましい。

本発明は、このような問題に鑑みてなされたもので、その目的とするところは、空間に配置されている素材のより詳細な見えの変化（質感）を確認することを可能にする、すなわち、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示することを可能にする画像処理システム、方法、及びプログラムを提供することにある。

このような目的を達成するために、本発明の第１の態様は、画像処理システムである。このシステムは、空間を表示する手段であって、前記空間は１つまたは複数の素材を含む、手段と、前記素材の画像を表示する手段と、前記空間内の素材を特定する手段と、照明情報と、前記特定した素材に関連付けられた素材情報とを特定する手段とを備え、前記素材の画像を表示する手段は、前記特定した照明情報、素材情報、並びに、照明、前記素材の画像を表示する手段の表示面、および観者の相対的位置関係に基づいて、前記素材の画像を表示する。

本発明の第２の態様は、画像処理方法である。この方法は、第１の表示手段と第２の表示手段とを含む画像処理システムによって実行される画像処理方法であって、前記第１の表示手段が、空間を表示するステップであって、前記空間は１つまたは複数の素材を含む、ステップと、前記空間内の素材を特定するステップと、照明情報と、前記特定した素材に関連付けられた素材情報とを特定するステップと、前記第２の表示手段が、前記特定した照明情報、素材情報、並びに、照明、前記素材の画像を表示する手段の表示面、および観者の相対的位置関係に基づいて、前記素材の画像を表示するステップとを含む。

本発明の第３の態様は、画像処理プログラムである。このプログラムは、コンピュータを第１の態様の画像システムとして機能させるプログラムである。

以上説明したように、本発明によれば、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示する画像処理システム、方法、及びプログラムを提供することが可能となる。

本発明の一実施形態の画像処理システムの概略図である。 本発明の一実施形態の画像処理システムで画像表示する空間を説明する図である。 本発明の一実施形態の画像処理システムの画像処理装置のユーザ・インタフェースを説明するための図である。 本発明の一実施形態の画像処理システムの画像処理装置の機能ブロック図である。 本発明の一実施形態の画像処理システムの仮想空間画像処理装置の機能ブロック図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態に係る画像処理システムの仮想空間画像処理装置の処理のフロー図である。 本発明の一実施形態に係る画像処理システムの画像処理装置の処理のフロー図である。 本発明の一実施形態の画像処理システムが表示データをレンダリングする際に考慮される表示面の方位の傾きを仮想的に付与する方法を説明するための図である。 本発明の一実施形態の画像処理システムが表示データをレンダリングする際に考慮される表示面の方位の傾きを仮想的に付与する方法を説明するための図である。 本発明の一実施形態の画像処理システムが表示データをレンダリングする際に考慮される表示面の方位の傾きを仮想的に付与する方法を説明するための図である。 本発明の一実施形態の画像処理システムが表示データをレンダリングする際に考慮される表示面の方位の傾きを仮想的に付与する方法を説明するための図である。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。以下に説明する画像処理システム、方法、及びプログラムは、住宅などの室内・外の空間で用いられる建装材の電子見本帳に適する。すなわち、本実施形態の画像処理システム、方法、及びプログラムは、観察環境の変化や建装材の向きの変化に応じた当該建装材の質感を画像表示することを可能とし、実物の小片を集めたサンプル集や単なる色見本の代替となり得る。

本願発明は、建装材に限定されるものではない。一般性を失うことなく他の例でも実施できる。たとえば、住宅などの室内・外空間は、自動車、電車、船及び飛行機等の乗り物の車内・外空間を含む空間に一般化して説明することができる。建装材は、床材（板、カーペット、石、タイル）、内壁材（板、クロス（革、合皮、紙、合成樹脂、化粧シート等））及び外壁材（サイディング材（板材、石材、タイル材等））及び天井材（板、クロス（革、合皮、紙、合成樹脂、化粧シート等））を含む装材であるが、乗り物の車内装材（革、合皮、布、合成樹脂、化粧シート等）及び車外装材等を含む「素材」に一般化して説明することができる。

図１は、画像処理システムの構成を示す図である。画像処理システムは、画像処理装置１００と仮想空間画像処理装置３００とを含む。画像処理システムは、画像処理装置１００と仮想空間画像処理装置３００へ各種データ及び／又はサービスを提供するサーバ５００を含んでもよい。

図２は、仮想空間画像処理装置３００が備えるモニタ（ディスプレイデバイス等）に表示される仮想空間の一例を示す。仮想空間に関する情報は、壁、床、天井、ドア、窓、及び照明等の間取りの情報を含む。仮想空間情報は、仮想空間画像処理装置３００の空間情報記憶部３０８に格納され、仮想空間画像処理装置３００のレンダリング部３０４が表示データを生成する際に用いられる。仮想空間情報は、仮想空間画像処理装置３００で作成し空間情報記憶部３０８に格納してもよく、サーバ５００から取得して空間情報記憶部３０８に格納してもよい。

図２の仮想空間は、空間の間取りを構成する各種パーツ（壁１〜３、床１、天井１、ドア１、窓１、照明１，２）を含む。仮想空間の情報である仮想空間情報は、各種パーツを識別する情報及び仮想空間における各種パーツの位置を識別する情報を含む。また、仮想空間における光に関する情報（光の方位、色成分及び強度）は、照明情報として定義されている。各種パーツを識別する情報により、パーツの種類（壁、床、天井、ドア等）を識別することができる。位置を識別する情報により、各パーツの仮想空間における場所、他のパーツとの間の境界、距離及び相対的位置関係を算出することができる。各種パーツの素材の選択（決定）方法については、後述する。仮想空間の表示データを生成する際、各種パーツの素材の情報（素材情報：素材の各種特性情報を含む）、各光源２０２，２０４，２０６（照明１及び２並びに太陽）からの光に関する照明情報が考慮される。

例えば、住宅購入希望者は、表示された仮想空間を使用して、質感を確認したい素材（すなわち、パーツ（壁１〜３、床１、天井１等））を指定することができる。仮想空間画像処理装置３００は、クリックされた仮想空間画像処理装置３００の表示部３０２の位置に対応する仮想空間内の位置に存在するパーツを、指定されたパーツとして処理することができる。あるいは、仮想空間画像処理装置３００は、仮想空間における観者の目が接近したパーツを（すなわち仮想空間における観者の目とパーツとの距離が閾値以下になった場合）、指定されたパーツとして処理することができる。画像処理装置１００は、仮想空間画像処理装置３００で指定されたパーツの素材の質感を表示することができる。したがって、住宅購入希望者は、指定したパーツのより詳細な見えの変化（質感）を確認できる。

図３は、仮想空間内の各種パーツの素材を選択する際に、画像処理装置１００で提供されるユーザ・インタフェース（素材ビューア）を例示する図である。例えば、住宅購入希望者は、図３のユーザ・インタフェースを使用して、仮想空間画像処理装置３００で指定されたパーツの素材の質感を確認することができる。さらに、住宅購入希望者は、図３のユーザ・インタフェースを使用して、別の素材へ変更してその別の素材の質感を確認することができる。仮想空間画像処理装置３００は、図３のユーザ・インタフェースを使用して変更された素材が適用された仮想空間の表示情報を生成し表示する。したがって、住宅購入希望者は、仮想空間内でより詳細な質感を確認したいパーツを指定して、そのパーツの素材の質感を確認するだけでなく、別の素材の質感を確認したり、その別の素材を仮想空間に適用させることもできる。

画像処理装置１００と仮想空間画像処理装置３００は、仮想空間に関する情報を共有している。例えば、図３に示すようにユーザ・インタフェース（素材ビューア）は、仮想空間（図２）の各種パーツを選択可能にするパーツリスト４０２を含む。ユーザ・インタフェースは、パーツリストから選択されたパーツに適用可能な素材のカテゴリを選択可能にするリスト（素材カテゴリリスト）４０４を含む。さらに、ユーザ・インタフェースは、素材カテゴリリストから選択されたカテゴリに分類された素材のサムネールのリスト（サムネールリスト）４０６を含む。また、ユーザ・インタフェースは、サムネールリストから選択された素材の画像を表示する質感ビューア領域４０８を含む。さらにまた、ユーザ・インタフェースは、仮想空間についてモデル化された各種照明環境の照明情報（モデル１，２・・・）の選択を可能にする照明環境リスト４１２を含む。照明環境リストは、仮想空間の照明情報とは別に、画像処理装置１００が存在する実環境の照明情報を含んでもよい。照明環境リストには、モデル化された照明情報の概要（時間帯、光源種別・状態、窓の有無）を含んでもよい。質感ビューア領域４０８には、選択された素材の素材情報（色特性、形状特性、反射特性）及び照明情報（光の方位、色成分及び強度）が反映された画像が表示される。質感ビューア領域４０８は、ディスプレイの表示領域の全体を占めるように構成してもよい。以下に説明するように、画像処理装置１００は、画像処理装置（タブレット端末）の傾斜（ディスプレイ面の方位）を考慮して、素材の画像をレンダリングして表示する。したがって、観者は、素材を手にしているかのように、素材の画像を観察し素材の質感を体験することができる。

図４は、本発明に係る画像処理装置の一実施形態である携帯型端末の機能ブロック図である。図４の携帯型端末１００は、例えば、タブレット端末であり、ディスプレイ、プロセッサ、メモリ、各種センサを備える。携帯型端末１００は、通信デバイス、キーボード、コンピュータマウスを含むポインティングデバイス、及びマイクロフォン等の入力デバイスを含んでもよい。入力デバイスは、入力部１１２を構成する。

ディスプレイデバイスは、画像の表示に適したディスプレイデバイスであればよく、これに限定するものではないが、電磁誘導式、静電容量式又は感圧式のタッチディスプレイデバイスが好ましい。ディスプレイデバイスは、表示部１０２を構成する。電磁誘導式、静電容量式又は感圧式のタッチディスプレイデバイスは、表示部１０２および入力部１１２を構成する。

プロセッサは、ＣＰＵの他、ＧＰＵやコプロセッサを含んでもよい。プロセッサは、表示部に表示される画像に対応する表示データを生成する。プロセッサは、レンダリング部（表示データ生成部）１０４を構成する。

メモリは、ＨＤＤなどの磁気ドライブ及びＳＳＤなどの半導体ドライブのいずれでもよい。メモリは、内蔵型でも外付型でも良い。メモリは、周囲照明情報記憶部１０６及び素材情報記憶部１１６を構成する。メモリは、傾き検出部１１０により検出されたタブレット端末の傾き（ディスプレイ面の方位）の情報を記憶することもできる。

各種センサは、タブレット端末の周囲の照明情報（周囲照明情報）を取得するのに適したデバイス（以下、周囲照明情報取得デバイス）及びタブレット端末の傾きの検出に適したデバイス（傾き検出デバイス）であればよい。例えば、周囲照明情報取得デバイスは、測光デバイス、照度センサ及びカメラの１以上とすることができる。周囲照明情報取得デバイスは内蔵型でも外付型でもよい。また、例えば、傾き検出デバイスは、ジャイロセンサ、加速度センサ、磁気センサの１以上とすることができる。周囲照明情報取得デバイスは、プロセッサと共に又は単独で、周囲照明情報取得部１０８を構成する。また、傾き検出デバイスは、プロセッサと共に又は単独で、傾き検出部１１０を構成する。さらに、各種センサは、観者（例えば、観者の目）の位置を検出するのに適したデバイスを備えてもよい。このようなデバイスは、赤外線センサ及びカメラの１以上とすることができる。

例えば、周囲照明情報取得デバイスとしてのカメラは、周囲全周囲画像カメラまたは全天球撮影カメラ（omnidirectional camera）とすることができ、このようなカメラでタブレット端末の全周囲を撮影した全周囲画像の色味や輝度を実環境の照明情報（周囲照明情報）とすることができる。あるいは、内蔵型のカメラでも外付型のカメラでも、カメラを水平面に置いた状態で撮影した基準画像と、カメラの向きを変えて複数回に分けて撮影したタブレット端末の全周囲の画像とを組み合わせて（繋ぎ合わせて）、全周囲画像を生成し、生成された全周囲画像の色味や輝度を実環境の照明情報（周囲照明情報）とすることができる。カメラが備えるイメージセンサのダイナミックレンジ（ラチチュード（latitude））がタブレット端末の周囲の実環境の輝度分布の輝度レンジより狭い場合は、露光量を多段に変えて撮影した後に合成する写真技法（ハイダイナミックレンジ合成（high dynamic range imaging：HDR）を用いてもよい。

例えば、タブレット端末の内蔵カメラ（またはタブレット端末との相対的位置関係が既知である外付けカメラ）で撮影される画像から、当該タブレット端末の操作者（観者）の顔（目）の位置を特定することで、タブレット端末の表示面と観者の相対的位置関係を特定することができる。撮影と観者の顔（目）の位置の特定を短い時間間隔で繰り返すことで、タブレット端末の表示面と観者の相対的位置関係をリアルタイムで特定することができる。

通信デバイスは、外部機器との接続用のバス（例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ））インタフェース、有線通信用のネットワークインターフェースカード（ＮＩＣ）及び無線通信用の無線デバイスの１以上とすることができる。通信デバイスは、通信部１１４を構成する。タブレット端末１００は、通信部１１４を介して外部（仮想空間画像処理装置３００又はサーバ５００）から照明情報（仮想空間についてモデル化された照明情報（空間照明情報））及び素材情報を取得することもできる。外部から取得した照明情報は、周囲照明情報（実空間の照明情報）の代替として用いることができる。

周囲照明情報記憶部１０６は、周囲照明情報取得部１０８によって取得された周囲照明情報又は通信部１１４を介して外部から取得された空間照明情報を記憶する。

素材情報記憶部１１６は、通信部１１４を介して外部から取得された素材情報を記憶する。素材情報は、素材の質感に関する情報である。素材情報は、ピクセル（画素）毎の法線情報（形状特性：装材（床材、壁材、天井材）におけるピクセルの面の向きを示す情報であり、例えば、画素の法線ベクトル情報である）を含む。また、素材情報は、画素毎のＲＧＢ情報（色特性：素材の地の色を示す情報）、画素毎の光沢の強さの情報及び光沢の鋭さの情報（反射特性）を含む。光沢の強さの情報は、各ピクセルのＲＧＢ毎の強さの情報としてもよい。周囲照明情報（または外部から取得した空間照明情報）及び素材情報に基づいて表示データが生成される。この結果、素材の質感（光沢感、ざらつき感、凹凸感）が画像表示される。

タブレット端末１００は、仮想空間画像処理装置３００で指定された仮想空間内のパーツの素材をディスプレイに表示することができる。上述したように、観者は、仮想空間画像処理装置３００のユーザ・インタフェース（ＵＩ）を介して、質感を確認したい素材（すなわち、パーツ（壁１〜３、床１、天井１等））を指定することができる。タブレット端末１００は、仮想空間画像処理装置３００から、指定されたパーツおよび素材を識別する情報を受信し、当該素材をディスプレイに表示することができる。

また、タブレット端末１００は、観者とのインタラクションのためのユーザ・インタフェース（ＵＩ）(例えば、図３の素材ビューア）を提供するＵＩ提供部（不図示）を備える。上述したように、観者は、ＵＩを介して、表示させたい素材を選択することができる。すなわち、タブレット端末１００は、ＵＩを介して観者からの素材の選択を受信し、当該素材をディスプレイに表示することができる。ＵＩは、観者が表示させたい素材を選択することができる、階層形式のカテゴリ別メニュー（素材カテゴリ）を含んでもよい。例えば、素材を壁材、床材及び天井材のようなカテゴリ別に分類し、観者がカテゴリの階層にしたがって素材を選択できるようにしてよい。サブカテゴリでは複数の素材のサムネールを提示して、観者が表示させたい素材を選択させてもよい。

図５は、本発明の一実施形態である画像処理システムの仮想空間画像処理装置３００の機能ブロック図である。仮想空間画像処理装置３００は、仮想空間画像のレンダリング及び表示に適したコンピュータであり、モニタ、プロセッサ、メモリを備える。仮想空間画像処理装置３００を構成するコンピュータは、通信デバイス、キーボード、コンピュータマウスを含むポインティングデバイス、及びマイクロフォン等の入力デバイスを含んでもよい。入力デバイスは、入力部３１２を構成する。

モニタは、仮想空間の画像表示に適したディスプレイデバイス等であればよく、表示部３０２を構成する。

プロセッサは、ＣＰＵの他、ＧＰＵやコプロセッサを含んでもよい。プロセッサは、表示部に表示される画像に対応する表示データを生成する。プロセッサは、レンダリング部（表示データ生成部）３０４を構成する。また、プロセッサは、入力デバイスと共に又は単独で、仮想空間における観者（例えば、観者の目（視点）、あるいはカメラ）の位置を検出する空間内観者位置検出部３１８を構成する。

メモリは、ＨＤＤなどの磁気ドライブ及びＳＳＤなどの半導体ドライブのいずれでもよい。メモリは、内蔵型でも外付型でも良い。メモリは、空間照明情報記憶部３０６、空間情報記憶部３０８及び素材情報記憶部３１６を構成する。

通信デバイスは、外部機器との接続用のバス（例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ））インタフェース、有線通信用のネットワークインターフェースカード（ＮＩＣ）及び無線通信用の無線デバイスの１以上とすることができる。通信デバイスは、通信部３１４を構成する。仮想空間画像処理装置を構成するコンピュータ３００は、通信部３１４を介して外部（携帯型端末１００又はサーバ５００）との間で、空間情報、空間照明情報及び素材情報を送受することができる。空間照明情報記憶部３０６は空間照明情報を記憶する。素材情報記憶部３１６は素材情報を記憶する。空間情報記憶部３０８は空間情報を記憶する。

仮想空間画像処理装置３００のレンダリング部（表示データ生成部）３０４及び空間内観者位置検出部３１８を、サーバ５００に実装してもよい。これらの機能をサーバ５００に実装する場合には、仮想空間画像処理装置３００は、通信部３１４を介して、サーバ５００がレンダリングした空間の表示データを受信して表示部３０２に表示することができる。

図６は、周囲照明情報取得部１０８によって周囲照明情報が取得される空間を示す。図６において、ｘ軸及びｙ軸は水平面内で互いに直交する軸であり、ｚ軸は水平面内に直交する軸である。図６の空間には、２つの電灯２０２及び２０４と太陽２０６を含む合計３つの光源が示されている。ｘ軸、ｙ軸及びｚ軸の交点を周囲照明情報取得部１０８の位置として、２つの電灯２０２及び２０４並びに太陽２０６の３つの光源からの光を観測し、光源毎に観測される光の方位、色成分及び強度（輝度）を、空間における周囲照明情報として取得する。光源の数は、３つに限定されない。光源は、発光体に限定されず、周囲照明情報取得部１０８に向けて光を反射する反射体でもよい。空間内で観測される全ての光源の周囲照明情報（光の方位、色成分及び強度）を取得してもよい。取得された周囲照明情報は、周囲照明情報記憶部１０６に記憶される。

周囲照明情報の代替として、通信部１１４を介して外部から空間照明情報を取得することができる。空間照明情報及び周囲照明情報を単に照明情報という。空間照明情報は、南向きの窓（太陽光が差し込む窓）があり４灯のダウンライトがある部屋や、窓の無く電灯が１つの寝室など、モデル化された空間における照明の情報（予め外部の仮想空間画像処理装置３００又はサーバ５００などに格納されている照明の情報）とすることができる。モデル化された空間は、販売中／建設予定の建築物件のモデルルームの間取り内の１つ又は複数の空間とすることができる。すなわち、仮想空間における照明情報を反映させてタブレット端末１００で素材を表示することができるため、観者は、その仮想空間内で素材を見た場合の質感を疑似体験することができる。例えば、質感を確認したいパーツを指定する際にクリックされた位置（すなわち、クリックされた仮想空間画像処理装置３００の表示部３０２の位置に対応する仮想空間内の位置）における照明の方向や明るさを用いることができる。あるいは、質感を確認したいパーツ内の所定の位置（パーツの中心など）における照明の方向や明るさを用いることもできる。さらに、タブレット端末１００の表示部１０２上で指示された位置（例えば、指でなぞられた位置）に応じて、素材を懐中電灯で照らしているかのように表示することもできる。この場合、例えば、表示部１０２上で指示された位置に応じた仮想空間内の位置に、新たな照明情報（懐中電灯の照明情報）を追加する。

図７は、図６に示した空間にタブレット端末１００を配置した状態を示す。図７には、タブレット端末１００によって表示される画像の観者の目２０８も示されている。タブレット端末１００は、ディスプレイ面を上向きにして、ディスプレイ面がｘｙ面に平行と成るように、ｘ軸、ｙ軸及びｚ軸の交点に配置されている。目２０８の方位は、観者検出部１１８によって検出されるディスプレイ面の法線に対する方位でもよく、ディスプレイ面の法線に対する予め決められた方位と（観者検出部１１８によって検出しない）してもよい。

図７に示す状態で、レンダリング部１０４は、素材の面がディスプレイ面に重ねられているかのように素材の表示データを生成する。生成された表示データがディスプレイデバイスに表示されると、タブレット端末１００を持っている観者は、あたかも素材を自身の手で持っているかのように、素材の質感を観察することができる。

レンダリング部１０４は、素材情報記憶部１１６からレンダリングする素材の素材情報（ピクセル毎の法線情報（形状特性）、ＲＧＢ情報（色特性）、光沢の強さの情報及び光沢の鋭さの情報）を読み出し、周囲照明情報記憶部１０６から照明情報（１つまたは複数の光源からの光の方位、色成分及び強度（輝度））を読み出し、各画素における観者の方位に反射する色成分及び強度（輝度）を計算して表示データを生成する。生成された表示データが用いられ、表示部に画像が表示される。図７に示す状態では、素材の表面に３つの光源（２つの電灯２０２及び２０４並びに太陽２０６）から入射し、目２０８の方位に反射する光の色成分及び強度（輝度）が計算される。

図８に示す状態では、タブレット端末１００のディスプレイ面は水平面（ｘｙ面）から傾斜している。この傾斜は、電灯２０２の光がディスプレイ面に入射しない程度の傾きである。傾き検出部１１０がこの傾斜を検出し、レンダリング部１０４は、表示データの生成の際に検出した傾斜を考慮する。すなわち、レンダリング部１０４は、素材の表面に２つの光源（１つの電灯２０４及び太陽２０６）から入射し、目２０８の方位に反射する光の色成分及び強度（輝度）を計算し表示データを生成する。

さらに、図９に示す状態では、タブレット端末１００のディスプレイ面はｚ軸に平行に配置されている。この配置は、２つの電灯２０２及び２０４の光がディスプレイ面に入射しない配置である。傾き検出部１１０がこのときのタブレット端末１００の傾斜を検出し、レンダリング部１０４は、表示データの生成の際に検出した傾斜を考慮する。すなわち、レンダリング部１０４は、素材の表面に１つの光源（太陽２０６）のみから入射し、目２０８の方位に反射する光の色成分及び強度（輝度）を計算し表示データを生成する。

図７から９を参照して説明したように、レンダリング部１０４によって生成された表示データは、タブレット端末１００の傾き（ディスプレイ面の方位）および目の位置（方位）が反映されている。したがって、タブレット端末１００を持っている観者は、タブレット端末１００を傾けたり、目の位置（方位）を変えたりすることで、素材の実物を観察している時と同様に、素材の質感を観察することができる。

レンダリング部１０４は、ズーム機能を実装することもできる。上述したように、レンダリング部１０４は、素材の面がディスプレイ面に重ねられているかのように素材の表示データを生成する。ディスプレイ面と、タブレット端末１００を保持する観者との間の距離は、略観者の腕の長さとなり、大きく変化しない。したがって、ユーザ・インタフェース（ＵＩ）を介して受信する観者からのズーム・インの指示に応答して、素材がディスプレイ面と観者との間に置かれているかのように素材の表示データを生成する、あるいは、ＵＩを介して受信するズーム・アウトの指示に応答して、ディスプレイ面が素材と観者との間に置かれている（素材がディスプレイ面の裏側に置かれている）かのように素材の表示データを生成する、ズーム機能をレンダリング部１０４に実装することは有用である。例えば、観者は、ディスプレイ面が水平面に垂直となるようにタブレット端末を保持し、壁材の素材をさせる際に、ズーム・アウト機能を使用して、２〜３ｍは離れた位置の壁を想定して、素材の質感を観察することが可能になる。

図１０は、仮想空間画像処理装置の処理のフローチャートである。

ステップＳ７０１で、仮想空間画像処理装置３００（レンダリング部３０４）は、仮想空間照明情報を取得する。空間照明情報記憶部３０６に予め格納されたモデル化された空間の照明情報（空間照明情報）が取得される。空間照明情報は、通信部３１４を介してサーバ５００又は携帯型端末１００から取得され空間照明情報記憶部３０６に格納された空間照明情報とすることができる。

ステップＳ７０３で、仮想空間画像処理装置３００（レンダリング部３０４）は、予め各パーツに関連付けられた素材の識別子に対応する素材情報を取得する。あるいは、携帯型端末１００からのパーツの識別子及び当該パーツに適用する素材の識別子を受信し、応答して、当該素材の素材情報（色特性、形状特性、反射特性）を取得する。素材情報記憶部３１６に予め格納された素材情報が取得される。素材情報は、通信部３１４を介してサーバ５００又は携帯型端末１００から取得し素材情報記憶部３１６に記憶された素材情報とすることができる。素材情報、上述した色特性、形状特性及び反射特性を示す情報である。

ステップＳ７０５で、仮想空間画像処理装置３００（観者位置検出部３１８）は、仮想空間における観者の目の位置（視点あるいはカメラの位置）を決定する。

ステップＳ７０７で、仮想空間画像処理装置３００（レンダリング部３０４）は、識別された素材が配置された空間（仮想空間）の表示データをレンダリングする。空間の表示データのレンダリングは、取得した照明情報及び素材情報、並びに決定した仮想空間における観者の目の位置に基づく。

ステップＳ７０９で、仮想空間画像処理装置３００（表示部３０２）は、表示データを用いて空間（仮想空間）の画像を表示（再表示）する。

ステップＳ７１０で、仮想空間画像処理装置３００は、質感を確認したいパーツが指定されたかどうかを決定する。指定された場合は、ステップＳ７１２へ進み、指定されていない場合は、ステップＳ７１１へ進む。

ステップＳ７１２で、仮想空間画像処理装置３００は、ステップＳ７１０で指定されたパーツおよびそのパーツの素材の識別子を送信する。

ステップＳ７１１で、仮想空間における観者の目（視点）が変更されたかどうか（仮想空間が回転されたかどうか、又は拡大縮小されたかどうか）を決定する。観者の目（視点）が変更された場合は、ステップＳ７０５へ戻り、空間（仮想空間）の表示データのレンダリングをやり直し画像を再表示する（ステップＳ７０９）、変更されない場合はステップＳ７１０へ戻る。

図１１は、画像処理装置の処理のフローチャートであり、上述した携帯型端末１００によって実行される処理フローの一例である。

ステップＳ６００で、携帯型端末１００は、仮想空間画像処理端末３００から、指定されたパーツおよびそのパーツの素材の識別子を受信する。

ステップＳ６０１で、携帯型端末１００（レンダリング部１０４）は、周囲照明情報を取得する。当該携帯型端末が配置された実環境において周囲照明情報取得部１０８によって取得された照明情報、又は周囲照明情報記憶部１０６に格納された照明情報が取得される。代替として、通信部１１４を介して取得されたモデル化された空間における外部照明情報、又は通信部１１４を介して取得され周囲照明情報記憶部１０６に格納された外部照明情報が取得される。

ステップＳ６０３で、携帯型端末１００（レンダリング部１０４）は、表示する素材の素材情報（色特性、形状特性、反射特性）を取得する。通信部１１４を介して外部から取得され素材情報記憶部１１６に記憶された素材情報が取得される。たとえば、色特性は素材の画素毎のＲＧＢ情報であり、形状特性は素材の画素毎の法線ベクトル情報であり、反射特性は画素毎の光沢の強さの情報及び光沢の鋭さの情報である。

ステップＳ６０５で、携帯型端末１００（レンダリング部１０４）は、照明、ディスプレイ面及び観者の相対的位置関係を特定する。携帯型端末１００（レンダリング部１０４）は、照明、ディスプレイ面及び観者の相対的位置関係を、照明情報に含まれる光の方位と、ディスプレイ面の方位及び観者の目の方位の少なくとも１つとを用いて計算することにより、特定することができる。携帯型端末の傾き及び観者の目の方位は、傾き検出部１１０及び観者検出部１１８によってそれぞれ検出され、レンダリング部１０４がアクセスできるようにメモリなどに保持されている。

ステップＳ６０７で、携帯型端末１００（レンダリング部１０４）は、取得した照明情報と、計算した相対的位置関係と、取得した素材情報（色特性、形状特性、反射特性）とに基づいて、素材の表示データをレンダリングする。

ステップＳ６０９で、表示部１０２は、表示データを用いて素材の画像を表示（再表示）する。

ステップＳ６１１で、表示部１０２に画像表示された素材を別の素材に変更して仮想空間のパーツに適用することが選択されたかどうかを決定する。素材の変更が選択されない場合、ステップＳ６０５へ戻る。

素材の適用が選択された場合、ステップＳ６１３で、仮想空間のパーツの識別子及び選択された素材の識別子を送信する。送信された仮想空間のパーツの識別子及び選択された素材の識別子は、仮想空間画像処理装置３００又はサーバ５００によって、受信される。また、ステップＳ６１３で、表示部１０２は、Ｓ６１１で選択された別の素材の画像をＳ６０１から６０９のように表示することもできる。

なお、ステップＳ６０１は、ステップＳ６０３の後に実行してもよい。特に、実環境において取得された照明情報を用いる場合、ステップＳ６０１は、ステップＳ６０５からＳ６０９のループに含めて、レンダリング部１０４が表示情報をレンダリングする毎に照明情報を取得し直すようにしてもよい。

上記では、傾き検出デバイス（ジャイロセンサ、加速度センサ、磁気センサの１以上）を備えた携帯端末を、画像処理装置１００として用いる実施形態を説明した。この例では、レンダリング部１０４がタブレット端末１００の傾き（ディスプレイ面の方位）を反映して、素材の面がディスプレイ面に重ねられているかのように素材の表示データを生成する。したがって、タブレット端末１００を持っている観者は、タブレット端末１００を傾けることで、あたかも素材を自身の手で持っているかのように、素材の質感を観察することができる。

しかしながら、画像処理装置１００は、傾き検出デバイス（ジャイロセンサ、加速度センサ、磁気センサの１以上）を備えた携帯端末に限られない。例えば、傾き検出デバイスを備えていない携帯端末を画像処理装置１００として用いてもよい。また、傾き検出デバイスを備えていないデスクトップ型またはラップトップ型のコンピュータを画像処理装置１００として用いてもよい。ラップトップ型のコンピュータはディスプレイ装置を含む。デスクトップ型コンピュータのディスプレイ装置は、内蔵型でも外付け型でもよい。

再び、図４を参照して、傾き検出デバイスを備えていない携帯端末を画像処理装置１００として用いる例を説明する。なお、画像処理装置１００は、タブレット端末のような携帯端末に限られず、傾き検出デバイスを備えていないデスクトップ型コンピュータと据え置き型のディスプレイ装置との組合せであってもよい。図４に示すように、画像処理装置１００は、傾き検出部１１０の代替または追加として、素材傾斜部１２０を備える。画像処理装置１００のプロセッサ、コンピュータマウスを含むポインティングデバイス、ディスプレイデバイスおよび他の要素のいずれかまたはこれらの組み合わせは、素材傾斜部１２０を構成する。素材傾斜部１２０は、仮想空間の中に配置された素材を傾斜させる。レンダリング部（表示データ生成部）１０４は、表示データをレンダリングする際に素材の傾斜を考慮する。

例えば、素材傾斜部１２０は、ポインティングデバイス（表示面におけるマウスポインタ）の移動距離および移動方向に応じた仮想空間の中の素材の仮想的な傾きを算出して、メモリを介してまたは直接に、レンダリング部１０４へ提供する。別の例では、素材傾斜部１２０は、タッチディスプレイデバイス（表示面）におけるスワイプの距離および方向に応じた仮想空間の中の素材の傾きを算出して、メモリを介してまたは直接に、レンダリング部１０４へ提供する。レンダリング部１０４は、表示データの生成の際に仮想空間の中の素材の傾斜を考慮する。

図１２Ａは、例えば、画像処理装置１００を図７のように配置した状態で、表示された素材の画像の上にマウスポインタを置いた初期状態を示す図である。図１２Ａは、ディスプレイ装置のフレーム（ベゼル）内の表示領域の全体に、素材が画像表示された状態を示す図である。素材が画像表示される領域は、ディスプレイ装置の表示領域全体である必要はなく、例えば、図３を参照して説明した質感ビューア領域４０８のような、ディスプレイ装置の表示領域の一部であってもよい。また、図１２Ａに示す素材の画像のパターンは説明のための例示である。このパターンが、観者に素材の傾斜の向きおよび量を認識することを容易にする傾斜インジケータとして素材の画像にオーバーレイされるように、表示されてもよい。素材自体の模様が、観者に素材の傾斜の向きおよび量を認識することを容易にする場合には、このようなパターンを追加する必要はない。初期状態におけるマウスポインタの位置は、任意の位置であり、表示された素材の画像の中心である必要はない。

図１２Ｂは、マウスポインタを、初期状態の位置（図１２Ａ）から水平に右側の位置に移動した状態を示す。素材傾斜部１２０は、マウスポインタの移動距離および移動方向に応じて、仮想空間の中の素材の中心を通る垂直軸を中心とする回転方向の当該素材の傾きを計算して、レンダリング部１０４へ提供する。レンダリング部１０４は、表示データの生成の際に、素材傾斜部１２０により計算された傾斜を考慮する。例えば、レンダリング部１０４は、素材情報記憶部１１６に記憶されたピクセルの面の向きを示す情報（素材の画素の法線ベクトル）に、素材傾斜部１２０がマウスポインタの移動距離および移動方向に応じて計算した傾斜に相当する回転を加えて、表示データを生成する。図１２Ｂにおいて、表示された素材の右端が紙面の奥へ、表示された素材の左端が紙面の手前へ移動したように表示されている。

なお、仮想空間の中の素材に対して、レンダリング部１０４は、素材傾斜部１２０により計算された傾斜を考慮して、各画素における観者の方位に反射する色成分及び強度（輝度）を計算し、さらに、計算した各画素における色成分及び強度（輝度）を、ディスプレイ装置の画素にマッピングして、表示データを生成する。これにより、レンダリング部１０４は、図１２Ｂ〜Ｄに示すように、傾斜した素材を画像表示することができる。

図１２Ｃは、マウスポインタを、初期状態の位置（図１２Ａ）から垂直に下側の位置に移動した状態を示す。素材傾斜部１２０は、マウスポインタの移動距離および移動方向に応じて、仮想空間の中の素材の中心を通る水平軸を中心とする回転方向の当該素材の傾きを計算して、レンダリング部１０４へ提供する。レンダリング部１０４は、表示データの生成の際に、素材傾斜部１２０により計算された傾斜を考慮する。図１２Ｃにおいて、表示された素材の下端が紙面の奥へ、表示された素材の上端が紙面の手前へ移動したように表示されている。

図１２Ｄは、マウスポインタを、初期状態の位置（図１２Ａ）から斜め右下側の位置に移動した状態を示す。素材傾斜部１２０は、マウスポインタの移動距離および移動方向に応じて、仮想空間の中の素材の中心を通る対角軸を中心とする回転方向の当該素材の傾きを計算して、レンダリング部１０４へ提供する。レンダリング部１０４は、表示データの生成の際に、素材傾斜部１２０により計算された傾斜を考慮する。図１２Ｄにおいて、表示された素材の右下端が紙面の奥へ、表示された素材の左上端が紙面の手前へ移動したように表示されている。

図１２Ａから１２Ｄを参照して説明したように、例えば、画像処理装置１００を図７のように配置した状態で、素材傾斜部１２０が仮想空間の中の素材の傾きをレンダリング部１０４へ提供することができる。したがって、画像処理装置１００が図７のように配置した状態で、レンダリング部１０４は、素材傾斜部１２０により計算された素材の傾きを考慮して表示データをレンダリングし、表示部１０２がこれを表示する。したがって、観者は、ポインティングデバイスを操作することで、傾斜した素材の質感を観察することができる。

上述したように、素材傾斜部１２０は、ポインティングデバイスの移動距離および移動方向またはスワイプの距離および方向に応じた表示面の方位の仮想的な傾きを算出することができるが、素材傾斜部１２０は、仮想空間の中の素材の傾きの値（数値）の入力を観者に促すためのユーザ・インタフェース（ＵＩ）を表示して、ＵＩを介して素材の傾きを得るように構成してもよい。

再び図４を参照する。傾き検出デバイスを備えていない携帯端末を画像処理装置１００として用いる例を説明する。上述したように、傾き検出デバイスを備えていないデスクトップ型またはラップトップ型のコンピュータを画像処理装置１００として用いてもよい。図４に示すように、傾き検出部１１０の代替または追加として、素材傾斜部１２２を用いて、仮想空間の中の素材の傾きを提供してもよい。画像処理装置１００とは別個の素材傾斜部１２２は、無線または有線で画像処理装置１００と接続され、仮想空間の中の素材の傾きを提供する。素材傾斜部１２２は、例えば傾き検出デバイス（ジャイロセンサ、加速度センサ、磁気センサの１以上）を実装した板形状物体とすることができる。

板形状物体の表面を仮想空間の中の素材の表面と仮定して、傾き検出デバイスを実装した板形状物体の向きが観者により変えられると、素材傾斜部１２２により検出された傾きが、仮想空間の中の素材の表面の傾きとして、レンダリング部１０４へ提供される。レンダリング部１０４は、表示データの生成の際に、素材傾斜部１２２により提供された傾斜を考慮する。したがって、素材傾斜部１２２（板形状物体）を持っている観者は、素材傾斜部１２２（板形状物体）を傾けることで、表示画像を通じて、素材の実物を手にして観察している時と同様に、素材の質感を観察することができる。

以上、説明したように、本発明によれば、空間に配置されている素材のより詳細な見えの変化（質感）を確認することを可能にする、すなわち、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示することを可能にする画像処理システム、方法、及びプログラムを提供できる。

なお、上記実施形態の説明では、画像処理システムが携帯型端末（タブレット端末）と仮想空間画像処理端末（コンピュータ）とを含む構成を説明したが、仮想空間画像処理端末の機能部を携帯型端末に実装し、本発明を実施することができる。また、画像処理システムの構成にサーバを含め、仮想空間画像処理端末の一部の機能をサーバに実装し、本発明を実施することができる。

１００ 携帯型端末
１０２ 表示部（感圧式ディスプレイ）
１０４，３０４ レンダリング部（表示データ生成部）
１０６ 周囲照明情報記憶部
１０８ 周囲照明情報取得部（測光デバイス、照度センサ、カメラ）
１１０ 傾き検出部（ジャイロセンサ、加速度センサ、磁気センサ）
１１２，３１２ 入力部（キーボード、キーパッド、マウス、ポインティングデバイス、マイク）
１１４，３１４ 通信部（ネットワークＩＦカード（ＮＦＣ）、無線デバイス）
１１６，３１６ 素材情報記憶部
１１８ 観者検出部（赤外線センサ、カメラ）
１２０，１２２ 素材傾斜部
２０２，２０４ 電灯
２０６ 太陽
２０８ 目
３００ コンピュータ
３０２ 表示部（モニタ）
３０６ 空間照明情報記憶部
３０８ 空間情報記憶部
３１８ 空間内観者位置検出部

Claims (15)

1. 画像処理システムであって、
   空間を表示する手段であって、前記空間は１つまたは複数の素材を含む、手段と、
   前記素材の画像を表示する手段と、
   前記空間内の素材を特定する手段と、
   照明情報と、前記特定した素材に関連付けられた素材情報とを特定する手段と、
   を備え、
   前記素材の画像を表示する手段は、前記特定した照明情報、素材情報、並びに、照明、前記素材の画像を表示する手段の表示面、および観者の相対的位置関係に基づいて、前記素材の画像を表示することを特徴とするシステム。
2. 前記素材の画像を表示する手段の表示面の方位を特定する手段をさらに備え、
   前記素材の画像を表示する手段は、前記特定した照明情報、素材情報、および、方位に基づいて、前記素材の画像を表示することを特徴とする請求項１に記載のシステム。
3. 前記素材を仮想空間の中で傾斜させる素材傾斜手段をさらに備え、
   前記素材の画像を表示する手段は、前記特定した照明情報、素材情報、および、前記素材の前記仮想空間の中の傾斜に基づいて、前記素材の画像を表示することを特徴とする請求項１に記載のシステム。
4. 前記素材の画像を表示する手段の周囲照明情報を取得するように構成された周囲照明情報取得手段をさらに備え、前記照明情報は、前記周囲照明情報取得手段により取得された前記周囲照明情報である、請求項１から３のいずれか一項に記載のシステム。
5. 前記照明情報は、前記空間内の照明情報であることを特徴とする請求項１から３のいずれか一項に記載のシステム。
6. 前記素材の画像を表示する手段の観者の目の位置を特定する手段をさらに備え、
   前記素材の画像を表示する手段は、前記特定した照明情報、素材情報、目の位置、並びに、方位または前記素材の前記仮想空間の中の傾斜に基づいて、前記素材の画像を表示することを特徴とする請求項２から５のいずれか一項に記載のシステム。
7. 前記空間を表示する手段は、前記素材を異なる素材に変更する手段をさらに備えたことを特徴とする請求項１から６のいずれか一項に記載のシステム。
8. 第１の表示手段と第２の表示手段とを含む画像処理システムによって実行される画像処理方法であって、
   前記第１の表示手段が、空間を表示するステップであって、前記空間は１つまたは複数の素材を含む、ステップと、
   前記空間内の素材を特定するステップと、
   照明情報と、前記特定した素材に関連付けられた素材情報とを特定するステップと、
   前記第２の表示手段が、前記特定した照明情報、素材情報、並びに、照明、前記第２の表示手段の表示面、および観者の相対的位置関係に基づいて、前記素材の画像を表示するステップと
   を含むことを特徴とする方法。
9. 前記第２の表示手段の表示面の方位を特定するステップをさらに含み、
   前記第２の表示手段は、前記特定した照明情報、素材情報、および、方位に基づいて、前記素材の画像を表示することを特徴とする請求項８に記載の方法。
10. 前記素材を仮想空間の中で傾斜させるステップをさらに含み、
    前記第２の表示手段は、前記特定した照明情報、素材情報、および、前記仮想空間の中での前記素材の傾斜に基づいて、前記素材の画像を表示することを特徴とする請求項８に記載の方法。
11. 前記画像処理システムが周囲照明情報取得手段をさらに備え、
    前記方法は、前記周囲照明情報取得手段が前記第２の表示手段の周囲照明情報を取得するステップをさらに含み、前記照明情報は、前記周囲照明情報である請求項８から１０のいずれか一項に記載の方法。
12. 前記照明情報は、前記空間内の照明情報であることを特徴とする請求項８から１０のいずれか一項に記載の方法。
13. 前記第２の表示手段の観者の目の位置を特定するステップをさらに含み、
    前記素材の画像を表示するステップは、前記特定した照明情報、素材情報、目の位置、並びに、方位または前記仮想空間の中での前記素材の傾斜に基づいて、前記素材の画像を表示することを特徴とする請求項９から１２のいずれか一項に記載の方法。
14. 前記空間を表示するステップは、前記素材を異なる素材に変更するステップをさらに含むことを特徴とする請求項８から１３のいずれか一項に記載の方法。
15. 請求項８から１４のいずれか一項に記載の方法をコンピュータに実行させるためのプログラム。

Images