JP6364777B2 - 画像データ取得システム及び画像データ取得方法 - Google Patents

Description

本発明は、半透明物体表面の三次元形状、法線及び分光による内部散乱特性を取得する画像データ取得システム及び画像データ取得方法に関する。

近年、コンピュータシステムにおける演算速度の向上や画像処理のアルゴリズムの開発などにより、コンピュータ資源を用いた画像の作成を行うＣＧ（computer graphics）が実用化されている。
たとえば、３次元ＣＧは、３次元オブジェクトが所定の光源によって照らされたときの光学現象を数学モデルで表現している。また、この３次元ＣＧは、数学モデルに基づいて、３次元オブジェクトの表面に陰影や濃淡を付け、さらに模様を貼り付けて、２次元画面に表示する３次元的な２次元画像を生成する。

この３次元ＣＧを作成するためには、物質の３次元形状、分光、法線の画像データが必要となる。また、３次元ＣＧで再現しようとする物体が半透明な物体（以下、半透明物体とする）である場合、物体の内部における散乱特性（ＢＳＳＲＤＦ：Bidirectional Subsurface Scattering Distribution Function、双方向散乱面反射率分布関数）を示す散乱データが必要となる。
現在、様々な計測装置が市販されているが、半透明物体に対応しているものはほとんどない。半透明物体に対するものは、未だ研究段階であり、かつ形状計測に特化したものである。このように、現時点において、半透明物体の３次元形状と法線と分光によって内部散乱特性を、単一システムで一括して計測できる計測装置はない。

半透明物体の形状のみを計測する手法としては、プロジェクタから正弦波パターン（パターン光）を、半透明物体に対して投影する位相シフト法により、反射光の直接反射成分（直接反射光）と間接反射成分（間接反射光）とを分離する手法（例えば、非特許文献１参照）がある。
また、位相シフト法に偏光板を組み合わせることにより、半透明物体からの散乱光の影響を軽減し、形状計測の精度を向上させる手法がある（例えば、非特許文献２、非特許文献３及び非特許文献４参照）。
また、物体の形状計測としては、コンピュータ断層撮影技術を用いた手法（例えば、特許文献４参照）や共焦点パターン投影法を用いて計測する手法がある（例えば、特許文献５参照）。

三次元形状計測手法は、パターン光を投影して計測する装置の場合、この投影するパターン光の解像度の形状情報の精度でしか、物体の三次元形状を計測することができない。
また、３次元形状における局所的な面の傾きである法線情報を取得する方法として、照度差ステレオ法が代表的である。照度差ステレオ法は、通常、３個以上の光源が必要である三次元形状計測手法であるが、２光源でも法線情報を取得できる手法がある（例えば、非特許文献５参照）が、物体の三次元形状を計測することができない。

また、特許文献１には、物体の三次元形状と対象表面の分光情報とを同時に取得する手法が記載されている。すなわち、分光されたパターンを計測する物体の表面に投射し、カメラの前に取り付けた音響光学チューナブルフィルターを制御し、物体の表面から反さされるスペクトルパターンを波長ごとに撮像する。そして、撮像したスペクトルパターンの画像から三角測量法により、物体の三次元形状を取得している。
特許文献１においては、計測する物体の表面に対して白色光を投射し、音響光学チューナブルフィルターの透過波長を制御し、物体面から反射されたスペクトルパターンを、一回あるいは複数回撮像する。そして、得られたスペクトルパターンの画像から、画像演算回路により物体の表面の分光情報を求める。

また、特許文献２には、スリット光投影法(光切断法)による三次元形状計測装置と、分光領域の異なる多数のフィルターを切り替えて撮影することによる分光情報計測器とを組み合わせた手法が記載されている。これにより、物体の三次元形状と対象表面の分光情報とを同時に取得することができる。
さらに、特許文献３には、絶対値としての分光反射率を取得する手法が記載されている。 しかしながら、上述した三次元物体の計測を行う手法は、全て拡散反射物体に限定され、半透明物体には適用できない。

また、半透明物体のＣＧ画像を再現するため、この再現に用いる半透明物体の内部散乱特性の情報を測定して記録する手法としては以下の２つがある。
一つ目は、一般照明下において、光を半透明物体の表面に照射し、半透明物体からの光の反射光がぼける画像を撮影する。そして、反射光のぼけた度合いからＢＳＳＲＤＦと言われる内部散乱特性を記録する手法である（例えば、特許文献４、非特許文献６参照）。
二つ目は、黒のドットパターンを対象の半透明物体に投影し、明るいところから黒のドットパターンの領域内に散乱してくる光の割合から、ＢＳＳＲＤＦを求める内部散乱特性を計測して記録する手法である（例えば、非特許文献７参照）。

また、ＣＧ画像を生成するためにはＢＳＳＲＤＦの近似モデルである、ダイポールモデルのパラメータを算出し、三次元形状、法線、分光の各々のデータ及びダイポールモデルのパラメータを用いたレンダリングを行うことができる（非特許文献８）。

特開２００３−２９４４２４号公報 特開２０００−００９４４０号公報 特開２０１２−０７８２２１号公報 特表２０１２−５０２２６２号公報 特表２０１２−５３０２６７号公報

S. K. Nayer, G.Krishnan, M. D. Grossberg, R. Rasker, "Fast Separation of Direct and Global Components of a Scene using High Frequency Illumination", In (SIGGRAPH) (2006). 壮志傳田, 健大橋, 俊朗江島. 位相シフト法を用いた高速な3 次元計測手法の提案. 電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解, Vol. 99,No. 515, pp. 43-50, 19991217. M. Gupta, A. Agrawal, A. Veeraraghavan and S. Narasimhan: "Structured light 3d scanning under global illumination", Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2011). T. Chen, H. P. A. Lensch, C. Fuchs and H. P. Seidel:"Polarization and phase-shifting for 3d scanning of translucent objects", Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2007). Q. Zhang, M. Ye, R. Yang, Y. Matsushita, B. Wilburn and H. Yu:"Edge-Preserving Photometric Stereo via Depth Fusion", Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2012). 向川康博、鈴木和哉、八木康史、一般照明下での表面下散乱の解析、画像の認識・理解シンポジウム（MIRU2008）. A. Ghosh, T. Hawkins, P. Peers, S. Frederiksen, and P. Debevec"Practical Modeling and Acquisition of Layered Facial Reflectance", In (SIGGRAPH Asia) (2008). H. W. Jensen, S. R. Marschiner, M. Revoy, and P. Hanrahan: "A practical model for subsurface light transport", In (SIGGRAPH) (2001).

しかしながら、上述した手法によっては、レンダリングを行うダイポールモデルを正確に算出する精度で、空間的に密な散乱特性を取得することができない。
また、三次元形状、法線及び分光に基づいて、半透明物体の内部散乱特性を求めるためには、三次元形状、法線及び分光の各々の計測に特化したパターンを、半透明物体に対して投影する必要がある。

また、照度差ステレオ法によって、半透明物体の三次元形状における法線推定手法は考慮されておらず、三次元形状と法線の推定とは一括して行うことができない。このため、上述した手法は、半透明物体の形状、法線及び分光とを個別に計測し、これらの計測結果を基に、半透明物体の内部散乱特性を個別に計測することに特化した手法である。したがって、これら半透明物体の形状、法線、分光及び内部散乱特性の全てを同時かつ単一システムで計測することができない。

このため、半透明物体のＣＧ画像をレンダリングにより生成する際に用いる、半透明物体の三次元形状、法線及び分光の各々を計測する際、それぞれの装置が必要となり、測定装置に多大の費用がかかる。また、複数の計測装置により、透明物体の形状、法線及び分光の各々を求めるために何度かの測定を行った後、半透明物体の内部散乱特性を求めるために多くの時間がかかる。

本発明は、このような状況に鑑みてなされたもので、レンダリングを行い、半透明物体のＣＧ画像を生成する際に用いる半透明物体の形状、法線、分光及び内部散乱特性の全てのデータを、単一システムで単一シーケンスのパターンのみを照射することで一括して求める画像データ取得システム及び画像データ取得方法を提供する。

上述した課題を解決するために、本発明の画像データ取得システムは、半透明物体の表面の三次元形状情報と、表面の法線情報と、陰影の除去された１次散乱特性と、多重散乱特性とを取得する画像データ取得システムであり、２種類以上の異なる位相のパターン光を前記半透明物体に対して照射するパターン光照射部と、パターン光が照射された前記半透明物体の表面からの反射光を分光し、所定の波長毎の分光撮像データを取得する撮像部と、波長毎の前記分光撮像データから、所定の演算式により、位相成分と、前記法線情報及び前記１次散乱特性を求めるための１次散乱反射成分と、前記多重散乱特性を求めるための多重散乱反射成分との各々を分離し、位相画像、１次散乱反射成分画像、多重散乱反射成分画像の各々とを生成する撮像データ解析部と、前記位相画像に基づき、位相シフト法により前記半透明物体の表面の三次元形状情報を求める形状演算部と、２箇所以上の場所の異なるプロジェクタによる前記１次散乱反射成分画像から前記法線情報を求める法線演算部と、前記多重散乱反射成分画像から、所定の関数で表される多重散乱特性を求める散乱演算部とを備えることを特徴とする。

本発明の画像データ取得システムは、前記散乱演算部が、前記多重散乱反射成分画像から画素毎の多重散乱特性を示す前記所定の関数を求めることを特徴とする。

本発明の画像データ取得システムは、前記法線演算部が、２箇所以上の場所の異なるプロジェクタによる２種以上の前記パターン光の各々から求めた前記１次散乱反射成分画像と、各々のプロジェクタ画素から物体表面への方向を表す光線画像とにより、前記半透明物体の陰影情報を求め、当該陰影情報から前記半透明物体の法線と、画像アルベドの１次散乱特性とを求めることを特徴とする。

本発明の画像データ取得システムは、前記形状演算部が、２種以上の前記パターン光毎の位相が各々異なる前記位相画像の各画素と、前記プロジェクタから投影された前記パターン光の各画素との対応を取り、三角測量法によって前記半透明物体の三次元形状を推定することを特徴とする。

本発明の画像データ取得方法は、半透明物体の表面の三次元形状情報と、表面の法線情報と、陰影の除去された１次散乱特性と、多重散乱特性とを取得する画像データ取得方法であり、２種類以上の異なる位相のパターン光を前記半透明物体に対して照射するパターン光照射過程と、パターン光が照射された前記半透明物体の表面からの反射光を分光し、所定の波長毎の分光撮像データを取得する撮像過程と、波長毎の前記分光撮像データから、所定の演算式により、位相成分と、前記法線情報及び前記１次散乱特性を求めるための１次散乱反射成分と、前記多重散乱特性を求めるための多重散乱反射成分との各々を分離し、位相画像、１次散乱反射成分画像、多重散乱反射成分画像の各々とを生成する撮像データ解析過程と、前記位相画像に基づき、位相シフト法により前記半透明物体の表面の三次元形状情報を求める形状演算過程と、２箇所以上の場所の異なるプロジェクタによる前記１次散乱反射成分画像から前記法線情報を求める法線演算過程と、 前記多重散乱反射成分画像から、所定の関数で表される多重散乱特性を求める散乱演算過程とを含むことを特徴とする。

以上説明したように、本発明によれば、画像データ取得システムは、レンダリングを行い、半透明物体のＣＧ画像を生成する際に用いる半透明物体の形状、法線、分光及び内部散乱特性の全てのデータを、単一システムで単一シーケンスのパターンのみを照射することで一括して求めることができる。

本発明の本実施形態による画像データ取得システム１の構成例を示す図である。 半透明物体における反射光の説明を行う光学モデルを示す半透明物体の断面図である。 図１の画像データ取得システム１における計測処理部５の構成例を示すブロック図である。 光照射制御部１０１がパターン光照射部７のプロジェクタ３またはプロジェクタ４に対して出射させるパターン光の例である。 解析の対象となる半透明物体６の撮像画像、位相画像１１、１次散乱反射画像１９、多重散乱反射画像２０を示す図である。 本実施形態における法線演算部１０５の法線（法線情報）を生成する処理を説明する図である。 ＢＳＳＲＤＦの関数のグラフの一例を示す図である。 画像データ取得システム１による半透明物体６の分光撮像データを取得する動作例を示すフローチャートである。 画像データ取得システム１における半透明物体の画像解析処理の動作例を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本発明の本実施形態による画像データ取得システム１の構成例を示す図である。本実施形態による画像データ取得システム１は、撮像部２と、計測処理部５と、パターン光照射部７とを備えている。パターン光照射部７は、パターンを投影する２台以上のプロジェクタ、例えば本実施形態においてはプロジェクタ３及びプロジェクタ４の２台を備えている。

プロジェクタ３及びプロジェクタ４の各々は、それぞれが異なる位相（位相シフト法におけるパターン光の位相）のパターンの光（例えば、後述する正弦波パターン光）を、対象物の半透明物体６に対して照射する。なお、図１に示す光照射部７は、プロジェクタ３及びプロジェクタ４の２台を組合わせた構成としているが、２個以上の光源を組合わせた１つのプロジェクタとして構成しても良い。

すなわち、プロジェクタ３は、正弦波パターンＬＴ１を半透明物体６に対して照射する。プロジェクタ４は、正弦波パターンＬＴ１と異なる時間帯に正弦波パターンＬＴ２を半透明物体６に対して照射する。撮像部２は、プロジェクタ３及びプロジェクタ４の各々から照射される正弦波パターン光ＬＴ１、正弦波パターン光ＬＴ２それぞれが半透明物体で反射された反射光ＲＬＴ１、反射光ＲＬＴ２を撮像する。
図１に戻り、計測処理部５は、後述するように、撮像部２が撮像した半透明物体からの反射光の波長毎の撮像データにより、半透明物体６の三次元形状、法線及び分光による散乱特性を計測する。

図２は、半透明物体における反射光の説明を行う光学モデルを示す半透明物体の断面図である。図２の断面図に示すように、図１の半透明物体６は、パターン光照射部７から照射された正弦波パターン光（正弦波パターン光ＬＴ１及び正弦波パターン光ＬＴ２）を反射して反射光として出射する。正弦波パターン光は、半透明物体６において、鏡面反射成分８と、１次散乱反射成分９と、多重散乱反射成分１０との各々の複数の成分に分離される。

ここで、鏡面反射成分８は、半透明物体６の表面６０で鏡面反射して、表面６０から直接に反射される正弦波パターン光の成分光である。
また、１次散乱反射成分９は、半透明物体６の表面６０近傍の内部反射点６１で１回程度反射して半透明物体６から放射される正弦波パターン光の成分光である。

多重散乱反射成分１０は、半透明物体６内部の複数の内部反射点６１間で相互に反射、すなわち複数の内部反射点６１により多重散乱した後に半透明物体６から放射される正弦波パターン光の成分光である。
この表面下で乱反射（表面下散乱）により、半透明物体６の反射光（反射光ＲＬＴ１及び反射光ＲＬＴ２）を撮像した撮像画像はぼけた画像となる。

すなわち、この表面下散乱により、半透明物体６の内部の内部反射点６１において、図２に示すように、鏡面反射成分８あるいは１次散乱反射成分９とは異なり、多重散乱反射成分１０は、正弦波パターン光の入射点と、反射光が出射される出射点とが一致しない。この表面下散乱のため、正弦波パターン光が入射しない場所からも反射光が観測されるため、 撮像画像はぼけた画像となる。本実施形態による画像データ取得システム１は、半透明物体６の表面に対し、正弦波パターン光を照射し、撮像部２において取得される反射光の波長毎の撮像データ（後述する分光撮像データ）により、半透明物体６の三次元形状、法線及び分光による散乱特性を計測する。

図３は、図１の画像データ取得システム１における計測処理部５の構成例を示すブロック図である。図３において、計測処理部５は、制御部１００と、操作部１０７と、表示部１０８と、外部インターフェィス１０９と、記憶部１１０とを備えている。
制御部１００は、例えば、ＣＰＵ（Central Processing Unit、中央処理装置）である。制御部１００は、計測処理部５内の各部の動作を司る機能部であり、予め自身内部の内部記憶部に書き込まれているプログラム（例えば、所定の半透明物体計測用のアプリケーションプログラム）を実行することにより、各機能部の制御処理を行う。

操作部１０７は、例えば、不図示のキーボード、マウス、タッチパネルなどから構成されており、画像データ取得システム１に対する操作及び処理の命令やデータを含む情報の入力を受け付け、制御部１００に対して出力する。
表示部１０８は、例えば、液晶ディスプレイなどであって、制御部１００の制御により、上記操作部１０７によるオペレータの情報の入力を促す画像、あるいは後述する各演算処理による演算結果及び計測データを示す画像を表示する。

外部インターフェイス１０９は、撮像部２及びパターン光照射部７の各々との間でデータの送受信を行う接続インターフェイスである。すなわち、制御部１００は、撮像部２からの分光撮像データの受信、あるいはパターン光照射部７に対する正弦波パターン光の出射を制御する制御情報の送信などのデータの送受信を、外部インターフェイス１０９を介して行う。

記憶部１１０は、撮像部２が撮像した反射光の波長毎の撮像データなどの情報が制御部１００により書き込まれて記憶される記憶領域である。記憶部１１０は、一般的な記憶装置であるＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの大容量記憶デバイスにより構成されている。
計測処理部５は、上述した制御部１００、操作部１０７、表示部１０８、外部インターフェイス１０９及び記憶部１１０を備える汎用のＰＣ（Personal Computer）であっても良い。

制御部１００は、光照射制御部１０１、撮像制御部１０２、撮像データ解析部１０３、形状演算部１０４、法線演算部１０５、散乱演算部１０６の各々を備えている。
光照射制御部１０１は、図１のパターン光照射部７におけるプロジェクタ３及びプロジェクタ４のいずれからパターン光を照射するかの制御を行う。

図４は、光照射制御部１０１がパターン光照射部７のプロジェクタ３またはプロジェクタ４に対して出射させるパターン光の例である。図４は、正弦波パターン光が照射された面を示し、光強度が正弦波状に変化しているので明の部分と暗の部分とに強度変化が見られる。パターン光の位相がずれているとは、例えば、光強度において最も高い部分の位置が異なっている、すなわち正弦波状に変化する強度の位置が異なっていることを言う。

図３に戻り、光照射制御部１０１は、パターン光照射部７に対して制御信号を出力し、パターン光照射部７におけるプロジェクタ３またはプロジェクタ４から、数十種類の正弦波パターン光を半透明物体６に対して照射させる。具体的には、光照射制御部１０１は、複数のプロジェクタ、本実施形態においてプロジェクタ３及びプロジェクタ３の各々に対し、正弦波パターン光ＬＴ１、正弦波パターン光ＬＴ２のそれぞれを互い違いに時系列に、半透明物体６に対して照射させる。すなわち、光照射制御部１０１は、正弦波パターン光ＬＴ１、正弦波パターン光ＬＴ２の各々を、半透明物体６に対して同一タイミングでは照射させず、いずれか一方のみを照射させる。

また、プロジェクタ３及びプロジェクタ４の各々は、分光分布の特性（分光分布特性）が平坦な白色光に対応した波長の正弦波パターン光ＬＴ１、正弦波パターン光ＬＴ２をそれぞれ出射する。プロジェクタ３及びプロジェクタ４の各々は、例えば、分光光度計用の校正用標準板である標準白色板等を用いて、分光分布特性の分光分布特性における分光分布が平坦となる波長で正弦波パターン光ＬＴ１、正弦波パターン光ＬＴ２をそれぞれ出射するように校正されている。

撮像部２は、パターン光照射部７におけるプロジェクタ３またはプロジェクタ４の各々から放射された正弦波パターン光ＬＴ１、正弦波パターン光ＬＴ２が、半透明物体６で反射したそれぞれの反射光ＲＬＴ１、反射光ＲＬＴ２を集光して受光する。ここで、撮像部２は、内部に入射光の分光機能（例えば、図示しない分光器）を有しており、入射される反射光ＲＬＴ１及び反射光ＲＬＴ２の各々を時系列に分光し、分光するごとに半透明物体６の色を表す撮像データ（以下、分光撮像データ）を順次受光する。

すなわち、撮像部２は、受光される白色光である正弦波パターン光ＬＴ１及び正弦波パターン光ＬＴ２の各々の反射光ＲＬＴ１及び反射光ＲＬＴ２それぞれを、異なる３つ以上の波長λ１、λ２、λ３、…、λｎ（ｎは３以上の整数）の波長成分の光に分光する（後分光方式）。

そして、撮像部２は、反射光ＲＬＴ１及び反射光ＲＬＴ２毎に分光処理を行い、分光した波長成分である波長λ１、λ２、λ３、…、λｎの各々の撮像データ、すなわち分光した波長毎の分光撮像データを撮像する。
撮像制御部１０２は、撮像部２が撮像した分光撮像データを外部インターフェイス１０９を介して入力する。

そして、撮像制御部１０２は、反射光ＲＬＴ１及び反射光ＲＬＴ２の各々の単位で、分光した波長成分である波長λ１、λ２、λ３、…、λｎ毎に、記憶部１１０に対して書き込んで記憶させる。本実施形態において、「色」とは３つ以上の波長、すなわち波長λ１、λ２、λ３、…、λｎの各々の分光反射率を示している。このため、以下、本実施形態においては分光反射率を「色」として示す。

また、本実施形態においては、撮像部２の内部に分光器が設けられており、入射する正弦波パターン光を分光する構成として説明する。しかしながら、他の実施形態における構成としては、撮像部２ではなく、パターン光照射部７の内部に分光器を設ける構成としても良い。すなわち、パターン光照射部７内部の分光器が、プロジェクタ３またはプロジェクタ４の各々から放射された正弦波パターン光ＬＴ１、正弦波パターン光ＬＴ２をそれぞれ分光し、波長λ１、λ２、λ３、…、λｎ毎の正弦波パターン光を、半透明物体６に対して照射する構成（前分光方式の構成）としても良い。

この場合、撮像部２は、パターン光照射部７がいずれの波長の正弦波パターン光を照射しているかの情報を、パターン光照射部７から分光する波長毎に供給される。また、撮像部２は、上記情報により白黒の画像として波長λ１、λ２、λ３、…、λｎ毎の分光された撮像画像である分光撮像データを撮像する。そして、撮像制御部１０２は、撮像部２から供給される、パターン光照射部７から受信するいずれの波長の正弦波パターン光を照射しているかの情報を入力する。撮像制御部１０２は、上記情報に基づき、撮像した分光撮像データを、反射光ＲＬＴ１及び反射光ＲＬＴ２の各々の単位で、分光した波長成分である波長λ１、λ２、λ３、…、λｎ毎に、記憶部１１０に対して書き込んで記憶させる。

撮像データ解析部１０３は、撮像制御部１０２が記憶させた分光画像データを、波長毎に記憶部１１０から読み出し、後述する各種画像解析を行う。
撮像データ解析部１０３は、位相シフト法によって正弦波パターンの照射された半透明物体６の波長毎の分光撮像データから、位相画像（後述する位相画像１１）、１次散乱反射画像（後述する１次散乱反射画像１９）及び多重散乱反射画像（後述する多重散乱反射画像２０）の各々を分離する処理を行う。

すでに説明したように、撮像部２は、半透明物体６を撮像する際、パターン光照射部７が半透明物体６へ照射し、半透明物体６で反射された反射光を集光し、かつ分光して分光撮像データとして撮像している。この撮像部２に取得された分光撮像データの各々は、一般的な画像データと同様に、マトリクス状に配置される画素の集合により構成されている。しかしながら、分光撮像データが波長毎に撮像されているため、分光撮像データにおける各画素は、それぞれの分光撮像データが対応する波長（色）における光の強度のデータを有している。

そして、全ての波長の分光撮像データを、各画素の強度を波長に対応する色の強度とし、画素の位置を一致させて重ね合わせて合成することにより、全体として一つのカラー画像を形成することになる。
なお、撮像部２が分光撮像データを撮像し、撮像制御部１０２がこの分光撮像データを受信した時点においては、半透明物体６の三次元形状、法線及び分光による散乱特性は未知の状態である。

以下の説明において、プロジェクタ３及びプロジェクタ４の各々は、光照射制御部１０１の制御により、それぞれ３つの異なる位相の初期位相パターン画像として、以下の（１）式に示す輝度値の正弦波パターン光ＬＴ１、正弦波パターン光ＬＴ２を半透明物体６に対して照射する。そして、撮像データ解析部１０３は、得られた反射光（反射光ＲＴＬ１及び反射光ＲＴＬ２）の画素のデータを用いて、以下の（２）式の演算を行うことにより、位相画像、１次散乱反射画像及び多重散乱反射画像を生成する位相値Φ（ｘ，ｙ）、直接反射成分Ｌ_ｄ、間接反射成分Ｌ_ｇの各々を求める。

上記（１）式において、Ｒ_ｉ（ｘ_ｐ，ｙ_ｐ）は、初期位相δ_ｉにおけるプロジェクタ３あるいはプロジェクタ４の放射面（ｘ軸及びｙ軸より形成される２次元平面）における各座標（ｘ軸座標ｘ_ｐ及びｙ軸座標ｙ_ｐ）における入力輝度値（光照射制御部１０１が制御する正弦波パターン光における各座標の輝度値）である（ここで、ｉは位相の番号）。また、ｘ_ｕは正弦波の１周期に対応するピクセル（画素）数である。Ｒ_ｍａｘは、正弦波パターン光における最大入力輝度値を示している。

これにより、半透明物体６から反射される反射光を撮像した際、撮像部２が撮像した分光撮像データの各画素の輝度値Ｉ_ｉ（ｘ，ｙ）は、以下の（２）式で表される（ここで、ｉは位相の番号）。

上記（２）式において、Φ（ｘ，ｙ）は、撮像部２における撮像素子の受光平面（ｘ軸及びｙ軸から構成される２次元座標）において、コーディングされた位相値である。Ｌ_ｄ（ｘ，ｙ）は、正弦波パターン光の直接反射成分である。また、Ｌ_ｇは、正弦波パターン光の間接反射成分である。ｉが３以上であれば、すなわち３つの位相の異なる座標があれば、位相値Φ（ｘ，ｙ）、直接反射成分Ｌ_ｄ、間接反射成分Ｌ_ｇの各々を推定することができる。

上述した計算は、正弦波パターン光ＬＴ１及び正弦波パターン光ＬＴ２の各々の種類の単位で、波長毎の分光撮像データを用いて、波長毎に（２）式により、直接反射成分Ｌ_ｄ及び間接反射成分Ｌ_ｇを求める。
すなわち、正弦波パターン光ＬＴ１及び正弦波パターン光ＬＴ２の双方において、それぞれ上記（２）式により、正弦波パターンの種類毎に位相値Φ（ｘ，ｙ）、直接反射成分Ｌ_ｄ、間接反射成分Ｌ_ｇの各々を推定する。

撮像部２の受光部には、偏光フィルタが設けられており、撮像部２には鏡面反射成分８が入射されず、入射されるのは１次散乱反射成分９及び多重散乱反射成分１０である。
ここで、本実施形態においては、半透明物体６の表面下の浅い部分（表面近傍）で１回程度反射する直接反射成分Ｌ_ｄを１次反射成分９とし、表面下において何度も反射して表面下散乱となる間接反射成分Ｌ_ｇを多重散乱反射成分１０としている。

本実施形態の画像データ取得システム１においては、位相シフト法によって、正弦波パターン光ＬＴ１及び正弦波パターン光ＬＴ２を照射して、半透明物体６の表面に投影する。そして、画像データ取得システム１は、その反射光を撮像することにより、位相画像１１、１次散乱反射成分９からなる１次散乱反射画像１９及び多重散乱反射成分１０からなる多重散乱反射画像２０を求めることができる。

図５は、解析の対象となる半透明物体６の撮像画像、位相画像１１、１次散乱反射画像１９、多重散乱反射画像２０を示す図である。図５（ａ）は、撮像画像２１であり、例えば、正弦波パターン光ＬＴ１のみを照射光として撮像した分光撮像データを、全位相かつ全波長にわたって合成して生成した画像である。図５（ｂ）は、位相画像１１であり、半透明物体の表面に対し、正弦波パターン光（正弦波パターン光ＬＴ１及び正弦波パターン光ＬＴ２）を投影し、位相シフト法により得られる位相値Φ（ｘ，ｙ）に基づいて得られる反射光（反射光ＲＴＬ１あるいは反射光ＲＴＬ２）の画像である。

図５（ｃ）は、１次散乱反射画像１９であり、位相シフト法により得られる直接反射成分Ｌ_ｄに基づいて得られる画像である。図５（ｄ）は、多重散乱反射画像２０であり、位相シフト法により得られる間接反射成分Ｌ_ｇに基づいて得られる画像である。

図３に戻り、形状演算部１０４は、撮像データ解析部１０３が算出した位相値Φ（ｘ，ｙ）の位相画像１１を、同一のプロジェクタ（プロジェクタ３あるいはプロジェクタ４）における異なる位相毎に生成する。ここで、形状演算部１０４は、半透明物体６に対して正弦波パターン光（弦波パターン光ＬＴ１及び正弦波パターン光ＬＴ２）を投影した際、反射光の画素と正弦波パターン光の画素との対応を判定する。このとき、正弦波パターン光においては正弦波の一周期の繰り返しにおける曖昧性がある（対応させる精度が低い）。

このため、形状演算部１０４は、反射光ＲＴＬ１及び反射光ＲＴＬ２毎に、２種類の位相が異なる正弦波パターン光による位相画像１１を用い、異なる位相の位相画像１１を接続する。
そして、形状演算部１０４は、反射光ＲＴＬ１及び反射光ＲＴＬ２毎に、反射光の画素と正弦波パターン光の画素との対応を判定し、対応する画素を示す対応情報を出力する。
また、形状演算部１０４は、各画素の対応情報を用い三角測量法により、半透明物体６の三次元形状（三次元形状の情報）を求める。すなわち、形状演算部１０４は、２種類の位相が異なる正弦波パターン光において、各位相を接続して、プロジェクタから投影された各画素と、撮像部２で撮像される画素の対応を取る。そして、形状演算部１０４は、プロジェクタから投影された各画素と、反射光ＲＴＬ１及び反射光ＲＴＬ２の各々の各画素との対応情報から三角測量法を用いて、半透明物体６の三次元形状を得る。

図６は、本実施形態における法線演算部１０５の法線を生成する処理を説明する図である。図６（ａ）には、プロジェクタ３が撮像した分光撮像データから求めた１次散乱反射画像１９＿１と、光線画像１３＿１とが示されている。図６（ｂ）には、プロジェクタ４が撮像した分光撮像データから求めた１次散乱反射画像１９＿２と、光線画像１３＿２とが示されている。図６（ｃ）は、三台設けられた場合のプロジェクタ５（不図示）の１次散乱反射画像１９＿１とプロジェクタ４の１次散乱反射画像１９＿３と光線画像１３＿３である。

図６（ｄ）は、１次散乱反射画像１９＿１及び１次散乱反射画像１９＿２及び１次散乱反射画像１９＿３の各々の陰影情報から計算した半透明物体６の法線を示す法線画像４０である。ここで、光線画像１３＿１及び光線画像１３＿２及び光線画像１３＿３の各々は、予めプロジェクタの幾何学キャリブレーションから求められた画素単位の光線ベクトルであり、例えばＲＧＢ値に方向ベクトルが格納されている。ここで、光線画像は、撮像画像の各画素に対して、どの方向からプロジェクタの各画像が照射されているかを示す画像である。すなわち、この光線画像のデータ構成は、画像における各画素の光線ベクトルの方向を示すＸＹＺ値が、画像における各画素のＲＧＢ値の代わりに、画像のデータして各画素に対応付けられた構成となっている。

図３に戻り、法線演算部１０５は、光線画像１３＿１及び光線画像１３＿２の各々を参照し、異なる陰影を有する１次散乱反射画像１９＿１及び１次散乱反射画像１９＿２の各々の画素と、光線画像１３＿１及び光線画像１３＿２の各々の画素との位置関係を特定する。

そして、法線演算部１０５は、１次散乱反射画像１９＿１及び１次散乱反射画像１９＿２の各々の画素の陰影情報から、照度差ステレオ法により半透明物体の法線を求めることができる。照度差ステレオ法においては、配置場所が２箇所以上のプロジェクタを用い、異なる陰影を有する２枚以上の撮像データを用いる。そのため、本実施形態においては、配置場所の異なるプロジェクタ３とプロジェクタ４とを用い、異なる陰影を有する１次散乱反射画像１９＿１及び１次散乱反射画像１９＿２の各々を用いて法線を求める。

照度差ステレオ法は、拡散反射物体あるいは鏡面反射物体を仮定した方法であるため、通常の反射光の撮像データからでは半透明物体の法線を求めることは不可能である。
そのため、本実施形態においては、反射光を撮像した分光撮像データから、（２）式により求めた１次散乱反射画像１９を用いることで、法線の推定を可能としている。

すなわち、本実施形態において用いる１次散乱反射画像１９は、すでに述べたように、物体の浅い部分で反射する反射光である。このため、入射光の入射位置と反射光の出射位置とのずれが無視できる程度に小さく、照度差ステレオ法で用いられる拡散反射物体からの反射光における拡散反射成分と同様とみなすことができる。

また、多重散乱反射画像２０は、半透明物体からの反射成分における間接反射成分の画像と見なすことができる。しかし、この間接反射の画像は、物体表面の各点に照射された光が多重散乱し、畳み込まれた状態の画像である。
したがって、この畳み込まれた状態の画像から、半透明物体の各点における散乱特性を推定するため、散乱を点像分布関数のような任意の関数（多重散乱関数）で表すことができると仮定する。そして、この仮定により、物体の各点における多重散乱関数を最適化手法により推定することで求めることができる。

法線演算部１５は、照度差ステレオ法において、１次散乱反射画像１９＿１または１次散乱反射画像１９＿２と、これらに対応する光線画像１３＿１または光線画像１３＿２とから求めた陰影情報により、物体表面の陰影を除去した画像アルベドの１次散乱反射画像を計算する。ここで、画像アルベドとは、各画素における入射光の総量に対する反射光の総量の割合を示すデータである。
散乱演算部１６は、撮像データ解析部１０３が算出した多重散乱反射画像２０を用い、以下の示すように、多重散乱反射画像２０の画素毎の散乱特性を示す関数を求める。
多重散乱反射画像２０は、物体表面上におけるある任意の一点に対して光を照射した際、その点から散乱する光の強度を物体表面で空間的に畳み込んだ画像である。任意の一点に照射した正弦波パターン光の表面下における散乱特性を表すため、一般的にはＢＳＳＲＤＦといわれる関数で表すことができる。すなわち、散乱演算部１６は、多重散乱反射画像２０を再現することが可能な、画素毎の散乱関数を、数値計算により求める。

図７は、ＢＳＳＲＤＦの関数のグラフの一例を示す図である。図７において、横軸は光の入射した画素からの散乱の伝搬距離（ｍｍ）を示し、縦軸は散乱強度Ｒ（ｄ）を示している。
図７におけるＢＳＳＲＤＦの関数の曲線は、散乱による伝搬距離が大きくなるほど、散乱強度が低下していくことが判る。このＢＳＳＲＤＦの関数を推定することにより、半透明物体に光が入射した際のぼけ（物体中の光の滲み状態）を表現することができる。

図３に戻り、散乱演算部１６は、以下に示す（３）式により、ＢＳＳＲＤＦの関数を近似して、半透明物体に光が入射した際のぼけ（物体中の光の滲み状態）を表現する。以下の（３）式は、ＢＳＳＲＤＦの関数を近似したダイポール近似モデル式である。

上記（３）式において、σ_ｓは、物体固有のパラメータであり、散乱係数である。σ_ａは、物体固有のパラメータであり、吸収係数である。また、ηは、物体固有のパラメータであり、屈折率である。ｄは、光が入射した点（上述した任意の一点）からの距離である。ｇは、位相関数による散乱方向と光の伝搬方向の内積であるが、等方散乱の場合は「０」となる。
一般的な物体の場合、屈折率ηが既知であれば、この散乱係数及び吸収係数を推定することにより、多重散乱を計測できることになる。例えば、多重散乱における散乱強度の推定には、上記（３）式のダイポール近似モデル式を用いた最尤推定法などで推定することができる。

次に、図面を参照して、画像データ取得システム１における分光データの取得動作を説明する。図８は、画像データ取得システム１による半透明物体６の分光撮像データを取得する動作例を示すフローチャートである。以下の説明においては、パターン光照射部７におけるプロジェクタ３から正弦波パターン光ＬＴ１を、プロジェクタ４から正弦波パターン光ＬＴ２を、半透明物体６に投影する。

ステップＳ１：
光照射制御部１０１は、プロジェクタ３及びプロジェクタ４の各々に対し、それぞれ正弦波パターン光ＬＴ１、正弦波パターン光ＬＴ２の波長λを設定し、処理をステップＳ２へ進める。
ここで、光照射制御部１０１は、予め設定した「色」の分光撮像データを撮像するため、波長λ１、λ２、λ３、…、λｎの各々を順番に設定する。例えば、各波長の大小関係は、λ１＜λ２＜λ３＜…＜λｎである。光照射制御部１０１は、初回のフローにおいては波長λ１を、２回目のフローチャートにおいては波長λ２を、…と、波長の小さい方から順次大きい方に変更する。

ステップＳ２：
次に、光照射制御部１０１は、プロジェクタ３あるいはプロジェクタ４のいずれを用いるかの設定を行い、処理をステップＳ３へ進める。
本実施形態においては、例えば、画像データ取得システム１が動作した時点に、プロジェクタ３を最初に設定（初期設定）する。そして、以降のフローにおいては、プロジェクタ３であればプロジェクタ４に設定を変更し、一方、プロジェクタ４であればプロジェクタ４に設定を変更する。

ステップＳ３：
光照射制御部１０１は、設定したプロジェクタに対して、３つの異なる位相により正弦波パターンを順次照射させる。例えば、プロジェクタとしてプロジェクタ３が選択されていれば、光照射制御部１０１は、プロジェクタ３に対して異なる３つの位相によって正弦波パターンＬＴ１を半透明物体６に投影させる。一方、プロジェクタとしてプロジェクタ４が選択されていれば、光照射制御部１０１は、プロジェクタ４に対して異なる３つの位相によって正弦波パターンＬＴ２を半透明物体６に投影させる。

そして、プロジェクタ３が選択されている場合、プロジェクタ３は、所定の周期において順次位相（３つの異なる位相）を変更し、正弦波パターンＬＴ１を半透明物体６に投影する。
一方、プロジェクタ４が選択されている場合、プロジェクタ４は、所定の周期において順次位相（３つの異なる位相）を変更し、正弦波パターンＬＴ２を半透明物体６に投影する。

いずれの場合においても、光照射制御部１０１は、設定したプロジェクタに対して、３つの異なる位相により正弦波パターンを順次照射させる。
また、光照射制御部１０１は、各プロジェクタに正弦波パターンを照射させる際、照射させるプロジェクタの識別番号と、撮像した際の位相を示す位相情報と、分光する波長λを示す波長情報を付加し、この識別番号と位相情報と波長情報とを撮像部２に対して出力する。

撮像制御部１０２は、光照射制御部１０１から出力されるプロジェクタの照射制御信号及び位相を変更する位相制御信号により、半透明物体６からの反射光を、撮像部２に対して撮像させる。
ここで、プロジェクタ３が半透明物体６に正弦波パターンＬＴ１を投影している場合、撮像制御部１０２は、半透明物体６からの反射光ＲＴＬ１を撮像した分光撮像データを撮像部２から取得する。そして、撮像制御部１０２は、取得した分光撮像データに対し、プロジェクタ３の識別情報と、撮像した際の位相を示す位相情報と、波長情報とを付加し、記憶部１１０に書き込んで記憶させる。

一方、プロジェクタ３が半透明物体６に正弦波パターンＬＴ２を投影している場合、撮像制御部１０２は、半透明物体６からの反射光ＲＴＬ２を撮像した分光撮像データを撮像部２から取得する。そして、撮像制御部１０２は、取得した分光撮像データに対し、プロジェクタ４の識別情報と、撮像した際の位相を示す位相情報と、波長情報とを付加し、記憶部１１０に書き込んで記憶させる。
光照射制御部１０１は、プロジェクタに３つの異なる位相の正弦波パターンを照射させた後、処理をステップＳ４へ進める。

ステップＳ４：
光照射制御部１０１は、半透明物体６に対して正弦波パターン光を照射させるプロジェクタの変更を行うか否かの判定を行う。
このとき、光照射制御部１０１は、現在選択されているプロジェクタがプロジェクタ３である場合、プロジェクタの変更を行うために処理をステップＳ２へ進める。
一方、光照射制御部１０１は、現在選択されているプロジェクタがプロジェクタ４である場合、プロジェクタの変更を行わないので処理をステップＳ５へ進める。

ステップＳ５：
光照射制御部１０１は、半透明物体６に対して照射する正弦波パターン光の波長を変更するか否かの判定を行う。すなわち、光照射制御部１０１は、現在選択されている波長λが、波長λｎであるか否かの判定を行い、波長λが波長λｎである場合、全ての波長の変更が終了したとする。

このとき、光照射制御部１０１は、現在選択されている波長λが、波長λｎでない場合、次に大きな波長λに変更するため、処理をステップＳ１へ進める。
一方、光照射制御部１０１は、現在選択されている波長λが、波長λｎである場合、予め設定されている全ての波長λにおける撮像処理が終了したと判定して、処理をステップＳ１へ進める。

次に、図面を参照して、画像データ取得システム１における半透明物体の画像解析処理の動作を説明する。図９は、画像データ取得システム１における半透明物体の画像解析処理の動作例を示すフローチャートである。

ステップＳ１１：
撮像データ解析部１０３は、記憶部１１０から読み出す分光データの波長λ（正弦波パターン光ＬＴ１あるいは正弦波パターン光ＬＴ２の波長）を設定し、処理をステップＳ１２へ進める。
ここで、撮像データ解析部１０３は、予め設定した「色」の分光撮像データを読み出すため、波長λ１、λ２、λ３、…、λｎの各々を順番に設定する。例えば、各波長の大小関係は、λ１＜λ２＜λ３＜…＜λｎである。光照射制御部１０１は、初回のフローにおいては波長λ１を、２回目のフローチャートにおいては波長λ２を、…と、波長の小さい方から順次大きい方に変更する。

ステップＳ１２：
次に、撮像データ解析部１０３は、プロジェクタ３あるいはプロジェクタ４のいずれの分光撮像データを、記憶部１１０から読み出すかの設定を行い、処理をステップＳ１３へ進める。
本実施形態においては、例えば、画像データ取得システム１が動作した時点に、プロジェクタ３を最初に設定（初期設定）する。そして、以降のフローにおいては、プロジェクタ３であればプロジェクタ４に設定を変更し、一方、プロジェクタ４であればプロジェクタ４に設定を変更する。

ステップＳ１３：
撮像データ解析部１０３は、ステップＳ１１で設定した波長λの波長情報と、ステップＳ１２で設定したプロジェクタ（プロジェクタ３、プロジェクタ４）の識別番号とに基づき、３つの位相が異なる分光撮像データをそれぞれの位相情報とともに、記憶部１１０から読み出す。
そして、撮像データ解析部１０３は、プロジェクタ３及びプロジェクタ４毎に読み出した分光撮像データを直接反射成分と間接反射成分とに、（２）式を用いて分離する。この際、撮像データ解析部１０３は、位相値Φ（ｘ，ｙ）も、直接反射成分（１次散乱反射成分９）と間接反射成分（多重散乱反射成分１０）とともに算出し、処理をステップＳ１４へ進める。
ここで、撮像データ解析部１０３は、位相値Φから位相画像を、直接反射成分（１次散乱反射成分９）から１次散乱反射画像１９を、そして間接反射成分（多重散乱反射成分１０）から多重散乱反射画像２０を求める。

ステップＳ１４：
形状演算部１０４は、撮像データ解析部１０３が算出した位相値Φ（ｘ，ｙ）の位相画像１１を、同一のプロジェクタ（プロジェクタ３あるいはプロジェクタ４）における異なる位相毎に生成する。ここで、形状演算部１０４は、半透明物体６に対して正弦波パターン光（弦波パターン光ＬＴ１及び正弦波パターン光ＬＴ２）を投影した際、反射光の画素と正弦波パターン光の画素との対応を判定する。

次に、形状演算部１０４は、２種類の位相が重なる正弦波パターン光による位相画像１１を用い、プロジェクタ単位で異なる位相の位相画像１１を接続し、反射光の画素と正弦波パターン光の画素との対応を判定し、対応する画素を示す対応情報を出力する。
そして、形状演算部１０４は、各画素の対応情報を用い三角測量法により、半透明物体６の三次元形状を求める。

ステップＳ１５：
法線演算部１０５は、予めカメラとプロジェクタの幾何学キャリブレーションを行い、物体上の光線方向を計算し、ＲＧＢ値に格納することで、反射光ＲＴＬ１、反射光ＲＴＬ２のそれぞれの分光画像データに対応する光線画像１３＿１、光線画像１３＿２を生成する。
法線演算部１０５は、光線画像１３＿１及び光線画像１３＿２の各々を参照し、異なる陰影を有する１次散乱反射画像１９＿１及び１次散乱反射画像１９＿２の各々の画素と、光線画像１３＿１及び光線画像１３＿２の各々の画素との位置関係を特定する。
そして、法線演算部１０５は、１次散乱反射画像１９＿１及び１次散乱反射画像１９＿２の各々の画素の陰影情報から、照度差ステレオ法により半透明物体の法線を求める。

ステップＳ１６：
撮像データ解析部１０３は、読み出す分光撮像データのプロジェクタの変更を行うか否かの判定を行う。
このとき、撮像データ解析部１０３は、現在選択されているプロジェクタがプロジェクタ３である場合、プロジェクタの変更を行うために処理をステップＳ１２へ進める。
一方、撮像データ解析部１０３は、現在選択されているプロジェクタがプロジェクタ４である場合、プロジェクタの変更を行わないので処理をステップＳ１７へ進める。

ステップＳ１７：
撮像データ解析部１０３は、読み出す分光撮像データの波長の変更を行うか否かの判定を行う。すなわち、撮像データ解析部１０３は、現在選択されている波長λが、波長λｎであるか否かの判定を行い、波長λが波長λｎである場合、全ての波長の変更が終了したとする。
このとき、撮像データ解析部１０３は、現在選択されている波長λが、波長λｎでない場合、次に大きな波長λに変更するため、処理をステップＳ１１へ進める。
一方、撮像データ解析部１０３は、現在選択されている波長λが、波長λｎである場合、予め設定されている全ての波長λにおける撮像処理が終了したと判定して、処理をステップＳ１８へ進める。

ステップＳ１８：
形状演算部１０４は、波長λ１、λ２、λ３、…、λｎの全波長の３次元形状のデータを用い、例えば、最小二乗法により、改善された３次元形状を生成する。
そして、形状演算部１０４は、処理をステップＳ１９へ進める。

ステップＳ１９：
法線演算部１０５は、波長λ１、λ２、λ３、…、λｎの全波長の法線のデータを用い、例えば、最小二乗法により、改善された法線のデータを生成する。
そして、法線演算部１０５は、処理をステップＳ２０へ進める。

ステップＳ２０：
次に、法線演算部１５は、例えば、プロジェクタ３及びプロジェクタ４の１次散乱反射画像１９＿１または１次散乱反射画像１９＿２とこれらに対応する光線画像１３＿１または光線画像１３＿２とから求めた陰影情報により、陰影のない（陰影が除去された）画像アルベドの１次散乱反射情報（画像アルベド１次散乱反射画像）を生成する。

ステップＳ２１：
散乱演算部１０６は、例えば、プロジェクタ３及びプロジェクタ４の波長毎の多重散乱反射画像２０の画素値の平均から、すでに説明した（３）式を用いて、波長毎のダイポール近似モデル式を生成する。ここで、波長毎のダイポール近似モデル式を生成することが、多重散乱特性の推定となる。
散乱演算部１０６は、生成したダイポール近似モデル式により、それぞれの波長の多重散乱反射画像２０に対応する多重散乱分光画像を生成する。

以上説明したように、本実施形態によれば、解析対象が半透明物体であり、照射したパターン光の反射光に拡散反射（多重散乱反射）が含まれていても（混在していても）、この反射光を１次散乱反射成分９と多重散乱反射成分１０とに分離する。この反射成分の分離を行うことにより、本実施形態によれば、半透明物体の多重散乱特性（ＢＳＳＲＤＦ）の推定を可能としている。

また、本実施形態によれば、正弦波パターン光が半透明物体から反射した反射光のみから、半透明物体の三次元形状、法線及び多重散乱特性（ＢＳＳＲＤＦ）の推定が行えるため、従来のように、複数の測定器を用いずとも容易に、半透明物体の解析を行うことができる。
また 、本実施形態によれば、レンダリングを行い、半透明物体のＣＧ画像を生成する際に用いる半透明物体の形状、法線、分光による多重散乱特性の全てのデータを、単一システムで単一シーケンスのパターンのみを照射することで一括して求めることができる。
すなわち、本実施形態によれば、半透明物体であっても、それらの形状、法線情報、散乱特性を分光情報で簡素に計測できる。また、拡散反射物体と半透明物体が混在する場合においても、各反射成分の領域を判定すること両者の特性を計測することができる。さらにこれらを利用してＣＧで写実的な再現をすることができる。

なお、本発明における計測処理部５の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより半透明物体における光の散乱の解析処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１ 画像データ取得システム
２ 撮像部
３，４ プロジェクタ
５ 計測処理部
６ 半透明物体
７ パターン光照射部
１００ 制御部
１０１ 光照射制御部
１０２ 撮像制御部
１０３ 撮像データ解析部
１０４ 形状演算部
１０５ 法線演算部
１０６ 散乱演算部
１０７ 操作部
１０８ 表示部
１０９ 外部インターフェイス
１１０ 記憶部

Claims (5)

1. 半透明物体の表面の三次元形状情報と、表面の法線情報と、陰影の除去された１次散乱特性と、多重散乱特性とを取得する画像データ取得システムであり、
   ２種類以上の異なる位相のパターン光を前記半透明物体に対して照射するパターン光照射部と、
   パターン光が照射された前記半透明物体の表面からの反射光を分光し、所定の波長毎の分光撮像データを取得する撮像部と、
   波長毎の前記分光撮像データから、所定の演算式により、位相成分と、前記法線情報及び前記１次散乱特性を求めるための１次散乱反射成分と、前記多重散乱特性を求めるための多重散乱反射成分との各々を分離し、位相画像、１次散乱反射成分画像、多重散乱反射成分画像の各々とを生成する撮像データ解析部と、
   前記位相画像に基づき、位相シフト法により前記半透明物体の表面の三次元形状情報を求める形状演算部と、
   ２箇所以上の場所の異なるプロジェクタによる前記１次散乱反射成分画像から前記法線情報を求める法線演算部と、
   前記多重散乱反射成分画像から、所定の関数で表される多重散乱特性を求める散乱演算部と
   を備えることを特徴とする画像データ取得システム。
2. 前記散乱演算部が、
   前記多重散乱反射成分画像から画素毎の多重散乱特性を示す前記所定の関数を求める
   ことを特徴とする請求項１に記載の画像データ取得システム。
3. 前記法線演算部が、
   ２種以上の前記パターン光の各々から求めた前記１次散乱反射成分画像と、２箇所以上のプロジェクタ画素から物体表面への方向を表す光線画像とにより、前記半透明物体の陰影情報を求め、当該陰影情報から前記半透明物体の法線と、画像アルベドの１次散乱特性とを求める
   ことを特徴とする請求項１または請求項２に記載の画像データ取得システム。
4. 前記形状演算部が、
   ２種以上の前記パターン光毎の位相が各々異なる前記位相画像の各画素と、前記プロジェクタから投影された前記パターン光の各画素との対応を取り、三角測量法によって前記半透明物体の三次元形状を推定する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像データ取得システム。
5. 半透明物体の表面の三次元形状情報と、表面の法線情報と、陰影の除去された１次散乱特性と、多重散乱特性とを取得する画像データ取得方法であり、
   ２種類以上の異なる位相のパターン光を前記半透明物体に対して照射するパターン光照射過程と、
   パターン光が照射された前記半透明物体の表面からの反射光を分光し、所定の波長毎の分光撮像データを取得する撮像過程と、
   波長毎の前記分光撮像データから、所定の演算式により、位相成分と、前記法線情報及び前記１次散乱特性を求めるための１次散乱反射成分と、前記多重散乱特性を求めるための多重散乱反射成分との各々を分離し、位相画像、１次散乱反射成分画像、多重散乱反射成分画像の各々とを生成する撮像データ解析過程と、
   前記位相画像に基づき、位相シフト法により前記半透明物体の表面の三次元形状情報を求める形状演算過程と、
   ２箇所以上の場所の異なるプロジェクタによる前記１次散乱反射成分画像から前記法線情報を求める法線演算過程と、 前記多重散乱反射成分画像から、所定の関数で表される多重散乱特性を求める散乱演算過程と
   を含むことを特徴とする画像データ取得方法。