JP4033006B2

JP4033006B2 - 画像処理装置及び方法並びにプログラム

Info

Publication number: JP4033006B2
Application number: JP2003067176A
Authority: JP
Inventors: 裕人松岡; 晃小野澤
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2003-03-12
Filing date: 2003-03-12
Publication date: 2008-01-16
Anticipated expiration: 2023-03-12
Also published as: JP2004282167A

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体が撮影された画像から被写体部分だけを切り出し、別の２次元の画像上に被写体を合成する画像処理方法及び画像処理装置に関するものである。
【０００２】
【従来の技術】
撮影した被写体の画像を、全く別の背景画像上に合成する処理は、映画やテレビ等、また、被写体をあらゆる方向から撮影することにより３次元画像を得る場合等によく使われている。この処理では、撮影した被写体画像から背景の画像を除去するセグメント処理が必要である。
【０００３】
一般的なセグメンテーション手法の一つに、クロマキー手法がある。これは、背景をある決められた単色にして撮影して、背景と同色の部分を切り取る手法である。しかしながら、このクロマキー手法では、撮影環境等により背景に色むらが生じたり、また、被写体に背景色に近い色が使われている場合、うまく切り出せない問題がある。
【０００４】
また、被写体を置かない状態で、予め背景を撮影しておき、その画像と被写体が写っている画像とを比較して、抜き出す手法もある。この抜き出す手法では、背景が単色でなくても抜き出しが行えるメリットがあるが、クロマキー手法と同様、被写体の影等が背景に写った場合や、背景と同様な部分が物体にある場合には、うまく抜き出すことができない。
【０００５】
また、特開２００１−１４８０２１号公報（特許文献１）の手法では、背景を変えた複数の画像を用いることにより、上記セグメンテーション手法の問題を解決している。しかしながら、この手法でも、被写体の表面反射が強く背景が写り込む場合や、被写体が半透明で背景が透けて見える場合は、被写体に欠けが生じ、背景画像と合成した場合、被写体に不自然な欠けが生じるという問題が生じる。
【０００６】
また、特開２００１−１４３０８５号公報（特許文献２）では、白黒のストラップの背景を用いて、被写体表面の透明度を求める手法が提案されているが、この手法は被写体表面の透明度が均一である場合に限られている。
【０００７】
その他、画像から被写体部分を切り出すことに関連する技術として特許文献３、非特許文献１に記載された技術がある。
【０００８】
【特許文献１】
特開２００１−１４８０２１号公報
【０００９】
【特許文献２】
特開２００１−１４３０８５号公報
【００１０】
【特許文献３】
米国特許第６３７７２６９号公報
【００１１】
【非特許文献１】
H. Matsuoka, T. Takeuchi, H. Kitazawa and A. Onozawa, “Representation of Pseudo Inter-reflection and Transparency by Considering Characteristics of Human Vision", Proceedings of Eurographics 2002, pp503-510.
【００１２】
【発明が解決しようとする課題】
上述のように、従来のセグメンテーション手法では、被写体が半透明であったり、表面反射の強い物体では、被写体の切り出し画像に不自然に欠けが生じ、正確に、背景と被写体を切り分けることができず、その画像を、他の画像上に合成する場合、醜い画像となるという問題があった。
【００１３】
本発明は、上記条件でも正確に被写体部分を抽出し、他の画像等と合成した場合に、半透明性や反射性を再現し、自然な画像を得ることを可能とし、また、被写体が動物体の場合にも適用できる画像処理方法とその装置を提供することを課題とする。
【００１４】
【課題を解決するための手段】
上記の課題は、被写体の画像を別の画像に合成する画像処理装置であって、背景部分の画像に差が出るように異なる偏光条件で撮影された２枚の画像を入力する手段と、その２枚の画像を用いて被写体の透明度画像を求める手段と、その透明度画像を用いて、前記２枚の画像のうちの１枚の画像と背景画像とを合成する手段とを有し、前記被写体の透明度画像を求める手段は、前記２枚の画像を画像Ｐ１及び画像Ｐ２とし、画像Ｐ１上のある１点（ｘ，ｙ）の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上のその点の画素値をＰ２（ｘ，ｙ）とし、その差の絶対値｜Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ）｜の全画素における最大値をＰＰＭＡＸとしたときに、前記透明度画像上の各画素の画素値ＰＴ（ｘ，ｙ）を、ＰＴ（ｘ，ｙ）＝１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））｜／ＰＰＭＡＸの式により求め、前記合成する手段は、前記透明度画像上の各画素の画素値である透明度に基づく比率で、前記２枚の画像のうちの１枚の画像と前記背景画像とを合成して合成画像を求めることを特徴とする画像処理装置により解決される。
【００１５】
本発明によれば、背景の異なる２枚の画像を入力とすることから、マスク画像として透明度画像を求めることができ、透明度画像を用いることにより半透明性や反射性を再現し、自然な画像を得ることが可能となる。また、偏光条件を異ならせることにより背景を異ならせるようにしたので、例えば、ビームスプリッタを用いることにより、背景の異なる画像を１度に撮影できる。従って、被写体が動物体の場合にも適用できる。
【００１８】
前記２枚の画像は、偏光を発する背景部分を含む被写体を撮影した画像と、同じ背景部分と被写体を、その偏光を遮断する偏光フィルタを介して撮影した画像であるとすることができる。
【００１９】
また、前記２枚の画像は、異なる偏光条件で撮影された３枚以上の画像うちの、背景部分の輝度の差が最大の２枚の画像とすることができる。これにより、合成画像を生成するのに最適な２枚の画像を容易に選択することができる。
【００２０】
また、上記の課題は、被写体の画像を別の画像に合成する画像処理装置であって、被写体が無い状態でｎ台の撮影装置Ｃ１〜Ｃｎにより異なる偏光条件で撮影を行ったｎ枚の画像ＰＥ１〜ＰＥｎと、被写体を置いてｎ台の撮影装置Ｃ１〜Ｃｎで被写体が無い状態と同じ偏光条件で撮影を行ったｎ枚の画像Ｐ１〜Ｐｎを入力する手段と、各画像の１点（ｘ、ｙ）における画像ＰＥｋ（１≦ｋ≦ｎ）の画素値をＰＥｋ（ｘ，ｙ）、画像Ｐｋの画素値をＰｋ（ｘ，ｙ）とし、画素値ＰＥ１（ｘ，ｙ）〜ＰＥｎ（ｘ，ｙ）のうちの全ての組み合わせの中で、画素値の差分が最大となる２枚の画像をＰＥａ、ＰＥｂとし、これらに対応する画像Ｐ１〜Ｐｎの中の画像ＰａとＰｂの画素値をＰａ（ｘ，ｙ）とＰｂ（ｘ，ｙ）としたときに、１−｜Ｐａ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜／｜ＰＥａ（ｘ，ｙ）−ＰＥｂ（ｘ，ｙ）｜の式を用いて透明度画像の各画素の画素値ＡＰ（ｘ，ｙ）を計算する処理を、全ての画素に対して行うことにより透明度画像を求める手段と、前記透明度画像上の各画素の画素値である透明度に基づく比率で、画像Ｐ１〜Ｐｎのうちの１枚の画像と背景画像とを合成して合成画像を求める手段とを有することを特徴とする画像処理装置によっても解決される。
【００２１】
すなわち、本発明によれば、偏光が画像内で一様でない場合でも、画素毎に、背景の差が最大となる偏光条件の２枚の画像を選択して透明度画像を求めるので、正確な合成画像を求めることができる。
【００２２】
また、上述した２枚の画像は、偏光を発生させる背景表示装置と、背景表示装置の前に置かれた被写体からの光を二つに分けるビームスプリッタと、ビームスプリッタの一方の出力光を撮影する第１の撮影装置と、ビームスプリッタの他方の出力光を撮影する第２の撮影装置と、ビームスプリッタと第１の撮影装置との間に備えられた偏光フィルタとを有する撮影システムを用いて取得することができる。
【００２３】
また、上記のｎ枚の画像は、偏光を発生させる背景表示装置と、背景表示装置の前に置かれた被写体からの光を３つ以上に分割するビームスプリッタと、ビームスプリッタからの各出力光を撮影する複数の撮影装置と、各撮影装置とビームスプリッタ間に設けられたそれぞれ偏光方向が異なる偏光フィルタとを有する撮影システムを用いて取得することができる。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００２５】
図１に、本発明の実施の形態における画像処理の対象となる複数の画像を撮影するための撮影システムの構成図を示す。図１に示すように、この撮影システムは、発光する背景表示装置１、背景表示装置１からの光を偏光にする偏光フィルタＡ２、被写体３及び背景表示装置１の発光面を撮影する撮影装置Ａ４と撮影装置Ｂ５、ビームスプリッタ６、撮影装置Ａ４とビームスプリッタ６との間に挿入される偏光フィルタＢ７を有している。また、撮影装置Ａ４、撮影装置Ｂ５により撮影された画像を、本発明の処理手順に従って処理する画像処理装置８を有している。なお、背景表示装置１と偏光フィルタＡ２とを合わせて背景表示装置とすることもできる。
【００２６】
ビームスプリッタ６は、光線のある部分は反射し、他の部分は透過する反射鏡あるいは光学素子である。また、偏光フィルタＡ２と偏光フィルタＢ７の偏光方向は直交している。
【００２７】
図２は図１の撮影システムを真上から見た場合の図であり、矢印が光の進行方向を示している。
【００２８】
背景表示装置１から出力した光は偏光フィルタＡ２を通して偏光となる。背景表示装置１からの偏光及び被写体３からの光は、ビームスプリッタ６により二分され、撮影装置Ａ４、撮影装置Ｂ５方向に同一の光が出される。そして、撮影装置Ａ４には二分された光のうちの一つがそのまま入射し、撮影装置Ｂ５には、二分された光のうちの一つが偏光フィルタＢ７を介して入射する。
【００２９】
このように、撮影装置Ａ４にはビームスプリッタ６から直接光が入射するので、撮影装置Ａ４により撮影された画像は、図３(a)に示すように背景が明るい画像となる。一方、撮影装置Ｂ５には、偏光フィルタＢ７を介してビームスプリッタ６からの光が入射する。すなわち、背景表示装置１からの光は、偏光フィルタＡ２と偏光フィルタＢ７を介して撮影装置Ｂ５に達することになる。ここで、偏光フィルタＡ２とＢ７の偏光方向が直交しているので、背景表示装置１からの光は偏光フィルタＢ７により遮断され、撮影装置Ｂ５により撮影された画像は、図３(b)に示すように背景が暗い画像となる。
【００３０】
なお、背景表示装置１と同様の光を発生させるテーブルを用い、その表面に偏光フィルタＡ２と同じ偏光方向の偏光フィルタを設け、被写体３をそのテーブルの上に置いて撮影装置Ａ４及び撮影装置Ｂ５を用いて撮影を行うようにしてもよい。
【００３１】
上記背景表示装置１、及び上記テーブルを構成するものとしては、例えば、ＥＬパネル、液晶パネル、液晶シャッター、投影型スクリーン、プラズマディスプレイ、ＣＲＴなどを使用することができる。
【００３２】
上記のようにして得られた、背景の明るい画像の画素値（例えば、輝度値）と背景の暗い画像の画素値との差分をとり、その差分が予め定めた閾値より小さい部分を被写体の部分とし、例えば、被写体の部分を１、背景の部分を０として２値化を行えば、図３(c)に示すような、被写体部分を示す２値マスク画像を生成することができる。そして、被写体部分を示す２値マスク画像を用いることにより、被写体画像と別の背景画像との合成を行うことができる。
【００３３】
ただし、２値化されたマスク画像では、ガラスのような透明な物や反射を表現することができない。そこで、２値化されたマスク画像ではなく、多値からなるマスク画像である透明度画像を生成し、その透明度画像を用いて、被写体と別の背景画像との合成を行うこともできる。以下、透明度画像を用いて、被写体と別の背景画像との合成を行う場合について説明する。なお、図４に記載の画像処置装置は、透明度画像を用いる方法の他、上記のように２値マスク画像を用いる方法にも適用できる。
【００３４】
図４に、本発明の実施の形態における画像処理装置８の構成を示す。画像処理装置８は画像入力部１１、画像処理部１２、画像出力部１３を有している。また、画像処理装置８には必要に応じて撮影装置Ａ４、撮影装置Ｂ５と画像表示装置２０が接続される。また、図示していない格納装置を有しており、合成の際に使用する背景画像などを格納する。なお、合成の際に使用する背景画像は、必要に応じて画像入力部１１から入力してもよい。
【００３５】
画像処理装置８は例えば画像入出力インタフェースを有するコンピュータを用いて構成することができ、その場合、画像処理部１２はコンピュータが有するＣＰＵ、記憶装置、及び本発明の方法における各ステップを実行する処理を行うプログラムなどにより実現される。また、そのプログラムはＣＤ−ＲＯＭなどの記録媒体に格納することができる。
【００３６】
画像処理装置８は撮影装置Ａ４により撮影した画像と撮影装置Ｂ５により撮影した画像とを入力し、画像処理部１２で画像処理を施し、画像出力部１３から被写体と背景画像とを合成した合成画像を出力する。なお、本明細書における“画像”とは、処理の対象となる画像データの意味を含む。
【００３７】
図５に、画像処理装置における処理のフローチャートを示す。
【００３８】
まず、図１、２に示した撮影システムで撮影された２枚の画像を画像入力部１１から入力する（ステップＳ１）。次に、２枚の画像を用いて透明度画像を生成する（ステップＳ２）。そして、透明度画像を用いて、撮影システムで撮影した画像のうちの１枚と別の背景画像とを合成した合成画像を生成する（ステップＳ３）。最後に、生成した合成画像を出力する（ステップＳ４）。ステップＳ２とＳ３が上記の画像処理に対応する。なお、２値マスク画像を用いる場合には、被写体の２値マスク画像を求めて、当該２値マスク画像を用いて、撮影画像と背景とを合成する処理が上記の画像処理に対応する。
【００３９】
上記の透明度画像は次のような計算を行うことにより生成する。
【００４０】
撮影装置Ａ４により撮影された画像を画像Ａとし、撮影装置Ｂ５により撮影された画像を画像Ｂとする。画像Ａ、Ｂ各々の横の画素数をｗ、縦の画素数をｈとし、画像Ａ及び画像Ｂの対応する点（ｘ，ｙ）（０≦ｘ＜ｗ，０≦ｙ＜ｈ）における画像Ａの画素値（本実施の形態では輝度値）をＰ１（ｘ，ｙ）、画像Ｂの画素値をＰ２(ｘ，ｙ)とする。そして、画像Ａ及び画像Ｂの対応する全画素でＰ１(ｘ，ｙ)−Ｐ２(ｘ，ｙ)の値の絶対値が最大となるときその絶対値（ＰＰＭＡＸとする）を求める。
【００４１】
そして、透明を０、不透明を１とし、透明度を０から１の実数で表すとき、透明度画像上の１点ＰＴ（ｘ，ｙ）の値を、
１−｜（Ｐ１(ｘ，ｙ)−Ｐ２(ｘ，ｙ)）／ＰＰＭＡＸ｜
の式により求める。すなわち、Ｐ１(ｘ，ｙ)とＰ２(ｘ，ｙ)の違いが大きいほどＰＴ（ｘ，ｙ）の値は０に近づき、その部分に対応する被写体は透明に近いことがわかる。また、Ｐ１(ｘ，ｙ)とＰ２(ｘ，ｙ)の違いが小さいほどＰＴ（ｘ，ｙ）の値は１に近づき、その部分に対応する被写体は不透明に近いことがわかる。そして、画像上の全ての画素について上記式で計算を行うことにより、透明度画像を求めることができる。求めた透明度画像の例を図６(a)に示す。
【００４２】
図５のフローチャートにおけるステップＳ３の合成画像は、透明度の比率でブレンディンクを行う一般的な式である、
ＰＳ（ｘ，ｙ）＝ＰＴ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＰＴ（ｘ，ｙ））×ＰＺ（ｘ，ｙ）
の式を用いることにより、計算することができる。ここで、ＰＣ（ｘ，ｙ）は、画像Ｐ１又はＰ２の色彩画素値を示し、ＰＺ（ｘ，ｙ）は背景画像の画素値を示す。
【００４３】
上記の式を用いて、図６(b)に示す背景画像と、撮影装置Ａ４の撮影画像である図３(a)に示す画像とを、透明度画像図６(a)を用いて合成した例を図６(c)に示す。図中のガラスコップの透明感が表現されていることが分る。
【００４４】
上記の実施の形態では、撮影装置の手前に配置する偏光フィルタの有無で背景の輝度が異なる画像の取得している。しかし、偏光フィルタはランダム偏光も５０％減衰させるので、撮影装置Ａ４、Ｂ５により撮影された２枚の撮影画像に写っている被写体の輝度も異なることになり、正確な合成画像を得られない場合が生じ得る。
【００４５】
そこで、ビームスプリッタ６と撮影装置Ａ４との間に偏光フィルタＣを付加し、偏光フィルタＣの偏光方向を偏光フィルタＢ７と直交させることにより、２画像間での被写体の輝度の変化を抑えることができる。
【００４６】
また、上記手法では偏光フィルタＡ２と偏光フィルタＢ７の偏光方向を直交させる必要がある。しかし、背景としてのテーブルに回転台などを用いることにより偏光方向が一様に定まらない場合には、背景がうまく除去できない場合がある。
【００４７】
そこで、このような場合には、背景及び被写体からの光を３以上に分光することができるビームスプリッタを用い、それぞれの光を分光の数と同じ台数の撮影装置で撮影する。このとき、各撮影装置とビームスプリッタとの間には、それぞれ異なる偏光方向の偏光フィルタを配置する。そして、複数の撮影装置で撮影された複数画像の中から、背景部分の輝度差が最大となる２枚の画像を選び、その２枚の画像に対してこれまでに説明した方法で２値マスク画像や透明度画像を求める処理を行えばよい。
【００４８】
また、どの２台の撮影装置から撮影された２枚の画像を選択するかを、画像の画素毎に行うことにより、背景からの光の偏光方向が様々であっても、正確に処理することができる。
【００４９】
この場合、ある１つの画素に対して、被写体が無い状態で撮影した複数の画像から、どの２台の撮影装置から撮影した２枚の画像を選ぶかを判断し、その２枚の画像に対応する被写体を置いて撮影した２枚の画像を用いて、背景か被写体かの判断、もしくは透明度画像の計算を行う。この処理を全ての画素に対して行う。
【００５０】
より詳細には、図４に示す画像処理装置８に、被写体が無い状態でｎ台の撮影装置Ｃ１〜Ｃｎで撮影したｎ枚の画像ＰＥ１〜ＰＥｎと、被写体を置いてｎ台の撮影装置Ｃ１〜Ｃｎで撮影したｎ枚の画像Ｐ１〜Ｐｎを入力する。そして、これら画像の横の画素数をｗ、縦の画素数をｈとし、各画像の１点（ｘ、ｙ）（０≦ｘ＜ｗ、０≦ｙ＜ｈ）における画像ＰＥｋ（１≦ｋ≦ｎ）の画素値（輝度値）をＰＥｋ（ｘ, ｙ）、画像Ｐｋの画素値をＰｋ（ｘ, ｙ）とし、画素値ＰＥ１（ｘ，ｙ）〜ＰＥｎ（ｘ，ｙ）のうちの全ての組み合わせの中で、その画素値の差分が最大となる２枚の画像をＰＥａ、ＰＥｂとすると、これらに対応する画像Ｐ１〜Ｐｎの中の画像ＰａとＰｂの画素値Ｐａ（ｘ,ｙ）と画素値Ｐｂ（ｘ,ｙ）の差が閾値より少なければ、その部分を被写体の部分とする処理を行う。この処理をすべての画素に対して行い、２値マスク画像を作成し、２値マスク画像を用いて被写体部分と、別の背景との合成画像を求めて出力する。
【００５１】
透明度画像を計算する場合には、上記の処理において、画像ＰａとＰｂを選択した後に、透明度画像の画素値をＡＰ（ｘ，ｙ）として、ＡＰ（ｘ，ｙ）＝１−｜Ｐａ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜／｜ＰＥａ（ｘ，ｙ）−ＰＥｂ（ｘ，ｙ）｜により透明度画像の画素値を計算する。上記の処理を全ての画素に対して行い、透明度画像を求め、上述したブレンディングの式を用いて被写体と別の背景との合成を行い、合成画像を出力する。
【００５２】
なお、上記の実施の形態のように偏光フィルタを用いて背景の異なる複数枚の画像を得る方法の他に、偏光フィルタを用いないで、背景を替えて異なる複数の画像を撮影する方法も考えられる。しかし、この手法では、背景が異なる被写体が同じ位置で写った２枚の画像が必要であり、背景を変えて２枚撮影する必要がある。このため、人や動物など動く被写体は、背景を変えている間に被写体の位置や形が変わるため、正確な２値マスク画像や透明度画像を得ることができない。従って、この方法では被写体は静止物に限られる。
【００５３】
一方、本実施の形態で説明したような偏光フィルタを用いる方法では、背景の異なる複数枚の画像を１回の撮影で得ることが可能になるので、被写体は静止物に限られることはなく、動物体でもよい。
【００５４】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【００５５】
【発明の効果】
以上述べたように、本発明を用いることにより、被写体が動物体でかつ半透明または表面反射の強い物体でも、被写体の切出し画像に不自然に欠けが生じたりすることがなく、正確に、背景と被写体を切り分けることができ、他の画像等と合成した場合に、半透明性や反射性を再現し、自然な画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における撮影システムの構成図である。
【図２】図１の撮影システムを真上から見た図である。
【図３】 (a)は撮影装置Ａ４により撮影された画像例を示し、(b)は撮影装置Ｂ５により撮影された画像例を示し、(c)は被写体部分を示す２値マスク画像の例を示す。
【図４】本発明の実施の形態における画像処理装置の構成を示す図である。
【図５】本発明の実施の形態における画像処理装置における処理のフローチャートである。
【図６】 (a)は透明度画像の例を示し、(b)は背景画像の例を示し、(c)は合成画像の例を示す。
【符号の説明】
１背景表示装置
２偏光フィルタＡ
３被写体
４撮影装置Ａ
５撮影装置Ｂ
６ビームスプリッタ
７偏光フィルタＢ
８画像処理装置
１１画像入力部
１２画像処理部
１３画像出力部
２０画像表示装置

Claims

被写体の画像を別の画像に合成する画像処理装置であって、
背景部分の画像に差が出るように異なる偏光条件で撮影された２枚の画像を入力する手段と、
その２枚の画像を用いて被写体の透明度画像を求める手段と、
その透明度画像を用いて、前記２枚の画像のうちの１枚の画像と背景画像とを合成する手段とを有し、
前記被写体の透明度画像を求める手段は、前記２枚の画像を画像Ｐ１及び画像Ｐ２とし、画像Ｐ１上のある１点（ｘ，ｙ）の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上のその点の画素値をＰ２（ｘ，ｙ）とし、その差の絶対値｜Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ）｜の全画素における最大値をＰＰＭＡＸとしたときに、前記透明度画像上の各画素の画素値ＰＴ（ｘ，ｙ）を、
ＰＴ（ｘ，ｙ）＝１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））｜／ＰＰＭＡＸ
の式により求め、
前記合成する手段は、前記透明度画像上の各画素の画素値である透明度に基づく比率で、前記２枚の画像のうちの１枚の画像と前記背景画像とを合成して合成画像を求める
ことを特徴とする画像処理装置。
前記合成する手段は、画像Ｐ１又は画像Ｐ２のある 1 点（ｘ，ｙ）の色彩画素値をＰＣ（ｘ，ｙ）、前記背景画像のその点の画素値をＰＺ（ｘ，ｙ）としたときに、前記合成画像を、
ＰＴ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＰＴ（ｘ，ｙ））×ＰＺ（ｘ，ｙ）
の式を用いることにより求める請求項１に記載の画像処理装置。
前記２枚の画像は、偏光を発する背景部分を含む被写体を撮影した画像と、同じ背景部分と被写体を、その偏光を遮断する偏光フィルタを介して撮影した画像である請求項１又は２に記載の画像処理装置。
前記２枚の画像は、異なる偏光条件で撮影された３枚以上の画像のうちの、背景部分の輝度の差が最大の２枚の画像である請求項１又は２に記載の画像処理装置。
被写体の画像を別の画像に合成する画像処理装置であって、
被写体が無い状態でｎ台の撮影装置Ｃ１〜Ｃｎにより異なる偏光条件で撮影を行ったｎ枚の画像ＰＥ１〜ＰＥｎと、被写体を置いてｎ台の撮影装置Ｃ１〜Ｃｎで被写体が無い状態と同じ偏光条件で撮影を行ったｎ枚の画像Ｐ１〜Ｐｎを入力する手段と、
各画像の１点（ｘ、ｙ）における画像ＰＥｋ（１≦ｋ≦ｎ）の画素値をＰＥｋ（ｘ，ｙ）、画像Ｐｋの画素値をＰｋ（ｘ，ｙ）とし、画素値ＰＥ１（ｘ，ｙ）〜ＰＥｎ（ｘ，ｙ）のうちの全ての組み合わせの中で、画素値の差分が最大となる２枚の画像をＰＥａ、ＰＥｂとし、これらに対応する画像Ｐ１〜Ｐｎの中の画像ＰａとＰｂの画素値をＰａ（ｘ，ｙ）とＰｂ（ｘ，ｙ）としたときに、
１−｜Ｐａ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜／｜ＰＥａ（ｘ，ｙ）−ＰＥｂ（ｘ，ｙ）｜
の式を用いて透明度画像の各画素の画素値ＡＰ（ｘ，ｙ）を計算する処理を、全ての画素に対して行うことにより透明度画像を求める手段と、
前記透明度画像上の各画素の画素値である透明度に基づく比率で、画像Ｐ１〜Ｐｎのうちの１枚の画像と背景画像とを合成して合成画像を求める手段と
を有することを特徴とする画像処理装置。
前記合成画像を求める手段は、画像Ｐ１〜Ｐｎのうちの１枚の画像のある 1 点（ｘ，ｙ）の色彩画素値をＰＣ（ｘ，ｙ）、前記背景画像のその点の画素値をＰＺ（ｘ，ｙ）としたときに、前記合成画像を、
ＡＰ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＡＰ（ｘ，ｙ））×ＰＺ（ｘ，ｙ）
の式を用いることにより求める請求項５に記載の画像処理装置。
偏光を発生させる背景表示装置と、背景表示装置の前に置かれた被写体からの光を二つに分けるビームスプリッタと、ビームスプリッタの一方の出力光を撮影して画像Ｐ１を取得する第１の撮影装置と、ビームスプリッタの他方の出力光を撮影して画像Ｐ２を取得する第２の撮影装置と、ビームスプリッタと第１の撮影装置との間に備えられた偏光フィルタと、画像処理装置とを有する撮影システムであって、前記画像処理装置は、
背景部分の画像に差が出るように異なる偏光条件で撮影された画像Ｐ１と画像Ｐ２を入力する手段と、
画像Ｐ１と画像Ｐ２とを用いて被写体の透明度画像を求める手段と、
その透明度画像を用いて、画像Ｐ１又は画像Ｐ２と背景画像とを合成する手段とを有し、
前記被写体の透明度画像を求める手段は、画像Ｐ１上のある１点（ｘ，ｙ）の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上のその点の画素値をＰ２（ｘ，ｙ）とし、その差の絶対値｜Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ）｜の全画素における最大値をＰＰＭＡＸとしたときに、前記透明度画像上の各画素の画素値ＰＴ（ｘ，ｙ）を、
ＰＴ（ｘ，ｙ）＝１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））｜／ＰＰＭＡＸ
の式により求め、
前記合成する手段は、前記透明度画像上の各画素の画素値である透明度に基づく比率で、前記２枚の画像のうちの１枚の画像と前記背景画像とを合成して合成画像を求める
ことを特徴とする撮影システム。
前記合成する手段は、画像Ｐ１又は画像Ｐ２のある 1 点（ｘ，ｙ）の色彩画素値をＰＣ（ｘ，ｙ）、前記背景画像のその点の画素値をＰＺ（ｘ，ｙ）としたときに、前記合成画像を、
ＰＴ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＰＴ（ｘ，ｙ））×ＰＺ（ｘ，ｙ）
の式を用いることにより算出する請求項７に記載の撮影システム。
前記ビームスプリッタと前記第２の撮影装置との間に前記偏光フィルタと異なる偏光方向を有する偏光フィルタを備えた請求項７又は８に記載の撮影システム。
被写体を置くためのテーブルを更に備え、
そのテーブルは前記背景表示装置と同様の偏光を発生する請求項７ないし９のうちいずれか１項に記載の撮影システム。
前記背景表示装置及び前記テーブルを、ＥＬパネル、液晶パネル、液晶シャッター、投影型スクリーン、プラズマディスプレイ、又はＣＲＴと、その表面に偏光フィルタを備えて構成した請求項１０に記載の撮影システム。
偏光を発生させる背景表示装置と、背景表示装置の前に置かれた被写体からの光を３つ以上に分割するビームスプリッタと、ビームスプリッタからの各出力光を撮影する複数の撮影装置Ｃ１〜Ｃｎと、各撮影装置とビームスプリッタ間に設けられたそれぞれ偏光方向が異なる偏光フィルタと、画像処理装置とを有する撮影システムであって、前記画像処理装置は、
被写体が無い状態でｎ台の前記撮影装置Ｃ１〜Ｃｎにより異なる偏光条件で撮影を行ったｎ枚の画像ＰＥ１〜ＰＥｎと、被写体を置いてｎ台の撮影装置Ｃ１〜Ｃｎで被写体が無い状態と同じ偏光条件で撮影を行ったｎ枚の画像Ｐ１〜Ｐｎを入力する手段と、
各画像の１点（ｘ、ｙ）における画像ＰＥｋ（１≦ｋ≦ｎ）の画素値をＰＥｋ（ｘ，ｙ）、画像Ｐｋの画素値をＰｋ（ｘ，ｙ）とし、画素値ＰＥ１（ｘ，ｙ）〜ＰＥｎ（ｘ，ｙ）のうちの全ての組み合わせの中で、画素値の差分が最大となる２枚の画像をＰＥａ、ＰＥｂとし、これらに対応する画像Ｐ１〜Ｐｎの中の画像ＰａとＰｂの画素値をＰａ（ｘ，ｙ）とＰｂ（ｘ，ｙ）としたときに、
１−｜Ｐａ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜／｜ＰＥａ（ｘ，ｙ）−ＰＥｂ（ｘ，ｙ）｜
の式を用いて透明度画像の各画素の画素値ＡＰ（ｘ，ｙ）を計算する処理を、全ての画素に対して行うことにより透明度画像を求める手段と、
前記透明度画像上の各画素の画素値である透明度に基づく比率で、画像Ｐ１〜Ｐｎのうちの１枚の画像と背景画像とを合成して合成画像を求める手段とを有する
ことを特徴とする撮影システム。
前記合成画像を求める手段は、画像Ｐ１〜Ｐｎのうちの１枚の画像のある 1 点（ｘ，ｙ）の色彩画素値をＰＣ（ｘ，ｙ）、前記背景画像のその点の画素値をＰＺ（ｘ，ｙ）としたときに、前記合成画像を、
ＡＰ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＡＰ（ｘ，ｙ））×ＰＺ（ｘ，ｙ）
の式を用いることにより算出する請求項１２に記載の撮影システム。
被写体の画像を別の画像に合成する画像処理装置における画像処理方法であって、
背景部分の画像に差が出るように異なる偏光条件で撮影された２枚の画像を入力するステップと、
その２枚の画像を用いて被写体の透明度画像を求めるステップと、
その透明度画像を用いて、前記２枚の画像のうちの１枚の画像と背景画像とを合成するステップとを有し、
前記被写体の透明度画像を求めるステップにおいて、前記画像処理装置は、前記２枚の画像を画像Ｐ１及び画像Ｐ２とし、画像Ｐ１上のある１点（ｘ，ｙ）の画素値をＰ１（ｘ，ｙ）、画像Ｐ２上のその点の画素値をＰ２（ｘ，ｙ）とし、その差の絶対値｜Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ）｜の全画素における最大値をＰＰＭＡＸとしたときに、前記透明度画像上の各画素の画素値ＰＴ（ｘ，ｙ）を、
ＰＴ（ｘ，ｙ）＝１−｜（Ｐ１（ｘ，ｙ）−Ｐ２（ｘ，ｙ））｜／ＰＰＭＡＸ
の式により求め、
前記合成するステップにおいて、前記画像処理装置は、前記透明度画像上の各画素の画素値である透明度に基づく比率で、前記２枚の画像のうちの１枚の画像と前記背景画像とを合成して合成画像を求める
ことを特徴とする画像処理方法。
前記合成するステップにおいて、前記画像処理装置は、画像Ｐ１又は画像Ｐ２のある 1 点（ｘ，ｙ）の色彩画素値をＰＣ（ｘ，ｙ）、前記背景画像のその点の画素値をＰＺ（ｘ，ｙ）としたときに、前記合成画像を、
ＰＴ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＰＴ（ｘ，ｙ））×ＰＺ（ｘ，ｙ）
の式を用いることにより算出する請求項１４に記載の画像処理方法。
前記２枚の画像は、偏光を発する背景部分を含む被写体を撮影した画像と、同じ背景部分と被写体を、その偏光を遮断する偏光フィルタを介して撮影した画像である請求項１４又は１５のうちいずれか１項に記載の画像処理方法。
前記２枚の画像は、異なる偏光条件で撮影された３枚以上の画像うちの、背景部分の輝度の差が最大の２枚の画像である請求項１４又は１５のうちいずれか１項に記載の画像処理方法。
被写体の画像を別の画像に合成する画像処理装置における画像処理方法であって、
被写体が無い状態でｎ台の撮影装置Ｃ１〜Ｃｎにより異なる偏光条件で撮影を行ったｎ枚の画像ＰＥ１〜ＰＥｎと、被写体を置いてｎ台の撮影装置Ｃ１〜Ｃｎで被写体が無い状態と同じ偏光条件で撮影を行ったｎ枚の画像Ｐ１〜Ｐｎを入力するステップと、
各画像の１点（ｘ、ｙ）における画像ＰＥｋ（１≦ｋ≦ｎ）の画素値をＰＥｋ（ｘ，ｙ）、画像Ｐｋの画素値をＰｋ（ｘ，ｙ）とし、画素値ＰＥ１（ｘ，ｙ）〜ＰＥｎ（ｘ，ｙ）のうちの全ての組み合わせの中で、画素値の差分が最大となる２枚の画像をＰＥａ、ＰＥｂとし、これらに対応する画像Ｐ１〜Ｐｎの中の画像ＰａとＰｂの画素値をＰａ（ｘ，ｙ）とＰｂ（ｘ，ｙ）としたときに、
１−｜Ｐａ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜／｜ＰＥａ（ｘ，ｙ）−ＰＥｂ（ｘ，ｙ）｜
の式を用いて透明度画像の各画素の画素値ＡＰ（ｘ，ｙ）を計算する処理を、全ての画素に対して行うことにより透明度画像を求めるステップと、
前記透明度画像上の各画素の画素値である透明度に基づく比率で、画像Ｐ１〜Ｐｎのうちの１枚の画像と背景画像とを合成して合成画像を求めるステップと
を有することを特徴とする画像処理方法。
前記合成画像を求めるステップにおいて、前記画像処理装置は、画像Ｐ１〜Ｐｎのうちの１枚の画像のある 1 点（ｘ，ｙ）の色彩画素値をＰＣ（ｘ，ｙ）、前記背景画像のその点の画素値をＰＺ（ｘ，ｙ）としたときに、前記合成画像を、
ＡＰ（ｘ，ｙ）×ＰＣ（ｘ，ｙ）＋（１−ＡＰ（ｘ，ｙ））×ＰＺ（ｘ，ｙ）
の式を用いることにより算出する請求項１８に記載の画像処理方法。
請求項１４ないし１９のうちのいずれか１項に記載の画像処理方法における各ステップをコンピュータに実行させるプログラム。