JP4875680B2 - 三次元情報統合装置および三次元情報統合プログラム - Google Patents

Description

本発明は、インテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式により複数の要素画像からなる三次元情報（要素画像群）を複数取得し、取得した複数の三次元情報のそれぞれについて大きさの比率および奥行き制御を行い、これらを統合して一つの三次元情報を生成するための三次元情報統合装置および三次元情報統合プログラムに関する。

一般に、レンズアレイや空間フィルタを通して被写体の三次元情報を取得する手法のうち、微小な光学素子アレイを用いて立体画像を撮像および表示する手法として、ＩＰ方式が知られている。

ここで、図１６（ａ）および図１６（ｂ）を用いてＩＰ方式に基づく通常の立体画像撮影について説明する。図１６（ａ）に示す立体画像撮影装置は、矢印で示す撮影方向１１４から、例えば、凸レンズで構成されたレンズ群１１２を通して被写体１１１を撮影する。ここで撮影方向１１４は、立体画像撮影装置がレンズ群１１２の前方（図１６（ａ）では左方）に配置された被写体１１１を撮影する方向である。このときレンズ群１１２の後方（図１６（ａ）では右方）の撮影板１１３には、レンズ群１１２を構成する凸レンズの個数と同じ個数だけ被写体１１１の像、例えば、像１１５が結像する。ここで、撮影板１１３は、基板上に配設された複数の撮像素子を備えて構成された情報取得デバイスである。各撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）撮像素子である。

図１６（ｂ）は、一平面状に凸レンズを配列したレンズ群１２２と表示素子１２３により構成される立体画像表示装置、および立体像１２１、観察方向１２４、レンズ群の像１２５を示す図である。ここで、表示素子１２３には、図１６（ａ）に示した立体画像撮影装置の撮影板１１３により撮影された像１１５に対応する像１２５を表示する。この表示素子１２３は、例えば液晶パネル等の情報表示デバイスから構成されている。立体画像表示装置から表示させた結果、図１６（ｂ）に示すように、被写体１１１が存在した場所と同じ場所に立体像１２１が生成される。ただし、立体像１２１は逆視像として生成される。すなわち、図１６（ａ）に示すように、撮影方向１１４から見た場合には、被写体１１１の円柱が角柱に対して手前に存在している。ところが、図１６（ｂ）に示すように、被写体１１１に対応する立体像１２１では、観察方向１２４から見て、角柱が円柱の手前に生成されている。

なお、図１６（ａ）、図１６（ｂ）には微小な光学素子アレイとしてレンズ群を表示し、このレンズ群を用いて被写体の立体情報の取得および表示を行うものとして動作を説明したが、微小な光学素子アレイとしては微小開口アレイ（空間フィルタ）を使用しても良い。

図１６（ａ）において、被写体１１１の角柱の大きさ（高さ）をｘｃ、レンズ群１１２から被写体１１１の角柱までの距離をｚｃ、レンズ群１１２から像１１５が撮影される面までの距離をｄｃ、レンズ群１１２を構成する凸レンズピッチをｐｃ、レンズ群１１２を構成する凸レンズにより生成される被写体の像の大きさ（高さ）をｋｃとする。また、図１６（ｂ）において、立体像１２１の角柱の大きさ（高さ）をｘｒ、レンズ群１２２から立体像１２１の角柱までの距離をｚｒ、レンズ群１２２から像１２５が表示される面までの距離をｄｒ、レンズ群１２２を構成する凸レンズピッチをｐｒ、表示素子１２３に表示される個々の像の大きさ（高さ）をｋｒとする。この場合、ｘｃとｘｒの関係は、非特許文献１により式（１０１）で表される。

ここで、

前記した式（１０２）の関係から、図１６（ａ）に示した立体画像撮影装置のレンズ群１１２を構成する凸レンズのピッチｐｃと、図１６（ｂ）に示した立体画像表示装置のレンズ群１２２を構成する凸レンズのピッチｐｒとを異なるものとすることで、被写体１１１に対する立体像１２１の大きさの比率ｘｒ／ｘｃを制御できることが導かれる。また、同様に、撮影された被写体の像１１５の大きさｋｃと、表示する像１２５の大きさｋｒとを変化させることで、被写体１１１に対する立体像１２１の大きさの比率ｘｒ／ｘｃを制御できることが導かれる。

また、従来、被写体と比較して奥行きが反転した逆視像が生成される問題を解決するために、図１６（ａ）に示した立体画像撮影装置で取得した情報を演算処理し、演算処理した後の情報を図１６（ｂ）に示す立体画像表示装置に入力し、最終的に正しい奥行きの立体像を生成する立体画像奥行き変換装置が開示されている（特許文献１参照）。

特許文献１で開示されている立体画像奥行き変換装置について図１７（ａ）および図１７（ｂ）を参照して説明する。図１７（ａ）は、図１６（ａ）で取得した像１３１、第１の仮想的なレンズアレイ１３２、仮想的に生成される立体像１３３、第２の仮想的なレンズアレイ１３４、第２の仮想的なレンズアレイ１３４により生成される像１３５（仮想的に生成された立体像１３３の像）を示す図である。ここで、像１３５は、光学的に生成されるものではなく、立体画像奥行き変換装置の演算処理により生成される。

図１７（ｂ）は、図１７（ａ）で演算処理により生成された像１４１（つまり図１６（ａ）における像１３５）、一平面状に凸レンズを配列したレンズ群１４２、立体像１４３、観察方向１４４を示す図である。図１７（ｂ）に示すように、例えば図１６（ｂ）の立体画像表示装置の動作の結果、観察方向１４４から見て、円柱が角柱に対して手前に観察されることとなる。立体像１４３は、図１６（ａ）における被写体の奥行き関係と等価である。
特開２００７−１１４４８３号公報 J. Opt. Soc. Am. A, Vol. 21, pp.951-958, 2004

ところで、近年、より演出効果を高める狙いから、複数の三次元情報を統合し、一つの三次元情報を生成する技術の確立が望まれている。
しかしながら、従来技術では、単一の三次元空間の大きさの比率および奥行き制御処理を行うことができるものの、複数の三次元情報のそれぞれについて大きさの比率および奥行き制御処理を行った後に、これらを統合して、一つの三次元情報を生成することができない。また、複数の三次元情報を統合して、一つの三次元情報を生成する際には、一つの三次元情報を立体像として表示させたときに、複数の三次元情報が奥行き方向に互いに重なり合う部分に、いわゆるファントム現象が発生するのを防止することも重要な問題である。

かかる事情に鑑み、本発明は、複数の三次元情報が互いに重なり合う部分にいわゆるファントム現象を発生させることなく、複数の三次元情報のそれぞれについて、大きさの比率および奥行き制御処理を行った後に、これらを統合して、一つの三次元情報を生成することが可能な三次元情報統合装置および三次元情報統合プログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の三次元情報統合装置は、被写体を立体画像として表示するために、インテグラルフォトグラフィ方式により取得した複数の要素画像からなる三次元情報を複数統合して一つの三次元情報を生成するための三次元情報統合装置であって、要素画像分離手段と、画素記憶手段と、立体画像奥行き制御手段と、統合三次元情報記憶手段と、画素値割り当て済み位置記憶手段と、出力手段と、を備えることを特徴とする。

かかる構成によれば、三次元情報統合装置は、要素画像分離手段によって、外部から入力された操作信号に基づいて、複数の要素画像群についてそれぞれ、個々の要素画像から、所望の奥行き範囲に存在する被写体領域に対応する画素とそれ以外の領域に対応する画素を分離する。また、三次元情報統合装置は、要素画像分離手段によって、被写体領域に対応する画素からなる処理対象要素画像群をそれぞれ画素記憶手段に出力して記憶させる。

また、三次元情報統合装置は、立体画像奥行き制御手段によって、画素記憶手段に記憶された複数の処理対象要素画像群のそれぞれに対応付けられた被写体のそれぞれについて指定された統合後の三次元情報における任意の奥行き位置を示す値により特定される、統合後の三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に画素記憶手段から読み出し、当該読み出した処理対象要素画像群について、被写体の大きさに対する再生像の大きさの比率が予め設定された任意の値となるように制御する処理、および、奥行き位置を示す値に従って奥行きを制御する処理を行って処理済要素画像群を生成する。

そして、三次元情報統合装置は、統合三次元情報記憶手段によって、立体画像奥行き制御手段により生成された処理済要素画像群を記憶する。そして、三次元情報統合装置は、画素値割り当て済み位置記憶手段によって、立体画像奥行き制御手段から入力された、統合三次元情報記憶手段に画素値が割り当てられた位置を記憶する。

ここで、三次元情報統合装置は、二番目以降に統合の処理対象となる処理対象要素画像群については、立体画像奥行き制御手段によって、画素値割り当て済み位置記憶手段を参照し、当該処理対象要素画像群が割り当てられるべき画素のうち、統合三次元情報記憶手段においてまだ情報が割り当てられていない画素のみ、大きさの比率および奥行きを制御した画素値を統合三次元情報記憶手段の画素に割り当てる。

これによれば、複数の三次元情報の大きさの比率および奥行きを操作者の任意で制御して統合することができる。さらに、統合三次元情報において最も手前に配置される被写体の要素画像群から順に、大きさの比率および奥行き制御処理を行い、統合三次元情報記憶手段に画素値を割り当てるとともに、奥行き方向に複数の画素値を割り当てないようにしたため、統合三次元情報を立体画像として表示させたときに、複数の被写体が重なり合う部分については、手前に配置される被写体のみが表示されることとなる。これにより、複数の被写体が互いに重なりあう部分に、いわゆるファントム現象が発生することを防止することができる。

また、三次元情報統合装置は、全ての処理対象要素画像群についての大きさの比率および奥行き制御の終了後、出力手段によって、統合三次元情報記憶手段に記憶された統合三次元情報を外部へ出力する。出力先としては、例えば、表示装置や記憶媒体等が該当する。

請求項２に記載の三次元情報統合装置は、請求項１に記載の立体画像表示装置において、前記立体画像奥行き制御手段が、前記処理対象要素画像群の光波を要素画像毎に分配する分配手段と、この分配手段で分配された要素画像の光波を、第１の仮想的な開口群を通過して前記第１の仮想的な開口群と開口のピッチの異なる第２の仮想的な開口群へ伝搬する光波に変換する第１要素画像変換手段と、この第１要素画像変換手段で変換されたそれぞれの要素画像の光波を前記分配された数だけ、前記第２の仮想的な開口群の入射面で加算する加算手段と、この加算手段で加算された光波を、前記要素画像毎に再分配する再分配手段と、この再分配手段で分配された要素画像の光波を、前記第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光波に変換する第２要素画像変換手段と、この第２要素画像変換手段で変換された光波を、前記再分配された数だけ結合することで、前記処理済要素画像群を生成する結合手段と、を備え、前記処理対象要素画像群について大きさの比率を制御する処理を、予め任意の値に設定された前記第１の仮想的な開口群と前記第２の仮想的な開口群とのピッチの比Φに応じて行うことを特徴とする。
また、請求項２に記載の三次元情報統合装置は、請求項１または請求項２に記載の立体画像表示装置において、立体画像奥行き制御手段での全ての処理対象要素画像群についての大きさの比率および奥行き制御処理の終了後、外部から入力された操作信号に基づき、統合三次元情報記憶手段において、まだ画素値が割り当てられていない画素に画素値を割り当てる画素値割り当て手段をさらに備えることを特徴とする。これにより、統合三次元情報記憶手段の全ての画素に画素値を割り当てることができる。

また、請求項４に記載の三次元情報統合プログラムは、複数の要素画像からなる三次元情報を複数統合して一つの三次元情報を生成するために、コンピュータを、要素画像分離手段、画素記憶手段、立体画像奥行き制御手段、統合三次元情報記憶手段、画素値割り当て済み位置記憶手段、出力手段、として機能させることを特徴とする。

本発明は、以下に示す優れた効果を奏するものである。請求項１、２および請求項４に記載の発明によれば、複数の三次元情報を統合した統合三次元情報を生成することができる。また、統合三次元情報記憶手段においてすでに画素値が割り当てられた位置には重複して画素値を割り当てないようにしているため、当該統合三次元情報を立体画像として表示させたときに、複数の被写体が互いに重なり合う部分にいわゆるファントム現象が発生しない統合三次元情報を生成することができる。また、複数の被写体の大きさの比率および奥行きを操作者の任意で制御して統合することができる。このため、様々なバリエーションの立体画像を生成することができ、画像の演出効果を高めることができる。さらに、本発明によれば、複数の三次元情報を統合した統合三次元情報を演算により生成することができるため、装置の構成を簡素化することができる。また、請求項３に記載の発明によれば、請求項１に記載の発明の効果に加え、統合三次元情報記憶手段において統合三次元情報が割り当てられない画素にも、画素値を割り当てることができる。

以下、本実施形態について、適宜図面を参照しながら詳細に説明する。
［概略］
まず、本実施形態に係る三次元情報統合装置の詳細な説明に先立ち、本発明の概略について図１を参照して簡単に説明する。図１は、本発明の概略を説明するための図であり、複数の三次元情報（要素画像群）を統合して一つの三次元情報（要素画像群）を生成する様子を説明するための説明図である。

図１に示すように、要素画像群３０_１および要素画像群３０_２は、フィルムに、ピンホールまたは凸レンズの大きさおよび数に応じた縮小された被写体の倒立像（要素画像）を撮影してなるものである。本実施形態の場合、要素画像群３０_１は、円柱と三角錐からなる被写体および背景を撮影したものであり、要素画像群３０_２は、球体と三角錐からなる被写体および背景を撮影したものである。本発明の三次元情報統合装置は、この要素画像群３０_１の一部、例えば被写体領域と、要素画像群３０_２の一部、例えば被写体領域のそれぞれについて、大きさの比率および奥行き制御処理を行った後に統合し、図１の最右図に示すような統合三次元情報を生成するものである。

また、本発明の三次元情報統合装置は、ＩＰ方式により被写体を撮影して得られた要素画像群における被写体の大きさおよび奥行きに関わらず、複数の要素画像群のそれぞれの大きさの比率および奥行きを操作者の任意で制御した後に統合することが可能である。

［三次元情報統合装置の構成］
以下、図２を参照して、三次元情報統合装置１の構成について説明する。図２は、本実施形態に係る三次元情報統合装置の構成を示すブロック図である。
図２に示すように、本実施形態に係る三次元情報統合装置１は、要素画像分離手段２と、画素記憶手段３と、立体画像奥行き制御手段４と、統合三次元情報記憶手段５と、画素値割り当て済み位置記憶手段６と、画素値割り当て手段７と、出力手段８と、を備えている。

要素画像分離手段２は、外部から入力された操作信号に基づいて、ＩＰ方式で撮影された複数の三次元情報（要素画像群）を受け取り、複数の要素画像群についてそれぞれ、個々の要素画像から、所望の奥行き範囲に存在する被写体領域に対応する画素とそれ以外の領域に対応する画素を分離するものである。

要素画像分離手段２は、例えば、映像信号の色・輝度成分を利用するものや、被写体の奥行き情報を利用するものが該当する。映像信号の色成分を利用する手法としては、クロマキー技術を利用することができる。これは、ある特定の色（キー信号）の背景の前面に被写体を配置して三次元情報を生成し、外部から入力された操作信号に基づいて、個々の要素画像から特定の色を有する映像信号のみをキー信号として分離し、キー信号以外の映像信号のみを抽出するものである。これによれば、所望の奥行き範囲に存在する被写体領域（キー信号以外の映像信号）とそれ以外の領域（キー信号）を分離することができる。

また、被写体の奥行き情報を利用する手法では、個々の要素画像から被写体の奥行き情報を算出し、算出した奥行き情報を用いて、所望の奥行き範囲に存在する被写体領域とそれ以外の領域を分離することができる。
複数の要素画像群のそれぞれについて、操作者により入力手段を介して所望の奥行き範囲が入力されると、要素画像分離手段２が、算出された奥行き情報に基づいて、個々の要素画像から当該奥行き範囲に存在する画素を抽出することにより、所望の奥行き範囲に存在する被写体領域とそれ以外の領域（背景領域）を分離できるようになっている。複数の被写体が重なり合っている場合には、複数の被写体を全て抽出するか、あるいは、一番手前の被写体のみを抽出する。要素画像分離手段２によって分離された所望の奥行き範囲に存在する被写体に対応する画素は、処理対象要素画像群として画素記憶手段３に出力され、記憶される。

ここで、外部から入力された操作信号とは、本実施形態では、入力手段２０を介した操作者による三次元情報統合装置１への所定の操作信号の入力をいう。入力手段２０とは、例えば、コンピュータのキーボード等が該当し、所定の操作信号の入力とは、例えば、コンピュータのキーボードの操作等が該当する。例えば、被写体の奥行き情報を利用する手法では、コンピュータのキーボードで奥行き範囲の数値を入力することが該当する。

画素記憶手段３は、要素画像分離手段２から入力された所望の奥行き範囲に存在する被写体領域に対応する画素で構成される複数の処理対象要素画像群を記憶するものである。この画素記憶手段３は、例えば、ハードディスクや光メモリ、磁気ディスク等であって、画像を記憶するのに十分な容量を有するものが使用される。

立体画像奥行き制御手段４は、外部から入力された操作信号により特定された、統合三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に、画素記憶手段３から読み出し、読み出した処理対象要素画像群の大きさの比率および奥行き制御を行うものである。

ここで、外部から入力された操作信号とは、例えば、入力手段２０がコンピュータのキーボードの場合、統合三次元情報での被写体の奥行き位置を表す数値などが該当する。
例えば、操作者が、奥行値“０”や奥行値“５１”などの任意の数値を入力することにより、統合三次元情報での被写体の奥行き位置が決定される。

立体画像奥行き制御手段４における被写体に対応する画素の大きさの比率および奥行きの制御処理は、処理対象となる被写体の大きさや奥行きを利用して行うことができる。処理対象となる被写体の大きさや奥行きの情報は、三次元情報が生成されたときの被写体の大きさや奥行きの情報を予め取得し、これを用いても良い。また、特開２００２−５１３５８号公報に示すように、要素画像群から算出された被写体の奥行き情報を用いても良い。

立体画像奥行き制御手段４としては、例えば、特開２００７−１１４４８３号公報に記載のような立体画像奥行き変換装置を用いることができる。
次に、図３および適宜図４を参照して、本実施形態に係る立体画像奥行き制御手段４の構成について詳細に説明する。図３は、本実施形態に係る立体画像奥行き制御手段の構成を示すブロック構成図、図４は、本実施形態に係る立体画像奥行き制御手段によって、演算により立体画像の奥行きを制御する方法を説明するための模式図である。

なお、立体画像奥行き制御手段４に入力される要素画像群は、立体画像撮影装置（図示せず）において、ＣＣＤ等によって撮影された映像信号、あるいは、計算機によって生成された、ＣＣＤと等価な映像信号である。本実施形態に係る立体画像奥行き制御手段４は、図４に示すような、光学系による立体画像の奥行き制御を演算で行うものである。

図３に示すように、立体画像奥行き制御手段４は、分配手段４１と、要素画像分の要素画像変換手段４２、奥行き変換手段４３および要素画像再生手段４４と、加算手段４５とを備えている。

分配手段４１は、入力された要素画像群を要素画像単位に分割するものである。ここで、分配手段４１は、入力された要素画像群における第１の要素画像面１１ａの表示面に表示される処理対象要素画像群のｍ番目の要素画像の光波（ｇ_ｓ，ｍ（ｘ_ｓ，ｍ，ｙ_ｓ，ｍ））を、ｍ番目の要素画像に予め対応付けられている要素画像変換手段４２に出力する。なお、ここで、光波とは、画素値を光の波動として扱った場合の振幅と位相を複素数で表したものである。

要素画像変換手段（処理対象要素画像光波変換手段）４２は、要素画像の光波を、予め定めた焦点距離となる要素レンズ（仮想のピンホールまたはレンズ）を通した際の光波に変換するものである。ここでは、要素画像変換手段４２は、光波計算手段４２ａと、位相シフト手段４２ｂとを備えている。

光波計算手段４２ａは、要素画像の光波をフレネル近似（Fresnel diffraction）することで、要素レンズ（仮想のピンホールまたはレンズ）に入射する光波を演算するものである。光波計算手段４２ａから出力された光波は、位相シフト手段４２ｂに出力される。

位相シフト手段４２ｂは、光波計算手段４２ａから入力された要素画像の光波（Ｒ_ｉ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））から、位相を仮想の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。
この要素画像ごとの光波（Ｒ_ｏ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））は、奥行き変換手段４３に出力される。

奥行き変換手段４３は、要素画像変換手段４２で変換された光波を、予め定めた焦点距離となる仮想の奥行き制御レンズＬ（凸レンズ）を通した際の光波に変換するものである。ここでは、奥行き変換手段４３は、位相シフト手段４３ａと、再分配手段４３ｂとを備えている。
位相シフト手段４３ａは、要素画像変換手段４２で変換された光波の位相を仮想の凸レンズに相当する位相分だけシフトさせた光波を演算するものである。

再分配手段４３ｂは、位相シフト手段４３ａから入力された要素画像ごとの光波（Ｒ_ｄ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））から、第２の仮想的な開口群１２ｂの開口部（要素レンズ）に入射する光波を演算するものである。
この第２の仮想的な開口群１２ｂの開口部ごとの光波（Ｒ_{ｐ，ｎ，ｍ}（ｘ_ｐ，ｎ，ｙ_ｐ，ｎ））は、要素画像再生手段４４に出力される。

要素画像再生手段（処理済要素画像光波変換手段）４４は、奥行き変換手段４３で変換された光波を、予め定めた焦点距離となる要素レンズ（仮想のピンホールまたはレンズ）を通した際の光波に変換するものである。ここでは、要素画像再生手段４４は、位相シフト手段４４ａと、光波計算手段４４ｂとを備えている。

位相シフト手段４４ａは、奥行き変換手段４３で変換された光波（Ｒ_{ｐ，ｎ，ｍ}（ｘ_ｐ，ｎ，ｙ_ｐ，ｎ））から、位相を仮想の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。

光波計算手段４４ｂは、要素レンズごとの光波をフレネル近似することで、要素レンズ（仮想のピンホールまたはレンズ）から出射し、第２の要素画像面１２ａの撮影面に到達する光波を演算するものである。

加算手段４５は、要素画像再生手段４４から出力された要素画像ごとの光波から、その光波電力の総和を演算することで、奥行き変換処理が施された映像信号、すなわち、第２要素画像群（処理済要素画像群）となる映像信号を生成するものである。また、加算手段４５は、光波電力の総和を演算する際に、画素値割り当て済み位置記憶手段６を参照し、統合三次元情報記憶手段５において画素値が割り当てられた位置に対応する画素については、演算を行わない。

このように構成された立体画像奥行き制御手段４は、演算により、立体画像として表示される再生像の奥行きを変化させた画像（処理済要素画像群）を生成することができる。
また、立体画像奥行き制御手段４は、大きさの比率および奥行き制御処理を行った処理済要素画像群の画素値を統合三次元情報記憶手段５に出力し、記憶させる。

さらに、立体画像奥行き制御手段４は、統合三次元情報記憶手段５において画素値が割り当てられた位置の情報を画素値割り当て済み位置記憶手段６に出力し、記憶させる。例えば、立体画像奥行き制御手段４は、統合三次元情報記憶手段５において画素値が割り当てられた画素と対応する画素値割り当て済み位置記憶手段６の画素に“１”を割り当て、統合三次元情報記憶手段５において画素値が割り当てられていない画素と対応する画素値割り当て済み位置記憶手段の画素には“０”を割り当てる。

図２に戻って、統合三次元情報記憶手段５は、立体画像奥行き制御手段４から入力された、大きさの比率および奥行きが制御された画素を記憶するものである。統合三次元情報記憶手段５は、立体画像奥行き制御手段４から入力された処理済要素画像群を全て記憶可能な容量を有している。

画素値割り当て済み位置記憶手段６は、立体画像奥行き制御手段４から入力された、統合三次元情報記憶手段５に画素値が割り当てられた位置を記憶する。画素値割り当て済み位置記憶手段６は、統合三次元情報記憶手段５に画素値が割り当てられた位置を全て記憶可能な容量を有している。

画素値割り当て手段７は、全ての処理対象要素画像群についての大きさの比率および奥行き制御処理の終了後、外部から入力された操作信号に基づき、統合三次元情報記憶手段５においてまだ画素値が割り当てられていない画素に画素値を割り当てるものである。出力手段８は、統合三次元情報記憶手段５に記憶された統合三次元情報を外部へ出力するものである。出力先は、例えば、表示装置や記憶媒体等である。なお、画素値割り当て手段７は、設けなくても良い。この場合、統合三次元情報記憶手段５において統合三次元情報が割り当てられない画素については、画素値を割り当てない（映像信号を０とする）。

［三次元情報統合装置の動作］
以下、図５ないし図８および適宜図２ないし図４を参照して、本実施形態に係る三次元情報統合装置１の動作を説明する。具体的には、異なる三次元空間に配置された被写体同士を統合する際の三次元情報統合装置１の動作を説明する。
参照する図５は、本実施形態に係る三次元情報統合装置の要素画像分離手段の動作を説明するための概念図、図６は、画素記憶手段に記憶した処理対象要素画像群の処理順序が決定される様子を説明するための概念図、図７（ａ）〜（ｅ）は、本実施形態に係る三次元情報統合装置の立体画像奥行き制御手段によって、統合三次元情報記憶手段に画素値が割り当てられる様子、（ｆ）〜（ｈ）は、画素値割り当て済み位置記憶手段に、統合三次元情報記憶手段に画素値が割り当てられた位置の情報が割り当てられる様子を説明するための概念図、図８は、本実施形態に係る三次元情報統合装置の動作を示すフローチャートである。なお、図７（ａ）および（ｆ）に示すように、統合三次元情報記憶手段５および画素値割り当て済み位置記憶手段６は、初期状態であるものとする。

図２および図５に示すように、外部から複数の要素画像群３０が入力されると、三次元情報統合装置１は、要素画像分離手段２によって、外部から入力された操作信号に基づき、複数の要素画像群３０（要素画像群３０_１〜要素画像群３０_ｎ）についてそれぞれ、個々の要素画像から所望の奥行き範囲に存在する被写体領域とそれ以外の範囲に存在する領域を分離する。

例えば、図５に示すように、要素画像群３０_３において、操作信号により指定された奥行き範囲に存在する三角形と、三角形と一部重なり合って奥に配置される四角形からなる被写体領域と、それ以外の範囲に存在する領域（図５で薄いグレーで表された背景領域）を分離する。また、要素画像群３０_ｎにおいて、操作信号により指定された奥行き範囲に存在する円形の被写体領域と、それ以外の範囲に存在する領域（三角形の被写体領域および濃いグレーで表された背景領域）を分離する。
そして、要素画像分離手段２は、このようにして複数の要素画像群３０からそれぞれ分離された複数の処理対象要素画像群３１（処理対象要素画像群３１_１〜処理対象要素画像群３１_ｎ）を画素記憶手段３に出力し、順次記憶させる（ステップＳ１）。

図２および図６に示すように、三次元情報統合装置１は、立体画像奥行き制御手段４によって、外部から入力された操作信号により特定された順番に従って、画素記憶手段３に記憶された複数の処理対象要素画像群３１を読み出す。ここでいう順番とは、操作者により任意に決定された、統合三次元情報における複数の被写体の奥行き方向の並び順であり、立体画像奥行き制御手段４は、複数の処理対象要素画像群３１のうち、統合三次元情報において最も手前に配置される被写体に対応づけられた処理対象要素画像群から順に画素記憶手段３から読み出す（ステップＳ２）。

例えば、本実施形態では、図６左図に示すように、画素記憶手段３によって、処理対象要素画像群３１_１〜処理対象要素画像群３１_ｎが記憶されているところ、立体画像奥行き制御手段４によって、操作信号により指定された順、例えば、本実施形態では図６右図に示すように、処理対象要素画像群３１_３、処理対象要素画像群３１_ｎ、処理対象要素画像群３１_１・・処理対象要素画像群３１_２の順に読み出す。なお、複数の処理対象要素画像群の処理順序は、全ての処理対象要素画像群について一度に決定しても良いし、一つの処理対象要素画像群についての処理が終了する都度、次に処理を行う処理対象要素画像群を決定するようにしても良い。

次に、三次元情報統合装置１は、立体画像奥行き制御手段４によって、画素値割り当て済み位置記憶手段６から、統合三次元情報記憶手段５においてすでに画素値が割り当てられている位置を読み出す（ステップＳ３）。

そして、立体画像奥行き制御手段４は、処理対象要素画像群３１_３の大きさの比率および奥行き制御処理を行い、統合三次元情報記憶手段５に制御後の画素値を割り当てる（ステップＳ４）。ただし、立体画像奥行き制御手段４は、画素値割り当て済み位置記憶手段６を参照した結果、処理対象要素画像群３１_３の大きさの比率および奥行き制御処理を行った後の画素値が割り当てられるべき画素にすでに他の処理済要素画像群の画素値が割り当てられている場合には、当該割り当て済み画素に対応する位置の画素を除いて、処理済要素画像群３２_３を生成する。

すなわち、立体画像奥行き制御手段４は、次のように動作する。立体画像奥行き制御手段４は、分配手段４１によって、入力された映像信号における第１の要素画像面１１ａの表示面に表示される処理対象要素画像群３１_３のｍ番目の要素画像の光波（ｇ_ｓ，ｍ（ｘ_ｓ，ｍ，ｙ_ｓ，ｍ））を、ｍ番目の要素画像に予め対応付けられている要素画像変換手段４２に出力する。

立体画像奥行き制御手段４は、光波計算手段４２ａによって、第１の仮想的な開口群１１ｂのｍ番目の開口部（要素レンズ等）に到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（２）により要素画像ごとの光波（Ｒ_ｉ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））を演算する。

ここで、ｘ_ｓ，ｍ、ｘ_ｏ，ｍは、それぞれ画像全体（処理対象要素画像群）におけるｍ番目の要素画像の中心のｘ座標、第１の仮想的な開口群１１ｂのｍ番目の開口部の光軸中心からのｘ座標である。また、ｙ_ｓ，ｍ、ｙ_ｏ，ｍは、それぞれ画像全体（処理対象要素画像群）におけるｍ番目の要素画像の中心のｙ座標、第１の仮想的な開口群１１ｂのｍ番目の開口部の光軸中心からのｙ座標である。また、ｆ_１は第１の仮想的な開口群１１ｂの開口部（要素レンズ）の焦点距離、ｋは波数２π／λ（λは波長）である。
この要素画像ごとの光波（Ｒ_ｉ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））は、位相シフト手段４２ｂに出力される。

立体画像奥行き制御手段４は、位相シフト手段４２ｂによって、以下の式（３）に示すように、要素レンズに相当する位相分だけ光波（Ｒ_ｉ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））をシフトさせることで、要素レンズから出射する光波に相当する信号（光波Ｒ_ｏ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））を演算する。

この要素画像ごとの光波（Ｒ_ｏ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））は、奥行き変換手段４３に出力される。
立体画像奥行き制御手段４は、奥行き変換手段４３の位相シフト手段４３ａによって、以下の（４）式に示すように、奥行き制御レンズＬに相当する位相分だけ光波（Ｒ_ｏ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））をシフトさせることで、奥行き制御レンズＬから出射する光波に相当する信号（光波Ｒ_ｄ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））を演算する。

ここで、ｘ_０，ｙ_０は奥行き制御レンズＬの光学中心からの距離である。また、第１の仮想的な開口群１１ｂの開口部（要素レンズ）のピッチをＰとすると、ｘ_ｏ＝ｘ_ｏ，ｍ＋ｍＰ、ｙ_ｏ＝ｙ_ｏ，ｍ＋ｍＰの関係が成り立つ。
この位相シフト手段４３ａで演算された要素画像ごとの光波（Ｒ_ｄ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））は、再分配手段４３ｂに出力される。

位相シフト手段４３ａで演算された光波（Ｒ_ｄ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））は、ｍ番目の要素レンズに到達するだけではなく、周辺の要素レンズにも到達することになる。そこで、再分配手段４３ｂは、位相シフト手段４３ａから入力された要素画像ごとの光波（Ｒ_ｄ，ｍ（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））が、第２の仮想的な開口群１２ｂの開口部（要素レンズ）に分配された結果となるｎ番目の要素レンズに到達した光波（Ｒ_{ｐ，ｎ，ｍ}（ｘ_ｐ，ｎ，ｙ_ｐ，ｎ））を、一般的なフレネル近似を用いて、以下の式（５）により演算する。

ここで、ｘ_ｐ，ｎ、ｙ_ｐ，ｎは、それぞれｎ番目の第２の仮想的な開口群１２ｂの開口部（要素レンズ）の光学中心からのｘ座標、ｙ座標である。また、Ｌ_ｄは奥行き制御レンズＬと第２の仮想的な開口群１２ｂとの距離である。
この第２の仮想的な開口群１２ｂの開口部ごとの光波（Ｒ_{ｐ，ｎ，ｍ}（ｘ_ｐ，ｎ，ｙ_ｐ，ｎ））は、要素画像再生手段４４に出力される。

立体画像奥行き制御手段４は、要素画像再生手段４４の位相シフト手段４４ａによって、奥行き変換手段４３で変換された光波（Ｒ_{ｐ，ｎ，ｍ}（ｘ_ｐ，ｎ，ｙ_ｐ，ｎ））から、位相を仮想の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段４４ａは、以下の式（６）に示すように、要素レンズに相当する位相分だけ光波（Ｒ_{ｐ，ｎ，ｍ}（ｘ_ｐ，ｎ，ｙ_ｐ，ｎ））をシフトさせることで、要素レンズから出射する光波に相当する信号（光波Ｒ_{ｒ，ｎ，ｍ}（ｘ_ｏ，ｍ，ｙ_ｏ，ｍ））を演算する。

ここで、ｆ_２は第２の仮想的な開口群１２ｂの開口部（要素レンズ）の焦点距離である。この要素レンズごとの光波（Ｒ_{ｒ，ｎ，ｍ}（ｘ_ｐ，ｎ，ｙ_ｐ，ｎ））は、光波計算手段４４ｂに出力される。

立体画像奥行き制御手段４は、要素画像再生手段４４の光波計算手段４４ｂによって、以下の式（７）により、ｎ番目の要素レンズから出射されて第２の要素画像面１２ａの撮影面に到達する光波（Ｒ_{ｅ，ｎ，ｍ}（ｘ_ｅ，ｎ，ｙ_ｅ，ｎ））を演算する。

ここで、ｘ_ｅ，ｎ、ｙ_ｅ，ｎは、それぞれ要素画像の中心からのｘ座標、ｙ座標である。この光波計算手段４４ｂで演算された光波（Ｒ_{ｅ，ｎ，ｍ}（ｘ_ｅ，ｎ，ｙ_ｅ，ｎ））は、加算手段４５に出力される。

ところで、要素画像再生手段４４から出力される第２の要素画像面１２ａの撮影面に到達する光波（Ｒ_{ｅ，ｎ，ｍ}（ｘ_ｅ，ｎ，ｙ_ｅ，ｎ））の電力は、光の振幅の２乗で表すことができる。また、処理対象要素画像群３１_３の各要素画像として発せられた光波は、インコヒーレント（波長や位相が一定ではない）であるため、光波の位相は無相関であるとみなすことができる。

そこで、立体画像奥行き制御手段４は、加算手段４５によって、処理対象要素画像群３１_３の各要素画像（−Ｍ〜Ｍ）として発せられた光波の電力の総和を、以下の式（８）により演算することで、処理対象要素画像群３１_３の一つの要素画像（式（８）ではｎ番目の要素画像）の電力を求め、その電力に比例した映像信号を出力する。

本実施形態では、画素値割り当て済み位置記憶手段６を参照すると、図７（ｆ）に示すように、現時点では、統合三次元情報記憶手段５の全ての画素に画素値が割り当てられていない状態であることがわかるため、加算手段４５によって、処理対象要素画像群３１_３の全ての画素について、光波の電力の総和を求める。これにより、図７（ｂ）に示すような処理済要素画像群３２_３が生成されるので、立体画像奥行き制御手段４は、統合三次元情報記憶手段５に出力し、記憶させる。

このようにして、三次元情報統合装置１は、立体画像奥行き制御手段４によって、処理対象要素画像群３１_３の光をあたかも光学的に表示して再撮影したかのような演算処理を実行する。また、光波は、開口のピッチが異なる二つの仮想的な開口群（第１の仮想的な開口群１１ｂと第２の仮想的な開口群１２ｂ）を通過するので、被写体の大きさから変化させた自由な大きさの再生像を表示させる処理済要素画像群を生成することができる。

三次元情報統合装置１は、立体画像奥行き制御手段４によって、図７（ｇ）に示すように、画素値割り当て済み位置記憶手段６に、統合三次元情報記憶手段５に画素値が割り当てられた位置（処理済要素画像群３２_３が割り当てられた位置）の情報を出力し、記憶させる（ステップＳ６）。

なお、現在処理を行っている大きさの比率および奥行き制御後の処理対象要素画像群に、統合三次元情報記憶手段５においてすでに画素値が割り当てられている位置に対応する画素がある場合には、当該画素を除いて処理済要素画像群を生成する。処理対象要素画像群３１_ｎの処理を行う場合を例にとって説明する。画素値割り当て済み位置記憶手段６を参照すると、図７（ｇ）に示すように、統合三次元情報記憶手段５には、すでに処理済要素画像群３２_３が割り当てられていることがわかる。このため、加算手段４５によって、大きさの比率および奥行き制御を行った処理対象要素画像群３１_ｎから、処理済要素画像群３２_３が割り当てられている画素に対応する位置の画素を除いて、光波の電力の総和を求める。このようにして、図７（ｃ）に示すように、統合三次元情報記憶手段５に処理済要素画像群３２_３が割り当てられている位置に対応する画素を除いて処理済要素画像群３２_ｎを生成する。

三次元情報統合装置１は、図７（ｃ）に示すように、立体画像奥行き制御手段４によって、生成した処理済要素画像群３２_ｎを統合三次元情報記憶手段５に出力し、記憶させる。なお、図７（ｃ）では、見易さのため、すでに割り当てられている処理済要素画像群３２_３については、破線で表示している。また、三次元情報統合装置１は、立体画像奥行き制御手段４によって、図７（ｈ）に示すように、画素値割り当て済み位置記憶手段６に、統合三次元情報記憶手段５に画素値が割り当てられた位置（処理済要素画像群３２_ｎが割り当てられた位置）の情報を出力し、記憶させる。

また、三次元情報統合装置１は、立体画像奥行き制御手段４によって、図７（ｇ）に示すように、画素値割り当て済み位置記憶手段６に、統合三次元情報記憶手段５に画素値が割り当てられた位置（処理済要素画像群３２_３が割り当てられた位置）の情報を出力し、記憶させる（ステップＳ６）。

このようにして、全ての処理対象要素画像群についての処理が終了するまでステップＳ２からステップＳ６を繰り返す。

そして、全ての処理対象要素画像群について処理が終了した場合（ステップＳ７でＹｅｓ）、立体画像奥行き制御手段４は、画素値割り当て手段７へ処理の終了を通知する制御信号を出力する。

画素値割り当て手段７は、立体画像奥行き制御手段４から制御信号が入力されると、画素値割り当て済み位置記憶手段６から、統合三次元情報記憶手段５において画素値が割り当てられた画素を読み出す（ステップＳ８）。

そして、外部から入力された操作信号に基づき、図７（ｄ）に示すように、統合三次元情報記憶手段５に画素値が割り当てられていない画素に画素値を割り当てる（ステップＳ９）。例えば、操作者が単色の背景となる三次元空間を構築する場合には、所望の単色情報を情報が割り当てられていない画素に割り当てる。なお、画素値割り当て手段７を設けない場合には、統合三次元情報記憶手段５に画素値が割り当てられていない画素に画素値を割り当てない。このようにして、図７（ｅ）に示すように、統合三次元情報が生成される。
そして、統合三次元情報記憶手段５は、統合三次元情報を出力手段８へ出力する。

出力手段８は、統合三次元情報記憶手段５から入力された統合三次元情報を外部へ出力する（ステップＳ１０）。
以上が、三次元情報統合装置１の一連の動作である。

なお、本発明は、この構成に限定されるものではない。例えば、本実施形態では、要素画像群から被写体の奥行き情報を算出したが、これに限られず、三次元情報を計算機で生成する場合には、被写体の大きさや奥行き位置情報を予め取得しておいても良いし、三次元情報をＣＣＤ等によって撮影された映像信号から生成する場合には、変調された赤外光等を被写体に照射することにより被写体の奥行き情報を取得してもよいことはもちろんである。

また例えば、立体画像の奥行き制御手段として、前記した立体画像奥行き制御手段４に替えて、次に説明する立体画像奥行き制御手段４Ｂを用いても良い。
［立体画像奥行き制御手段の構成の概要］
図９を参照して立体画像奥行き制御手段の他の構成例を説明する。図９は、本発明の三次元情報統合装置に適用される立体画像奥行き制御手段の他の構成例を示すブロック構成図である。

立体画像奥行き制御手段４Ｂは、立体画像として表示されたときに被写体の凹凸が反転した再生像となる処理対象要素画像群（以下、「第１要素画像群」ともいう。）の光波を変換し、立体画像として表示されたときに被写体の凹凸と同じで像の大きさが変化した再生像となる処理済要素画像群（以下、「第２要素画像群」ともいう。）を生成するものである。なお、立体画像奥行き制御手段４Ｂは、外部から入力された操作信号により特定された、統合三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に、画素記憶手段３から読み出し、処理を行う。この立体画像奥行き制御手段４Ｂに入力される第１要素画像群は、立体画像撮影装置（図示せず）において、ＣＣＤ等の撮像素子によって撮影された映像信号である。この立体画像奥行き制御手段４Ｂで生成された第２要素画像群は、立体画像表示装置（図示せず）に出力される。

図９に示すように、立体画像奥行き制御手段４Ｂは、分配手段４１Ｂと、第１要素画像変換手段４２Ｂと、加算手段４３Ｂと、再分配手段４４Ｂと、第２要素画像変換手段４５Ｂと、結合手段４６Ｂとを備えている。立体画像奥行き制御手段４Ｂは、図１０に示すような、光学系による立体画像の奥行き制御を演算で行うものである。

分配手段４１Ｂは、第１要素画像群の光波を要素画像毎に分配するものである。ここでは、分配された要素画像をｍ（−Ｍ≦ｍ≦Ｍ）で識別することとする。第１要素画像変換手段４２Ｂは、この分配された例えば（２Ｍ＋１）個の要素画像毎に機能する。そして、分配された要素画像ｍは、その後、加算手段４３Ｂで加算され、再分配手段４４Ｂで再び分配される。このとき再分配された要素画像をｎ（−Ｎ≦ｎ≦Ｎ）で識別することとする。第２要素画像変換手段４５Ｂは、この再分配された例えば（２Ｎ＋１）個の要素画像毎に機能する。そして、再分配された要素画像ｎは、その後、結合手段４６Ｂで結合され処理済要素画像群（第２要素画像群）が生成されることとなる。

［立体画像奥行き制御手段の演算処理で想定する仮想的な開口群の概要］
次に、本実施形態の立体画像奥行き制御手段の演算処理で想定する仮想的な開口群の概要について図１０を参照（適宜図９参照）して説明する。図１０は、立体画像奥行き制御手段の演算処理で想定する仮想的な開口群の一例を模式的に示す説明図である。図９に示す第１要素画像変換手段４２Ｂは、分配手段４１Ｂで分配された要素画像の光波を、第１の仮想的な開口群１１Ｂｂ（図１０参照）を通過して第２の仮想的な開口群１２Ｂｂ（図１０参照）へ伝搬する光波に変換する。ここで、光波とは、映像信号を光の波動として扱った場合の振幅と位相を複素数で表わしたものである。また、開口群を構成する要素（開口）は、レンズ等の光学素子やピンホール等の空間フィルタのことを意味する。以下では、開口を図１０に示すように凸レンズ（要素レンズ）で表すこととする。また、図１０に示すように、第１の仮想的な開口群１１Ｂｂと第２の仮想的な開口群１２Ｂｂとは所定距離Ｌだけ離間している。図１０のように第１の仮想的な開口群１１Ｂｂが仮想的なレンズアレイであれば、この所定距離Ｌは、要素レンズの焦点距離とすることができる。なお、第１および第２の仮想的な開口群１１Ｂｂ，１２Ｂｂは実際には存在せず、立体画像奥行き制御手段４Ｂが演算処理を行うために想定したものである。

図１０において、第１要素画像群の光波は、第１の要素画像面１１Ｂａから出射して、図１０において厚み方向を示した平面状の第１および第２の仮想的な開口群１１Ｂｂ，１２Ｂｂを、左から右へ通過して第２の要素画像面１２Ｂａに入射する。また、ｋ1は第１要素画像群におけるｍ番目の要素画像の領域を示し、ｄ1は第１要素画像群（第１の要素画像面１１Ｂａ）から第１の仮想的な開口群１１Ｂｂまでの距離を示す。同様に、ｋ２は第２要素画像群におけるｎ番目の要素画像の領域を示し、ｄ２は第２の仮想的な開口群１２Ｂｂから第２要素画像群（第２の要素画像面１２Ｂａ）までの距離を示す。

また、図１０において、ｐ1は第１の仮想的な開口群１１Ｂｂを形成する要素レンズのピッチを示し、ｐ２は第２の仮想的な開口群１２Ｂｂを形成する要素レンズのピッチを示す。本実施形態では、以下の式（９）で表わされるピッチの比ΦをΦ≠１として設定する。つまり、第１および第２の仮想的な開口群１１Ｂｂ，１２Ｂｂの要素レンズ（開口）のピッチは異なる。なお、図１０では、Φ＜１の状態が図示されているが、Φ＞１と設定してもよい。

［立体画像奥行き制御手段の詳細な構成］
分配手段４１Ｂは、入力された映像信号（第１要素画像群の光波）を要素画像単位に分割する。入力された映像信号（第１の要素画像面１１Ｂａから出射する光波）は、第１要素画像群を構成する各要素画像の光波の束に相当し、これを第１要素画像群ｔ１と表記することとする。この分配手段４１Ｂは、入力された映像信号における第１要素画像群ｔ１のｍ番目の要素画像の光波（ｇs,m（ｘs,m，ｙs,m））を、このｍ番目の要素画像に予め対応付けられている第１要素画像変換手段４２Ｂに出力する。ここで、ｘs,mは、入力画像全体（第１要素画像群）におけるｍ番目の要素画像の中心を原点とした場合のｘ座標を示す。同様に、ｙs,mは、入力画像全体（第１要素画像群）におけるｍ番目の要素画像の中心を原点とした場合のｙ座標を示す。

第１要素画像変換手段４２Ｂは、図９に示すように、光波計算手段４２Ｂａと、位相シフト手段４２Ｂｂと、光波計算手段４２Ｂｃとを備えている。
光波計算手段４２Ｂａは、要素画像の光波から、フレネル近似に基づいて、第１の仮想的な開口群１１Ｂｂ（図１０参照）を構成する要素レンズに入射する光波を演算するものである。つまり、光波計算手段４２Ｂａは、第１の仮想的な開口群１１Ｂｂのｍ番目の要素レンズに到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（１０）により要素画像毎の光波（Ｒi,m（ｘo,m，ｙo,m））を演算する。

ここで、ｘo,mは、第１の仮想的な開口群１１Ｂｂのｍ番目の要素レンズの光軸中心を原点とした場合のｘ座標である。同様に、ｙo,mは、第１の仮想的な開口群１１Ｂｂの要素レンズ群のｍ番目の開口部の光軸中心を原点とした場合のｙ座標である。また、ｆ1は、第１の仮想的な開口群１１Ｂｂの要素レンズの焦点距離を示す。また、ｋは、波数２π／λ（λは光波の波長）である。この要素画像毎の光波（Ｒi,m（ｘo,m，ｙo,m））は、位相シフト手段４２Ｂｂに出力される。

位相シフト手段４２Ｂｂは、入力された要素画像の光波（Ｒi,m（ｘo,m，ｙo,m））から、位相を、第１の仮想的な開口群１１Ｂｂの要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段４２Ｂｂは、以下の式（１１）に示すように、光波（Ｒi,m（ｘo,m，ｙo,m））を、第１の仮想的な開口群１１Ｂｂの要素レンズに相当する位相分だけシフトさせることで、第１の仮想的な開口群１１Ｂｂの要素レンズから出射する光波に相当する信号（Ｒo,m（ｘo,m，ｙo,m））を演算する。この光波（Ｒo,m（ｘo,m，ｙo,m））は、光波計算手段４２Ｂｃへ出力される。

光波計算手段４２Ｂｃは、第１の仮想的な開口群１１Ｂｂの要素レンズから出射する光波、すなわち、位相シフト手段４２Ｂｂから入力された要素画像の光波（Ｒo,m（ｘo,m，ｙo,m））をフレネル近似することで、第２の仮想的な開口群１２Ｂｂ（図１０参照）の要素レンズに入射する光波を演算するものである。つまり、光波計算手段４２Ｂｃは、第２の仮想的な開口群１２Ｂｂの要素レンズに到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（１２）により要素画像毎の光波（Ｒd,m（ｘd,m，ｙd,m））を演算する。この要素画像毎の光波（Ｒd,m（ｘd,m，ｙd,m））は加算手段４３Ｂへ出力される。

式（１２）において、ｘd,mは、第１の仮想的な開口群１１Ｂｂのｍ番目の要素レンズの光軸中心を原点とした場合の、第２の仮想的な開口群１２Ｂｂの入射面におけるｘ座標である。同様に、ｙd,mは、第１の仮想的な開口群１１Ｂｂのｍ番目の要素レンズの光軸中心を原点とした場合の、第２の仮想的な開口群１２Ｂｂの入射面におけるｙ座標を示す。また、Ｌは、第１の仮想的な開口群１１Ｂｂと第２の仮想的な開口群１２Ｂｂとの距離である。また、積分計算を実施する範囲は、ｍ番目の要素画像（要素画像（ｍ））の拡がる範囲と等価に設定することとする。第１要素画像群におけるｍ番目の要素画像が広がる範囲ｗの一例を図１１に示す。この場合、第１要素画像群におけるｍ番目の要素画像が広がる範囲ｗは式（１３）で表わされる。なお、ｋ1は第１要素画像群におけるｍ番目の要素画像の領域を示し、ｄ1は処理対象要素画像群（第１の要素画像面１１Ｂａ）から第１の仮想的な開口群１１Ｂｂまでの距離を示す。

加算手段４３Ｂは、第１要素画像変換手段４２Ｂで変換されたそれぞれの要素画像の光波を、分配手段４１Ｂで分配された数だけ、第２の仮想的な開口群１２Ｂｂの入射面で加算するものである。加算手段４３Ｂは、第１の仮想的な開口群１１Ｂｂの要素レンズの画角に対応する光波を加算する。この加算手段４３Ｂは、第１の仮想的な開口群１１Ｂｂの要素レンズから出射されて第２の仮想的な開口群１２Ｂｂの要素レンズの入射面に到達する光波（Ｒd,m（ｘd,m，ｙd,m））を、第２の仮想的な開口群１２Ｂｂの領域内で加算する。つまり、第２の仮想的な開口群１２Ｂｂの入射面での光波に相当する信号として、以下の式（１４）により、第２の仮想的な開口群１２Ｂｂの入射面での光波（Ｒp（ｘp，ｙp））を演算する。

ここで、ｘpは、第２の仮想的な開口群１２Ｂｂの中心を原点とした場合のｘ座標であり、同様に、ｙpは、第２の仮想的な開口群１２Ｂｂの中心を原点とした場合のｙ座標である。この光波（Ｒp（ｘp，ｙp））は再分配手段４４Ｂへ出力される。

再分配手段４４Ｂは、加算手段４３Ｂで加算された光波を、第２要素画像群を構成する要素画像毎に再分配するものである。この再分配手段４４Ｂは、加算手段４３Ｂから入力された光波（Ｒp（ｘp，ｙp））を要素画像単位に分割する。光波（Ｒp（ｘp，ｙp））を再分配した要素画像ごとの光波として、第２の仮想的な開口群１２Ｂｂを構成するｎ番目の要素レンズに対応する光波を、（Ｒp,n（ｘp,n，ｙp,n））とする。ここで、再分配手段１４は、第２の仮想的な開口群１２Ｂｂを構成する各要素レンズに入力された光波（Ｒp,n（ｘp,n，ｙp,n））を、第２の仮想的な開口群１２Ｂｂを横成するｎ番目の要素レンズに予め対応付けられている第２要素画像変換手段４５Ｂに出力する。

第２要素画像変換手段４５Ｂは、再分配手段４４Ｂで分配された要素画像の光波を、第２の仮想的な開口群１２Ｂｂを通過して結像するまでの距離だけ伝搬した光波に変換するものである。この第２要素画像変換手段４５Ｂは、再分配手段４４Ｂから入力された光波を、第２の仮想的な開口群１２Ｂｂの要素レンズ（焦点距離ｆ２）の開口領域に再分配した後、その要素レンズ（焦点距離ｆ２）を通過する光波に変換し、さらに、その要素レンズの焦点距離ｆ２だけ光波を伝搬させる。第２要素画像変換手段４５Ｂは、例えば（２Ｎ＋１）個の要素画像毎に機能することで、各要素画像の光波の束を伝搬させる。これら伝搬する各要素画像の光波の束から第２要素画像群が構成されることとなる。これを第２要素画像群ｔ２と表記することとする。つまり、第２要素画像変換手段４５Ｂは、第２要素画像群ｔ２を演算する。第２要素画像変換手段４５Ｂは、図９に示すように、位相シフト手段４５Ｂａと、光波計算手段４５Ｂｂとを備えている。

位相シフト手段４５Ｂａは、再分配手段４４Ｂから入力された光波（Ｒp,n（ｘp,n，ｙp,n））から、位相を、第２の仮想的な開口群１２Ｂｂの要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段４５Ｂａは、以下の式（１５）に示すように、光波（Ｒp,n（ｘp,n，ｙp,n））を、第２の仮想的な開口群１２Ｂｂの要素レンズに相当する位相分だけシフトさせることで、第２の仮想的な開口群１２Ｂｂの要素レンズから出射する光波に相当する信号（Ｒr,n（ｘp,n，ｙp,n））を演算する。

ここで、ｘp,nは、第２の仮想的な開口群１２Ｂｂのｎ番目の要素レンズの光軸中心を原点とした場合のｘ座標である。同様に、ｙp,nは、第２の仮想的な開口群１２Ｂｂのｎ番目の要素レンズの光軸中心を原点とした場合のｙ座標である。また、ｆ２は、第２の仮想的な開口群１２Ｂｂの要素レンズの焦点距離である。この要素画像毎の光波（Ｒr,n（ｘp,n，ｙp,n））は、光波計算手段４５Ｂｂへ出力される。

光波計算手段４５Ｂｂは、第２の仮想的な開口群１２Ｂｂの要素レンズ毎の光波をフレネル近似することで、第２の仮想的な開口群１２Ｂｂの要素レンズから出射し、第２の要素画像面１２Ｂａ（図１０参照）に到達する光波を演算するものである。すなわち、光波計算手段４５Ｂｂは、以下の式（１６）により、第２の仮想的な開口群１２Ｂｂのｎ番目の要素レンズから出射されて第２の要素画像面１２Ｂａに到達する光波（Ｒe,n（ｘe,n，ｙe,n））を演算する。

ここで、ｘe,nは、出力画像全体（第２要素画像群）におけるｎ番目の要素画像の中心からのｘ座標である。同様に、ｙe,nは出力画像全体におけるｎ番目の要素画像の中心からのｙ座標である。この光波計算手段４５Ｂｂで演算された光波（Ｒe,n（ｘe,n，ｙe,n））は結合手段４６Ｂへ出力される。

結合手段４６Ｂは、第２要素画像変換手段４５Ｂで変換された光波を、再分配手段４４Ｂで再分配された数だけ結合することで、第２要素画像群を生成するものである。この結合手段４６Ｂは、第２要素画像変換手段４５Ｂから出力された要素画像毎の光波から、その光波の電力の総和を演算することで、立体像の大きさが変換処理された映像信号、すなわち、第２要素画像群ｔ２となる映像信号を生成する。この結合手段４６Ｂで得られた第２要素画像群ｔ２は、立体画像表示装置（図示せず）へ出力される。

ここで、第２要素画像変換手段４５Ｂから出力される第２の要素画像面１２Ｂａに到達する光波（Ｒe,n（ｘe,n，ｙe,n））の電力は、光の振幅の２乗で表わすことができる。また、第１要素画像群ｔ１の各要素画像として発せられた光波は、インコヒーレント（波長や位相が一定ではない）であるため、光波の位相は無相関であるとみなすことができる。そこで、結合手段４６Ｂは、以下の式（１７）に示すように、第２の要素画像面１２Ｂａに到達する各要素画像の光波（例えばｎ番目の要素画像であればその光波は（Ｒe,n（ｘe,n，ｙe,n））である）の２乗を計算し、その和をとることで、第２要素画像群ｔ２全体の映像信号を得る。

このとき、立体画像奥行き制御手段４Ｂは、画素値割り当て済み位置記憶手段６から統合三次元情報記憶手段５においてすでに画素値が割り当てられている画素の情報を取得し、現在処理を行っている大きさの比率および奥行き制御後の処理対象要素画像群に、統合三次元情報記憶手段５においてすでに画素値が割り当てられている位置に対応する画素がない場合、結合手段４６Ｂによって、第１要素画像群（例えば、図６に示す処理対象要素画像群３１_３）の全ての画素について、光波の電力の総和を求める。これにより、第２要素画像群（図７に示す処理済要素画像群３２_３）が生成されるので、立体画像奥行き制御手段４Ｂは、統合三次元情報記憶手段５に出力し、記憶させる。

一方、現在処理を行っている処理対象要素画像群に、統合三次元情報記憶手段５においてすでに画素値が割り当てられている位置に対応する画素がある場合には、結合手段４６Ｂによって、当該画素を除いた光波の電力の総和を求める。

立体画像奥行き制御手段４Ｂは、画素値割り当て済み位置記憶手段６に、統合三次元情報記憶手段５に画素値が割り当てられた位置（例えば、処理済要素画像群３２_３が割り当てられた位置）の情報を出力し、記憶させる。その他の構成の動作は、前記した三次元情報統合装置１と同様であるので、記載を省略する。

［再生像の大きさの比率制御］
立体画像奥行き制御手段４Ｂは、前記のように詳細に説明した構成を備えており、前記した式（９）で表わされるピッチの比Φを予め設定しておくことで、再生像の大きさの比率を所望の値に制御することができる。仮に、立体画像奥行き制御手段４Ｂの処理を行わない場合、つまり、第１および第２の仮想的な開口群１１Ｂｂ，１２Ｂｂを用いない場合には、被写体の大きさｘc（図１６（ａ）参照）と再生される立体像の大きさｘr（図１６（ｂ）参照）との関係は、前記した式（１０１）の通りである。このように立体画像奥行き制御手段４Ｂを用いない場合、前記した式（１０１）において、α＝γとすると、被写体の大きさｘc（図１６（ａ）参照）と、再生される立体像の大きさｘr（図１６（ｂ）参照）との関係は、以下の式（１８）で表わされることとなる。

つまり、図９において、立体画像奥行き制御手段４Ｂを無視して、要素レンズのピッチｐc（図１６（ａ）参照）と、要素レンズのピッチｐr（図１６（ｂ）参照）とが等しい場合には、被写体の大きさｘc（図１６（ａ）参照）と、再生像される立体像の大きさｘr（図１６（ｂ）参照）とは等しくなってしまう。一方、立体画像奥行き制御手段４Ｂを用いた場合には、被写体の大きさｘc（図１６（ａ）参照）と、再生される立体像の大きさｘr（図１６（ｂ）参照）との関係は、以下の式（１９）で表わされる。

つまり、図９において、要素レンズのピッチｐc（図１６（ａ）参照）と、要素レンズのピッチｐr（図１６（ｂ）参照）とが仮に等しかったとしても、第１の仮想的な開口群１１Ｂｂの要素レンズのピッチｐ1（図１０参照）と、第２の仮想的な開口群１２Ｂｂの要素レンズのピッチｐ2（図１０参照）とを制御することで、被写体の大きさｘc（図１６（ａ）参照）に対する再生される立体像の大きさｘr（図１６（ｂ）参照）を変化させることが可能となる。

なお、説明の都合上、前記した式（１８）および式（１９）の説明において、前記した式（１０１）においてαとγとが等しい場合について記述したが、本発明では、前記した式（１０１）においてα≠γとしてもよい。同様に、要素レンズのピッチｐcと、要素レンズのピッチｐrとが等しい場合について記述したが、ｐc≠ｐrとしてもよい。

このような立体画像奥行き制御手段４Ｂによれば、第１要素画像群ｔ１を、各要素画像ｍの光波が、第１および第２の仮想的な開口群１１Ｂｂ，１２Ｂｂを通過したものとして演算処理することで、被写体の撮影および表示に用いる光学的な装置に依存することなく、被写体の凹凸と同じで像の大きさを所望の大きさに変化させた像を再生するような第２要素画像群ｔ２へと変換することができる。したがって、このように演算処理で立体像の大きさを変化できるので、従来のようにレンズ等の撮影および表示に用いる光学的な装置を変更する必要がない。また、立体画像奥行き制御手段４Ｂによれば、演算処理により、被写体を複数の要素画像として撮影した要素画像群としての画像から発せられる光を再度撮影した場合と等価な画像を生成することができる。さらに、被写体に対する大きさが任意に制御された再生像を表示する際に、立体画像の演出効果を高めることが可能となる。

なお、立体画像奥行き制御手段４Ｂは、演算回路によって実現することも可能であるし、中央演算処理装置（ＣＰＵ：Central Processing Unit）、主記憶装置（ＲＡＭ：Random Access Memory）等を備えた一般的なコンピュータを、前記した各手段として機能させるプログラムとして実現することも可能である。

なお、前記した立体画像奥行き制御手段４、４Ｂはそれぞれ、波動光学的手法を用いて立体画像の奥行きを制御するものであるが、これに限られるものではなく、幾何光学的手法を用いても良い。以下、幾何光学的手法により立体画像の奥行きを制御する立体画像奥行き制御手段４Ｃについて説明する。

図１２に示すのは、本発明の三次元情報統合装置に適用される立体画像奥行き制御手段の他の構成例を示すブロック構成図および要素画像群撮像装置の構成例を模式的に示した模式図である。
立体画像奥行き制御手段４Ｃは、予め設定された要素画像群撮像装置５０の要素レンズ群５１と撮像手段５２の撮像面との距離ｇ１、および、隣接する２要素レンズＬ１、Ｌ１のピッチｐ１の情報に基づいて、被写体の処理対象要素画像群（以下、「第１要素画像群」ともいう）を、任意の奥行きの位置に、奥行きの位置関係の正しい立体像を表示できる処理済要素画像群（以下、「第２要素画像群」ともいう）に変換するものである。なお、
要素画像群撮像装置５０と立体画像奥行き制御手段４Ｃの間には、図示しないが、要素画像分離手段２（図２参照）と画素記憶手段３（図２参照）が配置されている。
立体画像奥行き制御手段４Ｃは、外部から入力された操作信号により特定された、統合三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に、画素記憶手段３から読み出し、処理を行う。ここでは、立体画像奥行き制御手段４Ｃは、第２要素画像生成手段４７を備える。

第２要素画像生成手段４７は、要素画像群撮像装置５０によって撮像された第１要素画像群（例えば、図６に示す処理対象要素画像群３１_３）を、任意の奥行きの位置に、奥行きの位置関係の正しい立体像を表示できる第２要素画像群（図７に示す処理対象要素画像群３２_３）に変換するものである。第２要素画像生成手段４７は、立体情報割当手段４７ａと、立体情報補間手段４７ｂとを備える。

なお、ここでは、要素画像群撮像装置５０によって撮像された第１要素画像群３１_３の各画素の輝度値の情報は、画素記憶手段３（図２参照）に記憶されていることとし、第２要素画像生成手段４７が、画素記憶手段３（図２参照）から、各画素の輝度値の情報を読み出すこととした。

ここで、図１３を参照（適宜図１２参照）して、第２要素画像生成手段４７が第１要素画像群３１ _３ を変換する方法について説明する。図１３は、奥行き変換手段の第１要素画像群の変換方法を説明するための説明図である。

図１３に示すように、第２要素画像生成手段４７は、第１要素画像群３１_３を仮想的に表示する第１の要素画像面１１Ｃａと、要素レンズ群５１と要素レンズＬ１のピッチｐ１の同じ仮想的な複数の仮想要素レンズである第１の仮想的な開口Ｌ１´が同一平面上に配列された第１の仮想的な開口群１１Ｃｂと、この第１の仮想的な開口群１１Ｃｂによって仮想的に再生された立体像（図示せず）の像Ｉ、Ｉ、・・・を結像する仮想要素レンズである第２の仮想的な開口Ｌ２´が同一平面上に配列された第２の仮想的な開口群１２Ｃｂと、像Ｉからなる第２要素画像群３２_３が仮想的に結像する第２の要素画像面１２Ｃａとを仮想的に（計算によって）設定する。そして、第２要素画像生成手段４７は、要素画像群撮像装置５０によって撮像された第１要素画像群３１_３の各々の画素の輝度値（画素値）に基づいて、第１の要素画像面１１Ｃａに仮想的に表示された第１要素画像群３１_３からの光が、第１の仮想的な開口群１１Ｃｂおよび第２の仮想的な開口群１２Ｃｂを介して第２の要素画像面１２Ｃａに結像して生成される第２要素画像群３２_３上の画素の輝度値を算出することで、第２要素画像群３２_３を生成することとした。

ここで、第１の要素画像面１１Ｃａと第１の仮想的な開口群１１Ｃｂとの距離ｇ１は、要素画像群撮像装置５０の要素レンズ群５１と撮像手段５２との撮像面（図示せず）との距離ｇ１に等しい。また、第１の仮想的な開口Ｌ１’と、第２の仮想的な開口Ｌ２’とは、光軸が平行である。一方、第１の仮想的な開口Ｌ１’と、第２の仮想的な開口Ｌ２’とは、ピッチｐ１、ｐ２が等しくても異なっていてもよく、第１の要素画像面１１Ｃａと第１の仮想的な開口群１１Ｃｂとの距離ｇ１、および、第２の仮想的な開口群１２Ｃｂと第２の要素画像面１２Ｃａとの距離ｇ２も、等しくても異なっていても良い。

なお、図１３では、図１２の被写体Ｓの位置に第２の仮想的な開口Ｌ２´が配置される場合を例に示したが、第２要素画像生成手段４７は、第２の仮想的な開口群１２Ｃｂと第２の要素画像面１２Ｃａとを、第１の仮想的な開口群１１Ｃｂから出射された第１の要素画像面１１Ｃａの第１要素画像群３１ _３ からの光の仮想的な光路上において任意の位置に設定することができる。そして、第２要素画像生成手段４７によって、第１の仮想的な開口群１１Ｃｂから出射された光の仮想的な光路上において設定された第２の仮想的な開口群１２Ｃｂおよび第２の要素画像面１２Ｃａから被写体Ｓの位置に相当する位置までの距離に応じて、立体画像表示装置（図示せず）によって表示される立体像（図示せず）の立体画像表示装置（図示せず）からの奥行き方向の距離が定まる。このように、第２要素画像生成手段４７は、第２の仮想的な開口群１２Ｃｂと第２の要素画像面１２Ｃａとを、立体像を表示する奥行き方向の位置に対応する位置に設定することで、立体像をこの奥行き方向の位置に表示することができる第２要素画像群３２_３を生成することができる。

さらに、第２要素画像生成手段４７は、第１の仮想的な開口群１１Ｃｂから出射された第１の要素画像面１１Ｃａの第１要素画像群３１_３からの光を、第２の仮想的な開口群１２Ｃｂによって第２の要素画像面１２Ｃａに仮想的に結像させた第２要素画像群３２_３を生成するため、この第２要素画像群３２_３は、図１２の要素画像群撮像装置５０の撮影方向とは逆向きの撮影方向から撮像されたものとなる。これによって、第２要素画像生成手段４７は、立体画像表示装置（図示せず）によって被写体Ｓと比較して奥行きの位置関係の正しい立体像（図示せず）を表示することができる。

図１２に戻って説明を続ける。立体情報割当手段（割当手段）４７ａは、要素画像群撮像装置５０によって撮像された第１要素画像群３１_３の各々の画素の輝度値を、当該画素からの光が、第１の仮想的な開口群１１Ｃｂおよび第２の仮想的な開口群１２Ｃｂを介して第２の要素画像面１２Ｃａに結像する第２要素画像群３２_３上の画素の輝度値とするものである。

ここで、図１４を参照して、立体情報割当手段４７ａが第１要素画像群３１_３の各々の画素の輝度値を第２要素画像群３２３上の画素に割り当てる方法について説明する。図１４は、立体情報割当手段が、第１要素画像群の各々の画素の輝度値を第２要素画像群上の画素に割り当てる方法を説明するための説明図である。

図１４に示すように、立体情報割当手段４７ａが、第１の要素画像面１１Ｃａと、第１の仮想的な開口群１１Ｃｂと、第２の仮想的な開口群１２Ｃｂと、第２の要素画像面１２Ｃａとを仮想的に設定し、第１要素画像群３１_３には被写体Ｓａの像Ｉａ_１、Ｉａ_２が含まれているとする。そして、第１要素画像群３１_３の像Ｉａ_１の画素から第１の仮想的な開口Ｌ１’の中心を通過する仮想的な光（以下、仮想光線という）が、第２の仮想的な開口Ｌ２’の中心を通過する場合には、立体情報割当手段４７ａは、この仮想光線と第２の要素画像面１２Ｃａとの交点に当たる第２要素画像群３２_３の画素に、この第１要素画像群３１_３の画素の輝度値を割り当てる。

一方、第１要素画像群３１_３の像Ｉａ_２の画素から第１の仮想的な開口Ｌ１’の中心を通過する仮想光線が、第２の仮想的な開口Ｌ２’の中心を通過しない場合には、立体情報割当手段４７ａは、この仮想光線に平行で、当該第２の仮想的な開口Ｌ２’の中心を通過する線と第２の要素画像面１２Ｃａとの交点に当たる第２要素画像群３２_３の画素に、この第１要素画像群３１_３の画素の輝度値を割り当てる。

図１２に戻って説明を続ける。立体情報補間手段４７ｂは、立体情報割当手段４７ａによって輝度値の割り当てられていない第２要素画像群３２_３の画素の輝度値を、当該画素の近傍の画素の輝度値に基づいて補間して算出するものである。

ここで、図１５を参照して、立体情報補間手段４７ｂが近傍の画素の輝度値に基づいて、第２要素画像群３２_３の画素の輝度値を補間して算出する方法について説明する。図１５は、立体情報割当手段が、第１要素画像群の各々の画素の輝度値を第２要素画像群上の画素に割り当てる方法を説明するための説明図であり、（ａ）は、仮想的に設定された第１の要素画像面と、第１の仮想的な開口群と、第２の仮想的な開口群と、第２の要素画像面と、第２要素画像群に仮想的に含まれる像とを模式的に示す模式図、（ｂ）は、（ａ）におけるＡに示した部分を拡大して示した、第２要素画像群に仮想的に含まれる像と、当該像の画素の情報から補間して求められる画素とを模式的に示す模式図である。

図１５（ａ）に示すように、第１要素画像群３１_３には、異なる被写体（図示せず）の像Ｉａ、Ｉｂが含まれているとする。そして、立体情報割当手段４７ａによって、第１要素画像群３１_３の像Ｉａの画素に対応する第２要素画像群３２_３の画素と、第１要素画像群３１_３の像Ｉｂの画素に対応する第２要素画像群３２_３の画素とに、各々対応する第１要素画像群３１_３の画素の輝度値が割り当てられていることとする。また、図１５（ｂ）に示すように、この像Ｉａ、Ｉｂ（図１５（ａ）参照）の画素Ｐａ、Ｐｂの間の画素Ｐｃには、立体情報割当手段４７ａによって輝度値が割り当てられていないこととする。

そうすると、立体情報補間手段４７ｂは、画素Ｐｃの上下の画素Ｐａ、Ｐｂの輝度値に基づいて、画素Ｐｃの輝度値ｍ_ｃを、以下の式（２０）によって算出する。ここで、ｍ_ａ、ｍ_ｂは、画素Ｐａ、Ｐｂの輝度値であり、ａ、ｂは、画素Ｐｃからの画素Ｐａ、Ｐｂまでの距離である。

なお、ここでは、立体情報補間手段４７ｂが、画素Ｐｃの上下の画素Ｐａ、Ｐｂの輝度値に基づいて、式（２０）に示す一次元の補間式を用いて補間する場合について説明したが、補間対象となる画素Ｐｃの上下左右や斜めにある画素（図示せず）の輝度値に基づいて補間することとしてもよい。このとき、立体情報補間手段４７ｂは、例えば、井上誠喜他、「Ｃ言語で学ぶ実践画像処理」、オーム社、１９９９、ｐ．１４９に記載されるような、二次元に拡張した補間式を用いて補間することができる。

また、立体情報補間手段４７ｂが、城戸健一、「ディジタル信号処理入門」、丸善、１９８５、ｐ．３１−３５に記載されるような、離散的なデータ列から連続的なデータ関数を生成する標本化関数を用いて、画素ごとの離散的な輝度値の情報を連続的な情報として、補間対象となる画素Ｐｃの輝度値を求めることとしてもよい。

このようにして生成された第２要素画像群３２_３は、立体画像奥行き制御手段４Ｃによって、統合三次元情報記憶手段５に出力される。また、立体画像奥行き制御手段４Ｃは、統合三次元情報記憶手段５において画素値が割り当てられた画素の位置が画素値割り当て済み位置記憶手段６に出力する。このようにして、全ての処理対象要素画像群についての処理が終了するまで、同様の処理を繰り返す。なお、二番目以降に処理対象となる処理対象要素画像群については、立体画像奥行き制御手段４Ｃは、画素値割り当て済み位置記憶手段６を参照し、現在処理を行っている処理対象要素画像群に、統合三次元情報記憶手段５においてすでに画素値が割り当てられている位置に対応する画素がある場合には、立体情報割当手段４７ａおよび立体情報補間手段４７ｂで、当該画素を除いて演算を行う。

そして、全ての処理対象要素画像群についての処理を終了後、立体画像奥行き制御手段４Ｃは、処理の終了を知らせる制御信号を画素値割り当て手段７に出力する。なお、画素値割り当て手段７を設けない場合には、当該信号を出力しない。

以上説明したような立体画像奥行き制御手段４Ｃによれば、第２の仮想的な開口群１２Ｃｂの、第１要素画像群および第１の仮想的な開口群１１Ｃｂに対する位置に応じて、再生時の立体像の奥行き方向の距離が定まるので、第２の仮想的な開口群１２Ｃｂの位置を調整することで、立体像を所望の奥行き方向の位置に表示させることができる第２要素画像群を生成することができる。

なお、立体画像奥行き制御手段４Ｃは、演算回路によって実現することも可能であるし、中央演算処理装置（ＣＰＵ：Central Processing Unit）、主記憶装置（ＲＡＭ：Random Access Memory）等を備えた一般的なコンピュータを、前記した各手段として機能させるプログラムとして実現することも可能である。

以上説明したように、三次元情報統合装置１によれば、複数の三次元情報を統合した一つの三次元情報（統合三次元情報）を生成することができる。また、複数の三次元情報についてそれぞれ操作者の任意の大きさの比率および奥行きに制御した状態で統合することができる。

さらに、三次元情報統合装置１によれば、統合三次元情報記憶手段５の画素に複数の画素値が割り当てられない、すなわち、複数の被写体が互いに重なり合う部分には、最も手前に配置される被写体に対応する処理対象要素画像群のみ割り当てるため、統合三次元情報を立体画像として表示させたときに、複数の被写体が互いに重なり合う部分にいわゆるファントム現象が発生することを防止できる。

加えて、三次元情報統合装置１によれば、処理対象要素画像群のうち、統合三次元情報記憶手段５においてすでに画素値が割り当てられている位置に割り当てられる画素を除いて処理済要素画像群を生成するため、演算量を削減することができ、処理速度を向上させることができる。

なお、前記した実施形態では、異なる三次元空間の被写体同士を統合する手法について説明したが、同一の三次元空間の被写体同士を統合する場合には、大きさの比率および奥行きの制御を行わなくても良い。

以上説明した三次元情報統合装置１は、前記した各手段を演算回路によって実現することも可能であるし、中央処理装置（ＣＰＵ：Central Processing Unit）、主記憶装置（ＲＡＭ：Random Access Memory）等を備えた一般的なコンピュータを、前記した各手段として機能させるプログラム（三次元情報統合プログラム）により動作させることで実現することも可能である。以上説明したように、本発明は、再生像の大きさの比率および奥行きの制御処理を光学系ではなく演算により行うことで、装置を小型化することができる効果を奏することになる。

本発明の概略を説明するための図であり、複数の三次元情報（要素画像群）を統合して一つの三次元情報（要素画像群）を生成する様子を説明するための説明図である。 本実施形態に係る三次元情報統合装置の構成を示すブロック図である。 本実施形態に係る三次元情報統合装置における立体画像奥行き制御手段の構成を示すブロック構成図である。 本実施形態に係る三次元情報統合装置の立体画像奥行き制御手段によって、演算により立体画像の奥行きを制御する方法を説明するための模式図である。 本実施形態に係る三次元情報統合装置の要素画像分離手段の動作を説明するための概念図である。 画素記憶手段に記憶した処理対象要素画像群の処理順序が決定される様子を説明するための概念図である。 （ａ）〜（ｅ）は、本実施形態に係る三次元情報統合装置の立体画像奥行き制御手段によって、統合三次元情報記憶手段に画素値が割り当てられる様子、（ｆ）〜（ｈ）は、画素値割り当て済み位置記憶手段に、統合三次元情報記憶手段に画素値が割り当てられた位置の情報が割り当てられる様子を説明するための概念図である。 本実施形態に係る三次元情報統合装置の動作を示すフローチャートである。 本発明の三次元情報統合装置に適用される立体画像奥行き制御手段の他の構成例を示すブロック構成図である。 立体画像奥行き制御手段の演算処理で想定する仮想的な開口群の一例を模式的に示す説明図である。 立体画像奥行き制御手段の演算処理で用いる積分範囲の例を模式的に示す説明図である。 本発明の三次元情報統合装置に適用される立体画像奥行き制御手段の他の構成例を示すブロック構成図である。 奥行き変換手段の第１要素画像群の変換方法を説明するための説明図である。 立体情報割当手段が、第１要素画像群の各々の画素の輝度値を第２要素画像群上の画素に割り当てる方法を説明するための説明図である。 立体情報割当手段が、第１要素画像群の各々の画素の輝度値を第２要素画像群上の画素に割り当てる方法を説明するための説明図であり、（ａ）は、仮想的に設定された第１の要素画像面と、第１の仮想的な開口群と、第２の仮想的な開口群と、第２の要素画像面と、処理済要素画像群に仮想的に含まれる像とを模式的に示す模式図、（ｂ）は、（ａ）におけるＡに示した部分を拡大して示した、第２要素画像群に仮想的に含まれる像と、当該像の画素の情報から補間して求められる画素とを模式的に示す模式図である。 従来のＩＰ方式による立体画像の撮影および再生を模式的に示す説明図であり、（ａ）は、立体画像撮影装置、（ｂ）は、立体画像表示装置をそれぞれ示している。 従来の逆視を回避する方法を模式的に示す説明図であり、（ａ）は、撮影で取得された情報を交換する立体画像奥行き制御手段、（ｂ）は、変換された像を表示する立体画像表示装置をそれぞれ示している。

符号の説明

１ 三次元情報統合装置
２ 要素画像分離手段
３ 画素記憶手段
４ 立体画像奥行き制御手段
４１ 分配手段
４２ 要素画像変換手段
４３ 奥行き変換手段
４４ 要素画像再生手段
４５ 加算手段
５ 統合三次元情報記憶手段
６ 画素値割り当て済み位置記憶手段
７ 未処理画素割り当て手段
８ 出力手段

Claims (4)

1. インテグラルフォトグラフィ方式により、複数の要素画像からなる要素画像群である三次元情報を複数取得し、取得した複数の三次元情報のそれぞれについて大きさの比率および奥行き制御を行い、これらを統合して一つの三次元情報を生成するための三次元情報統合装置であって、
   外部から入力された操作信号に基づいて、複数の要素画像群についてそれぞれ、個々の要素画像から、所望の奥行き範囲に存在する被写体領域に対応する画素とそれ以外の領域に対応する画素を分離する要素画像分離手段と、
   前記要素画像分離手段により分離された前記所望の奥行き範囲に存在する被写体領域に対応する画素で構成される処理対象要素画像群をそれぞれ記憶する画素記憶手段と、
   外部から入力された操作信号により前記画素記憶手段に記憶された複数の処理対象要素画像群のそれぞれに対応付けられた被写体のそれぞれについて指定された統合後の三次元情報における奥行き位置を示す値により特定される、統合後の三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に前記画素記憶手段から読み出し、当該読み出した処理対象要素画像群について、被写体の大きさに対する再生像の大きさの比率が予め設定された任意の値となるように制御する処理、および、前記奥行き位置を示す値に従って奥行きを制御する処理を行って処理済要素画像群を生成する立体画像奥行き制御手段と、
   前記立体画像奥行き制御手段により生成された前記処理済要素画像群を記憶する統合三次元情報記憶手段と、
   前記統合三次元情報記憶手段に前記処理済要素画像群が割り当てられた位置を記憶する画素値割り当て済み位置記憶手段と、
   前記統合三次元情報記憶手段に記憶された統合三次元情報を外部へ出力する出力手段と、を備え、
   前記立体画像奥行き制御手段は、
   二番目以降に統合の処理対象となる処理対象要素画像群については、前記画素値割り当て済み位置記憶手段を参照し、当該処理対象要素画像群が割り当てられるべき領域のうち、前記統合三次元情報記憶手段においてまだ画素値が割り当てられていない画素のみ、大きさの比率および奥行きを制御した画素値を前記統合三次元情報記憶手段の画素に割り当てることを特徴とする三次元情報統合装置。
2. 前記立体画像奥行き制御手段は、
   前記処理対象要素画像群の光波を要素画像毎に分配する分配手段と、
   この分配手段で分配された要素画像の光波を、第１の仮想的な開口群を通過して前記第１の仮想的な開口群と開口のピッチの異なる第２の仮想的な開口群へ伝搬する光波に変換する第１要素画像変換手段と、
   この第１要素画像変換手段で変換されたそれぞれの要素画像の光波を前記分配された数だけ、前記第２の仮想的な開口群の入射面で加算する加算手段と、
   この加算手段で加算された光波を、前記要素画像毎に再分配する再分配手段と、
   この再分配手段で分配された要素画像の光波を、前記第２の仮想的な開口群を通過して結像するまでの距離だけ伝搬した光波に変換する第２要素画像変換手段と、
   この第２要素画像変換手段で変換された光波を、前記再分配された数だけ結合することで、前記処理済要素画像群を生成する結合手段と、を備え、
   前記処理対象要素画像群について大きさの比率を制御する処理を、予め任意の値に設定された前記第１の仮想的な開口群と前記第２の仮想的な開口群とのピッチの比Φに応じて行うことを特徴とする請求項１に記載の三次元情報統合装置。
3. 前記立体画像奥行き制御手段での全ての前記処理対象要素画像群についての大きさの比率および奥行き制御処理の終了後、外部から入力された操作信号に基づき、前記統合三次元情報記憶手段においてまだ画素値が割り当てられていない画素に画素値を割り当てる画素値割り当て手段をさらに備えた
   ことを特徴とする請求項１または請求項２に記載の三次元情報統合装置。
4. インテグラルフォトグラフィ方式により、複数の要素画像からなる要素画像群である三次元情報を複数取得し、取得した複数の三次元情報のそれぞれについて大きさの比率および奥行き制御を行い、これらを統合して一つの三次元情報を生成するために、コンピュータを、
   外部から入力された操作信号に基づいて、複数の要素画像群についてそれぞれ、個々の要素画像から、所望の奥行き範囲に存在する被写体領域に対応する画素とそれ以外の領域に対応する画素を分離し、前記所望の奥行き範囲に存在する被写体領域に対応する画素で構成される処理対象要素画像群を画素記憶手段に記憶させる要素画像分離手段、
   外部から入力された操作信号により前記画素記憶手段に記憶された複数の処理対象要素画像群のそれぞれに対応付けられた被写体のそれぞれについて指定された統合後の三次元情報における任意の奥行き位置を示す値により特定される、統合後の三次元情報において最も手前に配置される被写体に対応付けられた処理対象要素画像群から順に前記画素記憶手段から読み出し、当該読み出した処理対象要素画像群について、被写体の大きさに対する再生像の大きさの比率が予め設定された任意の値となるように制御する処理、および、前記奥行き位置を示す値に従って奥行きを制御する処理を行って生成した処理済要素画像群統合三次元情報記憶手段に記憶させるとともに、前記統合三次元情報記憶手段に前記処理済要素画像群が割り当てられた位置を画素値割り当て済み位置記憶手段に記憶させる立体画像奥行き制御手段、
   前記統合三次元情報記憶手段に記憶された統合三次元情報を外部へ出力する出力手段、
   として機能させることを特徴とする三次元情報統合プログラム。

Images