JP7198110B2

JP7198110B2 - ３次元画像用の撮像装置および３次元画像用の撮像表示装置

Info

Publication number: JP7198110B2
Application number: JP2019026102A
Authority: JP
Inventors: 哲彦室井; 紀彦石井
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2019-02-15
Filing date: 2019-02-15
Publication date: 2022-12-28
Anticipated expiration: 2039-02-15
Also published as: JP2020136837A

Description

本発明は、いわゆるインテグラルフォトグラフィ技術を用いた立体テレビ用等の３次元画像を撮像する撮像装置および３次元画像用の撮像表示装置に関するものである。

従来より、３次元画像の撮像手法としてインテグラルフォトグラフィが提案されている。従来のインテグラルフォトグラフィ撮像装置の光学系は、例えば、図５に示すような構成とされており、撮像素子３０４の光入射側にレンズアレイ３０５が設けられている。レンズアレイ３０５の各レンズ素子の結像面には、撮像素子３０４の複数の単位素子が配置されており、各レンズ素子位置から物体を見た時の２次元画像(要素画像)が撮像される（非特許文献１を参照）。各レンズ素子で結像された要素画像３０６は、１つの物体を異なる角度から見た２次元画像になるため、これを演算処理装置３０９で再構成することで３次元画像を取得することができる（非特許文献１、２を参照）。

再構成された３次元画像の解像度はレンズアレイ３０５の各レンズ素子の径の大きさにより決まり、各レンズ素子が小さくなるにつれ解像度が向上するため、小さなレンズ素子が高密度に配置されたレンズアレイ３０５が求められている。また、奥行き方向の分解能は１つの要素画像３０６を形成する単位素子数に依存し、１つの要素画像３０６を形成する単位素子数が増加するにつれ分解能が向上するため、レンズアレイ３０５の各レンズ素子に対応して配設された撮像素子３０４の単位素子数が多いことが望まれる。

インテグラル立体テレビの研究開発：三浦雅人：NHK技研 R&D No.158 2016.8 Recent progress in three-dimensional information ocessing based on integral imaging: Jae-Hyeung Park, Keehoon Hong,and Byoungho Lee: 1 December 2009 / Vol. 48, No. 34 / APPLIED OPTICS

ところで、図５のインテグラルフォトグラフィ撮像装置において、解像度の向上を図るために、レンズアレイ３０５の各レンズ素子の大きさをφ１μｍ程度の微小サイズに形成することは可能である。しかし、３次元画像の奥行き方向の分解能を高めるために、各レンズ素子に対応する１画素を、撮像素子３０４の数十単位素子程度以上に設定することが要求されているため、それに応じて撮像素子３０４の単位素子も、サイズを更に小さくする必要がある。すなわち、レンズアレイ３０５の各レンズ素子をφ１μｍ程度まで微小化すると、単位素子サイズはサブミクロン単位とすることが必要となるが、この大きさの単位素子を多数配置した撮像素子を形成することは、製造技術的に困難である。

本発明は、上記事情に鑑みなされたもので、３次元画像を撮像するために用いられる撮像技術において、３次元画像の奥行き方向の分解能を維持しつつ解像度の向上を図ることができ、撮像素子の製造を容易とし得る、３次元画像用の撮像装置および３次元画像用の撮像表示装置を提供することを目的とするものである。

本発明の第１の３次元画像用の撮像装置は、照明光を射出する照明光源と被写体である物体の間に設けられた多値２次元パターンを表示する空間光変調器と、該空間光変調器でパターン化された照明光が該物体に結像するように配されるレンズと、該物体からの前記照明光の反射光または透過光が担持する像情報を取得する、単位素子を２次元的に配列された撮像素子とから構成された光学系を備え、
前記空間光変調器に表示される多値２次元パターンを時間的に変化させる多値２次元パターン可変指示手段と、該多値２次元パターン可変指示手段の指示により前記空間光変調器に表示された多値２次元パターンおよび、その多値２次元パターンが表示された際に、前記撮像素子の前記単位素子の各々において取得された光強度情報の関係を前記多値２次元パターンの表示毎に取り込み、これら多値２次元パターン毎に取り込んだ値に基づいて、前記単位素子毎に２次元要素画像を求める２次元要素画像再構成手段と、求められた前記単位素子毎の該２次元要素画像に基づいて前記物体の３次元画像を再構成する３次元画像再構成手段と、を備えたことを特徴とするものである。

また、本発明の第２の３次元画像用の撮像装置は、照明光源からの照明光を照射される被写体である物体の光出射側に設けられた多値２次元パターンを表示する空間光変調器と、該物体からの前記照明光の反射光または透過光が、該空間光変調器でパターン化されてなる前記物体の像情報を取得する、単位素子を２次元的に配列された撮像素子と、該物体の像情報を担持した該物体からの反射光または透過光を、前記空間光変調器上に結像するように配されるレンズとから構成された光学系を備え、
前記空間光変調器に表示される多値２次元パターンを時間的に変化させる多値２次元パターン可変指示手段と、該多値２次元パターン可変指示手段の指示により前記空間光変調器に表示された多値２次元パターンおよび、その多値２次元パターンが表示された際に、前記撮像素子の前記単位素子の各々において取得された光強度情報の関係を前記多値２次元パターンの表示毎に取り込み、これら多値２次元パターン毎に取り込んだ値に基づいて、前記単位素子毎に２次元要素画像を求める２次元要素画像再構成手段と、求められた前記単位素子毎の該２次元要素画像に基づいて前記物体の３次元画像を再構成する３次元画像再構成手段と、を備えたことを特徴とするものである。
なお、上記「２次元要素画像再構成手段」および「３次元画像再構成手段」は所定のプログラムによりソフト的に、あるいはソフトとハードを組合わせることにより作成される。
また、「照明光源」とは、この装置のために専用に構成されたものであってもよいし、太陽光などの自然光であってもよいし、他の用途に使用される光源を共用するようなものであってもよい。

上記第１および第２の３次元画像用の撮像装置では、前記多値２次元パターンが２値の２次元パターンであり、前記多値２次元パターン可変指示手段の指示に応じて変化する該パターンの変化態様をランダムとすることが可能である。
この場合において、前記２次元要素画像再構成手段は、前記多値２次元パターン毎の算出結果を用い、下記演算式（１）に基づいて、前記単位素子毎に前記２次元要素画像であるI_i,j(x,y)を求めることが好ましい。

但し、P_n(x,y)は、前記多値２次元パターンの配列P(x,y)において、パターンをN回変えたときのn番目のパターンの配列、S_i,j,nは、前記撮像素子の画素(i,j)において、n番目のパターンのときに計測した反射光光強度である。

また、本発明の３次元画像用の撮像表示装置は、上記いずれかの３次元画像用の撮像装置と、前記３次元画像再構成手段により再構成された前記３次元画像を表示する表示手段を備えたことを特徴とするものである。

３次元画像の奥行き方向の分解能を維持しつつ、解像度の向上を図り、さらに撮像素子の製造を容易にするとの要求を満足させるためには、形成する２次元要素画像の数を増大させるとともに、撮像素子の各画素のサイズとして、製造が困難とならない程度の大きさを確保することが重要となる。

そこで、本発明者等は、従来、撮像素子の光入射側に配されているレンズアレイを取り除き、１つの２次元要素画像を１つの画素によって得ることができれば、上記要求を満足させることができることに着目して、研究を進めた結果、例えば、シングルピクセルイメージングあるいはゴーストイメージングと称される技術を適用することに思い至った。
すなわち、シングルピクセルイメージングあるいはゴーストイメージングと称される技術は、例えば、First full-color computational imaging with single-pixel detectors (Welsh SS, Edgar MP, Bowman R, Jonathan P, Sun B, Padgett MJ： 13 Oct 7;21(20):23068-74. ＤＯＩ: 10.1364/OE.21.023068)に示される。
すなわち、被写体である物体の像情報と、空間的な２次元パターン情報とを合成した反射光光強度が撮像素子の各単位素子で得られるようにし、この２次元パターンの態様をランダムに変化させつつ、各パターン態様に設定されたときの光強度の取得結果各々を用い、所定の演算式に基づいて各単位素子毎に２次元要素画像を再構成することができる。

そして、この撮像素子の各単位素子で得られた２次元要素画像から、所定の手法を用いて３次元画像を再構成しているので、撮像素子の製造を容易としつつ、解像度および奥行き方向の分解能に優れた３次元画像を撮像することができる。

また、本発明の３次元画像用の撮像表示装置では、上記いずれかの３次元画像用の撮像装置と、３次元画像再構成手段により再構成された３次元画像を表示する表示手段を備え、この表示手段に、再構成された３次元画像を表示するようにしているので、撮像素子の製造を容易としつつ、解像度および奥行き方向の分解能に優れた３次元画像を撮像し、表示することができる。

本発明の３次元画像用の撮像表示装置の原理を説明するための概略図である。互いに異なる位置に配された、撮像素子の２つの単位素子において撮像された２次元要素画像（ａ）、（ｂ）を示す図である。本発明の実施例１に係る３次元画像用の撮像表示装置を示すものである。本発明の実施例２に係る３次元画像用の撮像表示装置を示すものである。従来技術に係る３次元画像用の撮像表示装置を示すものである。

以下、本発明の実施形態に係る３次元画像用の撮像装置および撮像表示装置を、図面を参照しながら説明する。
まず、図１を用いて、この３次元画像用の撮像装置および撮像表示装置の原理について説明する。

この３次元画像用の撮像装置は、被写体である物体１への入射経路または出射経路上において、該物体１の像情報に２値の２次元パターン１２ｂの情報を重畳させる処理を行い、この２値の２次元パターン１２ｂの情報を重畳させた該物体１の像情報から、各々の単位素子において光強度情報を取得する撮像素子４と、上記２値の２次元パターン１２ｂの情報を、ランダムに他の表示パターン（＃１～＃ｎ）１２ａに切り替える度に、撮像素子４の各々の単位素子において取得された光強度情報を用い、所定の演算式に基づき、各単位素子毎に２次元要素画像６を再構成する２次元要素画像再構成手段７と、撮像素子４の各々の画素において取得された２次元要素画像６を用い、所定の演算（例えば、前述した非特許文献２を参照）に基づき物体１の３次元画像を再構成する３次元画像再構成手段８と、を備えている。これら２次元要素画像再構成手段７と、３次元画像再構成手段８とは、制御演算処理装置９を構成する。

また、上記３次元画像用の撮像表示装置は、上述した３次元画像用の撮像装置の構成に加え、３次元画像再構成手段８により再構成された物体１の３次元画像を表示する表示手段１０を備えている。

物体１の像情報に２値の２次元パターン情報を重畳させる処理手段としては、例えば、液晶表示素子やＤＭＤ等の空間光変調素子が好適であり、この空間光変調素子に白黒２値の表示パターン１２ａをランダムに変化させた態様（♯１～♯ｎ）が順次表示されるように構成する。
すなわち、具体的には、例えば、所定のメモリ内に２値の表示パターン１２ａをランダムに変化させた態様（♯１～♯ｎ）が格納されていて、乱数発生器（２次元パターン情報付与手段）により順次選択された、♯１～♯ｎのうちのいずれかの表示パターン１２ａを空間光変調素子に表示させるように構成してもよい。

もちろん、メモリ内に♯１～♯ｎのような表示パターン１２ａをメモリに記憶させず、２次元パターン情報付与手段により、表示パターン１２ａを空間光変調素子に表示させる直前において、表示されるパターン１２ａを乱数抽選によりリアルタイムで形成するようにしてもよい。

また、上記２次元要素画像再構成手段７において、撮像素子４の各々の単位素子について、取得された光強度情報を用い、各画素毎に２次元要素画像６を再構成する演算式は、例えば以下のように構成される。

すなわち、上記２次元パターン２の配列P(x,y)において、パターン２の態様をＮ回変えたときのｎ番目のパターンの配列をP_n(x,y)、撮像素子４の画素(i,j)においてｎ番目のパターンのときに計測した反射光強度をS_i,j,nとすると、撮像素子４の画素(i,j)での２次元要素画像I_i,j(x,y)は下式（１）で表される。

このようにして、撮像素子４の単位素子のそれぞれにより取得された２次元要素画像６は、撮像素子４の単位素子の位置に応じて、異なる角度から見た物体の形状情報を表すこととなり、例えば、図２の（ａ）、（ｂ）に示すように、取得された２次元要素画像は、互いにずれた物体位置の形状情報を有するものとなる。

また、３次元画像再構成手段８において、撮像素子４の各々の単位素子で取得された２次元の各２次元要素画像６に基づき、３次元画像を再構成する所定の演算は、前述したように、例えば、前述した非特許文献２に記載されたインテグラルフォトグラフィにおける周知の手法を用いてなされる。
なお、撮像素子４としては、ＣＭＯＳやＣＣＤ等の種々のタイプの撮像素子を用いることができる。

（実施例１)
図３は、本発明の実施例１に係る撮像表示装置を示すものである。
この撮像表示装置は、物体１０１に照明光１０２ａを照射する照明光源１０２と、照明光１０２ａの光路中に配され、照明光１０２ａに白黒２値の２次元マトリックス状の表示パターン１１２ａを担持させる空間光変調器１１１と、空間光変調器１１１を出射された照明光１０２ａに担持されたパターン情報を物体１０１上に結像せしめる結像レンズ１０３と、上記パターン情報に物体１０１の像情報が重畳された物体１０１からの反射光を受光する撮像素子１０４と、空間光変調器１１１に表示されるパターン情報および当該パターン情報が表示された際に撮像素子１０４の各単位素子（１単位素子が１画素を構成するので、以下、各画素とも称する）で得られる物体１０１からの光強度情報を各表示パターン１１２ａの表示が変化する度に取得し、撮像素子１０４の各画素に物体１０１の２次元画像情報を再構成する２次元要素画像再構成手段１０７と、撮像素子１０４の各画素で取得された物体１０１の２次元要素画像に基づき、物体１０１の３次元画像（３次元の再構成像１０８）を再構成する３次元画像再構成手段１０８と、この３次元画像再構成手段１０８により得られた物体１０１の３次元画像を表示する表示手段１１０と、を備えている。

なお、２次元要素画像再構成手段１０７および３次元画像再構成手段１０８は制御演算処理装置１０９を構成する。この制御演算処理装置１０９は、２次元パターン情報付与手段１１２に指示して空間光変調器１１１に表示される表示パターン１１２ａを切り替える機能も有している。

すなわち、この撮像表示装置は、図３に示すように、照明光源１０２と撮像する物体１０１の間に空間光変調器１１１とレンズ１０３を設ける点に特徴を有する。空間光変調器１１１としては透過型の液晶表示パネルが用いられているが、これに替えて反射型の液晶表示パネルやＤＭＤ(デジタルマイクロミラーデバイス)を用いることができる。

空間光変調器１１１で変調された表示パターン１１２ａが物体１０１に結像するように結像レンズ１０３の光軸上での位置が調整される。
このときの表示パターン１１２ａが重畳された物体１０１からの反射光１０４ａの光強度を撮像素子１０４の各画素で受光する。空間光変調器１１１と撮像素子１０４は制御演算処理装置１０９に接続され、空間光変調器１１１に表示した表示パターン１１２ａとそのパターン１１２ａが表示されたときに撮像素子１０４の各画素で得られた光強度の関係を２次元要素画像再構成手段１０７に記憶させる。空間光変調器１１１に表示する表示パターン１０２ａを複数回変化させ、その度に撮像素子１０４の各画素で取得された光強度に基づき、各画素毎に２次元要素画像を再構成する。変化させる表示パターン１１２ａがランダムとされているので、前述した式（１）を用いることで、各画素での２次元要素画像を容易に再構成することができる。

前述したように、各画素に対応して得られた２次元要素画像に基づき、従来のインテグラルフォトグラフィと同様の周知の方法により３次元画像を再構成することができる。

なお、制御演算処理装置１０９または表示手段１１０に大容量メモリを収納しておき、得られた３次元画像を記憶させておき、必要に応じて、物体１０１の３次元画像を表示手段１１０に表示させてもよい。
このように構成された実施例１に係る撮像表示装置により、物体１０１の３次元画像の解像度、分解能を向上させることができる。

（実施例２)
図４は、本発明の実施例２に係る撮像表示装置を示すものである。
なお、上記実施例１と類似した撮像表示装置とされているので、図３の部材に対応する部材については、図３の各部材に付した符号に１００を加えた符号を付すものとする。

図４に示すように、物体２０１に照明光２０２ａを照射する照明光源２０２と、物体２０１からの、照明光２０２ａの反射光２０４ａを受光する撮像素子２０４と、反射光２０４ａの光路中に配され、反射光２０４ａに白黒２値の２次元マトリックス状の表示パターン２１２ａを担持させる空間光変調器２１１と、物体２０１から反射された反射光２０４ａを空間光変調器２１１上に結像せしめる結像レンズ２０３と、空間光変調器２１１に表示されるパターン情報および当該パターン情報が表示された際に撮像素子２０４の各画素で得られる物体２０１からの光強度情報を各表示パターン２１２ａの表示が変化する度に取得し、撮像素子２０４の各画素に物体２０１の２次元画像情報を再構成する２次元要素画像再構成手段２０７と、撮像素子２０４の各画素で取得された物体２０１の２次元要素画像に基づき、物体２０１の３次元画像情報を再構成する３次元画像再構成手段２０８と、この３次元画像再構成手段２０８により得られた物体２０１の３次元画像を表示する表示手段２１０と、を備えている。

なお、２次元要素画像再構成手段２０７および３次元画像再構成手段２０８は制御演算処理装置２０９を構成する。この制御演算処理装置２０９は、２次元パターン情報付与手段２１２に指示して空間光変調器２１１に表示される表示パターン２１２ａを切り替える機能も有している。

すなわち、この撮像表示装置は、図４に示すように、物体２０１と撮像素子２０４の間にレンズ２０３と空間光変調器２１１を設ける点に特徴を有する。空間光変調器２１１として採用し得る具体的な態様としては上記実施例１と同様である。

実施例２に係る撮像表示装置は、物体２０１の像情報が担持された物体２０１からの反射光２０４ａが空間光変調器２１１に結像するように結像レンズ２０３の光軸上での位置が調整され、この反射光２０４ａに空間光変調器２１１に表示された表示パターン２１２ａの情報が担持される。

空間光変調器２１１と撮像素子２０４は制御演算処理装置２０９に接続され、空間光変調器２１１に表示した表示パターン２１２ａと、そのパターン２１２ａが表示されたときに撮像素子２０４の各画素で得られた像情報との関係を制御演算処理装置２０９にて記憶する。

空間光変調器２１１に表示する表示パターン２１２ａを複数回変化させ、その度に、制御演算処理装置２０９に上記関係を記憶し、この後、これら記憶された各表示パターン２１２ａについての上記関係を、前述した式（１）に代入して演算し、各画素毎に２次元要素画像を再構成する。表示パターン２１２ａの変化態様がランダムとされているので、前述した式（１）を用いることで、各画素での２次元要素画像を容易に再構成することができる。
なお、前述したように、各画素に対応して得られた２次元要素画像に基づき、従来のインテグラルフォトグラフィと同様の周知の方法により３次元画像を再構成することができる。

このように構成された実施例２に係る撮像表示装置によっても、物体２０１の３次元画像の解像度、分解能を向上させることができる。各画素毎に構成された、互いに少しずつずれた位置における形状情報を有する２次元要素画像に基づき、従来のインテグラルフォトグラフィと同様の計算により３次元画像を再構成することができる。

なお、本発明のホログラム記録再生装置としては上記実施形態のものに限られるものではなく、その他の種々の変更の態様をとることが可能である。
例えば、上記表示パターン１１２ａ、２１２ａは、ランダムパターンではなく、ＤＣＴ基底やアダマール基底を用いることにより、画像再構成時間を短縮することができる。
さらに時間を短縮するために、圧縮センシング技術を取り入れることも可能である。
また、上記実施形態においては、物体が非透光体で、その物体からの反射光を利用して像の再構成をしているが、物体が透光体で、その物体からの透過光を利用して像（例えば透光物体内の密度分布を表す像）の再構成を行うようにすることも可能である。
また、上記実施形態においては、白黒２値の表示パターンを用いているが、白黒の他にグレイレベルを有する値を含めて３値以上からなるパターンを用いることも可能である。

１、１０１、２０１、３０１物体
１０３、２０３、３０３レンズ
４、１０４、２０４、３０４撮像素子
４ａ、１０４ａ、２０４ａ、３０４ａ反射光
６、３０６２次元要素画像
７、１０７、２０７２次元要素画像再構成手段
８、１０８、２０８、３０８３次元画像再構成手段
９、１０９、２０９制御演算処理装置
１０、１１０、２１０表示手段
１２ａ、１１２ａ、２１２ａ表示パターン
１２ｂ、１１２ｂ２次元パターン
１０２、２０２、３０２照明光源
１０２ａ、２０２ａ、３０２ａ照明光
１１１、２１１空間光変調器
１１２、２１２２次元パターン情報付与手段
３０５レンズアレイ
３０９演算処理装置

Claims

照明光を射出する照明光源と被写体である物体の間に設けられた多値２次元パターンを表示する空間光変調器と、該空間光変調器でパターン化された照明光が該物体に結像するように配されるレンズと、該物体からの前記照明光の反射光または透過光が担持する像情報を取得する、単位素子を２次元的に配列された撮像素子とから構成された光学系を備え、
前記空間光変調器に表示される多値２次元パターンを時間的に変化させる多値２次元パターン可変指示手段と、該多値２次元パターン可変指示手段の指示により前記空間光変調器に表示された多値２次元パターンおよび、その多値２次元パターンが表示された際に、前記撮像素子の前記単位素子の各々において取得された光強度情報の関係を前記多値２次元パターンの表示毎に取り込み、これら多値２次元パターン毎に取り込んだ値に基づいて、前記単位素子毎に２次元要素画像を求める２次元要素画像再構成手段と、求められた前記単位素子毎の該２次元要素画像に基づいて前記物体の３次元画像を再構成する３次元画像再構成手段と、を備えたことを特徴とする３次元画像用の撮像装置。
照明光源からの照明光を照射される被写体である物体の光出射側に設けられた多値２次元パターンを表示する空間光変調器と、該物体からの前記照明光の反射光または透過光が、該空間光変調器でパターン化されてなる前記物体の像情報を取得する、単位素子を２次元的に配列された撮像素子と、該物体の像情報を担持した該物体からの反射光または透過光を、前記空間光変調器上に結像するように配されるレンズとから構成された光学系を備え、
前記空間光変調器に表示される多値２次元パターンを時間的に変化させる多値２次元パターン可変指示手段と、該多値２次元パターン可変指示手段の指示により前記空間光変調器に表示された多値２次元パターンおよび、その多値２次元パターンが表示された際に、前記撮像素子の前記単位素子の各々において取得された光強度情報の関係を前記多値２次元パターンの表示毎に取り込み、これら多値２次元パターン毎に取り込んだ値に基づいて、前記単位素子毎に２次元要素画像を求める２次元要素画像再構成手段と、求められた前記単位素子毎の該２次元要素画像に基づいて前記物体の３次元画像を再構成する３次元画像再構成手段と、を備えたことを特徴とする３次元画像用の撮像装置。
前記多値２次元パターンが２値の２次元パターンであり、前記多値２次元パターン可変指示手段の指示に応じて変化する該パターンの変化態様をランダムとすることを特徴とする請求項１または２に記載の３次元画像用の撮像装置。
前記２次元要素画像再構成手段は、前記多値２次元パターン毎の算出結果を用い、下記演算式（１）に基づいて、前記単位素子毎に前記２次元要素画像であるI_i,j(x,y)を求めることを特徴とする請求項３に記載の３次元画像用の撮像装置。

但し、P_n(x,y)は、前記多値２次元パターンの配列P(x,y)において、パターンをN回変えたときのn番目のパターンの配列、S_i,j,nは、前記撮像素子の画素(i,j)において、n番目のパターンのときに計測した反射光光強度である。
請求項１～４のいずれかに記載の３次元画像用の撮像装置と、前記３次元画像再構成手段により再構成された前記３次元画像を表示する表示手段を備えたことを特徴とする３次元画像用の撮像表示装置。