JP5927570B2 - ３次元撮像装置、光透過部、画像処理装置、およびプログラム - Google Patents

Description

本願は１つの光学系と１つの撮像素子を用いて視差画像を作る単眼の３次元撮像技術に関する。

近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加している。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。

３次元撮像技術に関して、単純な構成をもつ代表的な方式として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという方式がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像（以下、「複数視点画像」と呼ぶことがある。）を取得する方式（単眼撮像方式）が研究されている。

例えば、特許文献１には、透過軸の方向が互いに直交する２枚の偏光板と回転する偏光フィルタとを用いた方式が開示されている。図１４は、当該方式による撮像系の構成を示す模式図である。撮像装置は、０度偏光の偏光板１１、９０度偏光の偏光板１２、反射鏡１３、ハーフミラー１４、円形の偏光フィルタ１５、円形の偏光フィルタ１５を回転させる駆動装置１６、光学レンズ３、光学レンズにより結像された像を取得する撮像装置９を備えている。ここで、ハーフミラー１４は、偏光板１１を透過して反射鏡１３で反射された光を反射し、偏光板１２を透過した光を透過させる。以上の構成により、互いに離れた場所に配置された偏光板１１、１２をそれぞれ透過した光は、ハーフミラー１４、円形の偏光フィルタ１５、および光学レンズ３を経由して撮像装置９に入射し、画像が取得される。この方式における撮像の原理は、円形の偏光フィルタ１５を回転させることにより、２枚の偏光板１１、１２のそれぞれに入射した光を別々のタイミングで捉え、視差を有する２つの画像を取得する、というものである。

しかしながら、上記方式では、円形の偏光フィルタ１５を回転しながら、時間分割によって異なる位置の画像を撮像するため、視差を有する２つの画像を同時に取得できないという課題がある。また、機械的駆動を用いるため、耐久性に問題があり得る。その上、全入射光を偏光板１１、１２および偏光フィルタ１５で受けるため、撮像装置９が受ける光の量（受光量）が５０％以上も低下するという課題もある。

上記方式に対して、機械的駆動を用いることなく視差のある２つの画像を同時に取得する方式が特許文献２に開示されている。この方式による撮像装置は、２つの入射領域から入射する光を反射鏡によって集光し、２種類の偏光フィルタが交互に配列された撮像素子で受光することにより、機械的駆動部を用いずに視差のある２つの画像を取得する。

図１５は、この方式における撮像系の構成を示す模式図である。この撮像系は、透過軸の方向が互いに直交する２つの偏光板１１、１２と、反射鏡１３と、光学レンズ３と、撮像素子２とを有する。撮像素子２は、その撮像面に、複数の画素１０と、画素に１対１に対応して配置された偏光フィルタ１７、１８とを備える。偏光フィルタ１７、１８は全画素上に交互に配列されている。ここで、偏光フィルタ１７、１８の透過軸の向きは、それぞれ偏光板１１、１２の透過軸の向きと一致している。

以上の構成により、入射光は偏光板１１、１２を透過し、反射鏡１３で反射され、光学レンズ３を通り、撮像素子１の撮像面に入射する。偏光板１１、１２をそれぞれ透過して撮像素子１に入射する光は、それぞれ偏光フィルタ１７、１８を透過してそれらに対向する画素で光電変換される。ここで、偏光板１１、１２をそれぞれ通って撮像素子１に入射する光によって形成される画像を、それぞれ右目用画像、左目用画像と呼ぶと、右目用画像、左目用画像は、それぞれ偏光フィルタ１７、１８に対向する画素群から得られる。

このように、特許文献２に開示された方式では、特許文献１に開示された回転する円形の偏光フィルタを用いる代わりに、撮像素子の画素上に透過軸の方向が互いに直交する２種類の偏光フィルタが交互に配置される。これにより、特許文献１の方式に比べて解像度が１／２に低下するが、１つの撮像素子を用いて視差を有する右目用画像と左目用画像とを同時に得ることができる。しかしながら、この技術においても、特許文献１の技術と同様、入射光が偏光板及び偏光フィルタを透過する際に光量が減少するため、撮像素子の受光量は大きく減少する。

撮像素子の受光量が低下するという問題に対して、視差を有する複数の画像と通常の画像とを１つの撮像素子で取得できる技術が特許文献３に開示されている。この技術によれば、視差を有する２つの画像の取得時と通常画像の取得時とで構成要素の一部が機械的に入れ替わることによって視差を有する２つの画像と通常画像とが１つの撮像素子によって取得される。視差を有する２つの画像を取得する際に光路上に２つの偏光フィルタが配置される点は特許文献２に開示された技術と同じである。一方、通常画像を取得する際には、偏光フィルタは機械的に光路から取り外される。このような機構を取り入れることにより、視差を有する複数の画像と光利用率の高い通常画像とを得ることができる。

上記の特許文献１〜３に開示された方式では、偏光板や偏光フィルタが用いられるが、他のアプローチとして、色フィルタが用いられる方式もある。例えば、色フィルタを用いて視差を有する２つの画像を同時に取得する方式が特許文献４に開示されている。図１６は、特許文献４に開示された撮像系を模式的に示す図である。撮像系は、レンズ３、レンズ絞り１９、透過波長域の異なる２つの色フィルタ２０ａ、２０ｂが配置された光束制限板２０、感光フィルム２１を備える。ここで、色フィルタ２０ａ、２０ｂは、例えば赤系統、青系統の光をそれぞれ透過させるフィルタである。

以上の構成により、入射光は、レンズ３、レンズ絞り１９、および光束制限板２０を透過し、感光フィルムに結像する。その際、光束制限板２０における２つの色フィルタ２０ａ、２０ｂでは、それぞれ赤系統、青系統の光だけが透過する。その結果、感光フィルム上にはこれらの２つの色フィルタをそれぞれ透過した光によるマゼンタ系統の色の像が形成される。ここで、色フィルタ２０ａ、２０ｂの位置が異なっているため、感光フィルム上に形成される像には視差が生じる。ここで、感光フィルムから写真を作り、赤色フィルムおよび青色フィルムがそれぞれ右目用および左目用として貼り付けられたメガネを使うと、奥行き感のある画像を見ることができる。このように、特許文献４に開示された技術によれば、２つの色フィルタを使って複数視点画像を作ることができる。

特許文献４に開示された技術は、感光フィルム上に結像させ、視差を有する複数の画像を作るものであるが、一方で、視差を有する画像を電気信号に変換して取得する技術が特許文献５に開示されている。図１７は、この技術における光束制限版を模式的に表す図である。この技術では、撮像光学系の光軸に垂直な平面上に、赤色光を透過するＲ領域２２Ｒ、緑色光を透過するＧ領域２２Ｇ、青色光を透過するＢ領域２２Ｂが設けられた光束制限版２２が用いられる。これらの領域を透過した光を赤用のＲ画素、緑用のＧ画素、青用のＢ画素を有するカラー撮像素子で受けることにより、各領域を透過した光による画像が取得される。

また、特許文献６にも、特許文献５と同様の構成を用いて視差を有する複数の画像を取得する技術が開示されている。図１８は、特許文献６に開示された光束制限板を模式的に示す図である。この技術でも、光束制限板２３に設けられたＲ領域２３Ｒ、Ｇ領域２３Ｇ、Ｂ領域２３Ｂを入射光が透過することにより視差のある画像を作ることができる。

特許文献７も同様に、光軸に対して対称的に配置された、互いに色の異なる一対のフィルタを用いて視差を有する複数の画像を生成する技術を開示している。一対のフィルタとして赤色のフィルタおよび青色のフィルタを利用することにより、赤色光を検知するＲ画素は赤フィルタを透過した光を観測し、青色光を検知するＢ画素は青フィルタを透過した光を観測する。赤フィルタと青フィルタとは位置が異なるため、Ｒ画素が受ける光の入射方向とＢ画素が受ける光の入射方向とは互いに異なる。その結果、Ｒ画素で観測される画像とＢ画素で観測される画像とは、互いに視点の異なる画像となる。これらの画像から画素ごとに対応点を求めることにより、視差量が算出される。算出された視差量とカメラの焦点距離情報とから、カメラから被写体までの距離が求められる。

特許文献８は、口径サイズが互いに異なる２枚の色フィルタ（例えば、赤と青）が取り付けられた絞り、または色の異なる２枚の色フィルタが光軸に対して左右対称の位置に取り付けられた絞りを用いて取得した２つの画像から被写体の距離情報を求める技術を開示している。この技術では、口径サイズが互いに異なる赤および青の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測されるボケの程度が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、被写体の距離によってボケの程度が異なる画像となる。これらの画像から対応点を求め、ボケの程度を比較することにより、カメラから被写体までの距離情報が得られる。一方、光軸に対して左右対称の位置に取り付けられた色の異なる２枚の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測される入射光の方向が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、視差を有する画像となる。これらの画像から対応点を求め、対応点間の距離を求めることにより、カメラから被写体までの距離情報が得られる。

上記の特許文献４〜８に示された技術によれば、光束制限板にＲＧＢの色フィルタを配置することによって視差のある画像を生成することができる。しかしながら、光束制限板を用いるため、入射光量が減少する。また、視差の効果を高めるにはＲＧＢの色フィルタを互いに離れた位置に配置し、それらの面積を小さくする必要があるが、そのようにすると入射光量はさらに減少する。

以上の技術に対して、ＲＧＢの色フィルタが配置された絞りを用いて、視差を有する複数の画像と光量的に問題のない通常画像とを得ることができる技術が特許文献９に開示されている。この技術では、絞りを閉じた状態ではＲＧＢの色フィルタを透過した光だけが受光され、絞りを開いた状態ではＲＧＢの色フィルタ領域が光路から外されるため、入射光をすべて受けることができる。これにより、絞りを閉じた状態では視差のある画像を取得し、絞りを開いた状態では光利用率の高い通常画像を得ることができる。

特開昭６２−２９１２９２号公報 特開昭６２−２１７７９０号公報 特開２００１−０１６６１１号公報 特開平２−１７１７３７号公報 特開２００２−３４４９９９号公報 特開２００９−２７６２９４号公報 特開２０１０−３８７８８号公報 特開２０１０―７９２９８号公報 特開２００３−１３４５３３号公報

森上雄太、高木健、石井抱：視点変換アイリスによる実時間単眼ステレオシステム、第２７回日本ロボット学会学術講演会講演論文集、３Ｒ２−０６、２００９．

従来技術によれば、複数視点画像を生成することはできるが、偏光板あるいは色フィルタが用いられるため、撮像素子に入射する光の量が減少する。入射光量を確保するためには、偏光部分あるいは色フィルタ領域を光路上から外す機構が必要であり、従来技術ではそのような機構を用いずに複数視点画像と光利用率の高い画像とを同時に得ることができない。

また、従来技術では、得られた複数視点画像から奥行き情報を推定する場合、通常、各々の画像において特徴部分を抽出し、特徴部分の間の照合を行うことによって奥行き情報が推定される。あるいは、特許文献６で説明されているように、ＲＧＢ色空間における線形色モデルに基づいて画素ずれを算出することにより、奥行き情報が推定される。

本発明の実施形態は、従来の奥行き情報を推定する方法を用いることなく、光利用率の高い画像と奥行き情報とを同時に取得し得る撮像技術を提供する。

上記課題を解決するために、本発明の一態様に係る３次元撮像装置は、第１の方向に沿って分光透過率特性が変化している透過領域を有する光透過部と、前記光透過部を透過した光を受けるように配置され、受けた光に応じた光電変換信号を出力する撮像素子と、前記撮像素子の撮像面に像を形成する結像部と、前記撮像素子から出力された前記光電変換信号に基づいて生成される画像に含まれる被写体の前記第１方向における輪郭を抽出し、抽出した前記輪郭の近傍における背景の明度または色相のパターンに基づいて前記被写体の奥行きに関する情報を推定する画像処理部とを備えている。

上述の一般的かつ特定の態様は、システム、方法、およびコンピュータプログラムを用いて実装され、または、システム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。

本発明の実施形態に係る３次元撮像装置によれば、被写体の奥行きに関する情報を、画像上の明るさまたは色の情報に変換できるため、奥行き情報の算出が可能となる。また、ある実施形態によれば、光透過部の透過領域以外の領域の透過率を大きくすることにより、奥行き情報と高感度画像とを同時に取得できる。

例示的な実施形態１における撮像装置の全体構成を示すブロック図である。 例示的な実施形態１における透光板、光学レンズ、および撮像素子の概略構成を示す模式図である。 例示的な実施形態１における透光板の正面図である。 例示的な実施形態１における固体撮像素子の撮像部の基本色構成図である。 例示的な実施形態１における撮影状況を模式的に示す図である。 例示的な実施形態１における画像処理の流れを示すフロー図である。 例示的な実施形態１における右撮像領域の画素信号を示す図である。 例示的な実施形態１における右撮像領域の画素信号を示す図である（前景被写体と背景との距離が1/2の場合）。 例示的な実施形態２における撮像装置の全体構成を示すブロック図である。 例示的な実施形態２における透光板の回転動作を示す図である。 例示的な実施形態２における透光板の正面図である。 例示的な実施形態２における帯状色フィルタの透過特性図である。 （ａ）は、例示的な実施形態３における信号ΣＴｒの水平距離Ｘに対する変化を示す図であり、（ｂ）は、例示的な実施形態３における信号ΣＴｒ−（１／２）Ｘの水平距離Ｘに対する変化を示す図である。 特許文献１における撮像系の構成図である。 特許文献２における撮像系の構成図である。 特許文献４における撮像系の構成図である。 特許文献５における光束制限板の外観図である。 特許文献６における光束制限板の外観図である。

本発明の例示的な実施形態の概要は以下のとおりである。

（１）本発明の一態様に係る３次元撮像装置は、第１の方向に沿って分光透過率特性が変化している透過領域を有する光透過部と、前記光透過部を透過した光を受けるように配置され、受けた光に応じた光電変換信号を出力する撮像素子と、前記撮像素子の撮像面に像を形成する結像部と、前記撮像素子から出力された前記光電変換信号に基づいて生成される画像に含まれる被写体の前記第１方向における輪郭を抽出し、抽出した前記輪郭の近傍における背景の明度または色相のパターンに基づいて前記被写体の奥行きに関する情報を推定する画像処理部とを備えている。

（２）ある態様において、前記透過領域は、前記第１の方向に沿って、透過波長域が３種類以上に変化している。

（３）項目（１）または（２）に記載の３次元撮像装置のある態様において、記透過領域は、無彩色光が前記透過領域を透過したとき、透過光の総和が無彩色光になるように設計されている。

（４）項目（１）から（３）のいずれかに記載の３次元撮像装置は、ある態様において、光軸に対して垂直な平面上で、前記透過領域を回転させる回転駆動部を有し、前記画像処理部は、異なる回転状態で取得された複数の画像を比較することにより、前記被写体の輪郭を抽出する。

（５）項目（１）から（４）のいずれかに記載の３次元撮像装置のある態様において、前記画像処理部は、前記透過領域が第１の状態にあるときに取得された第１の画像と、前記透過領域が前記第１の状態から１８０度回転した第２の状態にあるときに取得された第２の画像との差分に基づいて前記被写体の輪郭を抽出する。

（６）項目（１）から（５）のいずれかに記載の３次元撮像装置のある態様において、前記透過領域の分光透過率特性は、前記第１の方向に沿って連続かつ周期的に変化している。

（７）項目（１）から（６）のいずれかに記載の３次元撮像装置のある態様において、前記透過領域は、前記第１の方向に沿って配列された、青、シアン、緑、黄、赤、マゼンタの波長域の光をそれぞれ透過させる６種類の領域を有している。

（８）項目（１）から（７）のいずれかに記載の３次元撮像装置のある態様において、前記画像処理部は、予め設定された、前記被写体の奥行きと前記輪郭の周辺画素における明度または色相のパターンとの関係を示す情報に基づいて、前記被写体の奥行きを推定する。

（９）項目（１）から（８）のいずれかに記載の３次元撮像装置のある態様において、前記光透過部における前記透過領域以外の部分は透明である。

（１０）項目（１）から（９）のいずれかに記載の３次元撮像装置のある態様において、前記画像処理部は、推定した前記奥行きを示す情報に基づいて、前記奥行きの量を画素値とする奥行き画像を生成する。

（１１）項目（１）から（１０）のいずれかに記載の３次元撮像装置のある態様において、前記画像処理部は、前記撮像素子から出力された前記光電変換信号に基づいて、カラー画像を生成する。

（１２）本発明の一態様に係る光透過部は、項目（１）から（１１）のいずれかに記載の３次元撮像装置に利用され得る。

（１３）本発明の一態様に係る画像処理装置は、項目（１）から（１１）のいずれかに記載の３次元撮像装置に利用され得る。画像処理装置は、前記撮像素子から出力された前記光電変換信号に基づいて生成される画像に含まれる被写体の前記第１方向における輪郭を抽出し、抽出した前記輪郭の近傍における背景の明度または色相のパターンに基づいて前記被写体の奥行きに関する情報を推定する画像処理部を備えている。

（１４）本発明の一態様に係る画像処理プログラムは、項目（１）から（１１）のいずれかに記載の３次元撮像装置に利用され得る。当該プログラムは、コンピュータに対し、前記撮像素子から出力された前記光電変換信号に基づいて生成される画像に含まれる被写体の前記第１方向における輪郭を抽出し、抽出した前記輪郭の近傍における背景の明度または色相のパターンに基づいて前記被写体の奥行きに関する情報を推定するステップを実行させる。

以下、添付の図面を参照しながら、本発明の実施形態をより具体的に説明する。以下の説明において、全ての図にわたって共通または対応する要素には同一の符号を付している。なお、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。

（実施形態１）
まず、本発明の第１の実施形態による３次元撮像装置（以下、単に「撮像装置」と呼ぶ。）を説明する。図１は、本実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００で生成された信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。

撮像部１００は、撮像面上に配列された複数の光感知セル（画素）を備えるカラー固体撮像素子２ａ（以下、単に「撮像素子」と呼ぶ。）と、特定の方向に沿って分光透過率特性が変化している帯状色フィルタが配置された入射光を透過させる透光板（光透過部）１と、カラー固体撮像素子２ａの撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４とを備えている。撮像部１００はまた、カラー固体撮像素子２ａを駆動するための基本信号を発生するとともにカラー固体撮像素子２ａからの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって生成された基本信号に基づいてカラー固体撮像素子２ａを駆動する素子駆動部６とを備えている。カラー固体撮像素子２ａは、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部６は、例えばＣＣＤドライバなどのＬＳＩから構成されている。なお、本明細書において「分光透過率特性」とは、可視光の波長域における透過率の波長依存性を意味するものとする。

信号処理部２００は、撮像部１００から出力された信号を処理してカラー画像および被写体の奥行き情報を生成する画像処理部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号および奥行き情報を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像処理部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。画像処理部７は、カラー画像を生成すると共に、画像に含まれる輪郭（エッジ）を抽出し、輪郭近傍の色情報から奥行き情報を算出する。画像処理部７はまた、奥行き情報を輝度信号に変換し、奥行きの分布を示す白黒画像を生成する。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像処理部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。

なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本実施形態の理解に特に必要でないため省略する。

次に、図２〜４を参照しながら撮像部１００の構成をより詳細に説明する。以下の説明において、図中に示すｘｙ座標を用いる。

図２は、撮像部１００における透光板１、レンズ３、および撮像素子２ａの配置関係を模式的に示す図である。図２では、透光板１、レンズ３、および撮像素子２ａ以外の構成要素は省略されている。レンズ３は、複数のレンズ群から構成されたレンズユニットであり得るが、図２では簡単のため、単一のレンズとして描かれている。透光板１は、水平方向に沿って分光透過率特性が変化している帯状色フィルタ（透過領域）１ａを有し、入射光を透過させる。レンズ３は、公知のレンズであり、透光板１を透過した光を集光し、撮像素子２ａの撮像面２ｂに結像する。なお、本明細書において、「水平方向」とは、参照される図面に示すｘ方向を意味し、必ずしも地表面に対して平行な方向と一致している必要はない。

図３は、本実施形態における透光板１の正面図である。本実施形態における透光板１の形状は、レンズ３と同様、円形である。透光板１は、その中央部分に帯状色フィルタ１ａを有し、その他の領域１ｂは透明である。この帯状色フィルタ１ａは、図面左から右にかけて、赤(R)、黄(Ye)、緑(G)、シアン(Cy)、青(B)、マゼンタ(Mg)と透過波長域が徐々に変化し、全色を合算した結果が白になることが特徴である。これにより、無彩色の光（白色光）が帯状色フィルタ１ａを透過したとき、透過した部分によって波長は異なるが、全体として透過光の総和は無彩色の光になる。本実施形態では、Ｒ、Ｇ、Ｂの各フィルタ部分の透過率はほぼ等しく、Ｙｅ、Ｃｙ、Ｍｇの各フィルタ部分の透過率は、Ｒ、Ｇ、Ｂの各フィルタ部分の透過率の約２倍であるものとする。

図４は、撮像素子２ａの撮像面２ｂに行列状に配列された複数の光感知セル５０の一部を示している。各光感知セル５０は、典型的にはフォトダイオードであり、光電変換によって各々の受光量に応じた電気信号（以下、「光電変換信号」または「画素信号」と呼ぶ。）を出力する。各光感知セル５０に対向して光入射側に色フィルタが配置されている。図４に示すように、本実施形態における色フィルタ配列は、３行１列を基本構成とする水平ストライプ配列であり、１行目が赤要素（Ｒ）、２行目が緑要素（Ｇ）、３行目が青要素（Ｂ）である。各要素の色フィルタは、公知の顔料などを用いて作製される。赤要素の色フィルタは赤の波長域の光を、緑要素の色フィルタは緑の波長域の光を、青要素の色フィルタは青の波長域の光を選択的に透過させる。

以上の構成により、露光中に撮像装置に入射する光は、透光板１、レンズ３、赤外カットフィルタ４を通して撮像素子２ａの撮像面２ｂに結像され、各光感知セル５０によって光電変換される。各光感知セル５０によって出力された光電変換信号は、信号発生／受信部５を介して信号処理部２００に送出される。信号処理部２００における画像処理部７は、送られてきた信号に基づいて画像のカラー化および奥行き情報の算出を行う。奥行き情報は、その奥行きの量に応じて輝度信号に変換され、白黒画像として出力される。

次に、本実施形態における撮像動作および画像処理を説明する。

図５は、透光板１を介して背景３２および前景被写体３１を撮像するときの状況を模式的に表す図である。図示される状況下で撮像を行うとき、撮像素子２ａは、前景被写体３１および背景３２で反射された光による光電変換信号を出力する。光電変換信号は、撮像素子２ａから信号発生／受信部５を介して画像処理部７に送られる。画像処理部７では送られた光電変換信号を用いて以下の２つの処理を行い、それぞれの処理結果として２つの画像を出力する。１つ目の処理として、所定のカラー化処理が行われ、カラー画像が生成される。２つ目の処理として、画像の輪郭抽出、輪郭近傍の水平方向における着色に基づく奥行き推定、および奥行きの量を画像の輝度値とする白黒画像（以下、「奥行き画像」と呼ぶ。）の生成が行われる。以下、カラー画像生成および奥行き画像生成の処理をより具体的に説明する。

図６は、本実施形態における画像生成処理の流れを示すフロー図である。画像処理部７は、まずステップＳ１０において、撮像素子２ａによって生成された光電変換信号に基づいてカラー画像を生成する。ステップＳ１１において、生成したカラー画像に含まれる被写体の水平方向の輪郭を抽出する。ステップＳ１２において、輪郭近傍の背景の色を検出する。ステップＳ１３において、輪郭近傍の画素の色相のパターンを検出する。ステップＳ１４において、輪郭近傍の画素の色相のパターンから被写体の奥行きを算出する。ステップＳ１５において、算出した奥行きの量に基づいて奥行き画像を生成する。以下、各ステップの詳細を説明する。

まず、ステップＳ１０において、撮像素子２ａの出力からカラー画像が生成される。本実施形態では、撮像素子２ａは、ＲＧＢの水平ストライプ配列を有している。したがって、３行１列の３画素を１単位として直接ＲＧＢ信号（カラー信号）を得ることができ、これらのカラー信号に基づいてカラー画像が生成される。特に本実施形態では、図４に示す水平ストライプ状の色配置が用いられるため、水平方向に高解像なカラー画像を作ることができる。本実施形態では、透光板１の中央に帯状色フィルタ１ａが配置されているため、当該帯状色フィルタ１ａで光の一部が吸収され、光量は損失するが、それ以外の光は損失することなく光電変換される。また、本実施形態では、帯状色フィルタ１ａの配色は原色（Ｒ、Ｇ、Ｂ）だけでなく、補色（Ｙｅ、Ｃｙ、Ｍｇ）も加えた構成であるため、原色フィルタのみを用いる構成に比べ、光透過率は高い。その上、当該帯状色フィルタ１ａを透過する光の総和は白色であるため、基本的に帯状色フィルタ１ａによって被写体の画像が着色されることはない。以上のことから、帯状色フィルタ１ａのサイズを十分小さくすることにより、画像の感度および色特性として問題ないカラー画像を生成することができる。

ステップＳ１１では、画像処理部７は、撮像によって取得した画像（撮像画像）の水平方向における輪郭を抽出する。画像の輪郭抽出には幾つかの方法があり、いずれの方法を適用してもよい。本実施形態では、上記カラー画像生成処理の結果を利用して輪郭を抽出することとする。具体的には、まず、上記のカラー画像生成処理によって得られたカラー画像から色成分を除去し、白黒画像を作る。次に当該白黒画像において、水平方向に隣接する２画素間の信号差分処理を行い、差分値が予め設定されたレベル以上であれば、当該箇所を水平方向における画像の輪郭とする。画像処理部７は、画像全体について、このような信号差分処理を行うことにより、水平方向についての輪郭を抽出する。

ステップＳ１２では、抽出された輪郭の近傍の背景の色が検出される。色が検出される領域は、画像の左半分における輪郭では、当該輪郭の左側領域（図５に示す左撮像領域３３に対応）であり、画像の右半分における輪郭では、当該輪郭の右側領域（図５に示す右撮像領域３４に対応）である。但し、左側領域３３および右側領域３４の具体的な領域幅（水平方向の画素数）は、撮影領域の奥行きの範囲を予め想定し、その想定された奥行きの範囲に相当する幅に設定される。

例えば、図５の右撮像領域３４の色が白で、図３に示す透光板１の帯状色フィルタ１ａとその他の透明領域１ｂとの面積比を１：ｋであるとする。左撮像領域３４および右撮像領域３４に相当する画像上の領域は、帯状色フィルタ１ａの影響を受け、水平方向に連続的に色が変化することになる。例えば、図５の右撮像領域３４のうち図の左端の部分から撮像素子２ａに入射する光は、帯状色フィルタ１ａの右端（Ｍｇ領域）のみを透過するため、当該部分に相当する画素はＭｇに着色される。一方、右撮像領域３４のうち図の右端の部分からは帯状色フィルタ１ａの全体を透過した光束が撮像素子２ａに入射するため、当該部分に相当する画像上の箇所は着色されない。

図７は、右撮像領域３４に相当する画像上の水平方向の６画素の信号レベルを模式的に示す図である。図７に示すように、右撮像領域３４の左端に相当する画素から右端に相当する画素に向けて信号レベルが増加する。図７では、水平方向に並ぶ７画素の信号を、S(i)、S(i+1)、S(i+2)、・・・、S(i+6)で表し、輪郭はS(i)とS(i+1)の境であるものとする。また、各画素信号におけるＷ(=R+G+B)成分をk(j)と表し、ｊ＝１〜６、k(6)=ｋとする。これらの信号に含まれる各色成分の強度を示す信号を、当該色成分を表す記号（Ｍｇ、Ｂ、Ｃｙ、Ｇ、Ｙｅ、Ｒ）で表すと、右撮像領域３４の左端に対応する画素信号S(i+1)は、Mg+k(1)(R+G+B)と表される。右撮像領域３４の右端の画素信号S(i+6)は、(Mg+B+Cy+G+Ye+R)+k(6)(R+G+B)と表される。その他の画素信号についても同様に、S(i+2)は、(Mg+B)+k(2)(R+G+B)と表される。S(i+3)は、(Mg+B+Cy)+k(3)(R+G+B)と表される。S(i+4)は、(Mg+B+Cy+G)+k(4)(R+G+B) と表される。S(i+5)は、(Mg+B+Cy+G+Ye)+k(5)(R+G+B)と表される。但し、ここでは画素単位を図４に示す３行１列の３画素とし、それらの３画素をまとめて１画素と考える。

結局、右撮像領域３４全体では、画素信号の総和は、9R+9G+15B+Σk(j)(R+G+B)と表され、ＲＧＢの信号比率はＲ：Ｇ：Ｂ＝(9+Σk(j))：(9+Σk(j))：(15+Σk(j))となる。k(j)はレンズ形状によって決まる既知の数であるので、このＲＧＢ比を求めることができる。ＲＧＢ比は、輪郭近傍の背景の色によって異なるため、ＲＧＢ比を求めれば、背景の色を特定することができる。例えば、ＲＧＢ比が、Ｒ：Ｇ：Ｂ＝０：(9+Σk(j))：(15+Σk(j))に近い場合、背景色はＣｙであると判定できる。本実施形態では、ＲＧＢ比と対応する背景色とを関連付けるデータベースが予め用意され、メモリ３０に記録されている。画像処理部７は、当該データベースを参照することにより、画像上の輪郭近傍の画素のＲＧＢ比から、当該輪郭近傍の背景領域における色を検出する。

ステップＳ１３では、輪郭周辺領域における色相のパターンが検出される。具体的には、輪郭周辺領域の各画素信号から、ステップＳ１２で検出した色成分の信号を除去した後、画素間で差分演算を行うことによって色成分を算出する。例えば、図７に示す例では、右撮像領域３４の色が白であるため、各画素信号S(i+1)、S(i+2)、・・・から白成分k(j)(R+G+B)が除去される。そうすると、右撮像領域３４における画素信号S(i+1)〜S(i+6)は、それぞれ以下の式１〜式６で表される。
（式１）S(i+1)＝Mg
（式２）S(i+2)＝Mg＋B
（式３）S(i+3)＝Mg＋B＋Cy
（式４）S(i+4)＝Mg＋B＋Cy＋G
（式５）S(i+5)＝Mg＋B＋Cy＋G＋Ye
（式６）S(i+6)＝Mg＋B＋Cy＋G＋Ye＋R

さらに、各画素信号間の差分演算を行うと、以下の式７〜式１１が得られる。但し、式７〜式１１において、画素差分信号ＤjkはＤjk＝S(i+k)−S(i+j)とする。
（式７）Ｄ12＝S(i+2)−S(i+1)＝B

（式８）Ｄ23＝S(i+3)−S(i+2)＝Cy
（式９）Ｄ34＝S(i+4)−S(i+3)＝G
（式１０）Ｄ45＝S(i+5)−S(i+4)＝Ye
（式１１）Ｄ56＝S(i+6)−S(i+5)＝R

これらの演算の結果、Ｄ12〜Ｄ56とS(i+1)とを組み合わせることにより、光源が白色の場合の帯状色フィルタ１ａの色に対応する信号Mg〜Rが算出されることになる。このことは、右画像領域３４や左画像領域３３のような輪郭周辺領域の色を光源色として帯状色フィルタの透過色を算出することと同じであると言える。

ステップＳ１４では、輪郭周辺における色模様の特性を調べ、その特性に応じた奥行きを算出する。ここで、奥行きとは、図５に示す被写体３１と背景３２との距離を意味するものとする。もし奥行き距離が短ければ、色相のパターンも限られたものになる。逆に、もし奥行き距離が長ければ、色相のパターンの範囲も広がる。すなわち、被写体３１の奥行き情報と当該輪郭近傍における色相のパターンには相関関係がある。本実施形態では、その相関関係を示すデータが予め用意され、メモリ３０に記録されている。画像処理部７は、その相関データを参照し、輪郭における色相のパターンから奥行きを算出する。

例えば、右撮像領域３４の色相のパターンが式１および式７〜１１で示される状態、すなわち６画素で６色が得られる状態に対し、前景被写体３１と背景３２との距離が1/2になると、図８に示すように、３画素で３色が得られる状態になる。このように、得られる色相のパターンと、前景被写体３１から背景３２までの距離との間には相関関係があることがわかる。本実施形態における画像処理部７は、この相関関係を利用して奥行き情報を得る。但し、上記のように、奥行き情報は絶対的な距離情報ではなく、相対的な情報である。

ステップＳ１５では、ステップＳ１４で求められた奥行き情報を明るさの情報（白黒画像）に変換する。具体的には、画像処理部７は、撮像画像を水平走査し、輪郭が検出されるごとに奥行きを算出する。算出した奥行き情報は累積加算され、最大奥行き値が算出される。その最大奥行き値を明るさの最大値として、各画素の明るさが決定される。例えば、８ビットの白黒画像に変換する場合、最大輝度値が２５５の画像に変換される。

以上のように、本実施形態の撮像装置によれば、カラー撮像系に帯状色フィルタ１ａを有する透光板１を配置することにより、光損失の少ないカラー画像が得られると共に、被写体の奥行き画像が得られる。本実施形態では、得られたカラー画像から輪郭を抽出し、当該輪郭周辺領域における着色の色相を調べることにより、被写体間の相対的な奥行きを算出できるという優れた効果を奏する。また、被写体間の相対的な奥行き情報が得られれば、それらを用いた演算により、撮像装置の位置を基準とする被写体の奥行き情報を得ることも可能となる。

なお、上記の説明では、帯状色フィルタ１ａの各フィルタ部分は、対応する特定の波長域の光のみを透過させ、それ以外の光を透過させないように構成されているものとした。また、Ｒ、Ｇ、Ｂの各フィルタ部分の透過率はほぼ等しく、Ｙｅ、Ｃｙ、Ｍｇの各フィルタ部分の透過率は、Ｒ、Ｇ、Ｂの各フィルタ部分の透過率の概ね２倍であるものとした。しかしながら、帯状色フィルタ１ａは、厳密にこれらの条件を満足している必要はない。上記の条件を満足していることが理想であるが、帯状色フィルタ１ａの特性が理想的な特性からずれていたとしても、そのずれを補償するように上記の信号処理に補正が加えられていれば問題はない。

また、本実施形態では、透光板１における帯状色フィルタ１ａの色配置を赤(R)、黄(Ye)、緑(G)、シアン(Cy)、青(B)、マゼンタ(Mg)としたが、これに限定されるものではなく、他の色配置でもよい。さらに、帯状色フィルタ１ａの色配置の種類は７種類に限られない。ただし、奥行き算出精度を高める観点から、色配置の種類は３種類以上であることが好ましい。また、カラー画像として問題のない画像を取得する観点から、本実施形態のように、帯状色フィルタ１ａの全色を合算した結果が白になることが好ましいが、厳密に白にならなくてもよい。ただし、全色を合算した結果が白に近い帯状色フィルタ１ａを用いれば、カラー画像として問題なく、かつ奥行き情報を算出できる。

また、本実施形態では、カラー撮像素子２ａの基本色構成をＲＧＢの水平ストライプ配列としたが、これに限定するものではなく、その他の３色以上の基本色配置を用いてもよい。例えば、奥行き算出精度は水平ストライプ配列よりも低下するが、赤要素、青要素と２つの緑要素からなるBayer配列を用いても問題はない。その他、集光レンズ３および透光板１は円形であるものとしたが、四角形状等の他の形状であっても効果には何ら問題はない。また、透光板１における色フィルタ１ａは帯状としたが、これに限定するものではなく、透光板１の全面に配色されたものであっても問題はない。例えば、マンセル色相環のように回転方向に色相（透過波長域）が変化し、半径方向に色の濃さ（透過率）が変化するフィルタを用いた場合、水平方向だけでなくあらゆる方向の奥行きを算出でき得る。あるいは、同心円状に透過波長域または透過率が変化するフィルタを用いてもよい。これらのどのフィルタについても、透過光の総和が白色光に近くなるように、透過率特性が設計されていることが好ましい。

なお、図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような配置関係に限られるものではない。例えば、レンズ３は、撮像面２ｂに像を形成できれば透光板１よりも撮像素子２ａから離れて配置されていてもよい。また、レンズ３と透光板１とが一体となって構成されていてもよい。

本実施形態における画像処理部７は、カラー画像と奥行き画像とを同時に生成するが、カラー画像を生成せずに、奥行き画像だけを生成してもよい。また、上記の処理によって奥行き情報のみを生成し、奥行き画像を生成しないように構成されていてもよい。さらに、本実施形態による画像処理を、撮像装置とは独立した他の装置に実行させてもよい。例えば、本実施形態における撮像部１００を有する撮像装置によって取得した信号を、他の装置（画像処理装置）に読み込ませ、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても本実施形態と同様の効果を得ることができる。

（実施形態２）
次に、本発明の第２の実施形態を説明する。本実施形態では、透光板１に回転機構を組み込み、当該回転機構が、光軸に対して垂直な面上で透光板１を回転させることにより、連続で２回の撮像が行われる。その他の構成は実施形態１と同じであるため、重複する事項についての説明は省略する。

図９は、本実施形態の撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、回転機構として、回転駆動部４０を備えている。回転駆動部４０は、透光板１を回転させるためのモータを有し、素子駆動部６からの指令に基づいて透光板１を回転させる。透光板１の回転の具体的方法としては、例えば非特許文献１に記載されているように、透光板１にベルトを付け、モータでベルトを回転させることによって実現できる。

以下、本実施形態における撮像動作を説明する。撮像装置は、図１０に示すように、透光板１の帯状色フィルタ１ａを水平に保った状態（ａ）で１度撮像し、続いて透光板１を１８０度回転させた状態（ｂ）でもう１度撮像する。撮像された２つの画像は差分処理が施され、その差分結果から、画像データとして異なる部分が抽出される。これにより、左撮像領域３３および右撮像領域３４に相当する画像上の領域を特定することができる。

上記の実施形態１では、左撮像領域３３および右撮像領域３４を明確に特定することができないが、本実施形態では、それらの領域を明確に特定することができる。なぜなら、左撮像領域３３および右撮像領域３４に対応する各画素は、帯状色フィルタ１ａの色配置の変化によって撮像ごとに信号レベルが変わるためである。したがって、両画像の差分結果から、左撮像領域３３と右撮像領域３４とを明確に特定することができる。左撮像領域３３および右撮像領域３４を特定した後の処理は実施形態１と同じである。このように、左撮像領域３３と右撮像領域３４とが明確に特定できるため、奥行き算出の精度を向上でき得る。

以上のように、本実施形態によれば、透光板１を１８０度回転させ、回転前後で２回撮像することにより、２つの撮像画像の差分から左撮像領域３３と右撮像領域３４とを明確に特定することができる。その結果、奥行き算出の精度をさらに向上できるという効果を奏する。

なお、本実施形態では、回転駆動部４０によって透光板１を１８０度回転させることによって２回の撮像が行われるが、回転角と撮像回数を変えてもよい。例えば、透光板１を９０度ずつ回転させ、４回撮像を行うことにより、上下左右の２対の複数視点画像を生成してもよい。

（実施形態３）
次に本発明の第３の実施形態を説明する。本実施形態では、透光板１の帯状色フィルタ１ａの配置は実施形態１と同じであるが、帯状色フィルタ１ａの分光透過率特性の変化の仕方が異なっている。本実施形態における帯状色フィルタ１ａは、色が灰色、即ち、波長選択性を有しておらず、その透過率が水平方向（ｘ方向）に沿って周期的に変化している。色フィルタ１ａが灰色なので、本実施形態では、ＲＧＢの各画素信号ではなく、カラー画像の輝度信号を用いて奥行きが算出される。以下、実施形態１と異なる点を説明し、共通する事項についての説明は省略する。

図１１に本実施形態における透光板１の正面図を示す。本実施形態では、帯状色フィルタ１ａは、波長選択性を有していないが、透過率がcos関数のように変化し、透過率の高い箇所と低い箇所とをそれぞれ２箇所有している。図１２にその透過率のグラフを示す。図１２において、横軸は色フィルタ１ａ上の座標ｘを表し、縦軸は透過率Ｔｒを表す。この透過率Trを式を用いて表現すると以下の式１２のように表される。
（式１２）Tr＝(1/2)cosＸ+1/2

このような透過率分布を有する帯状色フィルタ１ａを用いた場合、左撮像領域３３および右撮像領域３４に対応する画像上の領域の輝度値は、帯状色フィルタ１ａの透過率の水平方向についての積分で表される。本実施形態では、光透過率Trが式１２で表される周期関数なので、それを積分した値ΣTrは、以下の式１３に示すように、周期関数の項と１次関数の項との和で表される。
（式１３）ΣTr＝(1/2)sinX+(1/2)Ｘ

図１３（ａ）に、式１３で表される積分値ΣTrのグラフを示す。積分前後の第１項の周期関数はcos関数がsin関数になるだけなので、波形としては変化しないという特徴がある。そこで、本実施形態における画像処理部７は、左撮像領域３３および右撮像領域３４に相当する画素信号から式１３に示す１次関数の項に相当する信号を除去した後、水平方向に配列された複数画素の信号の波形を解析する。図１３（ｂ）は、式１３で表されるＴｒから１次関数の項を除去した関数のグラフを示している。画像処理部７は、左撮像領域３３および右撮像領域３４に相当する複数画素の画素信号から、図１３（ｂ）に示す周期関数と同様の波形を検出し、当該波形を解析することにより、奥行きを計測する。具体的には、予め奥行きと当該周期関数の波形（例えば波長）との関係を示す情報が予め用意され、メモリ３０等に記録される。画像処理部７は、当該情報を参照することにより、画像データに基づく周期関数の波形から奥行きを求める。

以上のように、本実施形態によれば、帯状色フィルタ１ａの色が灰色でその透過率が水平方向に沿って周期的に変化している帯状色フィルタ１ａを有する透光板１が用いられる。このような構成により、左撮像領域３３および右撮像領域３４に相当する画像上の領域の輝度値に周期関数の波形が現れ、当該波形から奥行きを算出できるという効果を奏する。このように、本実施形態では、輪郭近傍における背景の明度のパターンに基づいて被写体の奥行きに関する情報が推定される。

なお、本実施形態では、透光板の帯状色フィルタ１ａの色を灰色としたが、これに限定するものではなく、透過率が周期的に変化するものであれば、いかなる色であってもよい。また、各画素の輝度信号に基づいて奥行き情報が推定されるため、帯状色フィルタ１ａに波長選択性があってもよい。帯状色フィルタ１ａの分光透過率特性のパターンが上記とは異なる場合であっても、その分光透過率特性のパターンに応じた信号処理を実行することにより、奥行き情報を得ることができる。

また、本実施形態では、奥行き情報の算出には輝度信号が用いられるため、撮像素子２ａは、カラー撮像素子でなく、白黒撮像素子であってもよい。さらに、本実施形態においても、実施形態２と同様、透光板１を回転させることによって輪郭を抽出してもよい。

本発明の実施形態にかかる３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルカメラやデジタルビデオカメラ等の民生用カメラや、産業用の固体監視カメラ等に利用できる。

１ 透光板
１ａ 帯状色フィルタ
１ｂ 透明部
２ 固体撮像素子
２ａ カラー固体撮像素子
２ｂ 撮像面
３ 光学レンズ
４ 赤外カットフィルタ
５ 信号発生／受信部
６ 素子駆動部
７ 画像処理部
８ 画像インターフェース部
９ 撮像装置
１０ 画素
１１ ０度偏光の偏光板
１２ ９０度偏光の偏光板
１３ 反射鏡
１４ ハーフミラー
１５ 円形の偏光フィルタ
１６ 偏光フィルタを回転させる駆動装置
１７、１８ 偏光フィルタ
１９ レンズ絞り
２０、２２、２３ 光束制限板
２０ａ 赤系統の光を透過させる色フィルタ
２０ｂ 青系統の光を透過させる色フィルタ
２１ 感光フィルム
２２Ｒ、２３Ｒ 光束制限板のＲ光透過領域
２２Ｇ、２３Ｇ 光束制限板のＧ光透過領域
２２Ｂ、２３Ｂ 光束制限板のＢ光透過領域
３０ メモリ
３１ 前景被写体
３２ 背景
３３ 左撮像領域
３４ 右撮像領域
４０ 回転駆動部
５０ 画素

Claims (13)

1. 第１の方向に沿って分光透過率特性が変化している透過領域を有する光透過部であって、前記透過領域は、前記第１の方向に沿って配列された、透過波長域が互いに異なる３つ以上の領域を有する、または、前記第１の方向に沿って透過率が周期的に変化している、光透過部と、
   前記光透過部を透過した光を受けるように配置され、受けた光に応じた光電変換信号を出力する撮像素子と、
   前記光透過部および前記撮像素子の間、または前記光透過部および被写体の間に配置され、前記撮像素子の撮像面に像を形成する結像部と、
   前記撮像素子から出力された前記光電変換信号に基づいて生成される画像から、前記被写体の前記第１の方向における輪郭に相当する部分を抽出し、抽出した前記輪郭に相当する部分の周囲の、背景に相当する部分における複数の画素の明度または色相の変化のパターンに基づいて前記被写体の奥行きに関する情報を推定する画像処理部と、
   を備え、
   前記画像処理部は、前記複数の画素の前記明度または色相の変化のパターンと前記被写体から前記背景までの距離との関係を示すデータを参照して、前記明度または色相の変化のパターンから、前記被写体の奥行きに関する情報を推定する、
   ３次元撮像装置。
2. 前記透過領域は、前記第１の方向に沿って、透過波長域が３種類以上に変化している、請求項１に記載の３次元撮像装置。
3. 前記透過領域は、無彩色光が前記透過領域を透過したとき、透過光の総和が無彩色光になるように設計されている、請求項１または２に記載の３次元撮像装置。
4. 光軸に対して垂直な平面上で、前記透過領域を回転させる回転駆動部を有し、
   前記画像処理部は、異なる回転状態で取得された複数の画像の差分を求め、前記複数の画像の間で異なる部分を抽出することにより、前記被写体の輪郭を抽出する、請求項１から３のいずれかに記載の３次元撮像装置。
5. 前記画像処理部は、前記透過領域が第１の状態にあるときに取得された第１の画像と、前記透過領域が前記第１の状態から１８０度回転した第２の状態にあるときに取得された第２の画像との差分を求め、前記第１および第２の画像の間で異なる部分を抽出することにより、前記被写体の輪郭を抽出する、請求項４に記載の３次元撮像装置。
6. 前記透過領域の分光透過率特性は、前記第１の方向に沿って連続かつ周期的に変化している、請求項１から５のいずれかに記載の３次元撮像装置。
7. 前記透過領域は、前記第１の方向に沿って配列された、青、シアン、緑、黄、赤、マゼンタの波長域の光をそれぞれ透過させる６種類の領域を有している、請求項１から６のいずれかに記載の３次元撮像装置。
8. 前記画像処理部は、メモリに格納された、前記複数の画素における前記明度または色相の変化のパターンと、前記被写体から前記背景までの距離との関係を示すデータを参照して、前記被写体の奥行きを推定する、請求項１から７のいずれかに記載の３次元撮像装置。
9. 前記光透過部における前記透過領域以外の部分は透明である、請求項１から８のいずれかに記載の３次元撮像装置。
10. 前記画像処理部は、推定した前記奥行きを示す情報に基づいて、前記奥行きの量を画素値とする奥行き画像を生成する、請求項１から９のいずれかに記載の３次元撮像装置。
11. 前記画像処理部は、前記撮像素子から出力された前記光電変換信号に基づいて、カラー画像を生成する、請求項１から１０のいずれかに記載の３次元撮像装置。
12. 請求項１から１１のいずれかに記載の３次元撮像装置に利用される画像処理装置であって、
    前記撮像素子から出力された前記光電変換信号に基づいて生成される画像から、前記被写体の前記第１の方向における輪郭に相当する部分を抽出し、抽出した前記輪郭に相当する部分の周囲の、背景に相当する部分における複数の画素の明度または色相の変化のパターンに基づいて前記被写体の奥行きに関する情報を推定する画像処理部を備え、
    前記画像処理部は、前記複数の画素の前記明度または色相の変化のパターンと前記被写体から前記背景までの距離との関係を示すデータを参照して、前記明度または色相の変化のパターンから、前記被写体の奥行きに関する情報を推定する、
    画像処理装置。
13. 請求項１から１１のいずれかに記載の３次元撮像装置に利用される画像処理プログラムであって、
    コンピュータに対し、
    前記撮像素子から出力された前記光電変換信号に基づいて生成される画像から、前記被写体の前記第１の方向における輪郭に相当する部分を抽出し、抽出した前記輪郭に相当する部分の周囲の、背景に相当する部分における複数の画素の明度または色相の変化のパターンに基づいて前記被写体の奥行きに関する情報を推定するステップ
    を実行させ、
    前記ステップは、前記複数の画素の前記明度または色相の変化のパターンと前記被写体から前記背景までの距離との関係を示すデータを参照して、前記明度または色相の変化のパターンから、前記被写体の奥行きに関する情報を推定するステップを含む、
    画像処理プログラム。

Images