JP7203441B2 - 画像生成装置及び撮像装置 - Google Patents

Description

本発明は、可視光と近赤外光とからカラー画像を生成する画像生成装置及び撮像装置に関する。

被写体で反射された赤外線や被写体が放射する赤外線を検出し、被写体のカラー画像を形成する画像撮影装置が提案されている（特許文献１参照）。特許文献１に記載の画像撮影装置では、近赤外波長領域においても、可視波長領域と同様の被写体分光反射率特性が見られることを利用して、近赤外光からカラー画像を生成している。具体的には、同一被写体を可視光下で目視したときの色と相関関係が高い近赤外領域の光を検出し、その検出情報から疑似的に表示色を生成している。この技術を利用すれば、極低照度環境や暗闇においても、カラー画像を撮像することが可能となる。

また、従来、近赤外光を利用して、低照度下で撮影したカラー画像を鮮明化する方法が提案されている（例えば、特許文献２，３参照）。特許文献２に記載の撮像装置では、赤外線照明装置を用いて撮影したモノクロ画像と、可視光により撮影したカラー画像を合成することで、低照度下で撮影したカラー画像のコントラストを向上させている。一方、特許文献３に記載の撮像装置では、赤外線照射撮影においてホワイトバランスを適正化し、色再現性を向上させるために、赤外線撮像信号と可視光撮像信号に分けて演算処理している。

国際公開第２０１１／０１３７６５号 特開２０１１－２３３９８３号公報 特開２０１０－１６１４５３号公報

しかしながら、前述した特許文献２，３に記載の撮像装置は、色情報を可視光信号から得ているため、可視光がほとんどない環境下ではカラー画像を撮影することはできないという問題点がある。これに対して、特許文献１に記載の撮像装置は、近赤外光のみでカラー画像を生成できるため、暗闇（０ルクス）でも撮影可能であるが、可視光との相関関係により色を設定しているため色再現性に課題がある。

そこで、本発明は、可視光が十分にない環境下で撮影しても、鮮明で色再現性に優れたカラー画像を生成することが可能な画像生成装置及び撮像装置を提供することを目的とする。

本発明に係る画像生成装置は、固体撮像素子から出力された相互に波長又は波長域が異なる可視光に基づく３種以上の可視光信号に、前記固体撮像素子から出力された相互に波長又は波長域が異なる近赤外光に基づく２種以上の近赤外光信号を任意の割合で合成して３種以上の第１色信号を生成する第１色信号生成部を有し、前記２種以上の近赤外光信号は、前記３種以上の可視光信号と同時に取得されたものであり、少なくとも、ピーク波長が７００～８７０ｎｍの範囲にある近赤外光に基づく第１近赤外光信号とピーク波長が８７０～２５００ｎｍの範囲にある近赤外光に基づく第２近赤外光信号とを含み、前記第１色信号生成部では、各光信号の品質及び／又は強度に応じて、前記可視光信号と前記近赤外光信号の合成比率を変える。
前記第１色信号生成部では、前記３種以上の可視光信号及び前記２種以上の近赤外光信号に信号処理を施した後、これらを合成してもよい。
本発明の画像生成装置は、前記固体撮像素子から出力された光信号を、前記可視光信号と前記近赤外光信号とに分離して出力する信号分離部を有し、前記信号分離部で分離された可視光信号及び近赤外光信号が前記第１色信号生成部に入力される構成とすることもできる。
また、本発明の画像生成装置は、前記固体撮像素子から出力された前記３種以上の可視光信号と、前記２種以上の近赤外光信号又は前記可視光に基づく成分と前記近赤外光に基づく成分の両方を含む２種以上の混合光信号から３種以上の第２色信号を生成する第２色信号生成部と、前記第１色信号と前記第２色信号を合成してカラー画像を生成する画像生成部とを有していてもよい。
その場合、前記第２色信号生成部では、例えば前記３種以上の可視光信号に前記２種以上の近赤外光信号又は前記混合光信号を足し合わせて３種以上の第２色信号を生成する。
又は、前記第２色信号生成部において、前記可視光信号、前記近赤外光信号及び前記混合光信号のいずれかを選択して前記第２色信号を生成してもよい。
一方、前記画像生成部では、前記第１色信号と前記第２色信号の差分を、前記第２色信号に足し合わせてもよい。
その際、前記第１色信号と前記第２色信号の差分にノイズ低減処理を施した後、前記第２色信号に足し合わせることもできる。
また、前記第２色信号は、鮮鋭化処理が施された後、前記第１色信号と足し合わせてもよい。

本発明に係る撮像装置は、前述した画像生成装置と、相互に波長又は波長域が異なる３以上の可視光及び相互に波長又は波長域が異なる２以上の近赤外光を検出する固体撮像素子を備え、被写体から受光した可視光及び近赤外光をそれぞれの電気信号に変換する撮像部とを備える。
本発明の撮像装置は、被写体に前記２以上の近赤外光を照射する照明部を備えていてもよい。

本発明によれば、３種以上の可視光信号と２種以上の近赤外光信号とを特定の条件で合成して色信号を生成しているため、可視光が十分にない環境下においても、鮮明で色再現性に優れたカラー画像を生成することができる。

本発明の第１の実施形態の画像生成装置の構成を示すブロック図である。 図１に示す画像生成装置１０に入力される光信号を示す図である。 図１に示す信号処理部３ａ，３ｂの構成例を示すブロック図である。 図１に示す信号処理部３ａ，３ｂの他の構成例を示すブロック図である。 本発明の第１の実施形態の第１変形例の画像生成装置の構成を示すブロック図である。 本発明の第２の実施形態の画像生成装置の構成を示すブロック図である。 図６に示す信号処理部６の構成例を示すブロック図である。 図６に示す画像生成部２２の構成例を示すブロック図である。 図６に示す画像生成部２２の他の構成例を示すブロック図である。 本発明の第２の実施形態の第１変形例の画像生成装置の構成を示すブロック図である 図１０に示す信号分離部４での分離演算例を示す図である。 本発明の第３の実施形態の撮像装置の構成を示すブロック図である。 Ａ～Ｄは固体撮像素子の画素配置例を示す図である。 固体撮像素子の他の画素配置例を示す図である。 Ａ，Ｂは図１４に示す画素配置の撮像素子を用いてカラー画像を生成する方法を示す図であり、Ａは可視光に基づく画像を撮像する場合、Ｂは近赤外光に基づく画像を撮像する場合を示す。 図１４に示す画素配置の撮像素子を用いて白黒画像を生成する方法を示す図である。

以下、本発明を実施するための形態について、添付の図面を参照して、詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。

（第１の実施形態）
先ず、本発明の第１の実施形態に係る画像生成装置について説明する。図１は本実施形態の画像生成装置の構成を示すブロック図である。図１に示すように、本実施形態の画像生成装置１０は、３種以上の可視光信号及び２種以上の近赤外光信号からカラー画像を生成するものであり、第１色信号生成部１と、画像生成部２とを備え、更に必要に応じて信号処理部３ａ，３ｂが設けられている。

［光信号］
図２は図１に示す画像生成装置１０に入力される光信号を示す図である。図２に示すように、本実施形態の画像生成装置１０に入力される可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂは、それぞれ固体撮像素子から出力されたものであり、固体撮像素子の可視光画素Ｒ，Ｇ，Ｂで検出された相互に波長又は波長域が異なる３種の可視光に基づくものである。また、近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２は、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂと同時に取得されたものであり、固体撮像素子の近赤外画素ＩＲ１，ＩＲ２で検出された相互に波長又は波長域が異なる２種の近赤外光に基づくものである。

ここで、２種以上の近赤外光信号は、少なくとも、ピーク波長が７００～８７０ｎｍの範囲にある近赤外光に基づく第１近赤外光信号Ｓ_ＩＲ１と、ピーク波長が８７０～２５００ｎｍの範囲、好ましくは８７０～１１００ｎｍの範囲にある近赤外光に基づく第２近赤外光信号Ｓ_ＩＲ２とを含む。これらの波長域の近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２を用いることで、赤色光Ｒ及び緑色光Ｇなどの可視光の分光特性を近似的に再現することが可能となるため、可視光が十分にない環境でも色再現性に優れたカラー画像を得ることができる。

なお、図１及び図２には、３種の可視光信号及び２種の近赤外光信号を用いる場合を示しているが、本発明はこれに限定されるものではなく、可視光信号は３種以上、近赤外光信号は２種以上であればよい。また、本発明は、固体撮像素子において検出対象の可視光及び近赤外光のうち１又は２以上の光が検出されない場合も含み、その場合は、該当する可視光信号又は近赤外光信号は信号強度が０として扱う。

［第１色信号生成部１］
第１色信号生成部１は、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂに近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２を任意の割合で合成して、カラー画像生成用の３種以上の第１色信号Ｒｌ，Ｇｌ，Ｂｌを生成するものである。その際、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂと近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２の合成比率は、色再現性重視の観点から、輝度やクロマレベル（彩度）などの光信号の品質及び／又は光信号の強度（信号レベル）に応じて変更する。

例えば、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂの品質や強度が低いとき、近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２の品質や強度が高いとき、又は、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂと近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２との相互関係から近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２が有効なときは、近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ の比率を高くする。これにより、近赤外光固有の偽色を目立たなくなり、生成されるカラー画像の画質を高め、被写体の動的な変化に自然な連続性を確保した動画を得ることができる。なお、可視光信号と近赤外光信号の合成比率は、各光信号の品質や強度に加えて、露光量や照明光の照射量などを考慮して決定してもよい。

また、一の画像における合成比は、画像全体で同じにしてもよいが、局所的に変えることもできる。画像全体で一様な合成比をとする場合は、例えば一定画素範囲の積分値などを用いて合成比を決定することができる。その際の画素範囲は、観察時に重視されるような有効領域内であることが望ましいが、有効領域に対して、各応答レベルの検出部を設けることが難しい場合は、簡易な代替手法として、有効画素の外側である端部に、小規模な検出専用領域を設けて、その領域だけの検出結果から判断してもよい。

一方、画素領域ごとに異なる比率で合成する場合は、隣接画素の応答や、局所的に周辺画素の応答にフィルタ処理を行った結果を用いて合成比を決定することができる。比較する２種のペアは１組の情報だけでなく、複数組を用いてもよく、任意の重み平均などにより１つの代表的な成分比情報に換算して利用してもよい。

更に、合成比率を局所的に変調する場合は、例えば、画素毎に独立して異なる合成比を与えることによって、最終的に得られる画像全体の画質を最適化することができる。画素毎に独立して異なる合成比を与える場合は、演算のための負荷やコストが高くなるデメリットもあるが、近赤外光信号が可視光の光量不足を補うことができる。撮影画角の中で可視光の照射光量は必ずしも均一ではないため、位置や領域ごとに合成比を変えることにより、可視光の応答を補い、画面全体での過不足が抑えることができるため、適正な画質が得られる。

［画像生成部２］
画像生成部２は、第１色信号生成部１で生成した第１色信号Ｒｌ，Ｇｌ，Ｂｌからカラー画像を生成する。その際、必要に応じて、ホワイトバランス（White Balance：ＷＢ）、画像補間（Interpolation：ＩＴＰ）、色補正（Color Correction）、階調補正（Tone Correction）及びノイズ低減（Noise Reduction：ＮＲ）などの現像処理を行う。

［信号処理部３ａ，３ｂ］
本実施形態の画像生成装置１０には、前述した構成に加えて、第１色信号生成部１に入力する可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂ及び近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２に対して各種信号処理を施す信号処理部３ａ，３ｂが設けられていてもよい。図３は信号処理部３ａ，３ｂの構成例を示すブロック図である。図３に示すように、信号処理部３ａ，３ｂには、それぞれ、ホワイトバランス調整部ＷＢ、画像補間処理部ＩＴＰ、色補正処理部ＣＣ及び階調補正部Ｔｏｎｅなどが設けられている。

ホワイトバランス調整部ＷＢでは、被写体の無彩色表面が無彩色として表現されるように可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂ及び近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２のレベルが整えられる。その際、近赤外光信号が３種であればそれぞれ赤色Ｒ，緑色Ｇ、青色Ｂとして処理をすればよいが、図３に示すように近赤外光信号が２種の場合は、例えば近赤外光信号Ｓ_ＩＲ１を赤色（Ｒ）とみなし、近赤外光信号Ｓ_ＩＲ２を緑色（Ｇ）とみなし、青色（Ｂ）はないとみなして処理すればよい。

画像補間処理部ＩＴＰは、カラーフィルタ配列によって、カラーフィルタの種類ごとに画素位置が異なる信号（画素位置ごとにカラーフィルタの種類が異なる信号）に対して、補間演算を行い、全画素位置について、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３種類の信号を得る。ここで、近赤外光信号が２種の場合は、前述したホワイトバランスと同様に、近赤外光信号Ｓ_ＩＲ１を赤色（Ｒ）とみなし、近赤外光信号Ｓ_ＩＲ２を緑色（Ｇ）とみなし、青色（Ｂ）はないとみなして処理すればよい。

色補正処理部ＣＣでは、例えば３×３のリニアマトリクス演算による色補正を実行する。その際、リニアマトリクス係数を調整することにより、多様な被写体の色を適切に表現することができる。具体的には、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂ及び近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２のそれぞれについて、目的とする色再現性が得られるように予め係数を決めておき、それらの係数を用いて例えば下記数式１及び数式２により計算される。

階調補正部Ｔｏｎｅは、光量に対して線形な応答特性をもつ各光信号に対して、画像として適正な階調となるように補正を行う。具体的には、光量に対して線形な応答である入力信号に対して、ディスプレイ表示などを想定した符号化規格に合わせて非線形変換を行う。階調補正部Ｔｏｎｅでの変換特性（変換関数）は、画像の見え方を補正したり表現するために、意図的な非線形特性を加える場合もあり、また、変換処理も、数式を用いたり、１次元の数値テーブルを与えて補間したり、多様な操作方法を適用することができる。

なお、信号処理部３ａ，３ｂで行う各処理は、前述したホワイトバランス、画像補間、色補正及び階調補正に限定されるものではなく、これらの処理に加えて又はこれらの処理に代えて、黒レベル補正（ＢＫ）、色空間変換（ＣＳＣ）及びノイズ低減（ＮＲ）などの処理を行うこともできる。また、各処理の順番は図３に示す順に限定されるものではなく、その実施位置も適宜設定することができる。

更に、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂと近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２で異なる処理を行ってもよく、また、これらの処理の一部又は全部を、第１色信号生成部１に入力前の可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂ及び近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２ではなく、第１色信号生成部１から出力された第１色信号Ｒｌ，Ｇｌ，Ｂｌに対して行ってもよい。

図４は信号処理部３ａ，３ｂの他の構成例を示すブロック図である。固体撮像素子から出力された近赤外光信号は、可視光信号に比べて色分離が十分でなく、無彩色付近に集約される。また、信号空間（色空間）内の位置によって、状態の差が大きく、分布が複雑である。そこで、本実施形態の画像生成装置では、信号処理部３ａ，３ｂを図４に示すような構成とすることにより、このような光信号に対して確実な補正効果を得ることができる。

具体的には、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂを処理する信号処理部３ａには、ホワイトバランス調整部ＷＢ、画像補間処理部ＩＴＰ、色補正処理部ＣＣ１、階調補正部Ｔｏｎｅ及び色空間変換部ＣＳＣをこの順に設け、近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２を処理する信号処理部３ｂには、ホワイトバランス調整部ＷＢ、画像補間処理部ＩＴＰ、階調補正部Ｔｏｎｅ、色空間変換部ＣＳＣ及び色補正処理部ＣＣ２をこの順に設ける。

色空間変換部ＣＳＣは、下記数式３に示すマトリクス計算により、可視光信号及び近赤外信号を輝度色度信号に変換するものである。変換先の空間は、次の補正段階の係数を区別するための仮想の分離空間であり、一時的な仮の信号空間（Ｙ’，Ｃｂ’，Ｃｒ’）である。

上記数３における各係数は、任意に設定することができるが、例えばＹ’をＩＴＵ－ＲＢＴ.７０９規格に適合させる場合は、以下のようになる。
ａ_ＲＹ＝０．２１２６， ａ_ＧＹ＝０．７１５２， ａ_ＢＹ＝０．０７２２
ａ_Ｒｂ＝－０．１１４６， ａ_Ｇｂ＝－０．３８５４， ａ_Ｂｂ＝０．５
ａ_Ｒｒ＝０．５， ａ_Ｇｒ＝－０．４５４２， ａ_Ｂｒ＝－０．０４５８

なお、色空間変換部ＣＳＣにおける処理は、必ずしも出力信号の規格に従う必要はなく、各光信号に補正効果を与えるために都合のよい空間に調整することもできる。例えば、Ｃｂ’、Ｃｒ’の各軸をそれぞれＢ＝Ｇ及びＲ＝Ｇの条件に割り当てる場合は、下記のように変更すればよい。
ａ_Ｒｂ＝０， ａ_Ｇｂ＝－０．５， ａ_Ｂｂ＝０．５
ａ_Ｒｒ＝０．５， ａ_Ｇｒ＝－０．５， ａ_Ｂｒ＝０

色補正処理部ＣＣ２は、階調補正後に色空間補正が行われた輝度色度信号Ｓ_Ｙ，Ｓ_Ｃｂ，Ｓ_Ｃｒに対して色補正を行うものであり、例えば下記数式４に示すマトリクス計算式を用いて行われる。

上記数式４における係数は、４×３種類あるが、適用時にＣｂ’、Ｃｒ’の各入力信号の極性を参照して、次のように２×３種類を選択すればよい。
Ｃｂ’≧０のとき ｓ_ｂＹ＝ｓ_ｂＹ＋， ｓ_ｂｂ＝ｓ_ｂｂ＋， ｓ_ｂｒ＝ｓ_ｂｒ＋
Ｃｂ’＜０のとき ｓ_ｂＹ＝ｓ_ｂＹ－， ｓ_ｂｂ＝ｓ_ｂｂ－， ｓ_ｂｒ＝ｓ_ｂｒ－
Ｃｒ’≧０のとき ｓ_ｒＹ＝ｓ_ｒＹ＋， ｓ_ｒｂ＝ｓ_ｒＢ＋， ｓ_ｒｒ＝ｓ_ｒｒ＋
Ｃｒ’＜０のとき ｓ_ｒＹ＝ｓ_ｒＹ－， ｓ_ＲＢ＝ｓ_ｒｂ－， ｓ_ｒｒ＝ｓ_ｒｒ－

また、各係数の設定は、次のような値で補正は無効であるが、この状態から各係数を変更して調整することによって、少ないパラメータ操作でも、多様な被写体の色をある程度独立に表現することができる。
ｓ_ｂＹ＋＝ｓ_ｂＹ－＝０， ｓ_ｒＹ＋＝ｓ_ｒＹ－＝０
ｓ_ｂｂ＋＝ｓ_ｂｂ－＝１．０， ｓ_ｒｂ＋＝ｓ_ｒｂ－＝０
ｓ_ｂｒ＋＝ｓ_ｂｒ－＝０， ｓ_ｒｒ＋＝ｓ_ｒｒ－＝１．０

このように、図４に示す信号処理部３ａ，３ｂでは、可視光については、階調補正前の線形な光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂに対して色補正を行い、近赤外光については、階調補正後に色空間補正が行われた輝度色度信号Ｓ_Ｙ，Ｓ_Ｃｂ，Ｓ_Ｃｒに対して色補正を行う。これにより、近赤外光信号を用いても、色再現性の高いカラー画像を生成することができる。

以上詳述したように、本実施形態の画像生成装置は、固体撮像素子において同時に取得された３種以上の可視光信号と２以上の近赤外光信号を用い、信号の品質や強度に応じてこれらの合成比を調整して得た色信号からカラー画像を生成しているため、可視光が十分にない環境下で撮影しても、鮮明で色再現性に優れたカラー画像が得られる。

そして、本実施形態の画像生成装置を適用することにより、撮像系で撮影条件（可視光撮影か近赤外光撮影か）を変更するのではなく、現像系で合成条件を変えることで、撮影環境の明るさの変化に対応することが可能となるため、可視光の量にかかわらず、高品質なカラー画像が得られる撮像装置を実現することができる。本実施形態の画像生成装置は、監視カメラのように長時間動画を撮影する撮像装置に特に好適である。

（第１の実施形態の第１変形例）
前述した第１の実施形態では、可視光と近赤外光がそれぞれ異なる画素で検出される撮像素子を用いた場合を例に説明したが、本発明はこれに限定されるものではなく、可視光と近赤外光を同一画素で検出する撮像素子にも適用することができる。

図５は本発明の第１の実施形態の第１変形例の画像生成装置の構成を示すブロック図である。なお、図５においては、図１に示す画像生成装置１０の構成要素と同じものには同じ符号を付し、その詳細な説明は省略する。図５に示すように、本変形例の画像生成装置１１は、第１色信号生成部１、画像生成部２及び信号処理部３ａ，３ｂに加えて、信号分離部４が設けられている。

［信号分離部４］
信号分離部４は、固体撮像素子から出力された光信号を、可視光信号と近赤外光信号とに分離して出力するものである。この信号分離部４では、固体撮像素子の近赤外光画素から出力された可視光成分と近赤外光成分の両方を含む混合光信号Ｓ_{Ｒ＋ＩＲ１}，Ｓ_{Ｇ＋ＩＲ２}，Ｓ_{Ｂ＋ＩＲ３}が、近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２，Ｓ_ＩＲ３と、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂに分離される。

そして、分離された可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂは、可視光画素から出力された可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂと共に出力されて信号処理部３ａ又は第１色信号生成部１に入力し、分離された近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２，Ｓ_ＩＲ３は、信号処理部３ｂ又は第１色信号生成部１に入力される。なお、固体撮像素子の近赤外光画素が近赤外光のみを検出する構成の場合、即ち、固体撮像素子から可視光と近赤外光の両方を含む信号が出力されない場合は、信号分離部４は不要である。また、固体撮像素子で検出される近赤外光が２波長（域）の場合は、信号分離部４からは２種類の近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２が出力される。

本変形例の画像生成装置は、信号分離部４を備えているため、固体撮像装置の画素が可視光と近赤外光の両方を検出するような構成であっても、前述した第１の実施形態と同様に、可視光が十分にない環境下で撮影しても、鮮明で色再現性に優れたカラー画像を生成することが可能である。なお、本変形例における上記以外の構成及び効果は、前述した第１の実施形態と同様である。

（第２の実施形態）
次に、本発明の第２の実施形態に係る画像生成装置について説明する。図６は本実施形態の画像生成装置を示すブロック図である。なお、図６においては、図１に示す画像生成装置１０の構成要素と同じものには同じ符号を付し、その詳細な説明は省略する。図６に示すように、本実施形態の画像生成装置２０には、第１色信号生成部１、画像生成部２２及び信号処理部３ａ，３ｂに加えて、第２色信号生成部５及び信号処理部６が設けられている。

［第２色信号生成部５］
第２色信号生成部５は、固体撮像素子から出力された可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂと近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２，Ｓ_ＩＲ３から、第２色信号Ｒｈ，Ｇｈ，Ｂｈを生成するものである。前述した第１色信号生成部１では、色再現性を重視して可視光信号と近赤外光信号を合成しているが、第２色信号生成部５では、信号対雑音比（signal-to-noise ratio：ＳＮ比）を重視して、可視光信号と近赤外光信号を合成する。

第２色信号Ｒｈ，Ｇｈ，Ｂｈを生成する方法としては、例えば、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂと近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２，Ｓ_ＩＲ３を足し合わせる方法、或いは、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂと近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２，Ｓ_ＩＲ３のいずれかを選択する方法などを用いることができる。

［信号処理部６］
図７は信号処理部６の構成例を示すブロック図である。図７に示すように、信号処理部６は、前述した第２信号生成部５で生成した第２色信号Ｒｈ，Ｇｈ，Ｂｈに対して、各種信号処理を施すものであり、ホワイトバランス調整部ＷＢ、画像補間処理部ＩＴＰ及び階調補正部Ｔｏｎｅなどを備えている。これら、ホワイトバランス調整部ＷＢ、画像補間処理部ＩＴＰ及び階調補正部Ｔｏｎｅの処理は、前述した信号処理部３ａ，３ｂと同様である。

［画像生成部２２］
画像生成部２２は、第１色信号生成部１で生成した色再現性重視の第１色信号Ｒｌ，Ｇｌ，Ｂｌと、第２色信号生成部５で生成したＳＮ比重視の第２色信号Ｒｈ，Ｇｈ，Ｂｈからカラー画像を生成するものである。その際、色再現性重視の第１色信号Ｒｌ，Ｇｌ，Ｂｌに含まれるノイズの低減や、ＳＮ比重視の第２色信号Ｒｈ，Ｇｈ，Ｂｈにおけるエッジ表現や鮮鋭度の調整を行うことが好ましい。

図８及び図９は画像生成部２２の構成例を示すブロック図である。画像生成部２２では、例えば、図８に示すように、第１色信号Ｒｌ，Ｇｌ，Ｂｌと第２色信号Ｒｈ，Ｇｈ，Ｂｈの差分をとり、この差分に対してノイズ低減処理部ＮＲでノイズ低減処理を施す。そして、ノイズ低減された差分を、再度第２色信号Ｒｈ，Ｇｈ，Ｂｈに加算してカラー画像を得る。

また、図９に示すように、ノイズ低減処理部ＮＲの他に鮮鋭化処理部ＳＨを設け、第２色信号Ｒｈ，Ｇｈ，Ｂｈにエッジ強調やシャープネスなどの鮮鋭化処理を施してもよい。この場合、鮮鋭化処理が施された第２色信号Ｒｈ，Ｇｈ，Ｂｈに、ノイズ低減された差分が加算される。

色再現性重視の第１色信号Ｒｌ，Ｇｌ，Ｂｌにはノイズが比較的多く含まれる。この第１色信号Ｒｌ，Ｇｌ，Ｂｌに含まれるノイズは、入力信号から直接低減してもよいが、図８及び図９に示すように、ＳＮ比重視の第２色信号Ｒｈ，Ｇｈ，Ｂｈとの差分に対してノイズ低減処理をすることにより、効果的にノイズを低減することができる。

以上詳述したように、本実施形態の画像生成装置では、固体撮像素子で同時に取得された可視光信号と近赤外信号を用いて、色再現性重視の第１色信号Ｒｌ，Ｇｌ，ＢｌとＳＮ比重視の第２色信号Ｒｈ，Ｇｈ，Ｂｈを生成し、これら２種類の信号からカラー画像を生成しているため、可視光の量に関わらず、鮮明でかつ色再現性に優れたカラー画像を得ることができる。なお、本実形態における上記以外の構成及び効果は、前述した第１の実施形態及びその変形例と同様である。

（第２の実施形態の第１変形例）
前述した第２の実施形態では、可視光と近赤外光がそれぞれ異なる画素で検出される撮像素子を用いた場合を例に説明したが、本発明はこれに限定されるものではなく、可視光と近赤外光を同一画素で検出する撮像素子にも適用することができる。

図１０は本変形例の画像生成装置の構成を示すブロック図である。なお、図１０においては、図６に示す画像生成装置２０の構成要素と同じものには同じ符号を付し、その詳細な説明は省略する。図１０に示すように、本変形例の画像生成装置２１は、信号処理部３ａ，３ｂの手前に信号分離部４が設けられている以外は、前述した第２の実施形態の画像生成装置２０と同じである。

図１１は信号分離部４での分離演算例を示す図である。例えば、固体撮像素子において可視光を３波長、近赤外光検出を２波長検出した場合、図１０に示すように、画像生成装置２１には、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂと、可視光成分と近赤外光成分の両方を含む混合光信号Ｓ_{Ｒ＋ＩＲ１}，Ｓ_{Ｇ＋ＩＲ２}が入力される。そして、これらの光信号は、信号分離部４において、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂと近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２に分離される。

その際、可視光信号と近赤外光信号とに分離する方法は、特に限定されるものではないが、例えば、図１１に示すように、赤色光Ｒに対応する可視光信号Ｓ_Ｒと、緑色光Ｇに対応する可視光信号Ｓ_Ｇ、青色光Ｂに対応する可視光信号Ｓ_Ｂはそのまま出力する。また、赤色光Ｒに対応する成分と近赤外光ＩＲ１に対応する成分を含む混合光信号Ｓ_{Ｒ＋ＩＲ１}から可視光信号Ｓ_Ｒを引くことで、近赤外光信号Ｓ_ＩＲ１が得られる。

更に、緑色光Ｇに対応する成分と近赤外光ＩＲ２に対応する成分を含む混合光信号Ｓ_{Ｇ＋ＩＲ２}から可視光信号Ｓ_Ｇを引いた信号と、青色光Ｂに対応する成分と近赤外光ＩＲ２に対応する成分を含む光信号Ｓ_{Ｂ＋ＩＲ２}から可視光信号Ｓ_Ｂを引いた信号との平均をとることで、近赤外光信号Ｓ_ＩＲ２が得られる。そして、これらの５種類の光信号は、必要に応じて信号処理が施された後、第１色信号生成部１に入力される。

一方、第２色信号生成部５では、固体撮像素子から出力された可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂと混合光信号Ｓ _{Ｒ＋ＩＲ１} ，Ｓ_{Ｇ＋ＩＲ２}から、第２色信号Ｒｈ，Ｇｈ，Ｂｈが生成される。第２色信号Ｒｈ，Ｇｈ，Ｂｈの生成には、前述した第２の実施形態と同様に、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂと混合光信号Ｓ_{Ｒ＋ＩＲ１}，Ｓ_{Ｇ＋ＩＲ２}を足し合わせる方法や、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂと混合光信号Ｓ_{Ｒ＋ＩＲ１}，Ｓ_{Ｇ＋ＩＲ２}のどちらかを選択する方法などを用いることができる。

なお、本実施形態の画像生成装置における上記以外の構成及び効果は、前述した第１の実施形態、その変形例及び第２の実施形態と同様である。

（第３の実施形態）
次に、本発明の第３の実施形態に係る撮像装置について説明する。図１２は本実施形態の撮像装置の構成を示すブロック図である。図１２に示すように、本実施形態の撮像装置３０は、撮像部３１と、現像部３２とを備え、現像部３２が前述した画像生成装置１０，１１，２０，２１で構成されている。また、本実施形態の撮像装置３０には、被写体４０に２以上の近赤外光を照射する照明部３３が設けられていてもよい。

［撮像部３１］
撮像部３１は、相互に波長又は波長域が異なる３以上の可視光及び相互に波長又は波長域が異なる２以上の近赤外光を検出する固体撮像素子を備え、被写体から受光した可視光及び近赤外光をそれぞれの電気信号に変換して出力するものである。

図１３Ａ～Ｄ及び図１４は固体撮像素子の画素配置例を示す図である。固体撮像素子の画素配置は、特に限定されるものではないが、例えば可視光と近赤外光とを別画素で検出する場合は、図１３Ａに示す画素配置を採ることができる。また、可視光と近赤外光とを同一画素で検出する場合は、図１３Ｂに示す画素配置を採ることができる。

更に、撮像部３１に被写体４０からの反射光を分光する分光素子を設け、２以上の固体撮像素子で可視光と近赤外光を検出してもよく、その場合、例えば図１３Ｃに示すように、一の固体撮像素子で可視光を検出し、他の固体撮像素子で可視光と近赤外光を検出する構成としてもよい。又は、図１３Ｄに示すように、一の固体撮像素子で可視光のみを検出し、他の固体撮像素子で近赤外光のみを検出する構成としてもよい。

また、撮像部３１の撮像素子は、図１４に示すように、赤色光を検出する赤色画素Ｒと、青色光を検出する青色画素Ｂと、緑色光を検出する２つの緑色画素Ｇとで構成される可視光検出領域と、第１の近赤外光を検出する第１近赤外画素ＩＲ１と、第２の近赤外光を検出する第２近赤外画素ＩＲ２と、第３の近赤外光を検出する２つの第３近赤外画素ＩＲ３で構成される近赤外光検出領域とが、交互に配置された構成とすることもできる。

図１５Ａ，Ｂは図１４に示す画素配置の撮像素子を用いてカラー画像を生成する方法を示す図であり、図１５Ａは可視光に基づく画像を撮像する場合、図１５Ｂは近赤外光に基づく画像を撮像する場合を示す。図１４に示す画素配置の撮像素子を用いて可視光カラー画像を生成する場合は、図１５Ａに示す可視光検出領域の各画素Ｒ，Ｇ，Ｂで検出された光に基づく可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂを用いる。具体的には、各画素Ｒ，Ｇ，Ｂから出力された可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂに信号処理を施し、必要に応じて近赤外光検出領域の画素ＩＲ１，ＩＲ２，ＩＲ３で検出された近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２，Ｓ_ＩＲ３を合成して、カラー画像を生成する。

また、図１４に示す画素配置の撮像素子を用いて近赤外光カラー画像を生成する場合は、図１５Ｂに示す近赤外光検出領域の画素ＩＲ１，ＩＲ２，ＩＲ３で検出された光に基づく近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２，Ｓ_ＩＲ３を用いる。具体的には、各画素ＩＲ１，ＩＲ２，ＩＲ３から出力された近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２，Ｓ_ＩＲ３に信号処理を施し、必要に応じて可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂを合成して、カラー画像を生成する。

図１６は図１４に示す画素配置の撮像素子を用いて白黒画像を生成する方法を示す図である。本実施形態の撮像装置では、カラー画像だけでなく特定波長の光に基づく二次元白黒画像を生成することもできる。図１４に示す画素配置の撮像素子を用いた場合、赤色光、青色光、緑色光及び波長の異なる３種の近赤外光の６種類の画像を生成することが可能である。その場合、例えば図１６に示すように、可視光信号Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂ及び近赤外光信号Ｓ_ＩＲ１，Ｓ_ＩＲ２，Ｓ_ＩＲ３について、それぞれ個別に信号処理を行い、白黒画像を生成する。

なお、本発明の撮像装置に用いられる固体撮像素子は、図１３Ａ～Ｄ又は図１４に示すものに限定されるものではなく、相互に波長又は波長域が異なる３以上の可視光と、相互に波長又は波長域が異なる２以上の近赤外光を検出可能なものであればよい。

本実施形態の撮像装置は、前述した画像生成装置を用いているため、可視光の量にかかわらず、鮮明で色再現性に優れたカラー画像を生成することができる。また、本実施形態の撮像装置は、従来の撮像装置のように撮影環境の明るさに応じて、可視光による撮影と、近赤外光による撮影を切り替える必要がないため、切り替え機構や明るさを検出するためのセンサなどが不要となる。なお、実施形態の撮像装置における上記以外の構成及び効果は、前述した第１及び第２の実施形態と同様である。

１ 第１色信号生成部
２、２２ 画像生成部
３ａ，３ｂ，６ 信号処理部
４ 信号分離部
５ 第２色信号生成部
１０、１１、２０，２１ 画像生成装置
３０ 撮像装置
３１ 撮像部
３２ 現像部
３３ 照明部
４０ 被写体

Claims (11)

1. 固体撮像素子から出力された相互に波長又は波長域が異なる可視光に基づく３種以上の可視光信号に、前記固体撮像素子から出力された相互に波長又は波長域が異なる近赤外光に基づく２種以上の近赤外光信号を任意の割合で合成して３種以上の第１色信号を生成する第１色信号生成部を有し、
   前記２種以上の近赤外光信号は、前記３種以上の可視光信号と同時に取得されたものであり、少なくとも、ピーク波長が７００～８７０ｎｍの範囲にある近赤外光に基づく第１近赤外光信号とピーク波長が８７０～２５００ｎｍの範囲にある近赤外光に基づく第２近赤外光信号とを含み、
   前記第１色信号生成部では、各光信号の品質及び／又は強度に応じて、前記可視光信号と前記近赤外光信号の合成比率を変える画像生成装置。
2. 前記第１色信号生成部では、前記３種以上の可視光信号及び前記２種以上の近赤外光信号に信号処理を施した後でこれらを合成する請求項１に記載の画像生成装置。
3. 前記固体撮像素子から出力された光信号を、前記可視光信号と前記近赤外光信号とに分離して出力する信号分離部を有し、
   前記信号分離部で分離された可視光信号及び近赤外光信号が前記第１色信号生成部に入力される請求項１又は２に記載の画像生成装置。
4. 前記固体撮像素子から出力された前記３種以上の可視光信号と、前記２種以上の近赤外光信号又は前記可視光に基づく成分と前記近赤外光に基づく成分の両方を含む２種以上の混合光信号から３種以上の第２色信号を生成する第２色信号生成部と、
   前記第１色信号と前記第２色信号を合成してカラー画像を生成する画像生成部と
   を有する請求項１～３のいずれか１項に記載の画像生成装置。
5. 前記第２色信号生成部では、前記３種以上の可視光信号に前記２種以上の近赤外光信号又は前記混合光信号を足し合わせて３種以上の第２色信号を生成する請求項４に記載の画像生成装置。
6. 前記第２色信号生成部では、前記可視光信号、前記近赤外光信号及び前記混合光信号のいずれかを選択して前記第２色信号を生成する請求項４に記載の画像生成装置。
7. 前記画像生成部では、前記第１色信号と前記第２色信号の差分が、前記第２色信号に足し合わされる請求項４～６のいずれか１項に記載の画像生成装置。
8. 前記第１色信号と前記第２色信号の差分は、ノイズ低減処理が施された後、前記第２色信号に足し合わされる請求項７に記載の画像生成装置。
9. 前記第２色信号は、鮮鋭化処理が施された後、前記第１色信号と足し合わされる請求項７又は８に記載の画像生成装置。
10. 請求項１～９のいずれか１項に記載の画像生成装置と、
    相互に波長又は波長域が異なる３以上の可視光及び相互に波長又は波長域が異なる２以上の近赤外光を検出する固体撮像素子を備え、被写体から受光した可視光及び近赤外光をそれぞれの電気信号に変換する撮像部と
    を備える撮像装置。
11. 被写体に前記２以上の近赤外光を照射する照明部を備える請求項１０に記載の撮像装置。

Images