JP7143767B2 - 画像処理方法、画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、暗所撮像等で使用される、近赤外光が利用される高感度撮影モードのカラーカメラで撮影された画像信号から可視光の画像信号と近赤外光の画像信号を生成できる画像処理方法、画像処理装置および記録媒体に関する。

人間の色知覚は、400nmから700nmまでの波長領域に対応する光を感じる。400nmから700nmまでの波長領域に対応する光は、可視光と呼ばれる。

また、画像データを撮像するCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等の一般的なイメージセンサは、図１４に示すように波長が400nmから700nmまでのいずれかの値である可視光だけでなく、波長が700nmより長い光である近赤外光(Near InfraRed;NIR)も検出する分光感度特性を有する。

図１４は、一般的なイメージセンサが有する分光感度特性の一例を示す説明図である。図１４に示すように、イメージセンサは、700nmから800nmまでの波長領域に対応する近赤外光を80%以上検出する高い感度を有する。

映像撮影装置で使用されているイメージセンサがシリコン系センサである場合、イメージセンサは、可視光以外に、近赤外光に対しても感度を有する。一般的には、近赤外光は波長が概ね0.7μｍ～2μｍ程度の光と定義されている。

通常、デジタルカメラやビデオカメラ等の映像撮影装置のイメージセンサには、赤(R)の光、緑(G)の光、および青(B)の光だけを透過させる３色光学フィルタ（以下、単にRGBの光学フィルタ、またはカラーフィルタという。）が組み込まれている。

カメラに入射した光は、３色光学フィルタによって分解される。分解された光は、イメージセンサによって映像信号に変換される。最終的に、変換された映像信号が集積したRGBの映像データが生成される。

以下、上記のイメージセンサにRGBの光学フィルタが適用されたセンサを、カラーイメージセンサと呼ぶ。カラーイメージセンサが出力する画像データは、Rチャネル、Gチャネル、およびBチャネルを含むRGBチャネルの画像データである。

RGBの光学フィルタの分光透過特性の例を図１５に示す。図１５は、カラーフィルタの分光透過率の一例を示す説明図である。図１５は、Rチャネル、Gチャネル、およびBチャネルに関して、光学フィルタが全て可視光に加えて近赤外光も透過させる場合の各分光透過特性の一例を示す。図１５に示すように、RGBの光学フィルタは、波長が700nm以上の近赤外光に対しても高い分光透過率を有する。

また、各チャネルの近赤外光の波長領域における分光透過特性の積分値の比率に閾値が設定されていてもよい。例えば、各分光透過特性の積分値の比率は、ユーザが指定する所定の閾値未満の値になる。

以上のように、一般的なRGBの光学フィルタは、全てのチャネルまたは一部のチャネルに関して可視光だけでなく近赤外光も透過させる分光透過特性を有する。よって、カラーイメージセンサで撮像された画像において、近赤外光の信号と可視光の色信号とが混在している。すなわち、カラーイメージセンサで撮像された物体の色は、人間が色知覚で感じる物体の色と異なる可能性がある。

具体的には、近赤外光が含まれる光がイメージセンサに入射すると、R,G,Bそれぞれの光の出力信号に、NIRの出力信号が加算される。NIRの出力信号が加算されると、可視光以外の光の信号が含まれるため、映像撮影装置の色再現性が低下する。

上記の課題を解決するために、一般的なデジタルカメラやデジタルビデオカメラでは、近赤外光カットフィルタで近赤外光が除去されることによって、高精度な色再現性が確保されている。

上記のイメージセンサの近赤外光感度が利用された近赤外光映像の撮影には需要がある。需要を受けて、可視光撮影と近赤外光撮影とを１つの映像撮影装置で行う方法が種々検討されている。

可視光撮影と近赤外光撮影とを１つの映像撮影装置で行う最も単純な手法は、赤外光(InfraRed;IR)を除去する赤外光カットフィルタ（IRカットフィルタ）を機械的に移動させる仕組みを映像撮影装置に設ける手法である。上記の仕組みが設けられた映像撮影装置は、通常の撮影ではIRカットフィルタを光学系にセットして可視光映像を撮影する。

また、夜間の屋外や暗所における撮影では、映像撮影装置は、IRカットフィルタを光学系から除去して近赤外光映像を撮影する。以上のように、色再現性の良い可視光撮影と近赤外光撮影とが１つの映像撮影装置で行われる。

具体的には、通常のカメラでは、図１６に示すような分光透過特性を有するIRカットフィルタが光学系に組み込まれる。図１６は、IRカットフィルタの分光透過率の一例を示す説明図である。図１６に示すように、波長が710nm以上の近赤外光に対するIRカットフィルタの分光透過率は0%である。

上記のようなIRカットフィルタが光学系に組み込まれることによって、近赤外光が除かれた光がイメージセンサに入射する。以上の方法により、カラーイメージセンサで撮像された物体の色と人間が色知覚で感じる物体の色が一致するという高精度な色再現性が撮像において実現される。

また、機械的動作を実行せずにRGB画像（可視光画像）とNIR画像（近赤外光画像）を撮影する方法も提案されている。例えば、特許文献１および特許文献３には、RGBの３色光学フィルタに、可視光を除去しIRを透過させるIR透過フィルタが加えられた４色光学フィルタを用いる方法が記載されている。

すなわち、特許文献１および特許文献３に記載されている方法は、IR専用の画素を設けることによってIR信号を取得している。次いで、特許文献１および特許文献３に記載されている方法は、取得されたIR信号を用いて、イメージセンサから出力されたR,G,Bの各色の光の信号からIRの寄与分を差し引くことによって、正しいR,G,Bの各色の光の信号を算出する。

以上の手法により、特許文献１および特許文献３に記載されている方法は、高い色再現性を確保している。また、特許文献１および特許文献３に記載されている方法は、暗所撮影ではRGBのカラーイメージセンサを近赤外光センサとして利用することによって、モノクロームの近赤外光画像を取得している。

また、例えば特許文献２には、半導体フォトセンサに入射した光の検出を、可視光の検出と、近赤外光の検出の２つに分けて行う方法が記載されている。可視光の検出は、R,G,Bの各色の光を透過させる３色光学フィルタを用いて行われる。なお、３色光学フィルタは、NIRも透過させる。

次いで、NIRの検出は、RGBの各光用のフォトセンサ部の深部（表面から遠い部分）に設けられたNIRセンサを用いて行われる。NIRセンサによる検出では、波長が長い光ほど半導体の表面から遠い部分まで進入し吸収されるという現象が利用されている。

すなわち、特許文献２に記載されている方法は、可視光センシング部を透過したNIRを、NIR専用のセンサで検出している。上記の構成が適用された１つの撮影装置は、可視光画像と近赤外光画像の両方を撮影できる。

特開２０１２－２２７７５８号公報 特開２０１１－２４３８６２号公報 特開２０１５－２０４５７９号公報

特許文献１および特許文献３に記載されている方法は、イメージセンサにIR専用の画素を設けている。よって特許文献１および特許文献３に記載されている方法がイメージセンサに適用された場合、画素面積が同一のイメージセンサがRGBの３色の光だけを検出した時に出力するRGBの画素数または画素面積に比べて、出力されるRGBの画素数または画素面積が減少する。すなわち、特許文献１および特許文献３に記載されている方法がイメージセンサに適用されると、解像度または感度が低下するという問題がある。

また、特許文献２に記載されている方法は、RGBの各光用のフォトセンサ部の深部にNIRセンサを設けている。すなわち、特許文献２に記載されている方法が撮影装置に適用されると、一種類のフォトセンサが平面上に配列される通常の撮影装置の構造に比べて撮影装置の構造が複雑になる。よって撮影装置の製造プロセスも複雑になり、製造コストが高くなるという問題がある。

［発明の目的］
そこで、本発明は、上述した課題を解決する、可視光から近赤外光までの波長領域で撮影された画像信号から可視光の画像信号と近赤外光の画像信号をそれぞれ容易に生成できる画像処理方法、画像処理装置および記録媒体を提供することを目的とする。

本発明による画像処理方法は、カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定し、前記推定された入射光の分光分布特性と前記カラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する画像処理方法であって、前記カラーイメージセンサの前記１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における前記カラーイメージセンサの分光感度特性の各積分値が所定の条件を満たすことを特徴とする。

本発明による画像処理装置は、カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定する推定手段と、前記推定された入射光の分光分布特性と前記カラーイメージセンサの前記分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する生成手段とを備え、前記カラーイメージセンサの前記１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における前記カラーイメージセンサの分光感度特性の各積分値が所定の条件を満たすことを特徴とする。

本発明による記録媒体は、コンピュータに、カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定する推定処理、および前記推定された入射光の分光分布特性と前記カラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する生成処理を実行させるための画像処理プログラムを記録した、一時的でない記録媒体であって、前記カラーイメージセンサの前記１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における前記カラーイメージセンサの分光感度特性の各積分値が所定の条件を満たすことを特徴とする。

本発明によれば、可視光から近赤外光までの波長領域で撮影された画像信号から可視光の画像信号と近赤外光の画像信号をそれぞれ容易に生成できる。

本発明による画像処理装置１００の第１の実施形態の構成例を示すブロック図である。 入射光の平均ベクトルおよび基底ベクトルの一例を示す説明図である。 第１の実施形態の画像処理装置１００による画像生成処理の動作を示すフローチャートである。 本発明による画像処理装置１００の第２の実施形態の構成例を示すブロック図である。 本発明による画像処理装置１００の第２の実施形態の他の構成例を示すブロック図である。 第２の実施形態の画像処理装置１００による画像生成処理の動作を示すフローチャートである。 本発明による画像撮影装置２００の第３の実施形態の構成例を示すブロック図である。 ベイヤ配列型カラーフィルタが組み込まれたフォトセンサアレイの一例を示す平面図である。 デモザイキング処理の一例を示す平面図である。 第３の実施形態の画像撮影装置２００による画像生成処理の動作を示すフローチャートである。 本発明による画像撮影装置３００の第４の実施形態の構成例を示すブロック図である。 第４の実施形態の画像撮影装置３００による画像生成処理の動作を示すフローチャートである。 本発明による画像処理装置の概要を示すブロック図である。 一般的なイメージセンサが有する分光感度特性の一例を示す説明図である。 カラーフィルタの分光透過率の一例を示す説明図である。 IRカットフィルタの分光透過率の一例を示す説明図である。

（第１実施形態）
［構成の説明］
以下、本発明の実施形態を、図面を参照して説明する。図１は、本発明による画像処理装置１００の第１の実施形態の構成例を示すブロック図である。

本実施形態の画像処理装置１００は、構成が簡易であり、かつ暗所撮像等で使用される近赤外光が利用される高感度撮影モードのカラーカメラで撮影された画像信号から可視光の画像信号と近赤外光の画像信号を同時に生成できる画像処理装置である。

なお、本実施形態でも、可視光だけでなく近赤外光も透過させる分光透過特性を有する光学フィルタが用いられる。また、各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率は、ユーザが指定する所定の閾値未満の値になる。

また、本実施形態の画像処理装置１００は、上述したIRカットフィルタが使用されず、カラーイメージセンサが有する分光感度特性が十分に活用された上で撮像された画像データを用いる。よって、取得された画像データの色信号には、可視光の信号および近赤外光の信号が含まれている。

図１に示すように、本実施形態の画像処理装置１００は、画像データ取得部１０１と、入射光スペクトル推定部１０２と、可視光画像生成部１０３と、近赤外光画像生成部１０４とを備える。

また、図１に示すように、画像処理装置１００は、外部手段１１０と通信可能に接続されている。外部手段１１０は、例えばイメージセンサ等の撮像装置である。また、外部手段１１０には、光学フィルタが組み込まれている。

画像データ取得部１０１は、可視光(VIS)から近赤外光(NIR)までを検出する分光感度を有する外部手段１１０で撮像された画像データ（図１に示すI_{RGB_NIR}）を取得する機能を有する。取得される画像データは、静止画像データでもよいし、動画像データでもよい。

本実施形態の画像データ取得部１０１が取得する画像データは、Mチャネルの色信号で構成されている。なお、Mは、１以上の整数である。また、各色信号には、可視光の信号と近赤外光の信号の両方が含まれている。また、各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率は、ユーザが指定する所定の閾値未満の値になる。

画像データ取得部１０１は、全ての画素に対して画像データを取得する。全ての画素には、画像データに含まれる色情報が設定されている。色情報として、例えば、R（赤）、G（緑）、B（青）、またはC（シアン）、M（マジェンタ）、Y（イエロ）が設定されている。なお、設定される色情報には、可視光の情報および近赤外光の情報が含まれている。

本実施形態では、画像データに含まれる色情報としてR,G,Bが設定されているとして説明する。本実施形態の画像処理装置１００は、全ての画素にR,G,Bの色情報が設定された画像データから、VIS画像データおよびNIR画像データをそれぞれ推定し、各画像データを生成する。

設定情報に従って、画像データ取得部１０１は、例えばデモザイキング（demosaicing）処理を実行することによって、図１に示すように画像データI_{RGB_NIR}を画像データI_{R_NIR}、画像データI_{G_NIR}、画像データI_{B_NIR}に分離する。画像データ取得部１０１は、分離された画像データI_{R_NIR}、画像データI_{G_NIR}、画像データI_{B_NIR}を、入射光スペクトル推定部１０２に入力する。

なお、画像データI_{RGB_NIR}は、可視光と近赤外光が混在しているRGBチャネルの画像データである。画像データI_{R_NIR}は、可視光と近赤外光が混在しているRチャネルの画像データである。画像データI_{G_NIR}は、可視光と近赤外光が混在しているGチャネルの画像データである。画像データI_{B_NIR}は、可視光と近赤外光が混在しているBチャネルの画像データである。

なお、画像データ取得部１０１自体が、カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによってRGBチャネルの画像データを取得してもよい。

入射光スペクトル推定部１０２は、取得された画像データを構成する各画素に入射した光の分光分布特性（スペクトル）を推定する機能を有する。

入射光スペクトル推定部１０２は、外部手段１１０の分光感度特性を用いて、画像データから入射光の分光分布特性を推定する。入射光スペクトル推定部１０２により推定された入射光のスペクトルは、可視光の波長領域から近赤外光の波長領域までに対応する。

可視光画像生成部１０３は、推定された画像データを構成する各画素に入射した光のスペクトルと外部手段１１０の分光感度特性とを用いて、可視光の信号のみが含まれる可視光画像（図１に示すI_R、I_G、I_B）を生成する機能を有する。

近赤外光画像生成部１０４は、推定された画像データを構成する各画素に入射した光のスペクトルと外部手段１１０の分光感度特性とを用いて、近赤外光の信号のみが含まれる近赤外光画像（図１に示すI_NIR）を生成する機能を有する。

以下、本実施形態の入射光スペクトル推定部１０２による分光分布特性の推定処理を説明する。カラーイメージセンサのRチャネルの分光感度特性をC_R(λ)、Gチャネルの分光感度特性をC_G(λ)、Bチャネルの分光感度特性をC_B(λ)、およびカラーイメージセンサが出力する画像データを構成する画素への入射光の分光分布特性をE(λ)とそれぞれする。

カラーイメージセンサは、各チャネルに関していずれも近赤外光の波長領域に感度を有する。かつ、各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率は、ユーザが指定する所定の閾値未満の値になる。光が入射した画素における３つの色信号R,G,Bは、それぞれ以下のように表される。

式（１）におけるλは、光の波長を表す。λの値は、カラーイメージセンサが感度を有する波長領域における任意の値である。

また、式（１）におけるカラーイメージセンサの分光感度特性C_R(λ)、C_G(λ)、C_B(λ)は、イメージセンサの分光感度特性とRGBの光学フィルタの各分光透過特性との積であり、既知の関数である。式（１）では、カラーイメージセンサが感度を有する波長領域に渡って積分が行われる。

式（１）を用いて画像データにおける色信号R,G,Bを基に入射光の分光分布特性E(λ)を求めるために、本実施形態では、本来波長に関して無限次元の連続データである入射光の分光分布特性を比較的少ないパラメータで表現するモデルが導入される。

入射光の分光分布特性は、比較的少ないパラメータが使用された上で、分光分布特性の基底ベクトルr_i(λ)(i=1~M)の加重和でモデル化されてもよいし、基底ベクトルr_i(λ)(i=1~M+1)の加重和でモデル化されてもよい。さらに、平均ベクトルr₀(λ)が、モデルに追加されてもよい。

最初に、入射光の分光分布特性が平均ベクトルr₀(λ)と基底ベクトルr_i(λ)(i=1~M)とでモデル化される場合を説明する。分光分布特性は、式（２）に示すように、平均ベクトルと基底ベクトルの加重和との和でモデル化される。

なお、式（２）における基底ベクトルr_i(λ)(i=1-3)は、入射光の分光分布特性E(λ)を少ないパラメータで十分に表現可能な関数である。基底ベクトルr_i(λ)は、光源の分光分布特性と物体の表面反射率との積で形成される分光空間を主成分分析することによって得られる。また、式（２）における係数a_iは、入射光の分光分布特性E(λ)を表現するために使用されるパラメータである。

図２は、入射光の平均ベクトルおよび基底ベクトルの一例を示す説明図である。図２は、平均ベクトルr₀(λ)と、基底ベクトルr₁(λ)～基底ベクトルr₃(λ)とを示す。

式（２）が式（１）に代入されることによって、未知のパラメータa_iに関する観測方程式が以下のように生成される。

なお、式（３）の右辺には本来積分係数が必要であるが、本実施形態では説明の簡略化のために積分係数を省略する。

式（３）の積分計算は、以下に示すような総和計算に近似されてもよい。

なお、式（４）において総和は、カラーイメージセンサが持つ分光感度特性に従って、400nmから1000nmの波長領域に渡って求められる。

画像データにおけるRGB値が得られれば、式（３）の観測方程式は、未知のパラメータa_iに関する連立M元一次方程式になる。すなわち、未知のパラメータa_iが求解可能になる。

式（４）から得られたパラメータa_iを式（２）に代入することによって、入射光スペクトル推定部１０２は、画像データにおける該当する画素への入射光の分光分布特性E(λ)を復元できる。

入射光スペクトル推定部１０２は、画像データを構成する全ての画素に対して式（４）等の観測方程式を解くことによって、全ての画素に関して入射光の分光分布特性E(λ)を求めることができる。

以上、入射光の分光分布特性が平均ベクトルr₀(λ)と基底ベクトルr_i(λ)(i=1~M)とでモデル化される場合を説明した。なお、基底ベクトルを一つ増やして、入射光の分光分布特性が平均ベクトルr₀(λ)と基底ベクトルr_i(λ)(i=1~M+1)とでモデル化されてもよい。基底ベクトルr_i(λ)(i=1~M+1)が使用される場合、分光分布特性は、式（５）に示すように表される。

同様に、式（５）から観測方程式が以下のように生成される。

式（６）において、基底ベクトルr_i(λ)(i=1~M+1)の係数である未知のパラメータa_iは、(M+1)個存在する。すなわち、未知のパラメータが観測方程式の数であるM個よりも多いアンダーデターミナントな状態であり、解析的に未知のパラメータa_iが求められない。上記の問題を解決するために、第一基底ベクトルr₁(λ)の係数a₁は、別の方法で予め求められる。

係数a₁を求める方法の一例を説明する。図２に示すように、入射光の第一基底ベクトルr₁(λ)は、一般的に直流成分である。すなわち、第一基底ベクトルr₁(λ)の係数は、入射光の強度を表すための係数に相当する。よって、Mチャネルの画像データの総和と、第一基底ベクトルr₁(λ)の係数との相関は高いことが推測される。

上記の性質に着目すると、例えば、単回帰分析により、Mチャネルの画像データの総和と基底ベクトルr₁(λ)の係数a₁とに関する回帰式が得られる。得られた回帰式にMチャネルの画像データの総和が代入されることによって、基底ベクトルr₁(λ)の係数a₁が得られる。

上記の方法で算出されたa₁が式（６）に代入されると、アンダーデターミナントの問題は解消される。すなわち、式（６）に示す観測方程式が連立M元一次方程式になり、残りの未知のパラメータa_iが得られる。

上記のように得られたパラメータa_iを式（５）に代入することによって、入射光スペクトル推定部１０２は、画像データにおける該当する画素への入射光の分光分布特性E(λ)を復元できる。

以下、本実施形態の可視光画像生成部１０３による可視光画像の生成処理を説明する。可視光画像生成部１０３は、カラーイメージセンサの分光感度特性C_R(λ)、C_G(λ)、C_B(λ)のうち、可視光領域のみにおける分光感度特性C_R,VIS(λ)、C_G,VIS(λ)、C_B,VIS(λ)を利用する。なお、可視光領域は、概ね400nm～700nmの波長領域である。

可視光画像生成部１０３は、入射光スペクトル推定部１０２によって得られた入射光の分光分布特性E(λ)と、分光感度特性C_R,VIS(λ)、C_G,VIS(λ)、C_B,VIS(λ)を用いて、可視光の信号のみが含まれる色信号R_VIS、G_VIS、B_VISをそれぞれ以下のように生成する。

画像データを構成する全ての画素に対して可視光の信号のみが含まれる色信号R_VIS、G_VIS、B_VISをそれぞれ計算することによって、可視光画像生成部１０３は、可視光の信号のみが含まれる画像データI_R、I_G、I_Bを生成できる。

以下、本実施形態の近赤外光画像生成部１０４による近赤外光画像の生成処理を説明する。近赤外光画像生成部１０４は、カラーイメージセンサの分光感度特性C_R(λ)、C_G(λ)、C_B(λ)のうち、近赤外光領域のみにおける分光感度特性C_R,NIR(λ)、C_G,NIR(λ)、C_B,NIR(λ)を利用する。なお、近赤外光領域は、概ね700nm～1000nmの波長領域である。

近赤外光画像生成部１０４は、入射光スペクトル推定部１０２によって得られた入射光の分光分布特性E(λ)と、分光感度特性C_R,NIR(λ)、C_G,NIR(λ)、C_B,NIR(λ)を用いて、近赤外光の信号のみが含まれる信号R_NIR、G_NIR、B_NIRをそれぞれ以下のように生成する。

近赤外光画像生成部１０４は、画像データを構成する全ての画素に対して近赤外光の信号のみが含まれる信号R_NIR、G_NIR、B_NIRをそれぞれ計算する。次いで、近赤外光画像生成部１０４は、各画素に関して得られた信号R_NIR、G_NIR、B_NIRを加算し、加算結果を記録することによって、近赤外光の信号のみが含まれる画像データI_NIRを生成できる。

なお、各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率がユーザから指定されるため、例えば信号の比率であるR_NIR/G_NIR、R_NIR/B_NIRは所定値未満の値になる。すなわち、画像データI_NIRを構成する信号の比率が調整される。

［動作の説明］
以下、本実施形態の画像処理装置１００の可視光画像および近赤外光画像を生成する動作を図３を参照して説明する。図３は、第１の実施形態の画像処理装置１００による画像生成処理の動作を示すフローチャートである。

図３に示すように、最初に、画像データ取得部１０１は、外部手段１１０で撮像された画像データI_{RGB_NIR}を取得する（ステップS101）。画像データ取得部１０１は、取得された画像データを加工し、加工された画像データI_{R_NIR}、I_{G_NIR}、I_{B_NIR}を入射光スペクトル推定部１０２に入力する。

次いで、入射光スペクトル推定部１０２は、外部手段１１０のカラーイメージセンサの分光感度特性C_R(λ)、C_G(λ)、C_B(λ)を用いて、取得された画像データにおける画素への入射光の分光分布特性E(λ)を推定する（ステップS102）。

入射光スペクトル推定部１０２は、画像データを構成する全ての画素に関して分光分布特性E(λ)を推定する。入射光スペクトル推定部１０２は、推定された分光分布特性E(λ)を可視光画像生成部１０３と近赤外光画像生成部１０４に入力する。

次いで、可視光画像生成部１０３は、入力された分光分布特性E(λ)と可視光領域のみにおける分光感度特性C_R,VIS(λ)、C_G,VIS(λ)、C_B,VIS(λ)を用いて可視光の信号のみが含まれる色信号R_VIS、G_VIS、B_VISを計算する。次いで、可視光画像生成部１０３は、計算された色信号を基に可視光画像I_R、I_G、I_Bを生成する（ステップS103）。

次いで、近赤外光画像生成部１０４は、入力された分光分布特性E(λ)と近赤外光領域のみにおける分光感度特性C_R,NIR(λ)、C_G,NIR(λ)、C_B,NIR(λ)を用いて近赤外光の信号のみが含まれる信号R_NIR、G_NIR、B_NIRを計算する。

次いで、近赤外光画像生成部１０４は、計算された信号を基に近赤外光画像I_NIRを生成する（ステップS104）。近赤外光画像I_NIRを生成した後、画像処理装置１００は、画像生成処理を終了する。

［効果の説明］
本実施形態の画像処理装置１００は、可視光から近赤外光まで感度を有するカラーイメージセンサの分光感度特性と、カラーイメージセンサで撮影された近赤外光の信号が含まれるRGBの画像データとを用いて、可視光の信号のみが含まれる画像データと近赤外光の信号のみが含まれる画像データを取得できる。

具体的には、本実施形態の画像データ取得部１０１は、可視光から近赤外光に渡って感度を有し可視光が撮像されたカラー画像を出力するカラーイメージセンサから、可視光だけでなく近赤外光も撮像されたMチャネルのカラー画像を取得する。

上記のカラーイメージセンサは、各チャネルに関して近赤外光の波長領域に感度を有する。各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率は、ユーザが指定する所定の閾値未満の値になる。

次いで、入射光スペクトル推定部１０２は、取得されたMチャネルのカラー画像から得られる色信号、カラーイメージセンサの分光感度特性、および入射光の分光分布特性を表現する平均ベクトルとM個の基底ベクトルを用いて、入射光の分光分布特性を復元する。なお、入射光スペクトル推定部１０２は、(M+1)個の基底ベクトルを用いて入射光の分光分布特性を復元してもよい。

次いで、可視光画像生成部１０３は、復元された入射光の分光分布特性とカラーイメージセンサの分光感度特性とを用いて、可視光の信号のみで構成される可視光画像を生成する。また、近赤外光画像生成部１０４は、復元された入射光の分光分布特性とカラーイメージセンサの分光感度特性とを用いて、近赤外光の信号のみで構成される近赤外光画像を生成する。

特許文献１～特許文献３に記載されている方法は、上述したように特殊な機械的構成や特殊なイメージセンサを用いて可視光画像および近赤外光画像を取得している。

本実施形態の画像処理装置１００は、特殊な機械的構成や特殊なイメージセンサを利用せず、一般的な撮影装置の構成のみを利用した上で可視光画像および近赤外光画像を簡易に取得できる。その理由は、入射光スペクトル推定部１０２がカラーイメージセンサの分光感度特性とカラーイメージセンサにより撮影された画像データとを用いて、入射光の分光分布特性E(λ)を推定するためである。

（第２実施形態）
［構成の説明］
次に、本発明の第２の実施形態を、図面を参照して説明する。図４は、本発明による画像処理装置１００の第２の実施形態の構成例を示すブロック図である。

図４に示すように、本実施形態の画像処理装置１００は、画像データ取得部１０１と、入射光スペクトル推定部１０２と、可視光画像生成部１０３と、信号分離部１０５とを備える。画像データ取得部１０１および信号分離部１０５以外の第２の実施形態の構成は、第１の実施形態の構成と同様である。

画像データ取得部１０１は、可視光(VIS)から近赤外光(NIR)までを検出する分光感度を有する外部手段１１０で撮像された画像データ（図４に示すI_{RGB_NIR}）を取得する機能を有する。

本実施形態の画像データ取得部１０１が取得する画像データは、複数の色信号で構成されている。画像データを構成する各色信号には、可視光の信号および近赤外光の信号の両方が含まれている。

また、画像データ取得部１０１が取得する画像データに含まれている各カラーチャネルの近赤外光の信号の比率は、ユーザが指定する所定の閾値未満の値になる。

画像データ取得部１０１は、画像データI_{RGB_NIR}を、画像データI_{R_NIR}、画像データI_{G_NIR}、画像データI_{B_NIR}にそれぞれ分離する。画像データ取得部１０１は、分離された画像データI_{R_NIR}、画像データI_{G_NIR}、画像データI_{B_NIR}を、入射光スペクトル推定部１０２に入力する。

入射光スペクトル推定部１０２は、外部手段１１０の分光感度特性を用いて、画像データを構成する各画素に入射した光の分光分布特性（スペクトル）を、画像データを基に推定する機能を有する。入射光スペクトル推定部１０２により推定された入射光のスペクトルは、可視光の波長領域から近赤外光の波長領域まで含む。

可視光画像生成部１０３は、画像データを構成する各画素に入射した光の推定されたスペクトルと外部手段１１０の分光感度特性とを用いて、可視光の信号のみが含まれる可視光画像（図４に示すI_R、I_G、I_B）を生成する機能を有する。

信号分離部１０５は、入力される第１画像データと第２画像データの２種類の画像データを用いて第１画像データから第２画像データが減算された画像データを出力する機能を有する。

図４に示す例では、信号分離部１０５に入力される第１画像データは、画像データ取得部１０１から出力されたI_{R_NIR}、I_{G_NIR}、I_{B_NIR}である。また、信号分離部１０５に入力される第２画像データは、可視光画像生成部１０３から出力されたI_R、I_G、I_Bである。

よって、信号分離部１０５は、I_{R_NIR}からI_R、I_{G_NIR}からI_G、I_{B_NIR}からI_Bをそれぞれ減算することによって、近赤外光の信号のみが含まれる近赤外光画像I_NIRを生成する。

図５は、本発明による画像処理装置１００の第２の実施形態の他の構成例を示すブロック図である。図５は、図４に示す画像処理装置１００の可視光画像生成部１０３が近赤外光画像生成部１０４に置き換えられた場合の画像処理装置１００を示す。

近赤外光画像生成部１０４は、推定された画像データを構成する各画素に入射した光のスペクトルと外部手段１１０の分光感度特性とを用いて、近赤外光の信号のみが含まれる近赤外光画像（図５に示すI_NIR）を生成する機能を有する。

図５に示す例では、信号分離部１０５に入力される第１画像データは、画像データ取得部１０１から出力されたI_{R_NIR}、I_{G_NIR}、I_{B_NIR}である。また、信号分離部１０５に入力される第２画像データは、近赤外光画像生成部１０４から出力されたI_NIRである。

よって、信号分離部１０５は、I_{R_NIR}からI_NIR、I_{G_NIR}からI_NIR、I_{B_NIR}からI_NIRをそれぞれ減算することによって、可視光の信号のみが含まれる可視光画像I_R、I_G、I_Bをそれぞれ生成する。

［動作の説明］
以下、本実施形態の画像処理装置１００の可視光画像および近赤外光画像を生成する動作を図６を参照して説明する。図６は、第２の実施形態の画像処理装置１００による画像生成処理の動作を示すフローチャートである。なお、図６に示す画像生成処理は、図４に示す画像処理装置１００によって実行される。

図６に示すステップS201～ステップS203の処理は、第１の実施形態において説明した図３に示すステップS101～ステップS103の処理と同様である。

図４に示すように、信号分離部１０５には、画像データ取得部１０１から画像データI_{R_NIR}、I_{G_NIR}、I_{B_NIR}が入力される。また、信号分離部１０５には、可視光画像生成部１０３から可視光画像I_R、I_G、I_Bが入力される。

図６に示すように、信号分離部１０５は、I_{R_NIR}からI_Rを、I_{G_NIR}からI_Gを、I_{B_NIR}からI_Bをそれぞれ減算し、減算の結果生成された画像データを加算することによって近赤外光画像I_NIRを生成する（ステップS204）。

近赤外光画像I_NIRを生成した後、画像処理装置１００は、画像生成処理を終了する。なお、図５に示す画像処理装置１００も、可視光画像の生成と近赤外光画像の生成の順番が入れ替えられる点を除いて、図６に示す画像生成処理と同じ動作をすることによって、可視光画像を生成する。

［効果の説明］
本実施形態の画像処理装置１００は、第１の実施形態の画像処理装置１００に比べて、可視光画像および近赤外光画像の生成コストを低減できる。その理由は、一方の画像は画像データから他方の画像を信号分離部１０５が減算することによって生成されるためである。

（第３実施形態）
［構成の説明］
次に、本発明の第３の実施形態を、図面を参照して説明する。図７は、本発明による画像撮影装置２００の第３の実施形態の構成例を示すブロック図である。

図７に示すように、本実施形態の画像撮影装置２００は、光学フィルタ２０２と、フォトセンサ２０３と、画像処理部２０４と、分光感度特性保存メモリ２０５とで構成される。

なお、本実施形態の画像撮影装置２００は、通常の画像撮影装置に実装されている赤外光カットフィルタ（IRカットフィルタ）２０１が取り外された状態の画像撮影装置、または最初から赤外光カットフィルタ２０１が実装されていない画像撮影装置である。

図７に示す破線の矩形は、通常の画像撮影装置に実装されていた赤外光カットフィルタ２０１に相当する。なお、本実施形態では破線の矩形が示す箇所に構成要素は何ら存在しない。

図７に示すカメラレンズには、通常のカメラレンズが用いられればよい。また、光学フィルタ２０２およびフォトセンサ２０３には、カラー画像入力装置または画像撮影装置で一般的に使用されている光学フィルタおよびフォトセンサがそれぞれ使用されればよい。

すなわち、光学フィルタ２０２の分光透過特性は、例えば図１６に示す分光透過特性と同様である。また、フォトセンサ２０３の分光透過特性は、例えば図１５に示す分光透過特性と同様である。

また、フォトセンサ２０３の各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率は、ユーザが指定する所定の閾値未満の値である。

図８は、ベイヤ配列型カラーフィルタが組み込まれたフォトセンサアレイの一例を示す平面図である。図８は、光学フィルタ２０２およびフォトセンサ２０３における色の配列を示す。

図８に示す光学フィルタ２０２におけるR,G,Bの３色の配列は、ベイヤ配列型と呼ばれる配列である。光学フィルタ２０２において配列されているR,G,Bに対応するように、フォトセンサ２０３が出力する画像データ内の各画素にR,G,Bのうちのいずれか１色がそれぞれ割り当てられている。

図７に示す分光感度特性保存メモリ２０５は、光学フィルタ２０２およびフォトセンサ２０３のイメージセンサとしての分光感度特性を記録する機能を有する。

図７に示す画像処理部２０４は、第１の実施形態の画像処理装置１００、または第２の実施形態の画像処理装置１００と同様の機能を有する。すなわち、画像処理部２０４は、R,G,Bの３つの色信号で構成された画像データを基に、Rの色信号のみが含まれる画像データI_R、Gの色信号のみが含まれる画像データI_G、Bの色信号のみが含まれる画像データI_B、およびNIR信号のみが含まれる画像データI_NIRをそれぞれ生成する。

画像処理部２０４は、フォトセンサ２０３から出力されたNIR信号が含まれるR,G,Bの３つの色信号で構成された画像データI_{RGB_NIR}に対して、デモザイキング処理および第１の実施形態の画像生成処理を適用する。各処理を適用することによって、画像処理部２０４は、R,G,B,NIRの４チャネル分の画像データを生成する。

以下、図９を参照して、フォトセンサ２０３から出力されたNIR信号が含まれるR,G,Bの３つの色信号で構成された画像データI_{RGB_NIR}に適用されるデモザイキング処理の一例を説明する。

図９は、デモザイキング処理の一例を示す平面図である。なお、デモザイキング処理は、第１の実施形態および第２の実施形態の画像データ取得部１０１が画像データI_{RGB_NIR}を画像データI_{R_NIR}、画像データI_{G_NIR}、画像データI_{B_NIR}に分離する処理の一部に相当する。

最初に、画像処理部２０４は、図９に示す画像データにおける座標(1,1)の画素のデータ（R,G,Bの色信号）を取得する。画像処理部２０４が取得した時点におけるR,G,Bの色信号にはNIR信号も含まれているが、説明の簡略化のため、単にR,G,Bの色信号と記載する。

図９に示すように、座標(1,1)の画素にはRが割り当てられている。よって、画像処理部２０４は、以下のように座標(1,1)の画素のデータをそのままRの信号値とする。

R(1,1)=R(1,1) ・・・式（９）

座標(1,1)の画素に割り当てられていないGの信号値およびBの信号値に関して、画像処理部２０４は、例えば以下のように周辺画素の色信号を用いて補間する。

G(1,1)=(G(2,1)+G(1,2))/2 ・・・式（１０）
B(1,1)=B(2,2) ・・・式（１１）

次いで、画像処理部２０４は、画像データにおける座標(1,2)の画素のデータ（R,G,Bの色信号）を取得する。図９に示すように、座標(1,2)の画素にはGが割り当てられている。よって、画像処理部２０４は、以下のように座標(1,2)の画素のデータをそのままGの信号値とする。

G(1,2)=G(1,2) ・・・式（１２）

座標(1,1)の画素の場合と同様に、座標(1,2)の画素に割り当てられていないRの信号値およびBの信号値に関して、画像処理部２０４は、例えば以下のように周辺画素の色信号を用いて補間する。

R(1,2)=R(1,1) ・・・式（１３）
B(1,2)=B(2,2) ・・・式（１４）

一般に、座標(i, j)の画素に割り当てられている色信号X（＝R or B or G）の信号値X(i, j)は、座標(i, j)におけるXの画素のデータそのものである。一方、座標(i,j)の画素に割り当てられていない色信号Y（＝R or B or G）の信号値は、座標(i, j)の周辺の任意の１つ以上の画素（Yを含むもの）のデータを重み付けして足し合わせたものである。上記の処理を繰り返し実行することによって、画像処理部２０４は、全ての画素に関してR,G,Bの色信号が全て含まれる画像データを取得する。すなわち、画像データに含まれる各チャネルの近赤外光の信号値は、チャネルごとに同等の値になる場合がある。

なお、本実施形態におけるデモザイキング処理は、上記の処理に限られず、一般的なデモザイキング方式が用いられてもよい。以上の処理により、画像処理部２０４は、全ての画素にR,G,Bの色信号が設定された画像データを得る。

［動作の説明］
以下、本実施形態の画像撮影装置２００の可視光画像および近赤外光画像を生成する動作を図１０を参照して説明する。図１０は、第３の実施形態の画像撮影装置２００による画像生成処理の動作を示すフローチャートである。

図１０に示すように、カメラレンズを通じて、画像撮影装置２００に光が入射する（ステップS301）。入射光は、近赤外光がカットされないまま、ベイヤ配列型でR,G,Bが配列された光学フィルタ２０２が組み込まれているフォトセンサ２０３に入射する。

次いで、入射光が光学フィルタ２０２における各フィルタを透過した後、フォトセンサ２０３は、近赤外光の信号が含まれているR,G,Bの３つの色信号を生成する（ステップS302）。

次いで、画像処理部２０４は、デモザイキング処理を実行することによって、全ての画素に関してR,G,Bの色信号が全て含まれる画像データを取得する（ステップS303）。

次いで、画像処理部２０４は、全ての画素にR,G,Bの色信号が設定されている画像データを基に、近赤外光の信号のみで構成される画像データを抽出または生成する。すなわち、画像処理部２０４は、近赤外光の信号が含まれるRGBの画像データを基に、可視光の信号のみで構成される画像データと、近赤外光の信号のみで構成される画像データとを生成する（ステップS304）。

ステップS304で画像処理部２０４が実行する処理は、図３に示す画像生成処理、または図６に示す画像生成処理である。各画像データを生成した後、画像撮影装置２００は、画像生成処理を終了する。

［効果の説明］
本実施形態の画像撮影装置２００は、一般的な画像撮影装置に含まれているIRカットフィルタが光学系から除去された画像撮影装置である。IRカットフィルタは簡単に除去されるため、本実施形態の画像撮影装置２００は、一般的な画像撮影装置を基に容易に製造される。

すなわち、画像撮影装置２００は、低コストで多く生産可能な装置である。また構成が簡素であるため、画像撮影装置２００は、コンパクトな撮影装置であり、かつ頻繁に故障しないことが期待される。本実施形態の画像撮影装置２００は、構成が一般的な画像撮影装置の構成と同様でありながら、可視光画像と近赤外光画像とを同時に取得できる。

（第４実施形態）
［構成の説明］
次に、本発明の第４の実施形態を、図面を参照して説明する。第３の実施形態では、ベイヤ配列型の光学フィルタで入射光を分光する画像撮影装置に本発明が適用された例を説明した。本実施形態では、３板式映像撮影装置に本発明が適用された例を説明する。

図１１は、本発明による画像撮影装置３００の第４の実施形態の構成例を示すブロック図である。図１１に示すように、画像撮影装置３００は、プリズム（色分解部）３０１と、フォトセンサ３１１～フォトセンサ３１３と、画像処理部３２０と、分光感度特性保存メモリ３３０とで構成される。

図１１に示すカメラレンズには、通常のカメラレンズが用いられればよい。また、プリズム３０１およびフォトセンサ３１１～フォトセンサ３１３には、３板式映像撮影装置で一般的に使用されているプリズムおよびフォトセンサがそれぞれ使用されればよい。

カメラレンズを通じて画像撮影装置３００に入射した光は、プリズム３０１によりR,G,Bの３色の光に分光される。図１１に示す白抜きの矢印は、光を表す。

フォトセンサ３１１は、Rの色光を撮像し、画像データI_{R_NIR}を出力する。また、フォトセンサ３１２は、Gの色光を撮像し、画像データI_{G_NIR}を出力する。また、フォトセンサ３１３は、Bの色光を撮像し、画像データI_{B_NIR}を出力する。

なお、プリズム３０１による分光で生成される色光には、近赤外光が含まれている。本実施形態の画像撮影装置３００には近赤外光をカットする近赤外光カットフィルタが実装されていないため、フォトセンサ３１１～フォトセンサ３１３から出力される各画像データには、近赤外光の信号が含まれている。

また、各画像データに含まれている近赤外光の信号の比率は、ユーザが指定する所定の閾値未満の値になる。

画像処理部３２０には、フォトセンサ３１１～フォトセンサ３１３から出力されるNIR信号が含まれるR,G,Bの各画像データI_{R_NIR}、I_{G_NIR}、I_{B_NIR}がそれぞれ入力される。画像処理部３２０は、第３の実施形態の画像処理部２０４と同様に、NIR信号が含まれるR,G,Bの各画像データを基に、Rの色信号のみが含まれる画像データI_R、Gの色信号のみが含まれる画像データI_G、Bの色信号のみが含まれる画像データI_B、およびNIR信号のみが含まれる画像データI_NIRをそれぞれ生成する。

［動作の説明］
以下、本実施形態の画像撮影装置３００の可視光画像および近赤外光画像を生成する動作を図１２を参照して説明する。図１２は、第４の実施形態の画像撮影装置３００による画像生成処理の動作を示すフローチャートである。

図１２に示すように、カメラレンズを通じて、画像撮影装置３００に光が入射する（ステップS401）。入射光は、近赤外光がカットされないまま、プリズム３０１に入射する。

次いで、入射光は、プリズム３０１により近赤外光が含まれるR,G,Bの３つの可視光に分光される（ステップS402）。

次いで、フォトセンサ３１１は、Rの色光を撮像し、画像データI_{R_NIR}を出力する。また、フォトセンサ３１２は、Gの色光を撮像し、画像データI_{G_NIR}を出力する。また、フォトセンサ３１３は、Bの色光を撮像し、画像データI_{B_NIR}を出力する（ステップS403）。

次いで、画像処理部３２０は、近赤外光の信号が含まれるR,G,Bの各画像データを基に、可視光の信号のみで構成される画像データと、近赤外光の信号のみで構成される画像データとを生成する（ステップS404）。

ステップS404で画像処理部３２０が実行する処理は、図３に示す画像生成処理、または図６に示す画像生成処理である。各画像データを生成した後、画像撮影装置３００は、画像生成処理を終了する。

［効果の説明］
本実施形態の画像撮影装置３００は、一般的な３板式撮影装置を構成するプリズムおよびフォトセンサを備える。また、３板式撮影装置に一般的に実装されているIRカットフィルタは除去されている。

すなわち、一般的な３板式撮影装置の構成が少し変更されるだけで、画像撮影装置３００は製造される。よって、画像撮影装置３００の製造コストが低いことや、画像撮影装置３００で頻繁に故障が発生しないことが期待される。画像撮影装置３００は、可視光の信号のみで構成される可視光画像および近赤外光の信号のみで構成される近赤外光画像を同時に取得できる。

各実施形態の画像処理装置１００は、近赤外光を撮像するための特別な装置や機械的な駆動機構を用いることなく、一般的なカラーイメージセンサが使用されて撮像された画像データから可視光の信号のみで構成される可視光画像と、近赤外光の信号のみで構成される近赤外光画像とを復元できる。

すなわち、特別なセンサや機械的な駆動機構が含まれないため、各実施形態の技術が適用された可視光および近赤外光を観測する観測装置は、簡易な装置構成で可視光画像と近赤外光画像とを生成できる。各実施形態の技術が使用されると、回路および装置の構成の簡易化が実現される。

なお、各実施形態ではカラーチャネルをRチャネル、Gチャネル、Bチャネルとして説明した。しかし、カラーチャネルは、C（シアン）チャネル、M（マジェンタ）チャネル、Y（イエロ）チャネル等の他のチャネルでもよい。

なお、各実施形態の画像処理装置１００は、例えば、記憶媒体に格納されているプログラムに従って処理を実行するCPU(Central Processing Unit)によって実現される。すなわち画像データ取得部１０１、入射光スペクトル推定部１０２、可視光画像生成部１０３、近赤外光画像生成部１０４、および信号分離部１０５は、例えば、プログラム制御に従って処理を実行するCPUによって実現される。また、一部の機能のみがCPUによって実現されてもよい。

また、各実施形態の画像処理装置１００における各部は、ハードウェア回路によって実現されてもよい。一例として、画像データ取得部１０１、入射光スペクトル推定部１０２、可視光画像生成部１０３、近赤外光画像生成部１０４、および信号分離部１０５が、それぞれLSI(Large Scale Integration)で実現される。また、それらが１つのLSIで実現されていてもよい。

次に、本発明の実施形態の概要を説明する。図１３は、本発明の実施形態に係る画像処理装置の概要を示すブロック図である。図１３において、本発明の実施形態に係る画像処理装置１０は、カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性とカラーイメージセンサから出力された可視光および近赤外光が撮像されており１つ以上のカラーチャネルを含む画像データとを用いて入射光の分光分布特性を表現するモデルを基にカラーイメージセンサへの入射光の分光分布特性を推定する推定部１１（例えば、図１等に示す入射光スペクトル推定部１０２）と、推定された分光分布特性と分光感度特性とを用いて可視光を表す情報のみで構成される可視光画像データと近赤外光を表す情報のみで構成される近赤外光画像データを生成する生成部１２（例えば、図１等に示す可視光画像生成部１０３および近赤外光画像生成部１０４）とを備え、カラーイメージセンサの１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における分光感度特性の各積分値が所定の条件を満たす。

そのような構成により、画像処理装置は、可視光から近赤外光までの波長領域で撮影された画像信号から可視光の画像信号と近赤外光の画像信号をそれぞれ容易に生成できる。

また、生成部１２は、推定された分光分布特性と可視光の波長領域における分光感度特性との積を用いて、可視光を表す情報のみで構成される可視光画像データを生成し、分光分布特性と近赤外光の波長領域における分光感度特性との積を用いて、近赤外光を表す情報のみで構成される近赤外光画像データを生成してもよい。

そのような構成により、画像処理装置は、生成される画像信号に対応する可視光の波長領域および近赤外光の波長領域を調整できる。

また、生成部１２は、推定された分光分布特性と可視光の波長領域における分光感度特性との積を用いて、可視光を表す情報のみで構成される可視光画像データを生成し、可視光および近赤外光が撮像された画像データから生成された可視光画像データを減じることによって、近赤外光を表す情報のみで構成される近赤外光画像データを生成してもよい。

また、生成部１２は、推定された分光分布特性と近赤外光の波長領域における分光感度特性との積を用いて、近赤外光を表す情報のみで構成される近赤外光画像データを生成し、可視光および近赤外光が撮像された画像データから生成された近赤外光画像データを減じることによって、可視光を表す情報のみで構成される可視光画像データを生成してもよい。

そのような構成により、画像処理装置は、画像信号の生成に係るコストを削減できる。

また、入射光の分光分布特性は、比較的少ないパラメータが使用された上で、分光分布特性の基底ベクトルr_i(λ)(i=1~M)の加重和でモデル化されてもよいし、基底ベクトルr_i(λ)(i=1~M+1)の加重和でモデル化されてもよい。または、入射光の分光分布特性は、基底ベクトルr_i(λ)(i=1~M)の加重和と分光分布特性の平均ベクトルr₀(λ)とでモデル化されてもよいし、基底ベクトルr_i(λ)(i=1~M+1)の加重和と平均ベクトルr₀(λ)とでモデル化されてもよい。

例えば、入射光の分光分布特性を表現するモデルは、入射光の分光分布特性の平均ベクトルと画像データに含まれる１つ以上のカラーチャネルの数の基底ベクトルの加重和との和と、カラーチャネルの数に１が加算された数の基底ベクトルの加重和とのいずれかで表されてもよい。

そのような構成により、画像処理装置は、観測方程式を解くことによって可視光の画像信号と近赤外光の画像信号をそれぞれ容易に生成できる。

また、画像データに含まれる１つ以上のカラーチャネルは、赤チャネルと、緑チャネルと、青チャネルでもよい。

そのような構成により、画像処理装置は、RGBチャネルの画像データに対応できる。

また、カラーイメージセンサは、３板式映像撮影装置に備えられているイメージセンサでもよい。

そのような構成により、画像処理装置は、３板式映像撮影装置で撮像された画像データに対応できる。

また、画像処理装置１０は、カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって１つ以上のカラーチャネルを含む画像データを取得する取得部を備えてもよい。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１６年１２月２２日に出願された日本出願特願２０１６－２４９０５６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０、１００ 画像処理装置
１１ 推定部
１２ 生成部
１０１ 画像データ取得部
１０２ 入射光スペクトル推定部
１０３ 可視光画像生成部
１０４ 近赤外光画像生成部
１０５ 信号分離部
１１０ 外部手段
２００、３００ 画像撮影装置
２０１ 赤外光カットフィルタ
２０２ 光学フィルタ
２０３ フォトセンサ
２０４、３２０ 画像処理部
２０５、３３０ 分光感度特性保存メモリ
３０１ プリズム
３１１～３１３ フォトセンサ

Claims (9)

1. カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定し、
   前記推定された入射光の分光分布特性と前記カラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとをそれぞれ生成する画像処理方法であって、
   前記入射光の分光分布特性は、基底ベクトルri(λ)(i=1~M、Mは１以上の整数)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M)の加重和と分光分布特性の平均ベクトルr0(λ)とでモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和と平均ベクトルr0(λ)とでモデル化される
   ことを特徴とする画像処理方法。
2. 前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成し、
   前記入射光の前記分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する
   請求項１記載の画像処理方法。
3. 前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成し、
   可視光および近赤外光が撮像された前記画像データから、前記生成された可視光画像データを減じることによって、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する
   請求項１記載の画像処理方法。
4. 前記推定された入射光の分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成し、
   可視光および近赤外光が撮像された前記画像データから、前記生成された近赤外光画像データを減じることによって、可視光を表す情報のみで構成される前記可視光画像データを生成する
   請求項１記載の画像処理方法。
5. 前記画像データに含まれる前記１つ以上のカラーチャネルは、赤チャネルと、緑チャネルと、青チャネルである
   請求項１から請求項４のうちのいずれか１項に記載の画像処理方法。
6. カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、前記入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定する推定手段と、
   前記推定された入射光の分光分布特性と前記カラーイメージセンサの前記分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとをそれぞれ生成する生成手段とを備え、
   前記入射光の分光分布特性は、基底ベクトルri(λ)(i=1~M、Mは１以上の整数)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M)の加重和と分光分布特性の平均ベクトルr0(λ)とでモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和と平均ベクトルr0(λ)とでモデル化される
   ことを特徴とする画像処理装置。
7. 前記生成手段は、
   前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成し、
   前記入射光の分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する
   請求項６記載の画像処理装置。
8. コンピュータに、
   カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定する推定処理、および
   前記推定された入射光の分光分布特性と前記カラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとをそれぞれ生成する生成処理
   を実行させるための画像処理プログラムを記録した、一時的でない記録媒体であって、
   前記入射光の分光分布特性は、基底ベクトルri(λ)(i=1~M、Mは１以上の整数)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M)の加重和と分光分布特性の平均ベクトルr0(λ)とでモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和と平均ベクトルr0(λ)とでモデル化される ことを特徴とする画像処理プログラム。
9. コンピュータに、
   前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成する第１生成処理、および
   前記推定された入射光の分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する第２生成処理を実行させる、
   請求項８記載の画像処理プログラム。

Images