JP7817824B2 - 画像処理装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、可視光画像を非可視光画像を用いて補正する技術に関する。

従来、デジタルカメラで遠景の山並みなどを撮影する場合、空気中の塵などの霞の影響により山並みの凹凸感が十分に表現されず、平坦な印象になってしまう場合があった。そのため、空気中の塵などの霞の影響を受けにくい特性を持つ赤外光等の長波長側の非可視光画像を利用して、画像のコントラスト、解像感を向上させる方法が従来より提案されている。

例えば、特許文献１には、赤外光画像を用いて可視光画像の解像感を向上させる技術が開示されている。具体的には、可視光である輝度信号の高周波成分と赤外光信号の高周波成分の大きさを判断し、その判断の結果に基づいて可視光の輝度信号を補正する。

一方、衣服や人形等の静物を撮影する場合にも、布地素材の質感の表現等を強調した画像を取得したいという要望がある。その場合にも、赤外光等の非可視光は、模様等がある場合でも、可視光のように分光反射率の違いに左右されず、同じ素材内での反射率が一定となる特性がある。そのため、布地素材の質感だけを強調することが可能である。

特開２０１６－０８２３９０号公報

しかしながら、上述の特許文献１に開示された従来技術では、可視光である輝度信号の高周波成分と赤外光信号の高周波成分の強度の比較のみで補正を行い、空間周波数や空間方向の分布等を考慮していない。そのため、質感を強調するために最適な処理ではない場合もある。また、撮影シーンやニーズに応じて質感を強調したいのか画像のコントラストや解像感を向上させたいのかをコントロールできる仕組みがないという課題もある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、非可視光画像を利用して、可視光画像の高画質化を図ることができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、可視光画像と非可視光画像とを入力する入力手段と、前記可視光画像のＡＣ成分を生成する第１の生成手段と、前記非可視光画像のＡＣ成分を生成する第２の生成手段と、前記非可視光画像のＡＣ成分を前記可視光画像のＡＣ成分に基づいて調整し、調整後ＡＣ成分を取得する調整手段と、前記調整後ＡＣ成分を用いて前記可視光画像を補正する補正手段と、を備え、前記調整手段は、前記補正手段により補正された前記可視光画像の画質に、被写体の質感を優先した画質を求められているか、被写体のコントラストを優先した画質を求められているか、に応じて、前記非可視光画像のＡＣ成分を調整することを特徴とする。

本発明によれば、非可視光画像を利用して、可視光画像の高画質化を図ることが可能となる。

本発明の一実施形態に係わる撮像装置の構成を示すブロック図。 可視光画像と非可視光画像の取得方法について説明する図。 画像処理部の構成を示すブロック図。 画像処理部の処理の流れを示すフローチャート。 可視光画像補正処理部の構成を示すブロック図。 可視光画像補正処理部の処理の流れを示すフローチャート。 可視光画像と非可視光画像の画像信号の特徴について説明する図。 質感優先とコントラスト優先の非可視光ＡＣ成分の調整方法について説明する図。 非可視光ＡＣ成分調整部の構成を示すブロック図。 非可視光ＡＣ成分調整部の処理の流れを示すフローチャート。 質感優先とコントラスト優先の調整について説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１は、本発明の画像処理装置の一実施形態である撮像装置１００の構成を示すブロック図である。

本実施形態の撮像装置１００は、非可視光としての可視光よりも長い波長である赤外光の画像信号を利用して、可視光の画像信号の補正を行う。そして、補正の方法として、質感を強調する補正方法と解像感・コントラストを強調する補正方法の２つを実行することが可能である。

図１において、撮像部１０１は、レンズ、撮像素子、Ａ／Ｄ変換処理部、現像処理部を含み、操作部１０７の指示に伴いシステム制御部１０３から出力された制御信号に基づいて、被写体像を撮影し、画像ファイルを生成する。

なお、本実施形態では、可視光画像と非可視光画像の２種類の信号を取得する。信号取得方法については、図２で示されている様な方法が考えられる。図２において、格子は画像の画素配列を示しており、Ｒ，Ｇ，Ｂ，Ｗは可視光の信号、ＩＲは非可視光である赤外光の信号を示している。

上から順番に取得方法について説明すると、図２（ａ）に示されているのは、２つの撮像素子で可視光画像と非可視光画像をそれぞれ取得する方法であり、図２（ｂ）に示されているのは、１つの撮像素子で可視光画像と非可視光画像を取得する方法である。また、図２（ｃ）に示されているのは、非可視光カットフィルタを介して取得した可視光画像と、可視光カットフィルタを介して取得した非可視光画像をそれぞれ時系列に取得する方法である。上記の様な取得方法によって可視光画像と非可視光画像をそれぞれ取得することができる。

図１の説明に戻り、画像処理部１０２は、撮像部１０１、記録部１０５およびネットワーク処理部１０６から入力された画像ファイルを参照し、システム制御部１０３から出力された制御信号に基づいて、非可視光画像を利用して可視光画像を高画質化する画像処理を行う。この画像処理に関わる画像処理部１０２の処理内容については後程詳細に説明する。

システム制御部１０３は、ＲＯＭ１１０に記憶されたプログラムをＲＡＭ１１１に展開して実行することにより、撮像装置１００全体の動作を制御、及び統括する。例えば、システム制御部１０３は、ネットワーク処理部１０６や操作部１０７から送信された指示に基づいて、撮像部１０１の駆動制御などを行う。

表示部１０４は、画像処理部１０２の出力信号を受けて、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成された表示デバイスに画像を表示する処理を行う。

記録部１０５は、画像等のデータを記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードや、光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよく、この情報記録媒体を着脱可能にしてもよい。

ネットワーク処理部１０６は、外部の入力デバイスからネットワーク経由で画像ファイルを取得する。また、それだけでなく、画像処理部１０２の出力信号を受けて、ネットワーク経由で外部の表示デバイス、またはＰＣ（パーソナルコンピュータ）などの外部の画像処理装置に画像信号を送出する処理を行う。

バス１０８は、撮像部１０１、画像処理部１０２、システム制御部１０３、表示部１０４、記録部１０５、ネットワーク処理部１０６、ＲＯＭ１１０、及びＲＡＭ１１１の間で画像等のデータを送受信するために用いられる。

次に、画像処理部１０２の構成について説明する。図３は、本実施形態における画像処理部１０２の構成を示すブロック図である。

本実施形態では、画像処理部１０２は、前述した通り非可視光としての可視光よりも長い波長である赤外光の画像信号を利用して、可視光の画像信号を補正する。

図３において、画像処理部１０２は、可視光画像入力部２０１、非可視光画像入力部２０２、可視光現像処理部２０３、非可視光現像処理部２０４、可視光画像補正処理部２０５、画像出力部２０６を備えて構成される。画像処理部１０２に入力される画像は可視光画像と非可視光画像であり、出力される画像は、非可視光画像を利用して補正された可視光画像である。

図４は、画像処理部１０２を用いて行われる処理の流れを示したフローチャートである。図４のフローチャートの動作は、システム制御部１０３が、ＲＯＭ１１０に記憶されたプログラムをＲＡＭ１１１に展開して実行することにより実現される。

ステップＳ５０１では、システム制御部１０３は、画像処理部１０２の可視光画像入力部２０１に可視光画像を入力する処理を行う。

ステップＳ５０２では、システム制御部１０３は、画像処理部１０２の非可視光画像入力部２０２に非可視光画像を入力する処理を行う。

ステップＳ５０３では、システム制御部１０３は、画像処理部１０２の可視光現像処理部２０３を用いて、ステップＳ５０１で入力された可視光画像に対し、現像処理を行う。可視光画像に対する現像処理は、一般的な処理であるノイズリダクション処理、ホワイトバランス処理、デモザイク処理、色マトリクス処理、ガンマ処理などを指している。なお本実施形態では、現像処理後の可視光画像信号は（式１）の様に、可視光のＲ，Ｇ，Ｂ信号を輝度信号Ｙと色差信号ＵＶに変換する処理を行う。

Ｙ＝0.299Ｒ＋0.587Ｇ＋0.114Ｂ
Ｕ＝－0.169Ｒ－0.331Ｇ＋0.500Ｂ …（式１）
Ｖ＝0.500Ｒ－0.419Ｇ－0.081Ｂ
ステップＳ５０４では、システム制御部１０３は、画像処理部１０２の非可視光現像処理部２０４を用いて、ステップＳ５０２で入力された非可視光画像に対し、現像処理を行う。非可視光画像に対する現像処理は、一般的な処理であるノイズリダクション処理、デモザイク処理、ガンマ処理などを指している。

ステップＳ５０５では、システム制御部１０３は、画像処理部１０２の可視光画像補正処理部２０５を用いて、ステップＳ５０３で現像した可視光画像に対し、ステップＳ５０４で現像した非可視光画像を利用して補正処理を行う。ステップＳ５０５の処理については、後程詳細に説明する。

ステップＳ５０６では、システム制御部１０３は、画像処理部１０２の画像出力部２０６を用いて、ステップＳ５０５で補正された可視光画像を出力する処理を行う。

以上が本実施形態における画像処理部の動作である。

次に、図５は、可視光画像補正処理部２０５の構成を示すブロック図である。可視光画像補正処理部２０５では、ステップＳ５０５で説明したように、可視光画像に対し非可視光画像を利用した補正処理を行う。

図５において、可視光画像補正処理部２０５は、可視光ＡＣ成分生成部３０１、非可視光ＡＣ成分生成部３０２、非可視光ＡＣ成分調整部３０３、非可視光ＡＣ加算部３０４を備えて構成される。可視光画像補正処理部２０５に入力される画像は、前段の処理でそれぞれ現像された可視光画像と非可視光画像であり、出力される画像は、非可視光画像を利用して補正された可視光画像である。

図６は、図４のステップＳ５０５に対応する可視光画像補正処理部２０５の処理の流れを示すフローチャートである。図６のフローチャートの動作は、システム制御部１０３が、ＲＯＭ１１０に記憶されたプログラムをＲＡＭ１１１に展開して実行することにより実現される。

ステップＳ６０１では、システム制御部１０３は、可視光ＡＣ成分生成部３０１を用いて、入力された可視光画像のＡＣ成分を生成する処理を行う。本実施形態では、可視光画像のＡＣ成分は可視光画像の輝度信号Ｙから算出する。ＡＣ成分の生成は、一般的なエッジ抽出処理の様に、所定の周波数帯域を抽出するバンドパスフィルタを画像に適用することにより行われる。

ステップＳ６０２では、システム制御部１０３は、非可視光ＡＣ成分生成部３０２を用いて、入力された非可視光画像のＡＣ成分を生成する処理を行う。ＡＣ成分の生成は、ステップＳ６０１と同様の方法で行われる。なお、ステップＳ６０１、ステップＳ６０２でそれぞれ使用するバンドパスフィルタの特性については、入力画像の空間周波数情報に応じて変更すればよい。例えば、非可視光画像を取得するセンサの画素サイズが可視光画像を取得するセンサの画素サイズに比べかなり大きい場合、非可視光画像のバンドパスフィルタ特性に比べ、可視光画像のバンドパスフィルタ特性が低周波側を抽出するように設計する。これにより、可視光画像と非可視光画像で同じ周波数帯域を抽出することが可能となる。

ステップＳ６０３では、システム制御部１０３は、非可視光ＡＣ成分調整部３０３を用いて、ステップＳ６０２で生成された非可視光画像のＡＣ成分を、ステップＳ６０１で生成された可視光画像のＡＣ成分に基づいて調整する。これにより、補正に使用する非可視光画像のＡＣ成分を生成する。非可視光画像のＡＣ成分の調整方法については、後ほど詳しく説明する。

ステップＳ６０４では、システム制御部１０３は、非可視光ＡＣ加算部３０４を用いて、ステップＳ６０３で調整された非可視光画像のＡＣ成分を可視光画像に加算することにより、可視光画像を補正する。

補正後の可視光画像の輝度信号をＹout、補正前の可視光画像の輝度信号をＹin、調整された非可視光画像のＡＣ成分をＩＲ_ＡＣadjとすると、（式２）を用いて座標（ｘ，ｙ）の可視光画像の輝度信号は補正される。

Ｙout(x,y)＝ＩＲ_ＡＣadj(x,y)＋Ｙin(x,y) …（式２）
なお、（式２）は特定の周波数のＡＣ成分のみで処理を行った結果であるが、ステップＳ６０１からステップＳ６０３までの処理を複数の周波数のＡＣ成分で処理し、（式３）を用いて可視光画像の輝度信号を補正することも可能である。ｉはＡＣ成分の周波数を区別するためのナンバリングである。

Ｙout(x,y)=ΣiＩＲ_ＡＣadji(x,y)＋Ｙin (x,y) …（式３）
以上が、本実施形態における可視光画像補正処理部２０５の処理である。

次に、ステップＳ６０３の処理に対応する非可視光ＡＣ成分調整部３０３の処理について説明する。非可視光ＡＣ成分調整部３０３は、非可視光画像のＡＣ成分を、可視光画像のＡＣ成分を参照しながら、質感優先とコントラスト優先それぞれの方法で調整し、調整したＡＣ成分を合成することにより最終的な非可視光画像のＡＣ成分を出力する処理を行う。

はじめに、図７を参照して、非可視光ＡＣ成分調整部３０３内の処理の主旨について説明する。

図７（ａ）は、主被写体としての縦縞模様の衣服を可視光画像と非可視光画像で撮影した画像のイメージ図である。図７（ａ）のように、可視光画像の衣服では、縦縞模様の色の違いが模様９０１で表現されているのに対し、非可視光画像の衣服では、同じ素材であれば色の違いによる影響が出ずに、衣服の生地の網目のみが表現されるといった特徴がある。

この特徴の理由は、図７（ｂ）で示した様に、縦縞模様の色の違いが含まれる分光反射率の範囲９０３は、可視光センサの分光感度特性９０４の波長帯に含まれるが、非可視光センサの分光感度特性９０５の波長帯には含まれないためである。この特徴により、例えば図７（ｃ）の様に、縦縞模様の部分の信号値を水平方向で取得すると、可視光画像の信号値９０６には、縦縞模様の色の違いによる信号値の違いが顕著に表れる。一方、非可視光画像の信号値９０７は、衣服の生地の網目による信号値の違いのみで模様の影響を受けない。

本実施形態では、この特徴を用いて、衣服の生地の網目を強調する様な質感優先のモードと、単にコントラストの高い画像を取得するコントラスト優先のモードでそれぞれ非可視光ＡＣ成分を調整する。

図８は、質感優先とコントラスト優先の調整方法の違いを示した図である。図８（ａ）のように、質感を強調したい場合には、被写体の輪郭に左右されず、非可視光のＡＣ成分の分布が一様になる部分を多く採用することが望ましい。反対に図８（ｂ）の様に、非可視光画像のコントラストが高い部分を利用してコントラストを強調したい場合には、非可視光のＡＣ成分の振幅が可視光のＡＣ成分の振幅よりも大きい部分を多く採用することが望ましい。

以上の様に、２つの考え方による調整のモードを、ユーザーの設定や調整したい周波数、被写体に応じて（補正後の可視光画像の画質に求められる条件に応じて）適切に使用できる構成を非可視光ＡＣ成分調整部３０３で実現する。

図９は、非可視光ＡＣ成分調整部３０３の構成を示すブロック図である。図９において、非可視光ＡＣ成分調整部３０３は、質感優先調整部４０１、コントラスト優先調整部４０２、非可視光ＡＣ合成部４０３を備えて構成される。入力される画像は可視光画像のＡＣ成分と非可視光画像のＡＣ成分であり、出力される画像は、調整された非可視光画像のＡＣ成分（調整後ＡＣ成分）である。

図１０は、図６のステップＳ６０３に対応する非可視光ＡＣ成分調整部３０３の処理の流れを示したフローチャートである。図１０のフローチャートの動作は、システム制御部１０３が、ＲＯＭ１１０に記憶されたプログラムをＲＡＭ１１１に展開して実行することにより実現される。

ステップＳ７０１では、システム制御部１０３は、非可視光ＡＣ成分調整部３０３の質感優先調整部４０１を用いて、質感を優先して非可視光画像のＡＣ成分を調整する処理を行う。この調整では、前述したように、被写体の輪郭に左右されず、非可視光のＡＣ成分の分布が一様になる部分を多く採用することが望ましい。そのため、本実施形態では、可視光のＡＣ成分の振幅の大きさと非可視光のＡＣ成分の振幅の大きさで被写体の輪郭を見極め、輪郭部分ではない領域で非可視光のＡＣ成分が一様に分布している領域のみを採用するような調整を行う。

本実施形態では、図１１（ａ）の様に、輪郭度合による調整係数Ｊと、一様度合による調整係数Ｋを用いて（式４）に示す調整を行う。ＩＲ_ＡＣが調整前の非可視光画像のＡＣ成分、ＩＲ_ＡＣradjが質感優先によって調整された非可視光画像のＡＣ成分である。（ｘ，ｙ）は画像の着目位置を示す。

ＩＲ_ＡＣradj(x,y)＝Ｊ(x,y)×Ｋ(x,y)×ＩＲ_ＡＣ(x,y) …（式４）
本実施形態では、図１１（ａ）の横軸の輪郭度合Ｅは（式５）、一様度合Ｕは（式６）を用いて算出する。ＩＲ_ＡＣは調整前の非可視光画像のＡＣ成分、Ｙ_ＡＣは可視光画像のＡＣ成分、ｉ，ｊは着目位置（ｘ，ｙ）を中心とした周囲の座標をそれぞれ示しており、ｍ，ｎは参照する周辺の範囲を指している。

Ｅ(x,y)=|ＩＲ_ＡＣ(x,y)|×|Ｙ_ＡＣ(x,y)| …（式５）

上記の（式５）から分かる様に、輪郭度合Ｅは非可視光画像のＡＣ成分と可視光画像のＡＣ成分の絶対値がどちらも大きい所ほど値が大きくなり、一様度合Ｕは非可視光画像のＡＣ成分の参照範囲の標準偏差が小さいほど、値が大きくなる。本実施形態では、上記の方法により質感優先の調整を行うが、これに限定されず、輪郭度合による調整係数Ｊと、一様度合による調整係数Ｋのうち、どちらか一方だけを用いて調整を行ってもよい。

図１０の説明に戻り、ステップＳ７０２では、システム制御部１０３は、非可視光ＡＣ成分調整部３０３のコントラスト優先調整部４０２を用いて、コントラストを優先して非可視光画像のＡＣ成分を調整する処理を行う。この調整では、前述したように、非可視光のＡＣ成分の振幅が可視光のＡＣ成分の振幅よりも大きい部分を多く採用することが望ましい。そのため、非可視光のＡＣ成分の振幅の大きさが可視光のＡＣ成分の振幅の大きさよりも大きい領域のみを採用するような調整を行う。

本実施形態では、図１１（ｂ）のように、コントラストの改善度合による調整係数Ｌを用いて（式７）を用いて調整を行う。ＩＲ_ＡＣが調整前の非可視光画像のＡＣ成分、ＩＲ_ＡＣcadjがコントラスト優先によって調整された非可視光画像のＡＣ成分である。（ｘ，ｙ）は画像の着目位置を示す。

ＩＲ_ＡＣcadj(x,y)＝Ｌ(x,y)×ＩＲ_ＡＣ(x,y) …（式７）
本実施形態では、図１１（ｂ）の横軸のコントラスト改善度合Ｃは、（式８）の様にして算出する。ＩＲ_ＡＣが調整前の非可視光画像のＡＣ成分、Ｙ_ＡＣが可視光画像のＡＣ成分、（ｘ，ｙ）は画像の着目位置を示す。

Ｃ(x,y)＝|ＩＲ_ＡＣ(x,y)|／(|Ｙ_ＡＣ(x,y)|＋１) …（式８）
上記の（式８）から分かる様に、コントラスト改善度合Ｃは可視光画像のＡＣ成分の絶対値に対する非可視光画像のＡＣ成分の絶対値の比が大きいほど値が大きくなる。本実施形態では、上記の方法でコントラスト優先の調整を行うが、これに限定されず、可視光画像のＡＣ成分の振幅の大きさと非可視光画像のＡＣ成分の振幅の大きさを比較して、非可視光画像のＡＣ成分の振幅の方が大きい場合にのみ非可視光画像のＡＣ成分が採用される様な調整を行ってもよい。

ステップＳ７０３では、システム制御部１０３は、非可視光ＡＣ成分調整部３０３の非可視光ＡＣ合成部４０２を用いて、ステップＳ７０１で質感優先によって調整された非可視光画像のＡＣ成分と、ステップＳ７０２でコントラスト優先によって調整された非可視光画像のＡＣ成分（２つの中間ＡＣ成分）を合成する。そして、最終的に調整された非可視光画像のＡＣ成分を生成する。

最終的に調整された非可視光画像のＡＣ成分をＩＲ_ＡＣadjとすると、ＩＲ_ＡＣadjは、加重平均を行う（式９）を用いて算出される。ＩＲ_ＡＣradjが質感優先によって調整された非可視光のＡＣ成分、ＩＲ_ＡＣcadjがコントラスト優先によって調整された非可視光のＡＣ成分であり、αは値０．０～１．０の値をとる合成係数、（ｘ，ｙ）は画像の着目位置を示す。

ＩＲ_ＡＣadj(x,y)＝
α(x,y)×ＩＲ_ＡＣradj(x,y)＋(１．０－α(x,y))×ＩＲ_ＡＣ_cadj(x,y)
…（式９）
なお、本実施形態では、合成係数αは座標によらずあらかじめ決められた値を用いるが、シーン認識結果やユーザーの設定によって決められた値でもよい。また、被写体認識技術等を利用して、座標（画像内の部分領域）に応じて合成係数を変えるようにしてもよい。また、前述したように周波数の異なる複数のＡＣ成分を調整する際には、質感を強調したい周波数帯域とそうでない周波数帯域などで、合成係数の値を変化させてもよい。

以上が、本実施形態における非可視光ＡＣ成分調整部３０３の処理である。

以上説明したように、本実施形態によれば、質感を強調したい場合やコントラストや解像感を向上させたい場合に応じてそれぞれ最適な形で非可視光画像を用いることにより、可視光画像の補正を適切に行うことが可能となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：撮像部、１０２：画像処理部、１０３：システム制御部、１０４：表示部、１０５：記録部１０５、１０６：ネットワーク処理部、１０７：操作部、１０８：バス、１１０：ＲＯＭ、１１１：ＲＡＭ

Claims (14)

1. 可視光画像と非可視光画像とを入力する入力手段と、
   前記可視光画像のＡＣ成分を生成する第１の生成手段と、
   前記非可視光画像のＡＣ成分を生成する第２の生成手段と、
   前記非可視光画像のＡＣ成分を前記可視光画像のＡＣ成分に基づいて調整し、調整後ＡＣ成分を取得する調整手段と、
   前記調整後ＡＣ成分を用いて前記可視光画像を補正する補正手段と、を備え、
   前記調整手段は、前記補正手段により補正された前記可視光画像の画質に、被写体の質感を優先した画質を求められているか、被写体のコントラストを優先した画質を求められているか、に応じて、前記非可視光画像のＡＣ成分を調整することを特徴とする画像処理装置。
2. 前記調整手段は、前記非可視光画像のＡＣ成分を調整して複数の中間ＡＣ成分を生成し、該複数の中間ＡＣ成分を、前記可視光画像の画質に求められる条件に応じて合成して、前記調整後ＡＣ成分を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記調整手段は、前記複数の中間ＡＣ成分を、前記可視光画像の画質に求められる条件に応じて加重平均することにより合成することを特徴とする請求項２に記載の画像処理装置。
4. 前記調整手段は、画像内の部分領域に応じて加重平均の係数を変化させることを特徴とする請求項３に記載の画像処理装置。
5. 前記調整手段は、前記複数の中間ＡＣ成分として、２つの中間ＡＣ成分を生成することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記２つの中間ＡＣ成分は、被写体の質感を優先する第１の中間ＡＣ成分と、被写体のコントラストを優先する第２の中間ＡＣ成分であることを特徴とする請求項５に記載の画像処理装置。
7. 前記調整手段は、前記可視光画像のＡＣ成分の振幅と、前記非可視光画像のＡＣ成分の振幅とに基づいて、前記非可視光画像のＡＣ成分を調整することを特徴とする請求項６に記載の画像処理装置。
8. 前記第１の中間ＡＣ成分は、前記非可視光画像のＡＣ成分の振幅が小さい部分であり、前記第２の中間ＡＣ成分は、前記第１の中間ＡＣ成分よりも前記非可視光画像のＡＣ成分の振幅が大きい部分であることを特徴とする請求項７に記載の画像処理装置。
9. 前記補正手段は、前記調整後ＡＣ成分を前記可視光画像に加算することにより、前記可視光画像を補正することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記非可視光画像は、可視光よりも波長の長い赤外光を撮像した画像であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記可視光画像と前記非可視光画像とを撮像する撮像手段をさらに備えることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 可視光画像と非可視光画像とを入力する入力工程と、
    前記可視光画像のＡＣ成分を生成する第１の生成工程と、
    前記非可視光画像のＡＣ成分を生成する第２の生成工程と、
    前記非可視光画像のＡＣ成分を前記可視光画像のＡＣ成分に基づいて調整し、調整後ＡＣ成分を取得する調整工程と、
    前記調整後ＡＣ成分を用いて前記可視光画像を補正する補正工程と、を有し、
    前記調整工程では、前記補正工程において補正された前記可視光画像の画質に、被写体の質感を優先した画質を求められているか、被写体のコントラストを優先した画質を求められているか、に応じて、前記非可視光画像のＡＣ成分を調整することを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
14. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。