JP6221682B2 - 画像処理装置、撮像システム、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像を補正して霧や黄砂等の外乱を除去する画像処理装置、撮像装置と画像処理装置を含む撮像システム、画像処理方法およびその方法をコンピュータに実行させるためのプログラムに関する。

ダムの水量監視、駅ホームの乗降状況の確認、店舗、空港や学校内の監視等を行うために、監視カメラが使用されている。この監視カメラは、住宅等への侵入者の検知、不審物の検知や犯罪者の顔認証等を画像処理により行う場合にも使用されている。

監視カメラを屋外に設置した場合に、霧や黄砂等の、撮像された画像に対して外的に影響を与える外乱が発生すると、画像のコントラスト（明暗差）が低下し、侵入者の検知等の画像処理に失敗するという問題があった。

この問題に鑑み、可視光画像と赤外光画像をレンズから取得し、可視光画像内で霧によりコントラストが低下した暗部を、赤外光画像に置き換えることで、明暗がはっきりした画像に補正する技術が提案されている（特許文献１参照）。

また、霧や黄砂等の外乱を除去する目的ではないが、赤外光画像から明度を、可視光画像から彩度を取得することにより、遠距離撮影時でも鮮鋭なカラー画像を取得することができる技術も提案されている（特許文献２参照）。

撮像された画像は、外乱によりコントラストに加えて彩度（色味）も低下する。上記従来の技術では、この彩度を復元する処理を行っていないため、外乱が発生する前に撮像された画像と比較してみると、色情報が失われている。

また、外乱が発生すると、画像の鮮鋭性（鮮明さ）も失われるが、上記従来の技術は、この鮮鋭性も復元していないため、外乱が発生する前に撮像された画像と比較してみると、ぼけた画像になる。

可視光は霧等により屈折するが、赤外光は霧等が発生してもほとんど屈折しない。このため、可視光画像と赤外光画像とをそのまま合成すると、位置がずれてしまう。しかしながら、上記従来の技術では、この位置がずれてしまうことを考慮していない。これでは、上記検知や顔認証等の画像処理の精度が低くなってしまう。

そこで、彩度や鮮鋭性を復元し、位置ずれも考慮して、外乱を除去した画像に補正することができる装置や方法の提供が望まれている。

本発明は、上記課題に鑑み、少なくとも１つの撮像装置により撮像された画像を処理するための画像処理装置であって、少なくとも１つの撮像装置から画像として赤外光画像と可視光画像とを取得する画像取得部と、画像取得部により取得された可視光画像に対して彩度補正を行う画像補正部と、画像取得部により取得された赤外光画像の明度情報と、画像補正部により補正された可視光画像の彩度情報および色相情報とを用いて、赤外光画像と補正された可視光画像との位置ずれを補正し、位置ずれを補正した後の赤外光画像と可視光画像とを合成して合成画像を生成する合成画像生成部とを含む、画像処理装置が提供される。

本発明の装置、システム、方法およびプログラムを提供することにより、彩度や鮮鋭性を復元し、位置ずれも考慮して、外乱を除去した画像に補正することができ、上記検知や顔認証等の画像処理の精度を向上させることができる。

本実施形態の撮像システムの概略構成を示した図。 図１に示す撮像装置の第１のハードウェア構成を示した図。 図１に示す撮像装置の第２のハードウェア構成を示した図。 図１に示す撮像装置の第３のハードウェア構成を示した図。 図１に示す撮像装置の第４のハードウェア構成を示した図。 図１に示す画像処理装置のハードウェア構成を例示した図。 図６に示す画像処理装置の機能ブロック図。 大気外乱の要因に合わせたＲＧＢ色空間における彩度補正について説明する図。 他の色空間における彩度補正について説明する図。 エッジ検出について説明する図。 色相分割について説明する図。 視差について説明する図。 大気外乱による悪影響について説明する図。 赤外光画像と可視光画像の合成について説明する図。 位置ずれ補正の第１例について説明する図。 位置ずれ補正の第２例について説明する図。 位置ずれ補正の第３例について説明する図。 位置ずれ補正の第４例について説明する図。 位置ずれ補正の第５例について説明する図。 位置ずれ補正の第６例について説明する図。 位置ずれ補正の第７例について説明する図。 図１に示す画像処理装置により実行される画像処理の流れを示したフローチャート。

図１は、本実施形態の撮像装置と画像処理装置とを含む撮像システムの構成例を示した図である。図１に示す撮像システムは、撮像装置としての２つのカメラ１０、１１と、画像処理装置としてのＰＣ１２とから構成されている。ここでは、画像処理装置としてＰＣ１２を用いているが、カメラ１０、１１に画像処理エンジンを搭載し、その画像処理エンジンを画像処理装置として用いることも可能である。また、画像処理を行う装置として、ＰＣ１２以外の機器を用いることも可能である。カメラ１０、１１とＰＣ１２とは、直接ケーブルにより、もしくはネットワークを介して接続され、撮像した画像の画像データを、カメラ１０、１１からＰＣ１２へ送信することができるようになっている。

カメラ１０、１１とＰＣ１２とを接続する場合、有線接続、無線接続のいずれの方式で接続してもよい。無線接続する場合、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ等の無線ＬＡＮ等を利用することができる。無線ＬＡＮを利用する場合、ネットワークに接続されたアクセスポイントと呼ばれる無線通信を中継する中継装置を介して通信を行うことができる。

カメラ１０は、赤外線の波長領域内にある赤外光により形成される画像（赤外光画像）を取得する赤外光カメラである。カメラ１１は、可視光線の波長領域内にある可視光により形成される画像（可視光画像）を取得する可視光カメラである。これらカメラの詳細な構成については、後述する。なお、図１では、２つのカメラ１０、１１を使用する構成を例示しているが、赤外光画像と可視光画像の両方を取得することができれば、１台のカメラを使用してもよい。

ＰＣ１２は、２つのカメラ１０、１１から送信された赤外光画像の画像データおよび可視光画像の画像データを受信し、それら画像データを用いて画像処理を行う。このように実際にやりとりされるものは、画像データであるが、以下、説明を容易にするために、画像として説明する。

ＰＣ１２における画像処理では、各画像につき補正を行い、各画像の位置を調整し、２つの画像を合成して、合成画像を出力する。出力された合成画像は、例えば、データベースに登録されている複数の画像と照合され、上述した侵入者の検知、不審物の検知、犯罪者の顔認証等の画像処理に使用される。このデータベースは、別途設けられていてもよいし、ＰＣ１２に実装されていてもよい。

図２〜図５を参照して、カメラ１０、１１のハードウェア構成について説明する。図２では、カメラ１０、１１は、光が入力されるレンズ２０、２１と、レンズ２０、２１を通過した光を受光するセンサ２２、２３とを含んで構成されている。カメラ１０、１１は、図示していないが、そのほか、レンズ２０、２１に近隣して配置される絞り、その絞りとセンサ２２、２３との間に配置されるシャッタ等を備えることができる。

レンズ２０、２１は、焦点距離が固定された単焦点レンズであってもよいし、焦点距離を連続的に変化させることができるズームレンズであってもよい。センサ２２は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサと、カラーフィルタとを用いた、ＲＧｒＧｂＢセンサとすることができる。

図２では、センサ２２の総画素数Ｎに対して、緑(Gr、Gb)の画素をＮ／２とし、赤(R)および青(B)の画素をＮ／４として主走査方向および副走査方向に１つ置きに配置したベイヤ配列されたセンサを用いている。このセンサ２２において、可視領域の光（可視光線）を受光し、電気信号に変換（ベイヤ変換）することで、ＲＧＢの三原色からなるカラーの可視光画像を取得することができる。ここで、主走査方向は、例えば、画像に向かって横方向（左から右へ向かう方向）であり、副走査方向は、主走査方向に対して垂直な縦方向（上から下へ向かう方向）である。

センサ２３は、赤外領域の光（赤外線）を受光し、電気信号に変換する専用の赤外線センサ（Ｉｒセンサ）を用いることができる。このＩｒセンサにより電気信号に変換することで、赤外光画像を取得することができる。なお、これらのセンサ２２、２３から出力される電気信号はアナログ信号である。このため、Ａ／Ｄコンバータを用い、アナログ信号をデジタルデータへ変換し、このデジタルデータを可視光画像の画像データや赤外光画像の画像データとして取得することができる。

図２では、カメラを２台用いて、赤外光画像と可視光画像とをそれぞれ別個に取得する構成を例示した。カメラを２台用いると、装置コストがかかることから、それら２つの画像をカメラ１台で取得することができれば、１台のほうが望ましい。図３には、１台のカメラ１０のみを用い、２つの画像を取得する構成の一例が示されている。この構成では、レンズ２０と、センサ２２、２３とのほか、３つのミラー２４〜２６と、赤外光カットフィルタ２７と、可視光カットフィルタ２８とを備えている。

ミラー２４は、２枚のミラーがＶ字形に連結されていて、入射された光を２方向へ分離することができるようになっている。このため、レンズ２０に入射された光は、ミラー２４により２方向への光に分離された後、一方がミラー２５を介して赤外光カットフィルタ２７へ送られ、他方がミラー２６を介して可視光カットフィルタ２８へ送られる。赤外光カットフィルタ２７では、入射された光の赤外領域の光（波長が約０．７μｍ〜約１ｍｍ）の透過を阻止し、それより短い波長の可視光（波長が約３８０ｎｍ〜約８１０ｎｍ）を透過させる。赤外光カットフィルタ２７を透過した可視光は、センサ２２により受光され、電気信号に変換される。そして、Ａ／Ｄコンバータにより変換され、可視光画像が画像データとして取得される。

可視光カットフィルタ２８では、入射された光のうち可視光の透過を阻止し、それより波長が長い赤外光を透過させる。可視光カットフィルタ２８を透過した赤外光は、センサ２３により受光され、電気信号に変換される。そして、Ａ／Ｄコンバータにより変換され、赤外光画像が画像データとして取得される。

カメラ１台のみを用いる構成としては、図４や図５に示すような構成を採用することもできる。図４に示す構成では、レンズ２０とセンサ２９のみが使用される。センサ２９は、特殊なセンサで、ベイヤ配列ではなく、Ｒ、Ｇ、Ｂ、Ｉｒが１つのセンサに実装され、この１つのセンサにより可視光画像と赤外光画像を取得することができるようになっている。ただし、このセンサ２９は、専用のＩｒセンサに対して実質１／４の画素数しかないので、実質１／４の解像度となる。

図５に示す構成では、レンズ２０と、センサ２２、２３と、フレーム単位で切り替えて使用する赤外光カットフィルタ２７、可視光カットフィルタ２８、ミラー３０とを備えている。図２〜図４の構成では、赤外光画像と可視光画像とを同じタイミングで取得することができたが、図５に示す構成では、フレーム単位で切り替えて使用するため、同じタイミングで取得することはできない。

したがって、あるタイミングでは、赤外光カットフィルタ２７を使用し、赤外光の透過を阻止し、可視光を透過させ、センサ２２へ入射させる。これにより、センサ２２では、入射された光を電気信号へ変換し、可視光画像を取得する。その次のタイミングでは、可視光カットフィルタ２８とミラー３０とを使用し、可視光の透過を阻止し、赤外光を透過させ、ミラー３０によりセンサ２３へ入射させる。これにより、センサ２３では、入射された光を電気信号へ変換し、赤外光画像を取得する。例えば、偶数フレームは、赤外光カットフィルタ２７を使用し、奇数フレームは、可視光カットフィルタ２８およびミラー３０を使用して、可視光画像および赤外光画像を取得することができる。

図５に示す構成では、２つのフレームに対して、それぞれ１枚の画像しか得られないため、図２〜図４に示す構成と同じ撮影速度を出すためには、それらの２倍の速度で撮影する必要がある。なお、図２〜図５に示した構成は、一例を示したものであり、可視光画像と赤外光画像とを取得することができる構成であれば、これ以外のいかなる構成を採用してもよい。

図６は、ＰＣ１２のハードウェア構成を例示した図である。ＰＣ１２は、カメラ１０、１１から出力された赤外光画像および可視光画像を画像データとして取得し、それら２つの画像に対して画像処理を施し、合成して合成画像を生成する処理を行う。このため、これらの処理を実行するためのプログラムが記憶された記憶装置と、その記憶装置からそのプログラムを読み出して実行するＣＰＵ４０とを備える。記憶装置は、ブートプログラムやファームウェア等を記憶するＲＯＭ４１と、ＣＰＵ４０に対して作業領域を提供するＲＡＭ４２と、上記のプログラムやＯＳ、その他のアプリケーション等を記憶するＨＤＤ４３とを含んで構成される。なお、ＨＤＤ４３に代えてＳＳＤを用いることもできる。

ＰＣ１２は、カメラ１０、１１とケーブル等により接続するための入出力インタフェース４４と、ネットワークを介して通信を可能にする図示しない通信インタフェースとを備えることができる。また、ＰＣ１２は、記録メディア４５への読み書きを可能にする外部記憶インタフェース４６、処理状況等を表示するための表示装置４７、各種データや設定値の入力、アイコンの選択等を行う入力装置４８を備えることができる。入力装置４８としては、キーボードやマウス等を用いることができる。

ＣＰＵ４０、ＲＯＭ４１、ＲＡＭ４２、ＨＤＤ４３、入出力インタフェース４４等は、バス４９に接続され、バス４９を介して互いにデータ等のやりとりを行うことができるようになっている。

図７は、ＰＣ１２の機能ブロック図である。ＣＰＵ４０がＨＤＤ４３に記憶されたプログラムを読み出し実行することにより、以下に示す各機能部として機能させることができる。ＰＣ１２は、カメラ１０、１１といった少なくとも１つの撮像装置により撮像された画像を処理するための画像処理装置として機能する。ＰＣ１２は、カメラ１０、１１から赤外光画像と可視光画像とを取得する画像取得部５０と、画像取得部５０により取得された可視光画像に対して彩度補正を行う画像補正部５１と、合成画像生成部５２とを備える。

合成画像生成部５２は、赤外光画像の明度情報と、補正された可視光画像の彩度情報および色相情報とを用いて、赤外光画像とその補正された可視光画像との位置ずれを補正する。そして、合成画像生成部５２は、位置ずれを補正した後の赤外光画像と可視光画像とを合成して合成画像を生成する。

ＰＣ１２は、そのほか、フィルタ部５３と、エッジ検出部５４と、色相分割部５５とを備えることができる。これらの機能部は、必要に応じて設けることができる。フィルタ部５３は、フィルタ処理をかけ、入力された画像のノイズを除去し、エッジ強調を行う。ノイズ除去は、カメラ１０、１１が備える撮像素子の不良等に起因して発生するノイズを取り除く処理である。例えば、移動平均フィルタやメディアンフィルタ等を使用してノイズを除去することができる。エッジ強調は、画像の輪郭の濃度勾配を急峻にし、画像をシャープにする処理である。この処理には、例えば、アンシャープマスク等を使用することができる。これらの処理は、よく知られた処理であり、ここでは詳述しない。

エッジ検出部５４は、画像の明度が急峻、すなわち不連続に変化するエッジを検出する。例えば、明度が閾値を超えるかどうかを判定することにより、エッジかどうかを決定することができる。このエッジ検出は、例えば、ラプラシアンフィルタ、ソーベルフィルタ、プレヴィッツフィルタ等を使用して行うことができる。

色相分割部５５は、彩度補正後の可視光画像の色相を分割し、画素毎にどの色相にあるかを判定する。この色相は、例えば、８分割であってもよいし、１６分割であってもよい。分割数は、任意に設定することができる。

画像取得部５０は、カメラ１０、１１から赤外光画像と可視光画像とを取得する。ここで、各画像の特徴について説明しておく。赤外光画像は、霧や黄砂といった外乱の影響を受けにくく、鮮鋭性が高く、コントラストも高いという長所をもつ反面、モノクロ画像になってしまうという短所をもつ。可視光画像は、外乱の影響を受けやすく、鮮鋭性が低下しやすく、コントラストも低下しやすい。可視光画像は、カラー画像であるため、ある程度の彩度をもつが、外乱が発生した場合、その外乱の影響により彩度等は低下する。

画像取得部５０は、取得した赤外光画像をフィルタ部５３へ出力し、フィルタ部５３が、その赤外光画像に対してフィルタ処理をかける。フィルタ処理では、上述したノイズ処理とエッジ強調を実施する。フィルタ部５３は、フィルタ処理をかけた後、エッジ検出部５４へフィルタ処理後の赤外線画像を出力する。また、フィルタ部５３は、合成画像生成部５２へも、そのフィルタ処理後の赤外光画像を出力する。

エッジ検出部５４は、その赤外光画像に対してエッジ検出を行う。エッジ検出は、赤外光画像の画素毎にエッジであるか、非エッジであるかを判定し、１ビットのエッジ情報として記録する。エッジ情報は、図６に示したＲＡＭ４２等の記憶装置に記憶することにより記録することができる。エッジ検出部５４は、この記録したエッジ情報を合成画像生成部５２へ出力することができる。なお、エッジ情報は、エッジ検出部５４が合成画像生成部５２へ出力する形ではなく、合成画像生成部５２が取得する形であってもよい。

画像取得部５０は、取得した可視光画像を画像補正部５１へ渡し、画像補正部５１が、その可視光画像に対して彩度補正を行う。彩度補正では、外乱の影響を受けて低下した可視光画像の彩度を補正し、その彩度を向上させる。彩度補正は、ＲＧＢという三原色の色空間をもつ可視光画像の場合、ＹＵＶという別の色空間に変換した後に、補正パラメータとしてのＬＵＴを用いて実施することもできるし、そのＹＵＶに変換する際のマスキング処理において実施することもできる。

ここで、ＹＵＶは、輝度信号(Y)、輝度信号と青色成分の差分信号(U)、輝度信号と赤色成分の差分信号(V)の３要素によって色を表現する色空間である。ＬＵＴは、色の変換元と変換先を記したテーブルである。マスキング処理は、色変換の１つの手法で、入力色空間にマトリクス演算を施して出力色空間を求める手法である。

彩度補正は、霧や黄砂等の撮影時の外乱の種類に応じてＬＵＴを切り替えることができる。その詳細については後述する。そして、色相分割部５５が、彩度補正後の可視光画像に対して色相分割する。この色相分割により、可視光画像の色味に関わるＹＵＶという３つの成分のうち、ＵＶの２つの成分（ＵＶ版）のバランスに応じて色相を決定する。色相分割部５５は、こうして得られた色相情報と、可視光画像とを後段の合成画像生成部５２へ出力する。

合成画像生成部５２は、赤外光画像と可視光画像とを、その位置座標を合わせる位置ずれ補正を行ってから合成する。合成画像は、ＹＵＶ版をもち、Ｙにはフィルタ部５３から出力された赤外光画像のＹ版を、ＵＶにはＹＵＶに変換した可視光画像のＵＶ版を用いる。合成の際、最初にレンズの位置関係（視差）の補正を行う。この視差補正を行っても、外乱の屈折の影響で、赤外光画像の画素と、可視光画像の画素の位置がずれる可能性が高い。ちなみに、赤外光はほとんど屈折しない。ＹＵＶが重ならないと、異常な画像に見えることから、赤外光画像におけるエッジの位置と可視光画像における色相の境界とが重なるように位置合わせして合成する。

このように合成して合成画像を生成することにより、霧や黄砂等の外乱の影響を受けても、鮮鋭性、コントラスト、彩度が高い画像を出力することができる。以降、各機能部が実行する各処理の内容について１つずつ順に、詳細に説明していく。

図８は、外乱として大気外乱の要因に合わせたＲＧＢ色空間における彩度補正について説明する図である。ここでは、彩度補正の例として、ＬＵＴを用いた処理を説明する。図８（ａ）は、大気外乱の一例として、霧が発生した場合の彩度補正について説明する図であり、図８（ｂ）は、黄砂が発生した場合の彩度補正について説明する図である。

図８（ａ）に示すグラフの横軸は、入力の画素値を示し、縦軸は、出力の画素値を示す。グラフに示す直線は、彩度補正を行わない場合の入力および出力の画素値の関係を示している。曲線は、霧が発生した場合の各色につき設定されたＬＵＴを表している。例えば、彩度補正前の入力の画素値がＲ、Ｇ、Ｂのいずれも１００であったとする。彩度補正を行わない場合、横軸の１００に相当する位置から上に垂線を引き、直線との交点の縦軸座標がその出力の画素値となる。すなわち、その出力の画素値は(R,G,B)=(100,100,100)となる。

これに対し、彩度補正を行った場合は、横軸の１００に相当する位置から上に垂線を引き、各曲線との交点の縦軸座標が彩度補正後の画素値となる。すなわち、その出力の画素値は(R,G,B)=(R100,G100,B100)となる。

霧が発生した場合、霧による光の屈折、散乱、吸収が起こり、その影響はその光の波長が短いほど受けやすい。ＲＧＢ版の可視光画像では、Ｂ、Ｇ、Ｒの順に霧の影響を受けやすいことになる。このため、Ｂ版は彩度が低下しやすいが、Ｒ版は彩度が低下しにくい。また、図８（ａ）の斜線で示した低彩度部や高彩度部は、比較的霧の影響を受けにくい傾向がある。そこで、ＲＧＢの色毎にＬＵＴを表す曲線の形状を変え、影響を受けやすい中彩度部の彩度が向上するようにしている。なお、ＬＵＴの形状は、図８（ａ）に示したような形状に限られるものではなく、他の形状であってもよい。また、ここでは各色につき、ＬＵＴの形状を変えているが、同じ形状としてもよい。

図８（ｂ）に示すグラフも、横軸は、入力の画素値を示し、縦軸は、出力の画素値を示す。グラフに示す直線は、彩度補正を行わない場合の入力および出力の画素値の関係を示している。曲線は、黄砂が発生した場合の各色につき設定されたＬＵＴを表している。

黄砂が発生した場合、黄砂による光の屈折、散乱、吸収が起こるが、黄砂の主成分である黄色の補色である青(B)がその影響を強く受け、彩度が低下する。これに対し、緑(G)、赤(R)はその影響を受けにくい。そこで、Ｂ版のみを彩度を大きく持ち上げたＬＵＴの形状とし、Ｇ版、Ｒ版については彩度を極端に上げないようにしたＬＵＴの形状とする。これもまた、ＬＵＴの形状は、図８（ｂ）に示したような形状に限られるものではなく、他の形状であってもよい。また、ここでは各色につき、ＬＵＴの形状を変えているが、同じ形状としてもよい。図８では、大気外乱として霧と黄砂を例として挙げたが、他の大気外乱に適用することも可能である。

図９は、他の色空間における彩度補正について説明する図である。図８ではＲＧＢ色空間で彩度補正を行っているが、この図９では、ＲＧＢを一般的な変換式を用いてＹＵＶ色空間に変換し、明度であるＹ版に対しては処理をかけず、彩度・色相であるＵＶ版のみ処理をかけてもよい。大気外乱が霧である場合、霧の影響を受けやすい青(B)を表現するＵ版のＬＵＴの傾きを大きく、霧の影響を受けにくい赤(R)を表現するＶ版のＬＵＴの傾きを小さくしている。ここでは、ＹＵＶ色空間を一例に挙げたが、他の色空間で彩度補正を行ってもよく、また、ＬＵＴの傾きは自由に変えることができる。また、外乱は、霧以外の黄砂やその他のものであってもよい。

これまで彩度補正について説明したので、次に、エッジ検出について、図１０を参照して詳細に説明する。被写体を文字「Ａ」とし、赤外光カメラで撮像された赤外光画像のエッジ検出は、その赤外光画像に対して、エッジ強調やノイズ除去等の汎用的なフィルタ処理をかけた画像について行う。図１０（ａ）は、そのフィルタ処理をかけた後の赤外光画像である。この赤外光画像は、彩度がなく（彩度０）、明度情報のみで構成される画像である。

図１０（ｂ）は、図１０（ａ）に示した赤外光画像に対して、エッジ検出を行うために用いられるフィルタの一例として、ラプラシアンフィルタを示した図である。このラプラシアンフィルタは、一般的なもので、係数、マトリクスサイズはこれに限られるものではなく、その他の係数、マトリクスサイズであってもよい。また、フィルタは、ラプラシアンフィルタに限られるものではなく、ソーベルフィルタ等のエッジ検出を行うことができる他のフィルタを用いることもできる。

図１０（ｃ）は、図１０（ａ）に示す赤外光画像に対して、図１０（ｂ）に示すフィルタを用いてエッジ検出を行った結果を示した図である。エッジ検出は、上記フィルタを用いてマトリクス演算を行い、予め設定した閾値を超えたか否かを判定し、閾値を超えた箇所をエッジとして決定し、そのエッジを検出する。図１０（ｃ）では、エッジとして検出された箇所が白色で示された線で表されている。

図１１を参照して、色相分割について詳細に説明する。色相分割は、可視光画像について彩度補正を行った後の画像に対して行われる。この色相分割では、その画像を分割し、画素毎にどの色相にあるかを判定する。図１１では、彩度補正を行った後の可視光画像をＹＵＶ版に変換し、その彩度情報であるＵＶ版の情報を用い、８つの色相に分割している。図１１では、Ｖ、Ｕを軸に、Ｖ、Ｕの大小の比較結果と正負の判定結果を利用し、（１）〜（８）の色相に分解している。分割された結果は、画素単位で３ビットの色相情報として保持し、この色相情報は、合成画像生成部５２へ出力される。

色相分割は、図１１に示したような８分割に限定されるものではなく、１６分割や２４分割等、自由に分割数を設定することができ、また、その分割方法も自由に設定することができる。また、分割対象の色空間も、ＹＵＶに限定されるものではなく、ＲＧＢ等の他の色空間で色相分割を行ってもよい。

カメラを２台使用して同時に撮像を行い、赤外光画像と可視光画像とを取得する場合、図１２（ａ）に示すように、被写体に対して各カメラの位置が異なるため、被写体を含む撮影範囲が変わる。このため、撮像して得られた画像は、図１２（ｂ）に示すように、視差が発生する。この視差は、一般的に知られている視差補正技術を用いて取り除くことができる。具体的には、カメラの撮影レンジ、カメラ間の距離、被写体までの距離等の情報を用いて補正を行い、図１２（ｃ）に示すような画像を得ることができる。このように、被写体の画像の位置を画素単位で合わせることにより、後の合成処理で容易かつ正確に画像合成を行うことが可能となる。

視差補正は、図１２（ａ）に示すような２台のカメラを使用して同時に撮像する場合に行えばよい。このため、１台のカメラを使用して撮像する場合や、２台のカメラを使用する場合でも同時に撮像せず、同じ位置にカメラを置いて撮像する場合には、視差補正を行う必要はない。また、カメラを２台使用して同時に撮像する場合であっても、その視差が大きい場合のみ行い、その視差が小さい場合には、後述する位置ずれ補正のみを行ってもよい。

図１３を参照して、大気外乱によって画像に悪影響が及ぶ理由について説明する。ここでは、大気外乱として霧を例に挙げて説明する。図１３（ａ）は、霧を構成する１つの水滴を示し、その水滴における光の屈折の様子を示した図である。水滴は、周囲の空気と密度が異なるため、光が水滴を通過する際、図１３（ａ）に示したような屈折が起こる。屈折率は、光の波長によって異なり、波長が長いほど屈折しにくい。このため、波長が長い赤外光はほとんど屈折せず、その波長が長い青(B)ほど屈折しやすい。屈折しやすさは、この例で言うと、Ｂ、Ｇ、Ｂ、赤外光の順となる。

図１３（ｂ）は、その水滴が集まって霧を構成し、その霧がカメラによる撮像に及ぼす影響を示した図である。図１３（ａ）では、水滴により光が屈折のみしているが、図１３（ｂ）では、光の反射、吸収、散乱も起こっている。このように光の屈折、反射、吸収、散乱が起こることで、本来ならばカメラに入ってくる被写体の像がにじんだり、色ずれを生じたり、鮮鋭性が低下したりする。このようなにじみ等が、コントラストの低下、彩度の低下、鮮鋭性の低下の原因となる。

赤外光は、霧であっても、図１３（ａ）に示したように、ほとんど屈折しないので、反射、吸収、散乱等は起こりにくい。このため、コントラストや鮮鋭性の低下はほとんどない。ただし、色情報が欠落するので、彩度が０になる。

図１３（ｃ）は、霧が発生していない状態で撮像して得られた赤外光画像と可視光画像を示した図である。なお、これらの画像は、視差補正を行った後の画像である。これらの画像は、霧の影響がないため、可視光でもほとんど屈折は起こらず、視差補正後の赤外光画像と可視光画像における被写体の像はほぼ同じ位置に存在し、位置ずれが生じていない。

図１３（ｄ）は、霧が発生した状態で撮像して得られた赤外光画像と可視光画像を示した図である。赤外光は、霧がある状態でも屈折が起こりにくいので、赤外光画像における被写体の像は中央に位置しているが、可視光は屈折が起こるので、被写体の像がその中央からずれる。また、色が異なると、屈折の影響も異なるため、色が異なる場所（図１３（ｄ）中の網点と斜線部）では、その位置のずれ方が異なっている。

このような位置ずれを補正し、位置合わせして赤外光画像と可視光画像とを合成して合成画像を生成するが、図１４を参照して、その合成処理について詳細に説明する。ここでも、大気外乱として霧を例にとり、説明する。図１４（ａ）、（ｂ）は、霧が発生していない状態で撮像した赤外光画像と可視光画像とを例示した図である。これらの画像は、被写体の像の位置がほぼ中央にあり、位置ずれ等を補正する必要がないので、そのまま合成して合成画像を生成することができる。すると、合成画像は、図１４（ｃ）に示すような画像となる。

画像の合成は、まず、赤外光画像の色空間をＹＵＶ色空間に変換し、Ｙ（明度）の情報だけを取り出す。次に、可視光画像の色空間もＹＵＶ色空間に変換し、ＵＶ（彩度・色相）の情報だけを取り出す。そして、赤外光画像の明度情報（Ｙ値）と、彩度補正された可視光画像の彩度情報および色相情報（ＵＶ値）とを用い、それらを合わせたＹＵＶ画像を合成画像として生成し、出力する。

なお、霧が発生していない場合は、図１４（ｃ）に示すように、ＹＵＶの位置ずれがないため、エッジの位置と、色が変化する箇所を表す色相境界とは一致している。このため、この位置とこの色相境界とが重なるように合成することで、合成画像を生成することができる。合成に使用する赤外光画像は、フィルタ処理がかけられ、可視光画像は、彩度補正が行われた画像が使用され、視差補正が必要である場合には、視差補正が行われたものとされる。

図１４（ｄ）、（ｅ）は、霧が発生している状態で撮像した赤外光画像と可視光画像とを例示した図である。図１４（ｄ）は、図１３（ｄ）に示した状態と同じで、赤外光画像における被写体の像と可視光画像における被写体の像との位置がずれている。このため、ＹＵＶをそれぞれ取り出し、合成したところで、図１４（ｆ）に示すようなエッジの境界（実線）と可視光画像の色相の境界がずれてしまう。このずれを補正するために、位置ずれの補正を行う。

図１５を参照して、その位置ずれの補正について詳細に説明する。図１５では、矢線に示す、向かって横方向である主走査方向への位置ずれを補正する例について示している。このため、主走査方向への位置ずれ補正についてのみ説明するが、主走査方向に対して垂直な副走査方向への位置ずれも同様な方法により補正することができる。

主走査方向への位置ずれを補正する場合、図１５（ａ）に示すように、画像に向かって左上隅を基準点（例えば、座標(0,0）)として、その基準点から主走査方向へ１ラインずつ走査する。このとき、画素毎にエッジ検出結果と色相分割を行った結果とを参照する。エッジ検出結果は、図１５（ｂ）に示すような、エッジ部が白色の線で示された部分で、走査しているラインの画素毎にエッジ部であるか、非エッジ部であるかを示した情報である。エッジ部と判定された画素が複数左右に隣接している場合、その隣接している塊を１つのエッジ部として取り扱う。

色相分割を行った結果は、図１５（ｃ）に示すような、色毎に、その領域を区別する。ここでは、白地、網点、斜線という３つの領域に区別する。領域が別の領域に切り替わる箇所を、色相境界とする。

位置ずれの補正は、エッジ部と判定された画素と、色相境界と判定された画素の位置が一致しているかどうかを基準とし、画素毎に行う。例えば、エッジ部と判定された画素の位置と、色相境界と判定された画素の位置が閾値ｔｈ１以上、閾値ｔｈ２未満のときに位置ずれ補正を行うことができる。この閾値ｔｈ１、ｔｈ２は、任意に設定することができる。

具体的な位置ずれ補正の手順について、図１６〜図２２を参照して説明する。これらの例は、すべて主走査方向への位置ずれ補正の場合を示し、画像に向かって左側から右側へ走査する場合である。なお、走査方向は、その反対の右側から左側へ行ってもよい。また、副走査方向への位置ずれ補正は、その方向が向かって上側から下側へ走査し、同様の方法により行うことができる。

図１６は、その第１例を示した図で、主走査方向にエッジの位置または色相境界を検出する際、エッジ、色相境界、エッジ、色相境界が交互に検出された場合の例を示した図である。１つのエッジと、１つの色相境界とをセットで処理する。これは以降の処理も同様である。

図１６（ａ）に示すように、この例では、エッジ１、色相境界１、エッジ２、色相境界２の順に、エッジおよび色相境界が検出されている。最初に、エッジ１と色相境界１とをセット（１つの組）にする。色相境界１のすぐ右側にある画素（網点）のＵＶ値を記録する。図１６（ｂ）に示すように、色相境界１をエッジ１に合わせるために、エッジ１と色相境界１との間の画素に対して、その全てのＵＶ値を、その記録したＵＶ値と置き換える。これにより、図１６（ｃ）に示すように、エッジ１と色相境界１との間にある全ての画素のＵＶ値が、その記録したＵＶ値となる。すると、エッジ１と色相境界１とが同じ位置となり、見た目上の違和感、色ずれがなくなる。

次に、エッジ２と色相境界２とをセットにする。色相境界２のすぐ右側にある画素（網点）のＵＶ値を記録する。図１６（ｃ）に示すように、エッジ２と色相境界２との間の画素に対して、その全てのＵＶ値を、その記録したＵＶ値と置き換える。これにより、図１６（ｄ）に示すように、エッジ２と色相境界２との間にある全ての画素のＵＶ値が、その記録したＵＶ値となる。すると、エッジ２と色相境界２とが同じ位置となり、見た目上の違和感、色ずれがなくなる。

エッジと色相境界とが交互に連続する場合は、以降も同じ処理をくり返せばよい。セットしたエッジと色相境界が、エッジ、色相境界の順に繰り返されている場合、色相境界の右側にある画素のＵＶ値へ、エッジの位置と色相境界との間にある画素のＵＶ値を置き換える。

図１６では、エッジ、色相境界の順に交互に検出される例を示したが、図１７では、色相境界、エッジの順に交互に検出される例について示す。この例では、図１７（ａ）に示すように、色相境界１、エッジ１、色相境界２、エッジ２の順に、エッジおよび色相境界が検出されている。最初に、エッジ１と色相境界１とをセットにする。色相境界１のすぐ左側にある画素（斜線）のＵＶ値を記録する。図１７（ｂ）に示すように、色相境界１をエッジ１に合わせるために、エッジ１と色相境界１との間の画素に対して、その全てのＵＶ値を、その記録したＵＶ値と置き換える。これにより、図１７（ｃ）に示すように、エッジ１と色相境界１との間にある全ての画素のＵＶ値が、その記録したＵＶ値となる。すると、エッジ１と色相境界１が同じ位置となり、見た目上の違和感、色ずれがなくなる。

次に、エッジ２と色相境界２とをセットにする。色相境界２のすぐ左側にある画素（網点）のＵＶ値を記録する。図１７（ｃ）に示すように、エッジ２と色相境界２との間の画素に対して、その全てのＵＶ値を、その記録したＵＶ値と置き換える。これにより、図１７（ｄ）に示すように、エッジ２と色相境界２との間にある全ての画素のＵＶ値が、その記録したＵＶ値となる。すると、エッジ２と色相境界２が同じ位置となり、見た目上の違和感、色ずれがなくなる。

この場合も、エッジと色相境界とが交互に連続するとき、以降も同じ処理を繰り返すことにより、位置ずれの補正を行うことができる。また、セットにしたエッジと色相境界とが、色相境界、エッジの順に交互に検出される場合は、色相境界の右側にある画素のＵＶ値へ、エッジの位置と色相境界との間にある画素のＵＶ値を置き換える。

図１６および図１７では、エッジと色相境界とが交互に連続している場合について説明してきた。実際には、交互に連続する以外に、エッジ、色相境界、色相境界、エッジといったように、不連続に検出される場合もある。以下、このように不連続に検出される場合について説明する。

図１８は、エッジ、色相境界、色相境界、エッジといったエッジと色相境界が途中で切り替わる場合の例を示した図である。図１８（ａ）に示すように、この例では、エッジ１、色相境界１、色相境界２、エッジ２の順に、エッジおよび色相境界が検出されている。最初に、エッジ１と色相境界１とをセットにする。色相境界１のすぐ右側にある画素（網点）のＵＶ値を記録する。図１８（ｂ）に示すように、色相境界１をエッジ１に合わせるために、エッジ１と色相境界１との間にある画素に対して、その全てのＵＶ値を、その記録したＵＶ値と置き換える。これにより、図１８（ｃ）に示すように、エッジ１と色相境界１との間にある全ての画素のＵＶ値が、その記録したＵＶ値となる。すると、エッジ１と色相境界１が同じ位置となり、見た目上の違和感、色ずれがなくなる。

次に、エッジ２と色相境界２とをセットにする。色相境界２のすぐ左側にある画素（網点）のＵＶ値を記録する。図１８（ｃ）に示すように、エッジ２と色相境界２との間の画素に対して、その全てのＵＶ値を、その記録したＵＶ値と置き換える。これにより、図１８（ｄ）に示すように、エッジ２と色相境界２との間にある全ての画素のＵＶ値が、その記録したＵＶ値となる。すると、エッジ２と色相境界２が同じ位置となり、見た目上の違和感、色ずれがなくなる。

このように不連続であっても、エッジと色相境界とをセットにし、その順を考慮して同様の処理を実施することで、位置ずれ補正を行うことができる。

図１９は、図１８に示した実施例とは反対に、色相境界、エッジ、エッジ、色相境界の順に、エッジと色相境界が途中で切り替わる場合の例を示した図である。図１９（ａ）に示すように、この例では、色相境界１、エッジ１、エッジ２、色相境界２の順に、エッジおよび色相境界が検出されている。最初に、エッジ１と色相境界１とをセットにする。色相境界１のすぐ左側にある画素（斜線）のＵＶ値を記録する。図１９（ｂ）に示すように、色相境界１をエッジ１に合わせるために、エッジ１と色相境界１との間にある画素に対して、その全てのＵＶ値を、その記録したＵＶ値と置き換える。これにより、図１９（ｃ）に示すように、エッジ１と色相境界１との間にある全ての画素のＵＶ値が、その記録したＵＶ値となる。すると、エッジ１と色相境界１が同じ位置となり、見た目上の違和感、色ずれがなくなる。

次に、エッジ２と色相境界２とをセットにする。色相境界２のすぐ右側にある画素（横縞）のＵＶ値を記録する。図１９（ｃ）に示すように、エッジ２と色相境界２との間にある画素に対して、その全てのＵＶ値を、その記録したＵＶ値と置き換える。これにより、図１９（ｄ）に示すように、エッジ２と色相境界２との間にある全ての画素のＵＶ値が、その記録したＵＶ値となる。すると、エッジ２と色相境界２が同じ位置となり、見た目上の違和感、色ずれがなくなる。

図１８および図１９は、エッジと色相境界のセットの並び順が途中で切り替わった例について説明した。不連続に検出される例として、エッジ、色相境界、色相境界、色相境界、エッジといったように、エッジあるいは色相境界が３つ以上連続して並び、エッジと色相境界をセットにすることができない場合もある。

図２０は、エッジ、色相境界、色相境界、色相境界、エッジという色相境界が途中に３つ連続して検出される場合の例を示した図である。図２０（ａ）に示すように、この例では、エッジ１、色相境界１、色相境界１’、色相境界２、エッジ２の順に、エッジおよび色相境界が検出されている。エッジ１と色相境界１とでセットにすることができるので、最初に、これらをセットにする。そして、色相境界１のすぐ右側にある画素（網点）のＵＶ値を記録する。図２０（ｂ）に示すように、エッジ１と色相境界１との間にある画素に対して、その全てのＵＶ値を、その記録したＵＶ値と置き換える。これにより、図２０（ｃ）に示すように、エッジ１と色相境界１との間にある全ての画素のＵＶ値が、その記録したＵＶ値となる。すると、エッジ１と色相境界１が同じ位置となり、見た目上の違和感、色ずれがなくなる。

次に、セットを組む場合、色相境界１’と色相境界２がセットになるが、色相境界の２つはセットにして処理を行わない。そのため、次の色相境界２とエッジ２とをセットにし、処理を行う。したがって、色相境界が４つ連続する場合は、途中の２つの色相境界はセットにして処理は行わず、エッジを検出したところで、そのエッジとそのエッジの直前に検出された色相境界とをセットにして処理を行う。

次の処理では、エッジ２と色相境界２とをセットにする。色相境界２のすぐ左側にある画素（高密度の網点）のＵＶ値を記録する。図２０（ｃ）に示すように、エッジ２と色相境界２との間にある画素に対して、その全てのＵＶ値を、その記録したＵＶ値と置き換える。これにより、図２０（ｄ）に示すように、エッジ２と色相境界２との間にある全ての画素のＵＶ値が、その記録したＵＶ値となる。すると、エッジ２と色相境界２が同じ位置となり、見た目上の違和感、色ずれがなくなる。

このような色相境界が連続して３つ以上検出される例としては、グラデーションを挙げることができる。このようなグラデーションの場合、途中の色相境界上にエッジがなくても、位置ずれは目立たないものである。

図２０に示した例とは反対に、エッジが３つ以上連続して検出される場合もある。図２１は、色相境界、エッジ、エッジ、エッジ、色相境界というエッジが途中に３つ連続して検出される場合の例を示した図である。図２１（ａ）に示すように、この例では、色相境界１、エッジ１、エッジ１’、エッジ２、色相境界２の順に、エッジおよび色相境界が検出されている。エッジ１と色相境界１とはセットにすることができるので、最初に、これらをセットにする。そして、色相境界１のすぐ左側にある画素（網点）のＵＶ値を記録する。図２１（ｂ）に示すように、色相境界１をエッジ１に合わせるために、エッジ１と色相境界１との間にある画素に対して、その全てのＵＶ値を、その記録したＵＶ値と置き換える。これにより、図２１（ｃ）に示すように、エッジ１と色相境界１との間にある全ての画素のＵＶ値が、その記録したＵＶ値となる。すると、エッジ１と色相境界１が同じ位置となり、見た目上の違和感、色ずれがなくなる。

次にセットを組む場合、エッジ１’とエッジ２ということになるが、上記の２つの色相境界の場合と同様、２つのエッジをセットにして処理は行わない。このため、連続するエッジの次にある色相境界を検出する。そして、検出した色相境界２とその直前に検出されたエッジ２とをセットする。

色相境界２のすぐ右側にある画素（横縞）のＵＶ値を記録する。図２１（ｃ）に示すように、エッジ２と色相境界２との間にある画素に対して、その全てのＵＶ値を、その記録したＵＶ値と置き換える。これにより、図２１（ｄ）に示すように、エッジ２と色相境界２との間にある全ての画素のＵＶ値が、その記録したＵＶ値となる。すると、エッジ２と色相境界２が同じ位置となり、見た目上の違和感、色ずれがなくなる。

このようなエッジが３つ以上連続して検出される例としては、背景と同じ色のエッジがある場合が挙げられる。このような場合、途中のエッジ上に色相境界がなくても、位置ずれは目立たないものである。

これまで実施例をもって画像処理装置および撮像システムの構成および機能について詳細に説明してきた。また、各機能部が実行する処理についても説明してきた。ここに、この画像処理装置により実行される全体の処理の流れについてまとめる。

図２２は、画像処理装置が実行する全体の処理の流れを示したフローチャートである。ステップ２２００から開始し、ステップ２２１０では、画像取得部５０が、少なくとも１つのカメラから出力された赤外光画像と可視光画像とを取得する。ステップ２２２０では、画像取得部５０が、取得した２つの画像のうち、赤外光画像をフィルタ部５３に渡し、可視光画像を画像補正部５１へ渡す。

ステップ２２３０では、フィルタ部５３が、上述したノイズ除去、エッジ強調といったフィルタ処理を行う。そして、ステップ２２４０において、エッジ検出部５４が、ノイズが除去され、エッジが強調された赤外光画像に対して、図１０を参照して説明した方法により、そのエッジを検出するエッジ検出を行う。エッジ検出部５４は、検出結果を、合成画像生成部５２へ出力する。上記のステップ２２３０では、フィルタ部５３は、ノイズ除去、エッジ強調を行った赤外光画像を、エッジ検出部５４へ出力するとともに、合成画像生成部５２へも出力する。

ステップ２２５０では、画像補正部５１が、可視光画像に対して彩度補正を行う。彩度補正は、図８および図９を参照して説明した方法により行うことができる。画像補正部５１は、彩度補正を行った後の可視光画像を、色相分割部５５へ出力する。ステップ２２６０では、色相分割部５５が、図１１を参照して説明した方法により、その可視光画像の色相を分割し、どの色相にあるかを判定する。色相分割部５５は、その判定した結果を、色相分割を行った結果として合成画像生成部５２へ出力する。このとき、画像補正部５１は、彩度補正を行った後の可視光画像を、合成画像生成部５２へ出力する。上記ステップ２２５０では、画像補正部５１は、彩度補正を行った後の可視光画像を、色相分割部５５へ出力するとともに、合成画像生成部５２へも出力する。

図２２では、ステップ２２３０およびステップ２２４０の処理を、ステップ２２５０およびステップ２２６０の処理より先に行っているが、その順番は反対であってもよいし、同時に並行して行ってもよい。

ステップ２２７０では、合成画像生成部５２が、必要に応じて、図１２を参照して説明した方法により視差補正を行い、赤外光画像と可視光画像との位置ずれを補正して合成し、合成画像を生成する。合成は、図１４を参照して説明した方法により行うことができる。また、合成の際に実施する２つの画像の位置合わせについては、図１５を参照して説明した方法により位置ずれを補正し、図１６〜図２１を参照して説明した方法により行うことができる。

合成画像生成部５２は、合成画像を生成した後、その合成画像を出力し、ステップ２２８０でこの処理を終了する。出力された合成画像は、侵入者の検知、不審物の検知、犯罪者の顔認証等に使用される。

このように、赤外光画像と可視光画像を取得し、可視光画像に対して彩度補正を行い、赤外光画像と補正後の可視光画像とが位置ずれしないように合成することで、上記の検知や認証等の画像処理精度を向上させることができる。

これまで本発明を、画像処理装置、撮像システムおよび画像処理方法として上述した実施の形態をもって説明してきたが、本発明は上述した実施の形態に限定されるものではない。したがって、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。よって、上記画像処理方法をコンピュータに実行させるためのプログラムや、そのプログラムが記録された記録媒体等も提供することができるものである。

１０、１１…カメラ、１２…ＰＣ、２０、２１…レンズ、２２、２３、２９…センサ、２４〜２６、３０…ミラー、２７…赤外光カットフィルタ、２８…可視光カットフィルタ、４０…ＣＰＵ、４１…ＲＯＭ、４２…ＲＡＭ、４３…ＨＤＤ、４４…入出力インタフェース、４５…記録メディア、４６…外部記憶インタフェース、４７…表示装置、４８…入力装置、４９…バス、５０…画像取得部、５１…画像補正部、５２…合成画像生成部、５３…フィルタ部、５４…エッジ検出部、５５…色相分割部

特開２０１２−０５４９０４号公報 特開２００８−２５２６３９号公報

Claims (10)

1. 少なくとも１つの撮像装置により撮像された画像を処理するための画像処理装置であって、
   前記少なくとも１つの撮像装置から前記画像として赤外光画像と可視光画像とを取得する画像取得部と、
   前記画像取得部により取得された前記可視光画像に対して彩度補正を行う画像補正部と、
   前記画像取得部により取得された前記赤外光画像の明度情報と、前記画像補正部により補正された可視光画像の彩度情報および色相情報とを用いて、前記赤外光画像と前記補正された可視光画像との位置ずれを補正し、前記位置ずれを補正した後の赤外光画像と可視光画像とを合成して合成画像を生成する合成画像生成部とを含む、画像処理装置。
2. 前記画像補正部は、外乱の影響を受けて低下した前記可視光画像の彩度を、補正パラメータを用いて補正する、請求項１に記載の画像処理装置。
3. 前記画像補正部は、前記可視光画像の色を表現する色空間の要素のうち、色情報を有する要素に対して設定された前記補正パラメータを用い、前記可視光画像の彩度を補正する、請求項２に記載の画像処理装置。
4. 前記画像補正部は、外乱の種類に応じて前記補正パラメータを切り替える、請求項３に記載の画像処理装置。
5. 前記合成画像生成部は、前記明度情報から得られる明度が不連続に変化するエッジの位置と、前記彩度情報および前記色相情報から得られる色が変化する箇所を表す色相境界とを用いて、前記位置ずれを補正する、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記合成画像生成部は、前記エッジの位置と前記色相境界とが重なるように前記位置ずれを補正する、請求項５に記載の画像処理装置。
7. 前記合成画像生成部は、前記赤外光画像および前記補正された可視光画像の主走査方向および副走査方向の各々に対して前記位置ずれを補正する、請求項５または６に記載の画像処理装置。
8. 請求項１〜７のいずれか１項に記載の画像処理装置と、前記画像処理装置に対して撮像して得られた赤外光画像と可視光画像とを入力する少なくとも１つの撮像装置とを含む、撮像システム。
9. 少なくとも１つの撮像装置により撮像された画像を処理するための画像処理装置により実行される画像処理方法であって、
   前記少なくとも１つの撮像装置から前記画像として赤外光画像と可視光画像とを取得するステップと、
   取得された前記可視光画像に対して彩度補正を行うステップと、
   取得された前記赤外光画像の明度情報と、彩度補正された前記可視光画像の彩度情報および色相情報とを用いて、前記赤外光画像と前記彩度補正された可視光画像との位置ずれを補正し、前記位置ずれを補正した後の赤外光画像と可視光画像とを合成して合成画像を生成するステップとを含む、画像処理方法。
10. 少なくとも１つの撮像装置により撮像された画像を処理する画像処理方法をコンピュータに実行させるためのプログラムであって、
    前記少なくとも１つの撮像装置から前記画像として赤外光画像と可視光画像とを取得するステップと、
    取得された前記可視光画像に対して彩度補正を行うステップと、
    取得された前記赤外光画像の明度情報と、彩度補正された前記可視光画像の彩度情報および色相情報とを用いて、前記赤外光画像と前記彩度補正された可視光画像との位置ずれを補正し、前記位置ずれを補正した後の赤外光画像と可視光画像とを合成して合成画像を生成するステップとを前記コンピュータに実行させる、プログラム。