JP4769332B2

JP4769332B2 - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP4769332B2
Application number: JP2010194727A
Authority: JP
Inventors: 辰巳渡辺; 康浩桑原; 祐亮物部; 俊晴黒沢; 博隆奥; 章夫小嶋
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2010-08-31
Filing date: 2010-08-31
Publication date: 2011-09-07
Anticipated expiration: 2022-07-08
Also published as: JP2010277607A

Description

本発明は、デジタルカメラ等で得られたデジタル画像のコントラストを自動的に調整して、より鮮明な画像を高速に得ることができる画像処理装置及び画像処理方法に関するものである。

デジタルカメラで撮影されたカラー画像は、撮像素子であるＣＣＤ素子で得られたアナログ値におけるノイズ割合を表すＳＮレベルやアナログ値をデジタル値に変換する際の変換精度等の影響で、実際に撮影された自然画像の持つ画素濃度のダイナミックレンジよりも狭いレンジに制限されるため、影がかかった細部での情報が損失する現象が発生する傾向がある。特に画像内に明るい領域と暗い領域が混在するようなサンプルを撮影しようとした場合にその傾向は大きい。その改善として、デジタル画像の輝度等の範囲をより輝度の高い画像部分からより輝度の低い画像部分までに拡げるように、コントラスト強調を行う手法がまず考えられる。そのコントラスト強調の従来手法としては、原画像を構成する全画素の輝度値の分布状態を示すヒストグラムを作成し、ヒストグラムの累積曲線を輝度変換曲線として原画像中の画素の輝度値を新な輝度値に変換し、画像のコントラストを強調するヒストグラム均等化手法がある。この手法は、原画像全領域の画素の輝度を同一の輝度変換曲線で新たな輝度に変換するために、部分的にはかえってコントラストが低下してしまう部分が生じることがある。このため、画像全体にわたってコントラスト強調を行いたい場合には、その領域に合ったコントラスト強調処理を行う必要がある。

この手法のさらなる改善として、画像を複数の矩形領域に分割し、各々の領域毎に上記ヒストグラム均等手法を適用する局所的ヒストグラム均等化手法も多く提案されており（例えば、特許文献１参照）、その構成図は図２２のようになる。図２２はコントラスト改善部を表したものであり、画像を矩形に分割する画像データ分割部２２１、矩形ごとにヒストグラムを作成するヒストグラム作成部２２２、および矩形ごとにコントラストの伸張を行うコントラスト伸張部２２３よりなる。しかし、この手法を用いた場合、コントラストが強調されすぎる矩形領域が発生したり、隣接する矩形領域間の境界でコントラストが不連続になる可能性があるなどの問題点が指摘されている。

一方、ヒストグラムを利用しないで、このような問題の解決策として、フィールドごとにデジタルカメラのシャッタ時間や絞りを変えて、明るい部分と暗い部分を別々に撮像し、得られた各々の情報を１枚の画像に合成して中間調濃度を実現することで、実際に撮影された自然画像の持つ画素濃度度のダイナミックレンジに近づける手法も提案されている。その例として、特許文献２に参照されている例があり、その装置の構成図は図２３のようになる。図２３において、２３０は被写体の光電効果を行う撮像素子、２３１は画像信号を記録するメモリ、２３２は信号レベルを常数倍する乗算手段、２３３，２３８は画像信号のレベルに応じて重みを付加するレベル重み手段、２３４は信号を加算する加算手段、２３５は画像信号の速度を変換する速度変換手段、２３６は画像信号のレベルを圧縮するレベル圧縮手段、２３７は各ブロックのタイミングを制御するタイミング制御手段である。この発明装置は、撮像素子における電荷蓄積期間の異なる２枚以上の画像の信号レベルに応じて重み付け合成を行い、得られた合成画像出力を標準テレビ信号の速度に変換するとともに、テレビ信号での基準レベルに圧縮するテレビ撮像装置に関するものであるため、速度変換手段、レベル圧縮手段等を有する。そのため、デジタルカメラに当てはめる場合、速度変換手段やレベル圧縮手段は必要な構成要素ではない。しかし、この発明のように複数の電荷蓄積期間で得られた画像合成による手法の場合、合成された画像におけるコントラストの不連続性は生じにくいが、最低２枚の画像を続けて取るため、原理的に同じ画像を取ることができない。そのため、これらの画像を合成した場合、シャッタ速度にも影響されるが合成画像の細部がぼけたりずれたりする画像が作成される可能性がある。また、明るい部分を撮影する際の濃度レンジと暗い部分を撮影する際の濃度レンジで画像内の持つ濃度レンジ全域をカバーできていない場合、その２つの中間濃度レンジで不連続性が生じる危険もある。

ところで、このような影のかかった領域での細部及び色を人間が観察した場合、人間の視覚は上記のような問題を発生させることなく、画像の持つ広い濃度のダイナミクスや色を知覚することができる。このような人間の視覚を中心とした中央視野／周辺視野レティネックスの概念は、Edwin Landにより「An Alternative Technique for the Computation of the Designator in the RetinexTheory of Color Vision」、National Academy of Science、第84巻、pp.3078からpp.3080（1986）の中で紹介されている。この中では、人間の視覚のレティネックスの概念では、中央視野が２から４基礎単位分の直径を持ち、周辺視野が中央視野の約２００から２５０倍の直径を有する逆２乗関数で記述されている。そして、中央視野、周辺視野各々の視野内での信号強度の空間的平均が知覚される強度に関係するとして定義されている。これらの原理に従い、上記のような暗部における色と明度表現を改善する手法が近年提案されている。この例は特許文献３で記述されており、図２４はその構成を示す。なお、ここではグレースケール画像を例に説明するが、カラー画像に対しても拡張することができる。画像の(i,j)における画素値I(i,j)はプロセッサ２４１及びフィルタ２４２によって調整されフィルタリング処理が行われる。

画素ごとに、プロセッサ２４１は、次式（数１）のような調整画素値I'(i,j)を算出する。ここで、F(x,y)は周辺視野を表す周辺視野関数であり、「＊」は畳み込み演算処理を示す。

そして、F(x,y)が式（数２）の条件を満足するように正規化係数Kが決定されており、これにより式（数１）の第２項は、周辺視野における画素値の平均値に相当する。つまり、式（数１）は大きな領域における画素値平均値に対する各画素の画素値の比率を対数変換したものに相当する。周辺視野関数F(i,j)は、人間の視覚モデルとの対応から対象画素に近づくほど寄与する割合が高いように設計されており、式（数３）のようなガウス関数が適用される。ここでcは各画素値I(i,j)の調整画素値I'(i,j)をコントロールするための定数である。

以上のように、この従来の発明では周辺視野での平均画素値に対する対象画素値を調整された画素値I'(i,j)として算出し、この値に対して、ディスプレイ２４３によって使用されるレティネックス出力R(i,j)を生成するためのフィルタ処理が２４２により行われる。２４２はI'(i,j)を対数領域からディスプレイ２４３で扱われるR(i,j)の画素値領域へ変換するものであり、処理の簡便化のために全ての画素に対して同一のオフセット及び利得変換関数を適用する処理が用いられる。

しかしながら、この手法の場合、周辺視野関数を制御するcによる影響を大きく受ける。例えば、このcが大きな値になると対象画素に寄与する周辺視野が大きくなることで、大きな影における色の補償のみが可能となるが、一方、このcが小さい値の場合、対象画素近傍のみが影響を与えることとなり、小さな影領域での改善のみが見受けられる。このように扱う画像内の画素値のダイナミックスレンジに応じて適切なcを考慮する必要があり画像依存性の問題が挙げられる。その改善として、複数の周辺視野領域を設ける手法も同じ特許内に提案されているが、いくつ周辺視野領域を用意するかが明確になっていない。また、改善精度を向上されるために大きな周辺領域から小さい周辺領域を多く用意することにより、処理時間が膨大になってしまうという問題点がある。

また、複数の定数cにより設定される最大の周辺視野内で画素値変動が非常に小さい場合、調整された画素値I'(i,j)は複数領域を用意してもI(i,j)に関係なく1.0近傍になる。このような場合、画素値変動の小さい対象画素でのI'(i,j)はその入力画像全体におけるI'(i,j)の平均近傍に位置する場合が多く、２４２におけるオフセット及び利得変換関数如何に問わず、実際の画素値における中央付近に向かいやすい傾向がある。特にハイライト輝度をもつ一様に広い画像領域では、調整後の輝度が下がる方向に調整されやすく視覚的に悪化する問題がある。一方、夜景等の輝度の低く広い領域では過剰に強調されることで撮影時に発生した色ノイズや圧縮ノイズが表れることがあった。

この課題を解決するための手法として、先行出願より入力画像と強調画像の適応的な合成画像を導出することでこれらを改善できることを示した。その一方で、画像の平坦化、特に輪郭部分における濃度差の減少が発生した。

特開２０００−２８５２３０号公報特開平６−１４１２２９号公報特表２０００−５１１３１５号公報

このように、従来の人間の視覚モデルをもとにしたコントラスト改善技術では、その他の手法よりもより鮮明なコントラスト変換画像を得ることができたが、人間の周辺視野を規定するための定数や最終的に扱うための実際の画素値に変換する際のフィルタ処理の設計に経験的知識を多く含むという問題点を抱えている。その対応策として、複数の周辺視野を用意した多重解像度モデルも提案されているが、処理時間が膨大となってしまう。

また、画像合成時により生じた合成画像の平坦化、特に輪郭部分のさらなる強調が必要になる。

本発明はかかる点に鑑みてなされたものであり、撮像された明暗部を持つ画像のみを用いてより鮮明かつ高速に撮像画像のコントラストを改善することができる画像処理装置及び画像処理方法を提供することを目的とする。

上記課題を解決するために本発明の第１の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。得られたコントラスト改善量を実際の画素値に変換する際に、対象画素の輝度に応じて制御することで、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。

上記課題を解決するために本発明の第２の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める際に、対象画素の輝度に応じて周辺領域の平均画素値である比較濃度を制御するものである。こうすることで、より対象画素の濃度とその周囲の比較濃度の差を強調することができ、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。

上記課題を解決するために本発明の第３の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。得られたコントラスト改善量を実際の画素値に変換する際に、対象画素の濃度と周囲画素の濃度の差分に応じて上記コントラスト改善量を補正することで、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。

上記課題を解決するために本発明の第４の画像処理装置及び画像処理方法は、対象画素の周辺領域における平均画素値を求める際に、まずコントラスト改善時に使用する画素の垂直方向位置を決定し、決定された画素を対象として、各水平画素位置ごとに垂直方向における画素濃度の加算値を求める。そして、得られた各水平画素位置における加算値より、対象画素の周囲画素として設定された領域内に含まれる水平画素位置の値を用いて、対象画素に対する比較濃度を算出することで処理の簡略化を実現するものである。

上記課題を解決するために本発明の第５の画像処理装置及び画像処理方法は、対象画素の周辺領域における平均画素値を求める際に、まずコントラスト改善時に使用する画素の垂直・水平方向位置を決定する。そして、決定された水平画素位置に対して、選択された垂直方向の画素濃度の加算値を求める。そして、対象画素の周囲画素として設定された領域内に選択された水平画素位置が含まれる場合には、その含まれる水平画素位置での加算値を用いる。対象画素の周囲画素として設定された領域内に選択された水平画素位置が含まれない場合にはその隣接する選択された水平画素位置における加算値を用いる。この手順をもとに、対象画素に対する比較濃度を高速に算出することで処理の簡略化を実現するものである。

上記課題を解決するために本発明の第６の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。そして本発明の第１の画像処理装置及び方法と同様に得られたコントラスト改善量を実際の画素値に変換し、入力画像との合成処理を行う。その後、入力画像における対象画素の輝度・色成分と合成画像の輝度・色成分と比較して、輝度の低下をしないようにするとともに、入力画像の色成分に比例した値を用いることで、合成画像における色ずれを抑えることで最終的に出力される画像の高画質化を実現したものである。

以上のように、本発明の第１の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。得られたコントラスト改善量を実際の画素値に変換する際に、対象画素の輝度に応じて制御することで、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。

以上のように、本発明の第２の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める際に、対象画素の輝度に応じて周辺領域の平均画素値である比較濃度を制御するものである。こうすることで、より対象画素の濃度とその周囲の比較濃度の差を強調することができ、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。

以上のように、本発明の第３の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。得られたコントラスト改善量を実際の画素値に変換する際に、対象画素の濃度と周囲画素の濃度の差分に応じて上記コントラスト改善量を補正することで、入力画像と強調画像の合成画像に生じる画像の平坦化や輪郭部分における濃度差の減少が改善することができるようにしたものである。

以上のように、本発明の第４の画像処理装置及び画像処理方法は、対象画素の周辺領域における平均画素値を求める際に、まずコントラスト改善時に使用する画素の垂直方向位置を決定し、決定された画素を対象として、各水平画素位置ごとに垂直方向における画素濃度の加算値を求める。そして、得られた各水平画素位置における加算値より、対象画素の周囲画素として設定された領域内に含まれる水平画素位置の値を用いて、対象画素に対する比較濃度を算出することで処理の簡略化を実現するものである。

以上のように、本発明の第５の画像処理装置及び画像処理方法は、対象画素の周辺領域における平均画素値を求める際に、まずコントラスト改善時に使用する画素の垂直・水平方向位置を決定する。そして、決定された水平画素位置に対して、選択された垂直方向の画素濃度の加算値を求める。そして、対象画素の周囲画素として設定された領域内に選択された水平画素位置が含まれる場合には、その含まれる水平画素位置での加算値を用いる。対象画素の周囲画素として設定された領域内に選択された水平画素位置が含まれない場合にはその隣接する選択された水平画素位置における加算値を用いる。この手順をもとに、対象画素に対する比較濃度を高速に算出することで処理の簡略化を実現するものである。

以上のように、本発明の第６の画像処理装置及び画像処理方法は、対象画素の画素値とその周辺領域における平均画素値の比較よりコントラスト改善量を求める。そして本発明の第１の画像処理装置及び方法と同様に得られたコントラスト改善量を実際の画素値に変換し、入力画像との合成処理を行う。その後、入力画像における対象画素の輝度・色成分と合成画像の輝度・色成分と比較して、輝度の低下をしないようにするとともに、入力画像の色成分に比例した値を用いることで、合成画像における色ずれを抑えることで最終的に出力される画像の高画質化を実現したものである。

本発明の第１の実施の形態である画像処理装置の構成を表すブロック図本発明の第１の実施の形態である画像処理装置におけるコントラスト改善手段の構成を表す図本発明の第１の実施の形態である画像処理装置における多重解像度でのコントラスト改善手段の構成を表すブロック図本発明の第１の実施の形態である画像処理装置における画像合成手段の構成を表すブロック図本発明の第１の実施の形態である画像処理装置における強調量算出手段の構成を表すブロック図本発明の第２の実施の形態である画像処理装置における強調量算出手段の構成を表すブロック図本発明の第３の実施の形態である画像処理装置における強調量算出手段の構成を表すブロック図本発明の第１，２，３，４，５の実施の形態である画像処理装置における前処理手段と後処理手段の例を表す模式図本発明の第１の実施の形態である画像処理方法における全体のフローチャート本発明の第１の実施の形態である画像処理方法におけるコントラスト改善処理と画像合成処理のフローチャート本発明の第２の実施の形態である画像処理方法におけるコントラスト改善処理のフローチャート本発明の第２の実施の形態である画像処理方法におけるコントラスト改善処理のフローチャート本発明の第１から第６の実施の形態のいずれかに記載の画像処理方法におけるコントラスト改善処理に使用されている人間の視覚モデルの概念図本発明の第４の実施の形態である画像処理装置におけるコントラスト改善手段の構成を表すブロック図本発明の第４の実施の形態である画像処理装置における多重解像度でのコントラスト改善手段の構成を表すブロック図本発明の第４の実施の形態である画像処理方法におけるコントラスト改善処理のフローチャート本発明の第５の実施の形態である画像処理装置におけるコントラスト改善手段の構成を表すブロック図本発明の第５の実施の形態である画像処理方法におけるコントラスト改善処理の概要を表す図本発明の第６の実施の形態である画像処理装置における後処理手段の構成を表す図本発明の第６の実施の形態である画像処理方法におけるコントラスト改善処理と後処理手段のフローチャート本発明の第６の実施の形態である画像処理方法における後処理の概要を表す図従来例における画像処理装置の構成を表すブロック図従来例における画像処理装置の構成を表すブロック図従来例における画像処理装置の構成を表すブロック図

以下、本発明の実施の形態について図面を参照しながら説明する。図１は本発明の第１から第６の実施の形態である画像処理装置の全体構成図を、図２は本発明の第１から第３の実施の形態である画像処置装置におけるコントラスト改善手段の構成を、図４は第１から第６の実施の形態である画像処置装置における画像合成手段の構成図を表す。

図５は本発明の第１の実施の形態である画像処理装置における強調量導出善手段の構成図を表す。

図６は本発明の第２の実施の形態である画像処理装置における強調量導出善手段の構成図を表す。

図７は本発明の第３の実施の形態である画像処理装置における強調量導出善手段の構成図を表す。

図１４は本発明の第４の実施の形態である画像処理装置におけるコントラスト改善手段の構成図を表し、図１７は本発明の第５の実施の形態である画像処理装置におけるコントラスト改善手段の構成図を表す。

図１９は本発明の第６の実施の形態である画像処理装置における後処理手段の構成図を表す。

また、図９は本発明の第１から第６の実施の形態である画像処理方法における全体のフローチャートを表す図である。

図１０は本発明の第１の実施の形態である画像処理方法におけるコントラスト改善処理と画像合成処理のフローチャートを表す図である。

図１１は本発明の第２の実施の形態である画像処理方法におけるコントラスト改善処理のフローチャートを表す図である。

図１２は本発明の第３の実施の形態である画像処理方法におけるコントラスト改善処理のフローチャートを表し、図２０は本発明の第６の実施の形態である画像処理方法におけるコントラスト改善処理と後処理手段のフローチャートを表す図である。

なお、構成図の各図において、同一部には同じ番号を付している。また、なお、これ以降で、画素位置(i,j)の単位には全て画素単位が用いられることする。

（第１の実施の形態）
まず、本発明の第１の実施の形態である画像処理装置及び画像処理方法について説明する。図１はその全体の構成を表す図であり、１は入力画像を、２は最終的に出力される出力画像を、３はコントラスト改善手段１２で得られた強調処理後の画像を現す。そして、１０は１の入力画像を得るためのＣＣＤ素子のような画像入力手段であり、１１は入力画像に逆ガンマ変換等のような前処理を行う前処理手段、１２は１１で得られたデジタル入力画像の細部を強調するためのコントラスト改善処理を行うコントラスト改善処理手段、１３はデジタル入力画像と１２のコントラスト改善手段で得られた強調画像を合成する画像合成手段であり、１４は１３で得られた合成画像に入力画像にかかっていたガンマ変換のような後処理を行う後処理手段であり、１５は１３で得られた合成画像を最終処理後の画像として所望のデバイス（プリンタ、ディスプレイ等）で出力するための画像出力手段である。コントラスト改善手段は図２のような構成になる、図２において、２０は対象画素Pijの周辺領域より比較対象にする周辺画素を決定する比較画素決定手段であり、２１は対象画素Pijにおけるカラー３成分値VPij（r(i,j),g(i,j),b(i,j)）を広さcのPij周囲領域より選択された比較対象画素との比較によりコントラスト改善量VRPij(Rr(i,j), Rg(i,j), Rb(i,j))を算出する強調量導出手段であり、２２は強調量導出手段２１で得られたコントラスト改善量VRPijを実際の画素値に変換する際の変換基準値VTc(rtc(i,j),gtc(i,j),btc(i,j))を求める変換基準値算出手段であり、２３は２２の変換基準値ともとに強調量導出手段２１で得られたコントラスト改善量VRPijを実際の画素Pijにおけるコントラスト改善後の画素値に変換する画素値変換手段である。強調量導出手段２１は図５のように、周囲平均手段５０と改善量算出手段５１より構成される。

また、画像合成手段１３は図４に示されるように、入力画像１内の輝度情報をもとに入力画像１とコントラスト改善手段で得られた強調画像３に掛かる結合係数ws(s=1,3;ここでw1は入力画像１に掛かる結合係数であり、w3は強調画像３に掛かる結合係数を示す)を決定する結合係数導出手段４０と、結合係数導出手段４０で得られた結合係数w0、w1を使って、入力画像1とコントラスト改善手段で得られた強調画像3の加重平均画像を生成する加重平均合成手段４１、そして４１で得られた加重平均合成画像と入力画像１、そして強調画像３を比較して出力画像の画素値を決定する出力値決定手段４２より構成される。

以上のように構成された第１の実施の形態である画像処理装置の動作について図９、図１０に従い説明する。

画像入力手段１０を介して、カラー画像１がデジタル入力される。１０ではカラー画像の場合、通常レッドr、グリーンg、ブルーbの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。１０ではこの値を0.0から1.0の値に正規化する。

デジタル入力画像１に対して、図８のような前処理が行われる。近年、このようなコントラスト改善が行われる画像データはデジタルカメラ（ＤＳＣ）で撮影されたものが増えている。通常、ＤＳＣで撮影された画像データをパソコン等でモニタ表示を行う場合、入力画像をより鮮明にするために図８上左図のような上に凸の形をしているガンマ関数を用いた変換処理が行われている。一般に使用されているｓＲＧＢ空間ではこのガンマ変換におけるガンマγは2.2が使用される。プリンタで出力する場合にも、このガンマ関数が予め入力画像に掛けられていることを前提にして出力のための画像処理が実行される。そのため、ＣＣＤ等の撮影素子で得られた画像データを正確に抽出するために、γ=2.2の効果を戻すための逆ガンマ関数による変換処理が必要になり、前処理手段１１は図８上右図のような下に凸の逆ガンマ変換を行う。

次に、逆ガンマ変換されたデジタル入力画像１に対して、入力画像の暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では図１３のように行われる。人間の視覚では、図１３に模式的に示されるように対象画素Pijに対して知覚された画素値のみでPijの画素情報（色、コントラストなど）を認知するのではなく、対象画素Pijをその周囲にある画素の情報との相対的な関係により、対象画素値Pijの画素値を調整することでPijの画素情報を知覚している。これは、従来例で説明したようにEdwin Landにより紹介されたレティネックス概念と呼ばれるものであり、このような知覚により一部だけ別の照明を受けているような不均一な照明光や極端に画素値の強度変化があるようなシーンでも、物体の色を精度よく認知することができる。本発明でも、この概念を利用することで影のような暗部における色や細部情報を明確にする。

まず、対象画素Pijの画素値VPij (r(i,j),g(i,j),b(i,j)）をLandにおける中心視野と見なし、その周囲にc画素の矩形領域に属する領域を周辺視野と見なす。そして、周辺視野における画素値の加重平均画素値VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を求めるとともに、このVAPijとVPijの間の相対的関係につながるコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する。このVAPijとして、従来例のように式（数１）の第２項におけるc画素の周辺視野内における画素値VPij(r(i,j),g(i,j),b(i,j))と式（数２）、（数３）のようにガウス関数で定義された周辺視野関数F(x,y)の畳み込み積分値で定義することも可能であり、コントラスト改善量VRPijも式（数１）を３成分独立に定義することも可能であるが、本発明では処理の簡単化と高速化を考慮して定義をすることとした。その例として、式（数４）のようにVAPijはc画素の周辺視野内における画素値VPij(r(i,j),g(i,j),b(i,j))の平均値を定義し、コントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))も式（数５）のように各成分ごとの画素値VPijの加重平均画素値VAPijに対する比として定義することができる。

また、式（数６）、（数７）のようにc画素の周辺視野内における輝度y(i,j)の平均値をVAPijの３成分として定義し、コントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))は式（数７）のように画素Pijにおける各成分値の加重平均画素値VAPijに対する比として定義することも可能である。

こうすることで、式（数４）（数５）のように各成分独立でコントラスト改善量を算出するよりも得られたコントラスト改善量のバランスをよりうまく保持できると考える。そこで本発明では式（数６）、式（数７）による定義を採用することとした。

以上のような対象画素Pijに対するコントラスト改善量VRPijを入力画像内の全ての画像に対して行う。この処理を周囲平均手段５０と改善量算出手段５１が行う。

次に、このコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を実際の画素値に変換する必要がある。この処理としては、VRPijの各成分を0.0から1.0の範囲内の値に変換し、必要と思われる部分を抽出した実際の画素値に変換する方法等が考えられるが、ここではより簡易化のために、変換基準値VTc(trc,tgc,tbc)を算出してその変換基準値をVRPijの各成分に乗算して、強調画像３の画素Pijにおける画素値とする。この場合、通常扱われる8ビットの整数データである0から255に変換しても良いが、ここではその値を0.0から1.0の正規化した範囲内の実数データにまず変換基準値とコントラスト改善量VRPijを使って変換し、その後に0から255の8ビットデータの整数データに変換することとする。そのため、VTcの各成分が取りえる値は0.0から1.0の範囲になる。VTcの決定を変換基準値算出手段２２が行うが、一律にVTc=(0.5,0.5,0.5)のように取りえる画素値の平均に設定することもできる。しかしながら、輝度が高いほど高めに、低いほど低めになるように変換する方が入力画像１からの急激な変化を抑制することができると思われる。つまり、このように入力画像１の対象画素Pijにおける輝度y(i,j)に応じてVTcの値を制御することで、シャドウ部の急激な輝度レベル上昇を抑制することが可能となる。よって、ここでもそのようにy(i,j)におうじてVTc(trc,tgc,tbc)を制御することとした。その一例は式（数８）のようになるが、このような線形関数ではなく、非線形関数を用いることも考えられる。

なお、この式（数８）における傾きを大きくしすぎると、暗部におけるコントラスト改善を抑制しすぎることで本来の特徴である、変動差がある部分を強調してコントラスト改善する特徴を損なうことがある。またVTcの取りうる範囲は0.0から1.0であるので、これらの条件をもとに式（数８）を設定する必要がある。

強調量導出手段２１のVRPijと変換基準値算出手段２２のVTcの結果を受けて、２３の画素値変換手段が強調画像３の画素Pijにおける画素値を求める。

一方、Retinex理論に基づくコントラスト改善手法の課題として、従来例で説明した非常に大きな領域で一律な色を持つハイライト部での輝度レベルの低下が生じる。同様に、非常に大きな領域で一律な色を持つシャドウ部では強調画像における輝度レベルが急激に上昇することで、ＣＣＤ等で入力時発生したシャドウ部における色ノイズを際立たせる。本件特許出願の発明者らは、先の出願（日本国特願２００２−３３６５８号）において、これらの問題を解決するために、入力画像１と視覚モデルで得られた強調画像３を適応的に合成することで入力画像１が本来持つ輝度レベルの低減や上昇を抑えることとした。本発明でもその手段を用いるが、上記示した強調量導出手段２１からのVRPijを実際の画素値に変換する際の変換基準値VTcを対象画素Pijの輝度y(i,j)に応じて制御する処理と組み合わせてやることで、より入力画像１のもつ雰囲気を保ちながら、暗部の見えを改善することが可能となる。なお、画像合成手段１５は図４のように構成されており、まず４０で入力画像１に掛かる結合係数w1と強調画像３に掛かる結合係数w3を制御する。そして４１において、このw1とw3を用いた加重平均合成画像４を生成する。最後に４２において、入力画像１の対象画素Pijの輝度y(i,j)、色差cr(i,j),cb(i,j)を求めるとともに、合成画像４の対応する画素の輝度wy(i,j),色差wcr(i,j),wcb(i,j)を求める。そして、y(i,j)≧wy(i,j)の場合には、wy(i,j)=y(i,j)として、このwy(i,j),wcr(i,j),wcb(i,j)よりＲＧＢ空間におけるVWPij(wr(i,j),wg(i,j),wb(i,j))に変換することで最終的な出力画像２を生成する。

なお、４０の時点で、入力画像１画素値VPijと強調画像３の画素値VRPijを比較して、VPijが３成分ともVRPijより大きい場合にはw1=1.0、w3=0.0とし、それ以外にはw1=w3=0.5として合成画像の画素値VWPijを求めることとしたが、前記した先行出願（日本国特願2002-33658号）のように入力画像の対応する画素におけるエッジ情報で制御する手法や、輝度y(i,j)と予め決めたしきい値TH,THCombを用いて、式（数９）のように制御する手法も可能である。

なお、式（数９）の場合、exp関数による処理のオーバーヘッドが考えられるが、予め設定した精度に応じたexp関数をテーブル化してそのテーブル参照することでこの処理のオーバーヘッドは抑えることができる。この式（数９）は暗部では極力強調画像３を優先するが、入力画像の輝度と強調画像の輝度の比をもとに、その改善が急激な場合にはw3を抑制することで暗部でのノイズ強調を抑制するように工夫したものである。

以上のような構成や処理を行うことで本発明の第１の実施の形態である画像処理装置及び画像処理方法は、従来例の視覚モデルの利点を有効に生かすことでハイライト部における輝度低下とシャドウ部における輝度の急激な上昇に対するノイズ強調を抑制したコントラスト改善を、簡易かつ高精度に行うことができる。また、先行出願やJobsonらの従来手法のように、２１で得られたコントラスト改善量より有効を思われる領域を抽出する処理が不要となるため、処理量の削減にもつながるという利点も持つ。

さらに、本発明ではコントラスト改善手段１２は図２のように１つの周辺領域cによる構成をしているが、この周辺領域cの大きさが改善される暗部の大きさに起因していると思われる。通常、自然画像の場合、さまざまな大きさを持つ影部分がありうることから、従来技術で説明したようなJobsonらのような複数の周辺領域サイズc[s]を持つ多重解像度モデルがより効果的である。そのような多重解像度モデルに本発明を適用すると、１２のコントラスト改善手段は図３のような構成になる。

周辺範囲初期化手段３０でまずc=c0というように、予め用意された複数の周辺視野領域サイズc[s](s=0,1,..,Cnum-1)のc0を周辺視野領域に設定する。この場合、c[s]は最小サイズ領域から昇順に用意しても構わないし、最大サイズから降順に用意しても構わないが、サイズの変更方向をそろえた方がよい。ここでは最大サイズから降順に用意されているとして、順に周辺視野領域を小さくしながら、入力画像における細部改善を行うこととする。２０、２１では、現在設定されているc=ckの矩形域の周辺視野に対して、周辺視野における画素値のコントラスト改善量VRPij[s] (Rr#s(i,j),Rg#s(i,j),Rb#s(i,j)) が算出される。そして、すべてのc[s]で２１での画素Pij周辺視野におけるコントラスト改善量計算が終了したかどうかの判定を終了判定手段３１で行う。終了していないと判定された場合には周辺範囲変更手段３２へ処理が移り、現在設定されている周辺視野領域cをつぎの候補に変更し再び２０、２１での処理が行われる。一方、３１で終了判定された場合には、各周辺視野領域c[s]に対するPijのコントラスト改善量VRPij[s](Rr#s(i,j),Rg#s(i,j),Rb#s(i,j))の重み付き平均値を求め、その値をPijのコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))と設定する。簡易化のために、各c[s]によるVRPij[s]の平均値をPijのコントラスト改善量VRPijとして採用する。これ以外にも、c[s]による値VRPij[s]を各成分別に比較して最大値となる値をPijのコントラスト改善量VRPijとすることも可能である。こうした場合、加算処理よりも比較処理により処理時間の増大が生じるが、強調画像３として生成された画像の画素値変動が緩やかとなり、エッジ部分における急激な上昇を抑えることができるという利点も持つ。

これ以降の処理は1つの周辺範囲の場合と同様のため省略する。

なお、これらの処理は本発明の第１の実施の形態である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。

また、本発明の第１の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。

（第２の実施の形態）
次に本発明の第２の実施の形態である画像処理装置及び画像処理方法について説明する。

その全体の構成図は本発明の第１の実施の形態と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲cを持つ場合は図２のようになり、複数の周辺範囲c[s]を持つ場合には図３のような構成になる。同様に画像合成手段１３は図４のようになる。そして、図２もしくは図３における強調量導出手段２１は、図６のような構成になる。

強調量導出手段２１は、対象画素Pij (r(i,j),g(i,j),b(i,j))の周囲より選択された比較対象画素の重み付き加重和VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を計算する周囲平均手段５０と、Pijにおける輝度のエッジ情報e(i,j)を求めるエッジ情報検出手段６０と、６０のe(i,j)をもとに５０のVAPijを補正する係数VDAPij(dcr(i,j),dcg(i,j),dcb(i,j))を求める補正係数算出手段６１と、６１で得られた補正係数VDAPijをもとにVAPijを補正する比較量補正手段６２と、６２で得られたPijの局所的な特徴を表すVAPijと画素Pij (r(i,j),g(i,j),b(i,j))の比をもとにコントラスト強調量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する改善量算出手段５１より構成される。

以上のように構成された第２の実施の形態である画像処理装置の動作について説明する。

画像入力手段１０を介して、カラー画像１がデジタル入力される。１０ではカラー画像の場合、通常レッドr、グリーンg、ブルーbの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。１０ではこの値を0.0から1.0の値に正規化する。次に、デジタル入力画像１に対して、入力画像のガンマ変換を元の線形に戻す前処理をま処理手段１１が行う。そしてこの前処理後の入力画像１に対して、暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では図２、または図３のように行われる。まず、対象画素の周囲範囲cもしくはc[s]内の周囲画素より比較濃度算出に使用する比較対象画素を選択し、この比較対象画素と対象画素よりコントラスト強調量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する。そして、この値を変換基準値VTc(trc,tgc,tbc)を用いて実際の８ビット整数データである画素値に変換するのである。そして、得られた強調画像３と入力画像１の適応的な合成を図４で示された画像合成手段１３が行い、得られた合成画像２に入力画像に元々付加されていたガンマ変換を改めて後処理手段１４が行うことで画像出力手段１５でプリンタやディスプレイ等のデバイス機器に出力する最終的な出力画像を生成するのである。

強調量導出手段２１では、まず、入力画像内における画素Pijの画素値VPijをLandにおける中心視野と見なし、その周囲にc画素の矩形領域に属する領域を周辺視野と見なす。そして、比較画素決定手段２０で選択された比較対象画素をもとに、その周囲範囲内の重み付き加重和VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を算出する。それとともに、この値を補正する補正係数VDAPij(dcr(i,j),dcg(i,j),dcb(i,j))を求める。本発明の第１の実施例では、コントラスト改善量を実際の画素値に変換する際の変換基準値VTcを制御することで合成画像３で発生する出力画像２のエッジ付近での平坦化現象を抑制していたが、この輪郭付近での平坦化解消をするには、変換基準値VTcを制御するのではなく一律の中心値（ここでは、0.0から1.0での範囲で扱っているため0.5）に設定して、５０で得られた周囲範囲Aij内の重み付き加重和VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を制御することでも同じような効果が得られると思われる。よって、本発明では入力画像内の対象画素Pijの情報を使って、VAPijを補正する補正係数VDAPij(dcr(i,j),dcg(i,j),dcb(i,j))を求め、この値を６１でVAPijに各成分ごとに乗算することで輪郭付近での強調程度を高めることとした。その補正係数制御としては、ここでは、対象画素Pijの輝度y(i,j)のエッジ情報e(i,j)をもとに式（数１０）のように、線形的にエッジ情報の程度におうじて補正係数を抑制することとした。しかし、この制御方法は一義的に決まるものではなく、非線形関数による制御も可能である。なお、式（数１０）においてave_eはe(i,j)の画像内平均を表すが簡略化のために0.5を設定することも可能である。式（数１０）においては、ttt＝dcr(i,j)＝dcg(i,j)＝dcb(i,j)、補正後の加重和を加重和VAPij'＝(Ar'(i,j),Ag'(i,j),Ab'(i,j))としている。

しかし、本発明の第１の実施例と同様に入力画像内の対象画素Pijの輝度y(i,j)をもとに線形的に補正係数を制御することも可能であり、この場合には、輝度が高いほど補正係数を小さくするようにするものである。

このような手段を取り入れることで強調画像３およびその画像３と入力画像１の合成画像２のメリハリ程度をある程度保存するように、暗部でのコントラスト改善を行うことが可能となる。

また、本発明の第１の実施例と同様に、図３のような多重解像度による構成も可能であり、こうすることで本発明の画像メリハリ保存の効果を生かしながら、入力画像における画素値のダイナミックレンジや影のような暗部サイズにあまり影響されることなく自動的に入力画像のコントラスト改善を行うことができ、画像のコントラスト調整の効率化につながる。

なお、これらの処理は本発明の第２の実施の形態である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。

また、本発明の第２の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。

（第３の実施の形態）
次に本発明の第３の実施の形態である画像処理装置及び画像処理方法について説明する。

その全体の構成図は本発明の第１の実施の形態と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲cを持つ場合は図２のようになり、複数の周辺範囲c[s]を持つ場合には図３のような構成になる。同様に画像合成手段１３は図４のようになる。そして、図２もしくは図３における強調量導出手段２１は、図７のような構成になる。

強調量導出手段２１は、対象画素Pij (r(i,j),g(i,j),b(i,j))の周囲より選択された比較対象画素の重み付き加重和VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を計算する周囲平均手段５０と、Pijにおける輝度と、周囲領域内より選択された比較対象画素Qijの輝度の差分量の絶対値の重み付き加重和Ady(i,j)を求める輝度差分平均手段７０と、Ady(i,j)をもとに５１で得られたコントラスト強調量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を強調する強調成分VBRPij(BRr(i,j),BRg(i,j),BRb(i,j))を算出する強調成分算出手段７１と、７１で得られたVBRPij(BRr(i,j),BRg(i,j),BRb(i,j))をもとにコントラスト強調量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を補正する改善量補正手段７２より構成される。

以上のように構成された第３の実施の形態である画像処理装置の動作について説明する。

強調量導出手段２１では、まず、入力画像内における画素Pijの画素値VPijをLandにおける中心視野と見なし、その周囲にc画素の矩形領域に属する領域を周辺視野と見なす。そして、比較画素決定手段２０で選択された比較対象画素をもとに、その周囲範囲内の重み付き加重和VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を算出する。

本発明の第１の実施例では、コントラスト改善量を実際の画素値に変換する際の変換基準値VTcを制御することで合成画像３で発生する出力画像２のエッジ付近での平坦化現象を抑制していた。また、本発明の第２の実施例では、変換基準値VTcを制御するのではなく、Pijの輝度y(i,j)のエッジ情報e(i,j)をもとに周囲範囲内の重み付き加重和VAPijを制御することで合成画像３におけるエッジ付近での平坦化現象を抑制していた。

この第３の実施例では、まず輝度差分平均算出手段７０で、対象画素Pijにおける輝度y(i,j)とその周辺範囲より比較画素として選択されたQ(i,j)の輝度ys(i,j)間の差分量の絶対値の重み付き加重和Ady(i,j)を求める。そして、この値をもとに強調成分算出手段７１が式（数１１）に従い、強調成分VBRPij(BRr(i,j),BRg(i,j),BRb(i,j))を求めるのである。

この式は、Ady(i,j)をPijにおける変位強調量と見なし、５１で得られたVRPij(Rr(i,j),Rg(i,j),Rb(i,j))の1.0からの変位量をこのAdy(i,j)と予め設定された強調係数で強調する成分量を算出するものである。例えば、均一に輝度が変わらないところでは、強調成分は生じない。しかし、コントラスト改善量が1.0より大きい対象画素に対しては強調画像の画素値をより強調するような成分が算出され、逆にコントラスト改善量が1.0より小さい対象画素に対しては、強調画像の画素値を抑制するような成分が得られる。そのため、強調画像３においてよりエッジ付近等での画素値変化が大きいところにおけるメリハリ感がますこととなり、最終的に得られる合成画像２における画像のメリハリ感の保存を実現することができる。

以上のように、本発明の第３の実施の形態例では、このような強調成分を算出する手段を取り入れることで強調画像３およびその画像３と入力画像１の合成画像２のメリハリ程度をある程度保存するように、暗部でのコントラスト改善を行うことが可能となる。

なお、これらの処理は本発明の第３の実施の形態である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。

また、本発明の第３の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。

（第４の実施の形態）
次に本発明の第４の実施の形態である画像処理装置及び画像処理方法について説明する。

その全体の構成図は本発明の第１の実施の形態と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲cを持つ場合は図１４のような構成になる。同様に画像合成手段１３は図４のようになる。コントラスト改善手段１２は、対象画素Pijの周辺領域より比較対象にする周辺画素を決定する比較画素決定手段２０と、各水平画素位置iに対して、選択された比較画素を対象とした垂直方向での加算値N[i]を求める垂直方向加算手段１４０と、１４０より対象画素Pijの周辺範囲に含まれる水平画素位置iの加算値N[i]より周辺範囲の加重和VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を計算する簡易周囲平均手段１４１と、１４１で得られたPijの局所的な特徴を表すVAPijと画素Pij (r(i,j),g(i,j),b(i,j))の比をもとにコントラスト強調量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する改善量算出手段５１と、５１で得られたコントラスト改善量VRPijを実際の画素値に変換する際の変換基準値VTc(rtc(i,j),gtc(i,j),btc(i,j))を求める変換基準値算出手段２２と、２２の変換基準値ともとに改善量補正手段７２で得られたコントラスト改善量VRPijを実際の画素Pijにおけるコントラスト改善後の画素値に変換する画素値変換手段２３より構成される。

図１４のように構成された第４の実施の形態である画像処理装置におけるコントラスト改善処理の処理の流れを説明する。

画像入力手段１０を介して、カラー画像１がデジタル入力される。１０ではカラー画像の場合、通常レッドr、グリーンg、ブルーbの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。１０ではこの値を0.0から1.0の値に正規化する。次に、デジタル入力画像１に対して、入力画像のガンマ変換を元の線形に戻す前処理をま処理手段１１が行う。そしてこの前処理後の入力画像１に対して、暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では、まず周辺領域c内で比較対象画素を選択する。その場合、例えば図１６の左図のように、ある間隔で垂直方向に間引いて比較対象画素Qijを決める。次に、垂直方向加算手段１４０が図１６左図のように各水平画素位置iにおける垂直方向での輝度値の加算値N[i]を求める。そして、簡易周囲平均手段１４１では、このN[i]より対象画素Pijの周辺領域c内に含まれるN[k]の加重和Sを求め、その周辺範囲内に含まれる比較画素数mで除することで平均比較対象輝度Asy(i,j)を算出する。そして、この値と対象画素Pijの画素値(r(i.j),g(i,j),b(i,j))を各々比較することでコントラスト改善量VRPijを求める。さらに、対象画素Pijが図１６右図のように水平画素位置iがi+1へ移った場合、図１６のようにまずPijで得られた加重和Sより先頭のN[0]を減する。そして、それに新しく周辺範囲に含まれることとなったN[7]を加えることでPi+1jの周辺範囲内の比較画素の輝度の総和Sが得られる。この値を同じように比較対象画素数mで除することで平均比較対象輝度Asy(i+1,j)が得られる。このように、予め用意しておいた垂直方向での加算値N[k]を加減算することで簡易に平均比較対象輝度が得られる。これが、コントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))の対象画素Pij(r(i,j),g(i,j),b(i,j))の比較対象濃度VAPijをなるのである。こうすることで、周辺範囲内のVAPijを求める際のフィルタリング処理を高速に行うことができる。

Retinex処理によるコントラスト改善を行う場合、このVAPijを求める処理量の削減が大きなポイントになっていた。特に、図１５のように複数の周辺範囲領域c[k]をもつ多重解像度処理をした場合、その処理量は非常に膨大となってします。しかしながら、本発明のように、重み付き加重和を単純な周辺範囲内の平均に簡略化しそして、そのための周辺範囲内の加重和計算手続きを工夫することで処理量の削減を実現することができる。

このコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を実際の画素値に変換する場合には、本発明の第１の実施例と同じように入力画像１の対象画素Pijにおける輝度y(i,j)に応じて式（数８）のように変換基準値VTcの値を制御することで、シャドウ部の急激な輝度レベル上昇を抑制する。なお、この際に、本発明の第２の実施例における平均比較濃度VAPijの制御や第３の実施例のような強調成分VBRPijの制御する処理を加えることも可能である。

さらに、本発明ではコントラスト改善手段１２は図１４のように１つの周辺領域cによる構成をしているが、この周辺領域cの大きさが改善される暗部の大きさに起因していると思われる。通常、自然画像の場合、さまざまな大きさを持つ影部分がありうることから、従来技術で説明したようなJobsonらのような複数の周辺領域サイズc[s]を持つ多重解像度モデルがより効果的である。そのような多重解像度モデルに本発明を適用すると、１２のコントラスト改善手段は図１５のような構成になる。

こうした場合、強調画像３として生成された画像の画素値変動が緩やかとなり、エッジ部分における急激な上昇を抑えることができるという利点も持つ。

以上のように本発明の第４の画像処理装置及び画像処理方法は、本発明の第１の実施の例においてもっとも処理量の多い対象画素周辺の平均比較画素濃度VAPijの算出過程を工夫・簡略化することで、エッジ保存しながらのコントラスト改善効果を保ちながら処理時間を短縮化することができる。特にこの高速化の効果は複数の周辺範囲c[k]を持つ場合ほどその効果は大きくなるものである。

さらに、これらの処理は本発明の第４の実施の形態であるカラー画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。

また、本発明の第４の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。

（第５の実施の形態）
本発明の第５の実施の形態である画像処理装置及び画像処理方法について説明する。

その全体の構成図は本発明の第１の実施の形態と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲cを持つ場合は図１７のような構成になる。同様に画像合成手段１３は図４のようになる。コントラスト改善手段１２は、対象画素Pijの周辺領域より比較対象にする周辺画素を決定する比較画素決定手段２０と、水平画素位置における選択されたiに対して、選択された比較画素を対象とした垂直方向での加算値N[i]を求める間引き垂直方向加算手段１７０と、１７０より対象画素Pijの周辺範囲に含まれる水平画素位置iの加算値N[i]より周辺範囲の加重和VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を計算する簡易周囲平均手段１４１と、１４１で得られたPijの局所的な特徴を表すVAPijと画素Pij (r(i,j),g(i,j),b(i,j))の比をもとにコントラスト強調量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する改善量算出手段５１と、５１で得られたコントラスト改善量VRPijを実際の画素値に変換する際の変換基準値VTc(rtc(i,j),gtc(i,j),btc(i,j))を求める変換基準値算出手段２２と、２２の変換基準値ともとに改善量補正手段７２で得られたコントラスト改善量VRPijを実際の画素Pijにおけるコントラスト改善後の画素値に変換する画素値変換手段２３より構成される。

この発明は、本発明の第４の実施の形態例と比較すると、水平画素位置i全てに対して、選択された比較対象画素のみを対象とした垂直方向での加算処理を行うのではなく、予め比較画素決定手段で水平画素位置も所定の間隔で間引いて選択を行う。そして、選択された水平画素位置iの垂直方向での加算処理を行うようにしたものである。

図１８はその処理の概要を表すが、図１８の左図のように水平画素位置に間引いかれたとする。その場合、間引き垂直方向加算処理１７０では、i=0における垂直方向加算値N[0]を間引かれたi=1における垂直方向加算値N[1]=N[0]に振り分ける。同様に、N[3]=N[2]、N[5]=N[4]のように補間する。このようにすることで、全ての水平画素位置に対して垂直方向での加算処理を行うことがなく処理量の削減となる。また、つづく水平画素位置i+1に対する処理の場合は図１７右図のようになり、先頭のN[0]が対象画素Pijの周辺領域c内に含まれるN[k]の加重和Sより減算される。その後、新しく周辺範囲に含まれることとなったN[7]が加えられることになるが、このi=7の水平画素位置における垂直方向加算処理は比較画素決定手段２０で除かれているため、比較画素決定手段２０で選択されi=7に最も隣接したi=6におけるN[6]でN[7]を補間した。そしてその補間されたN[7]を先ほどの加重和Sに加算する。その後、周辺範囲内に含まれる比較画素数mで除することで平均比較対象輝度Asy(i,j)が算出される。こうすることで、本発明の第４の実施の形態例よりも重み付き加重和の計算手続きを削減することができ、より処理量の削減を実現することができる。

なお、コントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を実際の画素値に変換する場合には、本発明の第１の実施例と同じように入力画像１の対象画素Pijにおける輝度y(i,j)に応じて式（数８）のように変換基準値VTcの値を制御することで、シャドウ部の急激な輝度レベル上昇を抑制しているが、本発明の第２の実施例における平均比較濃度VAPijの制御や第３の実施例のような強調成分VBRPijの制御する処理を加えることも可能である。

さらに、本発明ではコントラスト改善手段１２は図１７のように１つの周辺領域cによる構成をしているが、この周辺領域cの大きさが改善される暗部の大きさに起因していると思われる。通常、自然画像の場合、さまざまな大きさを持つ影部分がありうることから、従来技術で説明したようなJobsonらのような複数の周辺領域サイズc[s]を持つ多重解像度モデルがより効果的であることも本発明の第１の実施例と同様である。

さらに、これらの処理は本発明の第５の実施の形態である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。

また、本発明の第５の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。

（第６の実施の形態）
本発明の第６の実施の形態である画像処理装置及び画像処理方法について説明する。

その全体の構成図は本発明の第１の実施の形態と同様に図１のように構成される。そして、コントラスト改善手段は本発明の第１から第５の実施例のいずかと同様の構成で組み立てられる。また、画像合成手段１３も本発明の第１の実施例と同様に図４のようになる。この発明のポイントは、後処理手段が図１９のように構成されていることであり、図１９において、１９０は入力画像の輝度と色差を計算する入力輝度・色差算出手段であり、１９１は合成画像３のPijにおける輝度wy(i,j)と１９０で得られた輝度y(i,j)を比較し、その間の比Ratio(i,j)を算出する輝度比算出手段であり、１９２は得られた輝度比をもとに合成画像３の輝度wy(i,j)を調整する輝度調整手段であり、１９３は調整された輝度wy(i,j)とy(i,j)間のRatio(i,j)より入力画像の色差を修正する色差成分修正手段であり、１９４は修正された色差成分と輝度より合成画像３の画素値VWPij(wr(i,j),wg(i,j),wb(i,j))を再算出する画像再生成手段であり、１９５は所定のガンマ変換を行うガンマ変換手段である。

このように構成された、本発明の第６の実施の形態である画像処理方法の処理を背罪するが、コントラスト改善処理と後処理手段は図２０のようになる。コントラスト改善処理は、本発明の第１の実施の例と同じように行われるが、第１の実施例の場合、コントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))が成分ごとに式（数６）（数７）に従い算出されるのに対し、本発明では、式（数６）と式（数１１）のように、周辺範囲内の平均比較輝度Ay(i,j)と対象画素Pijの輝度y(i,j)の比に示される改善輝度yRP(i,j)を算出する。

そして、このyRP(i,j)を変換基準値算出手段２２で得られたyTc(i,j)をもとに実際の画素値のもつ輝度yRP(i,j)に変換する。次に、画像合成手段１３で強調画像３の輝度yRP(i,j)と入力画像１の輝度y(i,j)の合成輝度画像２を生成する。つまり、本発明の第１から第５の実施例で３成分ごとに扱ってきたのに対し、ここでは輝度のみで画像合成まで処理を行うのである。これは、本発明の第１の実施例の式（数６）（数７）のように平均比較輝度VAPijと入力画像VPijの各成分比を使う場合、入力画像１の色バランスはある程度保持されるが、その後で行われる強調・補正処理で図２１左図のように入力画像１の色バランスが崩れることがありうる。そこで、本発明では図２１の右図のように、合成後の改善輝度wy(i,j)とy(i,j)間の改善比Ratio(i,j)をもとに入力画像の色差cr(i,j),cb(i,j)を修正した改善色差wcr(i,j), wcb(i,j)を生成し、これらの値をもとに合成画像の画素値VWPijを算出することで色バランスの保持を図ったものである。

しかし、合成後の改善輝度wy(i,j)とy(i,j)間の比Ratio(i,j)をそのまま入力画像の色差cr(i,j),cb(i,j)に乗算して得られた色差wcr(i,j), wcb(i,j)が飽和する可能性があるため、この飽和判定を行う。そして、もしwcr(i,j)が飽和していた場合には、この色差に対する比dRatio(i,j)=wcr(i,j)/cr(i,j)を改めて合成後の改善輝度と入力画像の輝度による改善比Ratio(i,j)とする。この値をもとに合成後の改善輝度dwy(i,j)を計算する処理を１９２の輝度調整手段が行う。次に、１９３がRatio(i,j)を使って改めて、入力画像の色差cr(i,j),cb(i,j)を修正して合成後の色差dwcr(i,j),d wcb(i,j)を生成するのである。その後、実際の画素値に変換して合成画像３のPijにおける画素値VWPij(wr(i,j),wg(i,j),wb(i,j))を求め、ガンマ変換手段１９５が入力画像に本来加えられていたガンマ変換処理を行うことで最終的に画像出力手段１５で出力する出力画像２を生成するのである。

このように本発明では、入力画像における色のバランスを保つために、コントラスト改善処理時には輝度のみの改善を行い、その際の改善度合いを示す改善比をもとに入力画像の色差を修正することで合成画像の色バランス改善を図るものである。とくに、修正後の色差の飽和状態を考慮して改善度合いを図ることで、入力画像の色バランスを保持しながらコントラスト改善を行うことが可能となり、改めて色バランスを改善するための手段や仕組みを考慮する必要がないことが特徴である。

さらに、これらの処理は本発明の第６の実施の形態である画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。

また、本発明の第６の実施の形態である画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。

１入力画像
２出力画像
３強調画像
１０画像入力手段
１１前処理手段
１２コントラスト改善手段
１３画像合成手段
１４後処理手段
１５画像出力手段
２０比較画素決定手段
２１強調量導出手段
２２変換基準値算出手段
２３画素値変換手段
３０周辺範囲初期化手段
３１終了判定手段
３２周辺範囲変更手段
４０結合係数導出手段
４１加重平均合成手段
４２出力値決定手段
５０周囲平均手段
５１改善量算出手段
６０エッジ情報検出手段
６１補正係数算出手段
６２比較量補正手段
７０輝度差分平均手段
７１強調成分算出手段
７２改善量補正手段
１４０垂直方向加算手段
１４１簡易周囲平均手段
１７０間引き垂直方向加算手段
１９０入力輝度・色差計算手段
１９１輝度比算出手段
１９２輝度調整手段
１９３色差成分修正手段
１９４画像再生成手段
１９５ガンマ変換手段
２２０画像データ入力手段
２２１画像データ分割手段
２２２ヒストグラム作成手段
２２３コントラスト伸張手段
２２４画像データ出力手段
２３０ＣＣＤ
２３１メモリ
２３２乗算手段
２３３レベル重み付加手段Ｈ
２３４加算手段
２３５速度変換手段
２３６レベル圧縮手段
２３７タイミング制御手段
２３８レベル重み付加手段Ｌ
２３９画像合成部
２４０ディジタル撮像装置
２４１プロセッサ
２４２フィルタ
２４３ディスプレイ

Claims

入力画像内の対象画素の周囲の周辺領域に属する比較対象画素の重み付き加重和の値を導出する周囲平均導出ステップと、
前記対象画素におけるエッジ情報を導出するエッジ情報検出ステップと、
前記エッジ情報に基づいて前記加重和の値を補正する補正係数を導出する補正係数導出ステップと、
前記補正係数に基づいて前記加重和の値を補正する補正ステップと、
前記補正された加重和の値と、前記対象画素の画素値との比較によって、対象画素のコントラスト改善量を導出するコントラスト改善ステップと、
前記コントラスト改善量に対する平均値と偏差量とを用いて、各画素のコントラスト改善量を、所定最小値から所定最大値までの値に正規化し、正規化されたコントラスト改善量を強調画像の画素値とし、前記強調画像と前記入力画像とを所定の優先度で合成する画像合成ステップと、
を備えることを特徴とする画像処理方法。
前記補正係数導出ステップは、対象画素が輪郭付近にある場合の過剰強調を抑えるために、対象画素が平坦な領域にある場合には前記コントラスト改善量は大きな値となり、対象画素が輪郭付近にある場合には前記コントラスト改善量は小さな値となるように、
前記対象画素のエッジ情報に対して、対象画素のエッジ情報が高いほど高い値となり、前記対象画素のエッジ情報が低いほど低い値となるように、線形的に単調増加する補正係数を設定し、
前記補正ステップは、前記補正係数を、前記加重和の各成分の値に乗算することにより、前記加重和の値を補正する
ことを特徴とする請求項１に記載の画像処理方法。
入力画像内の対象画素の周囲の周辺領域に属する比較対象画素の重み付き加重和の値を導出する周囲平均導出手段と、
前記対象画素におけるエッジ情報を導出するエッジ情報検出手段と、
前記エッジ情報に基づいて前記加重和の値を補正する補正係数を導出する補正係数導出手段と、
前記補正係数に基づいて前記加重和の値を補正する補正手段と、
前記補正された加重和の値と、前記対象画素の画素値との比較によって、対象画素のコントラスト改善量を導出するコントラスト改善手段と、
前記コントラスト改善量に対する平均値と偏差量とを用いて、各画素のコントラスト改善量を、所定最小値から所定最大値までの値に正規化し、正規化されたコントラスト改善量を強調画像の画素値とし、前記強調画像と前記入力画像とを所定の優先度で合成する画像合成手段と、
を備えることを特徴とする画像処理装置。
請求項１または２に記載の画像処理方法をコンピュータに実行させるためのプログラム。