JP4359662B2 - カラー画像の露出補正方法 - Google Patents

Description

本発明はカラー画像の露出補正方法に関し、特に、ディジタルカメラで逆光シーン等の悪条件下の撮影環境において取得されたカラー画像に見られる「白とび」や「つぶれ」と言われる露出の不適正な領域を、視覚的に自然な画像に補正するための、カラー画像の露出補正方法に関する。

今日、家庭でのパーソナルコンピュータの普及と共に、ディジタルカメラの需要が増えている。しかし、ディジタルカメラは、手軽に取り扱える反面、逆光などの撮影環境により、色の白飛びや潰れという露出が適正でない画像が取得されることがある。人間はこのようなシーンでも無意識に瞳孔を調整して認識できるが、ディジタルカメラでは、再現できる明るさの範囲が狭いために、人間の感覚とは異なった画像となる。

このような「とび」や「つぶれ」の部分を補正し、視認性を改善するために、輝度分布ヒストグラムの特徴を利用するなどの手法である線形濃度変換やヒストグラム平坦化などの方法により、コントラストを強調した画像に変換する手法が提案されている（非特許文献１、２、３）。しかし、これらの手法は、その画像中のみの情報をもとに強調を行うため、極度に露出の不適正な領域においては強調に限界がある。また１枚の画像中に露出の適正な領域と不適正な領域が混在するような画像においては、露出の不適正な領域を強調するあまり、露出の適正な領域まで過度に強調してしまい、視覚的に不自然な画像に変換されるという欠点がある。

また別の技術として、特許文献１は、「逆光」、「白つぶれ」、「黒つぶれ」を補正する手法として、輝度ヒストグラムを利用する信号処理方法を開示する。さらに特許文献２および特許文献３は、ＲＡＷモードを利用した画像処理プログラム及び方法を開示する。しかし、それぞれ、カラーヒストグラムより求められた頻度画像及びＬ^＊a^＊b^＊カラーヒストグラムの情報を利用しておらず、人の目で見たような自然な画像に処理する技術を開示していない。したがって、これらの技術では前記した白飛びや潰れの問題を解決して視覚的に自然な画像に補正する画像処理技術までには至っていない。
「コンピュータ画像処理入門」（田村秀行著）総研出版、１９８５ 「Ｃ言語による画像処理」（安居院猛、中嶋正之、木見尻秀子著） 昭晃堂、１９９０ 酒井幸市：Visual Basic & Visual C++によるデジタル画像処理入門、 ＣＱ出版社、２００２ 特開２００３−１７９８０９号公報 特開２００４−２２０４３８号公報 特開２００４―２２２０７６号公報

本発明の目的は、ディジタルカメラの画像情報から取得したデータを基にカラー画像を処理する方法において、逆光等による白とびやつぶれの補正に関し、従来技術では視覚的に自然な画像に処理できないという問題点を解決することが可能なカラー画像の露出補正方法を提供することにある。

上記目的を達成するための本発明のカラー画像の露出補正方法は、同一シーンについて露出を変えて複数枚のカラー画像系列を取得し、これら複数枚のカラー画像系列における２枚のカラー画像について画像の各部分ごとに色の出現頻度の比を求め、前記各部分において、前記色の出現頻度の比にしたがって頻度の小さい方が頻度の大きい方よりも多くブレンドされるようなブレンド比を求め、画像全体についてブレンド比マップを作成し、このブレンド比マップにしたがって前記２枚のカラー画像を前記各部分ごとにブレンドして１枚の露出補正画像を作成するものである。

そして本発明は、上記において、２枚のカラー画像について画像の各部分ごとに色の出現頻度の比を求め、前記各部分において、前記色の出現頻度の比にしたがって頻度の小さい方が頻度の大きい方よりも多くブレンドされるようなブレンド比を求め、画像全体についてブレンド比マップを作成し、このブレンド比マップにしたがって前記２枚のカラー画像を前記各部分ごとにブレンドして１枚の露出補正画像を作成するものである。

本発明は、上記において、元のカラー画像のカラー値をその色の出現頻度に置き換えた第１の頻度画像と、この第１の頻度画像の頻度値に人間が差を感じない色の重みを大きくした係数を乗じて得られる第２の頻度画像とのいずれかを用いて、ブレンド比マップを作成するものである。

本発明は、上記において、原画像の暗い部分を明るくするように露出を補正した露出オーバー画像と、原画像を前記露出オーバー画像の色数に近くなるように補正した露出アンダー画像との２枚の補正画像を作成して用いるものである。

本発明の手法の一つは、上記において、原画像を前景部分と背景部分とに分け、前記原画像の前景部分を明るくするように露出を補正して露出オーバー画像を作成するとともに、原画像または原画像を露出補正した画像を露出アンダー画像とするものである。

本発明は、上記において、露出アンダー画像と露出オーバー画像の中間の明るさの画像を１枚または複数枚作成し、これら中間の明るさの画像および露出アンダー画像からなる複数枚の画像のそれぞれにおける色の出現頻度と、露出オーバー画像における色の出現頻度との比を用いて複数枚のブレンド比マップを作成し、これら複数枚のブレンド比マップから新たなブレンド比マップを作成するものである。

本発明の手法の他の一つは、上記において、画像のＲＡＷデータを用いて、明るさの異なる２枚の画像を現像し、この２枚の画像を用いるものである。
本発明は、上記において、明るさの異なる明るい画像と暗い画像のほかに、中間の明るさの画像を１枚または複数枚現像し、前記中間の明るさの画像および前記暗い画像からなる複数枚の画像のそれぞれにおける色の出現頻度と、前記明るい画像における色の出現頻度との比を用いて複数枚のブレンド比マップを作成し、これら複数枚のブレンド比マップから新たなブレンド比マップを作成するものである。

本発明によれば、ブレンド比マップをエッジの画像におけるそのエッジの強度に応じたガウシアンフィルタによりスムージングすることにより、エッジ付近の平滑度を小さくし、エッジ以外の平滑度を大きくした新たなブレンド比マップを作成することが好適である。

また本発明によれば、ＲＧＢ表色系にて作成された２枚のカラー画像のそれぞれから、Ｙｃｃ表色系などの人間の知覚にもとづく表色系に変換した画像を作成し、これらの変換された２つの画像をブレンド比マップにしたがってブレンドして１枚の画像を作成し、この画像を元のＲＧＢ表色系に変換してカラー画像を作成することが好適である。

また本発明によれば、原画像からそのサイズを小さくした縮小画像を作成し、作成した縮小画像から縮小サイズのブレンド比マップを作成し、この縮小サイズのブレンド比マップより元のサイズに拡大したブレンド比マップを作成して用いることが好適である。

本発明は、前記特徴を持つことにより、逆光や明暗の領域が混在するシーンを撮影して「白とび」や「つぶれ」といった露出の悪い領域のある画像を取得した場合であっても、特別な装置を必要とすることなく、ユーザーのニーズに応じて容易に、露出の不適正な領域のない視覚的に自然な画像を得ることが出来る。

すなわち、露出の不適正な領域は、一般に各画素の色の差が小さく、露出の適正な領域に比べて画像中で同じ色の頻度が大きいという特徴を持っている。このことを利用して、本発明は、色の出現頻度が低い画像を、その画像位置における露出が適正な画像であると判断するものである。

また本発明は、上記の特徴を、人間の知覚に基づいて設計した新たなカラーヒストグラムを用いて抽出し、視覚的に自然な補正を行うものである。このとき、露出の適正さを評価するために、本発明者らが先に開発した、カラーヒストグラム空間上に頻度情報と位置情報を持たせたカラー画像処理技術（特開２００１−１５５１７３号公報）より求められる頻度の違いを視覚的に表す頻度画像技術を用いる。そのため本発明は、露出の不適正な領域を空間的に検出するような領域分割処理を必要とせずに、局所領域の露出を補正できるといった特徴を持っている。

また本発明は、原画像または撮影した１枚の画像データから、明るさの異なる複数枚の画像を生成するので、特別の撮影手段を必要としない所に大きな特徴がある。また本発明は、領域分割を行う必要が無く、画素単位でブレンド比を決定でき、取り扱うことができるところに、大きな特徴がある。

さらにまた本発明は、ブレンド比を決める際に、人間の知覚特性に応じたカラーヒストグラムを作成し、そのヒストグラムから得られるカラーの頻度情報を基に決定するので、あらかじめ小領域の分割を行う必要が無く、画素単位にブレンド比を決定することができる。

すなわち本発明によれば、露出の不適正な領域を視覚的に自然に補正することができ、その補正結果によって、「白とび」や「つぶれ」のあるシーンでも、明部および暗部両方ともほぼ適正な露出で見える画像が得られる。これにより、視覚的に自然に影の領域の露出を補正することができ、得られた画像には露出の不適正な領域が無いようにすることができる。

また本発明によると、露出の不適正な領域を検出するための領域分割処理を必要とせずに、局所領域の露出を補正することができる。また、特別な装置を必要とせずに、あらゆる種類のディジタルカメラに適用可能であり、汎用性にも優れるという効果がある。

［露出と色の出現頻度］
写真撮影の際に、同じシーンを露出を変えて複数撮影したときに、注目している物体の見やすさと色の出現頻度との関係について説明する。図１は、図２の同一シーンを、露出を変えて９通りに撮影した画像群であり、それぞれの画像に１〜９の番号を付している。図２に示すように、机の上にはプラスチック製の鉢が置いてあり、机の下にはプラスチック製の鳥の人形が置いてある。鉢に対して適正な露出を合わせると、鳥の人形が暗くつぶれてしまう。逆に鳥の人形に露出を合わせると、鉢は白くとんでしまう。

図１のＮｏ．５の画像とＮｏ．９の画像とにおける鳥の人形部分の拡大図を図３（ａ）（ｂ）に示す。Ｎｏ．５の画像では鳥の人形部分はつぶれ気味であり、Ｎｏ．９の画像では鳥の人形は露出が適正である。また、Ｎｏ．５の画像とＮｏ．９の画像とにおける鳥の人形部分だけの領域をＲＧＢカラーヒストグラム空間にプロットすると、図４（ａ）（ｂ）のようになる。これより、ＲＧＢ空間では適正な露出の部分は、広がってプロットされ、つぶれ気味の部分は、レベルの低い領域に集中してプロットされることが分かる。

いま、このＲＧＢ空間の各位置に色の出現頻度を持たせると、露出の適正な部分の色は、分散しているためその出現頻度は低くなる。反対に、つぶれたり、とび気味の部分は、同じような色が集まっているため、色の出現頻度は高くなる。

したがって、露出を変えて撮影した複数枚の画像において、同一領域についての色の出現頻度を比べると、色の出現頻度の低い画像ほど適正な露出であると言える。

［頻度画像］
色の頻度情報を有するカラーヒストグラム空間において、その頻度を調べることで、露出を変えて撮影した画像の適正な露出を判断することができる。以下、これを具体的に説明する。

まず、カラー画像を、その座標を表す２つの独立変数ｘ、ｙの関数ｆ（ｘ，ｙ）によって表現すると、図５に示すように、カラー画像ｆ（ｘ，ｙ）のＲＧＢ値（たとえば「赤」）を、カラーヒストグラム空間より得られる頻度値（たとえば「２」）に置き換えることにより、頻度画像ｇ（ｘ，ｙ）が得られる。この頻度画像ｇ（ｘ，ｙ）は、カラーヒストグラムより求められた頻度の違いを視覚的に表すものである。

頻度画像を有限の諧調で表示する場合は、頻度の閾値をｄとして、ｄより小さい頻度の画像を、その頻度値に応じて濃淡表示する。この頻度値に応じて濃淡表示された画像を頻度特徴検出画像と呼ぶ。その詳細は、特開２００１−１５５１７３号公報に記載されている通りである。

図６（ａ）（ｂ）に、閾値ｄを同じにしたときの図３（ａ）（ｂ）についての頻度特徴検出画像を示す。ここでは、頻度が低い部分ほど暗く表示され、反対に頻度が高い部分ほど明るく表示されている。

頻度画像を用いて求めた図１における鉢と鳥の人形部分の領域の平均頻度の変化を図７（ａ）（ｂ）に示す。これらより、平均頻度の最も小さくなる露出が、最も見やすくなっていることが分かる。

［頻度画像の作成］
実シーンでは、画素のＲＧＢ値は種々のノイズの影響を受けることが多いため、複数枚の同じシーンを連続して取得したカラー画像を用いて頻度画像を作成する。具体的な手順を以下に示す。
（１）時刻ｔに取得したカラー画像をｆ^（ｔ）とし、ｆ^（ｔ）をカラーヒストグラム空間上にプロットしたものをｈ^（ｔ）とする。ｈ^（ｔ）はｆ^（ｔ）の各画素の座標値とその座標における頻度とを持っている。
（２）取得画像ｆ^（ｔ）の濃度値をｈ^（ｔ）より得られる頻度値に置き換えると、ｆ^（ｔ）は、濃度値の出現頻度を表す濃淡画像となる。この画像を頻度画像ｇ^（ｔ）と呼ぶ。
（３）｛ｆ^（ｔ）；ｔ＝１，２，…，ｎ｝から得られるｎ枚の頻度画像ｇ^（ｔ）の合計Ｓを次式により求める。

さらに、頻度画像の平均をｇｍとすると、ｇｍは次のように表される。

ｇｍを平均頻度画像と呼び、ｇｍの各画素の値は実数値を取るものとする。
（４）画像として表現する頻度の閾値をｄとし、これを検出平均頻度と呼ぶ。ｉビットの画像メモリを用いて、検出平均頻度ｄまでを表した頻度画像は次式のようになる。

検出した濃淡画像ｇ_ｄを頻度特徴検出画像と呼ぶ。なお、式（３）でｄから１を減じているのは、最低の頻度値を０にするためである。ｇ_ｄにおいて暗い領域が低頻度領域を表し、明るい領域が高頻度領域を表す。以後、頻度画像ｇ^（ｔ）、頻度特徴検出画像ｇ_ｄをまとめて頻度画像と呼ぶ。

以上の作成手順を図８に示す。図８ではカラー画像ｆ^（ｔ）を基に頻度画像を作成する方法を示している。カラー画像ｆ^（ｔ）をカラーヒストグラムにプロットし、同時に濃度値の出現頻度をカウントする。このときのカラーヒストグラムをｈとする。もとの画像ｆ^（ｔ）の濃度値をｈより得られる頻度値を加算枚数で割った値に置き換えた画像が頻度画像ｇである。頻度画像ｇでは、頻度をグレースケールで表している。

以下においては、実際の使用時のことを考慮し、平均頻度画像は作成せず、１枚の取得画像から頻度画像を作成する方法を用いる。

［均等色空間の性質を持つＲＧＢ表色系のカラーヒストグラム］
ＲＧＢカラーヒストグラム空間では、同じ色の距離であっても、その位置により人間には異なった距離に感じることが知られている。たとえば、緑付近の色の差と青付近の色の差がＲＧＢ空間で同じであっても人間には青付近の方がより差を感じる。

このため、ＲＧＢカラーヒストグラム空間より得られる頻度情報をそのまま用いると、人間の感覚と合わない不自然な結果となる場合がある。そこで、人間が同じ色差に見える色どうしの距離を均等にしたＬ^＊ａ^＊ｂ^＊表色系の色空間を参考にして、ＲＧＢ空間にこの均等色空間の性質を持たせる。

そのための手法は、頻度情報を持つＲＧＢ空間の各位置の頻度に、その位置により異なる重みを乗じたものを、その位置の頻度とするものである。この重みは、人間が差を感じない色はカラーヒストグラム空間上で高い頻度となるように設定したものであり、Ｌ^＊ａ^＊ｂ^＊表色系と同じ性質を、このカラーヒストグラムに持たせることができる。

なお、Ｌ^＊ａ^＊ｂ^＊表色系は人間の知覚に合った色空間と言われており、色再現といった応用では微妙な色の差はあまり問題にならないため性能が良く、あらゆる分野で用いられている。

Ｌ^＊ａ^＊ｂ^＊表色系は
Ｌ^＊：明度
ａ^＊：値が大きいほど赤、小さいほど緑
ｂ^＊：値が大きいほど黄、小さいほど青
の３つの値で色を表す。

以下、詳しく説明する。Ｌ^＊ａ^＊ｂ^＊表色系の変換式は以下の式（４）のようになる。

なお、式（４）のＸ、Ｙ、Ｚは以下の式（５）で表され、Ｘｎ、Ｙｎ、Ｚｎは白色の三刺激値であり環境によって設定する。本発明では６５００Ｋの色温度照明における白基準値としてＸｎ＝９４．０４５、Ｙｎ＝１００．０、Ｚｎ＝１０８．８９２を用いることができる。

しかし、このＬ^＊ａ^＊ｂ^＊表色系をカラーヒストグラムとすると、以下のような問題点が生じる。（ｉ）負の値が存在し、プログラム上、空間の設定が難しい。（ｉｉ）画像の全ての画素を毎回ＲＧＢからＬ^＊ａ^＊ｂ^＊に変換する必要があり、処理時間がかかる。（ｉｉｉ）ＲＧＢからＬ^＊ａ^＊ｂ^＊への変換が１対１対応ではないため非可逆である。

そこで、ＲＧＢ表色系を用いたカラーヒストグラムにＬ^＊ａ^＊ｂ^＊表色系の性質を持たせる。具体的な手順を次に説明する。
（１）Ｌ^＊ａ^＊ｂ^＊カラーヒストグラムを用意し、全点の頻度を０に設定する。
（２）ＲＧＢ表色系で表される全ての色をＬ^＊ａ^＊ｂ^＊カラーヒストグラムにプロットする。
（３）ＲＧＢ表色系カラーヒストグラムを用意し、全点の頻度を０に設定する。
（４）ＲＧＢ表色系カラーヒストグラムの１点１点をＬ^＊ａ^＊ｂ^＊に変換し、Ｌ^＊ａ^＊ｂ^＊カラーヒストグラムの頻度値を調べ、その頻度値をＲＧＢカラーヒストグラムに格納する。その結果、頻度値が均等でないＲＧＢカラーヒストグラムができる。このとき、頻度の高い色は人間が差を感じない色であり、頻度の低い色は人間が差を感じる色であると言える。
（５）作成されたＲＧＢ表色系カラーヒストグラムの頻度分布に対応した重みテーブルを作る。ＲＧＢ表色系カラーヒストグラム内で最低の頻度は１、最高の頻度は７７であることから、重みは線形に０．１〜７．７とすることができる。ＲＧＢカラーヒストグラムを作成する際、プロットされた点の重みを頻度にかけて、頻度を足していく。この手順を図９に示す。

このように重みテーブルを一度作成すれば、人間が差を感じない色はカラーヒストグラム上で高い頻度となる、Ｌ^＊ａ^＊ｂ^＊表色系と同じ性質を持つＲＧＢカラーヒストグラムを作成することができる。本発明ではこのＬ^＊ａ^＊ｂ^＊表色系の性質を持ったカラーヒストグラムにより作成される頻度画像を用いて露出を評価し、補正する。

この重み付けを行う重みテーブルは、一度作成しておけば毎回作り直す必要はない。カラー画像をこのカラーヒストグラム空間にプロットした後の頻度に、重みテーブルより得られる係数を乗じて、その値を基に頻度画像を作成し、この画像を露出の評価に使用する。この頻度画像の作成過程は、元のカラー画像のカラー値をその色の出現頻度に置き換えて作成した頻度画像の各頻度値に、後から、元のカラー画像の色についての前記重みテーブルの係数を乗じて、新たに頻度画像を作成することと同じである。

［露出の補正方法−１］
（基本的な考え方）
ディジタルカメラなどから得られる２４ビットフルカラー画像を用いた場合の露出補正の基本的な考え方は次の二つである。

（Ａ）露出補正の必要な原画像は、露出オーバー気味な部分と露出アンダー気味な部分との、大きく２つの領域に分けて考えることができる。このとき、露出アンダー気味な部分は、逆光での人物の撮影のようにシーンの前部にくることが多いので、これを「前景」とし、それ以外の露出オーバー気味な部分を「背景」とする。

（Ｂ）原画像より、前景の露出が最適な画像ｆ_ｏ（ｘ，ｙ）を作成するとともに、背景の露出が最適な別の画像ｆ_ｕ（ｘ，ｙ）を作成する。そして、それぞれの画像より得られる頻度画像についての画素ごとの頻度の比によって、２枚の画像をブレンドする。

以下、上記の二つの考え方に基づいた具体的な露出補正方法を説明する。

（前景と背景の決定）
原画像をＬ^＊ａ^＊ｂ^＊表色系のＬ^＊の値で２値化する。この時の閾値は判別分析法により自動で決定し、閾値より明度の低い部分を前景とし、明度の高い部分を背景とする。

（ｆ_ｏ（ｘ，ｙ）とｆ_ｕ（ｘ，ｙ）の作成）
前景部分の最適露出画像ｆ_ｏ（ｘ，ｙ）は、上記のフルカラー画像の暗部の明るさを線形濃度変換により強調して作成したものとする。このとき、濃度変換直線の傾きを少しずつ変化させて、前景部分の明度のエントロピーが最大になるものを求める。

明度のレベルＩの画素の出現確立をＰ（Ｉ）とすると、エントロピーＥは次の式により求められる。

背景部分の最適露出画像ｆ_ｕ（ｘ，ｙ）は、原画像を利用することができる。ただし、他の画像でもよい。なお、後述の理由により、後述のようにして、背景部分の最適露出画像ｆ_ｕ（ｘ，ｙ）の色数を、前景部分の最適露出画像ｆ_ｏ（ｘ，ｙ）の色数に合わせておく。

（頻度画像の作成）
求めた最適露出画像ｆ_ｏ（ｘ，ｙ）、ｆ_ｕ（ｘ，ｙ）を、上述の均等色空間の性質を持つＲＧＢカラーヒストグラム空間にそれぞれプロットして、それぞれの頻度画像ｇ_ｏ（ｘ，ｙ）、ｇ_ｕ（ｘ，ｙ）を作成する。

（ブレンド比の作成）
頻度の低い領域ほど露出が適正なので、２枚の頻度画像で同じ位置の頻度を比べ、頻度の低い方が多くブレンドされるように、下記の式によって画素ごとにブレンド比ｒ_ｏ（ｘ，ｙ）、ｒ_ｕ（ｘ，ｙ）を決める。

（ブレンド比マップの作成）
次に、上記で求めた最適露出画像ｆ_ｏ（ｘ，ｙ）、ｆ_ｕ（ｘ，ｙ）のブレンド比ｒ_ｏ（ｘ，ｙ）、ｒ_ｕ（ｘ，ｙ）を濃淡画像で表したブレンド比マップの画像を作成する。この画像は、前景部分の露出が適正である画像ｆ_ｏ（ｘ，ｙ）のブレンド割合が高いほど明るい画像となる。

（ブレンド比マップのスムージング）
ノイズの影響を避けるためブレンド比マップをスムージングする。単にスムージングすると画像中におけるエッジの付近がぼけてしまうため、画像中の場所によって動的に重みが変わるスムージングフィルタを利用する。このフィルタは図１０に示すようなガウシアンフィルタであるが、図１０（ａ）に示すようにエッジ付近では分散値を小さく、図１０（ｂ）に示すようにエッジから離れるに従って分散値σを大きく設定する。

ガウシアンフィルタとは、重みが式（８）より得られる正規分布に従って割り当てられるフィルタであり、与えるσによってぼけ具合が変わる（FEST Project編集委員会：新実践画像処理、Linx、 2002）。図１０はσによる重みをグラフ化したものであり、図１０（ａ）はσが５である場合を示し、同図（ｂ）はσが２１である場合を示す。

式（８）のｗは重みでありｘ，ｙは座標、σはフィルタの広がりを示す値である。図１０（ａ）（ｂ）から分かるように、σが小さいほど画像はぼけず、大きいほどぼける。この特性を利用して、エッジ付近ではσを小さく、エッジから離れるに従ってσが大きくなるようにスムージングを行う。この処理をたとえば２枚の画像の平均画像より検出したエッジを参考に行う。平均画像とは、単にブレンドする２枚の画像の同じ位置の画素のＲＧＢの値を加算し、２で除して得られるＲＧＢの値によって画像を構成したものである。また、エッジは公知の画像処理手法であるＰｒｅｗｉｔｔオペレータを用いて検出する。Ｐｒｅｗｉｔｔオペレータとは、画像中のエッジを検出するための手法である。

（ブレンド）
前景最適露出画像ｆ_ｏ（ｘ，ｙ）と背景最適露出画像ｆ_ｕ（ｘ，ｙ）の各画素のＲＧＢ値を用いてブレンド比ｒ_ｏ（ｘ，ｙ）、ｒ_ｕ（ｘ，ｙ）によって実際にブレンドを行う際、画素のＲＧＢの値は、下記の式（９）を用いていったん公知のＹ／Ｃ分離信号に変換し、Ｙ成分とＣ成分を別々にブレンドした後、式（９）をＲＧＢに関して解いた式（１０）を用いてＲＧＢの値に逆変換し、画像とする。

Ｙ成分は輝度であり、Ｃ成分は色である。このようにするのは、ＲＧＢのバランスが崩れないようにするためである。この処理を全ての画素に対して行い、露出補正画像を作成する。

（具体例）
デジタルカメラで撮影したＪＰＥＧ画像から２４ビットのフルカラー画像を得て、これを原画像として実験を行った。

図１１は原画像である。まず、この原画像から、二値化により前景と背景を決めた。ここでは、二人の人物を前景とするとともに、それ以外は背景とした。次に前景のエントロピーを算出して、前景部分の最適露出画像ｆ_ｏ（ｘ，ｙ）を求めた。これを図１２に示す。背景部分の最適露出画像ｆ_ｕ（ｘ，ｙ）は、原画像をｆ_ｏ（ｘ，ｙ）と同じ色数まで減色して作成した。

次に最適露出画像ｆ_ｏ（ｘ，ｙ）、ｆ_ｕ（ｘ，ｙ）の頻度画像ｇ_ｏ（ｘ，ｙ）、ｇ_ｕ（ｘ，ｙ）を作成した。図１３は図１１を減色した後の頻度画像ｇ_ｕ（ｘ，ｙ）を示し、図１４は図１２の頻度画像ｇ_ｏ（ｘ，ｙ）を示す。露出の適正な部分は頻度が低く、頻度画像において濃度が高く、図１３、１４において暗い部分となった。反対に露出が適正でない部分は頻度が高く、頻度画像において濃度が低く、図１３、１４において明るい部分となった。

ブレンド比ｒ_ｏ（ｘ，ｙ）、ｒ_ｕ（ｘ，ｙ）を決め、図１５のブレンド比マップの画像を作成した。この画像は、上述のように、前景部分の露出が適正である画像ｆ_ｏ（ｘ，ｙ）のブレンド割合が高いほど明るい画像となった。

そして上述のブレンド比マップのスムージングを行い、ブレンドを行った。その結果を図１６に示す。この図１６の画像は、前景、背景とも適正露出であり、背景が適正露出であるが前景が露出アンダーである図１１の画像や、反対に前景は適正露出であるが背景が露出オーバーである図１２の画像に比べ、違和感なく露出の補正を行うことができた。

（まとめ）
以上のようにして、２４ビットフルカラー画像を用いて、局所的に露出の不適正な部分を補正することができる。これは、同一シーンにおいて露出を変えて撮影した画像において、露出の適正な部分は、色の出現頻度が低くなるという知見に基づくものである。本手法は、カラー画像の明度情報を基にブレンドや補正を行う手法と異なり、人間の知覚に基づいたカラー空間より得られる情報を用いるため、視覚的に違和感のない自然な補正画像を作成することができる。

（中間画像の利用）
次に、本発明にもとづき中間画像を利用する場合について説明する。この処理では、たとえば原画像を減色した背景画像と原画像を明るくした前景画像の２枚を用いるとともに、その２枚以外に、背景画像と前景画像の中間の明るさの、単数または複数の中間画像を作成する。

このとき、原画像を明るくした前景画像を作成すると、オリジナルのＪＰＥＧ画像はＲＧＢ８ビットであるため、前景画像は原画像に比べて色数が減る。
フルカラーの画像ではＲＧＢがそれぞれ２５６階調あり、色数は２５６×２５６×２５６存在する。

前景画像は、原画像をある明るさまで拡大して作成する。この明るさをＲＧＢそれぞれ６４とすると、０〜６４の部分を０〜２５５に割り当てて明るい画像を作成する。ただし、元々の暗い部分は６４×６４×６４の色数しかなかったため、０〜２５５に割り当てても色数は少ないままである。ここで、中間画像の作成の際には、色数を前景画像に合わせる。

このように色数を合わせる理由は、同じ階調のカラー画像より頻度画像を作成しないと頻度のバランスがくずれるからである。たとえば、同じシーンをＲＧＢ各２５６階調で撮る場合と、ＲＧＢ各６４階調で撮る場合とでは、頻度画像にしたときに、同じ場所で露出の程度が同じであっても、前者は頻度が低めになり、後者は頻度が高めになる。

ブレンド比マップは、たとえば中間画像を３枚作成する場合は、
背景画像より作成した頻度画像：中間画像１より作成した頻度画像
背景画像より作成した頻度画像：中間画像２より作成した頻度画像
背景画像より作成した頻度画像：中間画像３より作成した頻度画像
背景画像より作成した頻度画像：前景画像より作成した頻度画像
のように、背景画像と、単数または複数の中間画像および前景画像とで、それぞれブレンド比マップを作成し、これらを用いて新たなブレンド比マップを得る。具体的には、各ブレンド比マップの平均や、各ブレンド比マップにそれぞれ係数を乗じて加え合わせたものなどを、新たなブレンド比マップとすることができる。各ブレンド比マップにそれぞれ係数を乗じる場合には、たとえば、背景画像と前景画像によるブレンド比マップに乗じる係数の値を、中間画像を用いた場合のブレンド比マップに乗じる係数の値よりも大きな値とすることができる。

このようにすることで、より良い結果を得ることができる。
上述の露出補正方法に、さらに中間画像をも利用した処理のアルゴリズムの例を、図１７に示す。

（高速化アルゴリズム）
図１８に示すように、高速化アルゴリズムのために、原画像より縮小した縮小画像を作成する。縮小は、最近傍法、線形補間法、三次補間法などの一般的なアルゴリズムを使用する。この縮小画像を原画像として、上述と同様の処理により、ブレンド比マップを作成する。

次に上記のようにして得られたブレンド比マップを、最近傍法、線形補間法、三次補間法により原画像のサイズに拡大する。拡大したブレンド比マップを用いて、原画像と、原画像を明るくして作成した前景画像とにより、露出補正画像を作成する。

このように縮小画像を原画像としてブレンド比マップを作成することで、処理の高速化を図ることができる。

［露出の補正方法−２］
ここでは、画像のＲＡＷデータを用いて処理を行う。
（ＲＡＷデータと現像）
ＲＡＷデータとは、ディジタルカメラにおいて撮影時に撮像素子が生成したＲＡＷモードのデータであり、画像ではない。一般にディジタルカメラで出力される画像は、ガンマ値、明るさ、色、ホワイトバランスなどのパラメータを設定して、ＲＡＷデータから生成されたものである。この処理を一般に「現像」という。現在までに公開されている現像ソフトでは上に挙げたパラメータを任意に設定できない。そのため、例えば図１９のように影の領域や空の領域に色の変化が見られない。そこで、ここではＲＡＷデータを直接処理することのできる「ｄｃｒａｗ」というフリーライセンスの現像ソフト（“RAW Digital Photo Decoding in Linux”、http://www.cybercom.net/^〜dcoffin/dcraw/）を用いる。ｄｃｒａｗを用いると、図２０、２１に示すように明るさの異なる２枚の画像を現像できる。

それに続く頻度画像の作成、ブレンド比の作成、ブレンド比マップの作成、ブレンド比マップのスムージングは、上述の「露出の補正方法−１」の場合と同様である。以下、ブレンド比マップのスムージングの具体例について説明する。ここでは、上述のように、スムージングを、２枚の画像の平均画像より検出したエッジを参考に行う。上述のように、平均画像は、単にブレンドする２枚の画像の同じ位置の画素のＲＧＢの値を加算し、２で除して得られるＲＧＢの値によって画像を構成したものである。図２０、２１の画像の平均画像を図２２に示す。図２２に対してＰｒｅｗｉｔｔオペレータを適用してエッジを検出した結果を図２３に示す。図２３はグレースケール画像であり、黒いところほど勾配の急なエッジである。よって、このエッジの急峻さに対応したガウシアンフィルタのσを決めればよい。

以上の処理により図２０、２１に示す画像をブレンドした結果とそのときのブレンド比マップとを、それぞれ図２４、２５に示す。また、スムージングしない場合のブレンド比マップを図２６に、σの変化の様子を色により確認できる分布図を図２７に示す。ブレンド結果ではノイズや不自然な境界はなく、σの分布図ではエッジ付近でσが小さくなっていることが確認できる。

（複数枚の明るさの異なる画像を用いたブレンド比マップの作成）
２枚の画像をブレンドすることによって露出の補正を行った図２４のブレンド結果は初見では不自然だと感じることはないが、原画像と共に見ると人物の左肩にある影が不自然である。これはブレンドする２枚の画像の明るさに差があるため、オーバー気味な画像において飛んでいる領域の面積が増え、頻度が極度に大きくなりブレンドに無理が生じたためである。そこで、最適なブレンド比マップを作成する方法について説明する。

これには、上述の「中間画像の利用」の場合と同様に、実際にブレンドする２枚の画像だけではなく、その中間の明るさの画像を用いる。具体的には、アンダー気味な画像と中間の明るさの画像とをブレンドしたときに得られるブレンド比マップ数枚と、図２５に示したブレンド比マップとの平均画像を作成し、これをブレンド比マップとする。この処理を図２８に示す。このとき、前記したブレンド比マップのスムージングは、作成される最適なブレンド比マップに対してのみ適用する。これは処理時間を短縮するためである。なお、ブレンドに用いるＲＧＢ値は、最も明るさの離れた２枚の画像のデータを用いる。図２８の場合は図中の左側および右下の明るさ１の画像と明るさ２．５の画像である。図２０、２１に示す画像において、３枚のブレンド比マップからブレンド比マップを作成してブレンドした結果と、そのときのブレンド比マップを、それぞれ図２９、３０に示す。人物の左肩の影もなくなりより良い結果が得られている。

なお、上述のように複数のブレンド比マップの平均画像を作成することに代えて、たとえばこれら複数の各ブレンド比マップにそれぞれ適宜の係数を乗じたものを加算して新たなブレンド比マップとするなどの、適宜の手法を用いることもできる。

（高速化アルゴリズム）
このＲＡＷデータを用いて処理を行う場合も、同様に、原画像より縮小した縮小画像を作成する。この縮小画像を原画像としてブレンド比マップを作成し、得られたブレンド比マップを原画像のサイズに拡大し、この拡大したブレンド比マップを用いて露出補正画像を作成することができ、これによって処理の高速化を図ることができる。

（処理のフローチャート）
以上の処理をフローチャートで表したものを図３１に示す。この処理は、以下の各工程を含む。

（ａ）画像情報を取得する工程、
（ｂ）露出アンダー（Ｉ_ｕ）及び露出オーバー（Ｉ_ｏ）の各１枚の画像と、中間の露出のＮ枚（但し、Ｎは０又は１以上の自然数）の画像とをＲＧＢ表色系で作成する工程、
（ｃ）重みテーブルを用いて、Ｌ^＊ａ^＊ｂ^＊表色系の性質を持つＲＧＢ表色系のカラーヒストグラムを作成する工程、
（ｄ）Ｉ_ｕとＩ_ｏの頻度画像を作成する工程、
（ｅ）Ｉ_ｕとＩ_ｏの平均画像Ｉ_ｍを作成し、Ｉ_ｍの急峻さを検出して位置可変のガウシアンフィルタのパラメータを決定する工程、
（ｆ）各画素毎にブレンド比を決定し、ガウシアンフィルタを用いて補正されたブレンド比マップを作成する工程、
（ｇ）各画像におけるＲＧＢ値のＹ／Ｃ分離を行う工程、
（ｈ）Ｙ成分及びＣ成分毎にブレンド比を用いて合成画像を作成する工程、
（ｉ）Ｙ成分及びＣ成分からＲＧＢ表色系へ変換する工程、
（ｊ）画像表示（最終画像）を得る工程、

（具体例）
本発明の有効性を検証するために、露出の不適正な領域と適正な領域が混在する画像を取得し、実験を行った。実験に用いた画像は、ディジタルカメラＣａｎｏｎ ＥＯＳ Ｄ３０のＲＡＷモードにて撮影し、サイズを半分にして現像した１０８８×７２４［ｐｉｘｅｌ］のＲＧＢ各８ｂｉｔのフルカラー画像である。処理はＡｔｈｌｏｎ ＸＰ ２５００＋のＣＰＵ、５１２ＭＢ ＲＡＭのメモリを搭載したパーソナルコンピュータを用いて行った。処理時間は、画像によって差はあるが、約２．５（ｍｉｎ）であった。

実験の処理対象となる各２枚の原画像を、図３２と３３、および図３６と３７にそれぞれ示す。市販現像ソフトにより現像した結果を図３４および３８に示し、一方、本発明の方法によって露出の不適正な領域を補正した画像を図３５および３９に示す。

実験の結果、図３２に示す露出アンダー気味の画像では室内が逆光によりつぶれており、図３３に示す露出オーバー気味の画像では窓の外の風景が飛んでおり、それぞれ確認できなくなっている。図３４の画像は市販ソフトによる現像結果であるが、室内はつぶれており、空の領域にも色の変化が見られない。

また別な実験結果である図３６に示す画像では、左側半分に影があり暗くなっている。また図３７では影の領域は見やすい明るさになっているが、それ以外の領域が飛んでいる。これらを市販ソフトによって補正した図３８に示す現像結果は、全体的に暗く見にくい画像となっている。

これらに対し、本発明のカラー画像の露出補正方法を適用した実験結果を示す図３５の画像は、室内外とも様子が良く確認できる画像となっている。また本発明にもとづく別の実験結果を示す図３９の画像は、露出の不適正な領域はなく、視覚的に自然に影の領域の露出が補正できていることが分かる。

以上詳述したように、本発明のカラー画像の露出補正方法によると、逆光や影などの明るい領域と暗い領域が混在するシーンのある画像から、実際に人の肉眼で自然に見えるように、露出の不適正な領域のない視覚的に自然な画像を得ることができる。

なお、上述の「露出の補正方法−１」において説明した手法と、「露出の補正方法−２」において説明した手法とは、それぞれの補正方法において可能な範囲で相互に利用することができる。

本発明の原理を説明するための、段階的に露出の異なる画像群の例を示す図である。 図１の画像群のためのシーンの拡大図である。 図１における要部の拡大図である。 図３の領域をＲＧＢカラーヒストグラム空間にプロットした図である。 本発明にもとづく頻度画像を説明する図である。 図３の頻度画像を示す図である。 図１の要部の平均頻度の変化を示す図である。 本発明にもとづく頻度画像の作成手順を説明する図である。 本発明にもとづく、ＲＧＢ表色系を用いたカラーヒストグラムにＬ^＊ａ^＊ｂ^＊表色系の性質を持たせるための具体的な手順を説明する図である。 本発明にもとづく、ガウシアンフィルタのσ値による重みの形を示す図である。 本発明の露出補正方法を実施するための原画像の一例を示す図である。 図１１における前景部分の最適露出画像を示す図である。 図１１の画像についての頻度画像を示す図である。 図１２の画像についての頻度画像を示す図である。 前景部分と背景部分とのブレンド比マップの画像である。 ブレンド結果を示す図である。 中間画像を利用する例を説明する図である。 縮小画像を作成することによる高速化アルゴリズムを説明する図である。 本発明の露出補正方法を実施するための、ある実写画像についての、市販品の現像ソフトでの現像結果を示す図である。 同実写画像についての現像ソフトによる明るさ１の画像を示す図である。 同実写画像についての現像ソフトによる明るさ２．５の画像を示す図である。 図２０の画像と図２１の画像の平均画像を示す図である。 Ｐｒｅｗｉｔｔオペレータによる図２２のエッジ検出画像を示す図である。 図２０と図２１の画像のブレンドとスムージングとの結果を表す画像を示す図である。 図２４の画像を得るために用いたブレンド比マップを示す図である。 図２０と図２１の画像の、スムージングしないブレンド比マップを示す図である。 ガウシアンフィルタにおけるσの変化を画像上に表した、σの分布図である。 本発明にもとづく最適なブレンド比マップの作成方法を説明する概念図である。 本発明にもとづき明るさの異なる複数枚の画像を用いたブレンド結果を表す画像を示す図である。 図２９の画像を得るために用いたブレンド比マップを示す図である。 本発明の露出補正方法の一例のフローチャートである。 他の実写画像であって、露出アンダー気味の原画像を示す図である。 図３２と同じ対象についての実写画像であって、露出オーバー気味の原画像を示す図である。 図３２および図３３の対象についての市販ソフトによる現像結果を表す画像を示す図である。 図３２および図３３の対象についての本発明の方法による現像結果を表す画像を示す図である。 さらに他の実写画像であって、露出アンダー気味の原画像を示す図である。 図３６と同じ対象についての実写画像であって、露出オーバー気味の原画像を示す図である。 図３６および図３７の対象についての市販ソフトによる現像結果を表す画像を示す図である。 図３６および図３７の対象についての本発明の方法による現像結果を表す画像を示す図である。

Claims (10)

1. 同一シーンについて露出を変えて複数枚のカラー画像系列を取得し、これら複数枚のカラー画像系列における２枚のカラー画像について画像の各部分ごとに色の出現頻度の比を求め、前記各部分において、前記色の出現頻度の比にしたがって頻度の小さい方が頻度の大きい方よりも多くブレンドされるようなブレンド比を求め、画像全体についてブレンド比マップを作成し、このブレンド比マップにしたがって前記２枚のカラー画像を前記各部分ごとにブレンドして１枚の露出補正画像を作成することを特徴とするカラー画像の露出補正方法。
2. 元のカラー画像のカラー値をその色の出現頻度に置き換えた第１の頻度画像と、この第１の頻度画像の頻度値に人間が差を感じない色の重みを大きくした係数を乗じて得られる第２の頻度画像とのいずれかを用いて、ブレンド比マップを作成することを特徴とする請求項１記載のカラー画像の露出補正方法。
3. 原画像の暗い部分を明るくするように露出を補正した露出オーバー画像と、原画像を前記露出オーバー画像の色数に近くなるように補正した露出アンダー画像との２枚の補正画像を作成して用いることを特徴とする請求項１または２記載のカラー画像の露出補正方法。
4. 原画像を前景部分と背景部分とに分け、前記原画像の前景部分を明るくするように露出を補正して露出オーバー画像を作成するとともに、原画像または原画像を露出補正した画像を露出アンダー画像とすることを特徴とする請求項３記載のカラー画像の露出補正方法。
5. 露出アンダー画像と露出オーバー画像の中間の明るさの画像を１枚または複数枚作成し、これら中間の明るさの画像および露出アンダー画像からなる複数枚の画像のそれぞれにおける色の出現頻度と、露出オーバー画像における色の出現頻度との比を用いて複数枚のブレンド比マップを作成し、これら複数枚のブレンド比マップから新たなブレンド比マップを作成することを特徴とする請求項３または４記載のカラー画像の露出補正方法。
6. 画像のＲＡＷデータを用いて、明るさの異なる２枚の画像を現像し、この２枚の画像を用いることを特徴とする請求項１または２記載のカラー画像の露出補正方法。
7. 明るさの異なる明るい画像と暗い画像のほかに、中間の明るさの画像を１枚または複数枚現像し、前記中間の明るさの画像および前記暗い画像からなる複数枚の画像のそれぞれにおける色の出現頻度と、前記明るい画像における色の出現頻度との比を用いて複数枚のブレンド比マップを作成し、これら複数枚のブレンド比マップから新たなブレンド比マップを作成することを特徴とする請求項６記載のカラー画像の露出補正方法。
8. ブレンド比マップをエッジの画像におけるそのエッジの強度に応じたガウシアンフィルタによりスムージングすることにより、エッジ付近の平滑度を小さくし、エッジ以外の平滑度を大きくした新たなブレンド比マップを作成することを特徴とする請求項１から７までのいずれか１項記載のカラー画像の露出補正方法。
9. ＲＧＢ表色系にて作成された２枚のカラー画像のそれぞれから、Ｙｃｃ表色系などの人間の知覚にもとづく表色系に変換した画像を作成し、これらの変換された２つの画像をブレンド比マップにしたがってブレンドして１枚の画像を作成し、この画像を元のＲＧＢ表色系に変換してカラー画像を作成することを特徴とする請求項１から８までのいずれか１項記載のカラー画像の露出補正方法。
10. 原画像からそのサイズを小さくした縮小画像を作成し、作成した縮小画像から縮小サイズのブレンド比マップを作成し、この縮小サイズのブレンド比マップより元のサイズに拡大したブレンド比マップを作成して用いることを特徴とする請求項１から９までのいずれか１項記載のカラー画像の露出補正方法。

Images