JP5451213B2 - 画像処理装置及び画像処理方法並びにコンピュータプログラム - Google Patents

Description

本発明は、画像データの特徴に応じて画像を補正する画像処理装置及びその制御方法に関する。

近年、撮像素子で撮影した静止画をデジタルデータとして記録するデジタルカメラが広く普及している。また画像を記録するメモリカードの大容量化に伴って、撮影した画像を大量に記憶することが一般化している。このように簡単に大量の画像を撮影して保存できるようになったため、安易に撮影して露出量が適正でない状態で撮影して保存される画像も増えている。例えば、露出不足の状態で撮影された画像では、明るい場所を撮影したにも拘わらず、画像全体が暗くなって保存されてしまう。このように露出不足の状態で撮影された画像をコンピュータの画面に表示させる場合、或いは、印刷して閲覧する場合などには、撮影した画像に対し撮影時の露出の過不足を補うため適当な補正処理が行われることが望ましい。このような補正処理を大量の画像に対して１つずつ手作業で行うと非常に手間がかかってしまうため、撮影した画像の露出の過不足状態を自動的に判定して補正処理を行えることが望ましい。しかしながら、例えば、全体的に暗い夜景画像と露出不足の画像を自動的に判定することが難しい。このような問題を解決するための適切な補正処理を実行する方法が必要とされている。

特許文献１は、撮影画像を複数の区画に分割し、分割された区画の画像の特徴量である区画特徴量を算出し、その区画特徴量から撮影画像に割り当てられる撮影シーンの確度を算定している。そして、その算定された撮影シーンの確度から撮影画像に対する補正度を決定する方法が記載されている。撮影シーンの確度とは、撮影画像から特徴量を算出し、特徴量に基づき、予め設定されたシーンである可能性を数値で示した値である。この特許文献１では、撮影シーンの確度を算出する方法として、例えば、逆光と順光の判定に、撮影画像の中央部に位置する区画群と周辺部に位置する区画群との輝度差を用いている。つまり、中央部の区画群の輝度が周辺部の区画群の輝度より小さい場合は逆光シーンである判断し、逆に中央部の区画群の輝度が周辺部の区画群の輝度より大きい場合は順光シーンと判断している。

特開２００６−３２４９８７号公報

しかしながら、特許文献１では、画像に含まれる複数の領域の特徴量を取得し、取得された特徴量に基づき、領域毎にカテゴリと該カテゴリの信頼度を判別し、判別された領域毎のカテゴリとカテゴリの信頼度に基づき画像におけるカテゴリ毎の信頼度を取得し、該取得されたカテゴリ毎の信頼度に基づき前記画像のカテゴリを判別する構成については記載されておりません。

本発明は、画像に含まれる複数の領域毎のカテゴリとカテゴリの信頼度を用いて画像のカテゴリを判別することを目的とする。

本発明の画像処理装置は、上記課題を解決するために、以下の手段を有する。画像に含まれる複数の領域の特徴量を取得する取得手段と、前記取得手段によって取得された特徴量に基づき、前記領域毎にカテゴリと該カテゴリの信頼度を判別する領域カテゴリ判別手段と、前記領域カテゴリ判別手段によって判別された領域毎のカテゴリと該カテゴリの信頼度に基づき前記画像におけるカテゴリ毎の信頼度を取得し、該取得されたカテゴリ毎の信頼度に基づき前記画像のカテゴリを判別する画像カテゴリ判別手段とを有する。

本発明によれば、画像に含まれる複数の領域毎のカテゴリとカテゴリの信頼度を用いて画像のカテゴリを判別することができる。

実施形態に係る画像処理システムの機能構成を示すブロック図である。 実施形態に係る画像処理システムの構成を説明するブロック図である。 実施形態に係る画像処理システムの動作手順を示すフローチャートである。 実施形態に係る領域分割部を説明する図である。 実施形態に係るカテゴリ情報保持部を説明する図である。 実施形態に係るカテゴリ判定部を説明する図である。 実施形態に係るカテゴリ判定部を説明する図である。 実施形態に係る補正強度設定部を説明する図である。 実施形態に係る特徴量算出部の動作手順を示すフローチャートである。 輝度（Ｙ）と色差（Ｃｂ）のヒストグラム例を示すグラフ図である。 実施形態に係るカテゴリ情報保持部を説明する図である。 実施形態に係るカテゴリ判定部の動作手順を示すフローチャートである。 実施形態に係る補正強度設定部の動作手順を示すフローチャートである。 実施形態に係る補正強度設定方法を説明する図である。 実施形態に係る補正処理部の動作手順を示すフローチャートである。 実施形態において画像補正に用いるγ曲線を示す図である。 実施形態に係るカテゴリ情報保持部を説明する図である。 実施形態に係るカテゴリ判定部の動作手順を示すフローチャートである。 実施形態に係るカテゴリ判定部を説明する図である。 実施形態に係る補正強度設定部の動作手順を示すフローチャートである。 実施形態に係る補正処理部の動作手順を示すフローチャートである。 実施形態において画像補正に用いるγ曲線を示す図である。 実施形態において画像補正に用いるγ曲線を示す図である。 実施形態に係るカテゴリ判定部を説明する図である。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

本実施形態では、デジタル画像データを解析して補正処理を行う画像処理装置を有する画像処理システムの例で説明する。

図２は、本発明の実施形態に係る画像処理システムの構成を説明するブロック図である。

この画像処理システムは、コンピュータ２００と、それに接続されたプリンタ２１０及び画像取得装置２１１（例えば、デジタルカメラやスキャナ等）を有している。コンピュータ２００において、システムバス２０１には、ＣＰＵ２０２，ＲＯＭ２０３，ＲＡＭ２０４、ハードディスク等の二次記憶装置２０５が接続されている。またユーザインターフェースとして、表示部２０６、キーボード２０７、ポインティングデバイス２０８がＣＰＵ２０２等に接続されている。更に、プリンタ２１０がＩ／Ｏインターフェース２０９を介して接続されている。更に、画像データの入力用の画像取得装置２１１がＩ／Ｏインターフェース２０９を介して接続されている。ＣＰＵ２０２は、アプリケーション（以下の説明する処理を実行する機能を有する）の実行が指示されると二次記憶装置２０５にインストールされている、対応するプログラムを読み出してＲＡＭ２０４にロードする。その後、そのプログラムを起動することにより、その指示された処理を実行することができる。

以下、本発明の実施形態に係る画像処理システムの概要について図を参照して説明する。

図１は、本発明の実施形態に係る画像処理システムの機能構成を示すブロック図である。

この画像処理システムは、画像取得装置２１１、色空間変換部１０１、領域分割処理部１０２、特徴量算出部１０３、カテゴリ情報保持部１０４、カテゴリ判定部１０５、補正強度設定部１０６、補正処理部１０７、プリンタ２１０を具備している。

画像取得装置２１１は、撮影した画像をデジタル画像データとしてメモリカード等の記録メディアに記憶しているデジタルカメラ等の撮像装置である。また或いは、原稿を読み取ってデジタル画像データとしてファイルを取得するスキャナであっても良い。また或いはこれらデジタルカメラ或いはスキャナ等から画像ファイルを取得する装置であっても良い。ここで取得した画像を色空間変換部１０１へ出力する。

色空間変換部１０１は、画像取得装置２１１から入力された画像データを領域分割処理部１０２で必要な色空間に変換し、その色空間変換した画像データを領域分割処理部１０２へ出力する。また、画像取得装置２１１から入力された画像データを補正処理部１０７で必要な色空間に変換し、その色空間変換した画像データを補正処理部１０７へ出力する。色空間変換処理は、公知であるいずれの方法を用いても構わない。

領域分割処理部１０２は、色空間変換部１０１から入力された画像データを予め指定した複数の領域に分割する。領域分割した各画像データを特徴量算出部１０３へ出力する。詳細については、後述する。

特徴量算出部１０３は、領域分割処理部１０２から入力される領域分割した各画像データの明度成分の特徴量と色のばらつき成分の特徴量を算出する。算出した特徴量をカテゴリ判定部１０４へ出力する。詳細については、後述する。

カテゴリ情報保持部１０４は、予め定めた明度成分の特徴量と色のばらつき成分を特徴量とした特徴量空間上で、少なくとも夜景と露出不足をカテゴリとした領域に分けたカテゴリ情報を保持する。カテゴリ判定部１０５で領域毎にカテゴリを判定する際に、予め保持したカテゴリ情報をカテゴリ判定部１０５へ出力する。詳細については、後述する。

カテゴリ判定部１０５は、カテゴリ情報保持部１０４から予め定めた特徴量空間上のカテゴリ情報を取得する。また、領域分割した各画像データの特徴量が、予め定めた特徴量空間上のどのカテゴリ領域に含まれているかを判定する。また、領域毎に判定したカテゴリを集計する。集計した結果から画像全体で主となる全体カテゴリである、１つもしくは２つの第一カテゴリ、第二カテゴリを判定する。また、第一カテゴリ、第二カテゴリの画像の占める割合を算出する。そして、第一カテゴリ、第二カテゴリの判定結果と画像に占める割合を補正強度設定部１０６へ出力する。詳細については、後述する。

補正強度設定部１０６は、カテゴリ判定部１０５で判定した第一カテゴリ、第二カテゴリの各カテゴリの画像に占める割合によって露出不足割合Ｒを算出する。また、算出した露出不足割合Ｒと判定した第一カテゴリ、第二カテゴリの判定結果の組み合わせにより、補正強度Ｐを設定する。設定した補正強度を補正処理部１０７へ出力する。詳細については、後述する。

補正処理部１０７は、補正強度設定部１０６で設定した補正強度に応じて明度補正処理を行う。明度補正後の画像データをプリンタ２１０へ送信する。
プリンタ２１０は、補正処理部１０７で補正した画像を印刷媒体に印刷する。

本発明の実施形態に係る画像処理システムの詳細については、後で説明する。
図３は、本発明の実施形態に係る画像処理システムのコンピュータ２００の動作手順を示すフローチャートである。この処理を実行するプログラムは、実行時に二次記憶装置２０５からＲＡＭ２０４にロードされ、ＣＰＵ２０２の制御の下に実行される。

まずＳ１で、画像取得装置２１１により、デジタル画像データを含むファイルを取得する。そして、その取得したファイルから、画像データ及び画像サイズ等の付属情報を取得し、色空間変換部１０１に送信する。例えば、取得したファイルがＪＰＥＧ形式等の画像データを圧縮処理したファイルの場合は、画像データの伸長処理を行う。ＪＰＥＧは、撮影した画像データについての静止画像データの圧縮方式である。

次にＳ２に進み、色空間変換部１０１により、その取得した画像データを特徴量算出部１０３で必要な色空間に変換して領域分割処理部１０２へ送信する。

次にＳ３に進み、色空間変換部１０１により、その取得した画像データを補正処理部１０４で必要な色空間に変換して補正処理部１０４へ送信する。この色空間変換処理は、公知である色変換処理による処理である。例えば、色空間変換部１０１に入力された画像データの色空間がＲＧＢで、特徴量算出部１０３で必要な色空間がＹＣｂＣｒである場合、ＩＴＵ−Ｒ ＢＴ．６０１で規定されている以下の式（１）を用いて、色空間の変換処理を行う。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１４４×Ｂ
Ｃｂ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ
Ｃｒ＝０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ …式（１）

次にＳ４に進み、領域分割処理部１０２により、色空間変換部１０１から入力される画像データを、予め指定した複数の領域に分割する。そして、該領域の画像データを特徴量算出部１０３へ送信する。例えば、領域分割処理部１０２を、図４で説明する。図４において、色空間変換部１０１から入力される画像データ４００とする。また、予め指定した領域に分割する情報を、取得した画像データを等間隔で横３つ、縦２つに分ける情報とし、画像データ４００を計６領域４０１〜４０６に分割する。そして、該領域４０１〜４０６の画像データを特徴量算出部１０３へ送信する。

次にＳ５に進み、特徴量算出部１０３により、領域分割処理部１０２から入力される該領域の画像データを解析し、明度成分及び色のばらつき成分の特徴量を算出する。そして、該領域の特徴量をカテゴリ判定部１０５へ送信する。例えば、該領域毎に、ＹＣｂＣｒ色空間の画像データから、明度成分の特徴量として輝度（Ｙ）の平均値を算出する。また、色のばらつき成分の特徴量として色差（Ｃｂ）の分散値を算出する。

以下の式（２）を用いて、輝度（Ｙ）の平均値を算出する。
輝度（Ｙ）の平均値＝Σ（輝度値（Ｙ）×度数）／全画素数 …式（２）

以下の式（３）を用いて、色差（Ｃｂ）の平均値を求めてから、以下の式（４）を用いて、色差の分散値を算出する。
色差（Ｃｂ）の平均値＝Σ（色差値（Ｃｂ）×度数）／全画素数 …式（３）
色差（Ｃｂ）の分散値＝Σ（（色差値（Ｃｂ）−色差の平均値）の２乗）／全画素数 …式（４）

以上の式（２）〜（４）で、Σは０〜２５５の総和を示している。

次にＳ６に進み、カテゴリ情報保持部１０４で予め保持したカテゴリ情報をカテゴリ判定部１０５へ送信する。例えば、カテゴリ情報保持部１０４で保持しているカテゴリ情報について、図５で説明する。図５は、横軸を明度成分である正規化後の輝度（Ｙ）の平均値とし、縦軸を色のばらつき成分である正規化後の色差（Ｃｂ）の分散値とした２次元の特徴量空間を示している。また、図５において、予め特徴量空間を２つの境界線５０４、５０５で、領域を分割し、分割した領域を領域５０１〜５０３とする。そして、分割した領域毎にカテゴリを設定する。予め設定する各領域のカテゴリとして、領域５０１を露出不足、領域５０２を夜景、領域５０３を風景のカテゴリとする。

夜景カテゴリは、全体的に暗い画像であり、明るさの補正処理を行う場合、暗い部分を明るくする補正量を抑えたい画像のカテゴリとする。例えば、夜暗い景色を撮影する際に、暗い部分をそのままの状態で撮影した画像や、部屋の中をあえて暗くし撮影した画像のカテゴリを示す。

露出不足カテゴリは、全体的に暗い画像であり、明るさの補正処理を行う場合に、暗い部分を明るく補正させたい画像のカテゴリとする。例えば、撮影時に、明るい景色を明るく撮影したかったが、露出量の制御を誤って明るい部分が暗いままで撮影された暗い画像のカテゴリを示す。

風景カテゴリは、明るさの補正処理を行う場合に、暗い部分はそのままの明るさで補正させたいもしくは、明るく補正することが許容される画像を示すカテゴリとする。例えば、昼の明るい景色を撮影し、明るい部分が支配的な画像を示す。

次にＳ７に進み、カテゴリ判定部１０５により、特徴量算出部１０３で算出した該領域の特徴量と、カテゴリ情報保持部１０４から入力されたカテゴリ情報から、該領域毎のカテゴリを判別する（領域カテゴリ判別）。また、該領域毎のカテゴリ判別結果から、取得画像全体の主となる１つまたは２つのカテゴリを判別する（全体カテゴリ判別）。また、第一カテゴリ、第二カテゴリの画像の占める割合を算出する。そして、第一カテゴリ、第二カテゴリの判別結果と画像に占める割合を補正強度設定部１０６へ送信する。

次にＳ８に進み、補正強度設定部１０６により、カテゴリ判定部１０５で判別した第一カテゴリの割合と第二カテゴリの割合から、画像における露出不足割合Ｒを算出する。第一カテゴリと第二カテゴリの組み合わせを判定し、各カテゴリの組み合わせによって補正強度関数を変更し、露出不足割合Ｒを用いた補正強度Ｐ（明るさを補正する量）の設定を行う。そして、補正強度設定部１０６で設定した補正強度Ｐを補正処理部１０７に送信する。

露出不足割合Ｒとは、明るく補正したいが暗いままになっている露出不足領域が、画像に占める割合を示す。本実施例においては、露出不足の領域は明るく補正したいが暗いままになっている領域とする。例えば、第一カテゴリが露出不足で、露出不足の領域が画像に占める割合をＣとし、露出不足以外のカテゴリが画像に占める割合をＤとした場合、露出不足割合Ｒは、以下の式（５）となる。
露出不足割合Ｒ＝Ｃ／（Ｃ＋Ｄ）×１００…式（５）
例えば、第一カテゴリが露出不足で、画像に占める割合Ｃの値が６０とし、第二カテゴリが夜景で、画像に占める割合Ｄの値が４０とする。この場合、
露出不足割合Ｒ＝６０／（６０＋４０）×１００＝６０
となる。また、第一カテゴリもしくは第二カテゴリが露出不足以外の場合、
露出不足割合Ｒ＝０
となる。

また、例えば、補正強度Ｐの設定方法について、図８で説明する。露出不足割合Ｒが半分であれば、補正強度Ｐも半分にするというのは一般的であるとした場合、補正強度関数ｆａ（８００）を基準とする。例えば、第一カテゴリが露出不足で、第二カテゴリが夜景の場合は、基準である補正強度関数ｆａ（８００）より補正強度Ｐが弱くなる補正強度関数ｆｂ（８０１）を用いる。また、第一カテゴリが露出不足で、第二カテゴリが風景の場合は、基準である補正強度関数ｆａ（８００）より補正強度Ｐが強くなる補正強度関数ｆｃ（８０２）を用いる。補正強度関数ｆｂ（８０１）、ｆｃ（８０２）は、図８で示すように、少なくとも露出不足割合Ｒを用いた関数であり、以下の関係式（６）（７）とする。
積分ｆａ（Ｒ）＞積分ｆｂ（Ｒ） …式（６）
積分ｆａ（Ｒ）＜積分ｆｃ（Ｒ） …式（７）

次にＳ９に進み、補正処理部１０７により、補正強度設定部１０６で設定した補正強度Ｐに応じて補正処理を行う。

次にＳ１０に進み、プリンタ２１０は、補正処理部１０７で補正した画像データをプリンタ２１０に出力して印刷させる。例えば、ＣＭＹＫのインク色に補正後の画像データを変換し、用紙に印刷するように制御する。

以下、本実施の形態における画像処理装置の各処理部の詳細について図を用いて説明する。

まず、領域分割処理部１０２の処理について説明する。

本実施形態では、入力される画像データを、予め指定した領域に分割して、分割した領域毎の画像データとして特徴量算出部１０３に出力しているが、特徴量算出部１０３で、分割した画像データとして取得できればこれに限らない。例えば、特徴量算出部１０３には、入力される画像データをそのまま出力し、領域分割した各領域の指定座標を渡すだけでも構わない。

また、本実施形態では、入力画像を等間隔で領域分割しているが、等間隔ではなくても、指定した割合や局所領域毎に領域の大きさを変更しても構わない。例えば、画像の中央の領域を小さめのサイズで領域分割して、その周辺領域は大きめに領域分割しても構わない。また、入力画像全体ではなく、入力画像の一部を予め指定しておき、その領域内で領域分割しても構わない。

次に特徴量算出部１０３の処理について図９及び図１０を用いて説明する。
図９は、本発明の実施形態に係る特徴量算出部１０３の動作手順を示すフローチャートである。
図１０（Ａ）は、実施形態に係る輝度（Ｙ）のヒストグラムを示すグラフ図、図１０（Ｂ）は、実施形態に係る色差（Ｃｂ）のヒストグラムを示すグラフ図である。

例えば、色空間変換部１０１に入力される画像データが色空間ＹＣｂＣｒの画像データとする。そして明度成分の特徴量を輝度（Ｙ）の平均値とし、色のばらつき成分の特徴量を色差（Ｃｂ）の分散値として特徴量を算出するものとする。

図９のフローチャートにおいて、まずＳ５１で、ＹＣｂＣｒの画像データのヒストグラムを算出する。

次にＳ５２に進み、算出したヒストグラムから明度成分となるＹの平均値を算出する。このとき輝度（Ｙ）の平均値は、以下の式（８）となる。
輝度（Ｙ）の平均値＝Σ（輝度値（Ｙ）×度数）／全画素数 …式（８）
ここで、Σは０〜２５５の総和を示している。

いま輝度（Ｙ）のヒストグラムが図１０（Ａ）に示すようなヒスグラムである場合、輝度（Ｙ）の平均値は「３」となる。

次にＳ５３に進み、算出したヒストグラムから色差Ｃｂの平均値を算出する。

色差（Ｃｂ）の平均値は以下の式（９）となる。
色差（Ｃｂ）の平均値＝Σ（色差値（Ｃｂ）×度数）／全画素数 …式（９）
ここで、Σは０〜２５５の総和を示している。

いま色差（Ｃｂ）のヒストグラムが図１０（Ｂ）に示すようなヒスグラムである場合、色差（Ｃｂ）の平均値は「３」となる。

次にＳ５４に進み、算出したヒストグラムから色のばらつき成分となる色差Ｃｂの分散値を算出する。

色差（Ｃｂ）の分散値は以下の式（１０）となる。
色差（Ｃｂ）の分散値＝Σ（（色差値（Ｃｂ）−色差の平均値）の２乗）／全画素数 …式（１０）
ここで、Σは０〜２５５の総和を示している。

色差（Ｃｂ）のヒストグラムが図１０（Ｂ）に示すようなヒスグラムである場合、Ｃｂの分散値は「１．６」となる。

次にＳ５５に進み、Ｓ５２及びＳ５４で算出した明度成分の特徴量と色のばらつき成分の特徴量を０〜１００の値に正規化する。例えば、正規化は、想定される明度成分である輝度（Ｙ）の平均値の範囲が０〜２５５の値である場合、０〜２５５を０〜１００の値に変換する。

輝度（Ｙ）の平均値の正規化後の値＝（輝度（Ｙ）の平均値／２５５）×１００
また、例えば、色差（Ｃｂ）の分散値を正規化する場合は、０〜１６３８４を０〜１００の値に変換し、１６３８４より大きい値は１００にする。
色差（Ｃｂ）の分散値の正規化後の値＝｛色差（Ｃｂ）の分散値／１６３８４｝×１００
そして、明度成分の特徴量と色のばらつき成分の特徴量を正規化した値をカテゴリ判定部１０５に出力する。

本実施形態では、明度成分を示す特徴量として、輝度（Ｙ）の平均値としているが、明度成分を示す特徴量であればこれに限らない。例えば、明度成分を示す特徴量は、輝度（Ｙ）の最大値、最小値、中央値であってもよい。また明度成分を示す特徴量として、上記特徴量を算出する際に、ある領域内で算出してもよい。例えば、輝度（Ｙ）が０〜２５５の濃度値の範囲の場合に、濃度値０及び２５５を除いて、輝度（Ｙ）の平均値を算出してもよい。また輝度（Ｙ）の最大値から全体の画素数の０〜５％に当たる濃度範囲の輝度（Ｙ）の平均値を算出してもよい。

また本実施形態では、明度成分を示す特徴量として、ＹＣｂＣｒ色空間上の輝度（Ｙ）を例に示しているが、明度成分を示す特徴量であればこれに限らない。例えば、明度成分を示す特徴量として、色空間をＪＩＳ Ｚ８７２９に規定されているＬａｂ表色系やＪＩＳ Ｚ８５１８に規定されているＬｕｖ表色系のＬ（輝度）としてもよい。また明度成分を示す特徴量として、ＨＳＶ色空間でのＶ（明度）等の各種色空間上で、明度成分を示す特徴量であればよい。

更に本実施形態では、色のばらつき成分を示す特徴量のばらつき成分を、色差（Ｃｂ）の分散値とし、式（４）で示しているが、分散は広義であり、色のばらつき成分を示す特徴量であれば、これに限らない。例えば、分散値を示す色のばらつき成分の特徴量として、色差（Ｃｂ）の標準偏差値、色差（Ｃｂ）の最大値−最小値、平均値からの差分合計値であってもよい。

また本実施形態では、色のばらつき成分を示す特徴量を、ＹＣｂＣｒ色空間上の色差（Ｃｂ）を例に示しているが、色のばらつき成分を示す特徴量であればこれに限らない。例えば、ＹＣｂＣｒ色空間での色差（Ｃｒ）、ＨＳＶ色空間のＨ（色相）等の各種色空間上で、色のばらつき成分を示す特徴量であればよい。更に、本実施形態では、色のばらつき成分を示す特徴量のばらつき成分として、色差（Ｃｂ）の分散値を例に示しているが、ある閾値領域内の色のばらつき成分を示す特徴量としてもよい。例えば、輝度（Ｙ）の最大値付近や最小値付近の画素の色差（ＣｂやＣｒ）分散値等、ある閾値領域内の色のばらつき成分を示す特徴量としてもよい。

また本実施形態では、明度成分と色のばらつき成分の特徴量の組み合わせとして、輝度（Ｙ）の平均値、色差（Ｃｂ）の分散値を示しているが、明度成分と色のばらつき成分を少なくとも含んでいれば、２つ以上の特徴量の組み合わせでも構わない。例えば、明度成分と色のばらつき成分の特徴量の組み合わせとして、輝度（Ｙ）の平均値、色差（Ｃｂ）の分散値、色差（Ｃｒ）の分散値の３つとしてもよい。また、ＲＧＢ色空間のＲ、Ｇ、Ｂの平均値や最大値、最小値、ＨＳＶ色空間の彩度（Ｓ）の平均値や最大値、最小値等と、明度成分と色のばらつき成分を含んだ特徴量の組み合わせでもよい。

次にカテゴリ情報保持部１０４の処理について説明する。

本実施形態では、図５に示す特徴量空間上を境界線５０４と５０５でカテゴリ領域に分けているが、カテゴリ領域に分ける方法として、予め指定した画像の集計結果を用いる。例えば、まず、各カテゴリである露出不足、夜景、風景に相当する画像を各々で１０００画像用意する。次に、用意した画像の輝度（Ｙ）の平均値、色差（Ｃｂ）の分散値の特徴量を算出する。次に、カテゴリ毎の１０００画像の特徴量の平均値を算出する。例えば、カテゴリ毎に１０００画像の輝度（Ｙ）の平均値を合計し、合計値を１０００画像で割り、平均値を出す。また、同じように、カテゴリ毎に１０００画像の色差（Ｃｂ）の分散値を合計し、合計値を１０００画像で割り、平均値を出す。算出したカテゴリ毎の特徴量毎の平均値を、０〜１００の値に正規化する。そして、カテゴリ毎に算出し正規化した値が、特徴量空間内で分かれるように領域を設定する。例えば、露出不足の正規化後の輝度（Ｙ）の平均値が３０で、風景の正規化後の輝度（Ｙ）の平均値が８０とした場合、３０と８０の中央である５５の値を軸とする境界線５０４を設定する。また、露出不足の正規化後の色差（Ｃｂ）の分散値が３０で、夜景の正規化後の色差（Ｃｂ）の分散値が６０とした場合、３０と６０の中央である４５の値を軸とする境界線５０５を設定する。

また、本実施形態では、図５を用いたカテゴリ情報を設定しているが、明度成分と色のばらつき成分を含んでカテゴリ情報を設定していれば、これに限らない。例えば、図１１で説明する。図１１は、横軸を明度成分である正規化後の輝度（Ｙ）の平均値を正規化した値とする。また、縦軸を色のばらつき成分である正規化後の色差（Ｃｂ）の分散値として、色差（Ｃｂ）の最大値から色差（Ｃｂ）の最小値を引いた値を正規化した値とする。図１１に示す２次元の特徴量空間とする。図５での説明と同様に、予め指定した画像の集計結果を用いる。そして、カテゴリ毎に算出し正規化した値が、特徴量空間内で分かれるように領域を設定する。その際に、カテゴリ毎に算出し０〜１００に正規化した値を特徴量空間の重心となるように、境界線を設定しても構わない。図１１に示すように、カテゴリ毎に算出し正規化した値を座標１１０４、１１０５、１１０６とする。
座標（Ｘａ，Ｙｂ）＝（輝度（Ｙ）平均値、色差（Ｃｂ）分散値）
座標１１０４（Ｘ１，Ｙ１）＝（６０，４０）
座標１１０５（Ｘ２，Ｙ２）＝（２０，８０）
座標１１０５（Ｘ３，Ｙ３）＝（６０，８０）

そして、座標１１０４、１１０５、１１０６の互いの距離が同じになる位置に、境界線１１０７、１１０８、１１０９を設ける。

境界線１１０７、１１０８、１１０９によって分けられた特徴量空間上の領域１１０１、１１０２、１１０３を各カテゴリ領域と設定してもよい。領域１１０１のカテゴリを露出不足とし、領域１１０２のカテゴリを夜景とし、領域１１０３のカテゴリを風景とする。

また、本実施形態では、カテゴリ毎に１０００画像を用意して、特徴量を算出し、その集計結果によって、カテゴリ情報を設定しているが、これに限らない。例えば、数万枚の画像の様々な特徴量を算出し、特徴量がばらつくように数万枚の画像の中から３０００画像を選択する。選択した画像の数が、カテゴリ毎に１０００画像とならなくても、各カテゴリを示す画像群に分かれていれば構わない。また、選択される画像によっては、当然ながら、図５、図１１に示す特徴量空間上での境界線の位置が変更されることも想定できる。

次にカテゴリ判定部１０５の処理を図６と図１２を用いて説明する。

図６は、図５と同様に、横軸を明度成分である正規化後の輝度（Ｙ）の平均値とし、縦軸を色のばらつき成分である正規化後の色差（Ｃｂ）の分散値とした２次元の特徴量空間を示している。

図１２は、本実施形態に係るカテゴリ判定部１０５の動作手順を示すフローチャートである。

図１２において、まずＳ７１で、カテゴリ情報保持部１０４から予め定めた特徴量空間上のカテゴリ情報を取得する。例えば、図６で説明する。図６は、図５と同様に、横軸を明度成分である正規化後の輝度（Ｙ）の平均値とし、縦軸を色のばらつき成分である正規化後の色差（Ｃｂ）の分散値とした２次元の特徴量空間を示している。図６において、特徴量空間上で、露出不足、夜景、風景のカテゴリ領域を示す予め保持したカテゴリ情報を取得する。

次にＳ７２で、特徴量算出部１０３で算出した該領域の特徴量を取得する。例えば、図６において、特徴量算出部１０３で算出した該領域の特徴量を特徴量空間に配置した座標を座標６０１とする。

次にＳ７３で、特徴量算出部１０３で算出した該領域の特徴量が、予め定めた特徴量空間上のどのカテゴリに含まれているかを判定する。例えば、図６において、座標６０１は、領域５０１に含まれているので、領域５０１のカテゴリである露出不足が、該領域のカテゴリと判断する。

次にＳ７４で、領域分割処理部１０２で領域分割した数だけ、Ｓ７２、Ｓ７３の処理を行っているかを判定する。該領域分の処理が終了していない場合には、Ｓ７２とＳ７３の処理を、処理する領域を変えて実行する。また、該領域分の処理が終了した場合は、次のＳ７５に進む。

次にＳ７５で、該領域毎に判定したカテゴリ情報をカテゴリ毎に集計する。例えば、図７で説明する。図７（Ａ）（Ｂ）（Ｃ）は、図４と同様に、入力画像データ４００とし、入力画像を６領域４０１〜４０６に分割した図である。また、該領域４０１〜４０６に、記載してある文字は、カテゴリを判別した結果を示す。図７（Ａ）は、該領域４０１〜４０６のカテゴリが露出不足と判定された画像を示す。図７（Ｂ）は、該領域４０１〜４０３のカテゴリが夜景で、該領域４０４〜４０６のカテゴリが露出不足と判定された画像を示す。図７（Ｃ）は、該領域４０１のカテゴリが風景で、該領域４０２〜４０３のカテゴリが夜景で、該領域４０４〜４０６のカテゴリが露出不足と判定された画像を示す。そして、集計方法としては、入力画像に占める各カテゴリの領域数を集計する。図７（Ａ）は、各カテゴリの個数が、露出不足が６領域で、夜景が０領域、風景が０領域であると領域数を集計する。図７（Ｂ）は、各カテゴリの個数が、露出不足が３領域で、夜景が３領域、風景が０領域であると集計する。図７（Ｃ）は、各カテゴリの個数が、露出不足が３領域で、夜景が２領域、風景が１領域であると集計する。

次にＳ７６で、該領域毎に判定したカテゴリ情報の集計結果から画像全体で主となる１つもしくは２つの第一カテゴリ、第二カテゴリを判定する。例えば、該領域毎のカテゴリ判定結果から、取得画像全体の主となる１つまたは２つを判定する方法は、判定したカテゴリ毎の領域数で最も多い２つを第一カテゴリ、第二カテゴリとする。図７において、図７（Ａ）は、第一カテゴリを露出不足と判断する。図７（Ｂ）は、第一カテゴリを露出不足と第二カテゴリを夜景と判断する。図７（Ｃ）は、第一カテゴリを露出不足と第二カテゴリを夜景と判断する。

次にＳ７７で、該領域毎に判定したカテゴリ情報の集計結果から算出した第一カテゴリ、第二カテゴリの領域が、入力画像の占める割合を算出する。例えば、図７において、図７（Ａ）は、第一カテゴリを露出不足で６分の６領域なので、割合を１００％と算出する。図７（Ｂ）は、第一カテゴリの割合を露出不足で６分の３領域なので、５０％と算出する。また、第二カテゴリの割合を夜景で６分の３領域なので、５０％と算出する。図７（Ｃ）は、第一カテゴリの割合を露出不足で６分の３領域なので、５０％と算出する。また、第二カテゴリの割合を夜景で６分の２領域なので、３３％と算出する。

次に補正強度設定部１０６の処理について説明する。

補正強度設定部１０６は、カテゴリ判定部１０５で判定した第一カテゴリと第二カテゴリの判定結果及び画像に占めるカテゴリの割合によって補正強度を設定する。設定した補正強度を補正処理部１０７へ出力する処理部である。

図１３は、本発明の実施形態に係る補正強度設定部１０６の動作手順を示すフローチャートである。

まずＳ８１で、カテゴリ判定部１０５で判定した第一カテゴリと第二カテゴリの判定結果及び画像に占めるカテゴリの割合を取得する。

次にＳ８２に進み、Ｓ８１で取得した第一カテゴリと第二カテゴリの画像に占めるカテゴリの割合から露出不足割合Ｒを算出する。例えば、第一カテゴリが露出不足で、画像に占める割合Ｃの値が６０とし、第二カテゴリが夜景で、画像に占める割合Ｄの値が４０とする。この場合、
露出不足割合Ｒ＝６０／（６０＋４０）×１００＝６０
となる。また、第一カテゴリもしくは第二カテゴリが露出不足以外の場合、
露出不足割合Ｒ＝０
となる。

次にＳ８３に進み、Ｓ８１で取得した第一、第二カテゴリの判定結果が、露出不足と夜景の組み合わせであるかを判定する。そして、第一、第二カテゴリの判定結果が、露出不足と夜景の組み合わせである場合は、Ｓ８４に進む。また、第一、第二カテゴリの判定結果が、露出不足と夜景の組み合わせではない場合は、Ｓ８５に進む。

第一、第二カテゴリの判定結果が、露出不足と夜景の組み合わせであるかの判定は、第一カテゴリの補正方針と第二のカテゴリの補正方針が異なるかどうかを判定している。補正方針は、判定されたカテゴリが夜景である場合、補正後の輝度の平均値が基の輝度の平均値を越えないように、暗い部分をより暗くするように補正することを示す。また、判定されたカテゴリが露出不足の場合は、補正後の輝度の平均値が基の輝度の平均値を越えるように、暗い部分を明るくなるように補正することを示す。本実施形態では、第一、第二カテゴリの組み合わせによって制御を変えることで、補正処理の効果を制御できるところに特徴がある。

Ｓ８４では、図８に示す補正強度関数ｆｂ（８０１）を用いて、Ｓ８２で算出した露出不足割合Ｒから補正強度Ｐを算出する。ここでは、第一カテゴリが露出不足で、第二カテゴリが夜景の場合、基準である補正強度関数ｆａ（８００）より補正強度Ｐが弱くなる補正強度関数ｆｂ（８０１）を用いる。

Ｓ８５では、図８に示す補正強度関数ｆｃ（８０２）を用いて、Ｓ８２で算出した露出不足割合Ｒから補正強度Ｐを算出する。ここでは、第一カテゴリが露出不足で、第二カテゴリが風景の場合は、基準である補正強度関数ｆａ（８００）より補正強度Ｐが強くなる補正強度関数ｆｃ（８０２）を用いる。

本実施形態では、図８の補正強度関数を使用して説明しているが、第一、第二カテゴリの組み合わせと、露出不足割合Ｒによって補正強度Ｐを制御すれば、これに限らない。例えば、図１４に示す。

図１４において、Ｓ８４では、補正強度関数ｆｄ（１４０１）を用いて、Ｓ８２で算出した露出不足割合Ｒから補正強度Ｐを算出する。ここでは例えば、露出不足割合Ｒが０の場合は、補正強度Ｐを１００とする補正強度関数ｆｄ（１４０１）を用いる。

Ｓ８５では、補正強度関数ｆｅ（１４０２）を用いて、Ｓ８２で算出した露出不足割合Ｒから補正強度Ｐを算出する。ここでは例えば、露出不足割合Ｒが０〜１００の間のいずれであっても、補正強度Ｐを１００と設定する補正強度関数ｆｅ（１４０２）を用いる。

次に補正処理部１０７の処理について説明する。

補正処理部１０７は、補正強度設定部１０６で設定した補正強度Ｐに応じて補正処理を制御する処理部である。

図１５は、本発明の実施形態に係る補正処理部１０７の動作手順を示すフローチャートである。

まずＳ９１で、色空間変換部１０１で色空間変換された画像データを入力する。ここでは例えば、画像取得装置２１１で取得した画像データＹＣｂＣｒを色空間ＲＧＢに変換した画像データを入力する。次にＳ９２に進み、補正強度設定部１０６で設定した補正強度Ｐとして、０〜１００％の範囲の補正強度値を入力する次にＳ９３に進み、補正強度設定部１０６で算出した補正強度Ｐに応じて補正量を制御する。

この補正量の制御を、図１６を参照して説明する。図１６は、本実施形態において画像補正に用いるγ曲線を示す図である。図１６において、直線１６００は、取得画像の濃度に対し出力画像の濃度が同じ値で基準を示す。また図１６のγ曲線１６０１は、取得画像の濃度に対し出力画像の濃度が、全体的に基準より明るくするような明度補正を示している。

図１６において、取得した画像データの画像濃度をＲＧＢの０〜２５５の値であるとする。補正処理の変換式（１１）を以下に示す。
Ｒ’＝２５５×｛（Ｒ／２５５）の（１／γ）乗｝
Ｇ’＝２５５×｛（Ｇ／２５５）の（１／γ）乗｝
Ｂ’＝２５５×｛（Ｂ／２５５）の（１／γ）乗｝ …式（１１）
ここでγの値が１より大きい場合は、取得画像に対し出力画像が明るくなる。またγの値が「１」より小さいとき、取得画像に対し出力画像が暗くなる。

また、Ｓ９３では、取得した補正強度Ｐによって、補正処理を制御する。例えば、図１６において、取得した補正強度が１００％の場合は、露出不足用の補正処理として、図１６のγ曲線１６０１を用いて全体的に基準より明るくするような明度補正処理を行う。また、取得した補正強度が０％の場合は、露出不足用の補正処理として、γ曲線１６００を用いて全体的に基準より明るくする処理は行わない。また、補正強度Ｐが０％から１００％に大きくなるにしたがって画像をより明るくするために、γ曲線はγ曲線１６００からγ曲線１６０１へ変化していく。

また本実施形態では、印刷するための画像データに対し、カテゴリ判定結果を用いて補正処理を行う例を示しているが、カテゴリ判定結果を利用する装置及び方法であれば、これに限らない。例えば、デジタルカメラで撮影する際に、カテゴリを判定して、露出量や撮影モード等の撮影の際の各種制御を行うために利用してもよい。また例えば、画像レイアウトして表示する際に、カテゴリ判定して、カテゴリ別に画像データを振り分けてレイアウトする処理に利用してもよい。

以上説明したように本実施形態によれば、取得画像を領域分割する。該領域毎に、特徴量を算出し、特徴量によってカテゴリを判別する。該領域毎にカテゴリ判別した結果を元に画像全体の主となる第一、第二カテゴリを判定する。また、第一、第二カテゴリの画像全体に占める割合を算出する。第一、第二カテゴリのいずれかが露出不足である場合、第一、第二カテゴリの画像全体に占める割合から露出不足割合Ｒを算出する。第一、第二カテゴリの組み合わせと算出した露出不足割合Ｒによって、補正強度Ｐ（明るさを補正する量）を設定する。設定した補正強度Ｐに応じて補正処理を実行する。

従って、従来の課題である暗い状態が支配的な画像でも、暗い部分を明るくさせたい画像であれば、明るさの補正強度を極力弱めず明るくすることが可能である。また、中央部に限らず、局所的に暗い部分を明るくさせたい暗い部分があれば、明るさの補正強度を極力弱めず明るくすることが可能である。

更に、従来の課題を解決する上で出た更なる課題がある。例えば、夜景と露出不足のような補正方針が相反している場合において、単純に露出不足の割合から補正すると、暗い部分の明るさを上昇させ過ぎるという致命的な画像弊害を生じてしまう。この課題を解決するために、領域毎に判定したカテゴリによって、単純に露出不足の割合から補正量を算出するのではなく、領域毎のカテゴリの組み合わせによって補正量を制御することで、従来よりも、更に適切な補正処理を施すことが可能となる。

以下、本発明にかかる第２実施形態の画像処理装置を説明する。

実施例１によれば、取得画像を領域分割する。該領域毎に、特徴量を算出し、特徴量によってカテゴリを判別し、画像全体に占める各カテゴリの割合から露出不足割合Ｒを判定している。実施例２では、該領域毎にカテゴリ判別する際に、各カテゴリの割合に加えて、判別したカテゴリの信頼度も算出することで、実施例１より適切な補正処理を施すことが可能となる。該領域毎にカテゴリ判別する際に、判別したカテゴリの信頼度も算出して、補正処理を実行する処理について説明する。

以下、本発明の実施形態に係る画像処理システムの概要について図を参照して説明する。

本発明の実施形態に係る画像処理システムの構成に関して、実施例１の図１と同様なため、説明を省略する。

本実施形態に係る画像処理装置の各処理部で、実施例１と同様な処理部である、画像取得装置２１１、色空間変換部１０１、領域分割処理部１０２、特徴量算出部１０３、プリンタ２１０に関しては、説明を省略する。実施例１と異なる処理部である、カテゴリ情報保持部１０４、カテゴリ判定部１０５、補正強度設定部１０６、補正処理部１０７、に関しては、以下で説明する。

カテゴリ情報保持部１０４は、予め定めた明度成分の特徴量と色のばらつき成分を特徴量とした特徴量空間上で、少なくとも夜景と露出不足を示す代表点であるカテゴリ情報を保持する。カテゴリ判定部１０５で領域毎にカテゴリを判定する際に、予め保持したカテゴリ情報をカテゴリ判定部１０５へ出力する。詳細については、後述する。

カテゴリ判定部１０５は、カテゴリ情報保持部１０４から予め定めた特徴量空間上のカテゴリ情報を取得する。また、領域分割した各画像データの特徴量が、予め定めた特徴量空間上の各代表点との距離を判定する。そして、該領域毎に、算出した各代表点との距離の中で、距離の近い代表点を算出する。更に、算出した代表点との距離を利用して、該領域毎に、代表点信頼度を算出する。また、該領域毎の代表点と代表点信頼度を集計する。集計した結果から画像全体で主となる１つもしくは２つの第一カテゴリ、第二カテゴリを判定する。また、第一カテゴリ、第二カテゴリの画像の信頼度を算出する。そして、画像全体の第一カテゴリ、第二カテゴリの判定結果と画像に画像全体の第一、第二カテゴリの信頼度を補正強度設定部１０６へ出力する。詳細については、後述する。

補正強度設定部１０６は、カテゴリ判定部１０５で判定した第一カテゴリ、第二カテゴリの判定結果と各カテゴリの信頼度によって露出不足割合Ｒを算出する。また、算出した露出不足割合Ｒと判定した第一カテゴリ、第二カテゴリの判定結果の組み合わせにより、補正強度Ｐを設定する。設定した補正強度を補正処理部１０７へ出力する。詳細については、後述する。

補正処理部１０７は、補正強度設定部１０６で設定した補正強度に応じて明度補正処理を行う。明度補正後の画像データをプリンタ２１０へ送信する。

本発明の実施形態に係る画像処理システムのコンピュータ２００の動作手順を示すフローチャートに関して、実施例１の図３と同様なＳ１の画像データ取得、Ｓ２の特徴量算出用画像生成、Ｓ３の補正処理用画像生成に関しては、説明を省略する。また、Ｓ４の領域分割処理、Ｓ５の特徴量算出処理、Ｓ１０の印刷処理に関しても、説明を省略する。実施例１と異なるフローチャートである、Ｓ６のカテゴリ情報取得、Ｓ７のカテゴリ判定処理、Ｓ８の補正強度設定処理、Ｓ９の補正処理に関しては、以下で説明する。この処理を実行するプログラムは、実行時に二次記憶装置２０５からＲＡＭ２０４にロードされ、ＣＰＵ２０２の制御の下に実行される。

Ｓ６で、カテゴリ情報保持部１０４により、予め保持したカテゴリ情報をカテゴリ判定部１０５へ送信する。例えば、カテゴリ情報保持部１０４で保持しているカテゴリ情報について、図１７で説明する。図１７は、横軸を明度成分である正規化後の輝度（Ｙ）の平均値とし、縦軸を色のばらつき成分である正規化後の色差（Ｃｂ）の分散値とした２次元の特徴量空間を示している。また、図１７において、座標１７０１、１７０２は、２次元の特徴量空間において設定されている夜景カテゴリを示す特徴量とする。また座標１７０３、１７０４は、露出不足カテゴリを示す特徴量とする。また座標１７０５、１７０６は、風景カテゴリを示す特徴量とする。各カテゴリを示す座標１７０１〜１７０６は、学習によって算出する。例えば、この場合の学習方法は、ある程度の数のサンプルデータの集合を対象に画像を解析し、その解析データから有用な規則、ルール、判断基準などを抽出し、これらから得られた特徴量を代表値として設定する。

Ｓ７で、カテゴリ判定部１０５により、カテゴリ情報保持部１０４から予め定めた特徴量空間上のカテゴリ情報を取得する。また、領域分割した各画像データの特徴量が、予め定めた特徴量空間上の各代表点との距離を判定する。そして、該領域毎に、算出した各代表点との距離の中で、距離の近い代表点を算出する。更に、算出した代表点との距離を利用して、該領域毎に、代表点信頼度を算出する。また、該領域毎の代表点と代表点信頼度を集計する。集計した結果から画像全体で主となる１つもしくは２つの第一カテゴリ、第二カテゴリを判定する。また、第一カテゴリ、第二カテゴリの画像の信頼度を算出する。そして、画像全体の第一カテゴリ、第二カテゴリの判定結果と画像に画像全体の第一、第二カテゴリの信頼度を補正強度設定部１０６へ送信する。

例えば、該領域毎に、代表点を算出する方法について、図１７で説明する。座標１７００は、該領域毎に算出した特徴量の一つを示す。該領域の特徴量である座標１７００と、予め設定した各カテゴリを示す代表点との距離を求める。最も距離の短い代表点を、該領域の代表点とする。その代表点を示すカテゴリを、該領域のカテゴリとする。また、算出した距離の中で、最も距離の短い代表点との距離を算出し、２つの代表点との距離の比から、該領域の信頼度を算出する。例えば、最も距離の短い代表点の距離をＡとし、次に距離の短い代表点の距離をＢとする。そして、最も距離の短い代表点の信頼度を、以下の式（１２）で算出する。
該領域の信頼度＝Ｂ／（Ａ＋Ｂ）×１００ …式（１２）
例えば、距離Ａが４０で、距離Ｂが６０の場合、
該領域の信頼度＝６０／（４０＋６０）×１００＝６０
となる。

また、例えば、集計した結果から画像全体で主となる１つもしくは２つの第一カテゴリ、第二カテゴリを判定する方法として、該領域毎に判定した代表点のカテゴリ毎に該領域の信頼度を合計し、合計した値が高いカテゴリを２つ算出する。算出した２つのカテゴリを第一、第二カテゴリとし、合計した値を第一、第二カテゴリの信頼度とする。

Ｓ８で、補正強度設定部１０６により、カテゴリ判定部１０５で判定した第一カテゴリ、第二カテゴリの各カテゴリの信頼度によって露出不足割合Ｒを算出する。また、算出した露出不足割合Ｒと判定した第一カテゴリ、第二カテゴリの判定結果の組み合わせにより、補正強度Ｐを設定する。設定した補正強度を補正処理部１０７へ送信する。

Ｓ９で、補正処理部１０７により、カテゴリ判定部１０５で判定した第一カテゴリの結果と、補正強度設定部１０６で設定した補正強度に応じて明度補正処理を行う。明度補正後の画像データをプリンタ２１０へ送信する。

以下、本実施の形態における画像出力装置の各処理部の詳細について図を用いて説明する。

カテゴリ情報保持部１０４の処理について説明する。

カテゴリ情報保持部１０４は、予め定めた明度成分の特徴量と色のばらつき成分を特徴量とした特徴量空間上で、少なくとも夜景と露出不足を示す代表点であるカテゴリ情報を保持する。カテゴリ判定部１０５で領域毎にカテゴリを判定する際に、予め保持したカテゴリ情報をカテゴリ判定部１０５へ出力する処理部である。

例えば、カテゴリ情報を図１７で説明する。図１７は、横軸を明度成分である正規化後の輝度（Ｙ）の平均値とし、縦軸を色のばらつき成分である正規化後の色差（Ｃｂ）の分散値とした２次元の特徴量空間（２次元空間）を示している。図１７において、各カテゴリを示す代表点を学習によって算出した値とする。この学習方法は、ある程度の数のサンプルデータの集合を対象に画像を解析し、その解析データから有用な規則、ルール、判断基準などを抽出し、これらから得られた特徴量を代表値として設定すればよい。この学習方法は、公知技術である遺伝的アルゴリズム（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ：ＧＡ）やニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のいずれの方法を用いてもよい。又は、教師あり学習を実行するための機械学習メタアルゴリズムの一種であるブースティングのいずれの方法を用いてもよい。また或いは、教師なし学習を実行するための機械学習メタアルゴリズムの一種である主成分分析やクラスター分析、ベクトル量子化（Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ：ＶＱ）のいずれの方法を用いてもよい。

例えば、図１７において、学習で求めた代表点として、座標１７０１〜１７０６を示す。各座標１７０１〜１７０６の値は、例えば以下の通りとする。
座標（Ｘａ，Ｙｂ）＝（輝度（Ｙ）平均値、色差（Ｃｂ）分散値）
座標１７０１（Ｘ１，Ｙ１）＝（１０，８０）
座標１７０２（Ｘ２，Ｙ２）＝（３０，６０）
座標１７０３（Ｘ３，Ｙ３）＝（２０，１０）
座標１７０４（Ｘ４，Ｙ４）＝（４０，２０）
座標１７０５（Ｘ５，Ｙ５）＝（９０，３０）
座標１７０６（Ｘ６，Ｙ６）＝（８０，８０）
カテゴリ情報保持部１０４では、上記学習で求めた代表点の座標１７０１〜１７０６をカテゴリ情報として予め保持し、カテゴリ判定部１０５で領域毎にカテゴリを判定する際に、カテゴリ情報をカテゴリ判定部１０５へ出力する。

次にカテゴリ判定部１０５の処理について説明する。

カテゴリ判定部１０５は、カテゴリ情報保持部１０４から予め定めた特徴量空間上のカテゴリ情報を取得する。また、領域分割した各画像データの特徴量が、予め定めた特徴量空間上の各代表点との距離を判定する。そして、該領域毎に、算出した各代表点との距離の中で、距離の近い代表点を算出する。更に、算出した代表点との距離を利用して、該領域毎に、代表点信頼度を算出する。また、該領域毎の代表点と代表点信頼度を集計する。集計した結果から画像全体で主となる１つもしくは２つの第一カテゴリ、第二カテゴリを判定する。また、第一カテゴリ、第二カテゴリの画像の信頼度を算出する。そして、画像全体の第一カテゴリ、第二カテゴリの判定結果と画像に画像全体の第一、第二カテゴリの信頼度を補正強度設定部１０６へ出力する処理部である。

例えば、カテゴリ判定部１０５のカテゴリ判定処理を図１７と図１８で説明する。

図１８は、本実施形態に係るカテゴリ判定部１０５の動作手順を示すフローチャートである。

図１８において、まずＳ１８１で、カテゴリ情報保持部１０４から予め定めた特徴量空間上のカテゴリ情報を取得する。例えば、図１７で説明する。図１７において、上記学習で求めた代表点の座標１７０１〜１７０６をカテゴリ情報として取得する。

次にＳ１８２で、領域分割した各画像データの特徴量を取得する。例えば、図１７で説明する。図１７において、領域分割した各画像データの特徴量を座標１７００で示す。座標１７００の値は、例えば以下の通りとする。
座標（Ｘａ，Ｙｂ）＝（輝度（Ｙ）平均値、色差（Ｃｂ）分散値）
座標１７００（Ｘ０，Ｙ０）＝（４０，３０）

次にＳ１８３で、領域分割した各画像データの特徴量が、予め定めた特徴量空間上の各代表点との距離を判定する。そして、該領域毎に、算出した各代表点との距離の中で、距離の近い代表点を算出する。例えば、領域分割した各画像データの特徴量が、予め定めた特徴量空間上の各代表点との距離を判定する方法について、図１７で説明する。図１７において、領域分割した各画像データの特徴量の代表点（座標１７００）と、夜景カテゴリの代表点（座標１７０１、１７０２）との距離を算出する。または、特徴量の代表点（座標１７００）と露出不足カテゴリの代表点（座標１７０３、１７０４）との距離を算出する。または、特徴量の代表点（座標１７００）と風景カテゴリの代表点（座標１７０５、１７０６）との距離を算出する。例えば、領域分割した各画像データの特徴量の代表点の座標を座標（Ｘａ，Ｙａ）とし、夜景、露出不足、風景の各カテゴリの代表点の座標を座標（Ｘｂ，Ｙｂ）とする。そして、座標（Ｘａ，Ｙａ）と座標（Ｘｂ，Ｙｂ）の距離を算出する。ここで算出する距離は、以下の式（１３）で表される。
距離＝（（Ｘａ−Ｘｂ）の２乗＋（Ｙａ−Ｙｂ）の２乗） …式（１３）
座標１７００（Ｘ０，Ｙ０）と座標１７０１（Ｘ１，Ｙ１）の距離＝３４００
座標１７００（Ｘ０，Ｙ０）と座標１７０２（Ｘ２、Ｙ２）の距離＝１０００
座標１７００（Ｘ０，Ｙ０）と座標１７０３（Ｘ３，Ｙ３）の距離＝８００
座標１７００（Ｘ０，Ｙ０）と座標１７０４（Ｘ４，Ｙ４）の距離＝１００
座標１７００（Ｘ０，Ｙ０）と座標１７０５（Ｘ５，Ｙ５）の距離＝２５００
座標１７００（Ｘ０，Ｙ０）と座標１７０６（Ｘ６，Ｙ６）の距離＝４１００
そして、最も距離の短い座標１７０４である代表点を該領域の代表点と設定する。この場合、座標１７０４のカテゴリは、露出不足なので、該領域のカテゴリを露出不足と判定する。

次にＳ１８４で、Ｓ１８３で算出した代表点との距離を利用して、該領域毎に、代表点信頼度を算出する。代表点信頼度を算出方法について、図１７で説明する。図１７において、最も短い代表点の距離（Ｌａ）とし、次に短い距離（Ｌｂ）とする。該領域の代表点信頼度は、以下の式（１４）により算出する。
該領域の代表点信頼度＝Ｌｂ／（Ｌａ＋Ｌｂ）×１００ …式（１４）

図１７では、最も短い代表点の距離（Ｌａ）は、座標１７００（Ｘ０，Ｙ０）と座標１７０４（Ｘ４，Ｙ４）との距離で「１００」である。次に短い距離（Ｌｂ）は、座標１７００（Ｘ０，Ｙ０）と座標１７０２（Ｘ２，Ｙ２）の距離で「１０００」である。従って、この場合の代表点信頼度は、
該領域の代表点信頼度＝１０００／（１００＋１０００）×１００＝９１（四捨五入）
となる。

次にＳ１８５で、領域分割処理部１０２で領域分割した数分を処理したかどうかを判定する。該領域分の処理が終了していない場合には、Ｓ１８２、Ｓ１８３、Ｓ１８４の処理を、処理する領域を変えて実行する。また、該領域分の処理が終了した場合は、次のＳ１８６に進む。

次にＳ１８６で、該領域毎の代表点と代表点信頼度を集計する。例えば、図１９で説明する。図１９（Ａ）（Ｂ）（Ｃ）は、図４と同様に、入力画像データ４００とし、入力画像を６領域４０１〜４０６に分割した図である。また、該領域４０１〜４０６に、記載してある文字は、カテゴリを判別した結果を示し、記載してある数値は、代表点の信頼度を示す。また、図１９（Ａ）は、該領域４０１〜４０３のカテゴリが夜景で、該領域４０４〜４０６のカテゴリが露出不足と判定された画像を示す。また、図１９（Ｂ）は、該領域４０１〜４０３のカテゴリが風景で、該領域４０４〜４０６のカテゴリが露出不足と判定された画像を示す。また、図１９（Ｃ）は、該領域４０１〜４０２のカテゴリが風景で、該領域４０３のカテゴリが夜景で、該領域４０４〜４０６のカテゴリが露出不足と判定された画像を示す。

そして、該領域毎の代表点と代表点信頼度を集計方法としては、該領域毎に判定した代表点のカテゴリ毎に該領域の信頼度を合計する。図１９（Ａ）においては、露出不足カテゴリの信頼度合計値は３００で、夜景カテゴリの信頼度合計値は１５０で、風景カテゴリの信頼度合計値は０である。図１９（Ｂ）においては、露出不足カテゴリの信頼度合計値は３００で、夜景カテゴリの信頼度合計値は０で、風景カテゴリの信頼度合計値は１５０である。図１９（Ｃ）においては、露出不足カテゴリの信頼度合計値は３００で、夜景カテゴリの信頼度合計値は５０で、風景カテゴリの信頼度合計値は１００である。

次にＳ１８７で、該領域毎に判定したカテゴリ情報の集計結果から画像全体で主となる１つもしくは２つの第一カテゴリ、第二カテゴリを判定する。判定方法は、カテゴリ毎の信頼度合計値が最も多い２つを第一カテゴリ、第二カテゴリとする。例えば、図１９で説明する。図１９（Ａ）においては、第一カテゴリが露出不足で、第二カテゴリが夜景と判定する。また、図１９（Ｂ）においては、第一カテゴリが露出不足で、第二カテゴリが風景と判定する。図１９（Ｃ）においては、第一カテゴリが露出不足で、第二カテゴリが風景と判定する。

次にＳ１８８で、判定した第一カテゴリ、第二カテゴリの信頼度合計値を、第一カテゴリ、第二カテゴリの信頼度として算出する。例えば、図１９で説明する。図１９（Ａ）においては、第一カテゴリの信頼度が３００、第二カテゴリの信頼度１５０となる。図１９（Ｂ）においては、第一カテゴリの信頼度が３００、第二カテゴリの信頼度１５０となる。図１９（Ｃ）においては、第一カテゴリの信頼度が３００、第二カテゴリの信頼度１００となる。

次に補正強度設定部１０６の処理について説明する。
補正強度設定部１０６は、カテゴリ判定部１０５で判定した第一カテゴリ、第二カテゴリの判定結果と各カテゴリの信頼度によって露出不足割合Ｒを算出し、補正強度を設定する。設定した補正強度を補正処理部１０７へ出力する処理部である。

図２０は、本発明の実施形態に係る補正強度設定部１０６の動作手順を示すフローチャートである。

まずＳ２０１で、カテゴリ判定部１０５で判定した第一カテゴリと第二カテゴリの判定結果及び信頼度を取得する。

次にＳ２０２に進み、Ｓ２０１で取得した第一カテゴリと第二カテゴリの信頼度から露出不足割合Ｒを算出する。例えば、第一カテゴリが露出不足で、信頼度の値が６０とし、第二カテゴリが夜景で、信頼度の値が４０とする。この場合、
露出不足割合Ｒ＝６０／（６０＋４０）×１００＝６０
となる。また、第一カテゴリもしくは第二カテゴリが露出不足以外の場合、
露出不足割合Ｒ＝０
となる。
Ｓ２０３は、図１３のＳ８３と同様なため省略する。
Ｓ２０４は、図１３のＳ８４と同様なため省略する。
Ｓ２０５は、図１３のＳ８５と同様なため省略する。

次に補正処理部１０７の処理について説明する。
本実施形態の補正処理部１０７は、実施系１と同様で行えるが、更に、細かい制御で補正処理を行える。例えば、図２１で説明する。

補正処理部１０７は、補正強度設定部１０６で設定した補正強度Ｐに応じて補正処理を制御する処理部である。

図２１は、本発明の実施形態に係る補正処理部１０７の動作手順を示すフローチャートである。

まずＳ２１１で、色空間変換部１０１で色空間変換された画像データを入力する。ここでは例えば、画像取得装置２１１で取得した画像データＹＣｂＣｒを色空間ＲＧＢに変換した画像データを入力する。

次にＳ２１２に進み、特徴量算出部１０２で算出した画像データの特徴量と、カテゴリ判定部１０５で判定した画像データのカテゴリ判定結果、及び補正強度設定部１０６で設定した補正強度Ｐを取得する。ここでは例えば、特徴量算出部１０２で算出した画像データの特徴量として、明度成分である輝度（Ｙ）の平均値を入力する。また、カテゴリ判定部１０５で判定したカテゴリ判定結果として、判定された結果が少なくとも露出不足、夜景、風景であるかのカテゴリ情報を入力する。また、補正強度設定部１０６で設定した補正強度Ｐとして、０〜１００％の範囲の補正強度値を入力する。

次にＳ２１３に進み、カテゴリ判定部１０５で判定した、第一、第二カテゴリの何れかに露出不足があるかどうかを判定する。第一、第二カテゴリの何れかに露出不足がある場合は、Ｓ２１４進む。第一、第二カテゴリの何れかに露出不足がない場合、補正処理を終了する。

次にＳ２１４に進み、カテゴリ判定部１０５で判定した、第一、第二カテゴリの判定結果の組み合わせを判定する。そして、第一、第二カテゴリの組み合わせが、露出不足のみである場合、Ｓ２１５に進む。第一、第二カテゴリの組み合わせが、露出不足と夜景である場合、Ｓ２１６に進む。第一、第二カテゴリの組み合わせが、露出不足と風景である場合、Ｓ２１７に進む。上記以外の組み合わせは、補正処理を行わない。更に、これらＳ２１５，Ｓ２１６、Ｓ２１７では、補正強度設定部１０６で算出した補正強度Ｐに応じて補正量を制御する。

次にＳ２１５、Ｓ２１６、Ｓ２１７に進み、取得した補正強度Ｐによって、補正処理を制御する。例えば、図２２で説明する。この補正量の制御を、図２２（Ａ）（Ｂ）を参照して説明する。図２２（Ａ）（Ｂ）は、それぞれ実施形態において補正強度Ｐを考慮した画像補正に用いるγ曲線を示す図である。

図２２（Ａ）は、図１６（Ａ）と同様のγ曲線である。図２２（Ｂ）において、直線２２００は、取得画像の濃度に対し出力画像の濃度が同じ値である基準を示す。図２２（Ｂ）のγ曲線２２０３は、図２２（Ａ）のγ曲線２２０１より変化が少ない状態とする。また、補正強度Ｐが０％から１００％に大きくなるにしたがって、適用されるγ曲線はγ曲線２２００からγ曲線２２０３へ近づいていく。

Ｓ２１５では、取得画像の代表となる第一、第二カテゴリが露出不足のみの場合、明度補正を強くかけてもよいので、図２２（Ａ）で制御する。Ｓ２１６では、取得画像の代表となる第一、第二カテゴリの組み合わせが、露出不足と夜景の場合は、図２２（Ｂ）で制御する。露出不足の画像は暗い部分を明るくする補正が好まれ、夜景の画像は暗い部分を明るくすると画像の弊害が多いため、図２２（Ｂ）で制御する。Ｓ２１７では、取得画像の代表となる第一、第二カテゴリの組み合わせが、露出不足と風景の場合は、図２２（Ａ）で制御する。露出不足の画像は暗い部分を明るくする補正が好まれ、風景の画像は暗い部分を明るくしても画像の弊害が少ないため、図２２（Ａ）で制御する。この様に、第一、第二カテゴリの組み合わせによって、補正制御を行うことで、適切な補正処理を行うことができる。

本実施形態では、図２２（Ａ）（Ｂ）で、露出不足用の補正処理として、全体的に基準より明るくするような明度補正処理を行っているが、これに限らない。例えば、第一カテゴリによって補正処理を変更してもよい。図２３で説明する。図２３は、図２２と同様に、補正強度Ｐを考慮した画像補正に用いるγ曲線を示す図である。

図２３（Ａ）において、補正強度Ｐが０％である場合、γ曲線２２００を示し、補正強度Ｐが１００％である場合、γ曲線２３０１を示すγ曲線で、補正量を設定する。また、補正強度Ｐが０〜１００％によって、γ曲線２２００からγ曲線２３０１の間でγ曲線が変化するγ曲線２３０２で、補正量を制御する。また、図２２（Ａ）は、露出不足用の補正処理として、全体的に基準より明るくするような明度補正処理を示している。

図２２（Ｂ）において、補正強度Ｐが０％である場合、γ曲線２２００を示し、補正強度Ｐが１００％である場合、γ曲線２３０３を示すγ曲線で、補正量を設定する。また、補正強度Ｐが０〜１００％によって、γ曲線２３００からγ曲線２３０３の間でγ曲線が変化するγ曲線２３０４で、補正量を制御する。また、図２２（Ｂ）は、夜景用の補正処理として、取得画像の濃度に対し出力画像の濃度が、暗い濃度は基準より暗く、明るい濃度はより明るくする明度補正処理を示している。

図２２（Ｃ）において、補正強度Ｐが０％である場合、γ曲線２２００を示し、補正強度Ｐが１００％である場合、γ曲線２３０５を示すγ曲線で、補正量を設定する。また、補正強度Ｐが０〜１００％によって、γ曲線２２００からγ曲線２３０５の間でγ曲線が変化するγ曲線２３０６で、補正量を制御する。また、図２２（Ｃ）は、風景用の補正処理として、取得画像の濃度に対し出力画像の濃度が、暗い濃度は基準より明るく、明るい濃度はより暗くする明度補正処理を示している。

例えば、第一カテゴリが露出不足と判断された場合には、露出不足用として図２３（Ａ）を使用し、補正強度Ｐによって補正量を制御してもよい。また、第一カテゴリが夜景と判断された場合には、夜景用として図２３（Ｂ）を使用し、補正強度Ｐによって補正量を制御してもよい。また、第一カテゴリが風景と判断された場合には、風景用として図２３（Ｃ）を使用し、補正強度Ｐによって補正量を制御してもよい。

また本実施形態では、γ曲線のγの値は、明度成分として輝度（Ｙ）の平均値によって決定しているが、算出した画像データの特徴量をいずれかを用いていれば、これに限らない。例えば、取得した画像データの特徴量として色のばらつき成分である色差（Ｃｂ）の分散値によって、γの値を決定してもよい。

また本実施形態では、図２２、図２３に示すような明度補正処理を行っているが、少なくとも判定されたカテゴリ結果を用いて補正処理を行う方法であれば、周知のいかなる補正処理を用いても構わない。例えば、カテゴリ判定結果が夜景の場合は、輝度の高い濃度値の彩度を上げる補正を行っても構わない。

また本実施形態では、補正強度設定部１０６で、領域毎に信頼度を算出し、カテゴリ毎に集計した信頼度合計値から、第一、第二カテゴリの信頼度を算出し、補正強度Ｐを算出しているが、これに限らない。領域毎に信頼度を算出し、カテゴリ毎に集計した信頼度合計値から、第一、第二カテゴリの信頼度を算出する際に、少なくとも第一、第二カテゴリの信頼度を含んで補正強度Ｐを算出してもよい。例えば、第一、第二カテゴリの信頼度の他に、三番目に信頼度の高い第三カテゴリの信頼度を算出する。第一、第二、第三カテゴリの信頼度を合計した合計信頼度の比で、露出不足割合Ｒを算出し、補正強度Ｐを算出してもよい。

また本実施形態では、２次元の特徴量空間（２次元空間）上で、カテゴリ判定を行っているが、３次元の特徴量空間（３次元空間）や４次元の特徴量空間（４次元空間）のような多次元の特徴量空間でも構わない。例えば、明度成分である正規化後の輝度（Ｙ）の平均値と、色のばらつき成分である正規化後の色差（Ｃｂ）の分散値と、明度成分である正規化後の輝度（Ｙ）の最大値とした３次元の特徴量空間上でのカテゴリ判定方法について説明する。例えば、図２４で説明する。図２４は、Ｘ軸を明度成分である正規化後の輝度（Ｙ）の平均値とし、Ｙ軸を色のばらつき成分である正規化後の色差（Ｃｂ）の分散値とし、Ｚ軸を明度成分である正規化後の輝度（Ｙ）の最大値とした３次元の特徴量空間（３次元空間）を示している。

図２４において、座標２４００は、３次元の特徴量空間において、特徴量算出部１０２で算出した取得画像の特徴量の座標位置を示す。また、座標２４００は、明度成分である正規化後の輝度（Ｙ）の平均値と、色のばらつき成分である正規化後の色差（Ｃｂ）の分散値、明度成分である正規化後の輝度（Ｙ）の最大値の座標位置を示す（取得画像の代表点）。

また、座標２４０１、２４０２は、３次元の特徴量空間において設定されている夜景カテゴリを示す特徴量とする（夜景カテゴリの代表点）。また座標２４０３、２４０４は、３次元の特徴量空間において設定されている露出不足カテゴリを示す特徴量とする（露出不足カテゴリの代表点）。また座標２４０５、２４０６は、３次元の特徴量空間において設定されている風景カテゴリを示す特徴量とする（風景カテゴリの代表点）。いまここで座標２４００の値は、例えば以下の通りとする。
座標（Ｘａ，Ｙｂ，Ｚｂ）＝（輝度（Ｙ）平均値、色差（Ｃｂ）分散値、輝度（Ｙ）最大値）
座標２４００（Ｘ０，Ｙ０，Ｚ０）＝（６０，５０，５０）

例えば、取得画像の代表点の座標を座標（Ｘａ，Ｙａ，Ｚａ）とし、夜景、露出不足、風景の各カテゴリ代表点の座標を座標（Ｘｂ，Ｙｂ，Ｚｂ）とする。そして、座標（Ｘａ，Ｙａ，Ｚａ）と座標（Ｘｂ，Ｙｂ，Ｚｂ）の距離を算出する。ここで算出する距離は、以下の式（１６）で表される。
距離＝（（Ｘａ−Ｘｂ）の２乗＋（Ｙａ−Ｙｂ）の２乗＋（Ｚａ−Ｚｂ）の２乗）…式（１６）

２次元の特徴量空間上でのカテゴリ判定方法と同様に、３次元の特徴量空間上で算出した距離を用いてカテゴリ判定を行う。図２４において、最も距離の短い座標２４０６である代表点を該領域の代表点と設定する。この場合、座標２４０６のカテゴリは、風景なので、該領域のカテゴリを風景と判定する。

本実施形態では、露出不足割合Ｒの設定方法は、明るく補正したいが暗いままになっている露出不足領域が、画像に含む割合として示すことができれば、これに限らない。例えば、第一カテゴリの信頼度をＣとし、各カテゴリの信頼度の合計をＥとした場合、露出不足割合Ｒは、以下の式（１７）としてもよい。
露出不足割合Ｒ＝Ｃ／Ｅ×１００…式（１７）

以上説明したように本実施形態によれば、取得画像を領域分割する。該領域毎に、特徴量を算出し、特徴量によってカテゴリを判別し、該領域の信頼度を算出し、該領域毎にカテゴリ判別した結果と信頼度を元に画像全体の主となる第一、第二カテゴリを判定する。また、第一、第二カテゴリの信頼度を算出する。第一、第二カテゴリの信頼度から露出不足割合Ｒを算出する。第一、第二カテゴリの組み合わせと算出した露出不足割合Ｒによって、補正強度Ｐを設定する。設定した補正強度Ｐに応じて補正処理を実行する。

従って、実施例１と同様に、従来の課題である暗い状態が支配的な画像でも、暗い部分を明るくさせたい画像であれば、明るさの補正強度を極力弱めず明るくすることが可能である。また、中央部に限らず、局所的に暗い部分を明るくさせたい暗い部分があれば、明るさの補正強度を極力弱めず明るくすることが可能である。そして、学習によって算出した代表点を使用し、代表点の距離で、領域毎の信頼度を算出することによって、より詳細な補正処理を施すことが可能となる。

更に、補正強度だけでなく、補正処理を第一、第二カテゴリの組み合わせによって変えることによって、画像が暗い状態が支配的な画像でも、暗い部分を明るくさせたい画像であれば、明るさの補正強度を極力弱めず明るくすることができる。また、暗い部分をそのままにしたい画像であれば、明るさの補正強度を抑制して、暗い部分の明度を上昇させ過ぎるという致命的な画像弊害を起こさないことが可能である。

図１に示した各部（プリンタ２１０、画像取得装置２１１を除く）はハードウェアによって構成してもよいし、その一部若しくは全部をソフトウェアによって構成してもよい。後者の場合、係るソフトウェアは、ＰＣ等のコンピュータが有するメモリに格納し、このコンピュータが有するＣＰＵなどがこれを用いて処理を実行することで、係るコンピュータは、図１に示した装置が有する機能を実現しうる。

図２は、画像出力装置、画像読取装置に適用可能なコンピュータのハードウェア構成例を示すブロック図である。

コンピュータ２００には、プリンタ２１０、画像取得装置２１１が接続されている。係るプリンタ２１０は、図１に示したプリンタ２１０として機能する。また、画像取得装置２１１は、図１に示した画像取得装置２１１として機能する。

以下にコンピュータ２００を構成する各部について説明する。
ＣＰＵ２０２は、ＲＡＭ２０４やＲＯＭ２０３に格納されているコンピュータプログラムやデータを用いてコンピュータ２００全体の制御を行うと共に、画像出力装置、画像読取装置が行うものとして上述した各処理を実行する。

ＲＯＭ２０３には、コンピュータ２００の設定データやブートプログラムなどが格納されている。

ＲＡＭ２０４は、二次記憶装置２０５からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリア、Ｉ／Ｏ ＩＦ２０９を介して画像取得装置２１１から取得される画像データなどを一時的に記憶するためのエリアを有する。更にＲＡＭ２０４は、ＣＰＵ２０２が各処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ２０４は、各種のエリアを適宜提供することができる。

二次記憶装置２０５は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。二次記憶装置２０５には、ＯＳ（オペレーティングシステム）や、図１に示した各部（プリンタ１６を除く）、図２に示した各部（スキャナ２１、プリンタ３３を除く）の機能をＣＰＵ２０２に実現させるためのコンピュータプログラムやデータが格納されている。二次記憶装置２０５に保存されているコンピュータプログラムやデータは、ＣＰＵ２０２による制御に従って適宜ＲＡＭ２０４にロードされ、ＣＰＵ２０２による処理対象となる。

表示部２０６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ２０２による処理結果を画像や文字などでもって表示することができる。例えば、領域設定部１３にて、部分領域をユーザが指定する場合には、取得画像を表示すると共に、係る取得画像上で部分領域を指定するためのＧＵＩを表示する。

キーボード２０７、マウス２０８は、ユーザが操作することで各種の指示をＣＰＵ２０２に対して入力することができるポインティングデバイスの一例である。例えば、領域設定部１３にて、部分領域をユーザが指定する場合、ユーザはキーボード２０７やマウス２０８を用いて指定すればよい。

Ｉ／Ｏ ＩＦ２０９には、プリンタ２１０、画像取得装置２１１が接続されており、コンピュータ２００はこのＩ／Ｏ ＩＦ２０９を介してプリンタ２１０に画像情報を転送したり、画像取得装置２１１から画像情報を取得したりする。２０１は上述の各部を繋ぐバスである。

尚、コンピュータ２００のハードウェア構成については、図２に示した構成に限定するものではなく、同等の機能を実現しうる構成であれば他の構成であってもよい。

本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウエア（プログラム）をパソコン等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。

（その他の実施形態）
また、本発明で、補正処理方法は、明度を補正する明度補正処理としているが、明度を補正する処理であれば、いずれでも構わない。例えば、局所的に明るさの補正を行う覆い焼き処理でもよい。

覆い焼き補正とは、例えば、人物などの被写体が暗く背景が明るい場合に、暗い人物領域の明度は大きく上昇させ、明るい背景領域の輝度はさほど変化させないようにする。このことにより、背景の白トビを抑えて、人物領域の明るさを適正に補正するというものである。

両者とも、入力画像に対してフィルタ処理を施して低周波画像、すなわち、ボケ画像を生成し、該ボケ画像を明るさの制御因子として用いることで、デジタル画像に対する覆い焼き補正を実現している。

本実施例においては、覆い焼き手法は公知文献で既に開示されている手法のうちいずれを用いてもよいが、本実施例では例として、以下の式（１７）により強調係数Ｋを決定する。
Ｋ＝ｇ×（１．０−（Ｂ（Ｘｚ，Ｙｚ）／２５５））…式（１７）
上式において、Ｂ（Ｘｚ，Ｙｚ）は、座標（Ｘｚ，Ｙｚ）における合成低周波画像の画素値（０〜２５５）であり、ｇは本実施形態の補正強度Ｐを示す。

上式は、合成低周波画像が暗い場合に強調係数Ｋは大きくなり、逆に明るい場合には強調係数Ｋが小さくなることを意味している。

覆い焼き処理を行う際に、補正強度Ｐを用いて、局所的な補正強度Ｋを用いることで、局所的な補正に対しても、カテゴリ判別した結果を用いて、適切な補正処理を施すことが可能となる。

Claims (16)

1. 画像に含まれる複数の領域の特徴量を取得する取得手段と、
   前記取得手段によって取得された特徴量に基づき、前記領域毎にカテゴリと該カテゴリの信頼度を判別する領域カテゴリ判別手段と、
   前記領域カテゴリ判別手段によって判別された領域毎のカテゴリと該カテゴリの信頼度に基づき前記画像におけるカテゴリ毎の信頼度を取得し、該取得されたカテゴリ毎の信頼度に基づき前記画像のカテゴリを判別する画像カテゴリ判別手段と
   を有することを特徴とする画像処理装置。
2. さらに、前記領域カテゴリ判別手段によって判別されたカテゴリと前記判別された各カテゴリの信頼度から、前記画像における露出不足割合を算出し、該算出された露出不足割合と前記画像のカテゴリに基づき、前記画像の明るさを補正する補正手段を有し、前記補正手段は、前記露出不足割合と前記カテゴリに応じて、明るさを補正する量を
   制御することを特徴とする請求項１記載の画像処理装置。
3. 前記画像カテゴリ判別手段は、前記画像において最も大きい信頼度をもつカテゴリを前記画像のカテゴリとして判別することを特徴とする請求項１に記載の画像処理装置。
4. 前記画像カテゴリ判別手段は、前記領域毎のカテゴリの信頼度を前記画像においてカテゴリ毎に集計した値から、前記画像におけるカテゴリ毎の信頼度を取得することを特徴とする請求項１記載の画像処理装置。
5. さらに、前記画像においてカテゴリ毎の信頼度が最も大きい２つのカテゴリを、それぞれ第一カテゴリ、第二カテゴリとし、前記第一カテゴリと前記第二カテゴリの組み合わせと、該第一カテゴリの信頼度と該第二カテゴリの信頼度とに基づき、前記画像の明るさを補正する補正手段を有し、
   前記補正手段は、前記第一カテゴリの信頼度と前記第二カテゴリの信頼度に応じて、明るさを補正する量を制御することを特徴とする請求項１記載の画像処理装置。
6. 前記画像のカテゴリは、露出不足または夜景であることを特徴とする請求項１に記載の画像処理装置。
7. さらに、前記領域カテゴリ判別手段によって判別されたカテゴリと前記判別されたカテゴリ毎の前記画像に占める割合から、前記画像における露出不足割合を算出し、該算出された露出不足割合と前記画像のカテゴリに基づき、前記画像の明るさを補正する補正手段を有し、
   前記補正手段は、前記露出不足割合と前記カテゴリに応じて、明るさを補正する量を制御することを特徴とする請求項１記載の画像処理装置。
8. 前記領域カテゴリ判別手段は、前記領域の特徴量と予め設定されたカテゴリを示す特徴量とに基づき、前記領域のカテゴリの信頼度を取得することを特徴とする請求項１に記載の画像処理装置。
9. さらに、前記画像に占める割合が最も大きい２つのカテゴリを、それぞれ第一カテゴリ、第二カテゴリとし、前記第一カテゴリと前記第二カテゴリの組み合わせと、該第一カテゴリと該第二カテゴリがそれぞれ該画像に占める割合とに基づき、前記画像の明るさを補正する補正手段を有し、
   前記補正手段は、前記組み合わせと前記割合に応じて、明るさを補正する量を制御することを特徴とする請求項１記載の画像処理装置。
10. 前記第一カテゴリが露出不足、前記第二カテゴリが夜景と判別された場合、前記第一カテゴリが露出不足、前記第二カテゴリが風景と判別された場合よりも、前記画像の明るさを補正する量を小さくすることを特徴とする請求項５または請求項９記載の画像処理装置。
11. 前記特徴量は、前記画像の明度成分と色のばらつき成分であることを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
12. 前記明度成分は輝度であり、前記色のばらつき成分は色差であることを特徴とする請求項１１に記載の画像処理装置。
13. 前記色のばらつき成分は、前記領域における色差の最大値から最小値を引いた値であることを特徴とする請求項１２に記載の画像処理装置。
14. 前記明るさの補正処理は、覆い焼き処理であること特徴とする請求項２に記載の画像処理装置。
15. 画像に含まれる複数の領域の特徴量を取得する取得ステップと、
    前記取得ステップによって取得された特徴量に基づき、前記領域毎にカテゴリと該カテゴリの信頼度を判別する領域カテゴリ判別ステップと、
    前記領域カテゴリ判別ステップによって判別された領域毎のカテゴリと該カテゴリの信頼度に基づき前記画像におけるカテゴリ毎の信頼度を取得し、該取得されたカテゴリ毎の信頼度に基づき前記画像のカテゴリを判別する画像カテゴリ判別ステップと
    を有することを特徴とする画像処理方法。
16. コンピュータを、請求項１乃至１４の何れか１項に記載の画像処理装置として機能さ
    せるためのプログラム。

Images