JP3631022B2 - 撮像装置および信号処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、色フィルタを持つ撮像素子を有し、特にホワイトバランスの信号処理を改善した撮像装置あるいは信号処理装置に関するものである。
【０００２】
【従来の技術】
図１０は従来の単板の撮像装置の信号処理ブロック図である。ここでは、撮像素子４０１に図２に示すような配列の補色フィルタが備え付けられている場合について説明する。
【０００３】
撮像素子４０１からのアナログ出力信号は、プリプロセス回路４０２を経てＡ／Ｄ変換手段４０３によりデジタル信号となり、ＯＢ回路４０４によって黒レベルが揃えられ、メモリ４０５に一旦記憶される。ここでのデジタル信号は、撮像素子４０１に対して汎用の加算読み出しを行い、色フィルタ（Ｍａ，Ｇ，Ｃｙ，Ｙｅ）の信号をそれぞれ加算した信号（Ｗｒ，Ｗｂ，Ｇｒ，Ｇｂ）である。
【０００４】
上記メモリ４０５から読み出された画像信号は、ホワイトバランス回路４２０からの利得調整値により画素ゲイン調整回路４０６によりゲイン調整される。このゲイン調整された画像信号は、色分離色補間回路４０７に送られ、Ｗｒ，Ｗｂ，Ｇｒ，Ｇｂの信号として出力されて後段の色処理部に送られると同時に、撮像素子４０１の読み出し信号配列のままの信号が輝度処理部にそれぞれ送られる。
【０００５】
上記色処理部においては、色分離色補間回路４０７の出力により垂直ローパスフィルタ回路４０８に送られ、マトリクス４０９でＲＧＢの色信号に変換される。このＲＧＢ信号は、水平ローパスフィルタ回路４１０にて帯域制限され、ガンマ変換回路４１１にてガンマ補正され、更に純色色差変換回路４１２によりＹ，Ｒ−Ｙ，Ｂ−Ｙの色差信号に変換される。この色差信号は、ホワイトバランス回路４２０とＣ＿ＳＵＰ回路４１３に送られ、このＣ＿ＳＵＰ回路４１３にて飽和領域の色消し処理が行われた後、Ｙ補正回路４１９，色補正回路４１４に送られる。そして、色補正回路４１４にて微妙な色調整が行われる。
【０００６】
一方輝度処理部においては、色フィルタによる輝度段差補正のためのフィルタが垂直ローパスフィルタ回路１０１５，水平ローパスフィルタ回路１０１６によりかけられ、ＡＰＣ（輝度アパーチャ補正）回路４１７によりエッジ強調が行われ、更にガンマ補正回路４１８によってガンマ補正される。その後、Ｃ＿ＳＵＰ回路４１３からの色差信号を用いてＹ補正回路４１９にて輝度信号の微妙な輝度調整が実施される。
【０００７】
そして、上記色処理部からの色差信号と輝度処理部からの輝度信号は一旦メモリ４２３に記憶され、撮像素子４０１をフィールド読み出しした場合には加算回路４２１で１フレーム信号とし、圧縮回路４２２でＪＰＥＧなどの圧縮を行い、フラッシュメモリなどに記録する。
【０００８】
また、ホワイトバランス回路４２０は、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を入力し同信号の振幅に対して所定値を越えた大きな振幅の入力を制限するクリップ回路を有し、このクリップ回路を通過した色差信号と輝度信号とを例えば一画面を複数ブロックに分割してその分割ブロック毎に積分し、図１１に示すように（Ｒ−Ｙ）と（Ｂ−Ｙ）とで作る座標において白色の色温度変化時における変化範囲を白判別範囲５０１として設定し、上記ブロック毎の積分値が同座標上において白判別範囲内にあるか否かを判別し、白判別範囲内にある積分値を用いてＲ信号とＢ信号のゲインを定める制御をシステム制御用ＣＰＵが行い、このゲインより撮像素子４０１の出力の利得制御値を求め、該制御値で撮像素子４０１の出力値のゲインを調整するようにしている。
【０００９】
【発明が解決しようとする課題】
上記のように、（Ｒ−Ｙ），（Ｂ−Ｙ）などで座標を作り同座標上に白判別範囲を設定し、白判別範囲内での積分値を用いる従来のホワイトバランス調整方法を用いた撮像装置にあっては、例えば高色温度の照明での撮影時に、白判別範囲において低彩度の赤系の被写体が低色温度の白と同じ領域に含まれるため、そのような被写体の面積が大きいと、低色温度照明と誤判別してしまう。同様に、低色温度の照明での撮影時に、白色判別範囲において低彩度の青系の被写体が高色温度の白と同じ領域に含まれるため、そのような被写体の面積が大きいと、高色温度照明と誤判別してしまう。
【００１０】
また、従来では上記白判別範囲に含まれない色評価値は用いないか、もしくはその色評価値から最も近い白判別範囲の縁の値に置き換え、それを新たな色評価値として積分しているので、新たな計算回路を設ける必要がある。
【００１１】
また、従来では補色センサーを用いた場合、ホワイトバランス後の画像信号をマトリクス演算で純色信号に変換する際、色温度により最適なマトリクスを用意しないと色再現が悪くなってしまう問題があった。
【００１２】
また、従来では撮像素子の読み出し方法によって色評価値が異なるため、白判別範囲を別々に設定する必要があった。例えば、図２に示すような色フィルタ配列の補色センサーにおいて、それを加算読み出しした場合の色評価値は、（Ｒ−Ｙ，Ｂ−Ｙ）もしくは（（（Ｗｒ−Ｇｂ）−（Ｗｂ−Ｇｒ））／（Ｗｒ＋Ｇｂ），（（Ｗｒ−Ｇｂ）＋（Ｗｂ−Ｇｒ））／（Ｗｂ＋Ｇｒ））を用い、非加算読み出しの場合の色評価値は、（（Ｙｅ−Ｃｙ）／Ｙ１，（Ｍａ−Ｇ）／Ｙ１）を用いているので、複数の色評価値が存在し、それに伴って複数の白判別範囲を用意する必要があった。
【００１３】
また、撮像素子の出力をそのままホワイトバランス調整部に入力すると、画像にエッジが多く含まれている時はサンプルポイント数が少なくなってしまったり、エッジを白色と誤判別する場合も生じ、正確な白検出が行われないという問題点があった。
【００１４】
本発明は、上記のような問題点に着目してなされたもので、輝度信号レベルに依存することなく正確な色温度を検出することができ、適正なホワイトバランス制御を行うことができ、また最適な色再現を実現することが可能な撮像装置を提供することを目的としている。
【００１５】
【課題を解決するための手段】
上述した目的を達成するために、複数種類の色フィルタを有する撮像素子と、
前記撮像素子から出力される色信号の読み出しにおいて、加算読み出しと非加算読み出しとを選択する選択手段と、
前記選択手段によって加算読み出しが選択された場合、非加算読み出しのときに出力される色信号に復元する復元手段と、
前記撮像素子から出力される色信号を評価する色信号評価手段と、
前記色信号評価手段によって評価された色信号が所定の評価範囲に含まれるか否かを判別する判別手段と、
前記判別手段によって所定の評価範囲に含まれると判別された色信号に基づいてホワイトバランス調整するホワイトバランス調整手段と、
前記判別手段の評価範囲を所定の条件に応じて変化させる変化手段とを備え、
前記色信号評価手段は、前記選択手段によって加算読み出しが選択された場合、前記復元手段によって復元された色信号を評価することを特徴とする。
【００１６】
また、請求項２に係る発明によれば、請求項１において、さらに、前記判別手段によって所定の評価範囲に含まれると判別された色信号に基づいて撮像光源の色温度を算出する色温度算出手段と、前記ホワイトバランス調整手段によって調整された色信号をマトリクスを用いて色変換するマトリクス変換手段とを備え、前記マトリクス変換手段は、複数の異なるマトリクスを有し、前記色温度算出手段によって算出された色温度に応じて前記複数のマトリクスの中から１つを選択し、その選択されたマトリクスを用いて色変換を行うことを特徴とする。
【００１７】
また、請求項３に係る発明によれば、請求項２において、前記マトリクス変換手段は、Ｍａ，Ｇ，Ｃｙ，Ｙｅ信号からＲ，Ｇ，Ｂ信号に色変換することを特徴とする。
【００１９】
また、請求項４に係る発明によれば、請求項１において、さらに、前記色信号評価手段の前段に設けられ、前記撮像素子から出力される色信号を帯域制限するローパスフィルタを備えることを特徴とする。
【００２０】
また、請求項５に係る発明によれば、請求項１において、さらに、前記判別手段によって所定の評価範囲に含まれると判別された色信号に基づいて撮像光源の色温度を算出する色温度算出手段と、前記ホワイトバランス調整手段によって調整された色信号をマトリクスを用いて色変換するマトリクス変換手段と、前記色温度算出手段によって算出された色温度に基づいて前記マトリクス演算手段のマトリクスを作成する作成手段とを備えることを特徴とする。
【００２１】
また、請求項６に係る発明によれば、請求項１において、前記変化手段は、光源の明るさ、被写体への外光とフラッシュ光との影響度、およびシャッタースピードの少なくともいずれか一つに応じて前記評価範囲を変化させることを特徴とする。
【００２８】
また、請求項７に係る発明によれば、複数種類の色フィルタを有する撮像素子から出力される色信号を評価する色信号評価手段と、
前記撮像素子から出力される色信号の読み出しにおいて、加算読み出しと非加算読み出しとを選択する選択手段と、
前記選択手段によって加算読み出しが選択された場合、非加算読み出しのときに出力される色信号に復元する復元手段と、
前記色信号評価手段によって評価された色信号が所定の評価範囲に含まれるか否かを判別する判別手段と、
前記判別手段によって所定の評価範囲に含まれると判別された色信号に基づいてホワイトバランス調整するホワイトバランス調整手段と、
前記判別手段の評価範囲を所定の条件に応じて変化させる変化手段とを備え、
前記色信号評価手段は、前記選択手段によって加算読み出しが選択された場合、前記復元手段によって復元された色信号を評価する
ことを特徴とする。
【００２９】
また、請求項８に係る発明によれば、請求項７において、さらに、前記判別手段によって所定の評価範囲に含まれると判別された色信号に基づいて撮像光源の色温度を算出する色温度算出手段と、前記ホワイトバランス調整手段によって調整された色信号をマトリクスを用いて色変換するマトリクス変換手段とを備え、前記マトリクス変換手段は、複数の異なるマトリクスを有し、前記色温度算出手段によって算出された色温度に応じて前記複数のマトリクスの中から１つを選択し、その選択されたマトリクスを用いて色変換を行うことを特徴とする。
【００３０】
また、請求項９に係る発明によれば、請求項８において、前記マトリクス変換手段は、Ｍａ，Ｇ，Ｃｙ，Ｙｅ信号からＲ，Ｇ，Ｂ信号に色変換することを特徴とする。
【００３２】
また、請求項１０に係る発明によれば、請求項７において、さらに、前記色信号評価手段の前段に設けられ、前記撮像素子から出力される色信号を帯域制限するローパスフィルタを備えることを特徴とする。
【００３３】
また、請求項１１に係る発明によれば、請求項７において、さらに、前記判別手段によって所定の評価範囲に含まれると判別された色信号に基づいて撮像光源の色温度を算出する色温度算出手段と、前記ホワイトバランス調整手段によって調整された色信号をマトリクスを用いて色変換するマトリクス変換手段と、前記色温度算出手段によって算出された色温度に基づいて前記マトリクス演算手段のマトリクスを作成する作成手段とを備えることを特徴とする。
【００３４】
また、請求項１２に係る発明によれば、請求項７において、前記変化手段は、光源の明るさ、被写体への外光とフラッシュ光との影響度、およびシャッタースピードの少なくともいずれか一つに応じて前記評価範囲を変化させることを特徴とする。
【００５４】
【発明の実施の形態】
以下、添付の図面に沿って本発明の実施の形態を説明する。
【００５５】
（第１の実施の形態）
図１は第１の実施の形態の撮像装置が有する信号処理装置の構成を示すブロック図である。ここでは、撮像素子１０１に図２に示すような配列の補色フィルタが備え付けられている場合について説明する。
【００５６】
撮像素子１０１の出力信号は、プリプロセス回路１０２を経てＡ／Ｄ変換回路１０３に入り、ここでデジタル信号となり、ＯＢ回路１０４によって黒レベルが揃えられ、メモリ１０５に一旦記憶される。メモリ１０５から読み出された画像信号は、ホワイトバランス回路１０６に送られ、後述する方法で決定された利得調整値により色信号のゲインが調整されて出力される。このホワイトバランス回路１０６の出力信号は、色分離色補間回路１０８に送られ、ここでＭａ，Ｇ，Ｃｙ，Ｙｅの４信号が同時に色処理部に出力され、また輝度処理部には撮像素子１０１のフィルタ配列のままの信号が送られる。
【００５７】
色処理部においては、垂直ローパスフィルタ回路１０９にて垂直方向の帯域が制限され、マトリクス回路１１０でＲＧＢの色信号に変換される。ＲＧＢ信号はガンマ変換回路１１１にてガンマ補正され、純色色差変換回路１１２によりＹ，Ｒ−Ｙ，Ｂ−Ｙの各信号に変換される。その後、Ｃ＿ＳＵＰ回路１１３にて飽和領域の色消し処理が行われた色差信号は、水平ローパスフィルタ回路１１４を通り、Ｙ補正回路１２０，色補正回路１１５に送られる。
【００５８】
一方輝度処理部においては、色フィルタによる輝度段差補正のためのフィルタが垂直ローパスフィルタ回路１１６，水平ローパスフィルタ回路１１７によりかけられ、ＡＰＣ回路１１８によりエッジ強調が行われ、ガンマ補正回路１１９によってガンマ補正される。その後、Ｈ−ＬＰＦ回路１１４からの色差信号を用いてＹ補正回路１２０にて輝度信号の微妙な輝度調整が実施される。
【００５９】
そして、上記色処理部からの色差信号と輝度処理部からの輝度信号は圧縮回路１２１でＪＰＥＧなどの圧縮が行われ、フラッシュメモリ等のメモリ１２２に記憶される。
【００６０】
次に、本実施例の主眼点であるホワイトバランス回路１０６の動作について説明する。
【００６１】
例えば、撮像素子１０１のＣＣＤ補色フィルタが図２のように配列されている場合、同図の８画素配列を単位ブロックとして、この単位ブロックの繰り返しで全体が成り立っている。この８画素のうち上部または下部の４画素（Ｍａ，Ｇ，Ｃｙ，Ｙｅ）を白評価サンプルポイントとして用い、各サンプルポイントにおいて色評価値
（Ｍａ−Ｇ）／Ｙ，（Ｙｅ−Ｃｙ）／Ｙ （但しＹは輝度信号）
を算出し、予め設定した白判別範囲に含まれる点を白と判別し、積分する。
【００６２】
上記白判別範囲の設定方法は、予め白紙を自然界に存在する複数の色温度で撮影し、各色温度で上述の色評価値を求め、図３に示すように例えばＸ軸に（Ｙｅ−Ｃｙ）／Ｙ、Ｙ軸に（Ｍａ−Ｇ）／Ｙをとってプロットしたものを白判別範囲に設定する。
【００６３】
以下に、ホワイトバランス回路１０６の処理の流れを説明する。
【００６４】
（１）被写体の撮影条件および／または被写体条件から白判別範囲の修正をする。これは、実際の色温度と大幅に異なる白判別範囲内の信号を検出することを防ぎ、かつデイライトでの撮影時にフラッシュをＯＮにした場合の白判別精度を向上させるものである。
【００６５】
撮影条件及び／または被写体条件とは、明るさを示すＥＶ値，シャッタースピードＴＶ値，絞り値であるＦナンバー，被写体までの距離，フラッシュのＯＮ／ＯＦＦ情報，被写体への外光とフラッシュ光の影響度などである。
【００６６】
撮影時においてフラッシュがＯＦＦの時、ＥＶ値がある程度以上大きいならば、屋外で撮影したと憶測し、図４の（ａ）の右側部に示すように白判別範囲内の低色温度側のリミッタ（Ｘ軸値 Ｘ軸は色温度の変化方向）を高色温度側にシフトする（屋外光は多くの場合５０００Ｋ付近）。経験ではＥＶ値が１０以上の場合は屋外撮影の可能性が大きくなり、このことを利用して、リミッタはＥＶ値を入力として、次式（１−１）の線形演算により移動させる。
【００６７】
ｌｉｍｉｔ Ｌｏｗ Ｔｅｍｐ＝ａ１＊ＥＶ＋ｂ１ （１−１）
また、ＥＶ値がある程度大きい時は（約１３以上）、図４の（ａ）の左側部に示すように高色温度側のリミッタも下記の式（１−２）を用いて低温度側にシフトする（６０００Ｋ付近）。これは、空の淡い青を白と誤判別するのを防ぐためである。また、日陰の色温度は６０００Ｋを超える場合があるため、通常の場合は７０００Ｋ位のリミットにしておくのが好ましい。
【００６８】
ｌｉｍｉｔ Ｈｉｇｈ Ｔｅｍｐ ＝ａ２＊ＥＶ＋ｂ２ （１−２）
次に、フラッシュ撮影の場合、フラッシュ光の被写体に対する影響度が低くなるにつれて外光の影響が強くなるため、白判別範囲の面積を広げ、外光追従可能とする。そこで、フラッシュの被写体への影響度ｅｆｆｅｃｔＦｌａｓｈを、主被写体までの距離，ＥＶ値，フラッシュの発光量などから求め、それにより図４の（ｂ）に示すように下記の式（１−３）を用いて白判別範囲を変化させる。この式は上記の式１−１，１−２等と同様に一次方程式であり、この場合は入力を影響度、出力をリミッタ値とするものである。
【００６９】
ｌｉｍｉｔ Ｆｌａｓｈ Ｔｅｍｐ＝ａ３＊ｅｆｆｅｃｔＦｌａｓｈ ＋ｂ３ （１−３）
ここで、フラッシュの被写体への影響度は、ＵＳＰ５５６８１８７号明細書（ＯＫＩＮＯパテント）記載の手法等を用いて算出する。
【００７０】
また、絞りＦ値が開放でシャッタースピード値ＴＶがある程度長い時には、ほぼ屋内撮影と断定できるため、図４の（ｃ）に示すように高色温度側のリミッタを蛍光燈の色温度までシフトする。この場合のリミッタ設定も、入力がＴＶ値、出力がリミッタ値（Ｘ軸値）の次式の線形演算を行う
ｌｉｍｉｔ Ｔｖ Ｔｅｍｐ ＝ａ４＊ＴＶ＋ｂ４ （１−４）
【００７１】
次に、各色信号の利得を制御するための第１，第２の利得制御値をそれぞれ算出する。
【００７２】
第１の利得制御値は、上記（１）で定められた白判別範囲に含まれるようなサンプルポイントの信号に基づいて算出される。ここで、サンプルポイントとは、上述したが、Ｆｉｇ．１２に示すように、Ｍａ，Ｇ，Ｃｙ，Ｙｅの４画素を一組としたものである。
【００７３】
また、第２の利得制御値は、上記（１）で定められた白判別範囲に含まれるような小領域（サンプルエリア）の信号を平均化して得られた信号に基づいて算出される。ここで、小領域とは、１画面をｍ個の領域に分割した内の１つの領域を示し、小領域の信号とは、その小領域に存在するＭａ，Ｇ，Ｃｙ，Ｙｅを各画素ごとに平均化して得られた信号のことを示す。
【００７４】
初めに、第１の利得制御値の算出方法を示す。
【００７５】
（２）まず、Ｆｉｇ．１２に示すサンプルポイントが以下の式をすべて満たすかどうか調べる。
【００７６】
Ｄａｒｋ Ｔｈｒｅｓｈｏｌｄ＜（Ｍａ＋Ｇ ＋Ｃｙ＋Ｙｅ）／４
Ｂｒｉｇｈｔ Ｔｈｒｅｓｈｏｌｄ＞Ｍａ
Ｂｒｉｇｈｔ Ｔｈｒｅｓｈｏｌｄ＞Ｇ
Ｂｒｉｇｈｔ Ｔｈｒｅｓｈｏｌｄ＞Ｃｙ
Ｂｒｉｇｈｔ Ｔｈｒｅｓｈｏｌｄ＞Ｙｅ
【００７７】
（３）（２）の式のすべてを満たすサンプルポイントにおいて、下記の式に基づいて算出される色評価値ｗＸ，ｗＹを求める。
【００７８】
ｗＸ＝（Ｙｅ−Ｃｙ）／Ｙｌｏｗ（Ｉ）
ｗＹ＝（Ｍａ−Ｇ）／Ｙｌｏｗ（ＩＩ）
但し、Ｙｌｏｗ＝（Ｍａ＋Ｇ＋Ｃｙ＋Ｙｅ）
【００７９】
（４）（３）において各サンプルポイントにおいてそれぞれ求められた色評価値が（１）において定められた白判別範囲に含まれるか否かを判別する。色評価値が（１）において定められた白判別範囲に含まれる場合は、そのサンプルポイントの画素から出力される出力値を各色ごとに加算レジスタに加える。この処理を画面上の全てのサンプルポイントで行う。
【００８０】
ｒｅｇ１Ｍａ＝ｒｅｇ１Ｍａ＋Ｍａ
ｒｅｇ１Ｇ＝ｒｅｇ１Ｇ＋Ｇ
ｒｅｇ１Ｃｙ＝ｒｅｇ１Ｃｙ＋Ｃｙ
ｒｅｇ１Ｙｅ＝ｒｅｇ１Ｙｅ＋Ｙｅ
【００８１】
（５）全てのサンプルポイントにおいて、（４）の処理が終了した場合、（４）において白と判別したサンプルポイントの総数がＳＮ１に、白でないと判別されたサンプルポイントの総数がＳＮ２にそれぞれ後述の式へ代入される。
【００８２】
（６）第１の利得制御値を（４）の加算レジスタから以下のように求める。
【００８３】
ｇｍｇ１＝ａｖｅＲｅｇ１ ／ｒｅｇ１Ｍａ
（ａｖｅＲｅｇ１＝（ｒｅｇ１Ｍａ ＋ｒｅｇ１Ｇ ＋ｒｅｇ１Ｃｙ＋ｒｅｇ１Ｙｅ）／４）
ｇｇ１ ＝ａｖｅＲｅｇ１ ／ｒｅｇ１Ｇ
ｇｃｙ１＝ａｖｅＲｅｇ１ ／ｒｅｇ１Ｃｙ
ｇｙｅ１＝ａｖｅＲｅｇ１ ／ｒｅｇ１Ｙｅ
【００８４】
次に、第２の利得制御値の算出方法を示す。なお、第２の利得制御値の算出は、第１の利得制御値の算出と平行に行われる。
【００８５】
（７）まず、Ｆｉｇ．１２に示すように、１画面がｍ個の小領域に分割され、その分割された各領域（サンプルエリア）ごとにＭａ，Ｇ，Ｃｙ，Ｙｅの加算値を格納する加算レジスタの初期化を行う。
【００８６】
ｒｅｇ２Ｍａ〔ｍ〕
ｒｅｇ２Ｇ〔ｍ〕
ｒｅｇ２Ｃｙ〔ｍ〕
ｒｅｇ２Ｙｅ〔ｍ〕
【００８７】
（８）分割された各領域（サンプルエリア）内において、サンプルエリア内のサンプルポイントにおける画素の撮像素子出力値が以下の式をすべて満たすかどうか、すなわち、サンプルポイントがホワイトバランスデータとして計算できる明るさの範囲にあるかどうかそれぞれ調べる。
【００８８】
Ｄａｒｋ Ｔｈｒｅｓｈｏｌｄ＜（Ｍａ＋Ｇ ＋Ｃｙ＋Ｙｅ）／４
Ｂｒｉｇｈｔ Ｔｈｒｅｓｈｏｌｄ＞Ｍａ
Ｂｒｉｇｈｔ Ｔｈｒｅｓｈｏｌｄ＞Ｇ
Ｂｒｉｇｈｔ Ｔｈｒｅｓｈｏｌｄ＞Ｃｙ
Ｂｒｉｇｈｔ Ｔｈｒｅｓｈｏｌｄ＞Ｙｅ
【００８９】
各領域内において、これらの式を満たすサンプルポイントのみ、各色の加算レジスタにそれぞれ画素の撮像素子出力値を加えていく。
【００９０】
ｒｅｇ２Ｍａ〔ｍ〕＝ ｒｅｇ２Ｍａ〔ｍ〕＋Ｍａ
ｒｅｇ２Ｇ〔ｍ〕＝ ｒｅｇ２Ｇ〔ｍ〕＋Ｇ
ｒｅｇ２Ｃｙ〔ｍ〕＝ ｒｅｇ２Ｃｙ〔ｍ〕＋Ｃｙ
ｒｅｇ２Ｙｅ〔ｍ〕＝ ｒｅｇ２Ｙｅ〔ｍ〕＋Ｙｅ
【００９１】
（９） 各領域内において、（８）の処理によって得られた各色の加算レジスタの値は、各色の加算レジスタごとに平均化される。平均化して得られた値は、上記（Ｉ），（ＩＩ）に代入され、その領域（サンプルエリア）における色の評価値が求められる。このようにして得られた各領域の色評価値が（１）で定められた白判別範囲に含まれるかどうか判断する。そして、白判別範囲内に含まれると判断された領域の加算レジスタの値のみ、下記の領域平均レジスタに加える。
【００９２】
ｒｅｇ２Ｍａ＝ ｒｅｇ２Ｍａ＋ｒｅｇ２Ｍａ〔ｍ〕
ｒｅｇ２Ｇ＝ ｒｅｇ２Ｇ＋ｒｅｇ２Ｇ〔ｍ〕
ｒｅｇ２Ｃｙ＝ ｒｅｇ２Ｃｙ＋ｒｅｇ２Ｃｙ〔ｍ〕
ｒｅｇ２Ｙｅ＝ ｒｅｇ２Ｙｅ＋ｒｅｇ２Ｙｅ〔ｍ〕
【００９３】
（１０）第２の利得制御値を（９）において求められた領域平均レジスタの値に基づいて下記の式によって求める。
【００９４】
ｇｍｇ２＝ａｖｅＲｅｇ２ ／ｒｅｇ２Ｍａ
（ａｖｅＲｅｇ２＝（ｒｅｇ２Ｍａ ＋ｒｅｇ２Ｇ ＋ｒｅｇ２Ｃｙ＋ｒｅｇ２Ｙｅ）／４）
ｇｇ２ ＝ａｖｅＲｅｇ２ ／ｒｅｇ２Ｇ
ｇｃｙ２＝ａｖｅＲｅｇ２ ／ｒｅｇ２Ｃｙ
ｇｙｅ２＝ａｖｅＲｅｇ２ ／ｒｅｇ２Ｙｅ
【００９５】
なお、（９）において求められた各領域の色の評価値のいずれも（１）で定められた白判別範囲に含まれていない場合、各領域の色評価値のいずれか一つが（１）で定められた白判別範囲に含まれるまで画面の各分割領域（サンプルエリア）の面積を段階的に広げる。
【００９６】
（１１）（５）において得られたＳＮ１とＳＮ２の比率および（６）において得られた第１の利得制御値、（１０）において得られた第２の利得制御値より、ホワイトバランス調整データ（ｗｍｇ１，ｗｇ１，ｗｃｙ１，ｗｙｅ１）を作る。
【００９７】
例えば、以下のような処理を施す。
【００９８】
（ＳＮ１／（ＳＮ１ ＋ＳＮ２ ））≧αの場合、
第１の利得制御値をそのままホワイトバランス調整データとする
ｗｍｇ１＝ｇｍｇ１
ｗｇ１ ＝ｇｇ１
ｗｃｙ１＝ｇｃｙ１
ｗｙｅ１＝ｇｙｅ１
β＜（ＳＮ１／（ＳＮ１ ＋ＳＮ２ ））＜αの場合、
以下の条件式で、入力ＳＮ１，出力Ｐの１次関数を作成する。
【００９９】
（条件）
ＳＮ１＝α→Ｐ＝１
ＳＮ１＝β→Ｐ＝０ となる
（１次関数式）
ｐ＝ａ×ＳＮ１＋ｂ
【０１００】
【外１】

ｗｍｇ１＝ｐ ＊ｇｍｇ１＋（１−ｐ）＊ｇｍｇ２
ｗｃｙ１ ＝ｐ ＊ｇｃｙ ＋（１−ｐ）＊ｇｃｙ２
ｗｙｅ１ ＝ｐ ＊ｇｙｅ１ ＋（１−ｐ）＊ｇｙｅ２
（ＳＮ１／（ＳＮ１ ＋ＳＮ２ ））≦βの場合
ｗｍｇ１＝ｇｍｇ２
ｗｇ１ ＝ｇｇ２
ｗｃｙ１＝ｇｃｙ２
ｗｙｅ１＝ｇｙｅ２
（ただし、０＜β＜α＜１）
そして、これらの値をホワイトバランス調整データとして記憶する。
【０１０１】
以上のようにして、撮影条件と被写体条件により白判別範囲を変化させることにより、実際の色温度と大幅に異なる白判別範囲内の信号を検出することがなくなり、より正確なホワイトバランス信号を得ることが可能となる。
【０１０２】
また、（１）で定められた白判別範囲に入るサンプルポイントの数に応じて第１、第２の利得制御値を用いてホワイトバランス調整データを求める演算方法を変えているので、大きくホワイトバランスがくずれることがない。
【０１０３】
また、本実施例では図２に示すような補色センサーを用いる場合について説明したが、純色センサーの場合でも実施可能であり、その場合、例えば色評価値をＲ−Ｙ，Ｂ−Ｙで設定すれば良い。
【０１０４】
また、本実施例では、白判別領域の領域幅を自動で決定したが、図９に示すようにマニュアルで設定しても良い。例えば、白判別範囲を、太陽光の場合は図９の（ａ），蛍光燈の場合は図９の（ｂ），タングステン光の場合は図９の（ｃ），フラッシュ光の場合は図９の（ｄ）のように限定する。
【０１０５】
（第２の実施の形態）
第２の実施の形態におけるホワイトバランス処理は、上述の第１の実施例における白判別範囲を図５に示すように色温度別に定められた白判別領域に分割し、撮影条件と被写体条件により適切な白判別領域を選択し、その領域内に存在する色評価値を有するサンプルポイントおよび１画面をｍ個に分割して得られた領域に基づいてホワイトバランス制御する点を特徴としている。また、色温度別に補色純色変換マトリクスを備え、上記選択された白判別領域内の色評価値を平均化することにより色温度を算出し、複数のマトリクスの中から色温度に対応する上記マトリクスを選択する構成である。
【０１０６】
以下に、ホワイトバランスの処理の流れを説明するが、第２の利得制御値を求める手法は第１の実施例と同様であるため説明は省略する。
【０１０７】
（１）予め白判別範囲を図５に示すように約８０００Ｋから２０００Ｋまで、１０００Ｋ毎に６個の白判別領域に分割する。
【０１０８】
最適な色再現の画像を得るためには、被写体の色温度によって補色−純色変換用のマトリクスを変化させることは必須である。よって予め、最適な色再現を達成するために、照明光の色温度範囲内での必要な色変換マトリクス数を検討しておく。そして、個々のマトリクスで再生する色温度範囲に対応して白判別範囲を分割する。
【０１０９】
（２）第１の利得制御値を求めるために、図１２に示すサンプルポイントがホワイトバランスデータとして計算できる明るさがあるかどうかを調べる（第１の実施例と同じ）。
【０１１０】
（３）サンプルポイントにおいて、色評価値ｗＸ，ｗＹを求める。
【０１１１】
ｗＸ＝（Ｙｅ−Ｃｙ）／Ｙｌｏｗ （１）
ｗＹ＝（Ｍａ−Ｇ）／Ｙｌｏｗ （２）
但しＹｌｏｗ＝（Ｍａ＋Ｇ＋Ｃｙ＋Ｙｅ）／４
【０１１２】
（４）（３）における色評価値を、予め設定した白判別領域の中で該当する白判別領域の加算レジスタに加える。
【０１１３】
ｒｅｇ１Ｍａ〔Ｋ 〕＝ｒｅｇ１Ｍａ＋Ｍａ
ｒｅｇ１Ｇ 〔Ｋ 〕＝ｒｅｇ１Ｇ ＋Ｇ
ｒｅｇ１Ｃｙ〔Ｋ 〕＝ｒｅｇ１Ｃｙ＋Ｃｙ
ｒｅｇ１Ｙｅ〔Ｋ 〕＝ｒｅｇ１Ｙｅ＋Ｙｅ ０≦ｋ≦５
【０１１４】
（５）全てのサンプルポイントにおいて（４）の処理が終了したら、（４）において白と判別したサンプルの総数をＳＮ１に、白でないサンプルの総数をＳＮ２に代入する。
【０１１５】
（６）図５の６個の白判別領域の中から、被写体の撮影条件と被写体条件から適切な白判別領域を選択し、選択された白領域の加算レジスタから第１の利得制御値を求める。そして第１の実施の形態と同様に第１、第２の利得制御値に基づいてホワイトバランス調整データを作成し、ホワイトバランス補正する。
【０１１６】
第１の実施の形態と同様に、撮影条件及び被写体条件とは、明るさを示すＥＶ値，シャッタースピードＴＶ値，絞り値であるＦナンバー，被写体までの距離，フラッシュのＯＮ／ＯＦＦ情報，被写体への外光とフラッシュ光の影響度などである。
【０１１７】
撮影時においてフラッシュがＯＦＦの時、ＥＶ値がある程度以上大きいならば、屋外で撮影したと憶測し、第１の実施の形態と同様の白判別範囲に相当する白判別領域を限定する。限定の結果、白判別領域内に色評価値が存在するポイントの数が０になってしまったら白判別領域を１つ増やす。
【０１１８】
同時に、ＥＶ値がある程度大きい時は（約１３以上）、高色温度側の白判別領域は使用しない（６０００Ｋ付近）。これは、空の淡い青を白と誤判別するのを防ぐためである。
【０１１９】
また、ストロボ装置によるフラッシュＯＮの時には、フラッシュの被写体への影響度を、主被写体までの距離，ＥＶ値，フラッシュの発光量などから求め、その結果により白判別領域が選択される。第１の実施の形態と同様に、フラッシュ光の影響度が高い場合は白判別領域をフラッシュ光の色温度の白判別領域のみ用いる。また、フラッシュ光の影響度が低くなるにつれて白判別領域の選択範囲を広げていき、外光まで追従させる。
【０１２０】
また、絞りＦ値が開放でシャッタースピード値ＴＶがある程度長い時には、ほぼ屋内撮影と断定できるため第１の実施の形態と同様に高色温度側の白判別領域を徐々に使用しないようにする。
【０１２１】
（７）（６）において選択された白判別領域内の色評価価値の平均値により光源の色温度を算出し、その色温度に対応する色変換マトリクスを選択する。例えば、図５において光源の色温度が５１００Ｋと算出された場合は、この色温度に最も近い５０００Ｋの色温度に対応するマトリクス４を選択する。
【０１２２】
以上のようにして、白判別範囲を色温度別に複数の白判別領域に分割し、被写体の撮影条件と被写体条件により適切な白判別領域を選択するようにしているため、実際の色温度と大幅に異なるサンプルポイントを検出することがなくなり、より正確なホワイトバランス信号を得ることが可能となる。また、算出された光源の色温度選択に基づいて色変換マトリクスを選択することにより、例えば、光源の色温度が高い場合には赤色を強調するようなマトリクスを選択し、光源の色温度が低い場合には青色を強調するようなマトリクスを選択するため、その色温度において最適な色再現が実現できる。
【０１２３】
また、本実施の形態では図２に示すような補色センサーを用いる場合について説明したが、純色センサーの場合でも実施可能であり、その場合、例えば色評価値をＲ−Ｙ，Ｂ−Ｙで設定すれば良い。
【０１２４】
また第１の実施の形態と同様に、図５複数の白判別領域の選択をマニュアルで決定しても良い。
【０１２５】
（第３の実施の形態）
第３の実施の形態におけるホワイトバランス処理は、第１の実施の形態における白判別範囲を予め所定の色温度別の白判別領域に分割し、撮影条件と被写体条件により適切な白判別領域のそれぞれにおける加算レジスタの値を補正して重み付けを行う点が特徴である。また、第２の実施の形態と同様に、色温度別に補色純色変換マトリクスを備え、算出されたホワイトバランス係数より色温度値を抽出し、複数のマトリクスの中から色温度に対応するマトリクスを選択する手段を備えている。
【０１２６】
以下に、ホワイトバランスの処理の流れを説明するが、第２の利得制御値を求める手法は第１の実施の形態と同様であるため説明は省略する。
【０１２７】
（１）予め白判別範囲を図５に示すように、約８０００Ｋから２０００Ｋまで１０００Ｋ毎に６個の白判別領域に分割する。
【０１２８】
（２）第１の利得制御値を求めるために、サンプルポイントがホワイトバランスデータとして計算できる明るさがあるかどうかを調べる（第１の実施の形態と同じ）。
【０１２９】
（３）サンプルポイントにおいて、色評価値ｗＸ，ｗＹを求め、予め設定された６個の白判別領域のどれに当てはまるか判定する。
【０１３０】
ｗＸ＝（Ｙｅ−Ｃｙ）／Ｙｌｏｗ （１）
ｗＹ＝（Ｍａ−Ｇ）／Ｙｌｏｗ （２）
但しＹｌｏｗ＝（Ｍａ＋Ｇ＋Ｃｙ＋Ｙｅ）／４
【０１３１】
（４）（３）における色評価値を、予め設定された白判別領域の中で適切な領域の加算レジスタに加える。
【０１３２】
ｒｅｇ１Ｍａ〔Ｋ 〕＝ｒｅｇ１Ｍａ＋Ｍａ
ｒｅｇ１Ｇ 〔Ｋ 〕＝ｒｅｇ１Ｇ ＋Ｇ
ｒｅｇ１Ｃｙ〔Ｋ 〕＝ｒｅｇ１Ｃｙ＋Ｃｙ
ｒｅｇ１Ｙｅ〔Ｋ 〕＝ｒｅｇ１Ｙｅ＋Ｙｅ ０≦ｋ≦５
【０１３３】
（５）全てのサンプルポイントにおいて（４）の処理が終了したら、（４）において白判別領域に色評価値が存在すると判別されたサンプルポイントの総数をＳＮ１に、白判別領域に色評価値が存在しないと判別されたサンプルポイントの総数をＳＮ２に代入する。
【０１３４】
（６）上記６個の白判別領域において、撮影条件および／又は被写体条件から各白判別領域の加算レジスタへの補正ゲインを図６の（ａ）に示すような色温度−補正ゲイングラフより求め、ゲイン補正後の白判別領域の加算レジスタの平均値より第１の利得制御値を求める。そして第１の実施の形態と同様に第１、第２の利得制御値に基づいてホワイトバランス調整データを作成し、ホワイトバランス補正する。
【０１３５】
撮影時においてフラッシュがＯＦＦの時、ＥＶ値が例えば１３ならば、屋外で撮影したと憶測し、図６の（ａ）の右側部に示すような予め設定した色温度−補正ゲイングラフより、低色温度側の白判別領域の加算レジスタの値のゲインを下げる。例えばＥＶ＝１３のとき、２０００〜４０００Ｋ，７０００〜８０００Ｋの白判別領域のゲインは０であるので各加算レジスタの値が０となり４０００〜５０００Ｋの白判別領域の補正ゲインは０．２５であるのでその領域の加算レジスタの値に０．２５が掛けられる。そして、５０００Ｋ〜７０００Ｋの白判別領域の補正ゲインは１．０であるので各加算レジスタの値に１．０が掛けられる。そして、このようにそれぞれゲイン補正された加算レジスタの平均値より第１の利得制御値を求める。ここで作成したグラフは、入力を色温度、出力を補正ゲインとしたものを適当なＥＶ値分だけ用意する。本実施例の場合は、ＥＶ１３からＥＶ１０までの４本のグラフを用意している。
【０１３６】
同時に、図６の（ａ）の左側部のように高色温度側の白判別領域の加算レジスタの値も補正を行う。これは、空の淡い青を白と誤判別するのを防ぐためである。
【０１３７】
また、フラッシュＯＮの時には、フラッシュの被写体への影響度を、主被写体までの距離，ＥＶ値，フラッシュの発光量などから求め、それにより白判別領域のゲインを変化させる。図６の（ｂ）に示すように、フラッシュ光の影響度が高い場合は白判別領域の重みをフラッシュ光の色温度の周辺部のみとし、フラッシュ光の影響度が低くなるにつれて白判別領域の重み範囲を広げていき、外光まで追従させる。
【０１３８】
また、シャッタースピードによる重みも第１の実施の形態と同様に、シャッタースピードが遅ければ高色温度側の重みを減らすようにする。
【０１３９】
（７）（６）において各白領域の加算レジスタを補正し、補正後の各レジスタの平均値により（３）における式によって色評価値を算出し、算出された色評価値に対応する光源の色温度を図５のグラフから求め、それに対応する色変換マトリクスを第２の実施の形態と同様に選択する。
【０１４０】
以上のようにして、白判別範囲を色温度別に複数の白判別領域に分割し、被写体の撮影条件と被写体条件に応じて各白判別領域の加算レジスタに重み付けを施すようにしているため、より正確なホワイトバランス信号を得ることが可能となる。また、上述のように算出された光源の色温度に基づいてマトリクスを選択するため、その色温度において最適な色再現が実現できる。
【０１４１】
また、本実施の形態では図２に示すような補色センサーを用いる場合について説明したが、純色センサーの場合でも実施可能であり、その場合、例えば色評価値をＲ−Ｙ，Ｂ−Ｙで設定すれば良い。
【０１４２】
また第１の実施の形態と同様に、撮影時の照明条件をマニュアルで設定し、それに応じた重みを設定すれば、より効果的なホワイトバランスが可能となる。
【０１４３】
（第４の実施の形態）
図７は、本発明の第４の実施の形態の撮像装置が有する信号処理装置の構成を示すブロック図である。ここで、ホワイトバランス以降の処理は第１の実施の形態と同様であるので説明は省略する。本実施の形態は、撮像素子を加算読み出しした場合でも、非加算読み出し時のホワイトバランスブロックを使用できるように工夫したものである。
【０１４４】
撮像素子２０１からの出力信号は、プリプロセス回路２０２を経てＡ／Ｄ変換回路２０３によりデジタル信号となり、更にＯＢ回路２０４によって黒レベルが揃えられ、メモリ２０５に一旦記憶される。メモリ２０５から読み出された画像信号は、演算部２０６にて補色信号に復元され、ホワイトバランス回路２０７に送られて利得調整値が算出される。また画像信号は、ホワイトバランス回路２０７からの利得制御値によりホワイトバランスが調整されて出力される。
【０１４５】
上記演算部２０６の処理内容を説明すると、加算信号（Ｗｒ，Ｗｂ，Ｇｒ，Ｇｂ）は次式で表される。
【０１４６】
Ｗｒ＝Ｍａ＋Ｇ （４−１）
Ｗｂ＝Ｍａ＋Ｃｙ （４−２）
Ｇｂ＝Ｇ＋Ｃｙ （４−３）
Ｇｒ＝Ｇ＋Ｙｅ （４−４）
４−１，４−２式よりＧ−Ｃｙが得られ、４−３式よりＧ信号が得られるのは明瞭である。このようにして、Ｍａ，Ｇ，Ｃｙ，Ｙｅ信号を復元し、ホワイトバランス回路２０７の入力信号とする。そして、その出力を色分離色補間回路２０８に送る。
【０１４７】
このようにして、補色フィルタを備えた撮像素子２０１に対して非加算読み出しを行い、ホワイトバランス回路２０７の白判別範囲を例えば補色信号による利得制御値
（Ｍａ−Ｇ）／Ｙ
（Ｙｅ−Ｃｙ）／Ｙ
で設定した場合、上記撮像素子２０１を加算読み出した出力値（Ｗｒ，Ｗｂ，Ｇｒ，Ｇｂ）の演算により（Ｍａ，Ｇ，Ｃｙ，Ｙｅ）の信号に復元し、上記ホワイトバランス回路２０７の入力信号とすることで、加算読み出し，非加算読み出し時において、回路の共通化が可能となり、白判別範囲の設定値も一つで良くなる。
【０１４８】
（第５の実施の形態）
本発明の第５の実施の形態の撮像装置のホワイトバランス回路は第１〜第３の実施例の何れかを用いるが、ホワイトバランス装置の入力信号を撮像素子からの画像信号を色分離して帯域制限したものにした点が異なっている。
【０１４９】
画像に多くのエッジが含まれていると、▲１▼エッジ部におけるサンプルポイントの色評価値は白判別範囲の対象に入らず、ホワイトバランスを調整するためのサンプル数が減少してしまう、また▲２▼エッジ部を異なる色温度の白と誤判別するという影響があり、好ましくない。そこで、予め画像信号にローパスフィルタを施して帯域を制限し、エッジをなくしてからホワイトバランス装置に入力する。
【０１５０】
図８は本実施の形態の撮像装置が有する信号処理装置の構成を示すブロック図である。撮像素子３０１の出力信号は、プリプロセス回路３０２，Ａ／Ｄ変換回路３０３を通り、ＯＢ回路３０４により黒レベルが揃えられる。ＯＢ回路３０４の出力は一旦メモリ３０５に記憶され、色分離色補間回路３０６にて色分離と同時に水平及び垂直方向に軽いローパスフィルタがかけられる。
【０１５１】
色分離色補間回路３０６の出力は、ホワイトバランス回路３０７に送られる。そして、ホワイトバランス回路３０７から補正ゲインが返され、それにより各色の白レベルが合わせられると同時に、メモリ３０５から信号は輝度信号生成部に入力され、垂直ローパスフィルタ回路３１５の後に白レベルがゲイン補正回路３１６にて補正される。
【０１５２】
ホワイトバランス後の色処理部においては、マトリクス回路３０８でＲＧＢの信号に変換される。このＲＧＢ信号は、ガンマ補正回路３０９にてガンマ補正され、純色色差変換回路３１０によりＹ，Ｒ−Ｙ，Ｂ−Ｙの信号に変換される。その後、Ｃ＿ＳＵＰ回路３１１にて飽和領域の色消し処理が行われた色差信号は、垂直ローパスフィルタ回路３１２及び水平ローパスフィルタ回路３１３を通り、Ｙ補正回路３２０，色補正回路３１４に送られる。
【０１５３】
一方輝度処理部においては、水平ローパスフィルタ回路３１７で輝度段差除去された画像信号は、ＡＰＣ回路３１８によりエッジ強調が行われ、ガンマ補正回路３１９によってガンマ補正される。その後、Ｈ−ＬＰＦ回路３１３からの色差信号を用いてＹ補正回路３２０にて輝度信号の微妙な輝度調整が実施される。
【０１５４】
そして、色処理部からの色差信号と輝度処理部からの輝度信号は圧縮回路３２１でＪＰＥＧ画像などに圧縮が行われ、フラッシュメモリ等のメモリ３２２に記憶される。
【０１５５】
このような構成をとることで、画像のエッジ部などによるサンプル数の減少、色の誤判別を防ぐことが可能となる。
【０１５６】
（第６の実施の形態）
本発明の第６の実施の形態の信号処理装置に用いるホワイトバランス回路は、第１〜第５の実施の形態のホワイトバランス算出回路の何れかを用いるが、色変換に用いるマトリクスの求め方が異なる。本実施の形態では、図５に示すように、色温度の変化に対し予め数個のマトリクスを用意する。同図では、８０００Ｋから２０００Ｋまで１０００Ｋ刻みに７個のマトリクスを用意している。
【０１５７】
補色センサーを用いた撮像素子に対して非加算読み出しした場合、ホワイトバランス回路からの利得制御値（ｗｂＭａ，ｗｂＧ，ｗｂＣｙ，ｗｂＹｅ）が出力される。この値から、図５に対する色評価値のＸ軸値ｗＸを求める。
【０１５８】
ｗＸ＝（１／ｗｂＹｅ−１／ｗｂＣｙ） （６−１）
次に、ｗＸに対応する白判別領域を求め、その領域の色温度リミッタのマトリクス２つと、ｗＸとリミッタとの距離を用いて次式のような線形演算で新たなマトリクスを作成する。
【０１５９】
ｄｉｓ＝ｌｉｍＢ−ｌｉｍＡ
ｎｅｗＭＡＴ＝（（ｄｉｓ−（ｗＸ−ｌｉｍＡ））^＊ｍａｔＡ＋（ｄｉｓ（ｌｉｍＢ−ｗＸ））^＊ｍａｔＢ）／ｄｉｓ （６−２）
本実施の形態によれば、ホワイトバランス回路からの利得制御値を用いて色温度を表す色評価値を求め、その値から色変換マトリクスを線形演算で求めることを特徴としており、これにより、マトリクスを切り替えることによって生じる色再現の変化をなめらかにすることができる。
【０１６０】
【発明の効果】
以上説明したように、本発明によれば、設定した白判別範囲を撮影時の撮影条件と被写体条件により変化させて色温度を検出する構成としたため、輝度信号レベルに依存せず正確な検出が行え、実際の色温度と大幅に異なる白判別範囲内の信号を検出することがなくなり、より正確なホワイトバランス信号を得ることが可能となり、さらに、撮像素子から出力される色信号の読み出しにおいて、非加算読み出しを行った場合に、撮像素子の加算読み出し時の出力値を演算することによって加算読み出し時の出力値を復元してホワイトバランス回路の入力信号とする構成とすることにより、加算読み出しと非加算読み出しにおいて回路の共通化が可能となる。
【０１６１】
また、本発明によれば、予め色温度別に設定された複数の白判別領域に分割し、その複数の白判別領域毎に含まれる色評価値を有するサンプルポイントの蓄積電荷を色ごとに積分し、被写体の撮影条件と被写体条件により上記複数の白判別領域から適切な白判別領域を選択し、前記積分値を用いて利得制御値および色温度を求め、かつ、補色純色変換マトリクスを複数用意し、上記利得制御値と白判別範囲から色温度を求め、それに対応するマトリクスを選択する構成とすることにより、適切なホワイトバランス補正が可能となる。また、算出された色温度に基づいてマトリクスを選択するため、その色温度において最適な色再現が実現できる。
【０１６５】
また、本発明によれば、撮像素子の出力信号を各色毎に分割し、ローパスフィルタをかけてからホワイトバランス回路に入力する構成とすることにより、画像のエッジ部などによるサンプル数の減少、色の誤判別を防ぐことが可能となる。
【０１６６】
また、本発明によれば、ホワイトバランス回路からの利得制御値を用いて色温度を表す色評価値を求め、その値から色変換マトリクスを線形演算で求める構成とすることにより、マトリクスを切り替えることによって生じる色再現の変化をより一層なめらかにすることができる。
【０１６７】
上述した各実施の形態は、一例として、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって達成できる。
【０１６８】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は上述した各実施の形態を構成することになる。
【０１６９】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１７０】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１７１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。上述した各実施の形態を上記記憶媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、上述した各実施の形態のカメラ制御システムに不可欠なモジュールを、記憶媒体に格納することになる。
【図面の簡単な説明】
【図１】第１〜第３の実施の形態の撮像装置が有する信号処理装置の構成を示すブロック図
【図２】色フィルタ配列例を示す図
【図３】第１の実施の形態における白判別範囲を示す説明図
【図４】第１の実施の形態における白判別範囲のシフトを示す説明図
【図５】第２、第３の実施の形態における白判別範囲の色温度による分割を示す説明図
【図６】第３の実施の形態における色温度−補正ゲイングラフと白判別範囲の重み付けを示す説明図
【図７】第４の実施の形態の撮像装置が有する信号処理装置の構成を示すブロック図
【図８】第５の実施の形態の撮像装置が有する信号処理装置の構成を示すブロック図
【図９】白判別範囲を示す説明図
【図１０】従来の撮像装置の信号処理系の構成を示すブロック図
【図１１】従来の白判別範囲を示す図
【図１２】本発明の実施の形態における１画面分の画素の構成を示す概念図

Claims (12)

1. 複数種類の色フィルタを有する撮像素子と、
   前記撮像素子から出力される色信号の読み出しにおいて、加算読み出しと非加算読み出しとを選択する選択手段と、
   前記選択手段によって加算読み出しが選択された場合、非加算読み出しのときに出力される色信号に復元する復元手段と、
   前記撮像素子から出力される色信号を評価する色信号評価手段と、
   前記色信号評価手段によって評価された色信号が所定の評価範囲に含まれるか否かを判別する判別手段と、
   前記判別手段によって所定の評価範囲に含まれると判別された色信号に基づいてホワイトバランス調整するホワイトバランス調整手段と、
   前記判別手段の評価範囲を所定の条件に応じて変化させる変化手段とを備え、
   前記色信号評価手段は、前記選択手段によって加算読み出しが選択された場合、前記復元手段によって復元された色信号を評価することを特徴とする撮像装置。
2. 請求項１において、さらに、前記判別手段によって所定の評価範囲に含まれると判別された色信号に基づいて撮像光源の色温度を算出する色温度算出手段と、
   前記ホワイトバランス調整手段によって調整された色信号をマトリクスを用いて色変換するマトリクス変換手段とを備え、
   前記マトリクス変換手段は、複数の異なるマトリクスを有し、前記色温度算出手段によって算出された色温度に応じて前記複数のマトリクスの中から１つを選択し、その選択されたマトリクスを用いて色変換を行うことを特徴とする撮像装置。
3. 請求項２において、前記マトリクス変換手段は、Ｍａ，Ｇ，Ｃｙ，Ｙｅ信号からＲ，Ｇ，Ｂ信号に色変換することを特徴とする撮像装置。
4. 請求項１において、さらに、前記色信号評価手段の前段に設けられ、前記撮像素子から出力される色信号を帯域制限するローパスフィルタを備えることを特徴とする撮像装置。
5. 請求項１において、さらに、前記判別手段によって所定の評価範囲に含まれると判別された色信号に基づいて撮像光源の色温度を算出する色温度算出手段と、
   前記ホワイトバランス調整手段によって調整された色信号をマトリクスを用いて色変換するマトリクス変換手段と、
   前記色温度算出手段によって算出された色温度に基づいて前記マトリクス演算手段のマトリクスを作成する作成手段とを備えることを特徴とする撮像装置。
6. 請求項１において、前記変化手段は、光源の明るさ、被写体への外光とフラッシュ光との影響度、およびシャッタースピードの少なくともいずれか一つに応じて前記評価範囲を変化させることを特徴とする撮像装置。
7. 複数種類の色フィルタを有する撮像素子から出力される色信号を評価する色信号評価手段と、
   前記撮像素子から出力される色信号の読み出しにおいて、加算読み出しと非加算読み出しとを選択する選択手段と、
   前記選択手段によって加算読み出しが選択された場合、非加算読み出しのときに出力される色信号に復元する復元手段と、
   前記色信号評価手段によって評価された色信号が所定の評価範囲に含まれるか否かを判別する判別手段と、
   前記判別手段によって所定の評価範囲に含まれると判別された色信号に基づいてホワイトバランス調整するホワイトバランス調整手段と、
   前記判別手段の評価範囲を所定の条件に応じて変化させる変化手段とを備え、
   前記色信号評価手段は、前記選択手段によって加算読み出しが選択された場合、前記復元手段によって復元された色信号を評価する
   ことを特徴とする信号処理装置。
8. 請求項７において、さらに、前記判別手段によって所定の評価範囲に含まれると判別された色信号に基づいて撮像光源の色温度を算出する色温度算出手段と、
   前記ホワイトバランス調整手段によって調整された色信号をマトリクスを用いて色変換するマトリクス変換手段とを備え、
   前記マトリクス変換手段は、複数の異なるマトリクスを有し、前記色温度算出手段によって算出された色温度に応じて前記複数のマトリクスの中から１つを選択し、その選択されたマトリクスを用いて色変換を行うことを特徴とする信号処理装置。
9. 請求項８において、前記マトリクス変換手段は、Ｍａ，Ｇ，Ｃｙ，Ｙｅ信号からＲ，Ｇ，Ｂ信号に色変換することを特徴とする信号処理装置。
10. 請求項７において、さらに、前記色信号評価手段の前段に設けられ、前記撮像素子から出力される色信号を帯域制限するローパスフィルタを備えることを特徴とする信号処理装置。
11. 請求項７において、さらに、前記判別手段によって所定の評価範囲に含まれると判別された色信号に基づいて撮像光源の色温度を算出する色温度算出手段と、
    前記ホワイトバランス調整手段によって調整された色信号をマトリクスを用いて色変換するマトリクス変換手段と、
    前記色温度算出手段によって算出された色温度に基づいて前記マトリクス演算手段のマトリクスを作成する作成手段とを備えることを特徴とする信号処理装置。
12. 請求項７において、前記変化手段は、光源の明るさ、被写体への外光とフラッシュ光との影響度、およびシャッタースピードの少なくともいずれか一つに応じて前記評価範囲を変化させることを特徴とする信号処理装置。

Images