JP3902852B2

JP3902852B2 - Imaging apparatus, signal processing method, and computer-readable storage medium

Info

Publication number: JP3902852B2
Application number: JP35773897A
Authority: JP
Inventors: 栄一郎池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-12-25
Filing date: 1997-12-25
Publication date: 2007-04-11
Anticipated expiration: 2017-12-25
Also published as: JPH11191889A

Description

【０００１】
【発明の属する技術分野】
本発明は、色フィルタを有する撮像素子を用いた撮像装置、信号処理方法及びコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
図４は従来の単板方式のデジタルカメラのブロック図である。
被写体像（不図示）はレンズ１０１、ＯＰＬＦ（光学ローパスフィルタ）１０２を通過しＣＣＤ撮像素子１０３に投影される。シャッタ（不図示）が押されると、撮像素子１０３からＡ／Ｄ変換器１０４でデジタル化された画像信号はオプティカルブラック部１０５で黒レベルを調整した後、ホワイトバランス部１０７において白レベルの調整が行われる。次に色信号系においては、補間部１０８により各色信号の補間を行う。次に、色変換マトリクス部１０９により補色信号を色差信号に変換した後、色ローパスフィルタ部１１０で帯域が制限される。
【０００３】
輝度信号系においては、輝度ローパスフィルタ１１１で色フィルタによる輝度段差を除去し、アパーチャ補正部１１２において輪郭強調を行う。次に色系信号からの色差信号と輝度信号系からの輝度信号とからＲＢＧ信号作成部１１３でＲＧＢ信号を作成し、ガンマ補正部１１４でガンマ補正を行う。次に、ＪＰＥＧ部１１５において圧縮を行い、ＣＦなどの外部信号記録媒体（不図示）に記録する。
ここで、単板方式の場合、色信号を得るために撮像素子１０３の前に図５のような配列の色フィルタ１１６が貼り付けられている。
【０００４】
【発明が解決しようとする課題】
一般に、図５のような２×４配列の単板補色の色フィルタ１１６を有する撮像素子により、均一な照明で無彩色な被写体を撮影すると、マゼンタ１（Ｍａ１）とマゼンタ２（Ｍａ２）及びグリーン１（Ｇｒ１）とグリーン２（Ｇｒ２）の各色素子の出力値が、同色フィルタにも関わらず、最大で約２％程度値が異なって出力される。これは、撮像素子の色フィルタを作成する上で生じるもので、マゼンタ１は上下にシアン色に挟まれ、マゼンタ２は上下にイエロー色に挟まれていることによる。これはグリーン１とグリーン２にも同じことがいえる。
【０００５】
同色間で出力値が異なると、信号処理の結果、輝度信号に横シマが発生する。シミュレーションでは、同色間での出力値が１％以上異なると横シマが目に付き始め、１．５％以上になるとはっきりシマが発生し、画質劣化の大きな要因となる。
【０００６】
通常、輝度信号作成時には、色フィルタの感度差による輝度段差をなくすために、ローパスフィルタを水平垂直方向にかけるが、このローパスフィルタは各画素におけるＭａ、Ｇｒ、Ｃｙ、Ｙｅの比率を同じにするフィルタであり、上記理由により撮像素子上の同色画素の値が場所により異なると、Ｍａ、Ｇｒ、Ｃｙ、Ｙｅの比率がくずれるため、シマ発生を防ぐことができない。
また、同じ型番の撮像素子であっても、製造時期などが異なると、その出力にバラツキが生じ、その結果ホワイトバランス処理などに影響え与え、再生画像の色再現がばらついてしまう。
【０００７】
従って、本発明は、上述したようなシマの発生をなくすことを目的としている。
【０００８】
【課題を解決するための手段】
本発明に係る撮像装置は、色フィルタを有する撮像素子を用いた撮像装置において、上記撮像素子の任意の色素子の出力値と上記色素子と同色の他の色素子の出力値とを等価にする同色補正係数群を記憶する記憶手段と、輝度信号を作成する作成手段と、上記同色補正係数群から上記作成された輝度信号と対応する同色補正係数を用いて上記撮像素子の出力信号を補正する同色補正手段とを備える。
【０００９】
本発明に係る撮像装置の他の態様は、色フィルタを有する撮像素子を用いた撮像装置において、上記撮像素子の任意の色素子の出力値と上記色素子と同色の他の色素子の出力値とを等価にする同色補正係数群と、上記任意の色素子出力値を所定の基準撮像素子の上記色素子と同色の色素子出力値と等価にする第２の色フィルタ補正係数とを記憶する記憶手段と、輝度信号を作成する作成手段と、上記同色補正係数群から上記作成された輝度信号に対応する第１の色フィルタ補正係数を選択する選択手段と、上記第１の色フィルタ補正係数と上記第２の色フィルタ補正係数とを用いて上記撮像素子の出力信号を補正する色補正手段とを備える。
【００１０】
本発明に係るコンピュータ読み取り可能な記憶媒体は、輝度信号を作成する手順と、撮像素子の任意の色素子の出力値と上記色素子と同色の他の色素子の出力値とを等価にする同色補正係数群から上記作成された輝度信号と対応する同色補正係数を用いて上記撮像素子の出力信号を補正する同色補正手順とをコンピュータに実行させるためのプログラムを記憶している。
【００１１】
本発明に係るコンピュータ読み取り可能な記憶媒体の他の態様は、輝度信号を作成する手順と、上記撮像素子の任意の色素子の出力値と上記色素子と同色の他の色素子の出力値とを等価にする同色補正係数群から上記作成された輝度信号に対応する第１の色フィルタ補正係数を選択する選択手順と、上記第１の色フィルタ補正係数と上記任意の色素子出力値と所定の基準撮像素子の上色素子と同色の色素子出力値とを等価にする第２の色フィルタ補正係数を用いて撮像素子の出力信号を補正する手順とをコンピュータに実行させるためのプログラムを記憶している。
【００１２】
本発明に係る信号処理方法は、輝度信号を作成する輝度信号作成工程と、撮像素子の任意の色素子の出力値と上記色素子と同色の他の色素子の出力値とを等価にする同色補正係数群から上記作成された輝度信号と対応する同色補正係数を用いて上記撮像素子の出力信号を補正する同色補正工程とを有する。
【００１３】
本発明に係る信号処理方法の他の態様は、輝度信号を作成する輝度信号作成工程と、上記撮像素子の任意の色素子の出力値と上記色素子と同色の他の色素子の出力値とを等価にする同色補正係数群から上記作成された輝度信号に対応する第１の色フィルタ補正係数を選択する選択工程と、上記第１の色フィルタ補正係数と上記任意の色素子出力値と所定の基準撮像素子の上色素子と同色の色素子出力値とを等価にする第２の色フィルタ補正係数を用いて撮像素子の出力信号を補正する色補正工程とを有する。
【００２１】
【発明の実施の形態】
以下、本発明の第１〜第５の実施の形態を図面と共に説明する。
尚、各実施の形態を示す図１〜図３においては、図４及び互いに実質的に対応する部分には同一番号を付して重複する説明は省略する。
図１は、本発明の第１の実施の形態による撮像装置のブロック図である。
図１においては、オプティカルブラック部１０５とホワイトバランス部１０６との間に本発明による色フィルタゲイン補正部１０６を設けている。
【００２２】
次に動作について説明する。
オプティカルブラック部１０５の出力信号は、色フィルタゲイン補正部１０６において、同色間での色フィルタのばらつきを補正するための同色補正係数を用いて各色毎に補正される。補正後の撮像素子の各色素子の信号は通常の信号処理でＪＰＥＧ画像などの画像信号に変換される。この信号処理は図５の従来例と同じであるため説明を省略する。
【００２３】
以下、本発明の特徴である色フィルタゲイン補正部１０６における同色補正係数について説明を行う。
同色補正係数とは、色フィルタパターン内における全ての同じ色の出力値を等価にする係数である。例えば図５のような２×４配列の色フィルタ１１６を伴う撮像素子１０３の場合、Ｍａ１とＭａ２、Ｇｒ１とＧｒ２、Ｃｙ１とＣｙ２、Ｙｅ１とＹｅ２の出力を同じにするための係数である。無彩色等の濃度を有する被写体を均一な照明下で撮影した場合、マゼンタ１はシアン色に挟まれ、マゼンタ２はイエローに挟まれるため、マゼンタ１とマゼンタ２の撮像素子の色素子出力が等価でなくなり、またグリーン１はイエロー色、グリーン２はシアン色に挟まれるため、色素子出力が等価でなくなる。一方、シアンとイエローはそれぞれマゼンタとグリーンに挟まれるため、出力はほとんど等価となる。従って、この図４の色フィル配列の場合は、マゼンタとグリーンのみ補正を行う。
【００２４】
同色補正係数の求め方は、無彩色かつ均一な濃度の被写体を均一な照度かつ色温度の照明で撮影し、撮像素子１０３からの出力値（Ｍａ１、Ｍａ２、Ｇｒ１、Ｇｒ２）について、以下の計算式（１）に示すように、各色の平均値を求め、この平均値と各色との比により同色補正係数を求める。
ｋｓＭ１＝（Ｍａ１＋Ｍａ２）／２／Ｍａ１
ｋｓＭ２＝（Ｍａ１＋Ｍａ２）／２／Ｍａ２
ｋｓＧ１＝（Ｇｒ１＋Ｇｒ２）／２／Ｇｒ１
ｋｓＧ２＝（Ｇｒ１＋Ｇｒ２）／２／Ｇｒ２ ………（１）
【００２５】
次に、上記で求めた同色補正係数を用いて次式（２）より撮像素子の出力を補正して補正出力を得る。
ｏｕｔＭａ１＝ｉｎＭａ１＊ｋｓＭ１
ｏｕｔＭａ２＝ｉｎＭａ２＊ｋｓＭ２
ｏｕｔＧｒ１＝ｉｎＧｒ１＊ｋｓＧ１
ｏｕｔＧｒ２＝ｉｎＧｒ２＊ｋｓＧ２ ………（２）
【００２６】
本実施の形態によれば、色フィルタパターン内で同色フィルタからの出力値を等価なものにすることができ、これによって、輝度信号の横シマの発生を防ぐことができる。
【００２７】
図２は第２の実施の形態を示すもので、色フィルタゲイン補正部２０６を中心とした信号処理のブロック図である。第１の実施の形態と異なる点は、補正係数を画素の輝度値に応じて作成する点である。即ち、輝度信号作成部１１７と同色補正テーブル群１１８を設けることにより、輝度に応じて同色補正係数を抽出する構成をとっている。これは、撮像素子１０３の飽和が始まると、その出力が光量に対して線形でなくなるため補正係数の値が変わってくるからである。
【００２８】
図２を用いて信号処理の流れを説明する。オプティカルブラック部１０５の出力信号は輝度信号作成部１１７において、上下左右の４画素の平均による簡易的な輝度信号が作られる。メモリ保持されている同色補正デーブル群１１８の中から、上記輝度信号に対応する同色補正係数が選択され、色フィルタゲイン補正部２０６にその係数が送られる。
一方、オプティカルブラック部１０５からの撮像信号は、色フィルタゲイン補正部２０６に送られ、上記で求められた同色補正係数を用いて各色毎に補正される。補正後の信号は、ホワイトバランス部１０７に送られ、後の処理は図５の従来例と同じである。
【００２９】
次に、本実施の形態の色フィルタゲイン補正部２０６の動作について、図５の２×４色フィルタ１１６の場合を例にとって説明する。
▲１▼撮像素子１０３からの画像信号は、上下左右の４画素の加算平均して輝度信号Ｙを作成する。
Ｙ＝（Ｍ＋Ｇ＋Ｃ＋Ｙ）／４
【００３０】
▲２▼予め保持されている各色毎の同色補正デーブル群１１８の中から上記Ｙ信号に対応する補正値を選択し、
レジスタ群Ａ（ｋｓＭ１、ｋｓＭ２、ｋｓＧ１、ｋｓＧ２）
に代入する。
【００３１】
▲３▼上記色フィルタ補正係数で撮像素子から信号を補正する。
ｏｕｔＭａ１＝ｉｎＭａ１＊ｋｓＭ１
ｏｕｔＭａ２＝ｉｎＭａ２＊ｋｓＭ２
ｏｕｔＧｒ１＝ｉｎＧｒ１＊ｋｓＧ１
ｏｕｔＧｒ２＝ｉｎＧｒ２＊ｋｓＧ２
【００３２】
次に、同色補正デーブルの作成方法について説明する。
濃度が均一に変化するグレースケールを撮影したとき、例えばマゼンタ１とマゼンタ２の比が通常露光領域で（Ｍ１：ｍ２＝１．０２：０．９９）であったとすると、撮像素子１０３が飽和し始め、その比は１：１に近づく。これは、飽和が始まると撮像素子１０３の出力が光量に対して線形でなくなり、傾きが０に近づくことによる。
【００３３】
そこで、飽和開始ポイントから、輝度に対応してＭ１／Ｍ２が１に近づくようなテーブルを線形演算で作成する。通常領域でのマゼンタの補正係数が
Ｍ１＝１．０２
Ｍ２＝０．９９
であるとすると、以下のような演算でテーブルを作成する。

【００３４】
本実施の形態によれば、輝度で補正係数を切り替えているため、撮像素子の飽和領域における輝度信号の横シマの発生を防ぐことができる。
【００３５】
次に第３の実施の形態を説明する。
信号処理の構成は図１と同じであるが、第１の実施の形態における同色補正係数の代わりに、撮像素子間での色のバラツキをなくす色フィルタ補正係数（個体差吸収係数と呼ぶ）を用いた点が異なる。ここで、個体差吸収係数は、無彩色な均一な濃度の被写体を均一な色温度の照明下で撮影した場合の出力値が、どの撮像素子でも基準の撮像素子の出力と同じになるように色ゲイン補正する係数である。
【００３６】
基準の撮像素子からの出力値を、
ＣＣＤ１＿Ｍａ、ＣＣＤ１＿Ｇｒ、ＣＣＤ１＿Ｃｙ、ＣＣＤ１＿Ｙｅ
補正対象となる撮像素子の出力値を
ＣＣＤ２＿Ｍａ、ＣＣＤ２＿Ｇｒ、ＣＣＤ２＿Ｃｙ、ＣＣＤ２＿Ｙｅ
とすると、補正係数（ｋｉＭ、ｋｉＧ、ｋｉＣ、ｋｉＹ）は以下の式で求められる。
ｋｉＭ＝ＣＣＤ１＿Ｍａ／ＣＣＤ２＿Ｍａ
ｋｉＧ＝ＣＣＤ１＿Ｇｒ／ＣＣＤ２＿Ｇｒ
ｋｉＣ＝ＣＣＤ１＿Ｃｙ／ＣＣＤ２＿Ｃｙ
ｋｉＹ＝ＣＣＤ１＿Ｙｅ／ＣＣＤ２＿Ｙｅ
【００３７】
この係数を用いて撮像素子からの信号を補正することにより、異なる撮像素子間での色再現のバラツキを防ぐことができる。また、再生に用いるパラメータも統一できる。
【００３８】
次に第４の実施の形態を説明する。
信号処理の構成は図１と同じであるが、第１の実施の形態における同色補正係数の代わりに、第１の実施の形態で用いた同色補正係数と、第３の実施の形態で用いた個体差吸収係数とから新たな色フィルタ補正を算出し補正する点が異なる。
【００３９】
新たな補正係数は以下の式で作成される。
第１の実施の形態の同色補正係数（ｋｓＭ１、ｋｓＭ２、ｋｓＧ１、ｋｓＧ２）と第３の実施の形態の個体差吸収係数（ｋｉＭ、ｋｉＧ、ｋｉＣ、ｋｉＹ）とから、新たな補正係数（ｋＭ１、ｋＭ２、ｋＧ１、ｋＧ２、ｋＣ１、ｋＣ２、ｋＹ１、ｋＹ２）は、
ｋＭ１＝ｋｓＭ１＊ｋｉＭ
ｋＭ２＝ｋｓＭ２＊ｋｉＭ
ｋＧ１＝ｋｓＧ１＊ｋｉＧ
ｋＧ２＝ｋｓＧ２＊ｋｉＧ
ｋＣ１＝ｋｉＣ
ｋＣ２＝ｋｉＣ
ｋＹ１＝ｋｉＹ
ｋＹ２＝ｋｉｙ
で作成される。
【００４０】
この係数を用いて撮像素子からの信号を補正することにより、同色間でのばらつきによる横シマの発生を防ぐと同時に、異なる撮像素子間での色再現のばらつきを防ぐことができる。また、再生に用いるパラメータも統一できる。
【００４１】
図３は第５の実施の形態による色フィルタゲイン補正部３０６を中心とした信号処理のブロック図である。第２の実施の形態と異なる点は、輝度より選択された同色補正係数と基準の撮像素子の出力の色フィルタ特性に合わせる個体差吸収係数とを掛け合わせて新たな色補正係数を作成し、撮像素子の出力信号を補正する点である。
【００４２】
図３を用いて信号処理の流れを説明すると、オプティカルブラック部１０５の出力信号は輝度信号作成部１１７において、上下左右の４画素の平均による簡易的な輝度信号が作られる。次に、メモリに記録されている同色補正デーブル群１１９の中から上記輝度信号に対応する同色補正係数が選択され、補正ゲイン算出部１２０で個体差吸収係数と同色補正係数とを掛け合わせて新たな色補正係数を作成する。そして色フィルタゲイン補正部３０６にその係数を送り込む。
【００４３】
一方、オプティカルブラック部１０５からの撮像信号は、色フィルタゲイン補正部３０６に送られ、上記で求められた色補正係数を用いて各色毎に補正される。補正後の信号は、ホワイトバランス部１０７に送られ、後の処理は図５の従来例と同じである。
【００４４】
以下に、本実施の形態の色フィルタゲイン調整部の動作を、図５のような２×４色フィルタ１１６の場合を例にとって説明する。
▲１▼撮像素子１０３からの画像信号は上下左右の４画素の加算平均して輝度信号Ｙを作成する。
Ｙ＝（Ｍ＋Ｇ＋Ｃ＋Ｙ）／４
【００４５】
▲２▼予め保持されている各色毎の同色補正デーブル群１１９の中から上記Ｙ信号に対応する補正値を選択し、
レジスタ群Ａ（ｋｓＭ１、ｋｓＭ２、ｋｓＧ１、ｋｓＧ２）
に代入する。
【００４６】
▲３▼予め保持されている撮像素子個体差吸収係数を、
レジスタ群Ｂ（ｋｉＭ、ｋｉＧ、ｋｉＣ、ｋｉＹ）
に代入する。
【００４７】
▲４▼レジスタ群Ａとレジスタ群Ｂを掛け合わせ色フィルタ補正係数を
レジスタ群Ｃ（ｋＭ１、ｋＭ２、ｋＧ１、ｋＧ２、ｋＣ１、ｋＣ２、ｋＹ１、ｋＹ２）
に代入する。
ｋＭ１＝ｋｓＭ１＊ｋｉＭ
ｋＭ２＝ｋｓＭ２＊ｋｉＭ
ｋＧ１＝ｋｓＧ１＊ｋｉＧ
ｋＧ２＝ｋｓＧ２＊ｋｉＧ
ｋＣ１＝ｋｉＣ
ｋＣ２＝ｋｉＣ
ｋＹ１＝ｋｉＹ
ｋＹ２＝ｋｉＹ
【００４８】
▲５▼上記色フィルタ補正係数により撮像素子からの信号を補正する。
ｏｕｔＭａ１＝ｉｎＭａ１＊ｋＭ１
ｏｕｔＭａ２＝ｉｎＭａ２＊ｋＭ２
ｏｕｔＧｒ１＝ｉｎＧｒ１＊ｋＧ１
ｏｕｔＧｒ２＝ｉｎＧｒ２＊ｋＧ２
ｏｕｔＣｙ１＝ｉｎＣｙ１＊ｋＣ１
ｏｕｔＣｙ２＝ｉｎＣｙ２＊ｋＣ２
ｏｕｔＹｅ１＝ｉｎＹｅ１＊ｋＹ１
ｏｕｔＹｅ２＝ｉｎＹｅ２＊ｋＹ２
【００４９】
本実施の形態によれば、単板補色の撮像素子を用いた撮像装置において、再生画像の横シマ発生を防ぐことができる。また、同一撮像素子を用いた異なる撮像装置間での色再現を同じにできる。
【００５０】
尚、図１〜３の各機能ブロックによるシステムは、ハード的に構成してもよく、また、ＣＰＵやメモリ等から成るマイクロコンピュータシステムに構成してもよい。マイクロコンピュータシステムに構成する場合、上記メモリは本発明による記憶媒体を構成する。この記憶媒体には、前述した処理を実行するためのプログラムが記録される。またこの記録媒体としてはＲＯＭ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロィピディスク、磁気テープ、不揮発性のメモリカード等として用いてよい。
【００５１】
【発明の効果】
本発明によれば、色フィルタを備えた撮像素子からの任意の色素子の出力値と上記色素子と同色の他の色素子の出力値とを等価にする同色補正係数群を記憶すると共に、例えば補正すべき着目画素の周辺から輝度信号を作成し、上記同色補正係数群から上記輝度信号に対応する同色補正係数を選択し、上記同色補正係数を用いて撮像素子の出力信号を補正するため、撮像素子の飽和領域を画像信号として用いた場合でも、輝度信号の横シマの発生を防ぐことができる。
【００５２】
また、色フィルタを備えた撮像素子からの任意の色素子の出力値と上記色素子と同色の他の色素子の出力値とを等価にする同色補正係数と、撮像素子の任意の色素子出力値と予め決定した基準撮像素子の上記色素子と同色の色素子の出力値とを等価にする色フィルタ補正係数を用いて撮像素子の出力信号を補正するため、再生画像の横シマの発生を防ぐことができると共に、再生画像の色再現ばらつきをなくすことができる。
【００５３】
さらに、上記同色補正係数群から輝度信号に対応する第１の色フィルタ補正係数を選択するように成し、また撮像素子の任意の色素子出力値と予め決定した基準撮像素子の上記色素子と同色の色素子出力値とを等価にする第２の色フィルタ補正係数を備え、上記第１、第２の色フィルタ補正係数を用いて撮像素子の出力信号を補正するため、撮像素子の飽和領域を用いても横シマの発生しない、かつ再生画像の色再現ばらつきをなくすことができる。
【００５４】
また、色フィルタを備えた撮像素子からの任意の色素子の出力値と上記色素子と同色の他の色素子の出力値とを等価にする同色補正係数と、撮像素子の任意の色素子出力値と予め決定した基準撮像素子の上記色素子と同色の色素子の出力値とを等価にする色フィルタ補正係数を用いて撮像素子の出力信号を補正するため、再生画像の横シマの発生を防ぐことができると共に、再生画像の色再現ばらつきをなくすことができる。
【００５５】
さらに上記同色補正係数群から輝度信号に対応する第１の色フィルタ補正係数を選択するように成し、また撮像素子の任意の色素子出力値と予め決定した基準撮像素子の上記色素子と同色の色素子出力値とを等価にする第２の色フィルタ補正係数を備え、上記第１、第２の色フィルタ補正係数を用いて撮像素子の出力信号を補正するため、撮像素子の飽和領域を用いても横シマの発生しない、かつ再生画像の色再現ばらつきをなくすことができる。
【図面の簡単な説明】
【図１】本発明の第１、第３、第４の実施の形態による撮像装置の信号処理を示すブロック図である。
【図２】第２の実施の形態による撮像装置の信号処理を示すブロック図である。
【図３】第５の実施の形態による撮像装置の信号処理を示すブロック図である。
【図４】従来の撮像装置の信号処理を示すブロック図である。
【図５】色フィルタ配列の一例を示す構成図である。
【符号の説明】
１０３撮像素子
１０６、２０６、３０６色フィルタゲイン補正部
１１６色フィルタ
１１７輝度信号作成部
１１８、１１９同色補正テーブル群
１２０補正ゲイン算出部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging device using an imaging device having a color filter, a signal processing method, and a computer-readable storage medium.
[0002]
[Prior art]
FIG. 4 is a block diagram of a conventional single-plate digital camera.
A subject image (not shown) passes through the lens 101 and OPLF (optical low-pass filter) 102 and is projected onto the CCD image sensor 103. When a shutter (not shown) is pressed, the black level of the image signal digitized by the A / D converter 104 from the image sensor 103 is adjusted by the optical black unit 105, and then the white level is adjusted by the white balance unit 107. Done. Next, in the color signal system, the interpolation unit 108 interpolates each color signal. Next, after the complementary color signal is converted into a color difference signal by the color conversion matrix unit 109, the band is limited by the color low-pass filter unit 110.
[0003]
In the luminance signal system, a luminance step due to the color filter is removed by the luminance low-pass filter 111, and contour enhancement is performed by the aperture correction unit 112. Next, an RGB signal is created by the RBG signal creation unit 113 from the color difference signal from the color system signal and the brightness signal from the brightness signal system, and the gamma correction unit 114 performs gamma correction. Next, compression is performed in the JPEG unit 115 and recording is performed on an external signal recording medium (not shown) such as a CF.
Here, in the case of the single plate method, a color filter 116 having an arrangement as shown in FIG. 5 is attached in front of the image sensor 103 in order to obtain a color signal.
[0004]
[Problems to be solved by the invention]
In general, when an achromatic object is photographed with uniform illumination by an image sensor having a 2 × 4 single-plate complementary color filter 116 as shown in FIG. 5, magenta 1 (Ma1), magenta 2 (Ma2), and green The output value of each color element of 1 (Gr1) and green 2 (Gr2) is output with a difference of about 2% at the maximum regardless of the same color filter. This occurs when creating the color filter of the image sensor, and is because magenta 1 is sandwiched vertically between cyan and magenta 2 is sandwiched vertically between yellow. The same is true for Green 1 and Green 2.
[0005]
If the output values are different between the same colors, horizontal stripes occur in the luminance signal as a result of signal processing. In the simulation, when the output value between the same colors differs by 1% or more, horizontal stripes start to be noticeable, and when the output value exceeds 1.5%, the clear stripes are clearly generated, which is a major factor in image quality deterioration.
[0006]
Normally, when creating a luminance signal, a low-pass filter is applied in the horizontal and vertical directions in order to eliminate a luminance step due to the sensitivity difference of the color filter. This low-pass filter makes the ratios of Ma, Gr, Cy, and Ye equal in each pixel. If the value of the same color pixel on the image sensor varies depending on the location for the above reason, the ratio of Ma, Gr, Cy, and Ye will be lost, and it will not be possible to prevent the occurrence of stripes.
In addition, even if the image pickup devices have the same model number, if the manufacturing time is different, the output varies, resulting in an influence on the white balance processing and the like, and the color reproduction of the reproduced image varies.
[0007]
Accordingly, an object of the present invention is to eliminate the occurrence of the above-mentioned stripes.
[0008]
[Means for Solving the Problems]
An image pickup apparatus according to the present invention is an image pickup apparatus using an image pickup element having a color filter, wherein an output value of an arbitrary color element of the image pickup element is equivalent to an output value of another color element of the same color as the color element. A storage unit for storing the same color correction coefficient group to be generated; a generation unit for generating a luminance signal; and correcting the output signal of the image sensor using the same color correction coefficient corresponding to the luminance signal generated from the same color correction coefficient group Same color correcting means.
[0009]
Another aspect of the imaging apparatus according to the present invention is an imaging apparatus using an imaging element having a color filter, wherein an output value of an arbitrary color element of the imaging element and an output value of another color element of the same color as the color element And a second color filter correction coefficient that makes the arbitrary color element output value equivalent to a color element output value of the same color as the color element of a predetermined reference image sensor. Storage means; creation means for creating a luminance signal; selection means for selecting a first color filter correction coefficient corresponding to the created brightness signal from the same color correction coefficient group; and the first color filter correction coefficient. And a color correction means for correcting the output signal of the image sensor using the second color filter correction coefficient.
[0010]
The computer-readable storage medium according to the present invention has the same color that makes the procedure of creating a luminance signal equivalent to the output value of an arbitrary color element of the image sensor and the output value of another color element of the same color as the color element. A program for causing a computer to execute the same color correction procedure for correcting the output signal of the image sensor using the same color correction coefficient corresponding to the luminance signal created from the correction coefficient group is stored.
[0011]
Another aspect of the computer-readable storage medium according to the present invention includes a procedure for creating a luminance signal, an output value of an arbitrary color element of the image sensor, and an output value of another color element of the same color as the color element. A selection procedure for selecting the first color filter correction coefficient corresponding to the created luminance signal from the same color correction coefficient group that equalizes the above, the first color filter correction coefficient, the arbitrary color element output value, and a predetermined value A program for causing a computer to execute a procedure for correcting an output signal of an image sensor using a second color filter correction coefficient that equalizes an output value of the same color as an upper color element of the reference image sensor is doing.
[0012]
The signal processing method according to the present invention includes a luminance signal generation step of generating a luminance signal, the same color that makes an output value of an arbitrary color element of the image sensor equivalent to an output value of another color element of the same color as the color element. And a same color correction step of correcting the output signal of the image sensor using the same color correction coefficient corresponding to the luminance signal created from the correction coefficient group.
[0013]
Another aspect of the signal processing method according to the present invention includes a luminance signal generation step of generating a luminance signal, an output value of an arbitrary color element of the image sensor, and an output value of another color element of the same color as the color element. A selection step of selecting a first color filter correction coefficient corresponding to the created luminance signal from the same color correction coefficient group equivalent to each other, a first color filter correction coefficient, the arbitrary color element output value, and a predetermined value And a color correction step of correcting the output signal of the image sensor using a second color filter correction coefficient that equalizes the color element output value of the same color as the upper color element of the reference image sensor.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, first to fifth embodiments of the present invention will be described with reference to the drawings.
In FIG. 1 to FIG. 3 showing the respective embodiments, the same reference numerals are given to FIG. 4 and portions substantially corresponding to each other, and redundant description is omitted.
FIG. 1 is a block diagram of an imaging apparatus according to the first embodiment of the present invention.
In FIG. 1, a color filter gain correction unit 106 according to the present invention is provided between an optical black unit 105 and a white balance unit 106.
[0022]
Next, the operation will be described.
The output signal of the optical black unit 105 is corrected for each color by the color filter gain correction unit 106 using the same color correction coefficient for correcting variations in color filters between the same colors. The signal of each color element of the image sensor after correction is converted into an image signal such as a JPEG image by normal signal processing. Since this signal processing is the same as the conventional example of FIG.
[0023]
Hereinafter, the same color correction coefficient in the color filter gain correction unit 106 which is a feature of the present invention will be described.
The same color correction coefficient is a coefficient that equalizes all output values of the same color in the color filter pattern. For example, in the case of the image sensor 103 with the 2 × 4 array of color filters 116 as shown in FIG. 5, the coefficients are used to make the outputs Ma1 and Ma2, Gr1 and Gr2, Cy1 and Cy2, and Ye1 and Ye2 the same. When a subject having a density such as an achromatic color is photographed under uniform illumination, magenta 1 is sandwiched between cyan and magenta 2 is sandwiched between yellow, so that the color element outputs of the magenta 1 and magenta 2 image sensors are equivalent. In addition, since green 1 is sandwiched between yellow and green 2 is sandwiched between cyan, the color element output is not equivalent. On the other hand, since cyan and yellow are sandwiched between magenta and green, respectively, the outputs are almost equivalent. Therefore, in the case of the color fill array shown in FIG. 4, only magenta and green are corrected.
[0024]
The method for obtaining the same color correction coefficient is to shoot a subject with an achromatic color and uniform density with illumination of uniform illuminance and color temperature, and calculate the following values for output values (Ma1, Ma2, Gr1, Gr2) from the image sensor 103: As shown in Expression (1), an average value of each color is obtained, and the same color correction coefficient is obtained by a ratio between the average value and each color.
ksM1 = (Ma1 + Ma2) / 2 / Ma1
ksM2 = (Ma1 + Ma2) / 2 / Ma2
ksG1 = (Gr1 + Gr2) / 2 / Gr1
ksG2 = (Gr1 + Gr2) / 2 / Gr2 (1)
[0025]
Next, using the same color correction coefficient obtained above, the output of the image sensor is corrected by the following equation (2) to obtain a corrected output.
outMa1 = inMa1 * ksM1
outMa2 = inMa2 * ksM2
outGr1 = inGr1 * ksG1
outGr2 = inGr2 * ksG2 (2)
[0026]
According to the present embodiment, the output value from the same color filter can be made equivalent in the color filter pattern, thereby preventing the occurrence of horizontal stripes in the luminance signal.
[0027]
FIG. 2 shows a second embodiment, and is a block diagram of signal processing centered on the color filter gain correction unit 206. The difference from the first embodiment is that the correction coefficient is created according to the luminance value of the pixel. That is, the same color correction coefficient is extracted according to the luminance by providing the luminance signal creation unit 117 and the same color correction table group 118. This is because when the image sensor 103 starts to be saturated, the output is not linear with respect to the amount of light, and the value of the correction coefficient changes.
[0028]
The flow of signal processing will be described with reference to FIG. The output signal of the optical black unit 105 is generated by a luminance signal generation unit 117 as a simple luminance signal by averaging four pixels in the vertical and horizontal directions. The same color correction coefficient corresponding to the luminance signal is selected from the same color correction table group 118 held in the memory, and the coefficient is sent to the color filter gain correction unit 206.
On the other hand, the image pickup signal from the optical black unit 105 is sent to the color filter gain correction unit 206 and is corrected for each color using the same color correction coefficient obtained above. The corrected signal is sent to the white balance unit 107, and the subsequent processing is the same as the conventional example of FIG.
[0029]
Next, the operation of the color filter gain correction unit 206 of the present embodiment will be described taking the case of the 2 × 4 color filter 116 of FIG. 5 as an example.
{Circle around (1)} The luminance signal Y is generated by averaging the image signal from the image sensor 103 by adding up, down, left and right four pixels.
Y = (M + G + C + Y) / 4
[0030]
(2) Select a correction value corresponding to the Y signal from the same color correction table group 118 for each color held in advance,
Register group A (ksM1, ksM2, ksG1, ksG2)
Assign to.
[0031]
(3) A signal is corrected from the image sensor with the color filter correction coefficient.
outMa1 = inMa1 * ksM1
outMa2 = inMa2 * ksM2
outGr1 = inGr1 * ksG1
outGr2 = inGr2 * ksG2
[0032]
Next, a method for creating the same color correction table will be described.
When a gray scale whose density changes uniformly is imaged, for example, if the ratio of magenta 1 to magenta 2 is the normal exposure area (M1: m2 = 1.02: 0.99), the image sensor 103 is saturated. At first, the ratio approaches 1: 1. This is because when the saturation starts, the output of the image sensor 103 is not linear with respect to the amount of light, and the inclination approaches zero.
[0033]
Therefore, a table is prepared by linear calculation so that M1 / M2 approaches 1 corresponding to the luminance from the saturation start point. The magenta correction coefficient in the normal region is M1 = 1.02
M2 = 0.99
If so, a table is created by the following calculation.

[0034]
According to the present embodiment, since the correction coefficient is switched according to the luminance, it is possible to prevent the occurrence of the horizontal stripe of the luminance signal in the saturation region of the image sensor.
[0035]
Next, a third embodiment will be described.
The configuration of the signal processing is the same as in FIG. 1, but instead of the same color correction coefficient in the first embodiment, a color filter correction coefficient (referred to as an individual difference absorption coefficient) that eliminates color variation between image sensors. The point used is different. Here, the individual difference absorption coefficient is set so that the output value when an object of uniform density of achromatic color is photographed under illumination of uniform color temperature is the same as the output of the reference image sensor for any image sensor. This is a coefficient for color gain correction.
[0036]
The output value from the reference image sensor
CCD1_Ma, CCD1_Gr, CCD1_Cy, CCD1_Ye
The output values of the image sensor to be corrected are CCD2_Ma, CCD2_Gr, CCD2_Cy, and CCD2_Ye.
Then, the correction coefficient (kiM, kiG, kiC, kiY) is obtained by the following equation.
kiM = CCD1_Ma / CCD2_Ma
kiG = CCD1_Gr / CCD2_Gr
kiC = CCD1_Cy / CCD2_Cy
kiY = CCD1_Ye / CCD2_Ye
[0037]
By correcting the signal from the image sensor using this coefficient, it is possible to prevent variations in color reproduction between different image sensors. Also, the parameters used for playback can be unified.
[0038]
Next, a fourth embodiment will be described.
The signal processing configuration is the same as in FIG. 1, but instead of the same color correction coefficient in the first embodiment, the same color correction coefficient used in the first embodiment and the same color correction coefficient used in the third embodiment are used. The difference is that a new color filter correction is calculated and corrected from the individual difference absorption coefficient.
[0039]
A new correction coefficient is created by the following equation.
From the same color correction coefficients (ksM1, ksM2, ksG1, ksG2) of the first embodiment and the individual difference absorption coefficients (kiM, kiG, kiC, kiY) of the third embodiment, new correction coefficients (kM1, kM2, kG1, kG2, kC1, kC2, kY1, kY2) are
kM1 = ksM1 * kiM
kM2 = ksM2 * kiM
kG1 = ksG1 * kiG
kG2 = ksG2 * kiG
kC1 = kiC
kC2 = kiC
kY1 = kiY
kY2 = kiy
Created with.
[0040]
By correcting the signal from the image sensor using this coefficient, it is possible to prevent the occurrence of lateral stripes due to the variation between the same colors and at the same time prevent the color reproduction variations between different image sensors. Also, the parameters used for playback can be unified.
[0041]
FIG. 3 is a block diagram of signal processing centered on the color filter gain correction unit 306 according to the fifth embodiment. The difference from the second embodiment is that a new color correction coefficient is created by multiplying the same color correction coefficient selected from the luminance and the individual difference absorption coefficient matching the color filter characteristic of the output of the reference image sensor, This is to correct the output signal of the image sensor.
[0042]
The flow of signal processing will be described with reference to FIG. 3. The luminance signal generation unit 117 generates a simple luminance signal based on the average of the upper, lower, left, and right four pixels from the output signal of the optical black unit 105. Next, the same color correction coefficient corresponding to the luminance signal is selected from the same color correction table group 119 recorded in the memory, and the correction gain calculation unit 120 multiplies the individual difference absorption coefficient and the same color correction coefficient to newly create a new one. Create correct color correction coefficients. Then, the coefficient is sent to the color filter gain correction unit 306.
[0043]
On the other hand, the imaging signal from the optical black unit 105 is sent to the color filter gain correction unit 306, and is corrected for each color using the color correction coefficient obtained above. The corrected signal is sent to the white balance unit 107, and the subsequent processing is the same as the conventional example of FIG.
[0044]
Hereinafter, the operation of the color filter gain adjustment unit of the present embodiment will be described by taking the case of the 2 × 4 color filter 116 as shown in FIG. 5 as an example.
{Circle around (1)} The luminance signal Y is generated by averaging the image signal from the image sensor 103 by adding up, down, left and right four pixels.
Y = (M + G + C + Y) / 4
[0045]
(2) Select a correction value corresponding to the Y signal from the same color correction table group 119 for each color held in advance,
Register group A (ksM1, ksM2, ksG1, ksG2)
Assign to.
[0046]
(3) The image sensor individual difference absorption coefficient held in advance is
Register group B (kiM, kiG, kiC, kiY)
Assign to.
[0047]
(4) The color filter correction coefficient is multiplied by register group A and register group B to obtain a color filter correction coefficient as register group C (kM1, kM2, kG1, kG2, kC1, kC2, kY1, kY2).
Assign to.
kM1 = ksM1 * kiM
kM2 = ksM2 * kiM
kG1 = ksG1 * kiG
kG2 = ksG2 * kiG
kC1 = kiC
kC2 = kiC
kY1 = kiY
kY2 = kiY
[0048]
(5) The signal from the image sensor is corrected by the color filter correction coefficient.
outMa1 = inMa1 * kM1
outMa2 = inMa2 * kM2
outGr1 = inGr1 * kG1
outGr2 = inGr2 * kG2
outCy1 = inCy1 * kC1
outCy2 = inCy2 * kC2
outYe1 = inYe1 * kY1
outYe2 = inYe2 * kY2
[0049]
According to the present embodiment, it is possible to prevent occurrence of horizontal stripes in a reproduced image in an imaging apparatus using a single-plate complementary color imaging device. In addition, color reproduction can be made the same between different imaging devices using the same imaging device.
[0050]
1 to 3 may be configured as hardware, or may be configured as a microcomputer system including a CPU, a memory, and the like. When configured in a microcomputer system, the memory constitutes a storage medium according to the present invention. The storage medium stores a program for executing the above-described processing. As the recording medium, a semiconductor memory such as ROM or RAM, an optical disk, a magneto-optical disk, a magnetic medium, or the like may be used. These may be used as a CD-ROM, floppy disk, magnetic tape, nonvolatile memory card, or the like.
[0051]
【The invention's effect】
According to the present invention, the same color correction coefficient group that equalizes the output value of an arbitrary color element from an image sensor provided with a color filter and the output value of another color element of the same color as the color element is stored, For example, in order to create a luminance signal from the periphery of the target pixel to be corrected, select the same color correction coefficient corresponding to the luminance signal from the same color correction coefficient group, and correct the output signal of the image sensor using the same color correction coefficient Even when the saturation region of the image sensor is used as an image signal, it is possible to prevent occurrence of horizontal stripes in the luminance signal.
[0052]
Also, the same color correction coefficient that makes the output value of an arbitrary color element from an image sensor provided with a color filter equivalent to the output value of another color element of the same color as the color element, and the arbitrary color element output of the image sensor Since the output signal of the image sensor is corrected using a color filter correction coefficient that equalizes the value and the output value of the color element of the same color as the above-described color element of the reference image sensor determined in advance, horizontal stripes in the reproduced image are generated. In addition to preventing this, it is possible to eliminate variations in color reproduction of reproduced images.
[0053]
Further, a first color filter correction coefficient corresponding to a luminance signal is selected from the same color correction coefficient group, and an arbitrary color element output value of the image sensor and a predetermined color element of the reference image sensor Since the second color filter correction coefficient that equalizes the color element output value of the same color is provided, and the output signal of the image sensor is corrected using the first and second color filter correction coefficients, the saturation region of the image sensor Even when using, horizontal stripes do not occur, and color reproduction variations in the reproduced image can be eliminated.
[0054]
Also, the same color correction coefficient that makes the output value of an arbitrary color element from an image sensor provided with a color filter equivalent to the output value of another color element of the same color as the color element, and the arbitrary color element output of the image sensor Since the output signal of the image sensor is corrected using a color filter correction coefficient that equalizes the value and the output value of the color element of the same color as the above-described color element of the reference image sensor determined in advance, horizontal stripes in the reproduced image are generated. In addition to preventing this, it is possible to eliminate variations in color reproduction of reproduced images.
[0055]
Further, a first color filter correction coefficient corresponding to the luminance signal is selected from the same color correction coefficient group, and an arbitrary color element output value of the image sensor is the same as that of the color element of the reference image sensor determined in advance. A second color filter correction coefficient that is equivalent to the color element output value, and the output signal of the image sensor is corrected using the first and second color filter correction coefficients. Even if it is used, horizontal stripes do not occur, and color reproduction variations in the reproduced image can be eliminated.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating signal processing of an imaging apparatus according to first, third, and fourth embodiments of the present invention.
FIG. 2 is a block diagram illustrating signal processing of the imaging apparatus according to the second embodiment.
FIG. 3 is a block diagram illustrating signal processing of an imaging apparatus according to a fifth embodiment.
FIG. 4 is a block diagram illustrating signal processing of a conventional imaging device.
FIG. 5 is a configuration diagram illustrating an example of a color filter array.
[Explanation of symbols]
103

Image sensor

106, 206, 306 Color filter gain correction unit 116 Color filter 117 Luminance

signal creation unit

118, 119 Same color correction table group 120 Correction gain calculation unit

Claims

In an imaging device using an imaging device having a color filter,
Storage means for storing the same color correction coefficient group that equalizes the output value of an arbitrary color element of the image sensor and the output value of another color element of the same color as the color element;
Creating means for creating a luminance signal;
An image pickup apparatus comprising: same color correction means for correcting an output signal of the image pickup device using the same color correction coefficient corresponding to the luminance signal created from the same color correction coefficient group.

Second storage means for storing a color filter correction coefficient that equalizes an output value of an arbitrary color element of the image sensor and an output value of a color element of the same color as that of the predetermined reference image sensor;
The image pickup apparatus according to claim 1, wherein the color correction unit corrects an output signal of the image pickup device using the color filter correction coefficient and the same color correction coefficient.

In an imaging device using an imaging device having a color filter,
The same color correction coefficient group that equalizes the output value of an arbitrary color element of the image sensor and the output value of another color element of the same color as the color element, and the arbitrary color element output value of the predetermined reference image sensor Storage means for storing a second color filter correction coefficient equivalent to a color element output value of the same color as the color element;
Creating means for creating a luminance signal;
Selecting means for selecting a first color filter correction coefficient corresponding to the created luminance signal from the same color correction coefficient group;
An image pickup apparatus comprising: a color correction unit that corrects an output signal of the image pickup device using the first color filter correction coefficient and the second color filter correction coefficient.

A calculation means for calculating a third color filter correction coefficient from the first and second color filter correction coefficients;
The image pickup apparatus according to claim 3, wherein the color correction unit corrects an output signal of the image pickup device using the third color filter correction coefficient.

The same color correction coefficient group includes a first same color correction coefficient at a first luminance level of the image sensor, a second same color correction coefficient at a second luminance level of the image sensor, and the first same color correction coefficient. 5. The imaging apparatus according to claim 1, wherein the imaging device includes a plurality of same color correction coefficients created by calculation from the second same color correction coefficient.

6. The image pickup apparatus according to claim 1, wherein the same color correcting unit does not correct a signal brighter than a certain luminance signal level.

The imaging apparatus according to claim 1, wherein the creating unit creates a luminance signal from pixels around the target pixel.

A procedure to create a luminance signal;
Using the same color correction coefficient corresponding to the luminance signal created from the same color correction coefficient group that equalizes the output value of an arbitrary color element of the image sensor and the output value of another color element of the same color as the color element A computer-readable storage medium storing a program for causing a computer to execute the same color correction procedure for correcting an output signal of an image sensor.

A procedure to create a luminance signal;
The first color filter correction corresponding to the luminance signal created from the same color correction coefficient group that makes the output value of an arbitrary color element of the image sensor equivalent to the output value of another color element of the same color as the color element A selection procedure for selecting the coefficients,
An image sensor using a second color filter correction coefficient that equalizes the first color filter correction coefficient, the arbitrary color element output value, and the color element output value of the same color as the upper color element of the predetermined reference image sensor. A computer-readable storage medium storing a program for causing a computer to execute a procedure for correcting the output signal of the computer.

Calculation procedure for calculating a third color filter correction coefficient from the second color filter correction coefficient that equalizes the arbitrary color element output value and the color element output value of the same color as the upper color element of the predetermined reference imaging element When,
The computer-readable storage medium according to claim 9, wherein a program for causing a computer to execute a procedure for correcting an output signal of an image sensor using the third color filter correction coefficient is stored.

A luminance signal creating step for creating a luminance signal;
Using the same color correction coefficient corresponding to the luminance signal created from the same color correction coefficient group that equalizes the output value of an arbitrary color element of the image sensor and the output value of another color element of the same color as the color element And a same color correction step of correcting an output signal of the image sensor.

A luminance signal creating step for creating a luminance signal;
The first color filter correction corresponding to the luminance signal created from the same color correction coefficient group that makes the output value of an arbitrary color element of the image sensor equivalent to the output value of another color element of the same color as the color element A selection process for selecting coefficients,
An image sensor using a second color filter correction coefficient that equalizes the first color filter correction coefficient, the arbitrary color element output value, and the color element output value of the same color as the upper color element of the predetermined reference image sensor. And a color correction step of correcting the output signal.