JP4482773B2

JP4482773B2 - デジタルカメラのノイズ低減方法、ノイズ低減装置およびノイズ低減処理制御プログラムを記録した媒体

Info

Publication number: JP4482773B2
Application number: JP32014399A
Authority: JP
Inventors: 直樹鍬田; 至宏中見
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 1999-11-10
Filing date: 1999-11-10
Publication date: 2010-06-16
Anticipated expiration: 2019-11-10
Also published as: JP2001144996A

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体の低彩度・暗部において広範囲にわたって生じる色むら、カラー補間時に生じる偽色などの、デジタルカメラの画質に大きな影響を及ぼすノイズを低減させるための方法、ノイズ低減装置およびノイズ低減処理制御プログラムを記録した媒体に関する。
【０００２】
【従来の技術】
コンピュータなどを用いて高品質の画像データを取り扱う画像処理装置として、ＣＣＤ等の撮像手段により光を電気信号に変換し、その電気信号をデジタルデータに変換してフラッシュメモリ等の記録媒体に記録するデジタルカメラが知られている。デジタルカメラを用いると、パーソナルコンピュータ等を用いて画像データの保存や様々な加工を個人で手軽に行えるほか、プリンタに画像データを出力することによりフィルムの現像をすることなく写真を印刷することができる。
【０００３】
【発明が解決しようとする課題】
しかし、従来のデジタルカメラにおいては、デジタルカメラの画質に大きな影響を及ぼす種々のノイズが生じる。例えば、低彩度領域に生じる色むら、カラー補間フィルタのアルゴリズムに起因して生じる偽色（主に、白画素との境界に生じる偽色）、暗部輝度ノイズなどがあげられる。これらのノイズは、非常に目立つため観察者の印象を非常に悪くする。これらのノイズのうち前記色むらおよび前記偽色に関しては、色差信号をぼかすことによって目立たなくすることができる。ところが、色むらおよび偽色はともに広範囲にわたって生じるため、平滑化フィルタ処理を行う場合、一般的に大きなサイズのフィルタを使用しなければならない。一方、フィルタサイズを大きくすると、色輪郭付近のにじみ、彩度低下といった新たな問題が生じる。色輪郭付近のにじみはメジアンフィルタを用いて低減され、彩度低下は平滑化の際の除算係数を小さくすることによって低減される。
【０００４】
しかしながら、メジアンフィルタを使用すると、中央値を求めるための並び替えに長時間を要しフィルタサイズが大きくなればなる程、指数関数的に増加して処理時間が激増してしまう。
【０００５】
本発明は、上記問題点を解決するためになされたもので、デジタルカメラのノイズを高速で低減させることのできる方法、ノイズ低減装置および当該ノイズ低減処理制御プログラムを記録している媒体を提供することを課題とする。
【０００６】
【課題を解決するための手段】
上記課題に鑑み、請求項１に記載の発明は、デジタルカメラの画像データ中のノイズを低減させるための方法であって、フィルタの画素エリアの中から参照画素を選択する参照画素選択工程を備え、当該参照画素選択工程によって選択された参照画素に対してメジアンフィルタを適用するように構成される。
【０００７】
以上のように構成されたデジタルカメラの画像データ中のノイズを低減させるための方法によれば、参照画素選択工程によってフィルタの画素エリアの中から参照画素が選択され、当該参照画素選択工程によって選択された参照画素に対してメジアンフィルタが適用される。
【０００８】
また、請求項２に記載の発明は、請求項１に記載のノイズ低減方法であって、参照画素選択工程において選択された参照画素の中に輪郭画素が存在するか否かを判定する輪郭画素判定工程をさらに備え、前記選択された参照画素の中に輪郭画素が存在する場合に、メジアンフィルタを適用するように構成される。
【０００９】
さらに、請求項３に記載の発明は、請求項２に記載のノイズ低減方法であって、注目画素と参照画素との色差が所定の閾値よりも大きい場合に、前記輪郭画素判定工程において、選択された参照画素の中に輪郭画素が存在すると判定するように構成される。
【００１０】
また、請求項４に記載の発明は、請求項２または３に記載のノイズ低減方法であって、前記選択された参照画素の中に輪郭画素が存在する場合に、平滑化フィルタを適用するように構成される。
【００１１】
さらに、請求項５に記載の発明は、請求項４に記載のノイズ低減方法であって、前記平滑化フィルタの除算係数によって彩度を調節することのできるように構成される。
【００１２】
また、請求項６に記載の発明は、請求項１乃至５のいづれか一項に記載のノイズ低減方法であって、注目画素からの距離が増加するに従って、平均参照画素数を増加させるように構成される。
【００１３】
さらに、請求項７に記載の発明は、請求項１乃至６のいづれか一項に記載のノイズ低減方法であって、ノイズ発生量の多い輝度領域において、フィルタ処理後、輝度値に応じて色差値を減少させるように構成される。
【００１４】
上記課題に鑑み、請求項８に記載の発明は、デジタルカメラの画像データ中のノイズを低減させるための装置であって、フィルタの画素エリアの中から参照画素を選択する参照画素選択手段を備え、当該参照画素選択手段によって選択された参照画素に対してメジアンフィルタを適用するように構成される。
【００１５】
以上のように構成されたデジタルカメラの画像データ中のノイズを低減させるための装置によれば、参照画素選択手段によって、フィルタの画素エリアの中から参照画素が選択され、当該参照画素選択手段によって選択された参照画素に対してメジアンフィルタが適用される。
【００１６】
上記課題に鑑み、請求項９に記載の発明は、デジタルカメラの画像データ中のノイズを低減させるための処理をコンピュータに実行させるためのプログラムを記録したコンピュータによって読取可能な記録媒体であって、フィルタの画素エリアの中から参照画素を選択する参照画素選択処理と、当該参照画素選択処理によって選択された参照画素に対してメジアンフィルタを適用するメジアンフィルタ適用処理と、をコンピュータに実行させるためのプログラムを記録してコンピュータによって読取可能に構成される。
【００１７】
以上のように構成されたコンピュータによって読取可能な記録媒体によれば、デジタルカメラの画像データ中のノイズを低減させるための処理をコンピュータに実行させるためのプログラムが記録されている。当該プログラムの実行により、参照画素選択処理によって、フィルタの画素エリアの中から参照画素が選択され、メジアンフィルタ適用処理によって、前記参照画素選択処理によって選択された参照画素に対してメジアンフィルタが適用される。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施の形態を説明する。
【００１９】
図１は、本発明の一実施の形態にかかるノイズ低減処理装置３０を構成するコンピュータの概略ブロック図である。
【００２０】
当該コンピュータは、ＣＰＵ３１のバス３２に対してＲＡＭ３３と、ＲＯＭ３４と、入力部３５と、ハードディスク３６と、Ｉ／Ｏ３７と、メディア読取装置３８とが接続されている。さらに、コンピュータ３０には、Ｉ／Ｏ３７を介してデジタルカメラ２０及びプリンタ、ディスプレイ等の出力装置４０が接続されている。また、ＲＯＭ３４には、演算プログラムや制御プログラムなどの基本プログラムが書き込まれており、ＣＰＵ３１はＲＡＭ３３をワークエリアとして使用しながら前記基本プログラムを実行する。ハードディスク３６は、主に撮像した画像データを蓄えるようなバッファとして使用したり、逐次更新されるプログラムなどを保存する。そして、ＣＰＵ３１が所望のプログラムを適宜ハードディスク３６から読み出して所望の処理を実行するように構成されている。さらに、ハードディスク３６には、実写画像データに対して最適なノイズ低減処理を施すためのプログラムが記録されている。なお、ハードディスク３６を使用しなくても、ハードディスクによる処理をすべてＲＡＭ３３上において行うこともできる。
【００２１】
この他、入力部３５は、キーボード、マウスなどで構成され、当該入力部によって各種データが入力される。そして、ＣＰＵ３１は、バス３２を介して当該入力部３５の操作状況を監視または表示可能にしている。
【００２２】
なお、上記実写画像データに対して最適なノイズ低減処理を施すための画像処理制御プログラムは、通常、コンピュータが読取可能な形態でフロッピーディスク、ＣＤ−ＲＯＭなどの記録媒体ＤＫに記録されて流通する。そして、当該ノイズ低減処理制御用プログラムは、メディア読取装置３８を用いて読み取ることによって前記ハードディスク３６にインストールされる。
【００２３】
図２に、本発明によるノイズ低減処理装置３０の機能ブロック図を示す。
【００２４】
図２に示すように、コンピュータによって構成されるノイズ低減処理装置３０は、ＲＧＢ画像データをＹＣＣ画像データに変換するための第１画像データ変換部３０ａと、画素エリア内に輪郭画素が存在するか否かを判定する輪郭画素判定部３０ｂと、当該輪郭画素判定部３０ｂの判定結果に基づき、フィルタを選択するフィルタ選択部３０ｃと、所望の画像処理を施す平滑化フィルタ３０ｄまたはメジアンフィルタ３０ｅと、当該フィルタ処理後に彩度値を補正する彩度補正部３０ｆと、当該彩度補正部３０ｆによって彩度補正が施されたＹＣＣ画像データをＲ'Ｇ'Ｂ'データに変換するための第２画像データ変換部３０ｇと、を備えて構成される。
【００２５】
次に、図３を参照して、本発明によるノイズ低減処理装置３０の動作を説明する。当該ノイズ低減処理装置３０は、第１画像データ変換部３０ａにおいて、デジタルカメラのＲＧＢ画像データをＹＣＣ画像データに変換する（ステップ４２）。すなわち、ＲＧＢ信号から輝度・色差信号への変換処理が行われる。当該変換は、以下の３式：
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ
Ｃｒ＝Ｒ−Ｙ
Ｃｂ＝Ｂ−Ｙ
によって行われる。
【００２６】
次に、本発明によるノイズ低減処理装置３０は、輪郭画素判定部３０ｂにおいて、注目画素を含むＮ×Ｎ個の画素エリアに輪郭画素が含まれているか否かを判定する（ステップ４４）。
【００２７】
図４に、当該一実施形態において使用する９×９画素フィルタを示す。以下で詳細に説明するメジアンフィルタ３０ｅを使用すると一般的に処理時間が増加してしまう。これは、メジアンフィルタにおいて使用される中央値を求めるための並べ替え処理に時間を要するからである。当該処理時間はフィルタサイズが大きくなればなる程、指数関数的に増加してしまい、９×９＝８１画素のソートを行うと実用的な処理速度を確保することが困難となる。そこで、当該実施の形態においては、９×９画素のフィルタを使用するが、計算対象として参照する画素は１ラインおきに５×５画素とする。このように参照画素を１ラインおきにすることによって、注目画素からの距離が増加するに従って平均参照画素数が増加するので、広範囲の画素を参照しつつ計算量を低減させることができ、ノイズ低減の効果を維持したまま、大幅な処理速度の短縮を図ることができる。
【００２８】
なお、図４において、Ａが注目画素であり、Ｂが参照画素である。また、画素フィルタの横軸をｉ軸とし、縦軸をｊ軸とする。
【００２９】
輪郭画素判定部３０ｂは、注目画素とエリア内の参照画素との色差が閾値ＴｈＥよりも大きい画素が１画素でも存在すれば輪郭画素を含むエリアと判定する（ステップ４４、Ｙｅｓ）。輪郭画素を含むエリアと判定される場合（ステップ４４、Ｙｅｓ）には、フィルタ選択部３０ｃによってメジアンフィルタ３０ｅが選択され、メジアンフィルタ３０ｅによる処理が行われる（ステップ４８）。一方、輪郭画素を含むエリアと判定されない場合（ステップ４４、Ｎｏ）には、フィルタ選択部３０ｃによって平滑化フィルタ３０ｄが選択され、平滑化フィルタ３０ｄによる処理が行われる（ステップ４６）。
【００３０】
図５に、ステップ４４における処理の一例を示す。図５（ａ）は、Ｃｒに対する輪郭画素判定処理であり、図５（ｂ）は、Ｃｂに対する輪郭画素判定処理である。図５（ａ）において、まず輪郭画素判定部３０ｂは、各参照画素Ｂと注目画素Ａとの色差
△Ｃｒ_ij＝|Ｃｒ_A−Ｃｒ_B|
を全てのｉ，ｊに対して計算する（ステップ５４）。全てのｉ，ｊに対して△Ｃｒ_ijを計算すると（ステップ５５、Ｙｅｓ）、次に輪郭画素判定部３０ｂは、参照画素２５個の中でＴｈＥよりも大きな△Ｃｒ_ijが一つでも存在するか否かを判定する（ステップ５６）。そして、ＴｈＥよりも大きな△Ｃｒ_ijが一つでも存在する場合（ステップ５６、Ｙｅｓ）、Ｃｒに対してメジアンフィルタ３０ｅによる処理が行われ（ステップ４８）、存在しない場合（ステップ５６、Ｎｏ）にはＣｒに対して平滑化フィルタによる処理が行われる（ステップ４６）。
【００３１】
図５（ｂ）において、輪郭画素判定部３０ｂは、各参照画素Ｂと注目画素Ａとの色差
△Ｃｂ_ij＝|Ｃｂ_A−Ｃｂ_B|
を全てのｉ,ｊに対して計算する（ステップ５７、５８）。全てのｉ,ｊに対して△Ｃｂ_ijを計算すると（ステップ５８、Ｙｅｓ）、次に輪郭画素判定部３０ｂは、参照画素２５個の中でＴｈＥよりも大きな△Ｃｂ_ijが一つでも存在するか否かを判定する（ステップ５９）。そして、ＴｈＥよりも大きな△Ｃｂ_ijが一つでも存在する場合（ステップ５９、Ｙｅｓ）にはＣｂに対してメジアンフィルタ３０ｅによる処理が行われ（ステップ４８）、存在しない場合（ステップ５８、Ｎｏ）にはＣｂに対して平滑化フィルタによる処理が行われる（ステップ４６）。
【００３２】
図６に、ステップ４４における処理の他の一例を示す。当該他の例では、上記色差の代わりに輝度差を用いて輪郭画素か否かの判定を行う。
【００３３】
輪郭画素判定部３０ｂは、各参照画素Ｂと注目画素Ａとの輝度差
△Ｙ_ij＝|Ｙ_A−Ｙ_B|
を全てのｉ,ｊに対して計算する（ステップ６０、６２）。全てのｉ,ｊに対して△Ｙ_ijを計算すると（ステップ６２、Ｙｅｓ）、次に輪郭画素判定部３０ｂは、参照画素２５個の中でＴｈＥよりも大きな△Ｙ_ijが一つでも存在するか否かを判定する（ステップ６４）。そして、ＴｈＥよりも大きな△Ｙ_ijが一つでも存在する場合（ステップ６４、Ｙｅｓ）にはＣｒおよびＣｂの双方に対してメジアンフィルタ３０ｅによる処理が行われ（ステップ４８）、存在しない場合（ステップ５８、Ｎｏ）にはＣｒおよびＣｂの双方に対して平滑化フィルタによる処理が行われる（ステップ４６）。
【００３４】
次に、平滑化フィルタ処理（ステップ４６）に関して説明する。
【００３５】
平滑化フィルタ処理においては、Ｎ×Ｎ点の参照画素の色差平均値を注目画素の色差値Ｃｒ’とする。具体的には、
【００３６】
【数１】

【００３７】
によって計算される。注目画素Ｃｂ’に関しても同様に計算される。
【００３８】
このように平滑化フィルタを使用すると彩度が低下する。彩度の低下は、フィルタサイズＮが大きくなるとさらに顕著になる。そこで、意図的に除算係数を小さくすることで彩度低下を防ぐことができる。当該実施の形態に係る９×９画素フィルタの場合、除算係数を画素数と等しい値（２５（５×５））とするのではなく、これよりも小さな値、例えば２４とする。このように、色差値平滑化の際の除算係数を小さくすることによって、処理時間を増大させることなく、彩度を強調させることができる。
【００３９】
次に、メジアンフィルタ処理（ステップ４８）に関して説明する。
Ｎ×Ｎ点の参照画素を並べ替え、中央値（メジアン）を注目画素の色差値Ｃｒ’およびＣｂ’とする。
【００４０】
ステップ４６における平滑化フィルタ処理および／またはステップ４８におけるメジアンフィルタ処理の後、彩度補正部３０ｆによる彩度補正処理がなされる（ステップ５０）。ステップ４６または４８によって得られた色差信号に対して輝度に応じた彩度補正係数をかける。
【００４１】
一般的に暗部においては定量的にノイズが多く存在して、所定の実験結果によれば、輝度値６４付近での色ノイズ発生量が大きいことがわかる。そこで、当該実施の形態では、輝度値６４を中心としてさらに色差値を低減させる。具体的には、３２＜Ｙ＜９６の範囲においては、輝度値Ｙに応じて色差値を、彩度補正前の値の少なくとも３／４まで減少させる。このため、
【００４２】
【数２】

【００４３】
とする。当該彩度補正処理は、単なる一例であり、デジタルカメラ毎に個別的に設定する必要がある。
【００４４】
最後に、本発明の一実施形態に係るノイズ低減処理装置３０は、第２画像データ変換部３０ｇにおいて、ＹＣＣ画像データをＲ'Ｇ'Ｂ'画像データに変換して（ステップ５２）、ノイズ低減処理を終了する。当該変換は、以下の３式：
Ｒ'＝Ｙ＋Ｃｒ"
Ｇ'＝Ｙ−（３０Ｃｒ"＋１１Ｃｂ"）／５９
Ｂ'＝Ｙ＋Ｃｂ"
によって行われる。
【００４５】
なお、デジタルカメラ内部において生データがＹＵＶで処理されている場合には、第１および第２の画像データ変換処理部３０ａおよび３０ｂが不要となる。同様に、ステップ４２および５２も不要となる。
【００４６】
図７に、マクベスチャートを用いた色ノイズ測定結果を示す。この結果より、本発明によるノイズ低減処理後においては、オリジナル画像と比較して、ノイズが４０〜７０パーセント減少することが明らかになる。
【００４７】
【発明の効果】
請求項１に記載のノイズ低減方法、請求項８に記載のノイズ低減装置、または請求項９に記載の記録媒体に記録されているプログラムの実行によれば、フィルタの画素エリアの中から参照画素が選択され、当該選択された参照画素に対してメジアンフィルタが適用されるので、画素エリア中の全ての画素に対してメジアンフィルタを適用した場合と比較して、大幅に処理時間を短縮することができる。
【００４８】
請求項５に記載のノイズ低減方法によれば、平滑化フィルタの除算係数によって彩度を調節することのできるので、意図的に除算係数を小さくすることで彩度低下を防ぐことができる。
【００４９】
請求項６に記載のノイズ低減方法によれば、注目画素からの距離が増加するに従って平均参照画素数を増加させるので、広範囲の画素を参照しつつ計算量を低減させることができ、ノイズ低減の効果を維持したまま、大幅な処理速度の短縮を図ることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態にかかるノイズ低減処理装置３０を構成するコンピュータの概略ブロック図である。
【図２】本発明によるノイズ低減処理装置３０の機能ブロック図である。
【図３】本発明によるノイズ低減処理装置３０の動作を説明するためのフローチャートである。
【図４】本発明の一実施形態において使用する９×９画素フィルタを示す図である。
【図５】ステップ４４における処理の一例を示すフローチャートであり、（ａ）はＣｒに対する輪郭画素判定処理であり、図５（ｂ）はＣｂに対する輪郭画素判定処理である。
【図６】ステップ４４における処理の他の例を示すフローチャートである。
【図７】マクベスチャートを用いた色ノイズ測定結果を示すグラフ図である。
【符号の説明】
２０デジタルカメラ
３０コンピュータ
３０ａ第１画像データ変換部
３０ｂ輪郭画素判定部
３０ｃフィルタ選択部
３０ｄ平滑化フィルタ
３０ｅメジアンフィルタ
３０ｆ彩度補正部
３０ｇ第２画像データ変換部
３１ＣＰＵ
３２バス
３３ＲＡＭ
３４ＲＯＭ
３５入力部
３６ハードディスク
３７Ｉ／Ｏ
３８メディア読取装置
４０出力装置

Claims

デジタルカメラの画像データ中のノイズを低減させるための方法であって、
フィルタの画素エリアの中から参照画素を選択する参照画素選択工程を備え、
前期参照画素選択工程において選択された参照画素の中に輪郭画素が存在するか否かを判定する輪郭画素判定工程をさらに備え、
前記選択された参照画素の中に輪郭画素が存在する場合に、当該参照画素選択工程によって選択された参照画素に対してメジアンフィルタを適用し、
前記選択された参照画素の中に輪郭画素が存在しない場合に、当該参照画素選択工程によって選択された参照画素に対して平滑化フィルタを適用し、
前記平滑化フィルタの除算係数によって彩度を調節し、
前記平滑化フィルタの除算係数は、前記平滑化フィルタの画素数よりも小さい値とするノイズ低減方法。
請求項１に記載のノイズ低減方法であって、
注目画素と参照画素との色差が所定の閾値よりも大きい場合に、前記輪郭画素判定工程において、選択された参照画素の中に輪郭画素が存在すると判定するノイズ低減方法。
請求項１に記載のノイズ低減方法であって、
前記平滑化フィルタのサイズが大きいほど、前記平滑化フィルタの画素数より小さくする割合を増やすノイズ低減方法。
請求項１乃至３のいづれか一項に記載のノイズ低減方法であって、
注目画素からの距離が増加するに従って、平均参照画素数を増加させるノイズ低減方法。
請求項１乃至４のいづれか一項に記載のノイズ低減方法であって、
ノイズ発生量の多い輝度領域において、フィルタ処理後、輝度値に応じて色差値を減少させるノイズ低減方法。
デジタルカメラの画像データ中のノイズを低減させるための装置であって、
フィルタの画素エリアの中から参照画素を選択する参照画素選択手段を備え、
前期参照画素選択手段において選択された参照画素の中に輪郭画素が存在するか否かを判定する輪郭画素判定手段をさらに備え、
前記選択された参照画素の中に輪郭画素が存在する場合に、当該参照画素選択手段によって選択された参照画素に対してメジアンフィルタを適用し、
前記選択された参照画素の中に輪郭画素が存在しない場合に、当該参照画素選択手段によって選択された参照画素に対して平滑化フィルタを適用し、
前記平滑化フィルタの除算係数によって彩度を調節し、
前記平滑化フィルタの除算係数は、前記平滑化フィルタの画素数よりも小さい値とするノイズ低減装置。
デジタルカメラの画像データ中のノイズを低減させるための処理をコンピュータに実行させるためのプログラムを記録したコンピュータによって読取可能な記録媒体であって、
フィルタの画素エリアの中から参照画素を選択する参照画素選択処理と、
前期参照画素選択処理において選択された参照画素の中に輪郭画素が存在するか否かを判定する輪郭画素判定処理をさらに備え、
前記選択された参照画素の中に輪郭画素が存在する場合に、当該参照画素選択処理によって選択された参照画素に対してメジアンフィルタを適用し、
前記選択された参照画素の中に輪郭画素が存在しない場合に、平滑化フィルタを適用し、
前記平滑化フィルタの除算係数によって彩度を調節し、
前記平滑化フィルタの除算係数は、前記平滑化フィルタの画素数よりも小さい値とする
コンピュータに実行させるためのプログラムを記録したコンピュータによって読取可能な記録媒体。