JP6891014B2 - 画像処理装置および画像処理方法、並びにプログラム - Google Patents
画像処理装置および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP6891014B2 JP6891014B2 JP2017055933A JP2017055933A JP6891014B2 JP 6891014 B2 JP6891014 B2 JP 6891014B2 JP 2017055933 A JP2017055933 A JP 2017055933A JP 2017055933 A JP2017055933 A JP 2017055933A JP 6891014 B2 JP6891014 B2 JP 6891014B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- color
- interest
- pixel
- noise reduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
を備え、前記合成手段は、画像データを拡大する拡大処理手段と、前記注目する画像データの注目画素の色差信号と、その一つ下の階層の画像データであって前記拡大処理手段により当該注目する画像データと同じ解像度に拡大された画像データの注目画素の色差信号との色の類似性を判定する色類似性判定手段と、前記注目する画像データとその一つ下の階層の画像データとを合成する際に、前記色ノイズ低減度が所定の閾値より小さく、かつ、前記色類似性判定手段で色が類似すると判定された場合に優先的に前記一つ下の階層の画像データを使用すると判定し、優先的に前記一つ下の階層の画像データを使用すると判定した場合に、当該一つ下の階層の画像データの重みを大きくするように前記合成比率を変更する優先使用判定手段と、前記注目する画像データの画素値と、その一つ下の階層の画像データであって前記拡大処理手段により前記注目する画像データと同じ解像度に拡大された画像データの画素値とを、前記合成比率に基づいて合成する画素値合成手段と、
を有する、ことを特徴とする。
図2(a)は、画像処理装置100のノイズ低減処理に係る論理構成の一例を示すブロック図である。画像処理装置100は、信号分配部201、色ノイズ低減処理部202、輝度ノイズ低減処理部203、信号変換処理部204とで構成される。
続いて、色ノイズ低減処理部202について詳しく説明する。図2(b)は、本実施例に係る、色ノイズ低減処理部202の内部構成を示すブロック図である。図2(b)に示すように、色ノイズ低減処理部202は、縮小処理部210、補正部220、合成比率導出部230、色ノイズ低減度算出部240、及び拡大合成処理部250で構成される。そして、図3は、図2(b)で示す論理構成によって実現される処理全体の流れを示したシーケンス図である。以下、図2(b)及び図3を参照しつつ、色ノイズ低減処理部202の各部について説明する。
縮小処理部210は、入力された画像データに対し解像度を低減する処理(図3における縮小処理302a〜302d)を行なって、縮小画像データを生成する。図3に示す例
では、入力画像の解像度をそれぞれ、1/2倍にする縮小処理302a、1/4倍にする縮小処理302b、1/8倍にする縮小処理302c、1/16倍にする縮小処理302dを行なって、解像度の異なる4種類の縮小画像データを生成する。縮小画像データの種類はこの例に限るものではなく、1/8倍で留めてもよいし、さらに1/32倍まで縮小してもよい。一般に画像データを縮小する際、ローパスフィルタ処理を行わないと折り返し雑音が発生してしまい、その折り返し雑音のパターンが、最終的に出力される画像データに現れてしまう。したがって、縮小処理を行う際には、例えば平均画素法やその他のローパスフィルタ処理を含んだアルゴリズムを用いるか、事前にローパスフィルタ処理を行った上でバイリニア法などを適用する。ローパスフィルタ処理に用いるフィルタは、縮小倍率に基づいて決定され、例えば、縮小倍率が1/2のときには、図4に示すようなフィルタが用いられる。なお、フィルタの大きさや係数は図4に示すフィルタに限られるものではない。以下では、入力画像データと当該入力画像データから生成された複数の縮小画像データとをまとめて「多重解像度画像データ」と呼ぶこととする。縮小処理によって生成された縮小画像データは、後述の補正処理で用いるためにRAM102に記憶される。
補正部220は、上述の多重解像度画像データに対し、予め設定された補正パラメータに基づいて、色ノイズが低減するように注目画素の色信号を補正する処理(図3における補正処理303a〜303e)を行なう。ここで、補正パラメータとは、注目画素についての所定の参照領域と、平均化するか否かを判定するための各閾値とを意味する。これらは、ノイズ量に応じて適切な値に変更することが望ましい。したがって、例えば撮影感度に応じて予め決めておいたり、注目画素とその周辺画素の情報に基づいて適応的に決定する。補正処理では、入力カラー画像データの注目画素の色信号(ここではRGB信号)の値が、例えば以下の式(1)〜式(3)を用いて色成分毎に補正される。
合成比率導出部230は、補正処理によって色ノイズが低減された多重解像度画像データに含まれる各画像データに対し、下位階層画像データとの合成比率を導出する処理(図3における合成比率導出処理304a〜304d)を行なう。ただし、図3のシーケンス図から明らかなように、最下位階層の画像データ(本実施例では1/16倍に縮小処理された縮小画像データ)は、自己よりも下位の画像データが存在しないため本処理の対象外である。ここで、合成比率は色信号の急峻な変化の度合いに応じて決定される。本実施例の場合、注目画素のRGB信号を入力としてエッジ検出することで合成比率を導出可能である。具体的には、例えばフィルタ係数[−1,2,−1]を有する空間フィルタを用い、水平方向と垂直方向にフィルタを適用した結果のうち、色エッジの度合いが高いと考えられる方を、予め定めた関数によって0〜1の間の係数Kにマッピングする。色エッジの度合いが高いと考えられるフィルタ適用結果ほど1に近い値の係数Kが、色エッジの度合いが低いと考えられるフィルタ適用結果ほど0に近い値の係数Kが出力される。そして、この係数Kが合成比率となる。
色ノイズ低減度算出部240は、補正部220で処理された多重解像度画像データのうち、最下位階層を除く各画像データに対し、色ノイズ低減度を画素毎に算出する処理(図3における色ノイズ低減度算出処理305a〜305d)を行なう。色ノイズ低減度は、補正処理(平滑化処理)で実際に参照された画素の数を、当該補正処理時の参照領域を構成する全画素数で除して得られた比率であり、以下の式(8)を用いて画素毎に求められる。この場合において、平滑化処理で実際に参照された画素とは、前述の式(4)の条件を満たす画素であり、以下「実参照画素」と呼ぶこととする。
拡大合成処理部250は、補正部220で処理された多重解像度画像データのうち解像度が異なる2種類の画像データを、合成比率導出部230で導出された合成比率と色ノイズ低減度算出部240で導出された色ノイズ低減度とに基づいて、合成する処理を行う。拡大合成処理部250は、さらに、拡大処理部251、優先使用判定部252、及び画素値合成部253とで構成される。以下、拡大合成処理部250を構成する各部について説明する。
拡大処理部251は、多重解像度画像データにおける最上位階層の画像データ(入力画像データそのもの。図3における入力画像301を除いた各階層の画像データを例えばバイリニア法によって2倍に拡大する処理(図3における拡大処理306a〜306d)を行なう。このとき拡大処理の対象となるのは、最下位階層では補正部220で処理された画像データであり、その他の下位階層では、後述の画素値合成処理による合成後の画像データである。図3のシーケンス図の例では、拡大処理306aの対象は補正処理303eが施された最下位階層の画像データとなっている。また、拡大処理306bの対象は後述の画素値合成処理308aが施された合成後の画像データとなっている。また、拡大処理306cの対象は後述の画素値合成処理308bが施された合成後の画像データとなっている。そして、拡大処理306dの対象は後述の画素値合成処理308cが施された合成後の画像データとなっている。なお、拡大処理の方法は、バイリニア法に限らず、例えばニアレストネイバー法、バイキュービック法、Lanczos法などを用いてもよい。
優先使用判定部252は、着目する画像データとその一つ下の階層の画像データとを合成する際に、優先的に下の階層の画像データを使用するかどうかを判定する処理(図3における優先使用判定処理307a〜307d)を行なう。本実施例における優先使用判定は、色ノイズ低減度算出部240で導出された色ノイズ低減度に基づいてなされる。ここで、「一つ下の階層の画像データ」とは、着目画像データよりも1段階解像度が低い画像データであって、当該着目する画像データと同じ解像度に上記拡大処理部251によって拡大処理された画像データを指す。図3のシーケンス図の例で説明する。
画素値合成部253は、着目する画像データの画素値と、その一つ下の階層の画像データを拡大処理した後の画像データ(着目する画像データと同じ解像度)の画素値とを、各段階の合成比率導出処理によって導出された合成比率に基づいて合成する処理を行なう。図3においては、画素値合成処理308a〜308dがこれに対応する。具体的には、下位階層側の画素値をIdown、上位階層側の画素値をIup、合成比率をuとしたときの合成後の画素値Ipostが、以下の式(10)を用いて求められる。
次に、色ノイズ低減処理部202における各処理の大まかな流れについて説明する。図6は、色ノイズ低減処理における各処理の流れを示すフローチャートである。この一連の処理は、CPU101が、HDD130に格納されているプログラムをRAM102にロードし、実行することで実現される。
続いて、上述した図6のフローにおける縮小処理(ステップ601)の詳細について説明する。図7は、縮小処理の流れを示すフローチャートである。
次に、上述した図6のフローにおける拡大合成処理(ステップ605)の詳細について説明する。図8は、本実施例に係る、拡大合成処理の流れを示すフローチャートである。
図9は、本実施例に係る、色ノイズ低減処理部202’の内部構成を示すブロック図である。色ノイズ低減処理部202’は、縮小処理部210、補正部220、合成比率導出部230、色ノイズ低減度算出部240、拡大合成処理部250’及び色類似性判定部900で構成される。
色類似性判定部900は、まず、補正部220で色ノイズが低減された画像データのRGB色信号から色差信号を生成する。色差信号の生成は、着目する画像データとその一つ下の階層の画像データであって拡大処理により当該着目する画像データと同じ解像度に拡大された画像データと、について行う。色差信号(Cr及びCb)は、前述の通り公知の変換式によって生成することができる。また、CrはR−Gで、CbはB−Gでそれぞれ求めてもよい。生成された色差信号は、RAM102に記憶される。
優先使用判定部252’は、優先的に下位階層の画像データを使用するかどうかを、色ノイズ低減度算出部240で導出された色ノイズ低減度と、上述した色類似性判定部900における色類似性判定の結果とに基づいて判定する。具体的には、まず、実施例1の場合と同様、上位階層側の色ノイズ低減度と所定の閾値thdegとの比較処理を行う。閾値比較処理の結果、上位階層側の色ノイズ低減度が閾値thdegよりも小さければ、次に、上述の色類似性判定の結果を参照し、上位階層側と下位階層側の色が類似していれば、画像合成時の下位階層側の比率を大きくするように合成比率が変更される。
次に、本実施例の拡大合成処理(ステップ605)の詳細について説明する。図11は、本実施例に係る、拡大合成処理の流れを示すフローチャートである。
実施例1〜2では、画像処理アプリケーションで処理を行う例を説明したが、これらは撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する方法であってもかまわない。また、クライアント装置からサーバ装置上の画像処理アプリケーションに画像データを送信し、サーバ装置上で画像データが処理されてもよい。
Claims (11)
- 入力画像データに対し縮小処理を行って、解像度を低くした複数の階層の縮小画像データを生成する縮小処理手段と、
前記入力画像データ及び前記縮小画像データにおける注目画素の画素値を、色ノイズが低減された値に補正する補正手段と、
前記補正が施された画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、他の階層の画像データとの合成比率を導出する合成比率導出手段と、
前記補正が施された各画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、前記補正による色ノイズ低減度を画素毎に算出する色ノイズ低減度算出手段と、
前記合成比率と前記色ノイズ低減度とに基づいて、前記補正が施された画像データのうち注目する画像データとその一つ下の階層の画像データとを合成する合成手段と、
を備え、
前記合成手段は、
画像データを拡大する拡大処理手段と、
前記注目する画像データの注目画素の色差信号と、その一つ下の階層の画像データであって前記拡大処理手段により当該注目する画像データと同じ解像度に拡大された画像データの注目画素の色差信号との色の類似性を判定する色類似性判定手段と、
前記注目する画像データとその一つ下の階層の画像データとを合成する際に、前記色ノイズ低減度が所定の閾値より小さく、かつ、前記色類似性判定手段で色が類似すると判定された場合に優先的に前記一つ下の階層の画像データを使用すると判定し、優先的に前記一つ下の階層の画像データを使用すると判定した場合に、当該一つ下の階層の画像データの重みを大きくするように前記合成比率を変更する優先使用判定手段と、
前記注目する画像データの画素値と、その一つ下の階層の画像データであって前記拡大処理手段により前記注目する画像データと同じ解像度に拡大された画像データの画素値とを、前記合成比率に基づいて合成する画素値合成手段と、
を有する、
ことを特徴とする画像処理装置。 - 前記優先使用判定手段は、前記注目画素が無彩色であるときのみ、前記判定を行うことを特徴とする請求項1に記載の画像処理装置。
- 前記所定の閾値は、前記階層が下であるほど小さな値、前記階層が上であるほど大きな値が設定されることを特徴とする請求項1に記載の画像処理装置。
- 前記色類似性判定手段は、下位階層側及び上位階層側の色差信号の色空間を極座標変換した結果が、下位階層側と上位階層側とで同じ特定の範囲内にある場合に色が類似すると判定することを特徴とする請求項1に記載の画像処理装置。
- 前記色類似性判定手段は、下位階層側及び上位階層側の色差信号の色空間を極座標変換した結果、下位階層側と上位階層側との距離が所定の閾値以内にある場合に色が類似すると判定することを特徴とする請求項1に記載の画像処理装置。
- 前記色類似性判定手段は、前記一つ下の階層の色差信号の値が所定の値以下の場合、前記色の類似性の判定を行わないことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記補正手段における前記補正は、前記注目画素を囲む隣接画素からなる参照領域を用いた平滑化処理であり、
前記色ノイズ低減度算出手段で算出される前記色ノイズ低減度は、前記参照領域を構成する画素のうち前記平滑化処理で実際に参照された画素の数を、前記参照領域を構成する全画素数で除して得られた比率である
ことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 - 前記入力画像データはRGBの色成分を持つ画像データであり、
前記補正手段は、前記注目画素の色信号の値を、式(1)〜式(3)を用いて色成分毎に補正し、
前記式(1)〜(3)において、R[i]とG[i]とB[i]は前記注目画素に対する前記参照領域内で式(4)を満たす画素を表し、Mは前記注目画素に対する前記参照領域において式(4)を満たす画素数を表し、
R diff <=Th r ∧G diff <=Th g ∧B diff <=Th b ・・・式(4)
前記式(4)において、∧は論理積(AND)を表し、ThrはR信号に対する閾値、ThgはG信号に対する閾値、ThbはB信号に対する閾値をそれぞれ表し、Rdiff、Gdiff、Bdiffは前記参照領域内の各画素値と比較する画素値との差を表す、
ことを特徴とする請求項8に記載の画像処理装置。 - 入力画像データに対し縮小処理を行って、解像度を低くした複数の階層の縮小画像データを生成するステップと、
前記入力画像データ及び前記縮小画像データにおける注目画素の画素値を、色ノイズが低減された値に補正するステップと、
前記補正が施された画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、他の階層の画像データとの合成比率を導出するステップと、
前記補正が施された各画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、前記補正による色ノイズ低減度を画素毎に算出するステップと、
前記合成比率と前記色ノイズ低減度とに基づいて、前記補正が施された画像データのうち注目する画像データとその一つ下の階層の画像データとを合成するステップと、
を有し、
前記合成するステップは、
画像データを拡大するステップと、
前記注目する画像データの注目画素の色差信号と、その一つ下の階層の画像データであって前記拡大するステップにて当該注目する画像データと同じ解像度に拡大された画像データの注目画素の色差信号との色の類似性を判定するステップと、
前記注目する画像データとその一つ下の階層の画像データとを合成する際に、前記色ノイズ低減度が所定の閾値より小さく、かつ、前記色の類似性を判定するステップで色が類似すると判定された場合に優先的に前記一つ下の階層の画像データを使用すると判定し、優先的に前記一つ下の階層の画像データを使用すると判定した場合に、当該一つ下の階層の画像データの重みを大きくするように前記合成比率を変更するステップと、
前記注目する画像データの画素値と、その一つ下の階層の画像データであって前記拡大するステップにて前記注目する画像データと同じ解像度に拡大された画像データの画素値とを、前記合成比率に基づいて合成するステップと、
を含むことを特徴とする画像処理方法。 - コンピュータを、請求項1乃至9のいずれか1項に記載の画像処理装置として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017055933A JP6891014B2 (ja) | 2017-03-22 | 2017-03-22 | 画像処理装置および画像処理方法、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017055933A JP6891014B2 (ja) | 2017-03-22 | 2017-03-22 | 画像処理装置および画像処理方法、並びにプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018160026A JP2018160026A (ja) | 2018-10-11 |
| JP2018160026A5 JP2018160026A5 (ja) | 2020-02-13 |
| JP6891014B2 true JP6891014B2 (ja) | 2021-06-18 |
Family
ID=63795667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017055933A Active JP6891014B2 (ja) | 2017-03-22 | 2017-03-22 | 画像処理装置および画像処理方法、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6891014B2 (ja) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5035585B2 (ja) * | 2005-04-27 | 2012-09-26 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP4934839B2 (ja) * | 2008-02-19 | 2012-05-23 | オリンパス株式会社 | 画像処理装置及びその方法並びにプログラム |
| JP5430379B2 (ja) * | 2009-02-03 | 2014-02-26 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
| JP5677040B2 (ja) * | 2010-11-08 | 2015-02-25 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
| JP2014021928A (ja) * | 2012-07-23 | 2014-02-03 | Canon Inc | 画像処理装置、画像処理方法およびプログラム |
| JP6525700B2 (ja) * | 2015-04-14 | 2019-06-05 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2017
- 2017-03-22 JP JP2017055933A patent/JP6891014B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018160026A (ja) | 2018-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4352371B2 (ja) | 適応モザイク減少法を実装するディジタル画像処理方法 | |
| JP5677040B2 (ja) | 画像処理装置およびその制御方法 | |
| JP5574615B2 (ja) | 画像処理装置、その制御方法、及びプログラム | |
| JP4840740B2 (ja) | 画素補間方法および画像判定方法 | |
| JP2011107702A (ja) | 入力画像の画像処理システム、画像表示システム、及び画像処理方法 | |
| JP2003274157A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体 | |
| US11145032B2 (en) | Image processing apparatus, method and storage medium for reducing color noise and false color | |
| JP2010034964A (ja) | 画像合成装置、画像合成方法及び画像合成プログラム | |
| US8094213B2 (en) | Image processing apparatus, image processing method, and program in which an original image is modified with respect to a desired reference point set on a screen | |
| JP2012208553A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP5076186B2 (ja) | 画像拡大方法 | |
| JP6957665B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| WO2010099048A2 (en) | Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems | |
| JP6525700B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US8478063B2 (en) | Image processing apparatus and image processing method | |
| JP6891014B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| JP2014110507A (ja) | 画像処理装置および画像処理方法 | |
| JP6808551B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| JP4265363B2 (ja) | 画像処理装置 | |
| KR102470242B1 (ko) | 영상 처리 장치, 영상 처리 방법, 및 프로그램 | |
| JP3491830B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP6843510B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4992379B2 (ja) | 画像の階調変換装置、プログラム、電子カメラ、およびその方法 | |
| WO2014034242A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP2018151681A (ja) | 画像処理装置および画像処理方法、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191223 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210412 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210427 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210526 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6891014 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |