JP6542524B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

画像の鮮鋭化を行う場合、例えば、入力される画像信号（以下、「入力画像信号」と示す。）に対して画像の輪郭を抽出する線形フィルタ（filter）を適用し、線形フィルタを適用した結果をゲイン（gain）として入力画像信号に対して加算（または減算）することによって、画像の輪郭部分の鮮鋭感を向上させることが多い。演算の結果である画像（以下、「出力画像」と示す場合がある。）は、階調が空間内で局所的に変化する輪郭部分の画素値の勾配を急峻にすることによって、入力画像信号が示す入力画像（処理対象の画像）と比べて鮮鋭度の高い画像となる。

しかしながら、上記のように線形の演算のみによって鮮鋭化のための計算を行う場合には、画素の勾配が存在する部分のみではなく、当該部分の周囲の画素に影響を及ぼしうる。そのため、上記のように線形の演算のみによって鮮鋭化のための計算を行う場合には、例えば、輪郭部分に縁取りをしたようなオーバーシュート（overshoot）やアンダーシュート（undershoot）が発生する可能性がある。また、オーバーシュートやアンダーシュートが発生した場合には、出力画像の品質（画質）が低下する。

このような中、オーバーシュート、アンダーシュートの発生を抑制する技術が開発されている。オーバーシュート、アンダーシュートの発生を抑制する技術としては、例えば下記の特許文献１に記載の技術や下記の特許文献２に記載の技術が挙げられる。

特開２００８−０４７９５０号公報 特開２０１０−２２６２６０号公報

上記のように、オーバーシュートやアンダーシュートが発生する場合には、出力画像の品質が低下する。一方で、処理対象の画像に含まれる細い線や点のような部分の頂点においてオーバーシュート、アンダーシュートが抑制されてしまうと、出力画像に十分な鮮鋭感を与えることができない。そのため、高画質化を図るためには、入力画像信号に応じて、オーバーシュートやアンダーシュートを持たせることが好ましい。

ここで、例えば特許文献１に記載の技術では、入力画像信号の注目画素の周辺の画素の画素値を基に、最大値と最小値の範囲を超えないように出力画像の画素値を制限する。よって、例えば特許文献１に記載の技術を用いる場合には、画素値の勾配を急峻にしつつオーバーシュート、アンダーシュートを抑制することができる可能性がある。

しかしながら、例えば特許文献１に記載の技術では、細い線や点が存在する場合にも同様にオーバーシュート、アンダーシュートを抑制してしまう。そのため、例えば特許文献１に記載の技術を用いたとしても、出力画像に十分な鮮鋭化の効果を与えることはできない。

また、例えば特許文献２に記載の技術では、二次微分および注目画素の周辺画素の画素値からゲインを決定することによって、オーバーシュートやアンダーシュートの許容量に近い「線形変化度」を求めて強調処理を行っている。よって、例えば特許文献２に記載の技術を用いる場合には、画素値の勾配を急峻にしつつオーバーシュート、アンダーシュートを抑制することができる可能性がある。

しかしながら、例えば特許文献２に記載の技術では、細い線や点が存在する場合にも同様にオーバーシュート、アンダーシュートを抑制してしまう。そのため、例えば特許文献２に記載の技術を用いたとしても、例えば特許文献１に記載の技術を用いる場合と同様に、出力画像に十分な鮮鋭化の効果を与えることはできない。

上記のように、特許文献１に記載の技術や特許文献２に記載の技術のような既存の技術を用いたとしても、処理対象の画像の高画質化を図ることができるとは限らない。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、処理対象の画像の高画質化を図ることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。

上記目的を達成するために、本発明の第１の観点によれば、入力される画像信号に基づいて、上記画像信号を調整するためのゲインを注目画素ごとに算出するゲイン算出部と、上記注目画素ごとに、上記画像信号の画素値と対応する上記ゲインとを加算する加算部と、を備え、上記ゲイン算出部は、上記注目画素ごとの上記画像信号の一次微分の結果を示す第１の値と、上記注目画素ごとの上記画像信号の二次微分の結果を示す第２の値とを用いて、上記注目画素ごとに上記ゲインを算出する、画像処理装置が提供される。

かかる構成によって、入力される画像信号が示す入力画像（処理対象の画像）に応じて、入力画像に最適なオーバーシュート、アンダーシュートの量を調整することが可能となる。よって、かかる構成によって、処理対象の画像の高画質化を図ることができる。

また、微分は、一の画素と上記一の画素に隣接する少なくとも１以上の画素との空間的な差分をとることであり、上記注目画素ごとの上記第１の値は、上記注目画素を含む複数の画素それぞれにおける一次微分値の絶対値の、平均値であり、上記注目画素ごとの上記第２の値は、上記注目画素を含む複数の画素それぞれにおける二次微分値の絶対値の、平均値であってもよい。

また、上記注目画素ごとの上記第１の値は、一次微分に対応する上記平均値に、設定されている第１の係数を乗じた値であり、上記注目画素ごとの上記第２の値は、二次微分に対応する上記平均値に、設定されている第２の係数を乗じた値であってもよい。

また、微分は、一の画素と上記一の画素に隣接する少なくとも１以上の画素との空間的な差分をとることであり、上記注目画素ごとの上記第１の値は、上記注目画素を含む複数の画素それぞれにおける一次微分値の絶対値の、最大値であり、上記注目画素ごとの上記第２の値は、上記注目画素を含む複数の画素それぞれにおける二次微分値の絶対値の、最大値であってもよい。

また、上記注目画素ごとの上記第１の値は、一次微分に対応する上記最大値に、設定されている第１の係数を乗じた値であり、上記注目画素ごとの上記第２の値は、二次微分に対応する上記最大値に、設定されている第２の係数を乗じた値であってもよい。

また、上記ゲイン算出部は、上記注目画素ごとに上記第１の値と上記第２の値とを加算した加算値を用いて、上記注目画素ごとに上記ゲインを算出してもよい。

また、上記ゲイン算出部は、上記画像信号から設定されている周波数成分が抽出された信号と、上記注目画素ごとの上記加算値とを、上記注目画素ごとに乗じて、上記注目画素ごとに上記ゲインを算出してもよい。

また、上記目的を達成するために、本発明の第２の観点によれば、入力される画像信号に基づいて、上記画像信号を調整するためのゲインを注目画素ごとに算出するステップと、上記注目画素ごとに、上記画像信号の画素値と対応する上記ゲインとを加算するステップと、を有し、上記ゲインを算出するステップでは、上記注目画素ごとの上記画像信号の一次微分の結果を示す第１の値と、上記注目画素ごとの上記画像信号の二次微分の結果を示す第２の値とを用いて、上記注目画素ごとに上記ゲインが算出される、画像処理方法が提供される。

かかる方法が用いられることによって、入力される画像信号が示す入力画像（処理対象の画像）に応じて、入力画像に最適なオーバーシュート、アンダーシュートの量を調整することが可能となる。よって、かかる方法が用いられることによって、処理対象の画像の高画質化を図ることができる。

また、上記目的を達成するために、本発明の第３の観点によれば、コンピュータを、入力される画像信号に基づいて、上記画像信号を調整するためのゲインを注目画素ごとに算出するゲイン算出手段、上記注目画素ごとに、上記画像信号の画素値と対応する上記ゲインとを加算する加算手段、として機能させ、上記ゲイン算出手段は、上記注目画素ごとの上記画像信号の一次微分の結果を示す第１の値と、上記注目画素ごとの上記画像信号の二次微分の結果を示す第２の値とを用いて、上記注目画素ごとに上記ゲインを算出する、プログラムが提供される。

かかるプログラムが用いられることによって、入力される画像信号が示す入力画像（処理対象の画像）に応じて、入力画像に最適なオーバーシュート、アンダーシュートの量を調整することが可能となる。よって、かかるプログラムが用いられることによって、処理対象の画像の高画質化を図ることができる。

本発明によれば、処理対象の画像の高画質化を図ることができる。

既存の技術を用いた場合の処理結果の一例を示す説明図である。 既存の技術を用いた場合の処理結果の一例を示す説明図である。 画像を鮮鋭かつ高品質にユーザに見せるための理想的な画像の鮮鋭化に係る処理の一例を説明するための説明図である。 第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 第１の実施形態に係る画像処理装置の動作の一例を説明するための説明図である。 第１の実施形態に係る画像処理装置の動作の一例を説明するための説明図である。 第１の実施形態に係る画像処理装置の動作の一例を説明するための説明図であ 第２の実施形態に係る画像処理装置が備えるゲイン算出部を構成する周波数成分抽出部の構成の一例を示すブロック図である。 図４に示す第１の実施形態に係る画像処理装置１００が備える周波数成分抽出部１０６を構成するＢＰＦの特性の一例を示している。 第２の実施形態に係る画像処理装置が備えるゲイン算出部を構成する周波数成分抽出部を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、画像は、通常二次元の信号として表現されるが、以下では、説明の便宜上、一次元の信号を用いて説明を行う。

また、以下では、処理中の注目画素の水平方向に隣接する画素を、「左の画素」や「右の画素」と示す場合がある。本発明の実施形態に係る画像処理方法に係る信号処理は、画像の垂直方向、水平方向にそれぞれ順に適用することによって、二次元の画像を処理することが可能である。本発明の実施形態に係る画像処理方法に係る信号処理が垂直方向に適用される場合には、隣接する画素である「左の画素」、「右の画素」を、「上の画素」、「下の画素」と読み替えて、後述する信号処理と同様の信号処理が行われる。

（本発明の実施形態に係る画像処理方法）
まず、本発明の実施形態に係る画像処理方法について説明する。以下では、本発明の実施形態に係る画像処理方法に係る処理を、本発明の実施形態に係る画像処理装置が行う場合を例に挙げて、本発明の実施形態に係る画像処理方法について説明する。

上述したように、既存の技術を用いたとしても処理対象の画像の高画質化を図ることができるとは限らない。

図１、図２は、既存の技術を用いた場合の処理結果の一例を示す説明図である。図１は、特許文献１に記載の技術を用い、画像の鮮鋭化でよく用いられるＬａｐｌａｃｉａｎ演算子を適用して線形処理を行った場合の処理結果の一例を示している。また、図２は、特許文献２に記載の技術を用い、画像の鮮鋭化でよく用いられるＬａｐｌａｃｉａｎ演算子を適用して線形処理を行った場合の処理結果の一例を示している。

図１に示すＡ、図２に示すＡに示す階段状の「入力」（図１のＡ、図２のＡにおける“ｐｉｘｅｌ値（入力）”）に対して既存の技術を用いて処理が行われる場合には、図１に示すＡ、図２に示すＡにおいて“ｐｉｘｅｌ値（出力）”で示されるように、オーバーシュート、アンダーシュートを持たずに、かつ入力画像の勾配を急峻にした出力画像が得られる。

また、図１に示すＢ、図２に示すＢに示す山状の「入力」（図１のＢ、図２のＢにおける“ｐｉｘｅｌ値（入力）”）のような、画像における細い線（あるいは点）を示す部分に対して既存の技術を用いた処理が行われる場合には、線の両端のアンダーシュートを抑制することが可能である。しかしながら、画像における細い線（あるいは点）を示す部分に対して既存の技術を用いた処理が行われる場合には、図１のＢの“Ｒ”や図２のＢの“Ｒ”に示すように、同時に鮮鋭化のために残しておきたい頂点部分のオーバーシュートまで抑制してしまう。よって、既存の技術を用いる場合には、結果として細い線や点を鮮明に表現することができない。

図３は、画像を鮮鋭かつ高品質にユーザ（user）に見せるための理想的な画像の鮮鋭化に係る処理の一例を説明するための説明図である。図３における“ｐｉｘｅｌ値（入力）”は、入力画像の画素の画素値の一例を示しており、“ｐｉｘｅｌ値（出力）”は、出力画像の画素の画素値の一例を示している。

画像を鮮鋭かつ高品質にユーザに見せるためには、入力画像を処理することによって、下記に示すような特徴を有する出力画像が得られる必要がある。
・画像の輪郭に相当する画素の画素値の勾配が入力画像に対して急峻であり、かつオーバーシュートやアンダーシュートが小さいこと（図３のＡ）
・画像の線や点に相当する画素の画素値の頂点部分が、入力画像よりも大きな振幅を持つこと（図３のＢ）

例えば図３に示すように、理想的な画像の鮮鋭化に係る処理を行うためには、勾配部分ではオーバーシュート、アンダーシュートを抑制しつつ、頂点部分でのみ適度なオーバーシュート、アンダーシュートを許容する演算が必要となる。

そこで、本発明の実施形態に係る画像処理装置は、入力される画像信号が示す入力画像（処理対象の画像）の局所的な形状に応じて、入力画像に最適なオーバーシュート、アンダーシュートの量を調整する。

より具体的には、本発明の実施形態に係る画像処理装置は、入力される画像信号に基づいて、画像信号を調整するためのゲインを注目画素ごとに算出する（ゲイン算出処理）。

ここで、最適なオーバーシュート、アンダーシュートの量は、画素値の並びの一次微分と二次微分の関係から設定することが可能である。本発明の実施形態に係る微分とは、例えば、一の画素と当該一の画素に隣接する少なくとも１以上の画素との空間的な差分をとることをいう。本発明の実施形態に係る微分演算の一例については、後述する。

よって、本発明の実施形態に係る画像処理装置は、注目画素ごとの画像信号の一次微分の結果を示す第１の値と、注目画素ごとの画像信号の二次微分の結果を示す第２の値とを用いて、注目画素ごとにゲインを算出する。本発明の実施形態に係るゲイン算出処理、本発明の実施形態に係る画像信号の一次微分の結果を示す第１の値、および本発明の実施形態に係る画像信号の二次微分の結果を示す第２の値それぞれの具体例については、後述する。

また、本発明の実施形態に係る画像処理装置は、注目画素ごとに、画像信号の画素値と対応するゲインとを加算する（加算処理）。注目画素ごとに画素値と、入力される画像信号に基づく入力画像の形状に応じたゲインとが加算されることによって、例えば下記の両立が実現される。
・入力画像における階段状に画素値が変化する部分の周囲での画質劣化につながるオーバーシュート、アンダーシュートを抑える。
・入力画像における細い線や点の頂点部分でのオーバーシュート、アンダーシュートを許容する。

したがって、本発明の実施形態に係る画像処理装置は、処理対象の画像である入力画像の鮮鋭化を図ることが可能であるので、処理対象の画像の高画質化を図ることができる。

（本発明の実施形態に係る画像処理装置）
次に、上述した本発明の実施形態に係る画像処理方法に係る処理を行うことが可能な、本発明の実施形態に係る画像処理装置の構成の一例について説明する。

［１］第１の実施形態に係る画像処理装置
［１−１］第１の実施形態に係る画像処理装置の構成例
図４は、第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。図４では、入力画像信号を“入力”と示し、本発明の実施形態に係る画像処理方法に係る処理が行われた処理後の画像信号を“出力”と示している。

画像処理装置１００は、例えば、ゲイン算出部１０２と、加算部１０４とを備える。

画像処理装置１００は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサ（processor）や各種処理回路などで構成され、画像処理装置１００全体を制御する制御部（図示せず）などを備えていてもよい。制御部（図示せず）を備える場合、画像処理装置１００では、制御部（図示せず）がゲイン算出部１０２および加算部１０４の役目を果たすことも可能である。

なお、ゲイン算出部１０２と加算部１０４との一方または双方が、制御部（図示せず）とは別体の処理回路（例えば、専用の処理回路、または、汎用の処理回路）などで実現されてもよいことは、言うまでもない。また、ゲイン算出部１０２と加算部１０４との一方または双方における処理は、プロセッサなどで実行されるプログラム（program）（ソフトウェア）により実現されてもよい。

［１−１−１］ゲイン算出部１０２
ゲイン算出部１０２は、上記ゲイン算出処理を主導的に行う役目を果たし、入力画像信号に基づいて、ゲインを注目画素ごとに算出する。

ゲイン算出部１０２は、例えば、周波数成分抽出部１０６と、一次微分演算部１０８と、二次微分演算部１１０と、平均値算出部１１２Ａ、１１２Ｂと、調整部１１４Ａ、１１４Ｂと、乗算部１１６とを備える。

周波数成分抽出部１０６は、例えばＢＰＦ（Band-Pass Filter）やＨＰＦ（High-Pass Filter）などの線形信号処理に用いられるフィルタで構成され、入力画像信号から設定されている周波数成分の信号を出力する。設定されている周波数成分としては、例えば、入力画像信号の主に中域から高域の周波数成分が挙げられる。図４では、周波数成分抽出部１０６から出力される信号を「ｇａｉｎ０」と示している。

周波数成分抽出部１０６を構成するフィルタとしては、例えば、下記の数式１の右辺に示すＢＰＦが挙げられる。

ここで、上記数式１の右辺の演算子は、線形畳み込みを表わしている（後述する他の数式においても同様である。）。具体例を挙げると、上記数式１における入力が、注目画素ａ２を中心とする［ａ０，ａ１，ａ２，ａ３，ａ４］という並びの画素の画素値である場合、上記数式１より“ｇａｉｎ０＝−１／４・ａ０＋１／２・ａ２＋−１／４・ａ４”となる。

なお、周波数成分抽出部１０６を構成するフィルタは、上記の数式１に示すＢＰＦに限られず、任意の線形フィルタを使用することが可能である。

一次微分演算部１０８は、一次微分値の絶対値を注目画素ごとに算出する。

上述したように、本発明の実施形態に係る微分とは、例えば、一の画素と当該一の画素に隣接する少なくとも１以上の画素との空間的な差分をとることを意味し、一次微分演算部１０８は、例えば下記の数式２に示すように、ＢＰＦを入力と畳み込んで一次微分値の絶対値ｄ１を得ることが可能である。

二次微分演算部１１０は、二次微分値の絶対値を注目画素ごとに算出する。

二次微分演算部１１０は、例えば下記の数式３に示すように、各画素の一次微分値ｄ１の絶対値を用いて上記数式２と同様のＢＰＦを用いた演算を行うことによって、二次微分値の絶対値ｄ２を算出する。

なお、二次微分値ｄ２の絶対値の算出方法は、上記数式３に示す演算により算出する方法に限られない。

例えば、二次微分演算部１１０は、二次微分フィルタを直接適用して（すなわち、一次微分演算部１０８を経由せずに）二次微分値の絶対値ｄ２を算出することも可能である。一例を挙げると、二次微分演算部１１０は、例えば下記の数式４に示すように、周波数成分抽出部１０６において用いられるＢＰＦの符号を反転したＢＰＦを用いて二次微分値の絶対値ｄ２を算出することが可能である。

平均値算出部１１２Ａは、注目画素を含む複数の画素それぞれにおける一次微分値の絶対値ｄ１の平均値ｄ１_ａｖｇを算出する。

例えば、平均値算出部１１２Ａが、注目画素、左の画素、および右の画素の合計三画素分の平均値ｄ１_ａｖｇを算出する場合には、平均値算出部１１２Ａは、下記の数式５により平均値ｄ１_ａｖｇを算出する。

なお、平均値算出部１１２Ａは、４画素以上の一次微分値の絶対値ｄ１の平均値を、平均値ｄ１_ａｖｇとして算出してもよい。また、平均値算出部１１２Ａは、重み付け平均などの任意の平均値算出方法によって、平均値ｄ１_ａｖｇとして算出することも可能である。

平均値算出部１１２Ｂは、注目画素を含む複数の画素それぞれにおける二次微分値の絶対値ｄ２の平均値ｄ２_ａｖｇを算出する。

例えば、平均値算出部１１２Ｂが、注目画素、左の画素、および右の画素の合計三画素分の平均値ｄ２_ａｖｇを算出する場合には、平均値算出部１１２Ｂは、下記の数式６により平均値ｄ２_ａｖｇを算出する。

なお、平均値算出部１１２Ｂは、４画素以上の二次微分値の絶対値ｄ２の平均値を、平均値ｄ２_ａｖｇとして算出してもよい。また、平均値算出部１１２Ｂは、重み付け平均などの任意の平均値算出方法によって、平均値ｄ２_ａｖｇとして算出することも可能である。

調整部１１４Ａは、例えば下記の数式７に示すように、各注目画素の平均値ｄ１_ａｖｇに係数１（第１の係数）を乗じる。ここで、下記の数式７に示す“ｇｒａｄ_ｗ”は、注目画素ごとの画像信号の一次微分の結果を示す第１の値の一例に該当する。

係数１（第１の係数）は、例えば、予め設定されている固定値、または、画像処理装置１００のユーザのユーザ操作などによって調整可能な可変値である。係数１の具体例については、後述する。

調整部１１４Ｂは、例えば下記の数式８に示すように、各注目画素の平均値ｄ２_ａｖｇに係数２（第２の係数）を乗じる。ここで、下記の数式８に示す“ｐｅａｋ_ｗ”は、注目画素ごとの画像信号の二次微分の結果を示す第２の値の一例に該当する。

係数２（第２の係数）は、例えば、予め設定されている固定値、または、画像処理装置１００のユーザのユーザ操作などによって調整可能な可変値である。係数２の具体例については、後述する。

乗算部１１６は、例えば乗算器で構成され、上記数式７に示す“ｇｒａｄ_ｗ”（一次微分の結果を示す第１の値の一例）と、上記数式８に示す“ｐｅａｋ_ｗ”（二次微分の結果を示す第２の値の一例）とを用いて、注目画素ごとにゲインｇａｉｎを算出する。

より具体的には、乗算部１１６は、例えば、上記数式７に示す“ｇｒａｄ_ｗ”（一次微分の結果を示す第１の値の一例）と、上記数式８に示す“ｐｅａｋ_ｗ”（二次微分の結果を示す第２の値の一例）とを加算した加算値（以下、単に「加算値」と示す場合がある。）を、一次微分と二次微分の関係を示す値として用いて、注目画素ごとにゲインｇａｉｎを算出する。具体例を挙げると、乗算部１１６は、例えば下記の数式９に示す演算により注目画素ごとにゲインｇａｉｎを出力する。

ここで、上記数式９に示す正規化係数は、上記数式９の右辺の桁を揃えるためのものである。例えば、画素値が８［ｂｉｔ］（０〜２５５の整数値）で表される場合には、正規化係数＝２５６に設定される。

なお、上記数式９に示す正規化係数は、画素値の表記方法に依存して設定されるものであり、例えば画素値が０〜１の浮動小数点で表される場合には不要である。

例えば上記数式９に示すように、乗算部１１６は、周波数成分抽出部１０６出力されるｇａｉｎ０（入力画像信号から設定されている周波数成分が抽出された信号）と、注目画素ごとの上記加算値とを注目画素ごとに乗じて、注目画素ごとにゲインｇａｉｎを算出する。

ゲイン算出部１０２は、例えば図４に示すように、周波数成分抽出部１０６、一次微分演算部１０８、二次微分演算部１１０、平均値算出部１１２Ａ、１１２Ｂ、調整部１１４Ａ、１１４Ｂ、および乗算部１１６を備えることによって、ゲインｇａｉｎを注目画素ごとに算出する。

なお、第１の実施形態に係る画像処理装置が備えるゲイン算出部１０２の構成は、図４に示す構成に限られない。

例えば、ゲイン算出部１０２は、平均値算出部１１２Ａ、１１２Ｂそれぞれの代わりに、最大値算出部（図示せず）を備えていてもよい。

平均値算出部１１２Ａの代わりに備えられる最大値算出部（図示せず）は、注目画素を含む複数の画素それぞれにおける一次微分値の絶対値ｄ１_ａｖｇの、最大値を選択し、当該最大値を出力する。また、平均値算出部１１２Ｂの代わりに備えられる最大値算出部（図示せず）は、注目画素を含む複数の画素それぞれにおける二次微分値の絶対値ｄ２_ａｖｇの、最大値を選択し、当該最大値を出力する。

また、ゲイン算出部１０２は、例えば、図４に示す構成、または平均値算出部１１２Ａ、１１２Ｂそれぞれの代わりに最大値算出部（図示せず）を備える構成において、調整部１１４Ａ、１１４Ｂを備えない構成であってもよい。

調整部１１４Ａを備えない構成をとる場合、上記数式７に示すように、各注目画素の平均値ｄ１_ａｖｇ（または、上記最大値）が、注目画素ごとの画像信号の一次微分の結果を示す第１の値に該当する。また、調整部１１４Ｂを備えない構成をとる場合、上記数式８に示すように、各注目画素の平均値ｄ２_ａｖｇ（または、上記最大値）が、注目画素ごとの画像信号の二次微分の結果を示す第２の値に該当する。

また、調整部１１４Ａ、１１４Ｂを備えない構成をとる場合、乗算部１１６は、例えば、“ｇｒａｄ_ｗ”、“ｐｅａｋ_ｗ”の代わりに、各注目画素の平均値ｄ１_ａｖｇ（または、上記最大値）、および各注目画素の平均値ｄ２_ａｖｇ（または、上記最大値）を用いて、上記数式９と同様の演算を行うことによって、注目画素ごとにゲインｇａｉｎを算出する。

［１−１−２］加算部１０４
加算部１０４は、上記加算処理を主導的に行う役目を果たし、注目画素ごとに、入力画像信号の画素値と対応するゲインｇａｉｎとを加算する。加算部１０４は、例えば加算器で構成される。

加算部１０４は、例えば下記の数式１０に示す演算を行い、本発明の実施形態に係る画像処理方法に係る処理が行われた画像信号を出力する。

加算部１０４から出力される画像信号は、表示デバイス（device）に伝達されて表示画面に画像が表示されてもよいし、記録媒体に画像データ（data）として記録されてもよい。表示画面への表示制御や、記録媒体への記録制御は、例えば制御部（図示せず）や外部装置により行われる。

画像処理装置１００は、例えばゲイン算出部１０２と加算部１０４とを備えることによって、本発明の実施形態に係る画像処理方法に係る処理（ゲイン算出処理、および加算処理）を行う。

［１−２］第１の実施形態に係る画像処理装置１００の動作の一例
次に、画像処理装置１００における動作の一例を示す。以下では、図１のＡや図２のＡに示す階段状の「入力」に対する動作と、図１のＢや図２のＢに示す山状の「入力」に対する動作とを説明する。

まず、画像処理装置１００は、線形処理により得られる“ｇａｉｎ０”を、上記数式１により算出する。

次に、画像処理装置１００は、一次微分値の絶対値ｄ１を、例えば上記数式２により算出する。また、画像処理装置１００は、二次微分値の絶対値ｄ２を、例えば上記数式４により算出する。

図５は、第１の実施形態に係る画像処理装置１００の動作の一例を説明するための説明図であり、一次微分値の絶対値ｄ１と二次微分値の絶対値ｄ２との挙動の一例を示している。図５のＡは、階段状の「入力」に対する一次微分値の絶対値ｄ１と二次微分値の絶対値ｄ２との挙動の一例を示している。また、図５のＢは、山状の「入力」に対する一次微分値の絶対値ｄ１と二次微分値の絶対値ｄ２との挙動の一例を示している。

図５のＡに示すように、階段状の「入力」に対しては、勾配の中央付近を中心に一次微分値の絶対値ｄ１が支配的である。

また、図５のＢに示すように、山状の「入力」に対しては、山の両側の勾配部分では一次微分値の絶対値ｄ１が大きく、山の頂上部分では二次微分値の絶対値ｄ２が大きな値を持つ。

図５のＡ、および図５のＢに示す一次微分値の絶対値ｄ１と二次微分値の絶対値ｄ２との挙動は、一次微分値の絶対値ｄ１が「入力」の一次微分に対応する値であり、二次微分値の絶対値ｄ２が「入力」の二次微分に対応する値であるという特徴を如実に表している。

次に、画像処理装置１００は、例えば上記数式５および上記数式６によって、平均値ｄ１_ａｖｇおよび平均値ｄ２_ａｖｇを算出する。

ここで、上記数式５および上記数式６は、周辺３画素に対して平滑化を行っていることと等価であり、一次微分値の絶対値ｄ１と二次微分値の絶対値ｄ２との局所的な振幅をなだらかにすることに相当する。よって、上記数式５および上記数式６により得られる平均値ｄ１_ａｖｇおよび平均値ｄ２_ａｖｇは、一次微分が優勢で勾配の度合いが大きい個所と、二次微分が優勢で頂点に近い個所を表す信号と考えることができる。

図６は、第１の実施形態に係る画像処理装置１００の動作の一例を説明するための説明図であり、“平均値ｄ１_ａｖｇと平均値ｄ２_ａｖｇとの挙動の一例”、および“ｇｒａｄ_ｗ（一次微分の結果を示す第１の値）とｐｅａｋ_ｗ（二次微分の結果を示す第２の値）との挙動の一例”を示している。図６のＡは、階段状の「入力」に対する“平均値ｄ１_ａｖｇと平均値ｄ２_ａｖｇとの挙動の一例”および“ｇｒａｄ_ｗ（一次微分の結果を示す第１の値）とｐｅａｋ_ｗ（二次微分の結果を示す第２の値）との挙動の一例”を示している。また、図６のＢは、山状の「入力」に対する“平均値ｄ１_ａｖｇと平均値ｄ２_ａｖｇとの挙動の一例”および“ｇｒａｄ_ｗ（一次微分の結果を示す第１の値）とｐｅａｋ_ｗ（二次微分の結果を示す第２の値）との挙動の一例”を示している。

図６のＡに示すように、階段状の「入力」に対しては、全体に平均値ｄ１_ａｖｇが大きい。一方、図６のＢに示すように、山状の「入力」に対しては、特にその頂点付近で平均値ｄ２_ａｖｇが平均値ｄ１_ａｖｇと同じ程度まで大きくなる様子が分かる。

よって、例えば、上記数式７に示す係数１（第１の係数）や、上記数式８に示す係数２（第２の係数）を調整することによって、勾配の急峻化と頂点の強調の度合いを調整することが可能となる。

例えば、係数１＝０．４、および係数２＝０．６とすると、ｇｒａｄ_ｗ（一次微分の結果を示す第１の値）とｐｅａｋ_ｗ（二次微分の結果を示す第２の値）とは、図６のＡ、図６のＢに示す挙動をとる。なお、本発明の実施形態に係る係数１（第１の係数）が０．４に限られず、また、本発明の実施形態に係る係数２（第２の係数）が０．６に限られないことは、言うまでもない。

図６のＡに示すように、階段状の「入力」に対しては、画像の強調処理を行いたい輪郭付近において勾配の度合いを表わすｇｒａｄ_ｗ（一次微分の結果を示す第１の値）が大きくなっていることが分かる。また、図６のＢに示すように、山状の「入力」に対しては、画像の強調処理を行いたい輪郭付近において頂点付近において頂点の度合いを表わすｐｅａｋ_ｗ（二次微分の結果を示す第２の値）が大きくなっていることが分かる。

上記数式７および上記数式８に示す演算より、本発明の実施形態に係る画像処理方法が奏する一の効果として、効果としての頂点の強調と、副作用としてのオーバーシュート、アンダーシュートの量の低減とを、容易に調整できる。

例えば、上記数式７において係数１を０．４よりも大きくすれば、画像処理装置１００は、多少のオーバーシュート、アンダーシュートを許容することと引き換えに、頂点の挙動を大きく変えずに勾配の傾きをより急峻にすることができる。また、上記数式８において係数２を０．６よりも大きくすれば、オーバーシュート、アンダーシュートの副作用を抑制しつつ、頂点を強調することができる。

画像処理装置１００は、上記数式１により算出される“ｇａｉｎ０”、上記数式７により算出される“ｇｒａｄ_ｗ”、および上記数式８により算出される“ｐｅａｋ_ｗ”を用いて、例えば上記数式９に示す演算を行うことによって、注目画素ごとにゲインｇａｉｎを算出する。

図７は、第１の実施形態に係る画像処理装置１００の動作の一例を説明するための説明図であり、上記数式１に示す線形処理により算出される“ｇａｉｎ０”と、上記数式９により算出される“ゲインｇａｉｎ”との挙動の一例を示している。図７のＡは、階段状の「入力」に対する“ｇａｉｎ０”と“ゲインｇａｉｎ”との挙動の一例を示している。また、図７のＢは、山状の「入力」に対する“ｇａｉｎ０”と“ゲインｇａｉｎ”との挙動の一例を示している。

図７のＡに示すように、画像処理装置１００は、階段状の「入力」に対しては、図１のＡや図２のＡに示す既存の技術が用いられる場合と同様に、勾配をより急峻にすることで、画像の鮮鋭化を行えることが分かる。

また、図７のＢに示すように、画像処理装置１００は、山状の「入力」に対しては、山の周囲のアンダーシュートを「入力」の画素値５１に対して「出力」は画素値４４と小さく保ちつつ、頂点の画素値が「入力」の画素値２０４から「出力」の画素値２３０と大幅に増加させている。よって、図７のＢより、画像処理装置１００が、入力画像における線や点をより鮮明にしていることが分かる。

上述したように、画像処理装置１００は、階段状の「入力」に対して大きな影響を持つ係数２（第２の係数）と、山状の「入力」に対してより大きな影響を持つ係数１（第１の係数）とを個別の調整することが可能である。よって、画像処理装置１００は、係数１（第１の係数）と係数２（第２の係数）とを調整することによって、画像の鮮鋭化をより柔軟に行うことができる。

［１−３］第１の実施形態に係る画像処理装置１００が奏する効果の一例
本発明の実施形態に係る画像処理方法を行うことが可能な、第１の実施形態に係る画像処理装置１００は、既存の技術を用いる装置と比較して、例えば下記のような効果を奏する。
・輪郭協調を行う画像処理において、オーバーシュート、アンダーシュートの副作用を抑制しつつ、線や点などの鮮明感を増すために、局所的に大きなゲインを持たせることができる。
・階段状の画素値の変化部分と、山状の画素値の変化部分の強調度合いを独立して制御することができる。

また、第１の実施形態に係る画像処理装置１００は、フレームメモリなどの大規模なデバイスを用いずに、局所的な入力画像の情報に基づいて入力画像に対してより適した画像鮮鋭化を施すことができる。

また、第１の実施形態に係る画像処理装置１００は、特性の調整も係数の変更によって容易に行えるので、例えば使用状況に応じて所望の画像の強調処理の程度や内容が異なる場合にも、単一の処理アルゴリズムによって、簡単に特性の調整を行うことができる。

［２］第２の実施形態に係る画像処理装置
なお、本発明の実施形態に係る画像処理方法を行うことが可能な、本発明の実施形態に係る画像処理装置は、第１の実施形態に係る画像処理装置１００（変形例に係る構成も含む）に限られない。

例えば、本発明の実施形態に係る画像処理装置は、図４に示す周波数成分抽出部１０６の構成を、他の構成に置き換えることによって、強調対象とする周波数帯域を調整することも可能である。そこで、次に、第２の実施形態に係る画像処理装置として、強調対象とする周波数帯域を調整することが可能な画像処理装置の構成について説明する。

なお、第２の実施形態に係る画像処理装置は、図４に示す周波数成分抽出部１０６の構成以外は、第１の実施形態に係る画像処理装置１００（変形例に係る構成も含む）と同様である。よって、以下では、第２の実施形態に係る画像処理装置が備えるゲイン算出部を構成する周波数成分抽出部２０２を主に説明する。

図８は、第２の実施形態に係る画像処理装置が備えるゲイン算出部を構成する周波数成分抽出部２０２の構成の一例を示すブロック図である。周波数成分抽出部２０２は、例えば、第１ＢＰＦ２０４Ａと、第２ＢＰＦ２０４Ｂと、乗算器２０６Ａ、２０６Ｂと、加算器２０８とを備える線形フィルタで構成される。

図９は、図４に示す第１の実施形態に係る画像処理装置１００が備える周波数成分抽出部１０６を構成するＢＰＦの特性の一例を示している。図９は、上記数式１に示すＢＰＦの特性を示している。図９の横軸に示す“１”は、ナイキスト（Nyquist）周波数を示している。

図９に示すように、画像処理装置１００が備える周波数成分抽出部１０６を構成する上記数式１に示すＢＰＦは、ナイキスト周波数の半分程度の領域にピーク（peak）を持つＢＰＦである。

一方、入力画像の特性によっては、異なる周波数帯域の輪郭を強調したい場合がある。上記のような場合には、例えば図８に示すように複数のＢＰＦを有する線形フィルタを用いて周波数特性を調整することによって、上述した階段状の「入力」と山状の「入力」とに対する応答を独立に調整できるという特長を失うことなく、強調対象とする周波数帯域の調整を行うことが可能である。

例えば、「入力」に比較的低周波成分が多く、ナイキスト周波数の３０［％］から５０［％］程度の領域に強調処理を施したい場合を例に挙げる。上記の場合、周波数成分抽出部２０２は、輪郭強調したい周波数帯域の信号を取り出すフィルタを有していればよい。

具体的には、上記の場合、周波数成分抽出部２０２は、例えば下記の数式１１の右辺に示すような線形フィルタで構成される。

ここで、下記の数式１１において［−１ −３ １ ６ １ −３ −１］に示すフィルタが、第１ＢＰＦ２０４Ａの一例に該当する。また、下記の数式１１において［−３ −１ ２ ４ ２ −１ −３］に示すフィルタが、第２ＢＰＦ２０４Ｂの一例に該当する。

また、下記の数式１１に示す係数３、係数４としては、例えば、予め設定されている固定値、または、画像処理装置１００のユーザのユーザ操作などによって調整可能な可変値が挙げられる。係数３、係数４としては、例えば０．５が挙げられるが、係数３、係数４の例は、０．５に限られない。

図１０は、第２の実施形態に係る画像処理装置が備えるゲイン算出部を構成する周波数成分抽出部２０２を説明するための説明図であり、図８に示す周波数成分抽出部２０２を構成する線形フィルタの周波数特性の一例を示している。図１０の横軸に示す“１”は、ナイキスト周波数を示している。

図１０に示すＡは、上記数式１１の第１項のフィルタの周波数特性を示しており、図１０に示すＢは、上記数式１１の第２項のフィルタの周波数特性を示している。また、図１０に示すＣは、上記数式１１に示す線形フィルタの周波数特性を示している。また、図１０は、係数３および係数４が０．５である場合の周波数特性を示している。

図１０に示すＡに示すように、上記数式１１の第１項のフィルタは、ナイキスト周波数の３０［％］あたりにピークを持っており、また、図１０に示すＢに示すように、上記数式１１の第２項のフィルタは、ナイキスト周波数の４５［％］あたりにピークを持っている。よって、上記数式１１の第１項のフィルタと上記数式１１の第２項のフィルタとの線形結合である、上記数式１１に示す線形フィルタは、図１０のＣに示すように、ナイキスト周波数の３０［％］から５０［％］にゲインを持つ線形フィルタとなっていることが分かる。

なお、第２の実施形態に係る周波数成分抽出部２０２の構成は、図８に示す構成の線形フィルタ、および上記数式１１で表される線形フィルタに限られない。例えば、第２の実施形態に係る周波数成分抽出部２０２は、所望の周波数特性を持つ任意の構成の線形フィルタで構成されていてもよい。

例えば図１０に示すように、第２の実施形態に係る画像処理装置は、所望の周波数特性を持つ線形フィルタで構成される周波数成分抽出部２０２を備えることによって、様々な周波数特性を持つ入力画像の高画質化を図ることが可能である。

また、第２の実施形態に係る画像処理装置は、第１の実施形態に係る画像処理装置よりも、より柔軟性を持った処理を行うことも可能である。

例えば、上記数式７、上記数式８、上記数式９、および上記数式１１を組み合わせることによって、下記の数式１２が得られる。ここで、下記の数式１２に示す“ｂｐｆ１”は、例えば下記の数式１３で表され、下記の数式１３は、ナイキスト周波数の３０［％］あたりにピークを持つＢＰＦを示している。また、下記の数式１２に示す“ｂｐｆ２”は、下記の数式１４で表され、下記の数式１４は、ナイキスト周波数の４５［％］あたりにピークを持つＢＰＦを示している。なお、下記の数式１２に示す“ｂｐｆ１”、“ｂｐｆ２”が、下記の数式１３、数式１４に示す例に限られないことは、言うまでもない。

上記数式１２を参照すると、周波数特性と輪郭の形状の強調度合いを見ながら係数Ａ〜係数Ｄを独立変数として調整することが可能である。よって、第２の実施形態に係る画像処理装置は、上記第１の実施形態に係る画像処理装置よりも、フィルタ設計に柔軟性を持たせることができる。

また、第２の実施形態に係る画像処理装置は、基本的に第１の実施形態に係る画像処理装置と同様の構成を有するので、上述した第１の実施形態に係る画像処理装置が奏する効果と同様の効果を、奏することができる。

以上、本発明の実施形態として、画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、ＰＣ（Personal Computer）やサーバなどのコンピュータ（computer）や、タブレット（tablet）型の装置、携帯電話やスマートフォン（smart phone）などの通信装置、テレビ受像機、モニタなどの表示デバイスなど、画像信号を処理することが可能な、様々な機器に適用することができる。

（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、“コンピュータを、ゲイン算出部に相当するゲイン算出手段、および加算部に相当する加算手段として機能させることが可能なプログラム”）が、コンピュータにおいて実行されることによって、処理対象の画像の高画質化を図ることができる。

また、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラムが、コンピュータにおいて実行されることによって、上述した本発明の実施形態に係る画像処理装置が用いられることにより奏される効果を、奏することができる。

また、上記では、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

１００ 画像処理装置
１０２ ゲイン算出部
１０４ 加算部
１０６、２０２ 周波数成分抽出部
１０８ 一次微分演算部
１１０ 二次微分演算部
１１２Ａ、１１２Ｂ 平均値算出部
１１４Ａ、１１４Ｂ 調整部
１１６ 乗算部

Claims (9)

1. 入力される画像信号に基づいて、前記画像信号を調整するためのゲインを注目画素ごとに算出するゲイン算出部と、
   前記注目画素ごとに、前記画像信号の画素値と対応する前記ゲインとを加算する加算部と、
   を備え、
   前記ゲイン算出部は、前記注目画素ごとの前記画像信号の一次微分の結果を示す第１の値と、前記注目画素ごとの前記画像信号の二次微分の結果を示す第２の値とを用いて、前記注目画素ごとに前記ゲインを算出するものであり、
   前記ゲイン算出部は、画像信号が入力される一次微分演算部と、これにより得られた一次微分の結果または画像信号が入力される二次微分演算部と、画像信号が入力される周波数成分抽出部とを含み、
   前記一次微分演算部及び前記二次微分演算部、並びに、前記周波数成分抽出部は、注目画素及び左右に連続する画素からなる奇数個の画素の値を用いて、線形フィルタ処理を行うものであり、
   前記ゲインは、ナイキスト周波数の３０〜５０％の周波数領域にピークを有することを特徴とする、画像処理装置。
2. 微分は、一の画素と前記一の画素に隣接する少なくとも１以上の画素との空間的な差分をとることであり、
   前記注目画素ごとの前記第１の値は、前記注目画素を含む複数の画素それぞれにおける一次微分値の絶対値についての平均値に、設定されている第１の係数を乗じた値であり、
   前記注目画素ごとの前記第２の値は、前記注目画素を含む複数の画素それぞれにおける二次微分値の絶対値についての平均値に、設定されている第２の係数を乗じた値であることを特徴とする、請求項１に記載の画像処理装置。
3. 前記ゲインが、下記数式９により算出される、請求項２に記載の画像処理装置。
   
   

   

   上記数式９にて、
   
   

   

   上記数式７〜８にて、ｄ１_ａｖｇ及びｄ２_ａｖｇは、４画素以上の一次微分値の絶対値ｄ１の平均値であり、
   上記数式９にて、ｇａｉｎ０は、前記周波数成分抽出部により得られたものである。
4. 前記周波数成分抽出部では、画像信号に第１の線形フィルタ処理を行って得られた第１ゲインに第３の係数を掛け合わせたものと、画像信号に第２の線形フィルタ処理を行って得られた第２ゲインに第４の係数を掛け合わせたものとが、足し合わされることを特徴とする請求項２または３に記載の画像表示装置。
5. 微分は、一の画素と前記一の画素に隣接する少なくとも１以上の画素との空間的な差分をとることであり、
   前記注目画素ごとの前記第１の値は、前記注目画素を含む複数の画素それぞれにおける一次微分値の絶対値についての最大値に、設定されている第１の係数を乗じた値であり、
   前記注目画素ごとの前記第２の値は、前記注目画素を含む複数の画素それぞれにおける二次微分値の絶対値についての最大値に、設定されている第２の係数を乗じた値であることを特徴とする、請求項１に記載の画像処理装置。
6. 前記ゲイン算出部は、前記注目画素ごとに前記第１の値と前記第２の値とを加算した加算値を用いて、前記注目画素ごとに前記ゲインを算出することを特徴とする、請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記ゲイン算出部は、前記画像信号から設定されている周波数成分が抽出された信号と、前記注目画素ごとの前記加算値とを、前記注目画素ごとに乗じて、前記注目画素ごとに前記ゲインを算出することを特徴とする、請求項６に記載の画像処理装置。
8. 入力される画像信号に基づいて、前記画像信号を調整するためのゲインを注目画素ごとに算出するステップと、
   前記注目画素ごとに、前記画像信号の画素値と対応する前記ゲインとを加算するステップと、
   を有し、
   前記ゲインを算出するステップでは、前記注目画素ごとの前記画像信号の一次微分の結果を示す第１の値と、前記注目画素ごとの前記画像信号の二次微分の結果を示す第２の値とを用いて、前記注目画素ごとに前記ゲインが算出され、
   前記ゲインを算出するステップでは、画像信号が入力される一次微分演算部と、これにより得られた一次微分の結果または画像信号が入力される二次微分演算部と、画像信号が入力される周波数成分抽出部とを用い、
   前記一次微分演算部及び前記二次微分演算部、並びに、前記周波数成分抽出部は、注目画素及び左右に連続する画素からなる奇数個の画素の値を用いて、線形フィルタ処理を行うものであり、
   前記ゲインは、ナイキスト周波数の３０〜５０％の周波数領域にピークを有することを特徴とする、画像処理方法。
9. コンピュータを、
   入力される画像信号に基づいて、前記画像信号を調整するためのゲインを注目画素ごとに算出するゲイン算出手段、
   前記注目画素ごとに、前記画像信号の画素値と対応する前記ゲインとを加算する加算手段、
   として機能させ、
   前記ゲイン算出手段は、前記注目画素ごとの前記画像信号の一次微分の結果を示す第１の値と、前記注目画素ごとの前記画像信号の二次微分の結果を示す第２の値とを用いて、前記注目画素ごとに前記ゲインを算出し、
   前記ゲイン算出手段は、像信号が入力される一次微分演算部と、これにより得られた一次微分の結果または画像信号が入力される二次微分演算部と、画像信号が入力される周波数成分抽出部とを含み、
   前記一次微分演算部及び前記二次微分演算部、並びに、前記周波数成分抽出部は、注目画素及び左右に連続する画素からなる奇数個の画素の値を用いて、線形フィルタ処理を行うものであり、
   前記ゲインは、ナイキスト周波数の３０〜５０％の周波数領域にピークを有することを特徴とする、プログラム。

Images