JP3915563B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、多階調で表現された画像の拡大処理を目的としており、特に入力された画像に対してボケやジャギーなどの画質欠陥の発生を抑制して高画質に拡大処理を行う画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体に関する。
【０００２】
【従来の技術】
画像の拡大処理は、画像の編集やファイリング、表示、印刷などを行うシステムにとって基本的な処理の一つであり、また近年、インターネットのホームページ上の画像やデジタルビデオなどのディスプレイ解像度での表示を主目的とした画像データなどの普及により、これらの低解像度画像を高解像度のプリンタなどで印刷する際に、高画質の出力結果を得るために、高画質の拡大処理は重要度が高まっている。
【０００３】
多階調で表現された画像（以下では、これを多値画像と称する）を拡大処理する既存の手法としては、最近傍法や線形補間法、キュービック・コンボリューション法などがある。
【０００４】
最近傍法は、拡大後の各画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を使うという方法であり、演算量が少ないため高速に処理できるが、原画像の１画素がそのまま矩形形状に拡大されるため、斜線部にジャギーが発生したり、倍率が大きい場合には画像がモザイク状になるなど、画質劣化の程度は大きい。
【０００５】
線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大後の画素を逆写像した点の近傍４画素の画素値を線形に補間して画素値を求めるという方法であり、最近傍法よりも重いものの演算量は比較的少なく、ジャギーなども発生しにくい。その一方で、直線的に変化しているという仮定に当てはまらないエッジ部分を中心に、画像全体がボケ気味になるという欠点がある。
【０００６】
キュービック・コンボリューション法は、標本化定理に基づいてｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）を近似した補間関数を定義し、拡大後の画素を逆写像した点の近傍１６画素（Ｘ、Ｙ方向それぞれ４画素）と前記の近似補間関数との畳み込みにより、拡大後の画素値を求める方法である。この方法は、前記２つの手法に比べて画質は比較的良いが、参照範囲が大きく演算量が多い、高域強調気味の特性を持つためエッジ部分で軽いジャギーが発生したり、ノイズ成分が強調されてしまうなどの欠点がある。
【０００７】
これらの問題を解決する試みとして、例えば特開平７−１８２５０３号公報、特開２０００−２２８７２３号公報、特開２０００−２５３２３８号公報、「適応的な２次元標本化関数による高品質な画像拡大再構成」（画像電子学会誌第２８巻第５号P.P.６２０〜６２６）などの方式が提案されている。
【０００８】
【発明が解決しようとする課題】
特開平７−１８２５０３号公報は、注目画素の周囲Ｎ×Ｍ領域(例えば３×３)の画素から最大値、最小値を検出し、さらにコントラストおよび中間値を算出し、このコントラストにより最大値、最小値のいずれかとそれ以外の値の平均値を代表値として導出する。次に注目画素をＮ×Ｍ画素に線形補間処理し、先に算出した中間値を閾値として２値化し、上記２つの代表値を２値化の結果により配置する。コントラストが小さい場合は線形補間処理の画素値をそのまま用いることにより最終的に拡大画像を得るものである。
【０００９】
これによりジャギーが発生せず、自然画像でも補間ボケが生じない良好な変換が可能である旨が記載されているが、コントラストのみでエッジ部を判断しており、エッジの方向再現が難しいという問題がある。またＮ×Ｍ領域を２つの値のみで構成するため、エッジ部にブロック状の歪みが生じるという問題がある。
【００１０】
また、特開２０００−２２８７２３号公報は、原画像を２値化し、その２値画像から原画像に含まれる斜め成分の方向を予め用意した２次元パターン(行列データ)と一致判定することにより求め、求められた斜め方向に沿って補間処理をする。またそれ以外の部分は線形補間処理を行っている。
【００１１】
しかし、原画像を予め定められた閾値により２値化してから斜め成分の方向判定を行っているので、濃度差の大きいエッジに対しては有効であるが、濃度差の小さいエッジの再現には問題がある。
【００１２】
また、特開２０００−２５３２３８号公報は、原画像を線形補間処理で拡大し、それと平行して、原画像において注目画素を含む周囲Ｎ×Ｍ領域毎に２値化し、予め設定された斜線検出パターンと一致判定を行い、注目画素がエッジ領域に属する(斜線検出パターンと一致する)場合には、その方向情報を注目画素にマッピングする。さらにこの方向情報を先に線形補間処理で拡大した拡大画像にマッピングし、マッピングされた方向情報の方向に沿った平滑化フィルタを施すことにより、ジャギーの発生を抑えた拡大処理を行っている。
【００１３】
しかし、特開２０００−２５３２３８号公報の手法は、原画像の拡大、パターンマッチング、方向情報の拡大、拡大処理画像に対する方向依存平滑化フィルタ処理という流れであり、画像サイズが大きくなると処理負荷が非常に大きくなるという問題がある。
【００１４】
また、上記「適応的な２次元標本化関数による高品質な画像拡大再構成」（画像電子学会誌第２８巻第５号P.P.６２０〜６２６）は、キュービック・コンボリューション法においてｓｉｎｃ関数が無限系列であるため有限で打ち切った近似関数を用いる事による誤差や、標本化定理が連続かつ微分可能な信号を対象としているのに対して、画像には不連続な点が多く存在することを課題として、ｓｉｎｃ関数とは異なる不連続に向いておりかつ局所性のある関数を補間関数に用い、さらにエッジ方向を大域的に検出して補間関数をその方向に変形させることでボケやジャギーの少ない拡大画像を得るものである。
【００１５】
しかし、この方式で用いられる関数は、局所的ではあるが倍率ｎに対して畳み込みのマトリクスサイズが４ｎになることからや、大域的なエッジ方向の検出などにより演算量が多いという問題がある。
【００１６】
本発明は以上のような従来技術の問題点を考慮してなされたものであり、ボケやジャギーの少ない拡大画像を処理負荷が小さく高速に求める事が可能な画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体を実現することを目的とする。
【００１７】
【課題を解決するための手段】
上記目的を達成するため、本発明は、注目画素を含む第１の画像領域に対してエッジ方向情報を推定し、この推定した所定のエッジ方向に相当する第１の画像領域に対応したエッジ形状パターンをエッジ方向情報と注目画素を含む画像領域内の画素値とにより選択し、注目画素を含む第１の画像領域の画素値を強調する。そして、選択されたエッジ形状パターンと第１の画像領域の強調された画素値とを用いて拡大画像領域を生成し、この拡大画像領域を所定の方法で配置するものである。ここで、選択するエッジ形状パターンには、前記注目画素を含む第１の画像領域に対応した第１のエッジ形状パターンと、その第１のエッジ形状パターンとエッジ方向が対応し、サイズの異なる第２のエッジ形状パターンとを有しているものである。
【００１８】
このような本発明では、注目画素を含む第1の画像領域に対してエッジ方向情報を推定し、その推定した所定のエッジ方向に相当する第1の画像領域に対応したエッジ形状パターンをエッジ方向情報と注目画素を含む画像領域内の画素値により選択することから、簡単なパターンマッチングのみでエッジ方向に対応したエッジ形状パターンを判別できるようになる。さらに、注目画素を含む第1の画像領域の画素値を強調し、選択されたエッジ形状パターンと第1の画像領域内の強調された画素値を用いて拡大画像領域を生成し、前記拡大画像領域を所定の方法で配置することにより、エッジ方向を考慮した拡大画像を生成でき、ボケやジャギーの少ない拡大画像を処理負荷が小さく高速に求めることができるようになる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づいて説明する。図１は本発明の実施形態に係る画像処理装置の拡大処理を行う処理部を示すブロック図である。同図において、拡大処理部１は、画像ブロック設定部１０と、エッジ方向推定部１１と、画像強調部１２と、エッジパターン選択部１３と、拡大画像ブロック生成部１４と、画像ブロック配置部１５と、画像データ格納部１６から構成されている。以下、本実施形態の各構成要素の概要および動作について説明する。
【００２０】
図１において、画像データは画像処理装置で処理可能な画像フォーマット(例えばBMP、TIFF、PNG)で記述されたものであり、図示しないパーソナルコンピュータやデジタルカメラなどにおいて、作成や編集等を処理するアプリケーションプログラムで作成された画像データから生成されたものである。
【００２１】
画像データ格納部１６は、図示しない入力装置から入力された画像データが拡大処理部１で拡大処理が行われるまで一時的に記憶する機能や、解像度変換または拡大処理された拡大画像データが、図示しない出力装置に出力されるまで一時的に記憶する機能などを備えたものである。
【００２２】
画像ブロック設定部１０は、エッジ方向推定部１１および画像強調部１２における処理で必要とされる各々ブロックサイズを設定し、画像データ格納部１６に記憶されている入力画像データから前記ブロックサイズの画像ブロックを順次切り出し、エッジ方向推定部１１および画像強調部１２に送信する機能を備えたものである。
【００２３】
エッジ方向推定部１１は、前記画像ブロック設定部１０で順次切り出された画像ブロック中の注目領域および前記注目領域周辺の参照領域におけるエッジ方向を、各々の領域の画素値分布から計算し、複数領域で計算された前記エッジ方向から前記注目領域のエッジ方向を推定する機能を備えたものである。
【００２４】
画像強調部１２は、拡大処理部１における拡大処理の拡大倍率に応じたサイズおよび要素のカーネルを用いて、前記画像ブロック設定部１０で切り出された画像ブロック中の注目領域およびその周辺領域の画像データのコントラストを強調する機能を備えたものである。
【００２５】
エッジパターン選択部１３は、エッジ方向推定部１１で推定された注目領域のエッジ方向に相当する注目領域と同サイズの第1エッジパターンを選択し、前記第１エッジパターンに１対１で対応する異なるサイズの第２エッジパターンを特定する機能を備えたものである。
【００２６】
拡大画像ブロック生成部１４は、エッジ方向推定部11で推定されたエッジ方向と、エッジパターン選択部１３で得られた前記第２エッジパターンと、画像強調部１２においてコントラスト強調された画素値を用いて、注目領域に対する拡大画像ブロックを生成する機能を備えたものである。
【００２７】
画像ブロック配置部１５は、拡大画像ブロック生成部１４から出力された拡大画像ブロックを順次配置し、解像度変換および拡大された画像データを画像データ格納部１６に出力する機能を備えたものである。
【００２８】
次に、本発明の実施形態における拡大処理の流れの概要について、図２に示すフローチャートを用いて説明する。なお、以下の説明で図２に示されない符号は図１を参照するものとする。
【００２９】
先ず、ステップＳ２０において、図示しない入力装置から入力され、画像データ格納部１６に記憶された入力画像データに対して、画像ブロック設定部１０で、エッジ方向推定部11および画像強調部12の処理で必要とされる各々のブロックサイズを設定し、前記ブロックサイズの画像ブロックを入力画像データから切り出す。
【００３０】
例えば、図３に示すように、注目領域が２×２サイズ、前記注目領域を含む周辺領域が４×４サイズの場合、設定されるブロックサイズは２倍拡大の場合は図３(ａ)に示す６×６サイズブロック、４倍拡大の場合は図３(ｂ)に示す８×８サイズブロックが切り出される。
【００３１】
次いで、ステップＳ２１において、エッジ方向推定部１２は、切り出された画像ブロック中の注目領域および前記注目領域を含む周辺領域中の参照領域のエッジ方向を計算し、得られた複数のエッジ方向から注目領域のエッジ方向θを推定する。
【００３２】
次に、ステップＳ２２において、エッジパターン選択部１３は、エッジ方向推定部１２で推定されたエッジ方向θおよび注目領域の画素分布パターンを用いて第１および第２エッジパターンを選択する。ここで第１および第２エッジパターンは、後述するエッジ方向および画素分布パターン毎に予め用意されており、図１中には図示しない記憶部などに例えばテーブル情報として記憶されている。
【００３３】
続いて、ステップＳ２３において、画像強調部１２は、拡大率の応じたサイズおよび要素値をもつカーネルを用いて、前記画像ブロック設定部１０で切り出された画像ブロック中の前記注目領域およびその周辺領域の画像データを強調する。
【００３４】
次に、ステップＳ２４において、拡大画像ブロック生成部１４は、エッジ方向推定部１２で推定された前記注目領域のエッジ方向θと、エッジパターン選択部１３で選択された前記エッジパターンおよび画像強調部１２において強調された前記注目領域および周辺領域の画素値を用いて、前記注目領域に対する拡大画像ブロックを生成する。
【００３５】
その後、ステップＳ２５において、画像ブロック配置部１５は、拡大画像ブロック生成部１４で生成された前記注目領域に対する拡大画像ブロックを後述する所定の方法で順次配置し、配置を終えた画像ブロックを画像データ格納部１６に格納する。
【００３６】
そして、ステップＳ２６において、入力画像データに対して出力すべき拡大画像データが生成完了したかを判断し、完了していない場合は、ステップＳ２０に処理を戻し、次の画像ブロックを切り出し上述の処理を繰り返す。完了した場合は、拡大画像データを出力して拡大処理を終了する。
【００３７】
以上、本発明の実施形態における画像処理装置の概要および動作について記述した。次に、この画像処理装置の主要部であるエッジ方向推定部１１、画像強調部１２、エッジパターン選択部１３および拡大画像ブロック生成部１４および画像ブロック配置部１５の詳細について説明する。
【００３８】
先述の図３に示したように、注目領域２×２サイズブロック、前記注目領域を含む周辺領域４×４サイズブロックの場合を例にとり、本実施形態のエッジ方向推定部１１におけるエッジ方向推定の詳細を述べる。
【００３９】
図４(ａ)は注目領域および周辺領域の一例を示す図である。図４中において、注目領域は枠で囲まれた画素{a、b、c、d}＝{15、177、86、203}であり、各数字は各々の画素値を示すものとする。エッジ方向推定部１１におけるエッジ方向推定処理の流れについて、図５に示すフローチャートを用いて説明する。
【００４０】
先ず、ステップＳ５０において、図４中の太線枠で囲まれた注目ブロックのエッジ方向θを以下の式（１）で計算する。また、後述するステップＳ５５における注目領域のエッジ方向推定に用いるエッジ角度の参照数をカウントするための変数である角度参照数を１にセットする。
【００４１】
gx = (a + c ≡ b ≡ d)/2
gy = (a + b ≡ c ≡ d)/2
θ = arctan(gy/gx) …（１）
【００４２】
例えば、具体的に図４(ａ)に示すような注目領域{15、177、86、203})の場合、gx、gyはそれぞれ式（１）よりgx = -139.5、gy = -97となり、図４(ａ)に示す注目領域におけるエッジ方向θはθ=-145.2°となる。さらに図４(ｂ)に示すように、得られたエッジ方向θを22.5°(8方向)で正規化した場合は、上記θ==-145.2°の場合は方向２となる。
【００４３】
次に、ステップＳ５１において、ステップＳ５０で計算された注目領域のエッジ方向θに応じて、図４(ａ)に示した周辺領域中からエッジ方向推定に用いる参照領域を選択する。
【００４４】
図６に、注目領域のエッジ方向による参照領域選択の一例を示す。本注目領域の場合は、正規化されたエッジ方向が方向２であるので、図６(ｃ)に示した４つの参照領域（注目領域を含む上下左右２×２の４つの領域）が選択される。なお、参照領域の選択は図６に示したものに限定されるわけではなく、たとえば図６(ｃ)の場合などは、参照領域数を８（注目領域を含む上下左右および斜め２×２の８つの領域）としたものを用いてもよい。
【００４５】
次に、ステップＳ５２において、ステップＳ５１で選択された参照領域に対して、ステップＳ５０と同様に式（１）に従って、エッジ方向θを計算する。
【００４６】
その後、ステップＳ５３において、ステップＳ５２で計算された選択参照領域のエッジ方向と、ステップＳ５０で計算された注目領域のエッジ方向とをそれぞれ比較する。
【００４７】
両エッジ方向の差が予め設定されている閾値Thよりも小さい場合には、ステップＳ５４において角度参照数を１増やし（ステップＳ５４）、ステップＳ５５に処理を移す。両エッジ方向の差が予め設定されている閾値Thよりも大きい場合には、エッジ方向推定には適さない参照領域と判断し、そのままステップＳ５５に処理を移す。
【００４８】
次に、ステップＳ５５において、全ての選択参照領域のエッジ方向計算が終了したかどうか判断する。終了していればステップＳ５６に処理を移し、まだ終了していない参照領域がある場合には、ステップＳ５２からステップＳ５４の処理を繰り返す。
【００４９】
そして、ステップＳ５６において、注目領域のエッジ方向と、ステップＳ５３においてエッジ方向推定に適したと判断された参照領域のエッジ方向との総和を計算し、前記エッジ方向の総和を角度参照数で割った平均エッジ方向を注目領域の推定エッジ方向とする。
【００５０】
このように、注目領域のエッジ方向として、注目領域のみで推定したエッジ方向から導かれる参照領域のエッジ方向も考慮して注目領域のエッジ方向を推定することによって、簡単な計算のみで精度の高いエッジ方向検出を行うことができるようになる。
【００５１】
なお、上記に示したエッジ方向推定部１１では、入力画像データがグレースケール画像である場合について説明を行っているが、勿論これに限定されるわけではない。例として図７にRGB色空間カラー画像の場合におけるエッジ方向推定処理の流れについて、フローチャートを用いて説明する。
【００５２】
先ず、ステップＳ７０において、注目領域におけるRGB各色空間ブロックそれぞれについて、上記式（１）および下記式（２）を用いてエッジ強度Gを計算する。
G = gx*gx + gy*gy …（２）
【００５３】
次に、ステップＳ７１において、式（２）で計算されたRGB各色空間ブロックの各々のエッジ強度に対して、最大のエッジ強度である色空間ブロックを選択する。
【００５４】
次いで、ステップＳ７２において、ステップＳ７１で選択された色空間ブロックで、図５に示したエッジ方向推定処理であるステップＳ５０からステップＳ５６までの処理を行う。
【００５５】
その後、ステップＳ７３において、最大エッジ強度の色空間ブロックで推定された推定エッジ方向を他の色空間ブロックにおける推定エッジ方向とし、後述するエッジパターン選択部１３および拡大画像ブロック生成部１４に置ける処理を各色空間ブロックに対して行う。
【００５６】
上述したステップＳ７０からステップＳ７３の処理を行うことで、カラー画像における拡大画像データのエッジ部の色ずれなど画質低下原因を抑えることが可能となる。
【００５７】
なお、本実施形態では注目領域および参照領域における式（１）を用いたエッジ方向計算後の正規化を８方向として説明を行ってきたが、勿論これに限定されるわけではなく、さらに精度の高いエッジ方向が必要であれば１２方向(15.0°)、１６方向(12.25°)などに正規化しても良い。
【００５８】
次に、エッジパターン選択部１３の動作の詳細について説明する。エッジパターン選択部１３では、例えば図９に示すようなエッジパターンテーブルを用いて、エッジ方向推定部１１で推定された注目領域のエッジ方向に相当する第１エッジパターンを選択し、選択された第１エッジパターンに対応する第２エッジパターンを決定する。
【００５９】
具体的に図４(ａ)に示す枠で囲まれた注目領域およびその周辺領域の場合について説明する。図４(ａ)に示した前記注目領域に対する推定エッジ方向は、上述のエッジ方向推定部１１の各処理ステップにより、図８に示すように方向１と推定される（注目領域および４つの参照領域のエッジ方向の総和(-738.04)/角度参照数(5) = -147.6、正規化エッジ方向１）。
【００６０】
推定された注目領域のエッジ方向(方向１)に従い、図９に示すエッジパターンテーブル内から注目領域のエッジパターンに相当するパターン候補が選択される。この場合、方向１の第１エッジパターンであるパターン０からパターン３の４つのパターンが、図４(ａ)に示す注目領域に対する第1エッジパターンの候補となる。
【００６１】
次に、エッジパターン選択部１３では、以下に説明するように、パターン０からパターン３のいずれか1つを注目領域に対する第１エッジパターンとして選択する。
【００６２】
図１０は、図４(ａ)に示した注目領域の場合について、４つのエッジパターン候補の中から１つのエッジパターンを選択する方法を具体的に説明した図である。まず、第１エッジパターン候補を図１０(ｂ)に示すようにビットパターン化する。(白部分を０、それ以外を１)。ただし、図９に示すエッジパターンテーブルを予めビットテーブル化して図１中に図示しない記憶部などに記憶しておいても良く、その場合は本処理は省略できる。
【００６３】
次に、下記式（３）に従い、注目領域中の平均画素値（図４（ａ）の場合では120.25）を計算し、注目領域各々の画素値から平均値を引き、その符号を以って注目領域の画素値パターンとする(図１０(ｃ))。さらに画素値パターンをビットパターン化する(図１０（ｄ）)。
【００６４】
Mean = (a + b + c + d)/4
a_sign = a ≡ Mean
b_sign = b ≡ Mean
c_sign = c ≡ Mean
d_sign = d ≡ Mean …（３）
【００６５】
次に、図１０(ｂ)の各エッジパターン候補のビットパターンと、図１０(ｄ)の注目領域のビットパターンにおいてパターンマッチングを行い、注目領域に対する第１エッジパターンを１つ選択する。この場合はパターン２が注目領域に対する第１エッジパターンとして選択される。
【００６６】
最後に、第１エッジパターンが選択されると、それに１対１に対応するように予め用意された第２エッジパターンが決定する。この場合は図１１に示す第２エッジパターンが選ばれる。第２エッジパターンは、後述する拡大画像ブロック生成部１４における注目領域に対する拡大画像ブロック生成の際に使用される。
【００６７】
なお、第１および第２エッジパターンは図９に示したものに限定されるわけではなく、例えば、入力画像データの種類に応じて図９とは異なったエッジパターンを用いてもよく、また各角度における第１および第２エッジパターン候補数を増減させてもよい。
【００６８】
次に、画像強調部１２について詳細に説明する。画像強調部１２では、図１における拡大処理部１における拡大処理の拡大倍率に応じたサイズおよび要素のカーネルを用いて、先述の図３に示したような画像ブロック設定部１０で切り出された画像ブロック中の注目領域およびその周辺領域の画像データのコントラストを強調する。
【００６９】
図１２に画像強調部１２で用いる強調カーネルの具体的な一例を示す。また、図１３は図１２(ａ)に示したカーネル０を用いて画素Ｐを強調する様子を示した図である。この場合、画素Ｐの画素値Ｐ’は次の式（４）に従って計算される。
【００７０】
注目画素値P’ = 1.60*P‐0.15*(a + b + c + d) （４）
a、b、c、d、Pはそれぞれ図１３に示した位置の画素値である。
【００７１】
図１４に入力画像データを８倍拡大する場合、図１２に示した各々の強調カーネルによるコントラスト強調の一例を示す。先ず、入力画像データを２倍拡大する場合に、図１２(ａ)に示すカーネル０を用いて入力画像データのコントラスト強調を行う。
【００７２】
次に、２倍拡大された画像データを２倍拡大する場合に、２倍拡大画像データに対して図１２(ｂ)に示すカーネル１を用いてコントラスト強調を行い、同様に８倍拡大する場合に、４倍拡大画像データに対して図１２(ｃ)に示すカーネル２を用いてコントラスト強調を行う。
【００７３】
なお、コントラスト強調を施すカーネルは図１２に示したものに限定されるわけではなく、入力画像データの種類およびサイズなどにより、カーネルの要素および要素間距離が図１２と異なったカーネルを用いても勿論よい。
【００７４】
次に、拡大画像ブロック生成部14について説明する。拡大画像ブロック生成部１４では、エッジパターン選択部１３で得られた前記第２エッジパターンと、画像強調部１２においてコントラスト強調された画素値を用いて、注目領域に対する拡大画像ブロックを生成する。
【００７５】
拡大画像ブロック生成部１４における拡大画像ブロック生成処理の流れの一例について、図１５に示すフローチャートを用いて説明する。先ず、ステップＳ１５０において、図１６に示すように画像強調部１２においてコントラスト強調された注目領域およびエッジパターン選択部１３で選択された第２エッジパターンを用いて、まず３×３拡大画像ブロックを生成する。３×３拡大画像ブロックの各画素値は、図１６中に示される式で計算される。この画素値計算式は第２エッジパターンによって決まっており、例えば図１７中に他の第２エッジパターンにおける画素値計算式の具体的な例を示す。
【００７６】
次に、ステップＳ１５１において、エッジ方向推定部１１で推定された注目領域の推定エッジ方向を判断し、推定エッジ方向が方向１〜方向３および方向５〜方向７の場合はステップＳ１５２に、推定エッジ方向が方向０および方向４の場合はステップＳ１５３に処理を移す。
【００７７】
ステップＳ１５２では、注目領域の推定エッジ方向が方向１〜方向３および方向５〜方向７の場合に、ステップＳ１５０で生成された３×３拡大画像ブロックから４×４拡大画像ブロックを生成する。
【００７８】
先ず、図１８に示すように、３×３拡大画像ブロックおよび画像強調部１２においてコントラスト強調された周辺領域中の参照画素(r0からr5)を用いて、３×４拡大画像ブロックを生成する。３×４拡大画像ブロックの各画素値は図１８に示す計算式により決定される。また周辺領域中の前記参照画素(r0からr5)は、注目領域における推定エッジ方向に従い選択される。
【００７９】
図１９に推定エッジ方向による選択される参照画素の具体的な一例を示す。なお、参照画素の選択は図１９に示すように２パターンの選択例に限定されるわけではなく、推定エッジ方向に従い、より多くの参照画素選択パターンを用意してもよい。
【００８０】
次に、図２０に示すように、３×４拡大画像ブロックおよび画像強調部１２においてコントラスト強調された周辺領域中の参照画素(r0からr7)を用いて、４×４拡大画像ブロックを生成する。４×４拡大画像ブロックの各画素値は図２０内に示される計算式により決定される。
【００８１】
なお、上記で説明したステップＳ１５２における４×４拡大画像ブロック生成において、３×３ブロック→３×４ブロック→４×４ブロック生成の処理の流れを示したが、勿論３×３ブロック→４×３ブロック→４×４ブロックの処理の流れでもよく、勿論この場合の参照画素選択は便宜変更される。
【００８２】
ステップＳ１５３では、注目領域の推定エッジ方向が方向０および方向４の場合に、ステップＳ１５０で生成された３×３拡大画像ブロックから４×４拡大画像ブロックを生成する。
【００８３】
図２１にステップＳ１５３における４×４拡大画像ブロック生成処理の概要を示す。まず、画像強調部１２においてコントラスト強調された注目領域および周辺領域ブロック(４×４ブロック)を1.25倍拡大する。この場合の拡大手法は線形拡大法であっても投影拡大法であってもよい。
【００８４】
次に、拡大された５×５ブロックの中心部分(３×３ブロック)を、ステップＳ１５０で生成した３×３拡大画像ブロックで置き換え、さらに置き換えた５×５ブロックを1.2倍拡大する。この場合の拡大手法も線形拡大法であっても投影拡大法であってもよい。
【００８５】
最後に、拡大された６×６ブロックの中心部分(４×４ブロック)を、注目領域に対する４×４拡大画像ブロックとして抜き出す。以上、ステップＳ１５０からステップＳ１５３の処理を行うことにより、例えば図２２に示すような、注目領域に対する拡大画像ブロックが生成される。
【００８６】
次に、画像ブロック配置部１５について説明する。画像ブロック配置部１５では、拡大画像ブロック生成部１４で生成された注目領域に対する拡大画像ブロックを所定の方法により順次配置する。
【００８７】
図２３に、拡大画像ブロック生成部１４で生成された４×４拡大画像ブロックを配置する具体的な一例を示す。図２３に示す例では、順次生成された拡大画像ブロック０および拡大画像ブロック１をオーバーラップさせるように配置している。オーバーラップする画素は各々前画素値との平均をよるようにして配置する。
【００８８】
このような本実施形態の画像処理装置および画像処理方法によって、画像の拡大処理を行うにあたり、簡単なパターンマッチングのみでエッジ方向に対応したエッジ形状パターンを選択できるとともに、選択されたエッジ形状パターンに基づくエッジ方向を考慮した画素値を用いて拡大画像を生成することから、ボケやジャギーの発生を抑制した拡大画像を少ない処理負荷によって実現できるようになる。
【００８９】
なお、上記説明した画像処理方法は、画像処理プログラムとしてパーソナルコンピュータ等で実行されたり、インターネット等の通信回線を介して配信されたり、コンピュータ読取可能な記録媒体（例えば、ＣＤ−ＲＯＭ）に記録される態様であってもよい。
【００９０】
また、このような画像処理プログラムは、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話、ＰＤＡ（携帯端末）等のデジタル画像を取り扱う機器において取り込み画像をデジタル的に拡大する場合にも適用可能である。
【００９１】
【発明の効果】
以上説明したように本発明では、画像の拡大処理において、正確なエッジ方向を検出し、そのエッジ方向に応じた画素値から拡大画像を生成することから、ボケやジャギーの画質欠陥を抑制した高画質な拡大処理を小さな処理負荷で高速に実現することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態の基本構成を示すブロック図である。
【図２】 本発明の実施の形態の処理の流れを示すフローチャートである。
【図３】 画像ブロック設定部で切り出される画像ブロックおよび注目領域、周辺領域の例を示す図である。
【図４】 注目領域および周辺領域の具体的な一例と注目領域のエッジ方向を説明する図である。
【図５】 エッジ方向推定部におけるエッジ方向推定処理の流れを示すフローチャートである。
【図６】 エッジ方向推定に用いる参照領域の例を示す図である。
【図７】 エッジ方向推定部における、RGB色空間カラー画像に対するエッジ方向推定処理の流れを示すフローチャートである。
【図８】 図４の注目領域における推定エッジ方向を示す図である。
【図９】 エッジパターンテーブルの具体的な一例を示す図である。
【図１０】 図４の注目領域に対して、第１エッジパターンを選択する方法を具体的に説明した図である。
【図１１】 図４の注目領域における第２エッジパターンを示す図である。
【図１２】 画像強調部で用いる強調カーネルの具体的な例を示す図である。
【図１３】 図１２(ａ)の強調カーネルで画素Ｐを強調する例を示す図である。
【図１４】 入力画像データを８倍拡大する場合の、強調カーネルによるコントラスト強調を説明する図である。
【図１５】 拡大画像ブロック生成部14における、拡大画像ブロック生成処理の流れを示すフローチャートである。
【図１６】 ３×３拡大画像ブロック生成の具体的な一例を示す図である。
【図１７】 図１６の第２エッジパターンと異なる第２エッジパターンの場合の、３×３拡大画像ブロック生成の例を示す図である。
【図１８】 ３×４拡大画像ブロック生成の具体的な一例を示す図である。
【図１９】 推定エッジ方向による参照画素の選択を説明する図である。
【図２０】 ４×４拡大画像ブロック生成の具体的な一例を示す図である。
【図２１】 推定エッジ方向が方向0および方向4の場合における、４×４拡大画像ブロック生成の例を示す図である。
【図２２】 注目領域に対する拡大画像ブロックを示す図である。
【図２３】 画像ブロック配置部における、４×４拡大画像ブロック配置の具体的な一例を示す図である。
【符号の説明】
１…拡大処理部、１０…画像ブロック設定部、１１…エッジ方向推定部、１２…画像強調部、１３…エッジパターン選択部、１４…拡大画像ブロック生成部、１５…画像ブロック配置部、１６…画像データ格納部

Claims (19)

1. 画像の拡大処理を行う画像処理装置において、
   注目画素を含む第１の画像領域に対してエッジ方向情報を推定するエッジ方向推定手段と、
   前記エッジ方向推定手段で推定した所定のエッジ方向に相当する前記第１の画像領域に対応したエッジ形状パターンを前記エッジ方向情報と前記注目画素を含む画像領域内の画素値とにより選択するエッジパターン選択手段と、
   前記注目画素を含む第１の画像領域の画素値を強調する画像強調手段と、
   前記エッジパターン選択手段で選択されたエッジ形状パターンと前記画像強調手段で強調された第１の画像領域の画素値とを用いて、拡大画像領域を生成する拡大画像領域生成手段と、
   前記拡大画像領域生成手段で生成された拡大画像領域を所定の方法で配置する画像配置手段とを有しており、
   前記エッジパターン選択手段のエッジ形状パターンには、前記注目画素を含む第１の画像領域に対応した第１のエッジ形状パターンと、その第１のエッジ形状パターンとエッジ方向が対応し、サイズの異なる第２のエッジ形状パターンとを有している
   ことを特徴とする画像処理装置。
2. 前記エッジ方向推定手段は、前記注目画素を含む第１の画像領域とその周辺の画像領域とのそれぞれに対して、画素値差による各エッジ角度を計算し、その計算した複数のエッジ角度から前記注目画素を含む第１の画像領域のエッジ方向情報を推定する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記エッジ方向推定手段は、前記注目画素を含む第１の画像領域のエッジ方向情報推定に用いる前記画像領域を選択できる
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記エッジ方向推定手段で推定される前記エッジ方向情報は、ある定められた数の方向で正規化されている
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記エッジ方向推定手段は、前記注目画素を含む第１の画像領域のエッジ方向情報を推定すると同時にエッジ強度情報も同時に計算する
   ことを特徴とする請求項１記載の画像処理装置。
6. 前記エッジ方向推定手段は、前記エッジ強度情報に従い、色空間データのうち１つの色空間データを選択し、その選択された色空間データでエッジ方向情報を推定する
   ことを特徴とする請求項１記載の画像処理装置。
7. 前記エッジパターン選択手段は、ある特定の前記エッジ方向情報に対して、少なくとも１つ以上のエッジ形状パターンを有する
   ことを特徴とする請求項１記載の画像処理装置。
8. 前記エッジパターン選択手段は、ある特定の前記エッジ方向情報に対して、前記注目画素を含む第１の画像領域に対応したエッジ形状パターンが複数存在する場合に、前記注目画素を含む第１の画像領域内の各画素を２値パターン化し、前記エッジ形状パターンとのパターンマッチングにより、１つのエッジ形状パターンを選択する
   ことを特徴とする請求項１記載の画像処理装置。
9. 前記第１のエッジ形状パターンと前記第２のエッジ形状パターンとは１対１に対応している
   ことを特徴とする請求項１記載の画像処理装置。
10. 前記画像強調手段は、カーネル要素およびカーネル要素間距離が異なる複数の強調カーネルを有し、各強調カーネルは拡大率に応じて適用される
    ことを特徴とする請求項１記載の画像処理装置。
11. 前記拡大画像領域生成手段は、第１拡大画像領域生成手段と第２拡大画像領域生成手段を有する
    ことを特徴とする請求項１記載の画像処理装置。
12. 前記第１拡大画像領域生成手段は、前記エッジ形状パターン内の各パターン毎に、前記画像強調手段で強調された第１の画像領域内の画素値あるいは前記画素値を２画素以上用いて算出した値を用いて、前記第１の画像領域を拡大し、第１拡大画像領域を生成する
    ことを特徴とする請求項１１記載の画像処理装置。
13. 前記第２拡大画像領域生成手段は、前記エッジ方向推定手段で推定されたエッジ方向情報に従って、第１拡大画像領域を異なる手段で拡大する
    ことを特徴とする請求項１１記載の画像処理装置。
14. 前記第２拡大画像領域生成手段におけるひとつの拡大手段は、前記第１拡大画像領域内の画素値および前記画像強調手段で強調された前記第１の画像領域周辺の画素値を用いて、所定の計算により第２拡大画像領域を生成する
    ことを特徴とする請求項１１記載の画像処理装置。
15. 前記第２拡大画像領域生成手段におけるひとつの拡大手段は、前記エッジ方向推定手段で推定されたエッジ方向情報に従って、前記第１の画像領域周辺の画素値を選択する
    ことを特徴とする請求項１１記載の画像処理装置。
16. 前記第２拡大画像領域生成手段における別の拡大手段は、前記画像強調手段で強調された前記第１の画像領域周辺の画素値を所定の計算で変換した値を用いて、第２拡大画像領域を生成する
    ことを特徴とする請求項１１記載の画像処理装置。
17. 前記画像配置手段は、順次生成される前記拡大画像領域をオーバーラップさせて順次配置していく
    ことを特徴とする請求項１記載の画像処理装置。
18. 前記エッジパターン選択手段は、前記注目画素を含む画像領域内の各々の画素値から前記画像領域の平均画素値を引き、その結果に応じて画素値パターンを生成し、該画素値パターンと前記第１のエッジ形状パターンとに基づき、前記第２のエッジ形状パターンを選択する
    ことを特徴とする請求項１記載の画像処理装置。
19. 画像の拡大処理を行う画像処理プログラムにおいて、
    注目画素を含む第１の画像領域に対してエッジ方向情報を推定するステップと、
    推定した所定のエッジ方向に相当する前記第１の画像領域に対応したエッジ形状パターンを前記エッジ方向情報と前記注目画素を含む画像領域内の画素値とにより選択し、前記注目画素を含む第１の画像領域の画素値を強調するステップと、
    選択された前記エッジ形状パターンと前記第１の画像領域内の強調された画素値とを用いて拡大画像領域を生成し、前記拡大画像領域を所定の方法で配置するステップとを備える画像処理プログラムにおいて、
    前記エッジ形状パターンの選択では、前記注目画素を含む第１の画像領域に対応した第１のエッジ形状パターンと、その第１のエッジ形状パターンとエッジ方向が対応し、サイズの異なる第２のエッジ形状パターンとを選択する
    ことを特徴とする画像処理プログラム。

Images