JP5566500B2 - 解像度変換装置及びその制御方法 - Google Patents

Description

本発明は、解像度変換装置及びその制御方法に関する。

従来、最近傍法、線形補間法、３次畳み込み内挿法（Ｂｉ−Ｃｕｂｉｃ法）などの補間法により補間画素を生成してデジタル画像データの解像度変換を行う技術がある。しかし、これらの方法では、画像中の斜め線などのエッジ部分に補間画素を生成した際に、斜め線のぎざぎざ（ジャギー）が発生する場合がある。
このような課題を解決するための従来技術として、エッジ部分に補間画素を生成する場合に、エッジの方向に応じた補間係数を用いて、補間画素の画素値を決定する方法がある（例えば、特許文献１，２参照）。

特開２０００−１８２０３９号公報 特開２０００−２４２７７４号公報

しかしながら、上述した特許文献１及び特許文献２に開示の技術では、エッジ検出器を用いて補間画素の生成位置がエッジ部分であるか否かを判断するため、例えば１画素幅の線のような細線部分を正確に検出できない（例えば、誤検出、検出漏れなど）。その結果、細線部分のジャギーを解消することができず、画質の劣化を招いてしまう。
また、特許文献１及び特許文献２に開示の技術では、ノイズの多い部分や斜め線が交差しているような複雑なパターンを含む画像部分で、不適切な方向がエッジの方向として検出される虞がある。
それらのように誤った方向が検出されると、時間的又は空間的に補間係数が頻繁に切り替わるため、妨害感として認識される可能性がある。

そこで、本発明は、細線部分等に対して高品質な解像度変換を行うことのできる解像度変換装置及びその制御方法を提供することを目的とする。

本発明の解像度変換装置は、入力画像の補間画素を生成することにより解像度変換する解像度変換装置であって、エッジを検出するための２次元フィルタと、前記補間画素の周囲に存在する周辺画素の画素値とを用いて、エッジ方向と、そのエッジ方向の確からしさを表す第１信頼度とを求め、細線を検出するための２次元フィルタと、前記補間画素の周囲に存在する周辺画素の画素値とを用いて、細線方向と、その細線方向の確からしさを表す第２信頼度とを求め、前記第１信頼度と前記第２信頼度のうちの高い方の信頼度に対応するエッジ方向または細線方向を選択する方向判定手段と、前記方向判定手段により選択されたエッジ方向または細線方向に対応した補間関数と、前記補間画素の周囲に存在する周辺画素の画素値とに基づいて、前記補間画素の画素値を決定する決定手段と、を有することを特徴とする解像度変換装置。

本発明の解像度変換装置の制御方法は、入力画像の補間画素を生成することにより解像度変換する解像度変換装置の制御方法であって、エッジを検出するための２次元フィルタと、前記補間画素の周囲に存在する周辺画素の画素値とを用いて、エッジ方向と、そのエッジ方向の確からしさを表す第１信頼度とを求め、細線を検出するための２次元フィルタと、前記補間画素の周囲に存在する周辺画素の画素値とを用いて、細線方向と、その細線方向の確からしさを表す第２信頼度とを求め、前記第１信頼度と前記第２信頼度のうちの高い方の信頼度に対応するエッジ方向または細線方向を選択する方向判定ステップと、前記方向判定ステップにより選択されたエッジ方向または細線方向に対応した補間関数と、前記補間画素の周囲に存在する周辺画素の画素値とに基づいて、前記補間画素の画素値を決定する決定ステップと、を有することを特徴とする。

本発明によれば、細線部分等に対して高品質な解像度変換を行うことのできる解像度変換装置及びその制御方法を提供することができる。

実施例１に係る解像度変換装置の機能構成の一例を示すブロック図。 補間画素と周辺画素の一例を示す図。 第１の２次元係数の算出方法を説明する図。 実施例１に係る角度算出部の機能構成の一例を示すブロック図。 エッジ角度算出部の処理の一例を示すフローチャート。 細線角度算出部の処理の一例を示すフローチャート。 エッジや細線を検出するための２次元フィルタの一例を示す図。 式５の変換特性を示す図。 式６の変換特性を示す図。 周辺画素の一例を示す図。 実施例２に係る角度算出部の機能構成の一例を示すブロック図。 複雑パターン検出部の処理の一例を示すフローチャート。 複雑パターンを検出するための２次元フィルタの一例を示す図。 式８の変換特性を示す図。 周辺画素の一例を示す図。

＜実施例１＞
以下、図面を参照しながら本発明の実施例１に係る解像度変換装置及びその制御方法について説明する。本実施例に係る解像度変換装置は、入力される画像（入力画像）の解像度を補間画素を生成することにより変換する。

図１は、本実施例に係る解像度変換装置１００の機能構成の一例を示すブロック図である。解像度変換装置１００は、メモリ２０１、座標計算部２０２、画像切り出し部２０３、角度算出部２０４、係数計算部２０５、係数ブレンド部２０６、畳込み演算部２０７、
画像書き込み部２０８、メモリ２０９などを有する。

メモリ２０１には、画像データ（動画像が対象である場合には、ある時刻のフレームの画像データ）が格納されているものとする。メモリ２０１、（後述する）メモリ２０９としては、ハードディスクなどの磁気記録媒体、不揮発性メモリなどの誘電体メモリなどを適用すればよい。また、１つのメモリがメモリ２０１とメモリ２０９の両方を兼ねていてもよい。

画像切り出し部２０３は、メモリ２０１にアクセスして、補間画素（具体的には、これから生成しようとする補間画素の生成位置）の周囲に存在する複数の画素（周辺画素）を参照する。本実施例では周辺画素として、補間画素の周囲に存在する１６画素（（縦）４×（横）４の画素；４×４ｔａｐ画素）を参照する。補間画素とは、解像度変換のために生成される画素のことである。本実施例では、補間画素は、図２に示すように、１６画素の内側の４画素（座標（１，１）、（１，２）、（２，１）、（２，２）の画素）に囲まれる位置に生成されるものとする。なお、周辺画素は４×４ｔａｐ画素に限らない。例えば、２×２や８×８の画素であってもよいし、２×４の画素などであってもよい。

角度算出部２０４は、補間方向（補間角度ｒ）とその補間方向の信頼度ｚを算出する（補間画素方向算出手段）。補間方向とは、補間画素の周囲の領域（周辺領域）が含むエッジまたは細線の方向であり、信頼度ｚとは周辺領域が補間方向のエッジまたは細線を含むことの確からしさを表す値である。本実施例では、複数の２次元フィルタと画像切り出し部２０３で切り出された（参照された）４×４ｔａｐ画素の画素値（輝度信号やＲ，Ｇ，Ｂなどの色信号）とを用いて補間角度ｒの算出を行う。補間角度ｒと信頼度ｚの詳細な算出方法は、後述する。

係数計算部２０５は、補間方向（補間角度ｒ）に応じた補間関数を用いて第１の２次元係数ｗ［ｊ］［ｉ］を算出する（第１係数算出手段）。また、本実施例では、係数計算部２０５は、等方的な分布を示す補間関数（例えば、Ｂｉ−Ｃｕｂｉｃ法などで用いられる補間関数）を用いて第２の２次元係数ｕ［ｊ］［ｉ］を算出する。ｊは縦方向、ｉは横方向の座標を表す。なお、第２の２次元係数は、予め定められていてもよい。第１の２次元係数ｗ［ｊ］［ｉ］は、例えば、図３（ａ）（ｂ）のような３次元の補間関数を用いて算出される。第１の２次元係数ｗ［ｊ］［ｉ］を用いることにより、補間方向（エッジ方向）にある画素の重みが大きくなるため、ジャギーの発生を抑えることができる。具体的には、図３（ａ）は、４５度の斜め線を含む領域内に補間画素を生成する際に用いられる補間関数であり、各等高線は、それぞれ、同じ大きさの係数を繋いだ線である。図３（ａ）の補間関数から得られる２次元係数を用いることによって、４５度の斜め線を含む領域内に適切な画素値の補間画素を生成することができる。図３（ｂ）は、１３５度の斜め線を含む領域内に補間画素を生成する際に用いられる補間関数である。図３（ｂ）の補間関数から得られる２次元係数を用いることによって、１３５度の斜め線を含む領域内に適切な画素値の補間画素を生成することができる。

例えば、図３（ａ）に示す補間関数から第１の２次元係数ｗ［ｊ］［ｉ］を算出する場合には、図３（ｃ）に示すように補間画素の位置（ｉｙ，ｉｘ）を補間関数の原点と一致させる。そして、各入力画素（入力された画像の画素）の位置［ｊ］［ｉ］での関数の値を第１の２次元係数ｗ［ｊ］［ｉ］とする。
なお、座標値（ｉｙ，ｉｘ）は、補間画素を入力座標系へ写像した際の入力座標系での座標値であり、座標計算部２０２により算出される。入力座標系とは、入力画像が構成されている空間の座標系である。

係数ブレンド部２０６は、第１の２次元係数ｗ［ｊ］［ｉ］と第２の２次元係数ｕ［ｊ
］［ｉ］とを、角度算出部２０４で算出された補間方向の信頼度ｚに応じた重みで合成することにより、第３の２次元係数ｔ［ｊ］［ｉ］を算出する（第３係数算出手段）。
例えば、重みをα（０≦α≦１）とすると、ｔ［ｊ］［ｉ］は、

ｔ［ｊ］［ｉ］＝ｗ［ｊ］［ｉ］×α＋ｕ［ｊ］［ｉ］×（１−α） （式１）

のように書ける。なお、本実施例では周辺画素が（縦）４×（横）４の画素であるため、０≦ｊ＜４、０≦ｉ＜４である。

本実施例では、補間方向の信頼度ｚを２５６階調（８ｂｉｔｓ精度）で表現する。その場合には、式１は、例えば、以下の式２によって実現することができる。なお、補間方向の信頼度ｚは、８ｂｉｔｓ精度に限るものではない。

ｔ［ｊ］［ｉ］＝｛ｗ［ｊ］［ｉ］×ｚ
＋ｕ［ｊ］［ｉ］×（２５６−ｚ）＋１２８｝＞＞８ （式２）

なお、式２の“＞＞８”は８ビットシフト、即ち２５６で除算することを意味する。

畳み込み演算部２０７は、係数ブレンド部２０６から出力された第３の２次元係数ｔ［ｊ］［ｉ］と周辺画素（入力画素）の画素値ｘ［ｊ］［ｉ］とを積和演算する。そして、その演算結果を補間画素の画素値（補間画素値ｙ）とする（補間画素値算出手段）。畳み込み演算部２０７の処理は、例えば、式３のように表せる。

ｙ＝Σ（ｔ［ｊ］［ｉ］×ｘ［ｊ］［ｉ］） （式３）

画像書き込み部２０８は、補間画素値ｙをメモリ２０９に記録する。なお、補間画素値ｙは出力座標系の座標値（ｌｙ，ｌｘ）が関連付けられてメモリ２０９に記録される。出力座標系とは、解像度変換後の画像が構成されている空間の座標系であり、出力座標系の座標値（ｌｙ，ｌｘ）は座標計算部２０２により計算される。出力座標系の座標値でメモリ２０１から入力画素を、メモリ２０９から補間画素を出力する（読み出す）ことにより解像度変換後の画像を表示装置などで表示することができる。入力画素の出力座標系での座標値は座標計算部２０２により計算され、メモリ２０１に入力画素と関連付けて記憶される。

図４は、角度算出部２０４の機能構成の一例を示すブロック図である。角度算出部２０４は、エッジ角度算出部５０１、細線角度算出部５０２、信頼度比較部５０３、角度選択部５０４を有する。

エッジ角度算出部５０１は、エッジを検出するための複数の２次元フィルタと、上述した周辺画素の画素値とを用いて、周辺領域がエッジを含むか否かを判断する。更に、周辺領域がエッジを含む場合には、そのエッジの方向（角度ｒ１）とその方向の信頼度である第１信頼度ｚ１を算出する。本実施例では、エッジ角度算出部５０１は、複数の２次元フィルタとして、図７に示すＦ１フィルタ及びＦ２フィルタを用いる。エッジとは、領域間で画素値に大きな差がある部分のことである。

細線角度算出部５０２は、細線を検出するための複数の２次元フィルタと、上述した周辺画素の画素値とを用いて、周辺領域が細線を含むか否かを判断する。更に、周辺領域が細線を含む場合には、その細線の方向（角度ｒ２）とその方向の信頼度である第２信頼度ｚ２を算出する。本実施例では、細線角度算出部５０２は、複数の２次元フィルタとして
、図７に示すＦ３フィルタ、Ｆ４フィルタ、Ｆ５フィルタ、Ｆ６フィルタを用いる。

なお、エッジ角度算出部５０１や細線角度算出部５０２で使用する２次元フィルタは図７に示す構成に限らない。例えば、本実施例では、エッジ角度算出部５０１は横方向と縦方向のエッジを検出するための２つの２次元フィルタを使用しているが、斜め方向のエッジを検出するための２次元フィルタを用いてもよい。

信頼度比較部５０３は、エッジ角度算出部５０１と細線角度算出部５０２から出力されたエッジの方向の信頼度（第１信頼度ｚ１）と細線の方向の信頼度（第２信頼度ｚ２）を比較する。具体的には、ｚ１＞ｚ２の場合に、信頼度比較部５０３は、補間方向の信頼度ｚとして、第１信頼度ｚ１を出力すると共に、補間角度選択信号ｍとして、１を出力する。ｚ１≦ｚ２の場合に、信頼度比較部５０３は、補間方向の信頼度ｚとして、第２信頼度ｚ２を出力すると共に、補間角度選択信号ｍとして、０を出力する。

角度選択部５０４は、信頼度比較部５０３から出力される補間角度選択信号ｍに応じて補間方向を決定する。具体的には、補間角度選択信号ｍが１の場合に、角度選択部５０４は、補間方向（補間角度ｒ）として、エッジの方向（角度ｒ１）を選択する。補間角度選択信号ｍが０の場合に、角度選択部５０４は、補間方向として、細線の方向（角度ｒ２）を選択する。

即ち、本実施例では、第１信頼度ｚ１と第２信頼度ｚ２のうち、より高い信頼度とそれに対応する方向が、それぞれ、補間方向の信頼度、補間方向とされる。なお、本実施例では、ｚ１＝ｚ２の場合に、第２信頼度ｚ２を補間方向の信頼度とし、それに対応する方向を補間方向とするものとしたが、そのような場合には、第１信頼度ｚ１と第２信頼度ｚ２のどちらを補間方向の信頼度としてもよい。エッジの方向と細線の方向のどちらを補間方向としてもよい。

以下、エッジ角度算出部５０１の処理の流れについて詳しく説明する。図５はエッジ角度算出部５０１の処理の一例を示すフローチャートである。
まず、エッジ角度算出部５０１は、周辺画素（４×４ｔａｐ画素）の画素値とＦ１フィルタの積和演算、及び、周辺画素の画素値とＦ２フィルタの積和演算を行う（ステップＳ６００，Ｓ６０１）。

Ｆ１フィルタは横方向のエッジを検出するための２次元フィルタである。周辺領域が横方向のエッジを含む場合には、周辺画素の画素値とＦ１フィルタのマッチングの度合い、即ち、周辺画素の画素値とＦ１フィルタとの積和演算の演算結果（Ｆ１ｏｕｔ）の絶対値は大きな値となる。Ｆ２フィルタは縦方向のエッジを検出するための２次元フィルタであり、周辺領域が縦方向のエッジを含む場合には、周辺画素の画素値とＦ２フィルタの積和演算の演算結果（Ｆ２ｏｕｔ）の絶対値は大きな値となる。また、周辺領域が斜めのエッジを含む場合には、｜Ｆ１ｏｕｔ｜と｜Ｆ２ｏｕｔ｜はいずれも中間的な値となり、周辺領域がエッジを含まない場合には、｜Ｆ１ｏｕｔ｜と｜Ｆ２ｏｕｔ｜はいずれも小さい値となる。そのため、周辺領域がエッジを含む場合には、｜Ｆ１ｏｕｔ｜と｜Ｆ２ｏｕｔ｜の和は大きな値となり、周辺領域がエッジを含まない場合には｜Ｆ１ｏｕｔ｜と｜Ｆ２ｏｕｔ｜の和は小さな値となる。そこで、ステップＳ６０１の次に、エッジ角度算出部５０１は、ステップＳ６００，Ｓ６０１での演算結果の絶対値の和を算出し（ステップＳ６０２）、その算出された値と閾値ａを比較する（ステップＳ６０３）。閾値ａは、例えば、周辺領域がエッジを含むと認めることのできる最小の値である。

ステップＳ６０２で算出された値が閾値ａ以下の場合には（ステップＳ６０４：ＮＯ）、エッジ角度算出部５０１は、周辺領域はエッジを含まないと判断する（ステップＳ６０
５）。ステップＳ６０２で算出された値が閾値ａより大きい場合には（ステップＳ６０４：ＹＥＳ）、エッジ角度算出部５０１は、周辺領域がエッジを含むと判断し、エッジの方向（角度）を算出する（ステップＳ６０６）。Ｆ１フィルタは横方向のエッジを検出するための２次元フィルタであり、Ｆ２フィルタは縦方向のエッジを検出するための２次元フィルタであるため、Ｆ１ｏｕｔとＦ２ｏｕｔはそれぞれ、エッジの横方向の成分、縦方向の成分と解釈できる。そのため、エッジの方向は、以下の式４により求めることができる。なお、用いる２次元フィルタの構成が異なればエッジの方向の算出方法も当然異なる。また、本実施例では、以下の式から得られる角度θをエッジの方向とはせず、角度θの値に応じて、０，４５，９０，１３５度の中からエッジの方向（角度ｒ１）を選択する。

θ＝ｔａｎ^−１（Ｆ２ｏｕｔ／Ｆ１ｏｕｔ） （式４）

具体的には、角度θが２６度より大きく６３度より小さい場合には（ステップＳ６０７：ＹＥＳ）、エッジ角度算出部５０１はエッジの方向（角度ｒ１）を４５度と判断する（ステップＳ６０８）。角度θが１１６度より大きく１５３度より小さい場合には（ステップＳ６０９：ＹＥＳ）、エッジ角度算出部５０１はエッジの方向（角度ｒ１）を１３５度と判断する（ステップＳ６１０）。角度θが上記範囲外（ステップＳ６０７，ステップＳ６０９で検討される範囲外）である場合には、エッジ角度算出部５０１はエッジの方向（角度ｒ１）を０度または９０度と判断する。具体的には、角度θが６３度以上１１６度以下の場合に角度ｒ１は９０度、角度θが２６度以下または１５３度以上の場合に角度ｒ１は０度と判断される。

また、｜Ｆ１ｏｕｔ｜と｜Ｆ２ｏｕｔ｜の和が算出された後（即ち、ステップＳ６０２の処理以降に）、エッジ角度算出部５０１は上記処理とは別に、ステップＳ６１２の処理を行う。ステップＳ６１２では、エッジ角度算出部５０１が、エッジの方向の信頼度（第１信頼度ｚ１）を算出する。｜Ｆ１ｏｕｔ｜と｜Ｆ２ｏｕｔ｜の和の下限の閾値を閾値ａ（ステップＳ６０３で用いた閾値）、上限の閾値を閾値ｄとすると、第１信頼度ｚ１は、

ｚ１＝２５６×（｜Ｆ１ｏｕｔ｜＋｜Ｆ２ｏｕｔ｜−ａ）／（ｄ−ａ） （式５）

と表すことができる。閾値ｄは、例えば、周辺領域が確実にエッジを含むと認められる最小の値である。

図８に式５の変換特性（第１信頼度ｚ１（縦軸）と｜Ｆ１ｏｕｔ｜と｜Ｆ２ｏｕｔ｜の和（横軸）の関係）を示す。｜Ｆ１ｏｕｔ｜と｜Ｆ２ｏｕｔ｜の和が大きいほど、２次元フィルタと周辺画素の画素値とのマッチングの度合いが大きく、周辺領域がエッジを含む可能性が高い。そのため、式５のように第１信頼度ｚ１を算出することにより、図８に示すように｜Ｆ１ｏｕｔ｜と｜Ｆ２ｏｕｔ｜の和が大きいほど高い第１信頼度ｚ１を得ることができる。

次に、細線角度算出部５０２の処理の流れについて詳しく説明する。図６は細線角度算出部５０２の処理の一例を示すフローチャートである。
まず、細線角度算出部５０２は、周辺画素の画素値とＦ３フィルタの積和演算、及び、周辺画素の画素値とＦ４フィルタの積和演算を行う（ステップＳ７００，Ｓ７０１）。同様に、周辺画素の画素値とＦ５フィルタの積和演算、及び、周辺画素の画素値とＦ６フィルタの積和演算を行う（ステップＳ７０２，Ｓ７０３）。

Ｆ３フィルタは４５度の方向の細線を検出するための２次元フィルタである。周辺領域が４５度方向の細線を含む場合には、周辺画素の画素値とＦ３フィルタの積和演算の演算
結果（Ｆ３ｏｕｔ）の絶対値は大きな値となる。Ｆ４フィルタは１３５度の方向の細線を検出するための２次元フィルタであり、周辺画素の画素値とＦ４フィルタの積和演算の演算結果をＦ４ｏｕｔとする。Ｆ５フィルタは９０度の方向の細線を検出するための２次元フィルタであり、周辺画素の画素値とＦ５フィルタの積和演算の演算結果をＦ５ｏｕｔとする。Ｆ６フィルタは０度の方向の細線を検出するための２次元フィルタであり、周辺画素の画素値とＦ６フィルタの積和演算の演算結果をＦ６ｏｕｔとする。

ステップＳ７０３の次に、細線角度算出部５０２は、｜Ｆ３ｏｕｔ｜、｜Ｆ４ｏｕｔ｜、｜Ｆ５ｏｕｔ｜、｜Ｆ６ｏｕｔ｜と、閾値ｂとをそれぞれ比較する（ステップＳ７０４）。閾値ｂは、例えば、周辺領域が細線を含むと認めることのできる最小の値である。全ての絶対値（｜Ｆ３ｏｕｔ｜、｜Ｆ４ｏｕｔ｜、｜Ｆ５ｏｕｔ｜、｜Ｆ６ｏｕｔ｜の全て）が閾値ｂ以下の場合には（ステップＳ７０５：ＮＯ）、ステップＳ７０６へ進む。ステップＳ７０６では、細線角度算出部５０２は、周辺領域は細線を含まないと判断する。｜Ｆ３ｏｕｔ｜、｜Ｆ４ｏｕｔ｜、｜Ｆ５ｏｕｔ｜、｜Ｆ６ｏｕｔ｜のうち、少なくとも１つが閾値ｂより大きい場合には、細線角度算出部５０２は、周辺領域が細線を含むと判断し、ステップＳ７０７へ進む。なお、本実施例では、全ての絶対値を１つの閾値と比較したが、絶対値毎（用いた２次元フィルタ毎）に異なる閾値と比較してもよい。

ステップＳ７０７では、細線角度算出部５０２が、閾値ｂより大きい絶対値（周辺画素の画素値と２次元フィルタの積和演算の演算結果の絶対値）のうち、最も値の大きい絶対値を検出する。｜Ｆ３ｏｕｔ｜が最大であった場合には（ステップＳ７０８：ＹＥＳ）、細線角度算出部５０２が、｜Ｆ３ｏｕｔ｜を用いて細線の方向の信頼度（第２信頼度ｚ２）を算出する（ステップＳ７０９）。そして、細線の方向（角度ｒ２）を４５度と判断する（ステップＳ７１０）。｜Ｆ４ｏｕｔ｜が最大であった場合には（ステップＳ７１１：ＹＥＳ）、細線角度算出部５０２が、｜Ｆ４ｏｕｔ｜を用いて第２信頼度ｚ２を算出し（ステップＳ７１２）、細線の方向（角度ｒ２）を１３５度と判断する（ステップＳ７１３）。｜Ｆ５ｏｕｔ｜が最大であった場合には（ステップＳ７１４：ＹＥＳ）、細線角度算出部５０２が、｜Ｆ５ｏｕｔ｜を用いて第２信頼度ｚ２を算出し（ステップＳ７１５）、細線の方向（角度ｒ２）を９０度と判断する（ステップＳ７１６）。｜Ｆ６ｏｕｔ｜が最大であった場合には（ステップＳ７１４：ＮＯ）、細線角度算出部５０２が、｜Ｆ６ｏｕｔ｜を用いて第２信頼度ｚ２を算出し（ステップＳ７１７）、細線の方向（角度ｒ２）を０度と判断する（ステップＳ７１８）。

ステップＳ７０９，Ｓ７１２，Ｓ７１５，Ｓ７１７での第２信頼度の算出方法の一例について具体的に説明する。絶対値の最大値（ステップＳ７０７で検出される絶対値）を｜Ｆ３−６｜、下限の閾値を閾値ｂ（ステップＳ７０４で用いた閾値）、上限の閾値を閾値ｅとすると、第２信頼度ｚ２は、

ｚ２＝２５６×（｜Ｆ３−６｜−ｂ）／（ｅ−ｂ） （式６）

と表すことができる。閾値ｅは、例えば、周辺領域が確実に細線を含むと認められる最小の値である。

図９に式６の変換特性（第２信頼度ｚ２（縦軸）と絶対値の最大値｜Ｆ３−６｜（横軸）の関係）を示す。絶対値が大きいほど、２次元フィルタと周辺画素の画素値とのマッチングの度合いが大きく、周辺画素がその方向の細線を構成している可能性が高い。そのため、式６のように第２信頼度ｚ２を算出することにより、図９に示すように｜Ｆ３−６｜が大きいほど高い第２信頼度ｚ２を得ることができる。

補間方向（補間角度ｒ）と補間方向の信頼度ｚの算出処理の具体例について、図１０を
用いて説明する。図１０は、周辺画素（４×４ｔａｐ画素）の一例を示す図である。図１０において、枠内に記載されている数値は、それぞれ、各周辺画素の画素値を表す。以下では、閾値ａ，ｂを０、閾値ｄを８１８４、閾値ｅを１２２７６として説明する。

図１０（ａ）の例では、周辺画素の画素値と２次元フィルタの積和演算の演算結果から、エッジの方向（角度ｒ１）は０度と判断され、細線の方向（角度ｒ２）は０度と判断される。また、｜Ｆ１ｏｕｔ｜＋｜Ｆ２ｏｕｔ｜＝８１８４となるため、式５から、第１信頼度ｚ１（エッジの方向の信頼度）＝２５６となる。そして、最大値｜Ｆ３−６｜＝１２２７６となるため、式６から、第２信頼度ｚ２（細線の方向の信頼度）＝２５６となる。よって図１０（ａ）の例では、補間方向（補間角度ｒ）は０度となり、補間方向の信頼度ｚは２５６となる。

図１０（ｂ）の例では、角度ｒ１及び角度ｒ２はどちらも４５度と判断される。また、｜Ｆ１ｏｕｔ｜＋｜Ｆ２ｏｕｔ｜＝８１８４となるため、式５から、第１信頼度ｚ１＝２５６となる。そして、最大値｜Ｆ３−６｜＝６１３８となるため、式６から、第２信頼度ｚ２＝１２８となる。よって図１０（ｂ）の例では、補間角度ｒは４５度となり、補間方向の信頼度ｚは２５６となる。

図１０（ｃ）の例では、角度ｒ１及び角度ｒ２はどちらも４５度と判断される。また、｜Ｆ１ｏｕｔ｜＋｜Ｆ２ｏｕｔ｜＝２０４６となるため、式５から、第１信頼度ｚ１＝６４となる。そして、最大値｜Ｆ３−６｜＝６１３８となるため、式６から、第２信頼度ｚ２＝１２８となる。よって図１０（ｃ）の例では、補間角度ｒは４５度となり、補間方向の信頼度ｚは１２８となる。

図１０（ｄ）の例では、周辺領域がエッジを含まないものと判断され、角度ｒ２は４５度と判断される。また、｜Ｆ１ｏｕｔ｜＋｜Ｆ２ｏｕｔ｜＝０となるため、式５から、第１信頼度ｚ１＝０となる。そして、最大値｜Ｆ３−６｜＝１２２７６となるため、式６から、第２信頼度ｚ２＝２５６となる。よって図１０（ｄ）の例では、補間角度ｒは４５度となり、補間方向の信頼度ｚは２５６となる。

以上述べたように、本実施例によれば、補間方向に応じた補間関数から得られる第１の２次元係数と、Ｂｉ−Ｃｕｂｉｃ法などで用いられる補間関数から得られる第２の２次元係数とが、補間方向の信頼度に応じた重みで合成される。そして、得られた第３の２次元係数を用いて、補間画素の画素値が算出される。それにより、ジャギーを抑制することができる。更に、本実施例によれば、周辺領域がエッジを含むか否かだけでなく、細線を含むか否かも判断され、それらの判断結果から補間方向及びその信頼度が決定される。そのため、細線部分のジャギーを好適に抑制することができ、方向の誤検出による妨害間の無い高品質な解像度変換を行うことができる。

＜実施例２＞
以下、図面を参照しながら本発明の実施例２に係る解像度変換装置及びその制御方法について説明する。従来の方法や実施例１の方法で補間画素を生成する際に、ノイズの多い部分や斜め線が交差しているような複雑なパターン（複雑パターン）を含む領域では、誤った方向が補間方向とされる虞がある。そのような補間方向の誤算出は、画質の劣化の原因となる。そこで、本実施例では、周辺領域が複雑パターンを含む場合を考慮して補間画素の画素値を決定する構成について説明する。

本実施例に係る解像度変換装置の構成は実施例１と同様であり、角度算出部の構成のみが異なる（実施例１と区別するため、本実施例に係る角度算出部には符号３０４を付す）。そこで、以下では、角度算出部３０４について詳しく説明し、他の構成については説明
を省略する。

図１１は角度算出部３０４の機能構成の一例を示すブロック図である。角度算出部３０４は、エッジ角度算出部５０１、細線角度算出部５０２、信頼度比較部５０３、角度選択部５０４、複雑パターン検出部１２０１、信頼度補正部１２０２を有する。なお、実施例１と同じ機能については同じ符号を付し、説明は省略する。

複雑パターン検出部１２０１は、複雑パターンを検出するための複数の２次元フィルタと、周辺画素の画素値とを用いて、周辺領域が複雑パターンを含むか否かを判断する。更に、周辺領域が複雑パターンを含む場合には、周辺領域が複雑パターンを含むことの確からしさである第３信頼度ｚ３を算出する。本実施例では、複雑パターン検出部１２０１は、複数の２次元フィルタとして、図１３に示すＦ７フィルタ、Ｆ８フィルタ、Ｆ９フィルタ、Ｆ１０フィルタ、Ｆ１１フィルタを用いる。なお、Ｆ７フィルタ〜Ｆ１１フィルタで検出できる複雑パターンはそれぞれ異なる。また、使用する２次元フィルタの構成はこれらに限らない。
そして、それらの２次元フィルタと周辺画素の画素値とのマッチングの度合いに応じて、周辺領域が複雑パターンを含むか否かを表す複雑有無信号ｎと第３信頼度ｚ３を出力する。

信頼度補正部１２０２は、信頼度比較部５０３から出力された信頼度ｚを補正する。具体的には、信頼度補正部１２０２は、複雑パターン検出部１２０１が出力する複雑有無信号ｎにより周辺領域が複雑パターンを含むか否かを判断する。複雑パターンを含まない場合には、補正後の信頼度（補間方向の信頼度）ｚｈとして、信頼度比較部５０３から出力された信頼度ｚをそのまま出力する。複雑パターンを含む場合には、補正後の信頼度ｚｈとして第３信頼度ｚ３に応じた信頼度ｚ４を出力する。また、その場合には、周辺領域が複雑パターンを含む可能性が高いほど、補間方向は信頼できないものとなるため、第３信頼度ｚ３が大きいほど補正後の信頼度ｚｈを低くすることが好ましい。例えば、信頼度のとり得る最大値から第３信頼度ｚ３を減じた値を信頼度ｚ４とすればよい（式７）。

ｚ４＝２５６−ｚ３ （式７）

以下、複雑パターン検出部１２０１の処理の流れについて詳しく説明する。図１２は、複雑パターン検出部１２０１の処理の一例を示すフローチャートである。
まず、複雑パターン検出部１２０１は、周辺画素の画素値とＦ７フィルタの積和演算、及び、周辺画素の画素値とＦ８フィルタの積和演算を行う（ステップＳ１３００，Ｓ１３０１）。同様に、周辺画素の画素値とＦ９フィルタの積和演算、周辺画素の画素値とＦ１０フィルタの積和演算、周辺画素の画素値とＦ１１フィルタの積和演算を行う（ステップＳ１３０２，Ｓ１３０３，Ｓ１３０４）。

複雑パターンを検出するための２次元フィルタ（Ｆ７フィルタ〜Ｆ１１フィルタ）と周辺画素の画素値との積和演算の演算結果の絶対値が大きいことは、その２次元フィルタで検出できる複雑パターンを周辺領域が含んでいる可能性が高いことを意味する。
そこで、ステップＳ１３０４の次に、複雑パターン検出部１２０１は、ステップＳ１３００〜Ｓ１３０４での演算結果の絶対値と閾値ｃとをそれぞれ比較する（ステップＳ１３０５）。閾値ｃは、例えば、周辺領域が複雑パターンを含むと認めることのできる最小の値である。なお、本実施例では、全ての絶対値を１つの閾値と比較したが、絶対値毎（用いた２次元フィルタ毎）に異なる閾値と比較してもよい。

そして、全ての絶対値（｜Ｆ７ｏｕｔ｜、｜Ｆ８ｏｕｔ｜、｜Ｆ９ｏｕｔ｜、｜Ｆ１０
ｏｕｔ｜、｜Ｆ１１ｏｕｔ｜の全て）が閾値ｃ以下の場合には（ステップＳ１３０６：ＮＯ）、ステップＳ１３０７へ進む。ステップＳ１３０７では、複雑パターン検出部１２０１が、周辺領域が複雑パターンを含まないと判断し、複雑有無信号ｎを０とする。｜Ｆ７ｏｕｔ｜、｜Ｆ８ｏｕｔ｜、｜Ｆ９ｏｕｔ｜、｜Ｆ１０ｏｕｔ｜、｜Ｆ１１ｏｕｔ｜のうち、少なくとも１つが閾値ｃより大きい場合には、ステップＳ１３０８へ進む。

ステップ１３０８では、複雑パターン検出部１２０１が、最も値の大きい絶対値を検出する。｜Ｆ７ｏｕｔ｜が最大であった場合には（ステップＳ１３０９：ＹＥＳ）、複雑パターン検出部１２０１が、｜Ｆ７ｏｕｔ｜を用いて周辺領域が複雑パターンを含むことの信頼度（第３信頼度ｚ３）を算出する（ステップＳ１３１０）。｜Ｆ８ｏｕｔ｜が最大であった場合には（ステップＳ１３１２：ＹＥＳ）、｜Ｆ８ｏｕｔ｜から第３信頼度ｚ３が算出される（ステップＳ１３１３）。｜Ｆ９ｏｕｔ｜が最大であった場合には（ステップＳ１３１４：ＹＥＳ）、｜Ｆ９ｏｕｔ｜から第３信頼度ｚ３が算出される（ステップＳ１３１５）。｜Ｆ１０ｏｕｔ｜が最大であった場合には（ステップＳ１３１６：ＹＥＳ）、｜Ｆ１０ｏｕｔ｜から第３信頼度ｚ３が算出される（ステップＳ１３１７）。｜Ｆ１１ｏｕｔ｜が最大であった場合には（ステップＳ１３１６：ＮＯ）、｜Ｆ１１ｏｕｔ｜から第３信頼度ｚ３が算出される（ステップＳ１３１８）。第３信頼度ｚ３の算出後、ステップＳ１３１１へ進む。
ステップＳ１３１１では、複雑パターン検出部１２０１が、周辺領域が複雑パターンを含むと判断し、複雑有無信号ｎを１とする。

ステップＳ１３１０，Ｓ１３１３，Ｓ１３１５，Ｓ１３１７，Ｓ１３１８での第３信頼度の算出方法の一例について具体的に説明する。絶対値の最大値（ステップＳ１３０８で検出される絶対値）を｜Ｆ７−１１｜、下限の閾値を閾値ｃ（ステップＳ１３０５で用いた閾値）、上限の閾値を閾値ｇとすると、第３信頼度ｚ３は、

ｚ３＝２５６×（｜Ｆ７−１１｜−ｃ）／（ｇ−ｃ） （式８）

と表すことができる。閾値ｇは、例えば、周辺領域が確実に複雑パターンを含むと認められる最小の値である。

図１４に式８の変換特性（第３信頼度（縦軸）と絶対値の最大値｜Ｆ７−１１｜（横軸）の関係）を示す。絶対値が大きいほど、２次元フィルタと周辺画素の画素値のマッチング度合いが大きく、周辺領域が複雑パターンを含む可能性が高い。そのため、式８のように第３信頼度ｚ３を算出することにより、図１４に示すように｜Ｆ７−１１｜が大きいほど高い第３信頼度ｚ３を得ることができる。

補間方向（補間角度ｒ）と補正後の信頼度ｚｈの算出処理の具体例について図１５を用いて説明する。図１５は、周辺画素（４×４ｔａｐ画素）の一例を示す図である。図１５において、枠内に記載されている数値は、それぞれ、各周辺画素の画素値を表す。以下では、閾値ａ，ｂ，ｃを０、閾値ｄ，ｇを８１８４、閾値ｅを１２２７６として説明する。なお、図１５（ａ）〜（ｄ）は、図１０（ａ）〜（ｄ）と同じであるため、補間角度ｒの算出処理についての説明は省略する。

図１５（ａ）の例では、｜Ｆ７ｏｕｔ｜、｜Ｆ８ｏｕｔ｜、｜Ｆ９ｏｕｔ｜、｜Ｆ１０ｏｕｔ｜、｜Ｆ１１ｏｕｔ｜の全てが閾値ｃ以下となるため、複雑有無信号ｎは０となる。よって、図１５（ａ）の例では、実施例１と同様に、補間角度ｒは０度となり、補間方向の信頼度は２５６となる。

図１５（ｂ）の例では、最大値｜Ｆ７−１１｜＝２０４６となるため、複雑有無信号ｎ
は１となり、式８から第３信頼度ｚ３＝６４となる。よって、図１５（ｂ）の例では、補間角度ｒは実施例１と同様に４５度となり、補間方向の信頼度ｚは２５６−６４＝１９２となる。

図１５（ｃ）の例では、最大値｜Ｆ７−１１｜＝１０２３となるため、複雑有無信号ｎは１となり、式８から第３信頼度ｚ３＝３２となる。よって、図１５（ｃ）の例では、補間角度ｒは実施例１と同様に４５度となり、補間方向の信頼度ｚは２５６−３２＝２２４となる。

図１５（ｄ）の例では、最大値｜Ｆ７−１１｜＝４０９２となるため、複雑有無信号ｎは１となり、式８から第３信頼度ｚ３＝１２８となる。よって、図１５（ｄ）の例では、補間角度ｒは実施例１と同様に４５度となり、補間方向の信頼度ｚは２５６−１２８＝１２８となる。

図１５（ｅ）の例では、周辺領域はエッジを含まないものと判断される。また、｜Ｆ３ｏｕｔ｜と｜Ｆ４ｏｕｔ｜が共に最大値｜Ｆ３−６｜となるため、角度ｒ２は４５度または１３５度と判断される。角度ｒ２が４５度とされるか１３５度とされるかは、図６のステップＳ７０８とステップＳ７１１の処理の順番に依存する（図６の例では、ステップＳ７０８の処理がステップＳ７１１の処理より先に行われるため、角度ｒ２は４５度とされる）。そして、｜Ｆ１ｏｕｔ｜＋｜Ｆ２ｏｕｔ｜＝０となるため、式５から、第１信頼度ｚ１＝０となる。最大値｜Ｆ３−６｜＝１２２７６となるため、式６から、第２信頼度ｚ２＝２５６となる。その結果、信頼度比較部５０３からは、補間角度ｒとして４５度または１３５度が出力され、補間方向の信頼度ｚとして２５６が出力される。

図１５（ｅ）の例では、周辺領域が複雑パターンを含んでおり、そのような信頼度ｚをそのまま用いると、補間画素の画素値として誤った値が算出されてしまう。ところが、図１５（ｅ）の例では、最大値｜Ｆ７−１１｜＝８１８４となるため、複雑有無信号ｎは１となり、式８から第３信頼度ｚ３はｚ３＝２５６となる。そして、補間方向の信頼度ｚの値は補正される。具体的には、第３信頼度ｚ３に応じた信頼度ｚ４の値（２５６−２５６＝０）が補正後の信頼度ｚｈとされる。その結果、補間画素の画素値を算出するために用いる第３の２次元係数ｔ［ｊ］［ｉ］において、補間角度ｒに応じた補間関数を用いて算出された第１の２次元係数ｗ［ｊ］［ｉ］は考慮されなくなり、上述したような誤算出を抑制することができる。

図１５（ｆ）の例では、周辺領域はエッジを含まないものと判断され、角度ｒ２は１３５度と判断される。そして、｜Ｆ１ｏｕｔ｜＋｜Ｆ２ｏｕｔ｜＝０となるため、式５から、第１信頼度ｚ１＝０となる。最大値｜Ｆ３−６｜＝１２２７６となるため、式６から、第２信頼度ｚ２＝２５６となる。その結果、信頼度比較部５０３からは、補間角度ｒとして１３５度が出力され、補間方向の信頼度ｚとして２５６が出力される。

図１５（ｆ）の例では、周辺領域が複雑パターンを含んでおり、そのような信頼度ｚをそのまま用いると、補間画素の画素値として誤った値が算出されてしまう。ところが、図１５（ｆ）の例では、最大値｜Ｆ７−１１｜＝６１３８となるため、複雑有無信号ｎは１となり、式８から第３信頼度ｚ３はｚ３＝１９２となる。そして、第３信頼度ｚ３に応じた信頼度ｚ４の値（２５６−１９２＝６４）が補正後の信頼度ｚｈとされる。その結果、２次元係数ｗ［ｊ］［ｉ］と２次元係数ｕ［ｊ］［ｉ］が１：３の重みで合成された第３の２次元係数ｔ［ｊ］［ｉ］が得られ、上述したような誤算出を抑制することができる。

以上述べたように、本実施例によれば、周辺領域が複雑パターンを含むか否かを検討した上で、最終的な補間方向の信頼度が決定される。それにより、実施例１で述べた効果に
加え、複雑パターン部分に対してもジャギーを好適に抑制することができ、方向の誤検出による妨害感の無い高品質な解像度変換を行うことができる。

１００ 解像度変換装置
２０４ 角度算出部
２０５ 係数計算部
２０６ 係数ブレンド部
２０７ 畳込み演算部
５０１ エッジ角度算出部
５０２ 細線角度算出部
５０３ 信頼度比較部
５０４ 角度選択部

Claims (10)

1. 入力画像の補間画素を生成することにより解像度変換する解像度変換装置であって、
   エッジを検出するための２次元フィルタと、前記補間画素の周囲に存在する周辺画素の画素値とを用いて、エッジ方向と、そのエッジ方向の確からしさを表す第１信頼度とを求め、細線を検出するための２次元フィルタと、前記補間画素の周囲に存在する周辺画素の画素値とを用いて、細線方向と、その細線方向の確からしさを表す第２信頼度とを求め、前記第１信頼度と前記第２信頼度のうちの高い方の信頼度に対応するエッジ方向または細線方向を選択する方向判定手段と、
   前記方向判定手段により選択されたエッジ方向または細線方向に対応した補間関数と、前記補間画素の周囲に存在する周辺画素の画素値とに基づいて、前記補間画素の画素値を決定する決定手段と、
   を有することを特徴とする解像度変換装置。
2. 前記決定手段は、前記第１信頼度と前記第２信頼度のうちの高い方の信頼度に応じて、前記選択されたエッジ方向または細線方向に対応した補間関数に係る第１係数と、等方的な補間関数に係る第２係数とを重み付け合成して、前記補間画素の画素値を決定する
   ことを特徴とする請求項１に記載の解像度変換装置。
3. 前記方向判定手段は、
   複雑なパターンを検出するための２次元フィルタと、前記周辺画素の画素値とを用いて、前記周辺領域が複雑なパターンを含むことの確からしさを表す第３信頼度を求め、
   前記決定手段は、
   前記周辺領域が複雑なパターンを含む場合に、前記第３信頼度に応じて、前記選択されたエッジ方向または細線方向に対応した補間関数に係る第１係数と、前記等方的な補間関数に係る第２係数とを重み付け合成して、前記補間画素の画素値を決定する
   ことを特徴とする請求項２に記載の解像度変換装置。
4. 前記決定手段は、前記周辺領域が複雑なパターンを含む場合に、信頼度の取り得る最大値から前記第３信頼度を減じた値に応じて、前記選択されたエッジ方向または細線方向に対応した補間関数に係る第１係数と、前記等方的な補間関数に対応した第２係数とを重み
   付け合成して、前記補間画素の画素値を決定する
   ことを特徴とする請求項３に記載の解像度変換装置。
5. 前記第２係数は、Ｂｉ−Ｃｕｂｉｃ法で用いられる補間関数を用いて算出される２次元係数である
   ことを特徴とする請求項２〜４のいずれか１項に記載の解像度変換装置。
6. 入力画像の補間画素を生成することにより解像度変換する解像度変換装置の制御方法であって、
   エッジを検出するための２次元フィルタと、前記補間画素の周囲に存在する周辺画素の画素値とを用いて、エッジ方向と、そのエッジ方向の確からしさを表す第１信頼度とを求め、細線を検出するための２次元フィルタと、前記補間画素の周囲に存在する周辺画素の画素値とを用いて、細線方向と、その細線方向の確からしさを表す第２信頼度とを求め、前記第１信頼度と前記第２信頼度のうちの高い方の信頼度に対応するエッジ方向または細線方向を選択する方向判定ステップと、
   前記方向判定ステップにより選択されたエッジ方向または細線方向に対応した補間関数と、前記補間画素の周囲に存在する周辺画素の画素値とに基づいて、前記補間画素の画素値を決定する決定ステップと、
   を有することを特徴とする解像度変換装置の制御方法。
7. 前記決定ステップでは、前記第１信頼度と前記第２信頼度のうちの高い方の信頼度に応じて、前記選択されたエッジ方向または細線方向に対応した補間関数に係る第１係数と、前記等方的な補間関数に係る第２係数とが重み付け合成されて、前記補間画素の画素値が決定される
   ことを特徴とする請求項６に記載の解像度変換装置の制御方法。
8. 前記方向判定ステップでは、
   複雑なパターンを検出するための２次元フィルタと、前記周辺画素の画素値とを用いて、前記周辺領域が複雑なパターンを含むことの確からしさを表す第３信頼度が求められ、
   前記決定ステップでは、
   前記周辺領域が複雑なパターンを含む場合に、前記第３信頼度に応じて、前記選択されたエッジ方向または細線方向に対応した補間関数に係る第１係数と、前記等方的な補間関数に係る第２係数とが重み付け合成されて、前記補間画素の画素値が決定される
   ことを特徴とする請求項７に記載の解像度変換装置の制御方法。
9. 前記決定ステップでは、前記周辺領域が複雑なパターンを含む場合に、信頼度の取り得る最大値から前記第３信頼度を減じた値に応じて、前記選択されたエッジ方向または細線方向に対応した補間関数に係る第１係数と、前記等方的な補間関数に係る第２係数とが重み付け合成されて、前記補間画素の画素値が決定される
   ことを特徴とする請求項８に記載の解像度変換装置の制御方法。
10. 前記第２係数は、Ｂｉ−Ｃｕｂｉｃ法で用いられる補間関数を用いて算出される２次元係数である
    ことを特徴とする請求項７〜９のいずれか１項に記載の解像度変換装置の制御方法。

Images