JP6982479B2 - 超解像化装置及びプログラム - Google Patents

Description

本発明は、動画又は静止画のフレーム画像を原画像とし超解像化する超解像化装置及びプログラムに関する。

従来、動画又は静止画のフレーム画像を原画像とし超解像化する超解像化装置として、例えば、入力された原画像に対し多重解像度分解（空間ウェーブレット分解）を施して、水平、垂直、及び斜め高周波成分を抽出し、原画像及び高周波成分の位置合わせ（レジストレーション）と割り付けを行って空間ウェーブレット再構成処理を施すことによって超解像化する技法が知られている（例えば、特許文献１参照）。

超解像処理では様々な技法があるが、このうち多重解像度成分間のレジストレーション超解像処理について、その処理を概略して大別すると、入力された原画像に対し「多重解像度分解処理」、「位置合わせ処理」、「割り付け処理」、「再構成処理」の４種類の処理を行い、超解像画像を生成する。

多重解像度分解処理では、原画像（被超解像画像）に対し空間ウェーブレット分解を施して、空間低周波帯域成分と空間高周波帯域成分に分解して抽出する。

位置合わせ処理では、例えば原画像を基準フレーム画像、空間低周波帯域成分を参照フレーム画像とみなして、ブロックマッチングによる位置合わせを行う。

割り付け処理では、位置合わせされたブロック位置では原画像と、この原画像を空間ウェーブレット分解した空間低周波帯域成分が似ていることを利用して、同じブロック位置における原画像のナイキスト周波数を超える超解像高周波成分は空間ウェーブレット分解した空間高周波帯域成分に似ていると仮定して、超解像化する各階層に割り付けることにより原画像に対する超解像高周波成分を生成する。

再構成処理では、各ブロックの全ての位置合わせと割り付けを終えた後、原画像と、空間高周波帯域成分とを用いて空間ウェーブレット再構成を行うことにより超解像画像を生成する。

尚、動画像に係るブロック歪を目立たなくする技法として、オーバーラップブロックベース動き補償により動画像を予測符号化する技法が知られている（例えば、特許文献２参照）。

特許文献２の技法では、処理対象の画像をブロック分割し、尚且つオーバーラップブロックを設定し、分割したブロックと、オーバーラップブロックとの重複部分が当該分割したブロックのブロック境界を含まないようにするためにオーバーラップブロックのサポート領域を縮小させる窓関数を設定してフィルタ処理を施すようにしている。

特開２０１５−２０３９５２号公報 特許第４２９５２２７号明細書

上述したように、動画又は静止画のフレーム画像を原画像とし超解像化する超解像化装置として、入力された原画像に対し多重解像度分解（空間ウェーブレット分解）を施して、水平、垂直、及び斜め高周波成分を抽出し、原画像及び高周波成分の位置合わせ（レジストレーション）と割り付けを行って空間ウェーブレット再構成処理を施すことによって超解像化する技法が知られている。

しかしながら、従来技術の超解像化装置における割り付け処理では、超解像高周波成分の不連続性に起因するブロックノイズが生じやすいという問題がある。このブロックノイズは、不自然なブロック状のアーティファクトとして、主観画質を大きく低下させるため好ましくない。

ここで、特許文献２の技法では、動画像に係るオーバーラップブロックのサポート領域を縮小させる窓関数を設定してフィルタ処理するようにしているが、この技法では動画像に係るブロック歪を目立たなくすることが可能であるものの、この技法を超解像化装置における位置合わせ処理に対し同じように適用しても、超解像化されることによるブロックノイズの低減効果が得られない。

また、超解像化処理後の超解像画像に対し窓関数を設定してフィルタ処理することによりブロックノイズを低減することも考えられるが、この場合、超解像画像全体に対し一律に同パラメータの窓関数を適用するか、領域単位の画像評価を改めて行って窓関数を設定することとなり、超解像化品質の劣化や処理負担の増大が懸念される。

そこで、本発明の目的は、動画又は静止画のフレーム画像を原画像としブロックノイズを低減して超解像化する超解像化装置及びプログラムを提供することにある。

本発明による超解像化装置は、動画又は静止画のフレーム画像を原画像として超解像化する超解像化装置であって、原画像に対しｎ階空間ウェーブレット分解を施し、当該原画像を空間低周波帯域成分と空間高周波帯域成分とに分解して抽出する多重解像度分解部と、前記原画像をブロック領域に分割し、前記原画像を基準フレーム画像とし前記空間低周波帯域成分の画像を参照フレーム画像としてブロックマッチングすることによる位置合わせを行うレジストレーション部と、前記ブロック領域毎の位置合わせに関する評価値に応じて、窓関数を適応設定する窓関数設定部と、前記位置合わせの結果を参照して前記空間低周波帯域成分の画像における各ブロック領域に対応付けた前記空間高周波帯域成分の画像の各ブロック領域に対し、当該各ブロック領域の位置合わせに関する評価値に応じて適応設定された窓関数を適用し、超解像化する各階層成分に割り付けることにより前記原画像に対する超解像高周波成分を生成する超解像高周波成分生成部と、前記原画像を空間低周波帯域成分、前記超解像高周波成分を空間高周波帯域成分と見なして、空間ウェーブレット再構成を行うことにより超解像画像を生成する再構成部と、を備えることを特徴とする。

また、本発明による超解像化装置において、前記窓関数設定部は、前記窓関数として所定の視覚特性上の光学ローパスフィルタ特性を模擬するガウシアンフィルタを用い、前記ブロック領域毎の位置合わせに関する評価値として示される差分値が小さいほど、当該位置合わせの確度は高いとして前記ガウシアンフィルタの分散値を大きくするように制御することを特徴とする。

また、本発明による超解像化装置において、前記窓関数設定部は、前記窓関数として所定の視覚特性上の光学ローパスフィルタ特性を模擬する低域通過型フィルタを用い、前記ブロック領域毎の位置合わせに関する評価値として示される差分値が小さいほど、当該位置合わせの確度は高いとして前記低域通過型フィルタのカットオフ周波数を高くするように制御することを特徴とする。

また、本発明による超解像化装置において、前記窓関数設定部は、割り付け先の前記超解像高周波成分の周波数が高くなるほど、前記ガウシアンフィルタの分散値を小さくするように制御することを特徴とする。

また、本発明による超解像化装置において、前記窓関数設定部は、割り付け先の前記超解像高周波成分の周波数が高くなるほど、前記低域通過型フィルタのカットオフ周波数を高くするように制御することを特徴とする。

更に、本発明によるプログラムは、コンピューターを、本発明の超解像化装置として機能させるためのプログラムとして構成される。

本発明によれば、超解像画像における効果的なブロックノイズの低減を実現することができ、超解像画質を向上させることができる。

本発明による一実施形態の超解像化装置の概略構成を示すブロック図である。 本発明による一実施形態の超解像化装置における超解像化処理を示すフローチャートである。 本発明による一実施形態の超解像化装置における多重解像度分解処理の説明図である。 本発明による一実施形態の超解像化装置における位置合わせ処理（レジストレーション）の説明図である。 （ａ）,（ｂ）は、それぞれ本発明による一実施形態の超解像化装置における窓関数の設定テーブル例を示す説明図である。 本発明による一実施形態の超解像化装置における超解像高周波成分（超解像第１階層）の生成と割り付け処理の説明図である。 本発明による一実施形態の超解像化装置における超解像高周波成分（超解像第２階層）の生成と割り付け処理の説明図である。

以下、本発明による一実施形態の超解像化装置について、図面を参照して詳細に説明する。

（装置構成）
図１は本発明による一実施形態の超解像化装置１の概略構成を示すブロック図である。本実施形態の実施形態の超解像化装置１は、多重解像度分解部１１、レジストレーション部１２、超解像高周波成分生成部１３、再構成部１４、及び窓関数設定部１５を備える。

多重解像度分解部１１は、動画又は静止画のフレーム画像を原画像として入力し、空間周波数成分分解パラメータを用いて原画像に対しｎ階空間ウェーブレット分解を施して、空間低周波帯域成分と空間高周波帯域成分に分解して抽出し、分解成分画像として空間低周波帯域成分と空間高周波帯域成分の各画像を生成してレジストレーション部１２に出力する。

空間周波数成分分解パラメータは、多重解像度分解処理に用いる分解階数ｎ（ｎは１以上の整数）を指定するパラメータであり、以下に説明する例ではｎ＝２として指定する。従って、多重解像度分解部１１は、まずは原画像に対し１階空間ウェーブレット分解を施すことで、空間低周波帯域成分として、水平及び垂直で低周波の１階低周波成分ＬＬ^１、水平低周波及び垂直高周波の１階高周波成分ＬＨ^１、水平高周波及び垂直低周波の１階高周波成分ＨＬ^１、及び水平及び垂直で高周波の１階高周波成分ＨＨ^１を得る。続いて、多重解像度分解部１１は、この１階低周波成分ＬＬ^１に対し更なる１階空間ウェーブレット分解を施すことで２階階空間ウェーブレット分解が実現され、空間低周波帯域成分（水平及び垂直で低周波の２階低周波成分ＬＬ^２）、及び空間高周波帯域成分（水平低周波及び垂直高周波の２階高周波成分ＬＨ^２、水平高周波及び垂直低周波の２階高周波成分ＨＬ^２、及び水平及び垂直で高周波の２階高周波成分ＨＨ^２）を得る。

多重解像度分解部１１では、原画像に対しｎ階空間ウェーブレット分解を施して、空間低周波帯域成分と空間高周波帯域成分に分解し対応付けて抽出できればよく、画像サイズの調整に係るデシメーション処理の有無は設計に応じて随意行う。

レジストレーション部１２は、原画像と、多重解像度分解部１１により抽出・生成された分解成分画像（空間低周波帯域成分と空間高周波帯域成分の各画像）とを入力し、レジストレーションパラメータを用いて、原画像をブロック領域に分割し（並びにオーバーラップブロック分割を行うことも可能）、原画像を基準フレーム画像とし、空間低周波帯域成分の画像ＬＬ^ｎ（本例ではＬＬ^２）を参照フレーム画像としてブロックマッチングによる位置合わせを行う。

レジストレーションパラメータは、ブロックマッチングを行う際のブロックサイズ及び探索範囲を含む。探索範囲は精度向上のためには原画像全体とするのがよいが、処理速度向上のために探索範囲を対象ブロックの近傍の範囲に限定してもよい。

そして、レジストレーション部１２は、当該ブロックマッチングにより位置合わせを行った位置合わせ結果として、当該空間低周波帯域成分の画像ＬＬ^ｎ（本例ではＬＬ^２）の各ブロック領域に対応する位置関係を空間高周波帯域成分の各画像ＬＨ^２，ＨＬ^２，ＨＨ^２に対応付けて示すｎ階（本例では２階）周波数成分別のレジストレーション情報を生成する。そして、レジストレーション部１２は、超解像高周波成分生成部１３及び窓関数設定部１５に生成したｎ階（本例では２階）周波数成分別のレジストレーション情報を出力するとともに、分解成分画像（空間低周波帯域成分と空間高周波帯域成分の各画像）についてはそのまま超解像高周波成分生成部１３に出力する。

例えば、レジストレーション部１２は、ブロックマッチングを行う際のブロックサイズとして例えば４画素×４画素とすることができる。また、ブロックマッチングは、絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）、二乗誤差和（ＳＳＤ；Sum of Squared Difference）などの評価関数を用いた予め定めた既知の技法により行うが、少なくともブロックマッチングの精度を評価可能とする評価値を示すものとする。従って、レジストレーション部１２が出力するｎ階（本例では２階）周波数成分別のレジストレーション情報には、位置合わせ結果として、各ブロック領域のブロックサイズ、位置合わせを行った各ブロック領域の位置、及び各ブロック領域のブロックマッチングの評価値を含んだものとする。

窓関数設定部１５は、レジストレーション部１２から各ブロック領域に対応する位置関係を空間高周波帯域成分の各画像ＬＨ^２，ＨＬ^２，ＨＨ^２に対応付けて示すｎ階（本例では２階）成分別のレジストレーション情報を入力し、ｎ階（本例では２階）周波数成分別のレジストレーション情報に応じて窓関数を適応設定して、レジストレーション情報別の窓関数を示す窓関数情報を生成して超解像高周波成分生成部１３に出力する。

窓関数設定部１５の処理については詳細に後述するが、一般的なレンズや一般的な人の瞳関数などの視覚特性上の光学ローパスフィルタ特性に応じた効果的なブロックノイズの低減が実現できる窓関数としてガウシアンフィルタ又は低域通過型フィルタを利用する。そして、窓関数設定部１５は、レジストレーション部１２から各ブロック領域に対応する位置関係を空間高周波帯域成分レジストレーション情報（各ブロック領域のブロックマッチングの評価値）に応じて窓関数のフィルタ特性を適応設定し、そのレジストレーション情報別の窓関数を示す窓関数情報を生成して超解像高周波成分生成部１３に出力する。

超解像高周波成分生成部１３は、多重解像度分解部１１により抽出・生成された分解成分画像（空間低周波帯域成分と空間高周波帯域成分の各画像）と、レジストレーション部１２により生成されたレジストレーション情報と、窓関数設定部１５により適応設定された窓関数情報を入力する。そして、超解像高周波成分生成部１３は、レジストレーション情報を参照して、空間低周波帯域成分の画像の各ブロック領域に対応付けた空間高周波帯域成分の画像の各ブロック領域に対し、レジストレーション情報別の窓関数を示す窓関数情報を参照して、当該各ブロック領域の位置合わせに関する評価値に応じて適応設定された窓関数を適用し、超解像化する各階層成分（本例では２階層の超解像高周波成分）に窓関数を適用した空間高周波帯域成分を割り付ける。これにより、原画像に対する超解像高周波成分を生成し、再構成部１４に出力する。

即ち、超解像高周波成分生成部１３は、窓関数情報を用いて割り付けに用いるブロック領域の超解像高周波成分に窓関数を適用してから割り付けを行う。

再構成部１４は、原画像を空間低周波帯域成分、超解像高周波成分（超解像第１階層及び第２階層）を空間高周波帯域成分と見なして、空間ウェーブレット再構成を行うことにより超解像画像を生成する。

（装置動作）
以下、多重解像度分解処理の説明である図３、乃至割り付け処理の説明図である図７を参照しながら、超解像化処理を示すフローチャートを示す図２を基準に、本実施形態の超解像化装置１における一実施例のｎ階空間ウェーブレット分解処理（ｎ＝２）を利用した超解像化処理を説明する。

まず、超解像化装置１は、多重解像度分解部１１により、動画又は静止画のフレーム画像を原画像として入力し、空間周波数成分分解パラメータを用いて原画像に対し２階空間ウェーブレット分解を施して、空間低周波帯域成分と空間高周波帯域成分に分解して抽出し、分解成分画像として空間低周波帯域成分と空間高周波帯域成分の各画像を生成する（ステップＳ１）。

図３に示すように、多重解像度分解部１１による処理は、原画像Ｏに対し本例のように２階空間ウェーブレット分解を施すことで、空間低周波帯域成分（水平及び垂直で低周波の２階低周波成分）ＬＬ^２と、空間高周波帯域成分（水平低周波及び垂直高周波の２階高周波成分、水平高周波及び垂直低周波の２階高周波成分、及び水平及び垂直で高周波の２階高周波成分）ＬＨ^２，ＨＬ^２，ＨＨ^２を抽出し、これらの周波数成分ＬＬ^２，ＬＨ^２，ＨＬ^２，ＨＨ^２の各画像を分解成分画像として生成する。

続いて、超解像化装置１は、レジストレーション部１２により、原画像をブロック領域に分割し（並びにオーバーラップブロック分割を行うことも可能）、原画像を基準フレーム画像とし、空間低周波帯域成分の画像ＬＬ^２を参照フレーム画像としてブロックマッチングによる位置合わせ（レジストレーション）を行い、当該空間低周波帯域成分の画像ＬＬ^２の各ブロック領域に対応する位置関係を空間高周波帯域成分の各画像ＬＨ^２，ＨＬ^２，ＨＨ^２に対応付けて示す２階周波数成分別のレジストレーション情報を生成する（ステップＳ２）。

２階周波数成分別のレジストレーション情報は、位置合わせ結果として、各ブロック領域のブロックサイズ、位置合わせを行った各ブロック領域の位置、及び各ブロック領域のブロックマッチングの評価値（絶対値誤差和（ＳＡＤ）、二乗誤差和（ＳＳＤ）等）を含む。

図４に示すように、レジストレーション部１２による位置合わせ処理は、原画像Ｏを所定ブロックサイズ（例えば４画素×４画素）のブロック領域ｂｋ♯ｋに分割し、原画像Ｏを基準フレーム画像とし、空間低周波帯域成分の画像ＬＬ^２を参照フレーム画像としてブロックマッチングによる位置合わせ（レジストレーション）を行う。これにより、レジストレーション部１２は当該２階周波数成分別のレジストレーション情報を生成する。尚、原画像Ｏをブロック領域ｂｋ♯ｋに分割する際に、オーバーラップブロック分割によるブロック領域ｂｋ♯ｍを含めることも可能であり、「ブロック領域に分割」と称するときはオーバーラップブロック分割を行うことも含む。

続いて、超解像化装置１は、窓関数設定部１５により、レジストレーション部１２から各ブロック領域に対応する位置関係を空間高周波帯域成分の各画像ＬＨ^２，ＨＬ^２，ＨＨ^２に対応付けて示すｎ階（本例では２階）成分別のレジストレーション情報を入力し、２階周波数成分別のレジストレーション情報に応じて窓関数を適応設定する（ステップＳ３）。

窓関数設定部１５による窓関数設定処理は、窓関数として、ガウシアンフィルタ又は低域通過型フィルタを用いる。

より具体的に、窓関数設定部１５は、窓関数としてガウシアンフィルタを用いるときは、一般的なレンズや一般的な人の瞳関数などの視覚特性上の光学ローパスフィルタ特性を模擬するガウシアンフィルタとし、位置合わせ結果の評価値としての差分値（ＳＡＤ値又はＳＳＤ値）が小さければ、ブロック領域の位置合わせ確度は高いとしてガウシアンフィルタの分散値σを大きくするように制御する。

また、窓関数設定部１５は、窓関数として低域通過型フィルタを用いるときは、一般的なレンズや一般的な人の瞳関数などの視覚特性上の光学ローパスフィルタ特性を模擬する低域通過型フィルタとし、１次の低域通過型フィルタを用いることができるが、より精度よく模擬するには２次以上の低域通過型フィルタとするのが好適であり、従ってＮ（Ｎは１以上の整数）次の低域通過型フィルタとすることができる。そして、窓関数設定部１５は、窓関数としてＮ次の低域通過型フィルタを用いるときは、位置合わせ結果の評価値としての差分値（ＳＡＤ値又はＳＳＤ値）が小さければ、ブロック領域の位置合わせ確度は高いとして当該低域通過型フィルタのカットオフ周波数ω０を高くするように制御する。

更に、窓関数設定部１５は、超解像化品質を維持するために、割り付け先の超解像高周波成分の周波数が高くなるほど（超解像階層が高くなるほど）、当該ガウシアンフィルタの分散値σを小さく、又は当該低域通過型フィルタのカットオフ周波数ω０を高くするように制御するのが好適である。

即ち、後述する超解像高周波成分生成部１３において、ｎ階空間ウェーブレット分解の分解階数ｎに応じた超解像階層（超解像第１階層及び超解像第１階層）の超解像高周波成分を生成することになるため、窓関数設定部１５は、後述する超解像高周波成分生成部１３における原画像に対し水平及び垂直を各２倍にする超解像高周波成分（超解像第１階層）の生成用と、原画像に対し水平及び垂直を各４倍にする超解像高周波成分（超解像第２階層）の生成用とで、その超解像階層が高くなるほど、比例して当該ガウシアンフィルタの分散値σを小さく、又は当該低域通過型フィルタのカットオフ周波数ω０を高くするように可変設定する。

このような窓関数設定部１５による窓関数設定処理において、窓関数のフィルタ特性を適応設定する際に、位置合わせ結果の評価値としての差分値（ＳＡＤ値又はＳＳＤ値）に応じてフィルタ特性（当該ガウシアンフィルタの分散値σ、又は当該低域通過型フィルタのカットオフ周波数ω０）を演算し決定することも可能であるが、処理負担の軽減や高速化のために、好適にはテーブルを用いて決定する。

また、テーブルを用いて、位置合わせ結果の評価値としての差分値に応じてフィルタ特性を決定する際にも、処理負担の軽減からは、線形又は非線形に連続的に変化するテーブルとするより閾値判定で決定するのが好適である。

例えば、窓関数としてガウシアンフィルタを用いるときは、図５（ａ）に例示するように、例えば位置合わせ結果のＳＡＤ値からガウシアンフィルタの分散値σを設定する際に、例えば被超解像画像が８ ［ｂｉｔ／ｐｅｌ］の深度の場合、ＳＡＤ値が４ ［ｌｅｖｅｌ／ｐｅｌ]未満の場合は分散値σ＝３．０／ｎ_ｓとし、４〜８ ［ｌｅｖｅｌ／ｐｅｌ］の場合は分散値σ＝２．０／ｎ_ｓとし、８〜１６ ［ｌｅｖｅｌ／ｐｅｌ］の場合はσ＝１．０／ｎ_ｓとし、それ以上の場合はσ＝０．５／ｎ_ｓとするテーブルを用いる。本例ではｎ＝２であることから超解像高周波成分として超解像第１階層及び第２階層を生成することができ、超解像高周波成分（超解像第１階層）の生成用にはｎ_ｓ＝１とし、超解像高周波成分（超解像第２階層）の生成用にはｎ_ｓ＝２とすることで、その超解像階層が高くなるほど、比例して当該ガウシアンフィルタの分散値σを小さくしている。

また、窓関数としてＮ次の低域通過型フィルタを用いるときは、原画像の解像度の２倍に対応する周波数をａとしたとき、図５（ｂ）に例示するように、例えば位置合わせ結果のＳＡＤ値からカットオフ周波数ω０を設定する際に、例えば被超解像画像が８ ［ｂｉｔ／ｐｅｌ］の深度の場合、ＳＡＤ値が４ ［ｌｅｖｅｌ／ｐｅｌ]未満の場合はω０＝ｎ_ｓ＊ａとし、４〜８ ［ｌｅｖｅｌ／ｐｅｌ］の場合はω０＝２＊（ｎ_ｓ＊ａ）／３とし、８〜１６ ［ｌｅｖｅｌ／ｐｅｌ］の場合はω０＝（ｎ_ｓ＊ａ）／３とし、それ以上の場合はω０＝（ｎ_ｓ＊ａ）／６とするテーブルを用いる。本例ではｎ＝２であることから超解像高周波成分として超解像第１階層及び第２階層を生成することができ、超解像高周波成分（超解像第１階層）の生成用にはｎ_ｓ＝１とし、超解像高周波成分（超解像第２階層）の生成用にはｎ_ｓ＝２とすることで、その超解像階層が高くなるほど、比例して当該カットオフ周波数ω０を高くしている。

このように、本実施形態の超解像化装置１では、超解像高周波成分の割り付け時に、一般的なレンズや一般的な人の瞳関数などの視覚特性上の光学ローパスフィルタ特性に応じた効果的なブロックノイズの低減が実現できる窓関数として、ガウシアンフィルタ又は低域通過型フィルタを用い、尚且つレジストレーションに応じて窓関数のフィルタ特性を適応設定するように制御する。

続いて、超解像化装置１は、超解像高周波成分生成部１３により、空間低周波帯域成分ＬＬ^２の画像における各ブロック領域に対応付けた空間高周波帯域成分ＬＨ^２，ＨＬ^２，ＨＨ^２の画像の各ブロック領域に対し、レジストレーション情報別の窓関数を示す窓関数情報を参照して当該各ブロック領域の位置合わせに関する評価値に応じて適応設定された窓関数を適用し、超解像化する各階層の超解像高周波成分に割り付けることにより原画像に対する超解像高周波成分を生成する（ステップＳ４）。

超解像高周波成分生成部１３における割り付け処理では、原画像と空間低周波帯域成分ＬＬ^２との間で位置合わせされた箇所（ブロック領域）では、同じ位相位置の空間高周波帯域成分ＬＨ^２，ＨＬ^２，ＨＨ^２の原画像のナイキスト周波数を超える超解像高周波成分に似ていると仮定して、超解像化する各階層（本例ではｎ＝２とした第１及び第２階層）に割り付けることにより原画像に対する超解像高周波成分を生成する。

例えば、図６に示すように、原画像Ｏに対し水平及び垂直を各２倍にする超解像高周波成分（超解像第１階層）の生成時には、原画像Ｏと空間低周波帯域成分ＬＬ^２との間で位置合わせされたブロック領域ｂｋ♯ｋについて、同じ位相位置の空間高周波帯域成分ＬＨ^２，ＨＬ^２，ＨＨ^２の原画像のナイキスト周波数を超える超解像高周波成分に似ていると仮定して、それぞれ超解像高周波成分（超解像第１階層）ＬＨ^０，ＨＬ^０，ＨＨ^０の領域に割り付けることにより原画像Ｏに対する超解像高周波成分ＬＨ^０，ＨＬ^０，ＨＨ^０を生成する。

同じく、図７に示すように、原画像Ｏに対し水平及び垂直を各４倍にする超解像高周波成分（超解像第２階層）の生成時には、原画像Ｏと空間低周波帯域成分ＬＬ^２との間で位置合わせされたブロック領域ｂｋ♯ｋについて、同じ位相位置の空間高周波帯域成分ＬＨ^２，ＨＬ^２，ＨＨ^２の原画像のナイキスト周波数を超える超解像高周波成分に似ていると仮定して、それぞれ超解像高周波成分（超解像第２階層）ＬＨ^−１，ＨＬ^−１，ＨＨ^−１の領域に割り付けることにより原画像Ｏに対する超解像高周波成分ＬＨ^−１，ＨＬ^−１，ＨＨ^−１を生成する。

最後に、超解像化装置１は、再構成部１４により、原画像を空間低周波帯域成分、超解像高周波成分（超解像第１階層及び第２階層）を空間高周波帯域成分と見なして、空間ウェーブレット再構成を行うことにより超解像画像を生成する（ステップＳ５）。

以上のように、本発明に係る超解像化装置１は、多重解像度成分間のレジストレーション超解像処理において、超解像高周波成分の割り付け時に、一般的なレンズや一般的な人の瞳関数などの視覚特性上の光学ローパスフィルタ特性に応じた効果的なブロックノイズの低減が実現できる窓関数を用い、尚且つレジストレーションに応じて窓関数を適応設定するように制御する。これにより、当該光学ローパスフィルタ特性に応じた効果的なブロックノイズの低減が実現でき、超解像画質を向上させることができる。

つまり、本発明に係る超解像化装置１では、多重解像度成分間のレジストレーション超解像処理としているため、原画像を多重解像度分解し、原画像と当該多重解像度分解した空間低周波帯域成分との間でブロックマッチングによる位置合わせを行い、位置合わせされた箇所の多重解像度分解した空間高周波帯域成分が被超解像画像のナイキスト周波数を超える超解像高周波成分に似ていると仮定して、当該空間高周波帯域成分を割り付けることで、超解像高周波成分（超解像第１階層及び超解像第２階層）を生成する。

このような多重解像度成分間のレジストレーション超解像処理における割り付け時には、超解像高周波成分の不連続性に起因するブロックノイズが生じやすくなるため、その空間高周波帯域成分の割り付け時に窓関数を適用し、尚且つレジストレーションに応じて窓関数を適応設定するように制御する。

ここで、窓関数は、一般的なレンズや一般的な人の瞳関数などの視覚特性上の光学ローパスフィルタ特性を模擬するガウシアンフィルタ又は低域通過型フィルタを用いるようにしているため、当該光学ローパスフィルタ特性に応じた効果的なブロックノイズの低減が実現でき、超解像画質を向上させることができる。

更に、その位置合わせ確度や超解像高周波成分を割り付ける周波数帯域により、ガウシアンフィルタ又は低域通過型フィルタのフィルタ特性を制御するようにしているため、超解像化品質を劣化させることなく、ブロックノイズの低減が実現できる。

以上の各実施形態における超解像化装置１は、コンピューターにより構成することができ、超解像化装置１の各処理部を機能させるためのプログラムを好適に用いることができる。具体的には、超解像化装置１の各処理部を制御するための制御部をコンピューター内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各処理部を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピューターに、ＣＰＵによって該プログラムを実行させることにより、超解像化装置１の各処理部の有する機能を実現させることができる。更に、超解像化装置１の各処理部の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納させることができる。そのような記憶部は、装置内部のＲＡＭ又はＲＯＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、コンピューターで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。更に、そのようなコンピューターに、超解像化装置１の各処理部として機能させるためのプログラムは、コンピューター読取り可能な記録媒体に記録することができる。また、超解像化装置１の各処理部をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。

以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した実施形態の例では、主として、２階空間ウェーブレット分解に基づく多重解像度成分間のレジストレーション超解像処理を説明したが、１階、若しくは３階以上の空間ウェーブレット分解に基づいた多重解像度成分間のレジストレーション超解像処理とすることができる。従って、本発明に係る超解像化装置１は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。

本発明によれば、多重解像度成分間のレジストレーション超解像処理における割り付け時に生じる超解像高周波成分の不連続性に起因するブロックノイズを低減できるので、原画像を超解像化する用途に有用である。

１ 超解像化装置
１１ 多重解像度分解部
１２ レジストレーション部
１３ 超解像高周波成分生成部
１４ 再構成部
１５ 窓関数設定部

Claims (6)

1. 動画又は静止画のフレーム画像を原画像として超解像化する超解像化装置であって、
   原画像に対しｎ階空間ウェーブレット分解を施し、当該原画像を空間低周波帯域成分と空間高周波帯域成分とに分解して抽出する多重解像度分解部と、
   前記原画像をブロック領域に分割し、前記原画像を基準フレーム画像とし前記空間低周波帯域成分の画像を参照フレーム画像としてブロックマッチングすることによる位置合わせを行うレジストレーション部と、
   前記ブロック領域毎の位置合わせに関する評価値に応じて、窓関数を適応設定する窓関数設定部と、
   前記位置合わせの結果を参照して、前記空間低周波帯域成分の画像における各ブロック領域に対応付けた前記空間高周波帯域成分の画像の各ブロック領域に対し、当該各ブロック領域の位置合わせに関する評価値に応じて適応設定された窓関数を適用し、超解像化する各階層成分に割り付けることにより前記原画像に対する超解像高周波成分を生成する超解像高周波成分生成部と、
   前記原画像を空間低周波帯域成分、前記超解像高周波成分を空間高周波帯域成分と見なして、空間ウェーブレット再構成を行うことにより超解像画像を生成する再構成部と、
   を備えることを特徴とする超解像化装置。
2. 前記窓関数設定部は、前記窓関数として所定の視覚特性上の光学ローパスフィルタ特性を模擬するガウシアンフィルタを用い、前記ブロック領域毎の位置合わせに関する評価値として示される差分値が小さいほど、当該位置合わせの確度は高いとして前記ガウシアンフィルタの分散値を大きくするように制御することを特徴とする、請求項１に記載の超解像化装置。
3. 前記窓関数設定部は、前記窓関数として所定の視覚特性上の光学ローパスフィルタ特性を模擬する低域通過型フィルタを用い、前記ブロック領域毎の位置合わせに関する評価値として示される差分値が小さいほど、当該位置合わせの確度は高いとして前記低域通過型フィルタのカットオフ周波数を高くするように制御することを特徴とする、請求項１に記載の超解像化装置。
4. 前記窓関数設定部は、割り付け先の前記超解像高周波成分の周波数が高くなるほど、前記ガウシアンフィルタの分散値を小さくするように制御することを特徴とする、請求項２に記載の超解像化装置。
5. 前記窓関数設定部は、割り付け先の前記超解像高周波成分の周波数が高くなるほど、前記低域通過型フィルタのカットオフ周波数を高くするように制御することを特徴とする、請求項３に記載の超解像化装置。
6. コンピューターを、請求項１から５のいずれか一項に記載の超解像化装置として機能させるためのプログラム。

Images