JP6174903B2 - 空間・階調超解像装置及びプログラム - Google Patents

Description

本発明は、原画像を空間方向及び階調方向に超解像処理して空間・階調超解像画像を生成する空間・階調超解像装置及びプログラムに関する。

従来、画像を空間方向に空間超解像処理して元の画像よりも解像度の高い画像を生成する空間超解像技術が知られている。例えば、被写体の照明方程式パラメータを推定し、推定した照明方程式パラメータについて高解像度化を行い、高解像度化された照明方程式パラメータを合成して高解像度画像を生成し、その際、推定した照明方程式パラメータの推定精度が所定の精度を満たさない画素が存在するときは、高解像度化した照明方程式パラメータをフィードバックして、再度、照明方程式パラメータの推定を行うことにより、被写体の画像を高解像度化する技術が知られている（特許文献１参照）。

また、画像を階調方向に階調超解像処理して元の画像よりも階調数の多い画像を生成する階調超解像装置が知られている。例えば、処理対象画素の印字濃度に対して複数の閾値と補間演算誤差を設定し、処理対象画素とその隣接する画素の持つ補間演算誤差の平均との総和を複数の閾値と比較し、その最も近い値の閾値を実行閾値として用いるなどして中間階調を補間する技術が知られている（特許文献２参照）。

特許第４１３９８５３号公報 特開平４−１８８５５号公報

しかし、原画像を空間方向及び階調方向に超解像処理するには、空間超解像処理と階調超解像処理とを別々に適用する必要があった。このため、効率的な処理を行うことができず、また、空間超解像処理と階調超解像処理とを別々に行った結果が必ずしも高画質な超解像画像になるとは限らなかった。

かかる事情に鑑みてなされた本発明の目的は、効率的且つ高精度に空間・階調超解像画像を得ることができる空間・階調超解像装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る空間・階調超解像装置は、原画像を空間方向及び階調方向に超解像処理して、所定の目標解像度及び目標階調数を有する空間・階調超解像画像を生成する空間・階調超解像装置であって、原画像を前記目標解像度以上の解像度まで空間超解像処理して、複数の空間オーバーサンプリング画像を生成する空間オーバーサンプリング部と、前記複数の空間オーバーサンプリング画像を、階調数が前記目標階調数となるように階調超解像処理するとともに、解像度が前記目標解像度となるように縮小処理し、複数の空間・階調超解像画像を生成する階調超解像・空間縮小部と、前記複数の空間・階調超解像画像を前記原画像と比較して、原画像に最も忠実な空間・階調超解像画像を選択して出力する最適化部と、を備えることを特徴とする。

さらに、本発明に係る空間・階調超解像装置において、前記空間オーバーサンプリング部は、ウェーブレット変換を用いて水平方向及び垂直方向に各２倍の超解像処理を再帰的に行うことにより前記空間オーバーサンプリング画像を生成することを特徴とする。

さらに、本発明に係る空間・階調超解像装置において、前記階調超解像・空間縮小部は、前記空間オーバーサンプリング画像の階調数を目標階調数に拡大した後、平滑化処理することにより前記階調超解像処理を行うことを特徴とする。

さらに、本発明に係る空間・階調超解像装置において、前記階調超解像・空間縮小部は、前記空間オーバーサンプリング画像の階調を目標階調数に拡大した画像を、解像度の縮小劣化過程を模擬した関数を用いて畳み込むことにより平滑化処理することを特徴とする。

さらに、本発明に係る空間・階調超解像装置において、前記最適化部は、前記原画像に対する前記空間・階調超解像画像のパワースペクトル差分値及びヒストグラム差分値を算出し、両者の合計値が最も小さい空間・階調超解像画像を選択することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記空間・階調超解像装置として機能させることを特徴とする。

本発明によれば、効率的且つ高精度に空間・階調超解像画像を得ることができるようになる。

本発明に係る空間・階調超解像処理の概要を説明する図である。 本発明の第１の実施形態に係る空間・階調超解像装置の構成例を示すブロック図である。 本発明の第１の実施形態に係る空間・階調超解像装置における空間オーバーサンプリング部の構成例を示すブロック図である。 本発明の第１の実施形態に係る空間・階調超解像装置における階調超解像・空間縮小部の構成例を示すブロック図である。 本発明の第２の実施形態に係る空間・階調超解像装置の構成例を示すブロック図である。 本発明の第２の実施形態に係る空間・階調超解像装置における空間オーバーサンプリング部の構成例を示すブロック図である。 本発明の第２の実施形態に係る空間・階調超解像装置における階調超解像・空間縮小部の構成例を示すブロック図である。 本発明の第２の実施形態に係る空間・階調超解像装置における最適化部の処理例を説明する図である。

まず、本発明の概要について説明する。以下の説明において、原画像を空間方向及び階調方向に超解像処理することを「空間・階調超解像処理」といい、空間・階調超解像処理された画像のことを「空間・階調超解像画像」という。

空間・階調超解像処理を理想的に行うには、原画像を無限に高い解像度（標本化周波数）まで理想的に空間超解像（オーバーサンプリング）処理を行い、これを目標とする解像度まで縮小する時に階調超解像（中間階値補間）処理を行う方法が考えられる。しかしこれは不可能なため、本発明では目標とする解像度以上の解像度まで原画像を空間超解像処理して、これを目標とする解像度まで縮小する際に階調超解像処理を行う。

図１は、本発明に係る空間・階調超解像処理の概要を説明する図である。図１に示す例では、「４Ｋ×２Ｋ解像度、８ｂｉｔ階調」の原画像から「８Ｋ×４Ｋ解像度、１０ｂｉｔ階調」の空間・階調超解像画像を生成する際の処理概要を示している。本発明に係る空間・階調超解像装置は、原画像をまず空間超解像処理して目標とする解像度以上の解像度を有する「３２Ｋ×１６Ｋ解像度、８ｂｉｔ階調」の空間超解像画像を生成する。次に、この空間超解像画像を目標とする解像度である「８Ｋ×４Ｋ解像度」の画像に空間縮小する際に、階調超解像処理して「１０ｂｉｔ階調」の階調超解像画像を生成する。

以下、本発明の実施形態について、詳細に説明する。

（第１の実施形態）
図２は、本発明の第１の実施形態に係る空間・階調超解像装置の構成例を示すブロック図である。図２に示す例では、空間・階調超解像装置１は、空間オーバーサンプリング部１０と、階調超解像・空間縮小部２０とを備える。空間・階調超解像装置１には原画像及び超解像目標値が入力される。ここで、超解像目標値とは、空間・階調超解像装置１により生成させる空間・階調超解像画像の解像度（目標解像度）及び階調数（目標階調数）のことをいい、ユーザにより設定される。空間・階調超解像装置１は、原画像を空間・階調超解像処理し、目標解像度及び目標階調数を有する空間・階調超解像画像を生成する。

空間オーバーサンプリング部１０は、原画像を空間超解像処理し、目標解像度以上の解像度を有する空間超解像を生成し、階調超解像・空間縮小部２０に出力する。解像度を目標解像度以上となるように空間超解像する処理を、以下では「空間オーバーサンプリング処理」と称し、空間オーバーサンプリング処理により生成された画像を「空間オーバーサンプリング画像」と称する。

図３は、空間・階調超解像装置１における空間オーバーサンプリング部１０の構成例を示すブロック図である。図３に示す例では、空間オーバーサンプリング部１０は、オーバーサンプリング値決定部１１と、オーバーサンプリング部１２とを備える。

オーバーサンプリング値決定部１１は、空間オーバーサンプリング画像の解像度を示す空間オーバーサンプリング値を決定し、オーバーサンプリング部１２に出力する。空間オーバーサンプリング値は、例えば、階調超解像処理により階調数を△ｂｉｔ増加させる場合、水平方向及び垂直方向ともに目標解像度の２^{（△＋１）}倍の解像度とする。例えば原画像の解像度及び階調数を「４Ｋ×２Ｋ、８ｂｉｔ」とし、超解像目標値を「８Ｋ×４Ｋ、１０ｂｉｔ」とすると、階調数を２ｂｉｔ増加させるため、空間オーバーサンプリング値は水平方向及び垂直方向ともに２^{（２＋１）}＝８倍となる。

なお、空間オーバーサンプリング値は目標解像度の２^{（△＋１）}倍に限定されるものではない。また、空間オーバーサンプリング値が示す解像度が目標解像度と同一であってもよく、その場合には、後述する階調超解像・空間縮小部２０では階調超解像処理のみを行い、空間縮小処理は行わないこととなる。また、オーバーサンプリング値決定部１１を設けずに、ユーザが空間オーバーサンプリング値を直接設定するようにしてもよい。

オーバーサンプリング部１２は、原画像を、空間オーバーサンプリング値によって指定された解像度まで空間オーバーサンプリング処理し、空間オーバーサンプリング画像を生成する。空間オーバーサンプリング処理を行う際には、原画像を一気に高解像度にするのではなく、例えばウェーブレット変換を用いて水平方向・垂直方向各２倍の超解像処理を再帰的に行うことにより、空間オーバーサンプリング画像を生成するのが好適である。これにより原画像の折り返し成分を利用した高精度なオーバーサンプリングを行えるとともに、エッジのギザギザ感を抑制することができる。なお、ウェーブレット超解像処理については、例えば特開２０１１−２３４３１６号公報を参照されたい。

階調超解像・空間縮小部２０は、空間オーバーサンプリング部１０により生成された空間オーバーサンプリング画像を階調数が目標階調数となるように階調超解像処理（中間階調値の補間）を行うともに、目標解像度まで空間縮小処理を行って空間・階調超解像画像を出力する。

図４は、空間・階調超解像装置１における階調超解像・空間縮小部２０の構成例を示すブロック図である。図４に示す例では、階調超解像・空間縮小部２０は、階調超解像部２１と、空間縮小部２２とを備える。

階調超解像部２１は、空間オーバーサンプリング画像の階調数を目標階調数まで△ｂｉｔ拡大する場合、単純に全画素の階調値を２^△倍に線形拡大した階調拡大画像を生成する。例えば△＝２の場合、空間オーバーサンプリング画像内の各画素の階調値ｘを４ｘとする。

次に、階調超解像部２１は、階調拡大画像を平滑化処理して階調超解像画像を生成し、空間縮小部２２に出力する。平滑化は、解像度の縮小劣化過程（ぼやけ）を模擬した関数を用いて階調拡大画像を畳み込むことで処理し、中間階調値を補間する。解像度の縮小劣化過程を模擬した関数として、例えば、点拡がり関数（ＰＳＦ：Point spread function）又はガウシアン関数を用いることができる。また、階調超解像部２１は、平滑化処理の代わりに、バイキュービック法、バイリニア法などにより階調拡大画像の中間階調値を補間してもよい。

空間縮小部２２は、階調超解像部２１により生成された階調超解像画像を目標解像度になるように縮小処理することで最終的な空間・階調超解像画像を生成し、外部に出力する。縮小処理は、単純間引きにより行ってもよいし、階調超解像部２１により生成された階調超解像画像を目標解像度になるようウェーブレット分解し、その空間低周波数成分を空間・階調超解像画像としてもよい。

以上説明したように、空間・階調超解像装置１は、空間オーバーサンプリング部１０により、原画像を目標解像度以上の解像度まで空間超解像処理して、空間オーバーサンプリング画像を生成し、階調超解像・空間縮小部２０により、空間オーバーサンプリング画像を、階調数が目標階調数となるように階調超解像処理するとともに、解像度が目標解像度となるように縮小処理し、空間・階調超解像画像を生成する。このため、空間・階調超解像装置１によれば、空間超解像処理と階調超解像処理とを個別に行う場合よりも、効率的且つ高精度に空間・階調超解像画像を得ることができる。

また、空間オーバーサンプリング画像は、ウェーブレット変換を用いて水平方向及び垂直方向に各２倍の超解像処理を再帰的に行うことにより生成するのが好適である。これにより、原画像の折り返し成分を利用した高精度なオーバーサンプリングを行えるとともに、エッジのギザギザ感を抑制することができる。

また、階調超解像・空間縮小部２０は、空間オーバーサンプリング画像の階調を目標階調数に拡大した画像を、解像度の縮小劣化過程を模擬した関数（例えば、点拡がり関数又はガウシアン関数）を用いて畳み込むことにより平滑化処理するのが好適である。これにより、高精度に中間階調値を補間することができる。

（第２の実施形態）
次に、本発明による第２の実施形態について説明する。図５は、本発明の第２の実施形態に係る空間・階調超解像装置の構成を示すブロック図である。図５に示すように、空間・階調超解像装置２は、空間オーバーサンプリング部１０と、階調超解像・空間縮小部２０と、最適化部３０とを備える。第２の実施形態の空間・階調超解像装置２は、第１の実施形態の空間・階調超解像装置１と比較して、最適化部３０を更に設けて、空間・階調超解像画像を生成する際のパラメータの最適化を行う点が相違する。

空間オーバーサンプリング部１０は、原画像を空間超解像処理し、目標解像度以上の解像度を有する複数の空間オーバーサンプリング画像（空間オーバーサンプリング画像群）を生成し、階調超解像・空間縮小部２０に出力する。また、本実施形態の空間オーバーサンプリング部１０は、空間超解像フィルタ情報を最適化部３０に出力する。

図６は、空間・階調超解像装置２における空間オーバーサンプリング部１０の構成例を示すブロック図であり、第１の実施形態と同様に、空間オーバーサンプリング部１０は、オーバーサンプリング値決定部１１と、オーバーサンプリング部１２とを備える。

オーバーサンプリング値決定部１１は、空間オーバーサンプリング値を決定し、オーバーサンプリング部１２に出力する。第１の実施形態では、空間オーバーサンプリング値は空間オーバーサンプリング画像の解像度であったが、第２の実施形態では複数の空間オーバーサンプリング画像を生成するため、空間オーバーサンプリング値を空間オーバーサンプリング画像の解像度の最大値とする。空間オーバーサンプリング値は、例えば、階調超解像処理により階調数を△ｂｉｔ増加させる場合、水平方向及び垂直方向ともに目標解像度の２^{（△＋１）}倍の解像度とする。

オーバーサンプリング部１２は、原画像を、空間オーバーサンプリング値によって指定された解像度まで空間オーバーサンプリング処理し、目標解像度以上の複数の空間オーバーサンプリング画像からなる空間オーバーサンプリング画像群を生成する。

例えば、原画像の解像度が４Ｋ×２Ｋ、目標解像度が８Ｋ×４Ｋ、空間オーバーサンプリング最大値が水平方向及び垂直方向に各８倍の場合、原画像に対して水平方向及び垂直方向に各２倍のウェーブレット超解像を再帰的に用いることで、解像度が１６Ｋ×８Ｋ、３２Ｋ×１６Ｋ、及び６４Ｋ×３２Ｋの空間オーバーサンプリング画像群が得られる。ここでウェーブレットフィルタは、Ｄａｕｂｅｃｈｉｅｓの２、４、６、８次、あるいはＣＤＦ５／３、９／７などを用いることができる。そして、オーバーサンプリング部１２は、超解像処理に用いたウェーブレットフィルタ情報を、空間超解像フィルタ情報として外部に出力する。

階調超解像・空間縮小部２０は、空間オーバーサンプリング部１０により生成された空間オーバーサンプリング画像群に中間階調値を補間するとともに目標解像度まで空間縮小して、複数の空間・階調超解像画像（空間・階調超解像画像群）を最適化部３０に出力する。また、本実施形態の階調超解像・空間縮小部２０は、階調超解像フィルタ情報を最適化部３０に出力する。

図７は、空間・階調超解像装置２における階調超解像・空間縮小部２０の構成例を示すブロック図であり、第１の実施形態と同様に、階調超解像・空間縮小部２０は、階調超解像部２１と、空間縮小部２２とを備える。

階調超解像部２１は、空間オーバーサンプリング画像群の階調数を目標階調数まで△ｂｉｔ拡大する場合、単純に全画素の階調値を２^△倍に線形拡大した階調拡大画像群を生成する。次に、階調超解像部２１は、階調拡大画像を平滑化処理して階調超解像画像を生成し、空間縮小部２２に出力する。平滑化は、解像度の縮小劣化過程を模擬した関数（例えば、点拡がり関数又はガウシアン関数）を用いて各階調拡大画像を畳み込むことで処理する。また、階調超解像部２１は、平滑化処理に用いた関数のタップ数、分散値、ゲイン情報を階調超解像フィルタ情報として出力する。

空間縮小部２２は、階調超解像部２１により生成された平滑化画像群を縮小処理することで、空間・階調超解像画像群を生成し、最適化部３０に出力する。

最適化部３０は、階調超解像・空間縮小部２０により生成された複数の空間・階調超解像画像から、原画像と比較して原画像に最も忠実な（最も差分の少ない）画像を選択して出力する。例えば、原画像とパワースペクトルの概形、ヒストグラムの概形、又はその両者の概形が最も近い画像を原画像に最も忠実な画像とすることができる。また、最適化部３０は、空間オーバーサンプリング部１０により生成された空間超解像フィルタ情報、及び階調超解像・空間縮小部２０により生成された階調超解像フィルタ情報を入力し、選択した空間・階調超解像画像に対応する空間超解像フィルタ情報及び階調超解像フィルタ情報を、空間・階調超解像フィルタ情報として出力する。

図８は、最適化部３０の処理の一例を説明する図である。図８に示す例では、最適化部３０は、原画像に対する各空間・階調超解像画像のパワースペクトル差分値及びヒストグラム差分値を算出し、両者の合計値が最も小さい空間・階調超解像画像を原画像に最も忠実な画像として選択する。

具体的には、最適化部３０は、パワースペクトル差分値を算出するために、原画像及び空間・階調超解像画像群をそれぞれｎ階ウェーブレット分解する。そして、原画像及び空間・階調超解像画像の組み合わせごとに、各ｎ階帯域のＲＭＳ（Root Mean Square）パワー値の差分合計値のα倍の値を算出する。なお、図８では空間・階調超解像画像の水平方向の解像度が原画像の２倍の場合を示している。

また、最適化部３０は、ヒストグラム差分値を算出するために、原画像及び空間・階調超解像画像群のヒストグラムを求め、各ヒストグラムのレベルをｍレベルに量子化する。そして、原画像及び空間・階調超解像画像の組み合わせごとに、各ｍレベルの頻度の差合計値のβ倍の値を計算する。なお、図８では空間・階調超解像画像の階調数が原画像の４倍の場合を示している。ここで、α及びβは外部から設定可能であり、空間超解像の精度を重視する場合はαに大きな重みを与え、階調超解像の精度を重視する場合はβに大きな重みを与えることができる。

最後に、最適化部３０は、パワースペクトル差分値及びヒストグラム差分値の和をパワースペクトル・ヒストグラム差分値として算出し、この値が最小となる空間・階調超解像画像を選択する。

以上説明したように、空間・階調超解像装置２は、空間オーバーサンプリング部１０により複数の空間オーバーサンプリング画像を生成し、階調超解像・空間縮小部２０により複数の空間オーバーサンプリング画像について階調超解像処理及び縮小処理を行って複数の空間・階調超解像画像を生成し、最適化部３０により複数の空間・階調超解像画像を原画像と比較し、原画像に最も忠実な空間・階調超解像画像を選択する。このため、空間・階調超解像装置２によれば、原画像を基準に、空間超解像のウェーブレットフィルタ及び階調超解像の平滑化フィルタのパラメータを一元的に最適化することができる。複数の空間・階調超解像画像の中から原画像に最も忠実な画像を選択するため、第１の実施形態の空間・階調超解像装置１よりも更に高精度な空間・階調超解像画像を得ることができる。

なお、上述した空間・階調超解像装置１，２として機能させるためにコンピュータを用いることができ、そのようなコンピュータは、空間・階調超解像装置１，２の各機能を実現する処理内容を記述したプログラムを当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。

上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

このように、本発明は原画像を空間方向及び階調方向に超解像処理して、指定された目標解像度及び目標階調数を有する空間・階調超解像画像を生成する任意の用途に有用である。

１，２ 空間・階調超解像装置
１０ 空間オーバーサンプリング部
１１ オーバーサンプリング値決定部
１２ オーバーサンプリング部
２０ 階調超解像・空間縮小部
２１ 階調超解像部
２２ 空間縮小部
３０ 最適化部

Claims (6)

1. 原画像を空間方向及び階調方向に超解像処理して、所定の目標解像度及び目標階調数を有する空間・階調超解像画像を生成する空間・階調超解像装置であって、
   原画像を前記目標解像度以上の解像度まで空間超解像処理して、複数の空間オーバーサンプリング画像を生成する空間オーバーサンプリング部と、
   前記複数の空間オーバーサンプリング画像を、階調数が前記目標階調数となるように階調超解像処理するとともに、解像度が前記目標解像度となるように縮小処理し、複数の空間・階調超解像画像を生成する階調超解像・空間縮小部と、
   前記複数の空間・階調超解像画像を前記原画像と比較して、原画像に最も忠実な空間・階調超解像画像を選択して出力する最適化部と、
   を備えることを特徴とする空間・階調超解像装置。
2. 前記空間オーバーサンプリング部は、ウェーブレット変換を用いて水平方向及び垂直方向に各２倍の超解像処理を再帰的に行うことにより前記空間オーバーサンプリング画像を生成することを特徴とする、請求項１に記載の空間・階調超解像装置。
3. 前記階調超解像・空間縮小部は、前記空間オーバーサンプリング画像の階調数を目標階調数に拡大した後、平滑化処理することにより前記階調超解像処理を行うことを特徴とする、請求項１又は２に記載の空間・階調超解像装置。
4. 前記階調超解像・空間縮小部は、前記空間オーバーサンプリング画像の階調を目標階調数に拡大した画像を、解像度の縮小劣化過程を模擬した関数を用いて畳み込むことにより平滑化処理することを特徴とする、請求項３に記載の空間・階調超解像装置。
5. 前記最適化部は、前記原画像に対する前記空間・階調超解像画像のパワースペクトル差分値及びヒストグラム差分値を算出し、両者の合計値が最も小さい空間・階調超解像画像を選択することを特徴とする、請求項１から４のいずれか一項に記載の空間・階調超解像装置。
6. コンピュータを、請求項１から５のいずれか一項に記載の空間・階調超解像装置として機能させるためのプログラム。

Images