JP4843528B2 - 動画像空間解像度拡大装置および動画像空間解像度拡大プログラム - Google Patents

Description

本発明は、動画像空間解像度拡大装置および動画像空間解像度拡大プログラムに係り、特に、蓄積型撮像素子における積分効果で失われた動画像フレーム上の動領域の空間高周波成分を効果的に補償し、かつ人間の視覚特性に係るコントラスト感度関数による自然な空間解像度拡大を行うことの可能な動画像空間解像度拡大装置および動画像空間解像度拡大プログラムに関する。

近年、デジタルハイビジョンテレビの普及により、例えば従来のＮＴＳＣ（National Television System Committee）による低解像度の動画像を高解像度のデジタルハイビジョンテレビに表示することが行われている。その際、空間解像度の低い映像方式から空間解像度の高い映像方式への映像方式変換を行うため、動画像の空間解像度拡大の技術が必要となる。

従来の空間解像度拡大方法としては、静止画像における画像拡大方法が既に提案されている（例えば、非特許文献１参照）。

非特許文献１に開示されている画像拡大方法は、入力画像をｎ階２次元離散ウェーブレット分解し、ｎ階ウェーブレット分解成分の水平、垂直、対角高周波成分と、ｎ＋１階ウェーブレット分解成分の水平、垂直、対角高周波成分を用いて、拡大画像の成分となる未知のｎ−１階ウェーブレット分解成分の水平、垂直、対角高周波成分を推定するものである。

また、動画像における画像拡大方法も既に提案されている（例えば、特許文献１参照）。
特許文献１に開示されている画像拡大方法は、入力画像をウェーブレット変換を用いて多重解像度解析することで抽出した高周波成分からエッジを検出し、そのエッジを周波数解析して、エッジを拡大画像上に生成することにより、鮮鋭感と質感が両立した拡大画像を得るものである。
特開２００５−０１１１９１号公報（［００１８］、図１） 田中章、外３名、「多重解像度解析を用いたディジタル画像の拡大」、電子情報通信学会論文誌、１９９６年、第Ｊ７９−Ｄ−ＩＩ巻、第５号、ｐ．８１９−８２５

しかしながら、動画像においては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の蓄積型撮像素子およびフィルム等の蓄積型記録媒体における積分効果により、被写体の動き速度が大きいほど動画像フレーム内の動領域の高周波成分が失われ、動きボケが発生する。

従来提案されている画像拡大方法では、この動きボケを含んだ画像に対して解像度拡大を行っているため、動領域における高周波成分を正確に推定できないという課題があった。

さらに、従来の画像拡大方法では、推定した高周波成分に対して人間の視覚系における空間周波数特性を考慮していないため、画像拡大前と同じ視距離から見た場合に高周波成分が過剰に強調された画像となるなどの恐れがあった。

本発明は、従来の課題を解決するためになされたものであって、蓄積型撮像素子における積分効果で失われた動画像フレーム列上の動領域の空間高周波成分を効果的に補償し、かつ人間の視覚特性に係るコントラスト感度関数による自然な空間解像度拡大を行うことができる動画像空間解像度拡大装置および動画像空間解像度拡大プログラムを提供することを目的とする。

本発明の動画像空間解像度拡大装置は、動画像フレーム列の空間解像度拡大を行い、空間解像度拡大画像列を生成する空間解像度拡大画像列生成手段と、前記空間解像度拡大画像列の各ｎ階ウェーブレット分解成分の画素値をコントラスト感度関数に基づいて補正し、補正後の各ｎ階ウェーブレット分解成分を再構成して補正画像列を生成する補正画像列生成手段と、を含み、前記空間解像度拡大画像列生成手段は、前記動画像フレーム列に対して時間軸方向に１階１次元離散ウェーブレット分解を行うことにより得られた高周波成分に基づいて動領域画像列を抽出する動領域画像列抽出手段と、前記動領域画像列に対して空間方向にｎ階２次元離散ウェーブレット分解を行い、前記動領域画像列を各ｎ階ウェーブレット分解成分に分解する動領域画像列分解手段と、前記動領域画像列の各ｎ階ウェーブレット分解成分の低周波成分に基づいて動ベクトルの検出を行う動ベクトル検出手段と、前記動ベクトルを用いて、前記動画像フレーム列の時刻ｔ ₀ の動画像フレームを基準に前後±ｑフレーム分の画素位置の追跡を行い、前記時刻ｔ ₀ の動画像フレームの各ｎ階ウェーブレット分解成分の水平高周波成分、垂直高周波成分および対角高周波成分を、追跡した画素位置に対応する動ベクトルの絶対値が最小となる動画像フレームの各ｎ階ウェーブレット分解成分の水平高周波成分、垂直高周波成分および対角高周波成分で置換し、置換後の各ｎ階ウェーブレット分解成分を再構成して動領域補償画像列を生成する動領域補償画像列生成手段と、前記動領域補償画像列の空間解像度拡大を行い、前記空間解像度拡大画像列を生成する空間解像度拡大手段と、を含む構成を有している。

この構成により、人間の視覚特性に係るコントラスト感度関数による自然な空間解像度拡大を行うことができる。
また、この構成により、蓄積型撮像素子における積分効果で失われた動画像フレーム列上の動領域の空間高周波成分を効果的に補償することができる。

本発明は、動画像フレーム列上の動ベクトル情報を用い、低速動領域の空間高周波成分から高速動領域の空間高周波成分を補償することにより、蓄積型撮像素子における積分効果で失われた動画像フレーム列上の動領域の空間高周波成分を効果的に補償し、かつ人間の視覚特性に係るコントラスト感度関数による自然な空間解像度拡大を行うことができる動画像空間解像度拡大装置および動画像空間解像度拡大プログラムを提供することができるものである。

以下、本発明の実施形態の動画像空間解像度拡大装置について、図面を用いて説明する。なお、本明細書において動領域とは、低速動領域および高速動領域からなるものであるとする。そして、低速動領域とは、追跡した画素位置に対応する動ベクトルの絶対値が最小となる動画像フレーム上の動領域を指すものとする。

また、時刻ｔにおける動画像フレームを動画像フレームＦ（ｔ）、動画像フレームＦ（ｔ）の画素位置（ｉ，ｊ）における画素値をＦ_i,j（ｔ）、０≦ｔ≦Ｔに渡る動画像フレームＦ（ｔ）の集合を動画像フレーム列｛Ｆ（ｔ）｝と記す。

図１は、本発明の実施形態の動画像空間解像度拡大装置の機能構成を示すブロック図である。
即ち、本発明に係る動画像空間解像度拡大装置１は、動画像フレーム列｛Ｆ（ｔ）｝の空間解像度拡大を行い、空間解像度拡大画像列を生成する空間解像度拡大画像列生成手段１１と、空間解像度拡大画像列の各ｎ階ウェーブレット分解成分の画素値をコントラスト感度関数に基づいて補正し、補正後の各ｎ階ウェーブレット分解成分を再構成して補正画像列｛ＳＵ⁰（ｔ）｝を生成する補正画像列生成手段１２とを含む。

そして、空間解像度拡大画像列生成手段１１は、動画像フレーム列｛Ｆ（ｔ）｝の低速動領域の高周波成分に基づいて高速動領域の高周波成分を補償する高周波成分補償手段１１１と、高周波成分補償後の動画像フレーム列｛Ｆ（ｔ）｝の空間解像度拡大を行う空間解像度拡大手段１１２とを含む。

また、高周波成分補償手段１１１は、動画像フレーム列｛Ｆ（ｔ）｝の画素ごとに１次元離散ウェーブレット分解を行うことにより得られた高周波成分に基づいて動領域画像列｛Ｍ（ｔ）｝を抽出する動領域画像列抽出手段１１３と、動領域画像列｛Ｍ（ｔ）｝に対してｎ階２次元離散ウェーブレット分解を行い、動領域画像列｛Ｍ（ｔ）｝を各ｎ階ウェーブレット分解成分に分解する動領域画像列分解手段１１４と、動領域画像列｛Ｍ（ｔ）｝の各ｎ階ウェーブレット分解成分の低周波成分に基づいて動ベクトルの検出を行う動ベクトル検出手段１１５とを含む。

さらに、高周波成分補償手段１１１は、動画像フレーム列｛Ｆ（ｔ）｝の時刻ｔ₀の動画像フレームＦ（ｔ₀）を基準に前後±ｑフレーム分の画素位置の追跡を行い、時刻ｔ₀の動画像フレームＦ（ｔ₀）の各ｎ階ウェーブレット分解成分の水平高周波成分Ｆ_ＬＨⁿ _i,j（ｔ₀）、垂直高周波成分Ｆ_ＨＬⁿ _i,j（ｔ₀）および対角高周波成分Ｆ_ＨＨⁿ _i,j（ｔ₀）を、追跡した画素位置に対応する動ベクトルの絶対値が最小となる動画像フレームＦ（ｔ_s）の各ｎ階ウェーブレット分解成分の水平高周波成分Ｆ_ＬＨⁿ _k,m（ｔ_s）、垂直高周波成分Ｆ_ＨＬⁿ _k,m（ｔ_s）および対角高周波成分Ｆ_ＨＨⁿ _k,m（ｔ_s）で置換し、置換後の各ｎ階ウェーブレット分解成分を再構成して動領域補償画像列｛ＣＦ（ｔ）｝を生成する動領域補償画像列生成手段１１６とを含む。

図２は、本発明に係る動画像空間解像度拡大装置１のハードウエア構成を示すブロック図であって、本発明に係る動画像空間解像度拡大装置１はマイクロプロセッサ２によって構成されているものとする。

マイクロプロセッサ２は、動画像空間解像度拡大プログラムに従って処理を実行するＣＰＵ２０と、動画像空間解像度拡大プログラムおよび処理結果を記憶するメモリ２１と、動画像フレーム列信号を読み込む動画像フレーム列信号読み込みインターフェイス（Ｉ／Ｆ）２２と、動画像フレーム列｛Ｆ（ｔ）｝を記憶する動画像フレーム列記憶装置２３と、補正画像列｛ＳＵ⁰（ｔ）｝を出力する補正画像列出力Ｉ／Ｆ２４と、動画像空間解像度拡大装置１を操作するための周辺機器が接続される周辺機器Ｉ／Ｆ２５とがバス２６によって相互に結合された構成を有する。

周辺機器Ｉ／Ｆ２５には、表示パネル２７と、キーボード２８と、マウス２９とが接続される。なお、表示パネル２７、キーボード２８、およびマウス２９に代えて、操作パネルを適用することも可能である。

次に、メモリ２１にインストールする動画像空間解像度拡大プログラムのフローチャートを参照しつつ、本発明の実施形態の動画像空間解像度拡大装置の動作を説明する。

図３は、動画像空間解像度拡大プログラムのフローチャートである。まず、ＣＰＵ２０は、動画像フレーム列｛Ｆ（ｔ）｝（０≦ｔ≦Ｔ）を読み込む（ステップＳ３０）。
次に、ＣＰＵ２０は、後述する動領域画像列抽出ルーチンにおいて、動領域画像列｛Ｍ（ｔ）｝を抽出する（ステップＳ３１）。

次に、ＣＰＵ２０は、後述する動領域画像列分解ルーチンにおいて、動領域画像列｛Ｍ（ｔ）｝を各ｎ階ウェーブレット分解成分に分解する（ステップＳ３２）。
次に、ＣＰＵ２０は、後述する動ベクトル検出ルーチンにおいて、動ベクトルの検出を行う（ステップＳ３３）。

次に、ＣＰＵ２０は、後述する動領域補償画像列生成ルーチンにおいて、動領域補償画像列｛ＣＦ（ｔ）｝を生成する（ステップＳ３４）。
次に、ＣＰＵ２０は、後述する空間解像度拡大ルーチンにおいて、動領域補償画像列｛ＣＦ（ｔ）｝の空間解像度拡大を行う（ステップＳ３５）。

最後に、ＣＰＵ２０は、後述する補正画像列生成ルーチンにおいて、補正画像列｛ＳＵ⁰（ｔ）｝を生成して（ステップＳ３６）、プログラムを終了する。

次に、図３の動画像空間解像度拡大プログラムのステップＳ３１で実行される動領域画像列抽出ルーチンについて、図４のフローチャートと図５（ａ）、（ｂ）の模式図を用いて説明する。

まず、ＣＰＵ２０は、時刻ｔを“０”に初期化する（ステップＳ４０）。
次に、ＣＰＵ２０は、画素の行方向の位置を示すインデックスｉを“１”に初期化し（ステップＳ４１）、画素の列方向の位置を示すインデックスｊを“１”に初期化する（ステップＳ４２）。

次に、ＣＰＵ２０は、例えばDaubechiesの２次のウェーブレット（サポート長＝４）を用いて、図５（ａ）、（ｂ）の模式図に示すように動画像フレーム列｛Ｆ（ｔ）｝の画素位置（ｉ，ｊ）における画素値Ｆ_i,j（ｔ）、Ｆ_i,j（ｔ＋１）、Ｆ_i,j（ｔ＋２）、Ｆ_i,j（ｔ＋３）からなる時間軸方向の時系列データに対して１階１次元離散ウェーブレット分解を行い、その高周波成分であるＭＡ_i,j（ｔ）を算出する（ステップＳ４３）。即ち、ＭＡ_i,j（ｔ）は、サポート長４フレーム分の時系列変化の成分を含むものである。

次に、ＣＰＵ２０は、Ｆ_i,j（ｔ＋２）、Ｆ_i,j（ｔ＋３）、Ｆ_i,j（ｔ＋４）、Ｆ_i,j（ｔ＋５）からなる時間軸方向の時系列データから、ステップＳ４３と同様にＭＡ_i,j（ｔ＋２）を算出する（ステップＳ４４）。
次に、ＣＰＵ２０は、ＭＡ_i,j（ｔ）とＭＡ_i,j（ｔ＋２）を予め定められた閾値を境に２値化し、ＡＮＤ計算を行うことによって、ＭＡ_i,j（ｅｖｅｎ）を算出する（ステップＳ４５）。

次に、ＣＰＵ２０は、Ｆ_i,j（ｔ＋１）、Ｆ_i,j（ｔ＋２）、Ｆ_i,j（ｔ＋３）、Ｆ_i,j（ｔ＋４）からなる時間軸方向の時系列データから、ステップＳ４３と同様にＭＡ_i,j（ｔ＋１）を算出する（ステップＳ４６）。
次に、ＣＰＵ２０は、Ｆ_i,j（ｔ＋３）、Ｆ_i,j（ｔ＋４）、Ｆ_i,j（ｔ＋５）、Ｆ_i,j（ｔ＋６）からなる時間軸方向の時系列データから、ステップＳ４３と同様にＭＡ_i,j（ｔ＋３）を算出する（ステップＳ４７）。

次に、ＣＰＵ２０は、ＭＡ_i,j（ｔ＋１）とＭＡ_i,j（ｔ＋３）から、ステップＳ４５と同様にＭＡ_i,j（ｏｄｄ）を算出する（ステップＳ４８）。

次に、ＣＰＵ２０は、ＭＡ_i,j（ｅｖｅｎ）とＭＡ_i,j（ｏｄｄ）のＡＮＤ計算を行ってＭａ_i,j（ｔ）を算出し、Ｆ_i,j（ｔ＋３）とＭａ_i,j（ｔ）を掛け合わせて、１フレーム分の動領域画素値Ｍ_i,j（ｔ）を算出する（ステップＳ４９）。

次に、ＣＰＵ２０は、画素の列方向の位置を示すインデックスｊが最大値Ｊに到達したか否かを判定し（ステップＳ５０）、否定判定したときはインデックスｊをインクリメントして（ステップＳ５１）、ステップＳ４３の処理に戻る。

ＣＰＵ２０は、ステップＳ５０において、インデックスｊが最大値Ｊに到達したと判定した場合は、画素の行方向の位置を示すインデックスｉが最大値Ｉに到達したか否かを判定し（ステップＳ５２）、否定判定したときはインデックスｉをインクリメントして（ステップＳ５３）、ステップＳ４２の処理に戻る。

ＣＰＵ２０は、ステップＳ５２において、インデックスｉが最大値Ｉに到達したと判定した場合は、動領域画素値Ｍ_i,j（ｔ）の組から動領域画像Ｍ（ｔ）を生成する（ステップＳ５４）。

次に、ＣＰＵ２０は、時刻ｔが最後の動画像フレームの時刻である時刻Ｔに到達したか否かを判定し（ステップＳ５５）、否定判定したときは時刻ｔをインクリメントして（ステップＳ５６）、ステップＳ４１の処理に戻る。

ＣＰＵ２０は、ステップＳ５５において、時刻ｔが時刻Ｔに到達したと判定した場合は、ルーチンを終了する。

次に、図３の動画像空間解像度拡大プログラムのステップＳ３２で実行される動領域画像列分解ルーチンについて、図６のフローチャートと図７の模式図を用いて説明する。

まず、ＣＰＵ２０は、時刻ｔを“０”に初期化する（ステップＳ６０）。
次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎを“１”に初期化する（ステップＳ６１）。

次に、ＣＰＵ２０は、動領域画像Ｍ（ｔ）に対して、Ｈａａｒウェーブレットを空間方向に用いてｎ階２次元離散ウェーブレット分解を行い、低周波成分Ｍ_ＬＬⁿ（ｔ）、水平高周波成分Ｍ_ＬＨⁿ（ｔ）、垂直高周波成分Ｍ_ＨＬⁿ（ｔ）および対角高周波成分Ｍ_ＨＨⁿ（ｔ）を算出する（ステップＳ６２）。

ここで、図７に（ａ）動領域画像Ｍ（ｔ）、（ｂ）動領域画像Ｍ（ｔ）の１階ウェーブレット分解画像および（ｃ）動領域画像Ｍ（ｔ）の２階ウェーブレット分解画像の模式図を示す。同図に示すように、２階以上の２次元離散ウェーブレット分解は、その１階上の低周波成分について２次元離散ウェーブレット分解を行う。

次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎが最大値Ｎに到達したか否かを判定し（ステップＳ６３）、否定判定した場合はインデックスｎをインクリメントして（ステップＳ６４）、ステップＳ６２の処理に戻る。

ＣＰＵ２０は、ステップＳ６３において、インデックスｎが最大値Ｎに到達したと判定した場合は、時刻ｔが時刻Ｔに到達したか否かを判定し（ステップＳ６５）、否定判定したときは時刻ｔをインクリメントして（ステップＳ６６）、ステップＳ６１の処理に戻る。

ＣＰＵ２０は、ステップＳ６５において、時刻ｔが時刻Ｔに到達したと判定した場合は、ルーチンを終了する。

次に、図３の動画像空間解像度拡大プログラムのステップＳ３３で実行される動ベクトル検出ルーチンについて、図８のフローチャートを用いて説明する。

まず、ＣＰＵ２０は、時刻ｔを“０”に初期化する（ステップＳ８０）。
次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎを“１”に初期化する（ステップＳ８１）。

次に、ＣＰＵ２０は、低周波成分Ｍ_ＬＬⁿ（ｔ）と低周波成分Ｍ_ＬＬⁿ（ｔ＋１）の間でブロックマッチング法を用いて、低周波成分Ｍ_ＬＬⁿ（ｔ）の画素位置（ｉ，ｊ）に対応する動ベクトルＶⁿ _i,j（ｔ）の検出を行う（ステップＳ８２）。

次に、ＣＰＵ２０は、低周波成分Ｍ_ＬＬⁿ（ｔ）、水平高周波成分Ｍ_ＬＨⁿ（ｔ）、垂直高周波成分Ｍ_ＨＬⁿ（ｔ）および対角高周波成分Ｍ_ＨＨⁿ（ｔ）の画素位置（ｉ，ｊ）における画素値Ｍ_ＬＬⁿ _i,j（ｔ）、Ｍ_ＬＨⁿ _i,j（ｔ）、Ｍ_ＨＬⁿ _i,j（ｔ）、Ｍ_ＨＨⁿ _i,j（ｔ）でＶⁿ _i,j（ｔ）ずれた画素位置における画素値を置換し、動き補正低周波成分Ｍ’_ＬＬⁿ（ｔ）、動き補正水平高周波成分Ｍ’_ＬＨⁿ（ｔ）、動き補正垂直高周波成分Ｍ’_ＨＬⁿ（ｔ）および動き補正対角高周波成分Ｍ’_ＨＨⁿ（ｔ）を算出する（ステップＳ８３）。

次に、ＣＰＵ２０は、動き補正低周波成分Ｍ’_ＬＬⁿ（ｔ）、動き補正水平高周波成分Ｍ’_ＬＨⁿ（ｔ）、動き補正垂直高周波成分Ｍ’_ＨＬⁿ（ｔ）および動き補正対角高周波成分Ｍ’_ＨＨⁿ（ｔ）を１階再構成して、動き補正低周波成分Ｍ’_ＬＬ^n-1（ｔ）を算出する（ステップＳ８４）。

次に、ＣＰＵ２０は、低周波成分Ｍ_ＬＬ^n-1（ｔ）を動き補正低周波成分Ｍ’_ＬＬ^n-1（ｔ）で置換する（ステップＳ８５）。
次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎが最大値Ｎに到達したか否かを判定し（ステップＳ８６）、否定判定した場合はインデックスｎをインクリメントして（ステップＳ８７）、ステップＳ８２の処理に戻る。

ＣＰＵ２０は、ステップＳ８６において、インデックスｎが最大値Ｎに到達したと判定した場合は、［数１］より、元の動領域画像Ｍ（ｔ）に対する動ベクトルＶ⁰ _i,j（ｔ）を算出する（ステップＳ８８）。

次に、ＣＰＵ２０は、時刻ｔが時刻Ｔに到達したか否かを判定し（ステップＳ８９）、否定判定したときは時刻ｔをインクリメントして（ステップＳ９０）、ステップＳ８１の処理に戻る。
ＣＰＵ２０は、ステップＳ８９において、時刻ｔが時刻Ｔに到達したと判定した場合は、ルーチンを終了する。

次に、図３の動画像空間解像度拡大プログラムのステップＳ３４で実行される動領域補償画像列生成ルーチンについて、図９のフローチャートと図１０の模式図を用いて説明する。

まず、ＣＰＵ２０は、動画像フレーム列｛Ｆ（ｔ）｝の開始時刻がｔ＝０であるため、時刻ｔ₀の動画像フレームＦ（ｔ₀）を基準に前後±ｑフレーム分の処理を行うために、時刻ｔ₀を“ｑ”に初期化する（ステップＳ１２０）。
次に、ＣＰＵ２０は、時刻ｔを“ｔ₀”に設定する（ステップＳ１２１）。

次に、ＣＰＵ２０は、画素の行方向の位置を示すインデックスｉを“１”に初期化し（ステップＳ１２２）、画素の列方向の位置を示すインデックスｊを“１”に初期化する（ステップＳ１２３）。

次に、ＣＰＵ２０は、動ベクトルＶ⁰ _i,j（ｔ’）（１≦ｉ≦Ｉ、１≦ｊ≦Ｊ、ｔ₀−ｑ≦ｔ’）を用いて、動画像フレームＦ（ｔ）の画素位置（ｉ，ｊ）の動きを時刻ｔ₀からｔ₀−ｑに渡って時間軸マイナス方向に追跡する。さらに、動ベクトルＶ⁰ _i,j（ｔ’）（１≦ｉ≦Ｉ、１≦ｊ≦Ｊ、ｔ’≦ｔ₀＋ｑ）を用いて、動画像フレームＦ（ｔ）の画素位置（ｉ，ｊ）の動きを時刻ｔ₀からｔ₀＋ｑに渡って時間軸プラス方向に追跡する（ステップＳ１２４）。

次に、ＣＰＵ２０は、動画像フレームＦ（ｔ）の画素位置（ｉ，ｊ）の追跡結果に基づいて、動ベクトルＶ⁰ _i,j（ｔ’）（ｔ₀−ｑ≦ｔ’≦ｔ₀＋ｑ）の絶対値が最小となる時刻ｔ_sと、追跡位置（ｋ，ｍ）を決定する（ステップＳ１２５）。

次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎを“１”に初期化する（ステップＳ１２６）。

次に、ＣＰＵ２０は、図１０に示すように、動画像フレームＦ（ｔ）のｎ階ウェーブレット分解成分の水平高周波成分Ｆ_ＬＨⁿ _i,j（ｔ）、垂直高周波成分Ｆ_ＨＬⁿ _i,j（ｔ）および対角高周波成分Ｆ_ＨＨⁿ _i,j（ｔ）を、動画像フレームＦ（ｔ_s）のｎ階ウェーブレット分解成分の水平高周波成分Ｆ_ＬＨⁿ _k,m（ｔ_s）、垂直高周波成分Ｆ_ＨＬⁿ _k,m（ｔ_s）および対角高周波成分Ｆ_ＨＨⁿ _k,m（ｔ_s）で置換する（ステップＳ１２７）。

次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎが最大値Ｎに到達したか否かを判定し（ステップＳ１２８）、否定判定した場合はインデックスｎをインクリメントして（ステップＳ１２９）、ステップＳ１２７の処理に戻る。

ＣＰＵ２０は、ステップＳ１２８において、インデックスｎが最大値Ｎに到達したと判定した場合は、画素の列方向の位置を示すインデックスｊが最大値Ｊに到達したか否かを判定し（ステップＳ１３０）、否定判定したときはインデックスｊをインクリメントして（ステップＳ１３１）、ステップＳ１２４の処理に戻る。

ＣＰＵ２０は、ステップＳ１３０において、インデックスｊが最大値Ｊに到達したと判定した場合は、画素の行方向の位置を示すインデックスｉが最大値Ｉに到達したか否かを判定し（ステップＳ１３２）、否定判定したときはインデックスｉをインクリメントして（ステップＳ１３３）、ステップＳ１２３の処理に戻る。

ＣＰＵ２０は、ステップＳ１３２において、インデックスｉが最大値Ｉに到達したと判定した場合は、低周波成分Ｆ_ＬＬⁿ（ｔ）、水平高周波成分Ｆ_ＬＨⁿ（ｔ）、垂直高周波成分Ｆ_ＨＬⁿ（ｔ）および対角高周波成分Ｆ_ＨＨⁿ（ｔ）（１≦ｎ≦Ｎ）をｎ階再構成して動領域補償画像ＣＦ（ｔ）を生成する（ステップＳ１３４）。

次に、ＣＰＵ２０は、動画像フレーム列｛Ｆ（ｔ）｝の終了時刻がｔ＝Ｔであるため、時刻ｔ₀の動画像フレームＦ（ｔ₀）を基準に前後±ｑフレーム分の処理を行うために、時刻ｔ₀がＴ−ｑに到達したか否かを判定する（ステップＳ１３５）。否定判定したときは時刻ｔ₀をインクリメントして（ステップＳ１３６）、ステップＳ１２１の処理に戻る。

ＣＰＵ２０は、ステップＳ１３５において、時刻ｔ₀がＴ−ｑに到達したと判定した場合は、ルーチンを終了する。

次に、図３の動画像空間解像度拡大プログラムのステップＳ３５で実行される空間解像度拡大ルーチンについて、図１１のフローチャートと図１２の模式図を用いて説明する。

まず、ＣＰＵ２０は、時刻ｔを“０”に初期化する（ステップＳ１４０）。
次に、ＣＰＵ２０は、回帰係数α^LH、α^HL、α^HHを算出する（ステップＳ１４１）が、以下にその詳細を説明する。

図１２に示すように、動領域補償画像ＣＦ（ｔ）の水平垂直２倍拡大画像を空間解像度拡大画像Ｕ⁰（ｔ）とすると、空間解像度拡大画像Ｕ⁰（ｔ）を１階分解した際の低周波成分Ｕ_ＬＬ¹（ｔ）は動領域補償画像ＣＦ（ｔ）と見なすことができる。

ここで、動領域補償画像ＣＦ（ｔ）のｎ階ウェーブレット分解成分に対してダウンサンプリングを行う作用素をＩ_nとし、そのムーアペンローズ一般逆をＩ_n ⁺とすると、動領域補償画像ＣＦ（ｔ）の１階ウェーブレット分解成分は、２階ウェーブレット分解成分および係数β^LH、β^HL、β^HHを用いて、［数２］に示すような線形回帰モデルで表現される。

このとき、［数３］に示す最小二乗基準を満たす係数β^LH、β^HL、β^HHを回帰係数α^LH、α^HL、α^HHとして決定する。

次に、ＣＰＵ２０は、［数４］より、空間解像度拡大画像Ｕ⁰（ｔ）の水平高周波成分Ｕ_ＬＨ¹（ｔ）、垂直高周波成分Ｕ_ＨＬ¹（ｔ）および対角高周波成分Ｕ_ＨＨ¹（ｔ）を推定する（ステップＳ１４２）。

次に、ＣＰＵ２０は、低周波成分Ｕ_ＬＬ¹（ｔ）、水平高周波成分Ｕ_ＬＨ¹（ｔ）、垂直高周波成分Ｕ_ＨＬ¹（ｔ）および対角高周波成分Ｕ_ＨＨ¹（ｔ）を１階再構成して空間解像度拡大画像Ｕ⁰（ｔ）を生成する（ステップＳ１４３）。

次に、ＣＰＵ２０は、時刻ｔが時刻Ｔに到達したか否かを判定し（ステップＳ１４４）、否定判定したときは時刻ｔをインクリメントして（ステップＳ１４５）、ステップＳ１４１の処理に戻る。

ＣＰＵ２０は、ステップＳ１４４において、時刻ｔが時刻Ｔに到達したと判定した場合は、ルーチンを終了する。

次に、図３の動画像空間解像度拡大プログラムのステップＳ３６で実行される補正画像列生成ルーチンについて、図１３のフローチャートと図１４のグラフを用いて説明する。

まず、ＣＰＵ２０は、時刻ｔを“０”に初期化する（ステップＳ１５０）。
次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎを“１”に初期化する（ステップＳ１５１）。

次に、ＣＰＵ２０は、空間解像度拡大画像Ｕ⁰（ｔ）に対してｎ階２次元離散ウェーブレット分解を行い、低周波成分Ｕ⁰_ＬＬⁿ（ｔ）、水平高周波成分Ｕ⁰_ＬＨⁿ（ｔ）、垂直高周波成分Ｕ⁰_ＨＬⁿ（ｔ）および対角高周波成分Ｕ⁰_ＨＨⁿ（ｔ）を算出する（ステップＳ１５２）。

次に、ＣＰＵ２０は、図１４のコントラスト感度関数（ＣＳＦ）のグラフから、コントラスト感度ＣＳⁿ _LH、ＣＳⁿ _HL、ＣＳⁿ _HHを決定する（ステップＳ１５３）が、以下にその詳細を説明する。

図１４に示したコントラスト感度関数（ＣＳＦ）は、ある一定の網膜照度［trd］におけるコントラスト感度の空間周波数依存性を与える。ここで、コントラスト感度とは、人間が知覚できる最小のコントラストであるコントラスト閾値の逆数である。また、空間周波数［cycle/deg］とは、視角１°当たりのサイクル数を示すものである。

図１４を用いて、空間解像度拡大画像Ｕ⁰（ｔ）の水平高周波成分Ｕ⁰_ＬＨⁿ（ｔ）、垂直高周波成分Ｕ⁰_ＨＬⁿ（ｔ）および対角高周波成分Ｕ⁰_ＨＨⁿ（ｔ）それぞれの周波数帯域に相当する空間周波数から、コントラスト感度ＣＳⁿ _LH、ＣＳⁿ _HL、ＣＳⁿ _HHを決定する。

次に、ＣＰＵ２０は、ＲＧＢ各色（以下、まとめてＰと記す）について、コントラスト感度関数に基づいた最大画素値と最小画素値の比を示す目標画素値比Ｐ_max／Ｐ_min（ＣＳⁿ _LH）、Ｐ_max／Ｐ_min（ＣＳⁿ _HL）、Ｐ_max／Ｐ_min（ＣＳⁿ _HH）を算出する（ステップＳ１５４）が、以下にその詳細を説明する。

［数５］は、コントラスト感度ＣＳⁿ _LH、ＣＳⁿ _HL、ＣＳⁿ _HHと、最大画素値Ｐ_max（ＣＳⁿ _LH）、Ｐ_max（ＣＳⁿ _HL）、Ｐ_max（ＣＳⁿ _HH）および最小画素値Ｐ_min（ＣＳⁿ _LH）、Ｐ_min（ＣＳⁿ _HL）、Ｐ_min（ＣＳⁿ _HH）との関係を示す式である。既に求まったコントラスト感度ＣＳⁿ _LH、ＣＳⁿ _HL、ＣＳⁿ _HHを用いて、［数５］より、目標画素値比Ｐ_max／Ｐ_min（ＣＳⁿ _LH）、Ｐ_max／Ｐ_min（ＣＳⁿ _HL）、Ｐ_max／Ｐ_min（ＣＳⁿ _HH）を決定する。

次に、ＣＰＵ２０は、空間解像度拡大画像Ｕ⁰（ｔ）の水平高周波成分Ｕ⁰_ＬＨⁿ（ｔ）、垂直高周波成分Ｕ⁰_ＨＬⁿ（ｔ）および対角高周波成分Ｕ⁰_ＨＨⁿ（ｔ）それぞれについて、実際の最大画素値と最小画素値の比（以下、画素値比と記す）が目標画素値比Ｐ_max／Ｐ_min（ＣＳⁿ _LH）、Ｐ_max／Ｐ_min（ＣＳⁿ _HL）、Ｐ_max／Ｐ_min（ＣＳⁿ _HH）よりも小である場合には、画素値比を目標画素値比に拡大する画素値補正を行う（ステップＳ１５５）。

次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎが最大値Ｎに到達したか否かを判定し（ステップＳ１５６）、否定判定した場合はインデックスｎをインクリメントして（ステップＳ１５７）、ステップＳ１５２の処理に戻る。

ＣＰＵ２０は、ステップＳ１５６において、インデックスｎが最大値Ｎに到達したと判定した場合は、低周波成分Ｕ⁰_ＬＬⁿ（ｔ）および画素値補正後の水平高周波成分Ｕ⁰_ＬＨⁿ（ｔ）、垂直高周波成分Ｕ⁰_ＨＬⁿ（ｔ）、対角高周波成分Ｕ⁰_ＨＨⁿ（ｔ）（１≦ｎ≦Ｎ）をｎ階再構成して補正画像ＳＵ⁰（ｔ）を生成する（ステップＳ１５８）。

次に、ＣＰＵ２０は、時刻ｔが時刻Ｔに到達したか否かを判定し（ステップＳ１５９）、否定判定したときは時刻ｔをインクリメントして（ステップＳ１６０）、ステップＳ１５１の処理に戻る。

ＣＰＵ２０は、ステップＳ１５９において、時刻ｔが時刻Ｔに到達したと判定した場合は、ルーチンを終了する。

以上説明したように、本発明の実施形態の動画像空間解像度拡大装置および動画像空間解像度拡大プログラムは、動画像フレーム列上の動ベクトル情報を用い、低速動領域の空間高周波成分から高速動領域の空間高周波成分を補償することにより、蓄積型撮像素子における積分効果で失われた動画像フレーム列上の動領域の空間高周波成分を効果的に補償し、かつ人間の視覚特性に係るコントラスト感度関数による自然な空間解像度拡大を行うことができる。

以上のように、本発明に係る動画像空間解像度拡大装置および動画像空間解像度拡大プログラムは、蓄積型撮像素子における積分効果で失われた動画像フレーム列上の動領域の空間高周波成分を効果的に補償し、かつ人間の視覚特性に係るコントラスト感度関数による自然な空間解像度拡大を行うことができるという効果を有し、画像処理装置として有効である。

本発明に係る動画像空間解像度拡大装置の機能構成を示すブロック図 本発明に係る動画像空間解像度拡大装置のハードウエア構成を示すブロック図 本発明に係る動画像空間解像度拡大装置のＣＰＵが実行する動画像空間解像度拡大プログラムのフローチャート 本発明に係る動画像空間解像度拡大装置のＣＰＵが実行する動領域画像列抽出ルーチンのフローチャート 動領域画像列抽出ルーチンの処理の流れを示す模式図 本発明に係る動画像空間解像度拡大装置のＣＰＵが実行する動領域画像列分解ルーチンのフローチャート 動領域画像Ｍ（ｔ）、動領域画像Ｍ（ｔ）の１階ウェーブレット分解画像および動領域画像Ｍ（ｔ）の２階ウェーブレット分解画像の模式図 本発明に係る動画像空間解像度拡大装置のＣＰＵが実行する動ベクトル検出ルーチンのフローチャート 本発明に係る動画像空間解像度拡大装置のＣＰＵが実行する動領域補償画像列生成ルーチンのフローチャート 動領域補償画像列生成ルーチンの処理の流れを示す模式図 本発明に係る動画像空間解像度拡大装置のＣＰＵが実行する空間解像度拡大ルーチンのフローチャート 空間解像度拡大画像の構成を示す模式図 本発明に係る動画像空間解像度拡大装置のＣＰＵが実行する補正画像列生成ルーチンのフローチャート コントラスト感度関数（ＣＳＦ）のグラフ

符号の説明

１ 動画像空間解像度拡大装置
１１ 空間解像度拡大画像列生成手段
１２ 補正画像列生成手段
１１１ 高周波成分補償手段
１１２ 空間解像度拡大手段
１１３ 動領域画像列抽出手段
１１４ 動領域画像列分解手段
１１５ 動ベクトル検出手段
１１６ 動領域補償画像列生成手段

Claims (2)

1. 動画像フレーム列の空間解像度拡大を行い、空間解像度拡大画像列を生成する空間解像度拡大画像列生成手段と、
   前記空間解像度拡大画像列の各ｎ階ウェーブレット分解成分の画素値をコントラスト感度関数に基づいて補正し、補正後の各ｎ階ウェーブレット分解成分を再構成して補正画像列を生成する補正画像列生成手段と、を含み、
   前記空間解像度拡大画像列生成手段は、
   前記動画像フレーム列に対して時間軸方向に１階１次元離散ウェーブレット分解を行うことにより得られた高周波成分に基づいて動領域画像列を抽出する動領域画像列抽出手段と、
   前記動領域画像列に対して空間方向にｎ階２次元離散ウェーブレット分解を行い、前記動領域画像列を各ｎ階ウェーブレット分解成分に分解する動領域画像列分解手段と、
   前記動領域画像列の各ｎ階ウェーブレット分解成分の低周波成分に基づいて動ベクトルの検出を行う動ベクトル検出手段と、
   前記動ベクトルを用いて、前記動画像フレーム列の時刻ｔ ₀ の動画像フレームを基準に前後±ｑフレーム分の画素位置の追跡を行い、前記時刻ｔ ₀ の動画像フレームの各ｎ階ウェーブレット分解成分の水平高周波成分、垂直高周波成分および対角高周波成分を、追跡した画素位置に対応する動ベクトルの絶対値が最小となる動画像フレームの各ｎ階ウェーブレット分解成分の水平高周波成分、垂直高周波成分および対角高周波成分で置換し、置換後の各ｎ階ウェーブレット分解成分を再構成して動領域補償画像列を生成する動領域補償画像列生成手段と、
   前記動領域補償画像列の空間解像度拡大を行い、前記空間解像度拡大画像列を生成する空間解像度拡大手段と、を含む動画像空間解像度拡大装置。
2. コンピュータに、
   動画像フレーム列の空間解像度拡大を行い、空間解像度拡大画像列を生成する空間解像度拡大画像列生成処理と、
   前記空間解像度拡大画像列の各ｎ階ウェーブレット分解成分の画素値をコントラスト感度関数に基づいて補正し、補正後の各ｎ階ウェーブレット分解成分を再構成して補正画像列を生成する補正画像列生成処理と、を実行させ、
   前記空間解像度拡大画像列生成処理は、
   前記動画像フレーム列に対して時間軸方向に１階１次元離散ウェーブレット分解を行うことにより得られた高周波成分に基づいて動領域画像列を抽出する動領域画像列抽出処理と、
   前記動領域画像列に対して空間方向にｎ階２次元離散ウェーブレット分解を行い、前記動領域画像列を各ｎ階ウェーブレット分解成分に分解する動領域画像列分解処理と、
   前記動領域画像列の各ｎ階ウェーブレット分解成分の低周波成分に基づいて動ベクトルの検出を行う動ベクトル検出処理と、
   前記動ベクトルを用いて、前記動画像フレーム列の時刻ｔ ₀ の動画像フレームを基準に前後±ｑフレーム分の画素位置の追跡を行い、前記時刻ｔ ₀ の動画像フレームの各ｎ階ウェーブレット分解成分の水平高周波成分、垂直高周波成分および対角高周波成分を、追跡した画素位置に対応する動ベクトルの絶対値が最小となる動画像フレームの各ｎ階ウェーブレット分解成分の水平高周波成分、垂直高周波成分および対角高周波成分で置換し、置換後の各ｎ階ウェーブレット分解成分を再構成して動領域補償画像列を生成する動領域補償画像列生成処理と、
   前記動領域補償画像列の空間解像度拡大を行い、前記空間解像度拡大画像列を生成する空間解像度拡大処理と、を含む動画像空間解像度拡大プログラム。

Images