JP4839375B2 - 画像処理方法及び装置、画像処理用プログラム及びそのプログラムを記録した記録媒体 - Google Patents

Description

本発明は、原画像を所定の客観的画質評価値を持つ画像に変換するフィルタ処理を簡素化された処理で実現できるようにする画像処理方法及びその装置と、その画像処理方法の実現に用いられる画像処理用プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００６年７月３日に出願された特願２００６−１８２９３１号に基づき優先権を主張し、その内容をここに援用する。

映像符号化の前処理としてしばしば使用されるプレフィルタは、符号化に伴うブロック歪みやモスキートノイズなどを緩和し主観的な画像品質を高める効果のあることが知られている。適用するプレフィルタの通過帯域幅（以下、帯域幅と称する）を制限することにより、原画像に含まれるノイズを除去し符号化効率を向上させるものであるが、帯域幅を狭く制限しすぎると画質を著しく低下させてしまう。

図７に、帯域制限をする画像処理方法を示す。

帯域制限をする画像処理方法では、この図に示すように、まず最初に、原画像データＢ（１）を入力し、これを周波数成分Ｉ（１）に変換する（ステップＳ１００）。続いて、この周波数成分Ｉ（１）に対し、帯域幅ｒ１（０＜ｒ１＜１）で帯域制限を行い周波数成分Ｉ（ｒ１）を得る（ステップＳ１０１）。続いて、この周波数成分Ｉ（ｒ１）を画像変換することにより、フィルタ処理した画像データＢ（ｒ１）を生成する（ステップＳ１０２）。

このような画像処理を、ある映像の全フレームに対して同じ帯域幅で適用した場合、フレーム毎に画像の周波数特性は異なるため、フィルタ適用後のフレーム毎の画像品質は異なり、低周波成分を多く含む画像では原画像との差分が小さく、主観的及び客観的画質低下も小さいが、高周波成分を多く含む画像ではエッジなどが平滑化されぼけてしまい、主観的及び客観的画質が著しく低下してしまうといった問題がある。

なお、客観的画質評価値としてはＰＳＮＲ（Peak Signal to Noise Ratio）などがよく用いられる。ここで、ＰＳＮＲは、Ｓを信号レベル、Ｎを雑音レベルで表すならば、
ＰＳＮＲ＝２０×ｌｏｇ₁₀（Ｓ／Ｎ）
という式で表される。

この問題に対して、主観的、客観的画質制御を、全ての画像に対する総当り的な帯域制限により行う方法が考えられる。

図８に、総当り的な帯域制限を行うことにより最適フィルタ画像データを生成する最適フィルタ画像生成装置１００の装置構成を図示する。

この図に示すように、最適フィルタ画像生成装置１００は、原画像データ入力部１０１と、周波数成分解析部１０２と、帯域幅手動選択部１０３と、帯域制限部１０４と、画像データ生成部１０５と、ＰＳＮＲ算出部１０６と、画質判定部１０７と、最適帯域制限画像データ出力部１０８とから構成される。

図９に、このように構成される最適フィルタ画像生成装置１００で実行される総当り的な帯域制限を行うことにより最適フィルタ画像データを生成する画像処理方法を示す。

このように構成される最適フィルタ画像生成装置１００では、まず最初に、原画像データ入力部１０１にて、原画像データＢ（１）を入力し、周波数成分解析部１０２にて、これを周波数成分Ｉ（１）に変換する（ステップＳ２００）。

続いて、帯域幅手動選択部１０３にて、暫定的な帯域幅ｒ１を手動選択する（ステップＳ２０１）。続いて、帯域制限部１０４にて、変換した周波数成分Ｉ（１）に対し、選択した帯域幅ｒ１で帯域制限を行い周波数成分Ｉ（ｒ１）を得る（ステップＳ２０２）。

続いて、画像データ生成部１０５にて、この周波数成分Ｉ（ｒ１）を画像変換することにより画像データＢ（ｒ１）を生成する（ステップＳ２０３）。続いて、ＰＳＮＲ算出部１０６にて、原画像データＢ（１）とこの画像データＢ（ｒ１）とを比較して、ＰＳＮＲ（ｒ１）（以下、Ｐ（ｒ１）とする）を算出する（ステップＳ２０４）。

続いて、画質判定部１０７にて、算出したＰ（ｒ１）が所望の画質かどうかを判定する（ステップＳ２０５）。そして、所望の画質であれば、最適帯域制限画像データ出力部１０８にて、画像データＢ（ｒ１）を最適帯域制限画像データ（最適フィルタ画像データ）として出力する（ステップＳ２０６）。

しかし、１度目の処理で得られたＰ（ｒ１）が所望の画質となることは稀であり、所望の画質でない場合には帯域幅手動選択部１０３の処理（ステップＳ２０１の処理）に戻り、帯域制限処理後の画像が所望の画質に近づくよう再度帯域幅ｒ２を選択し、同様に帯域制限、画像生成及びＰＳＮＲ算出処理を繰り返す。

そして、本処理を所望の画質が得られるまでＮ回繰り返し、最終的に得られた帯域幅ｒＮを最適帯域幅として、最適帯域制限画像データ出力部１０８にて、この帯域幅ｒＮを用いて作成された画像データＢ（ｒＮ）を最適帯域制限画像データ（最適フィルタ画像データ）として出力する（ステップＳ２０６）。

しかしながら、様々な映像及びそれらを構成する全フレームに対しフィルタ処理を行い、その都度得られた画像信号の主観的又は客観的画質を評価し、映像の全フレームに対し同等の画質を得るまで本処理を総当り的に繰り返し行うというこの手法は、多数の画像を処理するような状況には時間的、コスト的に不適であり、現実的でないという問題がある。

この問題に対し、画像及び映像の符号化情報より最適帯域幅を求めて画像処理を行う技術が知られている（例えば、特許文献１参照）。

図１０に、符号化情報を用いることにより最適フィルタ画像データを生成する最適フィルタ画像生成装置２００の装置構成を図示する。

この図に示すように、最適フィルタ画像生成装置２００は、原画像データ入力部２０１と、周波数成分解析部２０２と、画像データ符号化部２０３と、最適帯域制限幅決定部２０４と、帯域制限部２０５と、画像データ生成部２０６と、最適帯域制限画像データ出力部２０７とから構成される。

図１１に、このように構成される最適フィルタ画像生成装置２００で実行される、符号化情報を用いることにより最適フィルタ画像データを生成する画像処理方法を示す。

このように構成される最適フィルタ画像生成装置２００では、まず最初に、原画像データ入力部２０１にて、原画像データＢ（１）を入力し、周波数成分解析部２０２にて、これを周波数成分Ｉ（１）へ変換する（ステップＳ３００）。

続いて、画像データ符号化部２０３にて、入力した原画像データＢ（１）を符号化する（ステップＳ３０１）。続いて、最適帯域制限幅決定部２０４にて、符号化により得られた符号量情報に基づいて、最適帯域幅ｒ１を決定する（ステップＳ３０２）。

続いて、帯域制限部２０５にて、変換した周波数成分Ｉ（１）に対し、決定した最適帯域幅ｒ１で帯域制限を行い周波数成分Ｉ（ｒ１）を得る（ステップＳ３０３）。続いて、画像データ生成部２０６にて、この周波数成分Ｉ（ｒ１）を画像変換することにより画像データＢ（ｒ１）を生成する（ステップＳ３０４）。

最後に、最適帯域制限画像データ出力部２０７にて、画像データＢ（ｒ１）を最適帯域制限画像データ（最適フィルタ画像データ）として出力する（ステップＳ３０５）。

このようにして、図１０のように構成される従来の最適フィルタ画像生成装置２００では、一度符号化を行って、その符号化により得られる符号化情報に基づいて最適帯域幅を決定することで、図８のように構成される最適フィルタ画像生成装置１００で必要とされるような繰り返し処理を行うことなく、最適フィルタ画像データを生成するようにしている。
特開平６−２２５２７６号公報

確かに、図１０のように構成される従来の最適フィルタ画像生成装置２００によれば、図８のように構成される最適フィルタ画像生成装置１００で必要とされるような繰り返し処理を行うことなく、最適フィルタ画像データを生成できるようになる。

しかしながら、図１０のように構成される従来の最適フィルタ画像生成装置２００では、一度符号化を行って、その符号化により得られる符号化情報に基づいて最適帯域幅を決定するようにしている。

こうした符号化情報を利用した手法では、帯域制限処理と符号化処理とが不可分となっており、最適帯域幅を用いたプレフィルタ処理のみをしたい場合であっても、符号化処理が必要となり、プレフィルタ処理後に符号化処理を行う場合には、２回の符号化処理が必要となり、画像サイズが大きい場合などは特に処理時間を要するという問題がある。

これらの点からプレフィルタとして用いる帯域幅の最適化は、符号量などの符号化情報を用いる手法よりも、処理を簡素化でき、かつ客観的画質評価基準であるＰＳＮＲなどによる任意制御可能な手法が望ましい。

本発明はかかる事情に鑑みてなされたものであり、画像に対しての適応的なフィルタ処理を符号化処理なしで自動的に行うことを可能にすることで、映像の全フレームが主観的に高品質でありかつ同等の客観的画質評価値を持つ画像となる適応的なフィルタ処理を簡素化された処理で実現できるようにする新たな画像処理技術の提供を目的とする。

この目的を達成するために、本発明の画像処理装置は、（１）入力した原画像データの画像サイズから第一帯域幅を決定する第一帯域幅決定手段と、（２）第一帯域幅決定手段の決定した第一帯域幅で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出する第一フィルタ係数配列算出手段と、（３）第一フィルタ係数配列算出手段の算出した第一フィルタ係数配列を用いて原画像データをフィルタ処理をして、第一フィルタ画像データを生成する第一フィルタ画像データ生成手段と、（４）第一フィルタ画像データ生成手段の生成した第一フィルタ画像データの客観的画質評価値を導出し、これに基づいて最適帯域幅の決定に用いる振り分け係数を算出する振り分け係数算出手段と、（５）振り分け係数と最適帯域幅との対応関係を設定する最適帯域幅決定表を参照することで、振り分け係数算出手段の算出した振り分け係数に対応した最適帯域幅を決定する最適帯域幅決定手段と、（６）最適帯域幅決定手段の決定した最適帯域幅で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出する最適フィルタ係数配列算出手段と、（７）最適フィルタ係数配列算出手段の算出した最適フィルタ係数配列を用いて原画像データをフィルタ処理をして、最適フィルタ画像データを生成する最適フィルタ画像生成手段とを備えるように構成する。

この構成を採るときにあって、画像サイズと第一帯域幅との対応関係について記述する第一帯域幅決定表を用意することがあり、この場合には、第一帯域幅決定手段は、この第一帯域幅決定表を参照することで、原画像データの画像サイズに対応した第一帯域幅を決定するように処理する。

また、最適帯域幅決定表が画像サイズ及び目標の客観的画質評価値に対応付けて用意される場合があり、この場合には、最適帯域幅決定手段は、原画像データの画像サイズと指定される目標の客観的画質評価値とに対応した最適帯域幅決定表を選択して、その選択した最適帯域幅決定表を参照することで、振り分け係数算出手段の算出した振り分け係数に対応した最適帯域幅を決定するように処理する。

以上の各処理手段が動作することで実現される本発明の画像処理方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このようにして実現される本発明の画像処理装置では、原画像データを入力すると、例えば第一帯域幅決定表を参照することで、原画像データの画像サイズに応じた第一帯域幅を決定する。

続いて、決定した第一帯域幅で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出して、その算出した第一フィルタ係数配列を用いて原画像データをフィルタ処理をして、第一フィルタ画像データを生成する。

続いて、客観的画質評価値としてＰＳＮＲを用いる場合の例で説明するならば、原画像データと生成した第一フィルタ画像データとのＰＳＮＲを導出し、これに基づいて、例えば、原画像データを帯域制限しない場合に得られるＰＳＮＲをその導出したＰＳＮＲで割り算することなどにより、最適帯域幅の決定に用いる振り分け係数を算出する。

続いて、原画像データの画像サイズと指定される目標ＰＳＮＲとに対応した最適帯域幅決定表を選択して、その選択した最適帯域幅決定表を参照することで、算出した振り分け係数に対応した最適帯域幅を決定する。

続いて、決定した最適帯域幅で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出して、その最適フィルタ係数配列を用いて原画像データをフィルタ処理をして、最適フィルタ画像データを生成する。

このようにして、本発明によれば、原画像を所定の客観的画質評価値を持つ画像に変換するフィルタ処理を、符号化処理なしで自動的に行うことができるようになる。

これから、本発明によれば、映像の全フレームが主観的に高品質でありかつ同等の客観的画質評価値を持つ画像となる適応的なフィルタ処理を、符号化処理なしで自動的に行うことができるようになるので、帯域制限処理の簡素化及び高機能化を図ることができるようになる。

本発明の最適フィルタ画像生成装置の一実施形態例である。 第一帯域幅決定表の説明図である。 最適帯域幅決定表の説明図である。 同様に、最適帯域幅決定表の説明図である。 本実施形態の最適フィルタ画像生成装置の実行する処理フローである。 帯域幅とＰＳＮＲとの対応関係を示す実験結果の説明図である。 帯域制限をする画像処理方法の説明図である。 総当り的な帯域制限を行うことにより最適フィルタ画像データを生成する最適フィルタ画像生成装置の装置構成図である。 総当り的な帯域制限を行うことにより最適フィルタ画像データを生成する最適フィルタ画像生成装置の実行する処理フローである。 従来の最適フィルタ画像生成装置の装置構成図である。 従来の最適フィルタ画像生成装置の実行する処理フローである。

符号の説明

１ 最適フィルタ画像生成装置
１０ 第一帯域幅決定表
１１ 最適帯域幅決定表
１２ 原画像データ入力部
１３ 第一帯域幅決定部
１４ 第一フィルタ係数配列算出部
１５ 第一フィルタ画像データ生成部
１６ 振り分け係数算出部
１７ 最適帯域幅決定表選択部
１８ 最適帯域幅決定部
１９ 最適フィルタ係数配列算出部
２０ 最適フィルタ画像データ生成部
２１ 最適フィルタ画像データ出力部

以下、実施の形態に従って本発明を詳細に説明する。

図１に、本発明による最適フィルタ画像生成装置１の一実施形態例を図示する。

本実施形態の最適フィルタ画像生成装置１は、画像に対しての適応的なフィルタ処理を符号化処理なしで自動的に行うことを可能にすることで、映像の全フレームが主観的に高品質でありかつ同等のＰＳＮＲを持つ画像となる適応的なフィルタ処理を簡素化された処理で実現するものであり、これを実現するために、第一帯域幅決定表１０（実際は、第一帯域幅決定表を記憶する記憶部）と、最適帯域幅決定表１１（実際は、最適帯域幅決定表を記憶する記憶部）と、原画像データ入力部１２と、第一帯域幅決定部１３と、第一フィルタ係数配列算出部１４と、第一フィルタ画像データ生成部１５と、振り分け係数算出部１６と、最適帯域幅決定表選択部１７と、最適帯域幅決定部１８と、最適フィルタ係数配列算出部１９と、最適フィルタ画像データ生成部２０と、最適フィルタ画像データ出力部２１とを備える。

第一帯域幅決定表１０は、図２に示すように、画像サイズに対応付けて、その画像サイズの画像データを処理するときに用いる第一帯域幅ｒ１の値がどういう値であるのかという情報について管理する。例えば、4096×2048画素の画像サイズを持つ画像については第一帯域幅ｒ１の値がＣ１になり、1920×1080画素の画像サイズを持つ画像については第一帯域幅ｒ１の値がＣ２になるというように、画像サイズと第一帯域幅ｒ１との対応関係を管理するのである。

ここで、画像サイズが大きくなるにしたがって、第一帯域幅ｒ１の値は小さくなるように設定されているので、図２に示す第一帯域幅ｒ１の値Ｃｉには、
０＜Ｃ１＜Ｃ２＜Ｃ３＜Ｃ４＜Ｃ５＜Ｃ６＜Ｃ７＜・・・・・＜１
という関係がある。また、図２に示す第一帯域幅決定表１０では、こういう画像サイズの場合には第一帯域幅ｒ１の値はこういう値になるという表構造のものを示したが、この画像サイズの範囲にある場合には第一帯域幅ｒ１の値はこういう値になるという表構造を持つようにしても良い。

最適帯域幅決定表１１は、図３に示すように、画像サイズ毎に複数の目標ＰＳＮＲが設定され、それらの各組合わせ分、複数の表が用意されている。各表、即ち、ある画像サイズのある目標ＰＳＮＲにおいて、図４に示すように、後述する振り分け係数Ｘの値の範囲に対応付けて、その範囲にある振り分け係数Ｘの値に対応付けて定義される最適帯域幅ｒ２（目標ＰＳＮＲを実現するための帯域幅）の値がどういう値であるのかという情報について管理する。

例えば、「Ｘ＜Ａ₁ 」という範囲にある振り分け係数Ｘについては最適帯域幅ｒ２の値がＢ₁ になり、「Ａ₁ ≦Ｘ＜Ａ₂ 」という範囲にある振り分け係数Ｘについては最適帯域幅ｒ２の値がＢ₂ になり、「Ａ₂ ≦Ｘ＜Ａ₃ 」という範囲にある振り分け係数Ｘについては最適帯域幅ｒ２の値がＢ₃ になるというように、振り分け係数Ｘの範囲と目標ＰＳＮＲを実現するための帯域幅である最適帯域幅ｒ２との対応関係を管理するのである。

ここで、Ａ_i （ｉ＝１〜ｎ−１）には、
０＜Ａ₁ ＜Ａ₂ ＜Ａ₃ ＜・・・・・・＜Ａ_n-2 ＜Ａ_n-1
という関係がある。

また、振り分け係数Ｘが大きくなるにしたがって、最適帯域幅ｒ２の値は大きくなるように設定されているので、
０＜Ｂ₁ ＜Ｂ₂ ＜Ｂ₃ ＜・・・・・・＜Ｂ_n-2 ＜Ｂ_n-1 ＜Ｂ_n ＜１
という関係がある。

原画像データ入力部１２は、最適フィルタ画像データの生成対象となる原画像データＢ（１）を入力するとともに、その入力した原画像データＢ（１）の画像サイズＶを特定する。

第一帯域幅決定部１３は、原画像データ入力部１２の特定した画像サイズＶをキーにして第一帯域幅決定表１０を参照することで、その画像サイズＶに応じて定義される第一帯域幅ｒ１を決定する。

第一フィルタ係数配列算出部１４は、第一帯域幅決定部１３の決定した第一帯域幅ｒ１で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出する。

第一フィルタ画像データ生成部１５は、第一フィルタ係数配列算出部１４の算出した第一フィルタ係数配列を用いて原画像データＢ（１）に対してフィルタ処理を行い、第一フィルタ画像データＢ（ｒ１）を生成する。

振り分け係数算出部１６は、原画像データＢ（１）と第一フィルタ画像データ生成部１５の生成した第一フィルタ画像データＢ（ｒ１）とを比較し、第一フィルタ画像データＢ（ｒ１）のＰＳＮＲであるＰ（ｒ１）を測定して、それに基づいて振り分け係数Ｘを算出する。

最適帯域幅決定表選択部１７は、画像サイズ及び目標ＰＳＮＲに対応付けて用意される複数の最適帯域幅決定表１１の中から、原画像データ入力部１２の特定した画像サイズＶとユーザから与えられた目標ＰＳＮＲとに対応する最適帯域幅決定表１１を選択し、選択された表に割り当てられたＩＤ番号を出力する。

最適帯域幅決定部１８は、振り分け係数算出部１６の算出した振り分け係数Ｘをキーにして最適帯域幅決定表選択部１７の選択した（上記ＩＤ番号で示される）最適帯域幅決定表１１を参照することで、最適帯域幅ｒ２を決定する。

最適フィルタ係数配列算出部１９は、最適帯域幅決定部１８の決定した最適帯域幅ｒ２で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出する。

最適フィルタ画像データ生成部２０は、最適フィルタ係数配列算出部１９の算出した最適フィルタ係数配列を用いて原画像データＢ（１）に対してフィルタ処理を行い、最適フィルタ画像データＢ（ｒ２）を生成する。

最適フィルタ画像データ出力部２１は、最適フィルタ画像データ生成部２０の生成した最適フィルタ画像データを出力する。

図５に、このように構成される本実施形態の最適フィルタ画像生成装置１の実行する処理フローの一例を図示する。

次に、この処理フローに従って、このように構成される本実施形態の最適フィルタ画像生成装置１の実行する処理について詳細に説明する。

本実施形態の最適フィルタ画像生成装置１は、最適フィルタ画像データの生成要求があると、図５の処理フローに示すように、まず最初に、ステップＳ１０で、最適フィルタ画像データの生成対象となる原画像データＢ（１）を入力するとともに、その入力した原画像データＢ（１）の画像サイズＶを特定する。

続いて、ステップＳ１１で、その特定した画像サイズＶをキーにして第一帯域幅決定表１０を参照することで、その画像サイズＶに応じて定義される第一帯域幅ｒ１を決定する。

ここで、本実施形態の最適フィルタ画像生成装置１の取り扱う原画像データＢ（１）の画像サイズＶが予め定められた固定のサイズに限られている場合には、第一帯域幅決定表１０を用意する必要はなく、その固定のサイズに応じて予め定義された第一帯域幅ｒ１を決定することになる。

続いて、ステップＳ１２で、その決定した第一帯域幅ｒ１で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出する。

続いて、ステップＳ１３で、その算出した第一フィルタ係数配列を用いて原画像データＢ（１）に対してフィルタ処理を行い、第一フィルタ画像データＢ（ｒ１）を生成する。

続いて、ステップＳ１４で、原画像データＢ（１）とその生成した第一フィルタ画像データＢ（ｒ１）とを比較し、第一フィルタ画像データＢ（ｒ１）のＰＳＮＲであるＰ（ｒ１）を測定して、それに基づいて振り分け係数Ｘを算出する。

例えば、Ｐ（ｒ１）を使い、
Ｘ＝５１．２／Ｐ（ｒ１） ・・・・・式（１）
という算出式に従って、振り分け係数Ｘを算出するのである。

図６に、1920×1080画素の画像サイズを持つ５種類の画像１〜５を実験画像データとして使用して、それらの画像１〜５の輝度成分に対して、水平、垂直両方向に等しく帯域幅ｒ（０．３＜ｒ＜１）の周波数特性を実現するフィルタ係数配列でフィルタ処理を行ったときの、帯域幅ｒとＰＳＮＲの値Ｐ（ｒ）との対応関係の実験結果を図示する。

この実験結果から分かるように、上記の式（１）に表れる“５１．２”という値は、原画像データを帯域制限しない場合に得られるＰＳＮＲの値を示している。

続いて、ステップＳ１５で、画像サイズＶ及び目標ＰＳＮＲに対応付けて用意される複数の最適帯域幅決定表１１の中から、原画像データ入力部１２の特定した画像サイズＶとユーザから与えられた目標ＰＳＮＲとに対応する最適帯域幅決定表１１を選択する。

ここで、本実施形態の最適フィルタ画像生成装置１の取り扱う原画像データＢ（１）の画像サイズＶが予め定められた固定のサイズに限られている場合には、最適帯域幅決定表１１を画像サイズ及び目標ＰＳＮＲに対応付けて用意する必要はなく、目標ＰＳＮＲに対応付けられる複数の最適帯域幅決定表１１を用意することになる。

また、本実施形態の最適フィルタ画像生成装置１の取り扱う原画像データＢ（１）の画像サイズＶが予め定められた固定のサイズに限られているとともに、本実施形態の最適フィルタ画像生成装置１の取り扱う目標ＰＳＮＲが予め定められた固定の値に限られている場合には、最適帯域幅決定表１１を画像サイズ及び目標ＰＳＮＲに対応付けて用意する必要はなく、その目標ＰＳＮＲに対応付けられる１つの最適帯域幅決定表１１を用意することになる。

続いて、ステップＳ１６で、算出した振り分け係数Ｘをキーにして選択した最適帯域幅決定表１１を参照することで、最適帯域幅ｒ２を決定する。

続いて、ステップＳ１７で、その決定した最適帯域幅ｒ２で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出する。

続いて、ステップＳ１８で、その算出した最適フィルタ係数配列を用いて原画像データＢ（１）に対してフィルタ処理を行い、目標ＰＳＮＲを実現する最適フィルタ画像データＢ（ｒ２）を生成する。

続いて、ステップＳ１９で、その生成した最適フィルタ画像データＢ（ｒ２）を出力して、処理を終了する。

このようにして、本実施形態の最適フィルタ画像生成装置１は、原画像データＢ（１）に対してフィルタ処理を２回行うだけで、目標ＰＳＮＲを実現する最適フィルタ画像データＢ（ｒ２）を生成するように処理するのである。

次に、図６に示す特性を持つ画像１〜５を具体例にして、以上に説明した処理について具体的に説明する。

前述したステップＳ１０の処理に従って、原画像データＢ（１）の画像サイズＶとして1920×1080画素を特定すると、前述したステップＳ１１の処理に従って、図２に示すようなデータ構造を持つ第一帯域幅決定表１０を参照することで、第一帯域幅ｒ１の値としてＣ２を決定することになる。

ここで、Ｃ２の値を０．５とするならば、前述したステップＳ１２〜ステップＳ１４の処理に従って、ｒ１＝０．５で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を用いて、図６に示す特性を持つ画像１〜５についての第一フィルタ画像データＢ（０．５）を生成して、それらの第一フィルタ画像データＢ（０．５）のＰＳＮＲであるＰ（０．５）を測定することになる。

この測定に従って、図６から分かるように、画像１についてはＰ（０．５）＝３４．５が測定され、画像２についてはＰ（０．５）＝４２．３が測定され、画像３についてはＰ（０．５）＝４０．６が測定され、画像４についてはＰ（０．５）＝４２．７が測定され、画像５についてはＰ（０．５）＝４５．３が測定されることになる。

これから、前述したステップＳ１４の処理に従って、「Ｘ＝５１．２／Ｐ（ｒ１）」という算出式を用いて、画像１については振り分け係数Ｘ＝１．４８を算出し、画像２については振り分け係数Ｘ＝１．２１を算出し、画像３については振り分け係数Ｘ＝１．２６を算出し、画像４については振り分け係数Ｘ＝１．２０を算出し、画像５については振り分け係数Ｘ＝１．１３を算出することになる。

続いて、前述したステップＳ１６の処理に従って、このようにして算出した振り分け係数Ｘをキーにして、図４に示すようなデータ構造を持つ最適帯域幅決定表１１を参照することで、最適帯域幅ｒ２の値として、振り分け係数Ｘの大きさに応じた値Ｂ_i を決定することになる。

このとき、最適帯域幅決定表１１は、前述したように、
０＜Ａ₁ ＜Ａ₂ ＜Ａ₃ ＜・・・・・・＜Ａ_n-2 ＜Ａ_n-1
０＜Ｂ₁ ＜Ｂ₂ ＜Ｂ₃ ＜・・・・・・＜Ｂ_n-2 ＜Ｂ_n-1 ＜Ｂ_n ＜１
というデータ構造を有しており、これから、振り分け係数Ｘが大きい原画像データＢ（１）ほど最適帯域幅ｒ２の値が大きなものとして決定され、振り分け係数Ｘが小さい原画像データＢ（１）ほど最適帯域幅ｒ２の値が小さなものとして決定されることになる。

すなわち、振り分け係数Ｘが大きい原画像データＢ（１）は、
Ｘ＝５１．２／Ｐ（ｒ１）
という算出式から分かるように、Ｐ（ｒ１）の値が小さい（即ち、信号レベルが低い）ことを意味し、これから、目標ＰＳＮＲを実現するには最適帯域幅ｒ２の値を大きくする（即ち、帯域制限をゆるめる）必要があり、一方、振り分け係数Ｘが小さい原画像データＢ（１）は、Ｐ（ｒ１）の値が大きいことを意味し、これから、目標ＰＳＮＲを実現するには最適帯域幅ｒ２の値を小さくする必要がある。

このことを考慮して、最適帯域幅決定表１１は、振り分け係数Ｘが大きい原画像データＢ（１）ほど最適帯域幅ｒ２の値が大きなものとして決定され、振り分け係数Ｘが小さい原画像データＢ（１）ほど最適帯域幅ｒ２の値が小さなものとして決定されることを実現すべく、
０＜Ａ₁ ＜Ａ₂ ＜Ａ₃ ＜・・・・・・＜Ａ_n-2 ＜Ａ_n-1
０＜Ｂ₁ ＜Ｂ₂ ＜Ｂ₃ ＜・・・・・・＜Ｂ_n-2 ＜Ｂ_n-1 ＜Ｂ_n ＜１
というデータ構造を持つのである。

このようにして決定される最適帯域幅ｒ２は、目標ＰＳＮＲを実現する最適フィルタ画像データＢ（ｒ２）を生成することになる帯域幅となっており、これから、前述したステップＳ１６〜ステップＳ１７の処理に従って、最適帯域幅ｒ２で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出して、それを用いて原画像データＢ（１）に対してフィルタ処理を行うことで、目標ＰＳＮＲを実現する最適フィルタ画像データＢ（ｒ２）を生成するのである。

このように、本実施形態の最適フィルタ画像生成装置１では、まず最初に、原画像データの画像サイズに従って仮の帯域幅を決定し、それに基づいて仮のフィルタ画像データを生成してＰＳＮＲを測定し、続いて、その測定したＰＳＮＲから振り分け係数という無次元のパラメータを算出する。そして、規定のＰＳＮＲの値を使って、振り分け係数が大きい原画像データほど最適帯域幅の値が大きなものとして決定されるデータ変換構造を持つように設定された最適帯域幅決定表１１を、算出した振り分け係数をキーにして参照することで、目標ＰＳＮＲを実現することになる最適な帯域幅を決定して、それに基づいて原画像データの最適なフィルタ画像データを生成することを実現するのである。

この構成に従って、本実施形態の最適フィルタ画像生成装置１によれば、原画像データに対してフィルタ処理を２回行うだけで、目標ＰＳＮＲを実現する最適なフィルタ画像データを生成することができるようになる。

これから、本実施形態の最適フィルタ画像生成装置１によれば、映像の全フレームが主観的に高品質でありかつ同等の客観的画質評価値を持つ画像となる適応的なフィルタ処理を、符号化処理なしで自動的に行うことができるようになる。

図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。

例えば、本実施形態例では、画像データの客観的画質評価値としてＰＳＮＲを用いる構成を示したが、ＰＳＮＲ以外の客観的画質評価値を用いるようにしてもよい。

また、本実施形態例では、一例として1920×1080画素の画像サイズについて示したが、図２に示すように、様々な画像サイズ（いわゆる、４ｋ×２ｋ，ＨＤ，ＳＤ，ＶＧＡ，ＣＩＦ，ＱＣＩＦなど任意）に対応した第一帯域幅ｒ１を管理する第一帯域幅決定表１０を前もって作成して備えるようにしておくことで、本発明の手法を任意サイズの画像に適用することができる。

また、本実施形態例では特に詳細には説明しなかったが、様々な目標ＰＳＮＲに対応した最適帯域幅決定表１１を前もって作成して備えるようにしておくことで、本発明の手法を用いて任意の画質制御が可能な画像処理を行うことができる。

また、本実施形態例では、第一帯域幅ｒ１及び最適帯域幅ｒ２について水平方向と垂直方向とで帯域幅を同じ幅としているが、水平方向と垂直方向とで帯域幅が異なる場合にも同様の効果を奏することになる。水平方向と垂直方向とで帯域幅が異なるようにするのは、鉛直方向に対して引力があるため、自然遠景映像やトラック映像などにおいて、輝度変化が水平方向より垂直方向に対して大きいことを積極的に利用するためである。

また、本実施形態例では、デジタルフィルタのタップ数について特に言及しなかったが、様々なタップ数のデジタルフィルタに適用して、同様の効果を奏する。また、指定した帯域制限を実現するデジタルフィルタの設計方法には特に制約はなく、例えば希望する周波数特性の形を逆ｚ変換することで、この周波数特性をもつデジタルフィルタの係数配列を求めて設計するものを利用することが可能である。

また、本実施形態例では、式（１）で５１．２という値を用いたが、これは使用するデジタルフィルタの特性に依存するものであり、異なるデジタルフィルタを用いる場合には適宜変更することなる。

また、本実施形態例では、輝度成分のみに帯域処理を行うことで説明を行ったが、色差成分に帯域処理を施すことも可能であり、この場合には、符号化時の符号化効率を一層高めることが可能となる。

本発明は、原画像を所定の客観的画質評価値を持つ画像に変換するフィルタ処理を簡素化された処理で実現できるようにするものであり、この構成に従って、映像の全フレームが主観的に高品質でありかつ同等の客観的画質評価値を持つ画像に変換するための適応的なフィルタ処理を簡素化された処理で実現できるようになる。

Claims (10)

1. 入力した原画像データの画像サイズから第一帯域幅を決定する段階と、
   前記第一帯域幅で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出する段階と、
   前記第一フィルタ係数配列を用いて前記原画像データをフィルタ処理をして、第一フィルタ画像データを生成する段階と、
   前記第一フィルタ画像データの客観的画質評価値を導出し、これに基づいて最適帯域幅の決定に用いる振り分け係数を算出する段階と、
   前記振り分け係数と前記最適帯域幅との対応関係を設定する最適帯域幅決定表を参照することで、前記算出した振り分け係数に対応した最適帯域幅を決定する段階と、
   前記決定した最適帯域幅で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出する段階と、
   前記最適フィルタ係数配列を用いて前記原画像データをフィルタ処理をして、最適フィルタ画像データを生成する段階と
   を備える画像処理方法。
2. 請求項１に記載の画像処理方法において、
   前記第一帯域幅を決定する段階では、画像サイズと前記第一帯域幅との対応関係について記述する第一帯域幅決定表を参照することで、前記原画像データの画像サイズに対応した前記第一帯域幅を決定する画像処理方法。
3. 請求項１に記載の画像処理方法において、
   前記最適帯域幅を決定する段階では、前記最適帯域幅決定表が画像サイズ及び目標の客観的画質評価値に対応付けて用意される場合には、それらの中から、前記原画像データの画像サイズと指定される目標の客観的画質評価値とに対応した最適帯域幅決定表を選択して、その選択した最適帯域幅決定表を参照することで、前記算出した振り分け係数に対応した最適帯域幅を決定する画像処理方法。
4. 請求項１に記載の画像処理方法において、
   前記振り分け係数を算出する段階では、前記原画像データを帯域制限しない場合に得られる客観的画質評価値を前記導出した客観的画質評価値で割り算することで、前記振り分け係数を算出する画像処理方法。
5. 入力した原画像データの画像サイズから第一帯域幅を決定する手段と、
   前記第一帯域幅で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出する手段と、
   前記第一フィルタ係数配列を用いて前記原画像データをフィルタ処理をして、第一フィルタ画像データを生成する手段と、
   前記第一フィルタ画像データの客観的画質評価値を導出し、これに基づいて最適帯域幅の決定に用いる振り分け係数を算出する手段と、
   前記振り分け係数と前記最適帯域幅との対応関係を設定する最適帯域幅決定表を参照することで、前記算出した振り分け係数に対応した最適帯域幅を決定する手段と、
   前記決定した最適帯域幅で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出する手段と、
   前記最適フィルタ係数配列を用いて前記原画像データをフィルタ処理をして、最適フィルタ画像データを生成する手段と
   を備える画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記第一帯域幅を決定する手段は、画像サイズと前記第一帯域幅との対応関係について記述する第一帯域幅決定表を参照することで、前記原画像データの画像サイズに対応した前記第一帯域幅を決定する画像処理装置。
7. 請求項５に記載の画像処理装置において、
   前記最適帯域幅を決定する手段は、前記最適帯域幅決定表が画像サイズ及び目標の客観的画質評価値に対応付けて用意される場合には、それらの中から、前記原画像データの画像サイズと指定される目標の客観的画質評価値とに対応した最適帯域幅決定表を選択して、その選択した最適帯域幅決定表を参照することで、前記算出した振り分け係数に対応した最適帯域幅を決定する画像処理装置。
8. 請求項５に記載の画像処理装置において、 前記振り分け係数を算出する手段は、前記原画像データを帯域制限しない場合に得られる客観的画質評価値を前記導出した客観的画質評価値で割り算することで、前記振り分け係数を算出する画像処理装置。
9. 請求項１に記載の画像処理方法の実現に用いられる処理をコンピュータに実行させるための画像処理用プログラム。
10. 請求項１に記載の画像処理方法の実現に用いられる処理をコンピュータに実行させるための画像処理用プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images