JP6148201B2 - イントラ予測方向絞込み方法及びイントラ予測方向絞込み装置 - Google Patents

Description

本発明は、映像符号化における画面内符号化において、その予測方向（予測モード）を絞り込んで決定するイントラ予測方向絞込み方法及びイントラ予測方向絞込み装置に関する。

イントラ予測（画面内予測）方向の決定は、実際に可能性のあるイントラ予測方向を用いてイントラ予測処理を行い、符号化結果を確認して最も良い符号化効率を得られる方向を採用する方法が基本的な方法である。予測すべき方向の種類が少ない場合、全方向についてイントラ予測処理を行うことは比較的容易である。しかし、予測すべき方向の種類が多いと演算量が膨大になってしまう。このため予め予測方向の候補を減らす処理が行われる。その代表的な方法として、上方向や左方向などの周辺においてすでに符号化が終了したブロックで用いられた予測方向を候補とする方法が提案されてきた（例えば、非特許文献１参照）。

一方、予測方向とブロックのエッジ特徴には関連性があることは古くから知られている。実際、ｘ方向微分とｙ方向微分を計算し、その大きさの比からエッジ方向を決定し、さらにエッジ強度を利用して確からしさを得る方法が提案されている（例えば、非特許文献２参照）。

Fast Mode Decision Algorithm for Intra Prediction in HEVC; Zhao, Liang; Visual Communications and Image Processing (VCIP) 2011 IEEE on; 6-9 Nov, 2001. Gradient based fast mode decision algorithm for intra prediction in HEVC; Wei Jiang, Hanjie Ma, Yaowu Chen; CECNet, 2012 2nd International Conference on; 21-23 April 2012, pp. 1836 - 1840.

しかしながら、エッジ特徴はノイズの影響を受けやすいため、単純なエッジ検出を用いてエッジの方向を検出し、その結果でイントラ予測方向を判断しても、エッジの方向のばらつきが多くなるという問題がある。イントラ予測（画面内予測）の映像符号化で用いられる予測方向の絞込みを行うには、本来は、周辺ブロックが符号化された後、その周辺ブロックの情報からイントラ予測に最も適した方向を探し出す処理が行われる。しかし、この方法では周辺ブロックの符号化が終了するまで該当ブロックの符号化を開始できないという問題がある。

また、該当ブロック内の情報のみを使用して予測方向を絞り込む方法として、ブロック内のエッジの情報を活用する方法が知られている。しかし、単純にエッジを求める方法は、エッジ検出がノイズの影響を受けやすいという特性から、求めるべきエッジが不安定になり、求める予測方向に関する精度が得られないという問題がある。

本発明は、このような事情に鑑みてなされたもので、符号化前の処理対象画像（原画像）のみを使用して、イントラ予測の処理を行うべき方向を絞り込むことができるイントラ予測方向絞込み方法及びイントラ予測方向絞込み装置を提供することを目的とする。

本発明は、入力画像からイントラ予測方向を決定すべき対象ブロックを切り出す対象ブロック切り出しステップと、前記対象ブロック毎に方向を表すヒストグラムを算出するヒストグラム算出ステップと、前記対象ブロック内の各点についてｘ方向微分とｙ方向微分とを計算する微分計算ステップと、前記ｘ方向微分と前記ｙ方向微分との計算結果を用いてエッジ方向を決定するエッジ方向決定ステップと、前記エッジ方向に対応する前記ヒストグラム中の方向を暫定予測方向とする暫定予測方向決定ステップと、前記対象ブロックでの位置に応じて前記暫定予測方向に対応するヒストグラムに対して加算される第１の所定の値を決定するヒストグラム重み付けステップと、少なくとも前記第１の所定の値を含む第２の所定の値を前記暫定予測方向のヒストグラムに対して加算する暫定予測方向加算ステップと、前記対象ブロックの各点における前記エッジ方向を集計したヒストグラム中の方向の度数から予測方向を絞り込む予測方向絞込みステップとを有することを特徴とする。

本発明は、入力画像からイントラ予測方向を決定すべき対象ブロックを切り出す対象ブロック切り出しステップと、前記対象ブロック毎に方向を表すヒストグラムを算出するヒストグラム算出ステップと、前記対象ブロック内の各点についてｘ方向微分とｙ方向微分とを計算する微分計算ステップと、前記ｘ方向微分と前記ｙ方向微分との計算結果を用いてエッジの強さである微分強度を計算する微分強度計算ステップと、前記ｘ方向微分と前記ｙ方向微分との計算結果を用いてエッジ方向を決定するエッジ方向決定ステップと、前記エッジ方向に対応する前記ヒストグラム中の方向を暫定予測方向とする暫定予測方向決定ステップと、前記対象ブロックでの位置と前記微分強度に応じて前記暫定予測方向に対応するヒストグラムに対して加算される第１の所定の値を決定するヒストグラム重み付けステップと、少なくとも前記第１の所定の値を含む第２の所定の値を前記暫定予測方向のヒストグラムに対して加算する暫定予測方向加算ステップと、前記対象ブロックの各点における前記エッジ方向を集計したヒストグラム中の方向の度数から予測方向を絞り込む予測方向絞込みステップとを有することを特徴とする。

本発明は、前記第２の所定の値は、前記ヒストグラム重み付けステップで重みづけられた第１の所定の値であることを特徴とする。

本発明は、前記第２の所定の値は、前記微分強度であることを特徴とする。

本発明は、前記第２の所定の値は、前記ヒストグラム重み付けステップで重みづけられた第１の所定の値が閾値より小さい場合はゼロとすることを特徴とする。

本発明は、前記微分計算ステップは、平滑化処理を含むことを特徴とする。

本発明は、入力画像からイントラ予測方向を決定すべき対象ブロックを切り出す対象ブロック切り出し部と、前記対象ブロック毎に方向を表すヒストグラムを算出するヒストグラム算出部と、前記対象ブロック内の各点についてｘ方向微分とｙ方向微分とを計算する微分計算部と、前記ｘ方向微分と前記ｙ方向微分との計算結果を用いてエッジ方向を決定するエッジ方向決定部と、前記エッジ方向に対応する前記ヒストグラム中の方向を暫定予測方向とする暫定予測方向決定部と、前記対象ブロックでの位置に応じて前記暫定予測方向に対応するヒストグラムに対して加算される第１の所定の値を決定するヒストグラム重み付け部と、少なくとも前記第１の所定の値を含む第２の所定の値を前記暫定予測方向のヒストグラムに対して加算する暫定予測方向加算部と、前記対象ブロックの各点における前記エッジ方向を集計したヒストグラム中の方向の度数から予測方向を絞り込む予測方向絞込み部とを備えることを特徴とする。

本発明は、入力画像からイントラ予測方向を決定すべき対象ブロックを切り出す対象ブロック切り出し部と、前記対象ブロック毎に方向を表すヒストグラムを算出するヒストグラム算出部と、前記対象ブロック内の各点についてｘ方向微分とｙ方向微分とを計算する微分計算部と、前記ｘ方向微分と前記ｙ方向微分との計算結果を用いてエッジの強さである微分強度を計算する微分強度計算部と、前記ｘ方向微分と前記ｙ方向微分との計算結果を用いてエッジ方向を決定するエッジ方向決定部と、前記エッジ方向に対応する前記ヒストグラム中の方向を暫定予測方向とする暫定予測方向決定部と、前記対象ブロックでの位置と前記微分強度に応じて前記暫定予測方向に対応するヒストグラムに対して加算される第１の所定の値を決定するヒストグラム重み付け部と、少なくとも前記第１の所定の値を含む第２の所定の値を前記暫定予測方向のヒストグラムに対して加算する暫定予測方向加算部と、前記対象ブロックの各点における前記エッジ方向を集計したヒストグラム中の方向の度数から予測方向を絞り込む予測方向絞込み部とを備えることを特徴とする。

本発明によれば、符号化前の原画像のみを使用して、イントラ予測の処理を行うべき方向を安定的に絞り込むことができるという効果が得られる。

本発明の第１実施形態におけるイントラ予測方向絞込み装置の構成を示すブロック図である。 本発明の第２実施形態におけるイントラ予測方向絞込み装置の構成を示すブロック図である。 ＨＥＶＣの場合のイントラ予測モードを示す図である。 画素単位で重み付けを行う例を示す説明図である。 画素単位で重み付けを行う例を示す説明図である。 ブロック単位で重み付けを行う例を示す説明図である。 ブロック単位で重み付けを行う例を示す説明図である。 ＨＥＶＣの場合のヒストグラム順位（１位〜５位）の例を表す図である。 ＨＥＶＣのイントラ予測モード方向の詳細図である。 イントラ予測モード方向の対応関係を示す説明図である。 イントラ予測モード方向の対応関係を示す説明図である。 フィルタ係数の例を示す説明図である。 フィルタ係数の例を示す説明図である。 フィルタ係数の例を示す説明図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態によるイントラ予測方向絞込み装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において１０１は、入力映像を入力する映像入力部である。１０２は、入力映像から対象ブロック切り出し処理を行うことにより対象ブロックを切り出す対象ブロック切り出し部である。１０３は、入力映像からヒストグラムを算出するヒストグラム算出部である。ヒストグラムは、対象ブロック毎に１つ算出する。ヒストグラムのテーブルには、ＨＥＶＣの場合は２〜３４のモードが準備される。

１０４は、対象ブロックの各点においてｘ方向の微分計算を行うｘ方向微分計算部である。１０５は、対象ブロックの各点においてｙ方向の微分計算を行うｙ方向微分計算部である。ｘ方向微分値とｙ方向微分値は、ペアでグラディエントベクトルとも解釈できる。１０６は、グラディエントベクトルから垂直の方向を計算するエッジ方向計算部である。グラディエントベクトルは、その点のエッジ方向に垂直である。グラディエントベクトルの方向は３６０度であるが、ここで記載したエッジ方向は１８０度ずれた真逆の方向は同一と見なす。１０７は、暫定予測方向を求める暫定予測方向処理部である。１０８は、暫定予測方向に対応するモードに対応したヒストグラムに対して、重み付け処理を行う、ヒストグラム重み付け部である。１０９は得られたヒストグラムのテーブルに１０８で得られた値を加算するヒストグラム足し込み部である。

１１０は、ｘ方向微分計算部１０４、ｙ方向微分計算部１０５、エッジ方向計算部１０６、暫定予測方向処理部１０７、ヒストグラム重み付け部１０８及びヒストグラム足し込み部１０９によって、対象ブロックの範囲内において、繰り返し処理を行うブロック内処理部である。ブロック内処理部１１０によって各点毎にヒストグラムのテーブルへ加算が行われる。最終的に、このヒストグラムは多くの点でエッジが現れた方向に重みが高いものが得られることになる。１１１は、予測方向の絞り込み処理を行う予測方向絞込み処理部である。１１２は、予測方向リストを作成して出力する予測方向リスト出力部である。

なお、本明細書において、画像とは、静止画像、または動画像を構成する１フレーム分の画像のことをいう。また映像とは、動画像と同じ意味であり、一連の画像の集合である。

次に、図１を参照して、図１に示すイントラ予測方向絞込み装置の動作を説明する。まず、映像入力部１０１が入力映像を入力すると、対象ブロック切り出し部１０２は、入力映像から対象ブロックを切り出す。一方、ヒストグラム算出部１０３は、入力映像からヒストグラムを算出する。

次に、ｘ方向微分計算部１０４とｙ方向微分計算部１０５は、対象ブロックの各点において、ｘ方向微分とｙ方向微分をそれぞれ計算する。続いて、エッジ方向計算部１０６は、グラディエントベクトル（ｘ方向微分値とｙ方向微分値のペア）から垂直の方向を計算する。そして、暫定予測方向処理部１０７は、暫定予測方向を求める。ヒストグラム重み付け部１０８は、各画素にヒストグラムへ重み付けを行う。

次に、ヒストグラム足し込み部１０９は、各点毎にヒストグラムのテーブルに値を加算する。この処理を、対象ブロックの範囲内において、繰り返し処理することにより、各点毎にヒストグラムのテーブルへ加算が行われることになる。最終的に、このヒストグラムは多くの点でエッジが現れた方向または、各点毎に重み付けを行った後に対象ブロック内で最もそれらしい方向に重みが高いものが得られることになる。

次に、得られた結果から、予測方向絞込み処理部１１１は、予測方向の絞込み処理を行う。そして、予測方向リスト出力部１１２は、予測方向リストを作成して出力する。

＜第２実施形態＞
次に、本発明の第２実施形態によるイントラ予測方向絞込み装置を説明する。図２は、同実施形態の構成を示すブロック図である。図２において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図２に示す装置が図１に示す装置と異なる点は、ブロック内処理部１１０の中に微分強度計算部１１３を新たに設け、微分強度計算部１１３の結果がヒストグラム足し込み部１０９に入力する点と、ヒストグラム平滑化部１１４が新たに設けられている点である。

次に、図２に示すイントラ予測方向絞込み装置の動作を説明する。まず、映像入力部１０１は、イントラ符号化される対象である入力映像を入力する。この入力映像は、２次元のデジタル画像である。画像上の１点を（ｘ，ｙ）とし、その時の画素値をｆ（ｘ，ｙ）とする。デジタル画像であるため、画素の表現も画素値も本来は離散値である。しかし説明を簡単にするために、一部の説明ではｆ（ｘ，ｙ）を連続的な関数として扱う。また本来、符号化対象は一般にカラーであり、各点毎に３次元のデータで表現されるが、ここでは１次元で記載する。具体的には多くの場合ｙｕｖ（ｙは輝度、ｕおよびｖが色を示す）が使用されるため、このうち輝度を示すｙを想定した説明を行うことにする。

この場合、ｘ方向微分計算部１０４において得られるｘ方向微分は

ｙ方向微分計算部１０５において得られるｙ方向微分は

と表現できる。

これをベクトルで表現すれば、

と書き表される。

次に、微分強度計算部１１３は、微分強度

を計算する。

この場合の微分強度の計算には様々な可能性がある。例えば、

などの計算で得ることができる。

次に、エッジ方向計算部１０６は、微分をグラディエントベクトルとみなした場合に直行する方向であるエッジの方向を計算する。またはこれの１８０度逆の方向のベクトルで、エッジ方向を表現できる。

次に、暫定予測方向処理部１０７は、暫定予測方向を求める。暫定予測方向処理部１０７は、ヒストグラムで準備されているエッジ方向に対応させることにより暫定予測方向を求める。図３は、ＨＥＶＣの場合のイントラ予測モードを示す図である。例えばＨＥＶＣの場合のモードは、図３で示す様に、モード２〜３４である。ただしモード２とモード３４は１８０度逆の関係であるため、この場合は暫定的に全てモード２を選択しておき、後に行う予測方向絞込み処理で対処する。なお、ＨＥＶＣの場合、符号化ではさらにモード０、１が使用されるが、イントラ方向の処理とは無関係であるため、ここでは説明を省略する。

次にヒストグラム重み付け部１０８は、得られた暫定予測方向に対応するモードに対応したヒストグラムに対して重み付けを行う。重み付けは画素単位で行う。暫定予測方向に対応する微分強度はＶＣｏｓｔ（ｘ，ｙ）とし、重み付けで用いる重みをＷ（ｘ，ｙ）とする。この時、ｘおよびｙは画素の位置を表す座標を意味する。重み付け後の微分強度をＷＶＣｏｓｔ（ｘ，ｙ）とすると、重み付けは

と表すことができる。

重み付けの方法としては、（１）均等に重み付けを行う方法、（２）画素単位で重み付けを行う方法、（３）ブロック単位で重み付けを行う方法、および（４）符号化時の条件に応じて重み付けを行う方法などが考えられる。以下、それぞれについて説明を行う。

（１）均等に重み付けを行う方法。
この方法では、全ての画素について均等に重み付けを行う。具体的には全ての（ｘ，ｙ）について、Ｗ（ｘ，ｙ）＝１．０とする。結果的に、全ての画素を均等に評価することになるため、重み付けを行わない時と同様の結果が得られる。

（２）画素単位で重み付けを行う方法。
この方法では、画素単位で重み付けを行う。画素単位で重み付けを行う時には、距離を表す変数としてｋを用いて、（８）式を

と書き換える。（９）式ではｘ，ｙおよびｋによって重みＷ（ｘ，ｙ，ｋ）を任意のものと書き換えることが可能である。

図４に、対象ブロックサイズＮ×Ｎ＝８×８の時の例を示す。図４は画素単位で重み付けを行う例を示す図である。ｋは端からの距離を表す値であり、例としてｋ＝３の時を示している。上端および左端から均等に重み付けを行う場合は共通の上端および左端について共通のｋを使用するが、この値は上端と左端で異なる値を用いてもよい。この時、ｋで指定された距離を超える位置にある画素については重みＷ（ｘ，ｙ，ｋ）を０とすることで、微分強度を用いないようにすることも可能である。

図５では、左上の画素を起点として、距離ｋまでの画素について重み付けを行う例を示している。図５は画素単位で重み付けを行う例を示す図である。図５でも図４と同様に、ｋで指定された範囲を超えた画素についてはＷ（ｘ，ｙ，ｋ）＝０とすることで、微分強度を用いないようにすることも可能である。

（３）ブロック単位で重み付けを行う方法。
この方法では、ブロック単位で重み付けを行う。ブロック単位で重み付けを行う時には、距離を表す変数としてｋおよびブロックサイズを表す変数としてｂｋを用いて、（８）式を

と書き換える。
（１０）式では、ｘ，ｙ，ｋおよびｂｋによって重みＷ（ｘ，ｙ，ｋ，ｂｋ）を任意のものと置き換えることが可能である。

図６に、対象ブロックサイズＮ×Ｎ＝８×８、ブロック数ｋ＝２、ブロックサイズｂｋ＝２の時の例を示す。図６は、ブロック単位で重み付けを行う例を示す図である。この時、上端からのブロック数と左端からのブロック数として共通の値ｋを用いているが、上端と左端で異なる値を用いてもよい。この時、ｋで指定された距離を超える位置にある画素については重みＷ（ｘ，ｙ，ｋ，ｂｋ）を０とすることで、微分強度を用いないようにすることも可能である。

図７に、対象ブロックサイズＮ×Ｎ＝８×８、ブロック数ｋ＝４、ブロックサイズｂｋ＝２の時の例を示している。図７は、ブロック単位で重み付けを行う例を示す図である。図７でも図６と同様に、ｋで指定された範囲を超えた画素についてはＷ（ｘ，ｙ，ｋ，ｂｋ）＝０とすることで、微分強度を用いないようにすることも可能である。

（４）符号化時の条件に応じて重み付けを行う方法。
この方法では、符号化時の条件に応じて重み付けを行う。符号化時の条件で重み付けを行う時には、（８）式における重み付け係数Ｗ（ｘ，ｙ）は符号化時の条件を用いて決定される。この時、Ｗ（ｘ，ｙ）の値は例えば量子化パラメータ（ＱＰ）、符号化ユニットサイズ（ＣＵサイズ）、予測ユニットサイズ（ＰＵサイズ）、変換ユニットサイズ（ＴＵサイズ）、階層符号化で用いる階層の深さなどの情報から決定することが可能である。

次に、ヒストグラム足し込み部１０９は、得られた暫定予測方向に対応するモードに対したヒストグラムのテーブルに値を加算する。加算する値は、ヒストグラム重み付け部１０８から出力される重み付け後の微分強度のほかに、１画素あたり１として微分強度を使用しなくてもよいし、閾値処理を行い閾値以上の微分強度を持つ画素に１を割り当ててもよい。さらに微分強度計算部１１３において計算された値でもよい。

そして、ブロック内処理部１１０によるブロック内繰り返し処理で、対象ブロックの範囲内でｘ方向微分計算部１０４、ｙ方向微分計算部１０５、エッジ方向計算部１０６、暫定予測方向処理部１０７、ヒストグラム重み付け部１０８、ヒストグラム足し込み部１０９及び微分強度計算部１１３の処理が繰り返し行われて、各点毎にヒストグラムのテーブルへ加算が行われる。最終的に、このヒストグラムは多くの点でエッジが現れた方向または、各点毎に重み付けを行った後に対象ブロック内で最もそれらしい方向に重みが高いものが得られることになる。

次に、ヒストグラム平滑化部１１４は、例えばモード１０のヒストグラムの値を参考に、隣のモード９やモード１１にも多少の重みを加える処理を行う。当然、隣だけでなくさらにその隣へ同様の処理を行うようにしてもよい。ここでモードが２の場合の隣のモードは、モード３及びモード３３となること、逆にモード３３の隣はモード３２およびモード２になる。これは、モード２がモード３４と同じ方向であるためである。この処理は、実際にはヒストグラム足し込み部１０９の処理を行う際に行うようにしてもよい。また、ヒストグラムが一旦生成された後に処理するようにしてもよい。さらに、この処理はスキップするようにしてもよい。

次に、予測方向絞込み処理部１１１は、得られた結果から、予測方向の絞込み処理を行い、予測方向リスト出力部１１２は、予測方向リストを作成して出力する。予測方向絞込みでは、予め残したい方向（モード）の数を指定する。例えばＨＥＶＣでは、ブロックの大きさに応じて３〜８方向に絞り込む。

次に、平滑化されたヒストグラムの結果から予測方向を絞り込む動作を説明する。例えば、ヒストグラムが大きな値を指すモードから１位、２位、・・・と順番を付け、絞りたいモード数分を残す方法が適用できる。別の方法として、１位に続き２番目、３番目をその両脇、次に２位が２番目、３番目に入っていなければ４番目に、入っていれば３位を選んでくるようにしてもよい。

ここで、図８を参照して上記予測モードの選択方法を説明する。図８は、ＨＥＶＣの場合のヒストグラムの順位（１位〜５位）に例を示す図である。（１）〜（５）がヒストグラムの順位を表しており、（１）が１位、（５）が５位であることを意味する。

第１の予測方向絞込み方法は、ヒストグラムから得られる順位をそのまま予測方向リストに用いる方法である。そのため、上位５番目までを予測方向リストに用いる場合は、（１）から（５）までの方向である、２０、２５、１４、２、３３の方向を予測方向リストに追加することとする。

第２の予測方向絞込み方法は、ヒストグラムから得られる順位をそのまま予測方向リストに追加するのではなく、隣接する予測方向を追加しながら予測方向リストに追加していく。１近傍を追加しながら予測方向リストを作成する場合は、２０の次に１９、２１を追加する。次に２５、２４、２６という順番に追加していく。２近傍を追加する場合は２０の次に１９、２１、１８、２２を追加することとなる。追加する近傍数や左右どちらの近傍を先に追加するかは実行時に選択できるものとする。

ただしここでもモード２とモード３４の扱いについては注意が必要である。例えばモード２が選択される場合、モード３４もできる限り絞込み結果として残すよう、設定すべきである。

以上では、モードの数字２〜３４を用いて説明したが、このモード番号はあくまでもＨＥＶＣの場合であり、符号化方式が異なる場合にはその数字が異なることは言うまでもない。

次に、暫定予測方向処理部１０７において、ＨＥＶＣの場合の決定方法をより詳しく説明する。エッジの方向は図９のように分割される。図９は、ＨＥＶＣの場合のイントラ予測モード方向の詳細を示す図である。

ｘ方向微分とｙ方向微分の関係が

の場合には、

を計算する。この値は−３２〜＋３２の範囲に収まる。この値がどの範囲に収まるかを調べ、図１０に示すように割当を行うことができる。図１０は、イントラ予測モード方向の対応関係を示す図である。

逆に、ｘ方向微分とｙ方向微分の関係が

の場合は、

を計算して図１１に示すようにする。図１１は、イントラ予測モード方向の対応関係を示す図である。

次に、平滑化処理を含む微分処理について説明する。平滑化処理を含む微分処理は、数式を用いた場合と、数式を用いない場合について説明する。まず、数式を用いた例を説明する。平滑化処理を含む微分フィルタは、例えばガウス関数

を微分した

から生成する。この例は、ｘ方向微分である。この際、σの値が大きい場合は平滑化度合いが強くなる。σを調整し、この式をデジタル化することで、画像処理の微分フィルタが生成できる。

次に、数式を用いない例を説明する。前述した説明では、微分処理を数式で示したが、実際にはデジタルフィルタ処理が必要となる。例えば頻繁に使用されるｘ方向微分は、フィルタ係数が図１２に示す様になっている。図１２はフィルタ係数の一例を示す図である。
ｘ方向微分

をこの係数を使って式で表すと、

と書くことができる。

このフィルタは、図１３、図１４に示すように縦横に分解された２つのフィルタでも表現できる。図１３、図１４は、フィルタ係数の一例を示す図である。いずれの方法を使うかはここでは規定しない。

この例は、タップ数が３のフィルタである。ここで、タップ数とは、次数のことでありこの場合は微分後の画素値ｆ（ｘ，ｙ）に影響を与える可能性がある画素値を意味する。タップ数が３の場合は、中心の画素値ｆ（ｘ，ｙ）を求める際にｆ（ｘ±１，ｙ±１）の画素値を用いることを意味する。タップ数を大きくすることにより、多くの近隣画素値の値を用いるため、微分処理が平滑化を伴うこととなる。

いずれの例においても微分処理が平滑化処理を含むことにより、あばれやすいエッジ情報を安定化させることが可能となる。

次に、平滑化度合いを符号化の条件によって設定する方法について説明する。符号化では、ＱＰの値で画質調整を行う。ＱＰが大きいほど画質は劣化する。従って高周波成分の再現性はＱＰが小さいほどよい。また、イントラ予測を行おうとする単位は小さいほど細かな変化を捉える必要がある。このため平滑化度合いはＱＰが大きいほど、ブロックが大きいほど、大きくする。さらに、対応ブロック内のノイズ量を計算し、そのノイズが多い場合には平滑化度合いを高めることもできる。

いずれの例においても、平滑化度合いを符号化の条件に応じて設定することにより、イントラ予測方向の精度が向上する。例えば、大きな画像については、σをおおきくすると精度が向上する。

なお、処理対象のブロック以外の情報を得られる場合には、絞り込んだ方向に対応する位置にエッジが存在するか否か、モード２とモード３４のどちらが望ましいかなどの判断をすることもできる。ただしそれは、本発明の結果を利用することであり、本発明の対象外である。

以上、本実施形態では、ヒストグラム重み付け部１０８において、ブロック毎に処理をする方法を示しているが、この場合においてはヒストグラムの加算性を活用することができる。ヒストグラムの加算性を用いることで、既に計算したブロックについては再度計算し直すことなく、加算することで再利用することが可能となる。

以上、説明したように、Ｈ．２６４やＨＥＶＣで行われる映像符号化における画面内符号化において、その予測方向（予測モード）を決定する際に、複数の予測モードの中から最も符号化効率が良い物を選択するのが一般的であるが、本実施形態では、計算不要な予測モードを特定し、続く予測モードの洗濯時の演算量を減らすことができるため、予測モード選択時の演算量を減らすことが可能になる。特に、エッジ特徴がノイズの影響を受け、ばらついてしまうことによりイントラ予測方向を決定することが困難になるという問題を、ヒストグラムを用いることで解決し、かつ予測方向選択に要する演算量の削減および予測方向選択の精度向上を可能とした。

また、イントラ予測は上端および左端の画素との相関が強く、右端および下端の画素との相関が低い特徴があるため、該当ブロック内の画素ごとに重み付けを行うことで、イントラ予測の処理を行うべき方向を安定的に絞り込むことが可能となる。この構成によって、予測モード選択時の演算量を減らすことが可能になる。

前述した実施形態におけるイントラ予測方向絞込み装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

Ｈ．２６４やＨＥＶＣで行われる映像符号化における画面内符号化において、その予測方向（予測モード）を決定することが不可欠な用途に適用できる。

１０１・・・映像入力部、１０２・・・対象ブロック切り出し部、１０３・・・ヒストグラム算出部、１０４・・・ｘ方向微分計算部、１０５・・・ｙ方向微分計算部、１０６・・・エッジ方向計算部、１０７・・・暫定予測方向処理部、１０８・・・ヒストグラム重み付け部、１０９・・・ヒストグラム足し込み部、１１０・・・ブロック内処理部、１１１・・・予測方向絞り込み部、１１２・・・予測方向リスト出力部、１１３・・・微分強度計算部、１１４・・・ヒストグラム平滑化部

Claims (8)

1. 入力画像からイントラ予測方向を決定すべき対象ブロックを切り出す対象ブロック切り出しステップと、
   前記対象ブロック毎に方向を表すヒストグラムを算出するヒストグラム算出ステップと、
   前記対象ブロック内の各点についてｘ方向微分とｙ方向微分とを計算する微分計算ステップと、
   前記ｘ方向微分と前記ｙ方向微分との計算結果を用いてエッジ方向を決定するエッジ方向決定ステップと、
   前記エッジ方向に対応する前記ヒストグラム中の方向を暫定予測方向とする暫定予測方向決定ステップと、
   前記対象ブロックでの位置に応じて前記暫定予測方向に対応するヒストグラムに対して加算される第１の所定の値を決定するヒストグラム重み付けステップと、
   少なくとも前記第１の所定の値を含む第２の所定の値を前記暫定予測方向のヒストグラムに対して加算する暫定予測方向加算ステップと、
   前記対象ブロックの各点における前記エッジ方向を集計したヒストグラム中の方向の度数から予測方向を絞り込む予測方向絞込みステップと
   を有することを特徴とするイントラ予測方向絞込み方法。
2. 入力画像からイントラ予測方向を決定すべき対象ブロックを切り出す対象ブロック切り出しステップと、
   前記対象ブロック毎に方向を表すヒストグラムを算出するヒストグラム算出ステップと、
   前記対象ブロック内の各点についてｘ方向微分とｙ方向微分とを計算する微分計算ステップと、
   前記ｘ方向微分と前記ｙ方向微分との計算結果を用いてエッジの強さである微分強度を計算する微分強度計算ステップと、
   前記ｘ方向微分と前記ｙ方向微分との計算結果を用いてエッジ方向を決定するエッジ方向決定ステップと、
   前記エッジ方向に対応する前記ヒストグラム中の方向を暫定予測方向とする暫定予測方向決定ステップと、
   前記対象ブロックでの位置と前記微分強度に応じて前記暫定予測方向に対応するヒストグラムに対して加算される第１の所定の値を決定するヒストグラム重み付けステップと、
   少なくとも前記第１の所定の値を含む第２の所定の値を前記暫定予測方向のヒストグラムに対して加算する暫定予測方向加算ステップと、
   前記対象ブロックの各点における前記エッジ方向を集計したヒストグラム中の方向の度数から予測方向を絞り込む予測方向絞込みステップと
   を有することを特徴とするイントラ予測方向絞込み方法。
3. 前記第２の所定の値は、前記ヒストグラム重み付けステップで重みづけられた第１の所定の値であることを特徴とする請求項１または２に記載のイントラ予測方向絞込み方法。
4. 前記第２の所定の値は、前記微分強度であることを特徴とする請求項２に記載のイントラ予測方向絞込み方法。
5. 前記第２の所定の値は、前記ヒストグラム重み付けステップで重みづけられた第１の所定の値が閾値より小さい場合はゼロとすることを特徴とする請求項１または２に記載のイントラ予測方向絞込み方法。
6. 前記微分計算ステップは、平滑化処理を含むことを特徴とする請求項１から５のいずれか１項に記載のイントラ予測方向絞込み方法。
7. 入力画像からイントラ予測方向を決定すべき対象ブロックを切り出す対象ブロック切り出し部と、
   前記対象ブロック毎に方向を表すヒストグラムを算出するヒストグラム算出部と、
   前記対象ブロック内の各点についてｘ方向微分とｙ方向微分とを計算する微分計算部と、
   前記ｘ方向微分と前記ｙ方向微分との計算結果を用いてエッジ方向を決定するエッジ方向決定部と、
   前記エッジ方向に対応する前記ヒストグラム中の方向を暫定予測方向とする暫定予測方向決定部と、
   前記対象ブロックでの位置に応じて前記暫定予測方向に対応するヒストグラムに対して加算される第１の所定の値を決定するヒストグラム重み付け部と、
   少なくとも前記第１の所定の値を含む第２の所定の値を前記暫定予測方向のヒストグラムに対して加算する暫定予測方向加算部と、
   前記対象ブロックの各点における前記エッジ方向を集計したヒストグラム中の方向の度数から予測方向を絞り込む予測方向絞込み部と
   を備えることを特徴とするイントラ予測方向絞込み装置。
8. 入力画像からイントラ予測方向を決定すべき対象ブロックを切り出す対象ブロック切り出し部と、
   前記対象ブロック毎に方向を表すヒストグラムを算出するヒストグラム算出部と、
   前記対象ブロック内の各点についてｘ方向微分とｙ方向微分とを計算する微分計算部と、
   前記ｘ方向微分と前記ｙ方向微分との計算結果を用いてエッジの強さである微分強度を計算する微分強度計算部と、
   前記ｘ方向微分と前記ｙ方向微分との計算結果を用いてエッジ方向を決定するエッジ方向決定部と、
   前記エッジ方向に対応する前記ヒストグラム中の方向を暫定予測方向とする暫定予測方向決定部と、
   前記対象ブロックでの位置と前記微分強度に応じて前記暫定予測方向に対応するヒストグラムに対して加算される第１の所定の値を決定するヒストグラム重み付け部と、
   少なくとも前記第１の所定の値を含む第２の所定の値を前記暫定予測方向のヒストグラムに対して加算する暫定予測方向加算部と、
   前記対象ブロックの各点における前記エッジ方向を集計したヒストグラム中の方向の度数から予測方向を絞り込む予測方向絞込み部と
   を備えることを特徴とするイントラ予測方向絞込み装置。

Images