JP4797009B2 - 予測モード情報符号化方法，予測モード情報復号方法，これらの装置，およびこれらのプログラム並びにコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は，映像を複数の小領域に分割し，それぞれについて複数の予測モードから予測モードを選択し，予測モード情報とその予測残差信号を可変長符号を用いて符号化処理する場合に用いる予測モード情報符号化方法に関するものである。

現在の映像符号化では，フレームをブロック単位に分割してブロック毎に予測モードを選択し，選択した予測信号との差分信号に直交変換，量子化を施した後に，エントロピー符号化を行う方法が主流となっている。その中でも，現在注目を集めているのがＨ．２６４映像符号化方式（以下“Ｈ．２６４”という）である。Ｈ．２６４の主な特徴として，フレーム内符号化（以下“Ｉｎｔｒａ符号化”という）時に周辺画素から予測信号を生成し，その差分信号を符号化することで高効率な符号化が行える点が挙げられる［非特許文献１参照］。

例として，４×４画素単位で予測を行うＩｎｔｒａ４×４予測時の予測信号の概要を図１に示す。図１において，白丸で示した４×４画素が符号化対象となる被予測画素，灰色で示した画素が予測信号の生成に用いる隣接画素である。予測モードは全部で９種類あり，隣接画素を矢印で示した方向に並べる（もしくは補間する）ようにして予測信号を生成する。符号化時にはこの９モードの中から予測信号を一つ選択し，その予測残差信号と，選択した予測モード番号を符号化する。

Ｈ．２６４のＩｎｔｒａ４×４予測を用いて符号化する場合の予測モードのフローチャートの例を図２に示す。まず，Ｉｎｔｒａ予測モードを選択し（Ｓ１１），その予測残差を算出する（Ｓ１２）。その予測残差にＤＣＴと量子化を施し（Ｓ１３），エントロピー符号化を行う（Ｓ１４）。また，量子化後の係数に逆量子化とＩＤＣＴ（逆ＤＣＴ）を施して復号し（Ｓ１５），復号画像を予測信号用に保存する（Ｓ１６）。

図３は，この処理を行うための符号化装置の例を示すブロック図である。この装置は，Ｉｎｔｒａ予測部１１，減算器１２，ＤＣＴ部１３，量子化部１４，エントロピー符号化部１５，逆量子化部１６，ＩＤＣＴ部１７，加算器１８，復号画像保存バッファ１９から構成される。

Ｉｎｔｒａ予測部１１は，入力画像と復号画像保存バッファ１９から得られる隣接画素をもとにＩｎｔｒａ予測モードを決定し，Ｉｎｔｒａ予測信号を出力する。減算器１２は，原画像とＩｎｔｒａ予測信号との差分から予測残差画像を求め，ＤＣＴ部１３に出力する。ＤＣＴ部１３は，予測残差画像にＤＣＴを施す。量子化部１４は，ＤＣＴ後の係数に量子化を施す。エントロピー符号化部１５は，入力信号をエントロピー符号化する。

逆量子化部１６は，量子化された係数の逆量子化を行う。ＩＤＣＴ部１７は，逆量子化後の係数にＩＤＣＴを施す。加算器１８は，ＩＤＣＴ部１７から出力される復号予測残差信号と，Ｉｎｔｒａ予測部１１から出力されるＩｎｔｒａ予測信号を加算し，復号画像を生成する。復号画像保存バッファ１９は，復号画像を保持し，Ｉｎｔｒａ予測部１１にＩｎｔｒａ予測に用いる周辺画素情報を出力する。以上のような構成を用いることで，図２に示す処理を実現することができる。

次に，Ｉｎｔｒａ予測モードを選択する部分のフローチャートの例を，図４に示す。処理が始まると，最小コストＣｍを十分大きな値（Ｍａｘ）で初期化する。また，モード番号カウンタｎを０にリセットする（Ｓ２１）。次に，予測モード番号ｎの予測信号を生成し，予測残差信号と予測モード番号からコストＣを計算する（Ｓ２２）。コストＣが最小コストＣｍよりも小さければ（Ｓ２３），選択モードｐにｎを代入し，また最小コストＣｍをＣで更新する（Ｓ２４）。そしてモード番号ｎを１増加させ（Ｓ２５），ｎが全モード数Ｎ以下ならば（Ｓ２６），上記の処理（Ｓ２２〜Ｓ２６）を繰り返す。全モードについて反復が終了したら，その時点で保持している選択モードｐをＩｎｔｒａ予測モード番号とし，予測信号を出力すると共に，選択モードｐにエントロピー符号化を施す（Ｓ２７）。

図５は，この処理を実現させるためのＩｎｔｒａ４×４予測モード選択の一例を示すブロック図である。この装置は，Ｉｎｔｒａ予測制御部２１，カウンタ２２，Ｉｎｔｒａ予測信号生成部２３，減算器２４，コスト計算部２５，予測モード判定部２６，スイッチＡ２７，予測モード番号保持メモリ２８，予測信号保持メモリ２９，スイッチＢ３０から構成される。

Ｉｎｔｒａ予測制御部２１は，処理が開始したら，まずスイッチＢ３０に制御信号を送り，スイッチＢ３０をＯＦＦにする。次に，予測モード判定部２６に初期化信号を送ると共に，カウンタ２２に処理開始信号を送る。カウンタ２２からの終了信号を受けると，スイッチＢ３０に制御信号を送り，スイッチＢ３０をＯＮにする。

カウンタ２２は，Ｉｎｔｒａ予測制御部２１から開始信号を受け取ると，０からＮ−１（Ｉｎｔｒａ４×４予測であればＮ＝９）までのカウント値を，順にＩｎｔｒａ予測信号生成部２３とコスト計算部２５に出力する。Ｎ−１まで出力し終わったら，終了信号をＩｎｔｒａ予測制御部２１に送信する。

Ｉｎｔｒａ予測信号生成部２３は，カウンタ２２から予測モード番号を受け取ると，復号画像をもとにその予測信号を生成し，スイッチＡ２７と減算器２４に出力する。減算器２４は，Ｉｎｔｒａ予測信号生成部２３から出力される予測信号と原画像との差分を取って予測残差画像を求め，コスト計算部２５に出力する。コスト計算部２５では，カウンタ２２から入力される予測モード番号と，減算器２４から入力される予測残差画像からコストを計算し，予測モード判定部２６に出力する。

予測モード判定部２６は，内部で保持している最小コストＣｍと，コスト計算部２５から送られるコストＣを比較し，もしＣが最小コストＣｍよりも小さければ，スイッチＡ２７をＯＮにし，内部で保持しているＣｍをＣで更新する。もしＣがＣｍ以上ならば，スイッチＡ２７をＯＦＦにする。また，Ｉｎｔｒａ予測制御部２１から初期化信号を受け取ると，保持している最小コストＣｍを十分大きな数Ｍａｘで初期化する。

スイッチＡ２７は，予測モード判定部２６からの制御信号を受けてＯＮとＯＦＦの切換えを行う。なお，二つのスイッチは連動しており，共にＯＮか共にＯＦＦのどちらかとなる。予測モード番号保持メモリ２８は，スイッチＡ２７から送られる予測モード番号を保持し，スイッチＢ３０がＯＮのとき，その番号をＩｎｔｒａ予測モード番号として出力する。予測信号保持メモリ２９は，スイッチＡ２７から送られる予測信号を保持し，スイッチＢ３０がＯＮのとき，その画像をＩｎｔｒａ予測信号として出力する。スイッチＢ３０は，Ｉｎｔｒａ予測制御部２１からの制御信号を受けてＯＮとＯＦＦの切換えを行う。なお，二つのスイッチは連動しており，共にＯＮか共にＯＦＦのどちらかとなる。

以上のような構成を用いることで，Ｉｎｔｒａ予測モードを決定することができる。

一方，このようにして生成した符号化データを復号するフローの一例を図６に示す。処理が始まると，まずエントロピー符号化されたデータを復号し，予測モード情報と予測残差係数を求める（Ｓ３１）。次に，予測残差係数に逆量子化とＩＤＣＴを施し（Ｓ３２），予測残差の復号画像を生成する。また，予測モード情報から予測信号を生成し（Ｓ３３），この二つを加算することで復号画像を生成する。この復号画像は出力すると共に，次のブロックの予測信号を生成するために一時保存する（Ｓ３４）。このような手順を用いることで復号できる。

また，この処理を実現するための装置の一例を図７に示す。この装置は，エントロピー符号復号部４１，逆量子化部４２，ＩＤＣＴ部４３，加算器４４，Ｉｎｔｒａ予測信号生成部４５，復号画像保存バッファ４６から構成される。このうち，逆量子化部４２，ＩＤＣＴ部４３，加算器４４，Ｉｎｔｒａ予測信号生成部４５，復号画像保存バッファ４６は，前述の同名のものと同等の機能を有するものとする。エントロピー符号復号部４１は，入力されたエントロピー符号化データを復号し，予測残差係数を逆量子化部４２へ，予測モード情報をＩｎｔｒａ予測信号生成部４５へと送る。このような構成を用いることで，図６に示す処理を実現することができる。
"Advanced video coding for generic audiovisual services"，インターネット，＜ＵＲＬ：http://www.itu.int/rec/T-REC-H.264-200305-S/en＞

Ｉｎｔｒａ予測を用いて符号化を行う場合，Ｉｎｔｒａ予測により予測残差は削減されるが，選択された予測モード情報を送信する必要があり，特にビットレートが低い場合にこの予測モード情報の比率が高くなる。

Ｈ．２６４の例で説明すると，Ｉｎｔｒａ予測では，複数の予測モードから一つを選択し，その予測画像との差分を符号化している。その際，選択した予測モードをヘッダ情報として送信する必要があるが，例えばＩｎｔｒａ４×４予測では予測モードが９種類もあるため，９種類の予測モード情報に符号語を割り当てることによるヘッダ情報の符号量が負担になる。

以上のように，Ｈ．２６４のＩｎｔｒａ４×４予測では９つの予測モードがあるが，実際の画像でＩｎｔｒａ４×４予測を行った場合，必ずしも全ての予測モードの予測画像が異なっている訳ではない。例えば，隣接画素の値が全て等しい場合，予測画像は９モードとも等しくなり，予測モードは事実上一つしかない。予測モード数を適応的に少なくすることができれば，ヘッダ符号量の削減が可能であると考えられる。

そこで本発明はこの点に着目して，符号化効率を低下させることなく予測モード情報を削減することを主眼とし，符号化画像を変化させることなく，つまり符号化画像の画質を保ちつつ，ヘッダ符号量を削減できるようにすることを目的とする。

上記課題を解決するための本発明の概要について説明する。エントロピー符号化を行う場合に，ある予測画像が使えないことが分かっているならば，例えばＩｎｔｒａ４×４予測の９モードから一つを選択するエントロピー符号化テーブルよりも，例えば４モードから一つを選択するテーブルを使った方が最悪符号長が短くなり，符号量を節約することができる。そこで本発明では，異なる予測モードであっても，予測画像が同じになるものがないかをチェックし，予測画像が同じになる予測モードを９モードから外して実質的な予測モード数を求め，この「実質的な予測モード数」に合わせたエントロピー符号化テーブルを用いて符号化を行う。これにより，ヘッダ符号量を削減することができる。

本発明の典型的な例によるおおまかな流れは，以下のとおりとなる。
（１）全予測モードの予測画像をチェックし，同じものがないかを調べる。
（２）同じものがある場合にはそのうち一つだけを残し，予測画像がかぶった他の予測モードを全て除く。この結果，残った予測モードの予測画像は全て異なったものとなる。
（３）残った中から予測モードを選択する。
（４）前記（２）で判明した予測モード数によって割り当て符号を変えた符号化テーブルを用意しておき，符号化テーブルを切り換えてヘッダ符号を符号化する。例えば「実質的な予測モード数」が４つならば，４個用の符号化テーブルを用いて予測モード情報を符号化する。

以上により，符号化画像を変化させることなく，ヘッダ符号量のみを削減することができる。

すなわち，本発明は，異なる予測モードと予測信号が一致する予測モードを検出する手段と，予測信号が一致する予測モードが存在する場合に予め定められた優先順位に従って一つを選択して残りの予測モードを欠番にする手段と，欠番になった予測モードには符号語を割り当てない手段を備え，前記手段によって欠番になったモード以外から予測モードを選択することを特徴とする。

予測信号が一致した場合の優先順位としては，例えば予測モード番号が最も小さいものを優先する方法が考えられる。

予測信号が一致する予測モードが存在する場合に，予め定められた優先順位に従って一つを選択して残りの予測モードを欠番にする方法としては，全ての予測モードの予測信号から２つずつ全通りの組み合わせで取り出して比較し，予測信号が等しい場合には優先順位が低い方を欠番にする方法が考えられる。またこの場合，欠番になったものは比較対象から順次除く方法も取ることができる。

あるいは，予め定められた優先順位が当該予測モードよりも高い全ての予測モードの予測信号の中に当該予測モードの予測信号と一致するものがあるかを判定する手段と，予測信号が一致する場合には当該予測モードを欠番にする手段を用い，全ての予測モードについて前記判定手段を用いて予測信号が一致するものがあるかを判定し，一致する場合にはその予測モードを欠番にする方法を取ることもできる。

また，予め定められた優先順位が当該予測モードよりも低い全て予測モードの予測信号の中に当該予測モードの予測信号と一致するものがあるかを判定する手段と，予測信号が一致する場合には当該予測モードを欠番にする手段を用い，優先順位が高い予測モードから順に欠番となったものを除いて前記判定手段を用いて予測信号が一致するものがあるかを判定し，一致する場合にはその予測モードを欠番にする方法を取ることもできる。

予測信号が一致したモードを欠番にして残りのモードに符号語を割り当てる方法としては，例えば予測モード番号を付け直す方法が考えられる。例として，欠番となったモードを除いてモード番号を小さい方に詰めた場合を図８に示す。

図８の例では，判定の結果，予測モード１，２の予測信号は予測モード０と，予測モード５の予測信号は予測モード４と，予測モード６の予測信号は予測モード３と一致し，予測モード７を選択した場合を示している。予測信号が一致したものを除いて番号を小さい方に詰めた結果，全予測モード数は５，選択された予測モード番号は３となる。この付け替えした予測モード番号３を，例えば付け替えたモード番号が小さいものから順に符号語を割り当てる符号化テーブルを用いて符号化すればよい。もしくは，全予測モード数毎に符号化テーブルを別々に用意して符号化すればよい。この場合，例えば図１に示すＨ．２６４のＩｎｔｒａ４×４予測であれば９つのテーブルを用意することになり，図８の符号化は全予測モード数５用のテーブルを用いることになる。このとき，必ずしもモード番号が小さい順に符号語を割り当てる必要はなく，各テーブル毎に選択率が最も高い番号から順に符号語を割り当てることもできる。

また，全ての予測モードの予測画像が一致する場合，予測モード情報自体を付加しないということもできる。

予測信号が一致するかの判定は，予測信号を生成して比較する以外に，予測信号生成で使用する画素値からも判定できる。例えば図１に示すＨ．２６４のＩｎｔｒａ４×４予測であれば，二つの予測モードＡ，Ｂについて，予測モードＡの予測信号生成に使う画素値をａ₁ ，ａ₂ ，... ，予測モードＢの予測信号生成に使う画素値をｂ₁ ，ｂ₂ ，... とおくと，予測信号を生成しなくても以下の２条件から一致するかの判定ができる。
１．画素値ａ₁ ，ａ₂ ，... ，ｂ₁ ，ｂ₂ ，... ，が全て等しい
２．予測モードＡがＤＣ予測の場合，ａ₁ ，ａ₂ ，... の平均値とｂ₁ ，ｂ₂ ，... ，が全て等しい（逆も同様）
このどちらかを満たす場合，予測モードＡとＢの予測信号は等しいことになる。

すなわち，予測モード毎に異なった位置の画素を用いて予測信号を生成する映像符号化方法において，上記判定方法を用いて，予測信号生成に用いる画素値が全て等しい予測モード同士の予測信号が一致する場合，予測信号が一致する予測モードの検出を，両予測モードの予測信号の生成に用いる画素値が全て等しいかで行うこともできる。

また，予測モード毎に異なった位置の画素を用いて予測信号を生成する映像符号化方法であって，予測信号生成に用いる画素値が全て等しい予測モードと，予測信号生成に用いる画素値の平均値が前記画素値に等しい予測モード同士の予測信号が一致する場合，予測信号が一致する予測モードの検出を，予測信号生成に用いる画素値の平均値を算出する平均値算出手段を用い，予測信号生成に用いる画素値が全て前記平均値算出手段で算出した平均値に等しいかで行うこともできる。

本方式で符号化した画像の復号方法は，異なる予測モードと予測信号が一致する予測モードを検出する手段と，予測信号が一致する予測モードが存在する場合に予め定められた優先順位に従って一つを選択して残りの予測モードを欠番にする手段と，欠番になった予測モードには符号語を割り当てない手段を備え，予測モード情報を復号する前に前記判定手段を用いて欠番となる予測モードを調べ，残りの予測モードから復号テーブルを生成して予測モード番号を復号することを特徴とする。

予測信号が一致した場合の優先順位や，欠番以外の予測モードに符号語を割り当てる際には，符号化方法と全く同じ方法を用いることで一意に復号できる。

例えば符号化時に予測モード番号が小さい方を優先する方法を取っているならば，復号時もモード番号が小さい方を優先することで一意に復号できる。予測モードの欠番判定は，前述の符号化方法のときの処理と全く同じ方法を用いることができる。

また，符号化時に予測モード数と同数の符号化テーブルを切り換えて予測モード番号を符号化している場合には，復号時も同様に全予測モード数と同じだけの復号テーブルを保持し，欠番以外の予測モードの数に応じて復号テーブルを切り換えて可変長符号を復号する。

そのため，復号時にはまず全ての予測モードを調べ，欠番となっている予測モードを求める。次に，欠番以外に可変長符号を割り振ったテーブルを用いて予測モード情報を復号し，Ｉｎｔｒａ予測モード番号を求める。

このような操作により，前述の符号化データを復号することができる。

また，予測モード情報が付加されていない場合，全予測モードの予測画像が同一ということになるため，予め定められた任意の予測モードを用いて予測信号を生成することで復号できる。

エントロピー符号化では，選択率が低い予測モードほど長い符号が割り当てられ，また総モード数が多いほど，最長符号の符号長が長くなる。本発明では，予測信号が等しい予測モードを省くことで予測モード数が少なくなるため最長の符号長が短くなり，予測モード情報の符号量が削減できる。

また，予測に用いる画素値から予測モードが一致するかの判定を行う方法を利用することで，欠番となる予測モードの検出を高速に行える。

以下，本発明の実施の形態について説明する。

本実施例では，Ｈ．２６４のＩｎｔｒａ４×４予測符号化に本発明を適用した場合について説明する。本実施例ではモード番号が低い方を優先とし，欠番が出た場合には以降の予測モード番号を小さい方に詰める。また，欠番となった予測モードの総数を「縮退モード数」，残った予測モード数を「実効モード数」とし，数字が小さい詰めた後のモード番号を「実効番号」とする。実効モード数に応じて可変長符号化テーブルを切り換える。したがって，可変長符号化テーブルは９通り持っているとする。

まず，符号化のフローチャートであるが，これは図２と同じである。処理を開始すると，最初にＩｎｔｒａ予測モードを選択する（Ｓ１１）が，この具体的な処理内容は従来のものと異なり，図９のようになる。その後，求めた予測残差（Ｓ１２）にＤＣＴと量子化を施し（Ｓ１３），エントロピー符号化を行う（Ｓ１４）。その際，後述する図９で求めた実効モード数に応じてテーブルを切り換えて予測モード番号を符号化する。その後，予測残差の量子化値を逆量子化し，それにＩＤＣＴを施し（Ｓ１５），予測信号と足し合わせて復号画像を生成して保存する（Ｓ１６）。

次に，Ｉｎｔｒａ予測モードの選択方法を示した図９について説明する。まず，最小コストを保持する変数Ｃｍを十分に大きな数で初期化し，モード番号ｎを０に，縮退モード数ｓを０とおく（Ｓ１０１）。次に，モード番号ｎよりも小さい予測モード番号ｉについて，０からｎ−１まで以下のような反復処理をする（Ｓ１０２）。

まず，ｉがｎよりも小さいことを確認し（Ｓ１０３），予測モード番号ｎとｉの予測画像が等しいかを調べる（Ｓ１０４）。等しい場合には予測モードｎは予測モードｉと等しいことになるため，縮退モード数ｓを１増やし（Ｓ１０５），次の予測モードｎに進む（Ｓ１１０）。予測モードｎとｉの予測画像が異なる場合には，次のｉに進む（Ｓ１０６）。予測モード番号ｎ未満の全ての予測モードについて調査した結果，一致するものがなければ，この予測モードについてコストＣを求める（Ｓ１０７）。コストＣがその時点で保持している最小コストＣｍよりも小さい場合には（Ｓ１０８），その予測モードを選択モードとして保存すると共に，最小コストＣｍをＣで更新する（Ｓ１０９）。その際，選択モードｐは，縮退モードを除いてモード番号を小さい方に詰めたｎ−ｓ番として保持する。終わったら，予測モード番号ｎを１増やし（Ｓ１１０），全ての予測モードが終わるまで（Ｓ１１１），上記の処理（Ｓ１０２〜Ｓ１１１）を繰り返す。

全ての予測モードについて処理が終わったら，全予測モード数Ｎから，その時点で保持している縮退モード数ｓを引き，実効予測モード数Ｎ−ｓを求める。そして，その実効予測モード数に対応する符号化テーブルを使い，モード番号ｐをエントロピー符号化する（Ｓ１１２）。

次に，上記の処理を実現するための構成図の一例を図１０と図１１に示す。なお，図１０の黒枠で示したＩｎｔｒａ予測部１０１および切換え型エントロピー符号化部１０９の部分が従来法と異なる部分で，Ｉｎｔｒａ予測部１０１の，より詳細な構成図が図１１に当たる。

まず，図１０に示す符号化装置は，Ｉｎｔｒａ予測部１０１，減算器１０２，ＤＣＴ部１０３，量子化部１０４，逆量子化部１０５，ＩＤＣＴ部１０６，加算器１０７，復号画像保存バッファ１０８，切換え型エントロピー符号化部１０９から構成される。このうち，減算器１０２，ＤＣＴ部１０３，量子化部１０４，逆量子化部１０５，ＩＤＣＴ部１０６，加算器１０７，復号画像保存バッファ１０８は，前述の同名のものと同等の機能を有する。

Ｉｎｔｒａ予測部１０１は，復号画像バッファ１０８から隣接画素情報を受け取り，Ｉｎｔｒａ予測モードを決定して，その予測信号を減算器１０２と加算器１０７に出力する。また，選択モードのモード番号と，そのブロックの実効モード数を切り換え型エントロピー符号化部１０９に出力する。切換え型エントロピー符号化部１０９は，予測残差信号の量子化値と，Ｉｎｔｒａ予測モード番号をエントロピー符号化する。その際，符号化テーブルをＩｎｔｒａ予測部１０１から送られる実効モード数に応じて切り換える。

次に，Ｉｎｔｒａ予測部１０１の内部である図１１について説明する。この装置は，Ｉｎｔｒａ予測信号生成部２０１，３つの減算器２０２，２０３，２０４，コスト計算部２０５，予測モード判定部２０６，カウンタＡ２０７，カウンタＢ２０８，Ｉｎｔｒａ予測制御部２０９，予測モード番号保持メモリ２１０，予測信号保持メモリ２１１，全予測信号保持メモリ２１２，縮退モード数保持メモリ２１３，同一画像判定部２１４，スイッチＡ２１５，スイッチＢ２１６から構成される。このうち，Ｉｎｔｒａ予測信号生成部２０１，３つの減算器２０２，２０３，２０４，コスト計算部２０５，予測モード判定部２０６，予測モード番号保持メモリ２１０，予測信号保持メモリ２１１は，前述の同名のものと同等の機能を有する。また，カウンタＡ２０７は，前述のカウンタ２２（図５）と同等の機能を有する。

Ｉｎｔｒａ予測制御部２０９は，処理が開始したら，まずスイッチＢ２１６に制御信号を送り，まずスイッチＢ２１６をＯＦＦにする。次に，予測モード判定部２０６と縮退モード数保持メモリ２１３に初期化信号を送ると共に，カウンタＡ２０７に処理開始信号を送る。カウンタＡ２０７からの終了信号を受けると，スイッチＢ２１６に制御信号を送り，スイッチＢ２１６をＯＮにする。

カウンタＢ２０８は，カウンタＡ２０７からモード番号ｎが入力されると，０からｎ−１までの数値（０以上）を順に全予測信号保持メモリ２１２に出力する。スイッチＢ２１６は，Ｉｎｔｒａ予測制御部２０９から送られてくる制御信号に従ってＯＮとＯＦＦの切換えを行う。３つのスイッチは連動しており，取り得る状態は「全てＯＮ」か「全てＯＦＦ」のどちらかである。全予測信号保持メモリ２１２は，Ｉｎｔｒａ予測信号生成部２０１から送られる予測信号と，カウンタＡ２０７から送られる予測モード番号をセットにして保持する。また，カウンタＢ２０８から予測モード番号が送られると，その番号に対応する予測信号を同一画像判定部２１４に送る。同一画像判定部２１４は，Ｉｎｔｒａ予測信号生成部２０１から送られる予測信号と，全予測信号保持メモリ２１２から送られる予測信号を比較し，同一のものがあるかを判定する。そして，カウンタＡ２０７から送られる数値の変化をトリガにして判定結果を縮退モード数保持メモリ２１３に送る。

縮退モード数保持メモリ２１３は，縮退モード数を保持し，その値を減算器２０３，２０４に送信する。Ｉｎｔｒａ予測制御部２０９から初期化信号を受け取るとその値をリセットする。また，同一画像判定部２１４から判定結果を受け取り，もし同一画像があるという判定結果の場合には保持している値を１増加させる。以上のような構成により，図２，図９に示す処理を実現できる。

次に，復号方法のフローチャートの一例を図１２に示す。処理が始まると，まずモード番号ｎを０，縮退モード数ｓを０にし，また，モード番号の対応関係を保持するモード対応関係表Ｍｏｄｅ［ｎ］を全て初期化する（Ｓ２０１）。次に，復号する当該マクロブロックについて，予測モード番号を０番から順に（Ｓ２０２），全予測モードをチェックする。モード番号ｎよりも小さい予測モード番号ｉについて，０からｎ−１まで以下のような反復処理をする。

まず，ｉがｎよりも小さいことを確認し（Ｓ２０３），予測モード番号ｎとｉの予測画像が等しいかを調べる（Ｓ２０４）。等しい場合には予測モードｎは予測モードｉと等しいことになるため，縮退モード数ｓを１増やし（Ｓ２０５），次の予測モードｎに進む（Ｓ２０８）。予測モードｎとｉの予測信号が異なる場合には，次のｉに進む（Ｓ２０６）。予測モード番号ｎ未満の全ての予測モードについて調査した結果，一致するものがなければ，この予測モードは実効予測モードとなり，実効番号ｎ−ｓと元々のＩｎｔｒａ予測モード番号ｎとの対応関係をＭｏｄｅ［ｎ−ｓ］＝ｎとして保存する（Ｓ２０７）。終わったら，予測モード番号ｎを１増やし（Ｓ２０８），全モードについて（Ｓ２０９），上記の処理を繰り返す（Ｓ２０２〜Ｓ２０９）。

全ての予測モードについて処理が終わったら，全予測モード数Ｎから，その時点で保持している縮退モード数ｓを引き，実効予測モード数Ｎ−ｓを求める。そして，その実効予測モード数に対応する符号化テーブルを使い，実効番号ｐを復号する（Ｓ２１０）。次に，先ほど求めた対応関係を用い，実効番号ｐからＩｎｔｒａ予測モード番号をＭｏｄｅ［ｐ］として求め，その予測信号を生成する（Ｓ２１１）。一方，予測残差の量子化値に逆量子化とＩＤＣＴを施し（Ｓ２１２），予測信号と加算して復号画像を生成する（Ｓ２１３）。できた復号画像は出力すると共に，予測信号生成のため保存する。このような手順により復号できる。

以上の処理を実現するための構成図の一例を，図１３に示す。このうち，太い点線で囲まれた部分が本発明の適用範囲である。この装置は，切換え型エントロピー符号復号部３０１，逆量子化部３０２，ＩＤＣＴ部３０３，加算器３０４，復号画像保存バッファ３０５，Ｉｎｔｒａ予測画像生成部３０６，カウンタＡ３０７，カウンタＢ３０８，同一画像判定部３０９，スイッチＡ３１０，スイッチＢ３１１，スイッチＣ３１２，縮退モード数保持メモリ３１３，２つの減算器３１４，３１５，全予測信号保持メモリ３１６，モード番号対応関係保持メモリ３１７，Ｉｎｔｒａ予測復号制御部３１８から構成される。

このうち，逆量子化部３０２，ＩＤＣＴ部３０３，加算器３０４，復号画像保存バッファ３０５，Ｉｎｔｒａ予測画像生成部３０６，カウンタＡ３０７，カウンタＢ３０８，同一画像判定部３０９，縮退モード数保持メモリ３１３，２つの減算器３１４，３１５，全予測信号保持メモリ３１６は，前述の同名のものと同等の機能を有する。

切換え型エントロピー符号復号部３０１は，減算器３１５から送られる実効モード数によってテーブルを切り換え，可変長符号を復号する。予測残差の量子化値は逆量子化部３０２に，予測モードの実効値はモード番号対応関係保持メモリ３１７にそれぞれ送信する。スイッチＡ３１０は，Ｉｎｔｒａ予測復号制御部３１８の制御信号に応じてＯＮとＯＦＦを切り換える。スイッチＢ３１１とスイッチＣ３１２は，Ｉｎｔｒａ予測復号制御部３１８からの制御信号に応じて接点ａとｂを切り換える。

モード番号対応関係保持メモリ３１７は，カウンタＡ３０７から送られる実際のＩｎｔｒａ予測モード番号と，減算器３１４から送られる実効番号をセットにして保持する。切換え型エントロピー符号復号部３０１から実効番号を受け取ると，対応する実際のＩｎｔｒａ予測モード番号をスイッチＣ３１２に送信する。また，対応関係はＩｎｔｒａ予測復号制御部３１８から送られる初期化信号で初期化される。

Ｉｎｔｒａ予測復号制御部３１８は，処理を開始すると制御信号によりまずスイッチＡ３１０をＯＦＦ，スイッチＢ３１１とスイッチＣ３１２を共に接点ａに切り換える。次に縮退モード数保持メモリ３１３とモード番号対応関係保持メモリ３１７に初期化信号を送ると共に，カウンタＡ３０７に処理開始信号を送る。カウンタＡ３０７から終了信号を受けると，まずスイッチＡ３１０をＯＮにし，縮退モード数を減算器３１５へ送る。次に，スイッチＢ３１１とスイッチＣ３１２を共に接点ｂに切換える。以上のような構成を用いることで，図１２に示す処理を実現できる。

本実施例ではモード番号が低い方を優先とし，欠番が出た場合には以降の予測モード番号を小さい方に詰める例を説明したが，異なる予測モード間の予測信号の一致を検出し，予測モードを欠番にする場合に，全予測モードの予測信号から予測信号を２モードずつ全通りの組み合わせで取り出して比較するような実施も同様に可能である。また，予測信号を生成して比較するのではなく，予測信号生成で使用する画素値を直接比較して予測信号が一致するかを判定できるような場合には，異なる予測モード間での予測信号の一致の検出を，予測モード間の画素値またはその平均値を比較することにより行うことができ，上述した実施例の説明から，同様に実施できることは明らかである。

また，全ての予測モードの予測信号が一致する場合に，予測モード情報の符号化を省略する実施も可能である。

以上説明した本発明による符号量削減の定量的な効果を確認するために，標準映像の“Ｊａｐａｎｅｓｅ ｒｏｏｍ”（７２０×４８０画素，４５０フレーム）を，従来方法および本発明による方法を用いて，全てＩｎｔｒａ４×４予測で符号化し，そのヘッダ符号量の比較を行った。図１４にその比較結果を示す。量子化パラメータＱＰ＝２４，２７，３０のそれぞれについて，従来方法によるヘッダ符号量と本発明によるヘッダ符号量とを比較した結果，本発明により前記各量子化パラメータに対して，−１２．７％，−１４．８％，−１６．９％の削減ができたことが確認された。なお，ヘッダ符号量はエントロピーにより算出した。

以上の符号化および復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

Ｈ．２６４のＩｎｔｒａ４×４予測の例を示す図である。 従来のＩｎｔｒａ４×４予測符号化処理のフローチャートである。 従来のＩｎｔｒａ４×４予測を用いる符号化装置のブロック図である。 従来のＩｎｔｒａ４×４予測モード選択処理のフローチャートである。 従来のＩｎｔｒａ４×４予測モード選択装置のブロック図である。 従来のＩｎｔｒａ４×４予測復号処理のフローチャートである。 従来のＩｎｔｒａ４×４予測を用いる復号装置のブロック図である。 本発明における予測モード番号を小さい方に詰める操作の一例を示す図である。 本発明によるＩｎｔｒａ４×４予測モード選択処理の例を示すフローチャートである。 本発明によるＩｎｔｒａ４×４予測を用いる符号化装置の例を示すブロック図である。 本発明によるＩｎｔｒａ４×４予測モード選択装置の例を示すブロック図である。 本発明による復号処理の例を示すフローチャートである。 本発明による復号装置の例を示すブロック図である。 従来法と本発明を用いた場合の符号量の比較を示す図である。

符号の説明

１０１ Ｉｎｔｒａ予測部
１０２ 減算器
１０３ ＤＣＴ部
１０４ 量子化部
１０５ 逆量子化部
１０６ ＩＤＣＴ部
１０７ 加算器
１０８ 復号画像保存バッファ
１０９ 切換え型エントロピー符号化部
２０１ Ｉｎｔｒａ予測画像生成部
２０２，２０３，２０４ 減算器
２０５ コスト計算部
２０６ 予測モード判定部
２０７ カウンタＡ
２０８ カウンタＢ
２０９ Ｉｎｔｒａ予測制御部
２１０ 予測モード番号保持メモリ
２１１ 予測信号保持メモリ
２１２ 全予測信号保持メモリ
２１３ 縮退モード数保持メモリ
２１４ 同一画像判定部
２１５ スイッチＡ
２１６ スイッチＢ
３０１ 切換え型エントロピー符号復号部
３０２ 逆量子化部
３０３ ＩＤＣＴ部
３０４ 加算器
３０５ 復号画像保存バッファ
３０６ Ｉｎｔｒａ予測画像生成部
３０７ カウンタＡ
３０８ カウンタＢ
３０９ 同一画像判定部
３１０ スイッチＡ
３１１ スイッチＢ
３１２ スイッチＣ
３１３ 縮退モード数保持メモリ
３１４，３１５ 減算器
３１６ 全予測信号保持メモリ
３１７ モード番号対応関係保持メモリ
３１８ Ｉｎｔｒａ予測復号制御部

Claims (18)

1. 映像を複数の小領域に分割し，それぞれについて複数の予測モードから一つの予測モードを選択し，原信号と選択した予測モードで生成される予測信号との差分信号と，選択した予測モード情報を符号化する映像符号化方式における予測モード情報符号化方法であって，
   異なる予測モードの間で予測信号が一致する予測モードを検出する過程と，
   予測信号が一致する予測モードが存在する場合に，一致する予測モードの中から予め定められた優先順位に従って一つの予測モードを選択して，残りの予測モードを欠番にする過程と，
   前記欠番になった予測モード以外の予測モードの中で，符号化のコストが最小となる予測モードを選択する過程と，
   前記欠番になった予測モードには符号語を割り当てず，前記欠番になった予測モード以外の予測モードに対して割り当てた符号語を用いて，前記符号化のコストが最小となる予測モードを示す予測モード情報を符号化する過程とを有する
   ことを特徴とする予測モード情報符号化方法。
2. 全ての予測モードの予測信号が一致する場合には予測モード情報の符号化を省略する
   ことを特徴とする請求項１に記載の予測モード情報符号化方法。
3. 前記予測モードを欠番にする過程は，
   全予測モードの予測信号から予測信号を２モードずつ全通りの組み合わせで取り出して比較する過程と，
   予測信号が一致する場合には予め定められた優先順位に従って片方の予測モードを欠番にする過程とを含む
   ことを特徴とする請求項１または請求項２に記載の予測モード情報符号化方法。
4. 前記予測モードを欠番にする過程は，
   予め定められた優先順位が当該予測モードよりも高いかまたは低いかどちらか一方の全ての予測モードの予測信号の中に当該予測モードの予測信号と一致するものがあるかを判定する判定過程と，
   予測信号が一致する場合には当該予測モードを欠番にする過程とを含み，
   全ての予測モードについて前記判定過程により予測信号が一致するものがあるかを判定し，一致する場合にはその予測モードを欠番にする
   ことを特徴とする請求項１または請求項２に記載の予測モード情報符号化方法。
5. 前記予測モードを欠番にする過程は，
   予め定められた優先順位が当該予測モードよりも低い全予測モードの予測信号の中に当該予測モードの予測信号と一致するものがあるかを判定する判定過程と，
   予測信号が一致する場合には当該予測モードを欠番にする過程とを含み，
   優先順位が高い予測モードから順に欠番となったものを除いて前記判定過程により予測信号が一致するものがあるかを判定し，一致する場合にはその予測モードを欠番にする
   ことを特徴とする請求項１または請求項２に記載の予測モード情報符号化方法。
6. 前記異なる予測モードの間で予測信号が一致する予測モードを検出する過程では，
   予測信号一致の検出対象となっている二つの予測モードが，予測信号生成で使用する画素値またはその平均値の比較により予測信号が一致するかを判定できる予測モードである場合に，予測信号を生成して比較するのではなく，両予測モードの予測信号生成で使用する全画素値の比較または一方の予測モードの予測信号生成で使用する全画素値と他方の予測モードの予測信号生成で使用する全画素値の平均値との比較により，予測モード間で予測信号が一致するかを検出する
   ことを特徴とする請求項１から請求項５までのいずれか１項に記載の予測モード情報符号化方法。
7. 複数の予測モードから予測モード情報に従って予測モードを選択し，その予測モードに対応する予測信号に予測残差信号を加算して復号する映像符号化情報復号方式における予測モード情報復号方法であって，
   異なる予測モードの間で予測信号が一致する予測モードを検出する過程と，
   予測信号が一致する予測モードが存在する場合に，一致する予測モードの中から予め定められた優先順位に従って一つの予測モードを選択して，残りの予測モードを欠番にする過程と，
   前記欠番になった予測モードには符号語を割り当てず，前記欠番になった予測モード以外の予測モードに対して割り当てた符号語を用いて，復号対象の映像符号化情報における予測モード情報を復号する過程とを有する
   ことを特徴とする予測モード情報復号方法。
8. 前記予測モードを欠番にする過程は，
   全予測モードの予測信号から予測信号を２モードずつ全通りの組み合わせで取り出して比較する過程と，
   予測信号が一致する場合には予め定められた優先順位に従って片方の予測モードを欠番にする過程とを含む
   ことを特徴とする請求項７に記載の予測モード情報復号方法。
9. 前記予測モードを欠番にする過程は，
   予め定められた優先順位が当該予測モードよりも高いかまたは低いかどちらか一方の全ての予測モードの予測信号の中に当該予測モードの予測信号と一致するものがあるかを判定する判定過程と，
   予測信号が一致する場合には当該予測モードを欠番にする過程とを含み，
   全ての予測モードについて前記判定過程により予測信号が一致するものがあるかを判定し，一致する場合にはその予測モードを欠番にする
   ことを特徴とする請求項７に記載の予測モード情報復号方法。
10. 前記予測モードを欠番にする過程は，
    予め定められた優先順位が当該予測モードよりも低い全予測モードの予測信号の中に当該予測モードの予測信号と一致するものがあるかを判定する判定過程と，
    予測信号が一致する場合には当該予測モードを欠番にする過程とを含み，
    優先順位が高い予測モードから順に欠番となったものを除いて前記判定過程により予測信号が一致するものがあるかを判定し，一致する場合にはその予測モードを欠番にする
    ことを特徴とする請求項７に記載の予測モード情報復号方法。
11. 前記異なる予測モードの間で予測信号が一致する予測モードを検出する過程では，
    予測信号一致の検出対象となっている二つの予測モードが，予測信号生成で使用する画素値またはその平均値の比較により予測信号が一致するかを判定できる予測モードである場合に，予測信号を生成して比較するのではなく，両予測モードの予測信号生成で使用する全画素値の比較または一方の予測モードの予測信号生成で使用する全画素値と他方の予測モードの予測信号生成で使用する全画素値の平均値との比較により，予測モード間で予測信号が一致するかを検出する
    ことを特徴とする請求項７から請求項１０までのいずれか１項に記載の予測モード情報復号方法。
12. 復号対象の映像符号化情報中に，予測モード情報が存在しない場合には予め定められた予測モードを選択して予測信号を生成する
    ことを特徴とする請求項７から請求項１１までのいずれか１項に記載の予測モード情報復号方法。
13. 映像を複数の小領域に分割し，それぞれについて複数の予測モードから一つの予測モードを選択し，原信号と選択した予測モードで生成される予測信号との差分信号と，選択した予測モード情報を符号化する映像符号化方式における予測モード情報符号化装置であって，
    異なる予測モードの間で予測信号が一致する予測モードを検出する手段と，
    予測信号が一致する予測モードが存在する場合に，一致する予測モードの中から予め定められた優先順位に従って一つの予測モードを選択して，残りの予測モードを欠番にする手段と，
    前記欠番になった予測モード以外の予測モードの中で，符号化のコストが最小となる予測モードを選択する手段と，
    前記欠番になった予測モードには符号語を割り当てず，前記欠番になった予測モード以外の予測モードに対して割り当てた符号語を用いて，前記符号化のコストが最小となる予測モードを示す予測モード情報を符号化する手段とを備える
    ことを特徴とする予測モード情報符号化装置。
14. 複数の予測モードから予測モード情報に従って予測モードを選択し，その予測モードに対応する予測信号に予測残差信号を加算して復号する映像符号化情報復号方式における予測モード情報復号装置であって，
    異なる予測モードの間で予測信号が一致する予測モードを検出する手段と，
    予測信号が一致する予測モードが存在する場合に，一致する予測モードの中から予め定められた優先順位に従って一つの予測モードを選択して，残りの予測モードを欠番にする手段と，
    前記欠番になった予測モードには符号語を割り当てず，前記欠番になった予測モード以外の予測モードに対して割り当てた符号語を用いて，復号対象の映像符号化情報における予測モード情報を復号する手段とを備える
    ことを特徴とする予測モード情報復号装置。
15. 請求項１から請求項６までのいずれか１項に記載の予測モード情報符号化方法を，コンピュータに実行させるための予測モード情報符号化プログラム。
16. 請求項７から請求項１２までのいずれか１項に記載の予測モード情報復号方法を，コンピュータに実行させるための予測モード情報復号プログラム。
17. 請求項１から請求項６までのいずれか１項に記載の予測モード情報符号化方法を，コンピュータに実行させるための予測モード情報符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
18. 請求項７から請求項１２までのいずれか１項に記載の予測モード情報復号方法を，コンピュータに実行させるための予測モード情報復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images