JP4405367B2 - 映像信号の予測符号化における参照フィールドの決定方法 - Google Patents

Description

本発明は、映像信号の符号化における参照フィールドの決定方法に関するものであって特に、高符号化効率を維持しつつ、符号化時の処理量を削減するものである。

図４に、ＭＰＥＧ２（非特許文献１）のフィールド構造での双方向予測における参照フィールドを示す。符号化対象であるＢｉｆ（ｉは１か２、ｆはｔかｂ）フィールドは、４枚のフィールドＩ１およびＰｊ（ｊは１乃至３）を参照フィールドとして用いる（ｔはトップフィールド、ｂはボトムフィールドを表す）。図における点線矢印は、ＢピクチャＢ１ｔが参照する４枚のフィールド（Ｉ１、Ｐ１、Ｐ２、Ｐ３）を示している。以降、ピクチャとは、フィールドもしくはフレームのどちらかを意味するものとする。

そして、符号化対象であるＢｉｆピクチャを横１６画素×縦１６画素からなるマクロブロックに分割し、マクロブロックごとに予測を行なう。すなわち、マクロブロックごとに、４枚のフィールドＩ１およびＰｊのうちの１枚を選び、さらに、選んだフィールド中の横１６画素×縦１６画素の領域（参照領域）を選ぶ。これが、あるマクロブロックに対する予測値である。ここで、選んだフィールド中の参照領域の位置は、良い予測、すなわち予測値と符号化対象との誤差が小さく、誤差の符号量が小さくなるように選ぶ。この位置の検出が、動きベクトル検出であって、ブロックマッチングなどにより求めることができる。

一方、ＭＰＥＧ４ ＡＶＣ（非特許文献２）での予測は、マクロブロックをさらに分割したパーティション（３通り：横１６画素×縦８画素、横８画素×縦１６画素、横８画素×縦８画素）や、パーティションをさらに分割したサブパーティション（３通り：横８画素×縦４画素、横４画素×縦８画素、横４画素×縦４画素）などを用いて行われる。このように複数のパーティションがあり、そのそれぞれについて動きベクトル検出を行う必要があるため、ＭＰＥＧ４ ＡＶＣにおける演算量は、ＭＰＥＧ２のそれに比べ、格段に増大するという問題がある。ＭＰＥＧ４ ＡＶＣにおける複数パーティションでの予測は、ＭＰＥＧ２に比べ高効率符号化を実現するための重要技術のうちの一つである。これを省略することはＭＰＥＧ４ ＡＶＣ符号化効率の低下を招くものであって、好ましくない。

この問題を解決する、つまり符号化効率の低下を招くことなく予測に要する演算量を低減するアプローチとして、参照フィールドの枚数を減らし、演算量を減らす場合を考えることができる。例えば、前方予測に１枚、後方予測に１枚のフィールドを用いて予測する技術（特許文献）が提案されている。しかしながら、同技術においては、予測に用いる１枚として、トップとボトムのどちらのフィールドを参照すべきかが明らかにされていない。一方、同一パリティのフィールドを用いて予測する場合が実施の形態として記載されている。しかし、映像によっては、特に縦の動きがある場合には、異なるパリティのフィールドを用いて予測した方が、予測誤差が小さくなり、より良い符号化効率を達成することができる。このため、参照すべきフィールドを決定するための何らかの方法が必要である。
特許第２８３０８８１号公報 ＩＳＯ／ＩＥＣ １３８１８−２：２０００，インフォメーション テクノロジー −− ジェネリック コーディング オブ ムービング ピクチャーズ アンド アソシエイテッド オーディオ インフォメーション：ビデオ（Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ −− Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｉｎｆｏｒｍａｔｉｏｎ： Ｖｉｄｅｏ） ＩＳＯ／ＩＥＣ １４４９６−１０：２００３，インフォメーション テクノロジー −− コーディング オブ オーディオ−ビジアル オブジェクツ −− パート １０： アドバンスト ビデオ コーディング（Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ −− Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ −− Ｐａｒｔ １０： Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）

直前もしくは２つ前の双方向面間予測符号化されたピクチャ（フレームもしくはフィールド）のうちより少ないピクチャ（フレームもしくはフィールド）を参照することによって高精度かつ低演算量で予測できる予測符号化において、参照するピクチャを決定する参照ピクチャ決定方法を提供することを目的とする。

本発明は、インターレース画像信号に含まれるフィールドのうち符号化対象フィールドにおける予測符号化時に使用する参照フィールドの決定方法であって、符号化対象フィールド以外のフィールドに対する、当該符号化対象フィールドの動きを検出する検出ステップと、検出ステップにおいて検出された動きに基づいて、符号化対象フィールドが参照する参照フィールドを決定する決定ステップとを備える。

直前もしくは２つ前の双方向面間予測符号化されたピクチャ（フレームもしくはフィールド）が参照可能となり、予測精度の向上が期待できる。また、参照ピクチャ（フレームもしくはフィールド）の枚数を減らすことで、演算量を減らすことができ、方法を実装した装置（ＬＳＩ，ＤＳＰ）などでの消費電力を抑えることができる。

（第１の実施形態）
図１および図２を参照して、本発明の第１の実施の形態に係る予測符号化装置について説明する。なお、本実施の形態においては、基本的に、参照フレームもしくはフィールドの枚数を減らすことで、符号化効率の低下を招くことなく演算量の低減を可能とするものである。

図１を参照して、本発明方法の第１の実施の形態に係る予測符号化における参照フィールド決定方法について説明する。同図においても、点線矢印は参照先のピクチャを表している。図１（ａ）に、双方向面間予測符号化画像であるＢピクチャ１０２ｔの参照フィールドを示す。なお、添字ｔはトップフィールド、ｂはボトムフィールドを表す。Ｂピクチャ１０２ｔは、面内符号化Ｉピクチャ（１０１ｔ，ｂ）と順方向面間予測符号化Ｐピクチャ（１０４ｔ，ｂ）とを参照フィールドとしており、これは、従来のＭＰＥＧ２と同様である。

一方、図１（ｂ）に示すように、Ｂピクチャ１０２ｂは、前方予測において、直前の双方向面間予測符号化ピクチャである１０２ｔと、２つ前のピクチャである１０１ｂとを参照する。また、図１（ｃ）に示すように、Ｂピクチャ１０３ｔは１０２ｔおよび１０２ｂを参照する。図示しないが、Ｂピクチャ１０３ｂは、１０３ｔと１０２ｂとを参照する。

図２に、図１を参照して説明した、ピクチャの参照を実現するための参照ピクチャ決定
装置の構成を示す。参照ピクチャ決定装置ＡＲＰ１は、フィールド分離器２０１、並べ換え器２０２、動き検出器２０３、および参照フィールドを蓄えるメモリ２０４を含む。参照ピクチャ決定装置ＡＲＰ１に入力されたインターレース画像信号は、フィールド分離器２０１にてトップフィールドとボトムフィールドに分離され、並べ替え器２０２にてＩＰＢＢ ＰＢＢ ＰＢＢ ．．． の順に並べ換えられる。つまり、図１を参照して説明すると、並べ換え器２０２から出力されるピクチャは、１０１ｔ、１０１ｂ、１０４ｔ、１０４ｂ、１０２ｔ、１０２ｂ、１０３ｔ、１０３ｂとなる。

動き検出器２０３は、並べ換え器２０２とメモリ２０４との参照フィールドを用いて、予測符号化に用いる動きベクトルを検出する。これは、例えば、ＭＰＥＧ２などの符号化方式で用いられているマクロブロック（横１６画素×縦１６画素）ごとの動きベクトルであって、ブロックマッチングなどの手法により求めることができる。

メモリ２０４は、後段の処理（図示しない）にて生成されるローカルデコード画像を参照ピクチャとして蓄えるものであって、基準フレームに相当するＩピクチャおよびＰピクチャだけでなく、Ｂピクチャについてもローカルデコード画像を蓄える。そして、動き検出器２０３に、図１を参照して説明した参照フィールドを出力する。

なお、動き検出器２０３で出力する参照フィールドを、２枚もしくは３枚にしてもよいすなわち３枚の場合であれば、例えば、後方参照フィールドの２枚のうちの時間的に遠い１０４ｂを参照しないようにすればよい。また、２枚の場合であれば、前方参照フィールド１枚と後方参照フィールド１枚を選べばよい。フィールドの選び方としては、時間的に近いものを選べばよい。また、前方参照については同じパリティ、すなわち時間的に遠いものを選んでもよい。また、パリティが異なるように選んでもよい。つまり、前方参照フィールドとしてトップフィールドを選ぶ場合には、後方参照としてボトムフィールドを選ぶようにしてもよい。

なお、動きが大きい場合ほど、時間的に近い参照フィールドと符号化フィールドとの相関が高くなるので圧縮効果が大きくなる。逆に、動きが小さい場合には、同一パリティの参照フィールドと符号化フィールドとの相関が高くなり、圧縮効果が大きくなる。図５に示すフローチャートを参照して、本実施の形態に係る参照フィールド決定動作について、以下に説明する。

先ずステップＳ１０１において、映像の動きが大いか否かが判断される。動きが大きい場合には、Ｙｅｓと判断されて、制御はステップＳ１０２に進む。
ステップＳ１０２において、上述のように、時間的に近いフィールドから３枚が選択される。そして、制御は終了する。

一方、叙述のステップＳ１０１においてＮｏ、つまり動きが小さいと判断される場合、制御はステップＳ１０３に進む。
ステップＳ１０３において、時間的に前方と後方の同一パリティのピクチャが参照フィールドとして選択される。そして、制御はステップＳ１０４に進む。
ステップＳ１０４において、さらに、時間的に近いフィールドから１枚または２枚が選択される。そして、制御は終了する。

上述の結果、動きが小さい場合には、参照フィールド１枚あたりに必要なメモリ量を少なく抑えることができる、この場合に限って枚数を増やしても、従来のＭＰＥＧ−２のような参照フィールドの選択よりもメモリ量削減が可能である。また、上記ステップＳ１０４は省略しても良い。

図６および図７に、参照するフィールドの一例を示す。図６（ｂ１）および図（ｂ２）は、ボトムフィールドのピクチャ１０２ｂを符号化する場合の参照フィールド（ピクチャ）を示している。図６（ｂ１）に示すように動きの大きな場合には、時間的に近い順に、ピクチャ１０２ｔ、１０１ｂ、および１０４ｔを選択する。図６（ｂ２）に示すように動きの小さな場合には、はじめにピクチャ１０２ｂと同一のパリティで前方と後方であるピクチャ１０１ｂとピクチャ１０４ｂを選択し、さらに、時間的に近い順に、ピクチャ１０２ｔとピクチャ１０４ｔとを選択する。

図６（ａ１）および図６（ａ２）は、トップフィールドのピクチャ１０２ｔを符号化する場合の参照フィールドを示している。ピクチャ１０２ｔを符号化する場合には、前方後方の同一パリティであるピクチャ１０１ｔとピクチャ１０４ｔは時間的に近いピクチャで２番目と３番目であるので、３枚選択する場合には、結果として動きの大小に関わらず、図示したように、ピクチャ１０１ｔ、１０１ｂ、および１０４ｔを参照する。なお、図６（ａ２）に示す場合に、３枚ではなく２枚選択する場合には、同一パリティであるピクチャ１０１ｔとピクチャ１０４ｔのみを参照する。

図７（ｃ１）および図７（ｃ２）は、それぞれ、図６（ａ１）および図６（ａ２）と同様に、結果として動きの大小に関係なく３枚を参照する。図７（ｃ２）に示すように動きが小さい場合に、３枚ではなく２枚を参照するには、ピクチャ１０２ｔとピクチャ１０４ｔを参照する。

図７（ｄ１）および図７（ｄ２）は、それぞれ、図６（ｂ１）および図６（ｂ２）と同様であり、動きの大小によって、参照するピクチャは変わる。ルールはこれまでと同様である。

（第２の実施の形態）
図３を参照して、本発明の第２の実施の形態に係る参照ピクチャ決定装置ＡＲＰ２について説明する。図２に示すように、参照ピクチャ決定装置ＡＲＰ２は、図１に示した参照ピクチャ決定装置ＡＲＰ１に動き検出器３０１と選択器３０２とが追加されている。動き検出器３０１は、並べ換え器２０２の出力と、メモリ２０４の出力である参照フィールドとから、フィールド全体の動きを検出する。これは、例えば、前回と今回のフィールドの縮小画像をそれぞれ作成し、ブロックマッチングにより最も一致する場合の変位を求め、これを動きとして出力すればよい。

また、後述する動き検出器２０３による前回の動きを用いて予測により求めるようにしてもよい。この処理は、４枚の参照フィールドのすべてについて行う。この全体の動きを用いて、選択器３０２は、実際の予測に用いる参照フィールド２枚もしくは３枚を決定する。決定方法は、例えば、全体動きの小さいものを選ぶように、などすればよい。また、時間的に近いものを選ぶようにしても良い。そして、メモリ２０４は、この決定された参照フィールド２枚もしくは３枚だけを動き検出器２０３に出力し、動き検出器２０３ は予測符号化のための動きベクトルを２乃至３個出力する。

上述のように構成することにより、本実施の形態によれば、符号化のための参照フィールド枚数を減らすことができる。特に、複数パーティションのそれぞれに対する動きベクトル検出を必要とするために動き検出の処理量は非常に大きいでＭＰＥＧ４ ＡＶＣにおいても、本実施の形態に係る参照ピクチャ決定方法を適用することで、その演算量を低減できる。

なお、参照フィールドを２枚にする場合、映像によっては、時間的に近いものを選んだ場合の方が符号化効率が悪いという結果を得た。このような場合に対処するため、全体動きのノルムがある閾値以下の場合には、前方参照フィールドには遠い方のフィールドを選ぶようにしても良い。なお、遠い方とは、図１に示すＢピクチャ１０３ｔの符号化の場合であれば、１０２ｔピクチャを意味する。さらに、ノルムではなく、単純に 全体動きの縦方向の大きさを閾値と比較して決定してもよい。

また、全体動きに基づき優先度を決定し、この優先度が高い参照フィールドに対する動き検出器２０３での演算処理をより多く行うようにしてもよい。例えば、優先度が高い場合に、探索点の間隔を狭くして演算量が多くなるようにすれば良い。逆に、優先度が低い場合は、探索点間隔を広くすればよい。優先度は、例えば、全体動きが小さいものの優先度を高く設定すれば良い。

これを実現するには、選択器３０２にて上述の方法に従い優先度を求め、これを動き検出器２０３とメモリ２０４へと入力する。動き検出器２０３では優先度に応じて、例えば、探索点の間隔を変える場合であれば、メモリ２０４が出力するデータを、探索点の間隔に合わせて変更し、また、動き検出器２０３でのブロックマッチングなどでの探索点の移動量を、広く／狭くすればよい。

本発明による予測符号化方法を用いることで、直前のＢピクチャ参照が可能となり、予測精度の向上が期待できる。また、参照ピクチャ枚数を減らすことで、演算量を減らすことができ、方法を実装した装置（ＬＳＩ，ＤＳＰ）などでの消費電力を抑えることができる。さらに、参照ピクチャ枚数を減らした場合の符号化効率悪化を、簡易な画面全体の動き検出により、防止することができる。

本発明は、映像の伝送・蓄積時の映像情報圧縮に使用可能であって、その応用範囲は、ＴＶ放送や、これら映像情報の録画、インターネットや携帯電話でのコンテンツ配信、記録、さらにはＴＶ電話機能など、種々の製品に応用可能である。

本発明の第１の実施の形態に係る参照ピクチャ決定装置の動作の説明図 本発明の第１の実施の形態に係る参照ピクチャ決定装置の構成を示すブロック図 本発明の第２の実施の形態に係る参照ピクチャ決定装置の構成を示すブロック図 ＭＰＥＧ２のフィールド構造での双方向予測における参照フィールドの説明図 本発明の第１の実施の形態に係る参照ピクチャ決定動作を表すフローチャート 本発明の第１の実施の形態に係る参照ピクチャ決定方法係る参照フィールドの説明図 本発明の第１の実施の形態に係る参照ピクチャ決定方法係る参照フィールドの説明図

符号の説明

ＡＲＰ１，ＡＲＰ２ 参照ピクチャ決定装置
２０１ フィールド分離器
２０２ 並べ替え器
２０３ 動き検出器
２０４ メモリ
３０１ 動き検出器
３０２ 選択器

Claims (2)

1. インターレース画像信号に含まれるフィールドのうち符号化対象フィールドにおける予測符号化時に使用する参照フィールドの決定方法であって、
   前記符号化対象フィールド以外のフィールドに対する、当該符号化対象フィールドの動きを検出する検出ステップと、
   前記検出ステップにおいて検出された動きに基づいて、前記符号化対象フィールドが参照する参照フィールドを決定する決定ステップとを備え、
   前記決定ステップは、前記動きが小さい場合、少なくとも前記符号化対象フィールドに対し同一パリティに存在するフィールドを参照フィールドとして決定することを特徴とする、参照フィールドの決定方法。
2. インターレース画像信号に含まれるフィールドのうち符号化対象フィールドにおける予測符号化時に使用する参照フィールドの決定方法であって、
   前記符号化対象フィールド以外のフィールドに対する、当該符号化対象フィールドの動きを検出する検出ステップと、
   前記検出ステップにおいて検出された動きに基づいて、前記符号化対象フィールドが参照する参照フィールドを決定する決定ステップとを備え、
   前記決定ステップは、前記検出された動きに基づき参照フィールドの優先度を求め、前記符号化対象フィールドと参照フィールドとの動きベクトル検出処理において、該優先度が高いものにより多くの資源を割り当てることを特徴とする、参照フィールドの決定方法。

Images