JP5880737B2

JP5880737B2 - 動画像符号化装置

Info

Publication number: JP5880737B2
Application number: JP2014557244A
Authority: JP
Inventors: 啓介篠沢; 弘徳遠藤; 哲司名幸
Original assignee: NTT Electronics Corp
Current assignee: NTT Electronics Corp
Priority date: 2013-01-17
Filing date: 2013-01-17
Publication date: 2016-03-09
Anticipated expiration: 2033-01-17
Also published as: JPWO2014112076A1; WO2014112076A1

Description

本発明は、フレーム間予測を用いた符号化を行う動画像符号化装置に関し、特にフラッシュ直後の画像の乱れを防ぐことができる動画像符号化装置に関する。

動画像の圧縮においてフレーム間予測が用いられる。しかし、フラッシュ画像はそれに隣接する画像との類似度が低いため、フレーム間予測においてフラッシュ画像を参照フレームとするのは不適切な場合が多い。そこで、フラッシュの前のフレームをフラッシュ後のフレームの参照フレームとすることが提案されている（例えば、特許文献１参照）。

特開２００７−１６６４０８号公報

従来技術では、輝度値の累積値のフレーム間差分値と第１方向／第１方向のラインの画素ごとの差分の２つを用いて、フラッシュ画像を検出する。しかし、第１方向／第１方向のラインの画素ごとの差分は動きに敏感すぎるため、前のフレームから１画素動くだけで差分が大きくなり、誤検出が多くなる。また、輝度値の累積値のフレーム間差分値のみを用いた場合でも、誤検出が多くなる。これにより、フラッシュ直後の画像が乱れるという問題があった。

本発明は、上述のような課題を解決するためになされたもので、その目的はフラッシュ直後の画像の乱れを防ぐことができる動画像符号化装置を得るものである。

本発明は、フレーム間予測を用いた符号化を行う動画像符号化装置であって、符号化対象フレームと予測フレームとの差分値を符号化する符号化部と、符号化対象フレームのカレントピクチャ、その１つ前及び２つ前の参照可能ピクチャについてそれぞれシーンチェンジの有無を検出するシーンチェンジ検出部と、前記カレントピクチャと前記１つ前の参照可能ピクチャとの間で対応するブロックの輝度の累算値ごとの差を１ピクチャ分累算したものをＸとして算出する輝度ブロック累算部と、前記１つ前の参照可能ピクチャと前記カレントピクチャの輝度の累算値同士の差分をＹ１とし、前記２つ前の参照可能ピクチャと前記カレントピクチャの輝度の累算値同士の差分をＹ２とし、前記カレントピクチャの３つ前の参照可能ピクチャと前記カレントピクチャの輝度の累算値同士の差分をＹ３として、互いの差を算出する輝度累算部と、第１の閾値をＸｔｈとし、第２の閾値をＹｔｈとして、（１）前記カレントピクチャと前記１つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ２｜≧Ｙｔｈの場合、前記１つ前の参照可能ピクチャをフラッシュ画像と判定し、（２）前記１つ前の参照可能ピクチャと前記２つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ２−Ｙ３｜≧Ｙｔｈの場合、前記１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定し、（３）前記カレントピクチャと前記１つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ３｜≧Ｙｔｈの場合、前記１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定し、（４）前記カレントピクチャと前記２つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ３｜≧Ｙｔｈの場合、前記１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定するフラッシュ判定部と、前記１つ前の参照可能ピクチャがフラッシュ画像と判定されなかった場合に前記１つ前の参照可能ピクチャを参照して前記予測フレームを算出し、前記１つ前の参照可能ピクチャがフラッシュ画像と判定された場合に前記２つ前の参照可能ピクチャを参照して前記予測フレームを算出し、前記１つ前及び２つ前の参照可能ピクチャがフラッシュ画像と判定された場合に前記３つ前の参照可能ピクチャを参照して前記予測フレームを算出する予測フレーム算出部とを備えることを特徴とする。なお、ここでブロックのサイズは任意と考えてよい。ブロックのサイズが大きいほど動きに対する差分値の増減が緩やかになる。

本発明により、フラッシュ直後の画像の乱れを防ぐことができる。

本発明の実施の形態に係る動画像符号化装置を示すブロック図である。フラッシュ画像とシーンチェンジの関係を示す図である。輝度ブロック累算部の算出方法を示す図である。輝度累算部の算出方法を示す図である。予測フレームを算出する際に参照するピクチャの選択例を示す図である。予測フレームを算出する際に参照するピクチャの選択例を示す図である。

本発明の実施の形態に係る動画像符号化装置について図面を参照して説明する。図１は、本発明の実施の形態に係る動画像符号化装置を示すブロック図である。この動画像符号化装置はフレーム間予測を用いた符号化を行う。

入力動画像信号は、同じ信号を繰り返し複数回再生可能なディジタルＶＴＲやＤＶＤシステムのようなビデオ記録再生機器によって再生される動画像信号（映像信号）である。入力動画像信号の符号化対象フレームにはＩピクチャ、Ｐピクチャ及びＢピクチャの３種類の画像タイプがある。

Ｉピクチャは、自分のピクチャ情報のみで符号化を行うピクチャであり、最も綺麗だが、最も符号量を多く必要とする。Ｐピクチャは、自分のピクチャ情報のみの符号化と自分より過去のピクチャを参照して符号化を行うピクチャであり、Ｂピクチャより綺麗だが、Ｂピクチャより符号量が多い。Ｂピクチャは、自分より過去・未来のピクチャを参照して符号化を行うピクチャであり、３ピクチャ中最も符号量を少なくできる。また、一般的には、ＩピクチャとＰピクチャは他のピクチャを符号化する際に参照できる参照可能ピクチャであるが、Ｂピクチャは参照不可ピクチャである。

ビデオインターフェース１は入力動画像信号を入力し、符号化対象フレームを出力する。減算器２は、符号化対象フレームと予測フレームとの差を算出する。離散コサイン変換器３は、減算器２の出力を一定の大きさのブロック単位で離散コサイン変換（ＤＣＴ）する。量子化部４は、離散コサイン変換により得られたＤＣＴ係数データを量子化する。

逆量子化部５は、量子化されたＤＣＴ係数データを逆量子化する。逆離散コサイン変換器６は、逆量子化されたＤＣＴ係数データを逆離散コサイン変換（逆ＤＣＴ）する。加算器７は、逆離散コサイン変換器６の出力と予測フレームを加算し、その加算結果を参照可能ピクチャとしてビデオメモリ８に記憶させる。

動き補償予測部９は符号化対象フレームがＩピクチャの場合は動きベクトル検出を行わず、予測フレームとして０を出力し、符号化対象フレームがＰピクチャ又はＢピクチャの場合は、符号化対象フレームからマクロブロック毎に動きベクトルを検出し、予測フレームを生成する。

動きベクトルの検出は、符号化対象フレームとビデオメモリ８に記憶されている参照可能ピクチャとの間でマクロブロック単位で行われる。具体的には、符号化対象フレームのマクロブロックに対して参照可能ピクチャの最も相関の高いマクロブロックを検出することにより、符号化対象フレームのマクロブロックが参照可能ピクチャのどのマクロブロックから動いたものかを示す情報が動きベクトルとして検出される。動き補償予測部９は、この動きベクトルを用いて参照可能ピクチャに対して動き補償を行って予測フレームを算出する。

動き補償予測部９からは動き補償予測の予測モードと動きベクトルを示す予測モード／動きベクトル情報も出力される。エントロピー符号化部１０は、量子化されたＤＣＴ係数データと予測モード／動きベクトル情報をそれぞれ符号化する。このようにしてエントロピー符号化部１０は、符号化対象フレームと予測フレームとの差分値を符号化する。

ヘッダ／シンタクス付加部１１は、符号化結果にシンタクス情報を付加する。予測フレームとする画像には、シンタクス情報としてｒｅｆ−ｉｄｘという番号を割り当てる。現在処理しているカレントピクチャに時間的に近い順にｒｅｆ−ｉｄｘを０から順に振っていく。

シーンチェンジ検出部１２は、符号化対象フレームのカレントピクチャ、１つ前及び２つ前の参照可能ピクチャについてそれぞれシーンチェンジ（ＳＣ）の有無を検出する。図２はフラッシュ画像とシーンチェンジの関係を示す図である。１ピクチャ前のみ全面がフラッシュ画像である場合、カレントピクチャと１つ前の参照可能ピクチャでシーンチェンジが検出される（パターン１）。２ピクチャ前の全面がフラッシュ画像であり、１ピクチャ前の画面の１／３がフラッシュ画像（画面の１／３が白くなっている）である場合、１つ前の参照可能ピクチャと２つ前の参照可能ピクチャでシーンチェンジが検出される（パターン２）。２ピクチャ前の画面の１／３がフラッシュ画像であり、１ピクチャ前の全面がフラッシュ画像である場合、カレントピクチャと１つ前の参照可能ピクチャでシーンチェンジが検出される（パターン３）。２ピクチャ前の全面がフラッシュ画像であり、１ピクチャ前の画面の２／３がフラッシュ画像（画面の２／３が白くなっている）である場合、カレントピクチャと２つ前の参照可能ピクチャでシーンチェンジが検出される（パターン４）。２ピクチャ前の画面の２／３がフラッシュ画像であり、１ピクチャ前の全面がフラッシュ画像である場合、カレントピクチャと２つ前の参照可能ピクチャでシーンチェンジが検出される（パターン５）。

図３は輝度ブロック累算部の算出方法を示す図である。輝度ブロック累算部１３は、カレントピクチャと１つ前の参照可能ピクチャとの間で対応するブロックの輝度の累算値ごとの差を１ピクチャ分累算したものをＸとして算出する。なお、ブロックは、ここでは１６画素ｘ１６画素のマクロブロックであるが、これに限らず４画素ｘ４画素、８画素ｘ８画素、１６画素ｘ３２画素等のブロックでもよい。

図４は輝度累算部の算出方法を示す図である。輝度累算部１４は、１つ前の参照可能ピクチャとカレントピクチャの輝度の累算値同士の差分をＹ１とし、２つ前の参照可能ピクチャとカレントピクチャの輝度の累算値同士の差分をＹ２とし、３つ前の参照可能ピクチャとカレントピクチャの輝度の累算値同士の差分をＹ３として、互いの差を算出する。

フラッシュ判定部１５は、第１の閾値をＸｔｈとし、第２の閾値をＹｔｈとして、以下のようにフラッシュ画像を判定する。
（１）カレントピクチャと１つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ２｜≧Ｙｔｈの場合、１つ前の参照可能ピクチャをフラッシュ画像と判定する（図２のパターン１に該当）。
（２）１つ前の参照可能ピクチャと２つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ２−Ｙ３｜≧Ｙｔｈの場合、１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定する（図２のパターン２に該当）。
（３）カレントピクチャと１つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ３｜≧Ｙｔｈの場合、１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定する（図２のパターン３に該当）。
（４）カレントピクチャと２つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ３｜≧Ｙｔｈの場合、１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定する（図２のパターン４，５に該当）。

そして、フラッシュ判定部１５は、フラッシュ画像を検出すると、フラッシュ画像の直前のフレームに予測フレームを変更するように指示する。この指示を受けた動き補償予測部９は、１つ前の参照可能ピクチャがフラッシュ画像と判定されなかった場合に１つ前の参照可能ピクチャを参照して予測フレームを算出し、１つ前の参照可能ピクチャがフラッシュ画像と判定された場合に２つ前の参照可能ピクチャを参照して予測フレームを算出し、１つ前及び２つ前の参照可能ピクチャがフラッシュ画像と判定された場合に３つ前の参照可能ピクチャを参照して予測フレームを算出する。

図５及び図６は、予測フレームを算出する際に参照するピクチャの選択例を示す図である。図５は参照可能ピクチャ（Ｉ又はＰピクチャ）までの間隔Ｍが１の場合である。１ピクチャフラッシュの場合には１つ前のピクチャを参照し、２ピクチャフラッシュの場合には２つ前のピクチャを参照して、フラッシュ画像を参照しないようにする。

図６はＭが３、次のＩピクチャまでの間隔Ｎが１５であり、４番のＰピクチャがフラッシュ画像の場合である。７番のＰピクチャを符号化する際には４番のＰピクチャを参照せず、１番のＩピクチャを参照する。

もしＩピクチャがフラッシュ画像だった場合、その直後のピクチャをＰピクチャに変更して符号化を行う。それ以降はその変更に合わせたＧＯＰ構成で符号化を行う。なお、直後のピクチャをＩピクチャにしてもよいが、符号が大量に発生してしまう。また、Ｂピクチャがフラッシュ画像だった場合、そもそもＢピクチャは参照されないので、通常通り符号化を行う。

また、参照する画像のｒｅｆ−ｉｄｘが小さいほど符号量が軽減されるため、参照しないフラッシュ画像に一番符号量が有利になる番号ｒｅｆ−ｉｄｘ＝０を割り当てるのはもったいない。そこで、フラッシュ判定部１５は、フラッシュ画像を検出すると、フラッシュ画像の直前のフレームのｒｅｆ−ｉｄｘを０に変更するようにヘッダ／シンタクス付加部１１に指示する。

本実施の形態において、輝度ブロック累算部１３の算出結果Ｘは、１画素ごとに輝度の差を累積したものよりもピクチャの動きに対して反応（差分値の増減）が緩やかになる。輝度累算部１４が算出するＹ１，Ｙ２，Ｙ３の互いの差は、輝度ブロック累算部１３の算出結果Ｘよりも更にピクチャの動きに対して反応（差分値の増減）が緩やかになる。従って、これらの算出結果に基づいてシーンチェンジの算出パターンごとにフラッシュ画像を判定するため、フラッシュ画像の誤検出が少なくなる。また、２つのフレームにわたってフラッシュが発生する２ピクチャフラッシュにも対応できる。このため、フラッシュ直後の画像の乱れを防ぐことができる。

９動き補償予測部（予測フレーム算出部）、１０エントロピー符号化部（符号化部）、１２シーンチェンジ検出部、１３輝度ブロック累算部、１４輝度累算部、１５フラッシュ判定部

Claims

フレーム間予測を用いた符号化を行う動画像符号化装置であって、
符号化対象フレームと予測フレームとの差分値を符号化する符号化部と、
前記符号化対象フレームのカレントピクチャ、その１つ前及び２つ前の参照可能ピクチャについてそれぞれシーンチェンジの有無を検出するシーンチェンジ検出部と、
前記カレントピクチャと前記１つ前の参照可能ピクチャとの間で対応するブロックの輝度の累算値ごとの差を１ピクチャ分累算したものをＸとして算出する輝度ブロック累算部と、
前記１つ前の参照可能ピクチャと前記カレントピクチャの輝度の累算値同士の差分をＹ１とし、前記２つ前の参照可能ピクチャと前記カレントピクチャの輝度の累算値同士の差分をＹ２とし、前記カレントピクチャの３つ前の参照可能ピクチャと前記カレントピクチャの輝度の累算値同士の差分をＹ３として、互いの差を算出する輝度累算部と、
第１の閾値をＸｔｈとし、第２の閾値をＹｔｈとして、（１）前記カレントピクチャと前記１つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ２｜≧Ｙｔｈの場合、前記１つ前の参照可能ピクチャをフラッシュ画像と判定し、（２）前記１つ前の参照可能ピクチャと前記２つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ２−Ｙ３｜≧Ｙｔｈの場合、前記１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定し、（３）前記カレントピクチャと前記１つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ３｜≧Ｙｔｈの場合、前記１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定し、（４）前記カレントピクチャと前記２つ前の参照可能ピクチャでシーンチェンジが検出され、｜Ｘ｜≧Ｘｔｈかつ｜Ｙ１−Ｙ３｜≧Ｙｔｈの場合、前記１つ前及び２つ前の参照可能ピクチャをフラッシュ画像と判定するフラッシュ判定部と、
前記１つ前の参照可能ピクチャがフラッシュ画像と判定されなかった場合に前記１つ前の参照可能ピクチャを参照して前記予測フレームを算出し、前記１つ前の参照可能ピクチャがフラッシュ画像と判定された場合に前記２つ前の参照可能ピクチャを参照して前記予測フレームを算出し、前記１つ前及び２つ前の参照可能ピクチャがフラッシュ画像と判定された場合に前記３つ前の参照可能ピクチャを参照して前記予測フレームを算出する予測フレーム算出部とを備えることを特徴とする動画像符号化装置。