JP4788250B2 - 動画像信号の符号化装置、動画像信号の符号化方法およびコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、ＭＰＥＧ−２（Moving Picture Experts Group phase 2）ストリーム信号などの動画像信号を可変ビットレート方式で記録する動画像信号の符号化装置、動画像信号の符号化方法およびコンピュータ読み取り可能な記録媒体に関するものである。

ＭＰＥＧ−２エンコードの方式には大別するとＣＢＲ（Constant Bit Rate）と、ＶＢＲ（Variable Bit Rate）がある。ＣＢＲは固定ビットレート方式と呼ばれ、画像の内容にかかわらず、一定の転送レートでエンコードして行く方式であり、ＶＢＲは可変ビットレート方式と呼ばれ、高精細な画像や変化の大きい画像にはより多くのビット数を割り振り、逆に変化の少ない映像にはビット数を少な目に割り振ることで、限られたビット数を効率よく使うとともに一定の画質を保つようにする方式である。このようなＶＢＲでは、単位時間たとえばフレームごとの画像の複雑さを、そのフレームの符号化難易度として定量化し、この符号化難易度に応じて、そのフレームへのビットレート（ビット量）の割り振りを最適化している。

ＶＢＲには、１パス目の符号化処理で映像の複雑さを解析して、フレームごとの符号化難易度を求めて記録しておき、２パス目の符号化処理で、上記の符号化難易度の情報をもとにして個々のフレームに割り振るビットレートを調節する２パスＶＢＲと、１パスの符号化処理で上記の映像の複雑さを解析、符号化難易度の算出、ビットレートの調節を行う１パスＶＢＲとがある。

２パスＶＢＲは、１パス目にストリーム全体を解析してフレームごとの符号化難易度を得ることができるので、限られたディスク容量の中で最適なビットレートの割り振りを行うことができ、また、設定された平均ビットレートになるように各フレームに割り振るビットレートを調節することができる。このため、ビデオおよびオーディオのデジタルストリームをＤＶＤディスクなどの容量制限の厳しい記録媒体に記録する際のＭＰＥＧ−２エンコードには２パスＶＢＲが用いられることが普通である（たとえば、特許文献１など）。

この２パスＶＢＲでは、１パス目に、入力されたデジタルストリーム信号をそのまま記録部に記録するとともに、符号化難易度の計算に必要な情報を生成するために設けられたそれぞれ専用のデコーダとエンコーダにて復号化に続けて符号化を行う。このエンコーダによる符号化の際に生成された情報をもとにフレームごとの符号化難易度が算出され、記録されたデジタルストリーム信号の各フレームと対応付けて記録される。２パス目の符号化処理では、記録されている符号化難易度をデジタルストリーム信号とともに読み込んで、符号化難易度から、対応するフレームに割り振るべき最適なビットレートを計算する。そして記録パスのデコーダにて復号化されたビデオ信号およびオーディオ信号を符号化する際に、上記の計算されたビットレートに従って符号化が行われる。

特開２００５−０６４７９０号公報

しかしながら、かかる従来の構成においては、記録パス用のデコーダとエンコーダとは別に、符号化難易度の計算に必要な情報を生成する、それぞれ専用のデコーダとエンコーダが必要である。このためシステム全体の規模が大きくなりコストが嵩むという問題があった。また、上記のデコーダとエンコーダの性能がボトルネックとなって処理の高速化の妨げとなるおそれもあった。また、２パス目（再エンコード用）のデコーダとエンコーダをシェアして用いる場合も考えられる。しかし、その場合は、セットの同時動作の機能が制限されることがデメリットである。例えば、１パス目のダイレクト記録を行っているときに再エンコード用のデコーダとエンコーダを符号化難易度取得のために使用してしまうため、ＨＤＤからＤＶＤへの再エンコードダビングが同時に実行できないという問題があった。

本発明は、かかる実情に鑑み、符号化難易度の計算に必要な情報を取得する回路の規模縮小および２パス可変ビットレート方式の符号化処理の高速化を図ることのできる動画像信号の符号化装置、動画像信号の符号化方法およびコンピュータ読み取り可能な記録媒体を提供しようとするものである。

上記の課題を解決するために、本発明の動画像信号の符号化装置は、ＭＰＥＧ−２の入力動画像信号を２パス可変ビットレート方式により符号化処理する装置において、入力動画像信号のヘッダ情報及びデータ情報のうち少なくとも一方を解析して符号化難易度の計算に必要な情報を生成するストリーム解析部と、入力動画像信号を簡易的に復号化し、この復号化された信号を符号化する簡易復号・符号化部と、前記簡易復号・符号化部により符号化された情報をもとに画像の特徴点を解析して単位時間ごとの符号化難易度の計算に必要な情報を生成する特徴点解析部と、ストリーム解析部によって生成された情報と特徴点解析部によって生成された情報に基づいて単位時間ごとの符号化難易度を計算する符号化難易度計算部と、入力動画像信号と計算された単位時間ごとの符号化難易度情報とを対応付けて記録する記録部と、記録部に記録された動画像信号を入力して復号化する復号化部と、記録部に記録された単位時間ごとの符号化難易度情報に基づき２パス目の符号化に割り振るビットレートを計算するビットレート計算部と、復号化部により復号化された信号についてビットレート計算部によって計算されたビットレートに従って２パス目の符号化を行う符号化部とを具備することを特徴とする。

本発明においては、ＭＰＥＧ−２ストリームのヘッダ情報及びデータ情報のうち少なくとも一方を解析して得た情報と、特徴点を解析して得た情報とから単位時間ごとの符号化難易度を計算することで、符号化難易度を計算する上での情報量が増大し、符号化難易度情報の精度向上を期待できる。

また、簡易復号・符号化部は、画像の画素数を間引く変換回路と、この変換回路によって画素数を間引いた画像を対象に復号化を行う復号化回路を含む構成としてもよい。元の画像と画素数を間引いた画像との間では特徴点解析部による特徴点の解析結果に大きな差は現れることはない。したがって、画素数を間引いた画像が復号化の対象となることで、復号化したデータを一次保存しておくためのメモリの容量の低減やメモリ帯域の低減、さらには復号化自体の処理量低減による回路規模の縮小や、回路規模の縮小による回路の高速化などを図ることができる。

本発明によれば、符号化難易度の計算に必要な情報を取得する回路の規模縮小および２パス可変ビットレート方式の符号化処理の高速化を図ることができる。

以下、本発明の実施の形態について図面を参照しながら説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る動画像信号の符号化装置の構成を示すブロック図である。

同図に示すように、この第１の実施形態に係る動画像信号の符号化装置１００は、デジタル放送チューナ１、ネットワークインターフェース２、マスストレージインターフェース３、セレクタ４、ストリーム解析部５、符号化難易度計算部６、バッファコントローラ７、デマルチプレクサ８、ＡＶ（Audio/Video）デコーダ９、ＡＶエンコーダ１０、ビットレート計算部１１、マルチプレクサ１２、マスストレージデバイス１３、ドライブ１４、ＣＰＵ（Central Processing Unit）１５などを備えている。

デジタル放送チューナ１、ネットワークインターフェース２、およびマスストレージインターフェース３は、ＭＰＥＧ−２で符号化されたデジタルストリーム信号（動画像信号）を入力するための手段である。デジタル放送チューナ１は、具体的にはＢＳデジタル放送チューナ、ＣＳデジタル放送チューナ、地上波デジタル放送チューナなどであり、デジタル放送を選局し受信する。ネットワークインターフェース２はネットワークとの接続を行うためのインターフェースであり、ネットワークに配信可能な状態で蓄積されたデジタルストリーム信号のダウンロードなどのために用いられる。このネットワークインターフェース２は、具体的にはイーサネット（登録商標）インターフェース、無線ＬＡＮ（Local Area Network）インターフェースなどである。マスストレージインターフェース３は、データを格納する各種ストレージデバイスからデジタルストリーム信号を読み込み入力するためのインタフェースであり、具体的には、ＩＥＥＥ（the Institute of Electrical and Electronic Engineers）１３９４インターフェース、ＵＳＢ（Universal Serial Bus）インターフェースなどである。

セレクタ４は、デジタル放送チューナ１、ネットワークインターフェース２、マスストレージインターフェース３のいずれかから入力されるデジタルストリーム信号をＣＰＵ１５からの制御信号に基づき選択する手段である。

ストリーム解析部５は、１パス目にセレクタ４より入力されたデジタルストリーム信号を解析して、単位時間たとえばフレームごとの符号化難易度の計算に必要な情報（符号化難易度情報算出変数）を生成するための手段である。

符号化難易度計算部６は、ストリーム解析部５によって生成された符号化難易度情報算出変数に基づいてフレームごとの符号化難易度を計算するための手段である。

バッファコントローラ７は、各部間でのデジタルストリーム信号や符号化難易度情報の受け渡しを制御する手段である。

デマルチプレクサ８は、２パス目にバッファコントローラ７より入力されたデジタルストリーム信号をデジタルビデオストリームとデジタルオーディオストリームに分離してＡＶデコーダ９に供給する手段である。

ＡＶデコーダ９は、デマルチプレクサ８を通じて入力されたデジタルビデオストリームとデジタルオーディオストリームをそれぞれ復号化する手段である。

ＡＶエンコーダ１０は、ＡＶデコーダ９によって復号化されたビデオ信号およびオーディオ信号をビットレート計算部１１より与えられたビットレートに従って２パス目の符号化を行う手段である。なお、ＡＶエンコーダ１０に与える変数は必ずしもビットレートに限定されず、ＡＶエンコーダの仕様に依存する。

ビットレート計算部１１は、１パス目で作成された符号化難易度情報をもとに、対応するフレームの符号化に割り振るビットレートを計算してＡＶエンコーダ１０に供給する手段である。

マルチプレクサ１２は、ＡＶエンコーダ１０より入力されたデジタルビデオストリームおよびデジタルオーディオストリームを多重化してバッファコントローラ７に出力する手段である。

マスストレージデバイス１３は、データを格納する各種ストレージデバイスであり、たとえば、１パス目に入力されたデジタルストリーム信号と、ストリーム解析部５および符号化難易度計算部６の系で生成された符号化難易度情報などの記録および読み出しや、２パス目に可変ビットレートで符号化されたデジタルストリーム信号の記録および読み出しを行うデバイスである。

ドライブ１４は、ＤＶＤ（Digital Versatile Disc）などの記録媒体１６の着脱が可能とされ、この装着された記録媒体１６に対してたとえば、１パス目に入力されたデジタルストリーム信号と、ストリーム解析部５および符号化難易度計算部６の系で生成された符号化難易度情報などの記録および読み出しや、２パス目に可変ビットレートで符号化されたデジタルストリーム信号の記録および読み出しを行う装置である。

ＣＰＵ１５は、動画像信号の符号化装置１００の各部を統括的に制御する装置である。

次に、この第１の実施形態に係る動画像信号の符号化装置１００の動作を説明する。

この動画像信号の符号化装置１００では、１パス目に、入力デジタルストリーム信号をそのままマスストレージデバイス１３に、またはドライブ１４を通じて記録媒体１６に記録する一方で、そのデジタルストリーム信号からフレームごとの符号化難易度を計算するために必要な情報を生成してフレームごとの符号化難易度情報を作成し、マスストレージデバイス１３に、またはドライブ１４を通じて記録媒体１６に記録する。２パス目に、マスストレージデバイス１３から、またはドライブ１４の記録媒体１６からデジタルストリーム信号とフレームごとの符号化難易度情報を読み出し、デジタルストリーム信号を復号する一方で、符号化難易度情報をもとにそのフレームの符号化に割り振るビットレートを計算し、このビットレートに従って、復号化された信号を符号化し、マスストレージデバイス１３に、またはドライブ１４を通じて記録媒体１６に記録する。以下にこの動作の詳細を説明する。

図２はこの動画像信号の符号化装置１００の２パス可変ビットレート符号化動作の流れを示すフローチャートである。

(1.1) １パス目の動作
ＣＰＵ１５は、デジタル放送チューナ１、ネットワークインターフェース２、もしくはマスストレージインターフェース３のいずれか１系統からのデジタルストリーム信号をセレクタ４にて選択する（ステップＳ２０１）。セレクタ４によって選択されたデジタルストリーム信号はバッファコントローラ７とストリーム解析部５へそれぞれ出力される。バッファコントローラ７はセレクタ４から入力された動画像信号であるデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４に出力する。入力されたデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４のいずれに出力するかはユーザによる設定あるいは実装に依存する。これにより、入力されたデジタルストリーム信号そのままがマスストレージデバイス１３に、またはドライブ１４に装着された記録媒体１６に記録される（ステップＳ２０２）。

ストリーム解析部５は、セレクタ４から入力されたデジタルストリーム信号中のヘッダ情報、データ情報からフレームごとの符号化難易度を計算するために必要な情報を生成し（ステップＳ２０３）、その情報を符号化難易度計算部６へ出力する。符号化難易度計算部６は、ストリーム解析部５から入力された情報をもとにフレームごとの符号化難易度を計算もしくは判別し（ステップＳ２０４）、バッファコントローラ７に符号化難易度情報を出力する。符号化難易度情報は値やフラグの集合体である。

バッファコントローラ７は符号化難易度計算部６から入力された符号化難易度情報をマスストレージデバイス１３またはドライブ１４に出力する。符号化難易度情報をマスストレージデバイス１３またはドライブ１４のいずれに出力するかはユーザによる設定あるいは実装に依存する。ただし、符号化難易度情報とストリームを同一媒体に記録しなければならないという制約はない。これにより符号化難易度情報がマスストレージデバイス１３に、またはドライブ１４に装着された記録媒体１６に記録される（ステップＳ２０５）。この際、符号化難易度情報はデジタルストリーム信号の単位時間（フレーム）ごとの情報であるから、デジタルストリーム信号と符号化難易度情報とは双方の対応関係が分るような形式で記録される。

(1.2) ストリーム解析部５の詳細
ストリーム解析部５は、入力されたデジタルストリーム信号のヘッダ情報、データ情報を解析して符号化難易度を計算するために必要な情報（符号化難易度情報算出変数）を生成する。符号化難易度情報算出変数としては、量子化スケール、ビデオのアクセスユニット（ＡＵ）サイズ、ＤＣＴ（離散コサイン変換）のＤＣ（直流）係数などが考えられる。その他にも、符号化難易度を計算するための指標となる情報であって、デジタルストリーム信号そのものを解析して得られるものであれば何でもよい。また、決められた１つの種類の符号化難易度情報算出変数を符号化難易度を計算するために必要な情報として生成しても、複数の種類の符号化難易度情報算出変数を生成するようにしてもよい。

一例として、ビデオのアクセスユニット（ＡＵ）サイズの情報の生成について説明する。図３はＭＰＥＧ−２のトランスポートストリーム（ＴＳ：Transport Stream）の構成を示している。トランスポートストリームは１以上の固定長(１８８バイト)のＴＳパケットで構成される。ＴＳパケットはＴＳパケットヘッダとＴＳペイロードで構成され、ＴＳパケットヘッダにはそのＴＳパケットの種別を示すＰＩＤ番号が定義されている。映像や音声などの個別ストリームが収められたＰＥＳパケットは、同じＰＩＤ番号を持つ複数のＴＳパケットのＴＳペイロードに分割して伝送される。ＰＥＳパケットはＰＥＳヘッダとＰＥＳペイロードとで構成される。ＰＥＳペイロードは、１フレーム分のビデオまたはオーディオの符号化データ（アクセスユニット（ＡＵ））である。ＰＥＳヘッダには少なくとも、ＰＥＳペイロードの符号化データがビデオかオーディオかを示すＩＤ（Stream ID）とＰＥＳパケットのサイズを示す情報（PES packet length）とが含まれている。

したがって、ストリーム解析部５は、入力されたデジタルストリーム信号の中のＰＥＳヘッダを解析してその中のＩＤ（Stream ID ）を読み込むことによって、ビデオの符号化データが入ったＰＥＳパケットを検出し、そのＰＥＳパケットのＰＥＳヘッダ中のＰＥＳパケットサイズ情報（PES packet length ）を読み込むことによって、１フレーム分のアクセスユニット（ＡＵ）サイズを知ることができる。

符号化難易度計算部６は、このようにストリーム解析部５より取得した情報をもとに符号化難易度の算出を行う。

なお、ＭＰＥＧ−２ストリームから得られる、符号化難易度を計算するために必要な情報は、ＰＥＳヘッダからのみならず、その他のレイヤのヘッダ情報もしくはデータ情報から得るようにすることも可能である。

(1.3) ２パス目の動作
図２に戻って、ＣＰＵ１５は、１パス目にマスストレージデバイス１３または、ドライブ１４によって記録媒体１６に互いに対応付けて記録されたデジタルストリーム信号と符号化難易度情報をバッファコントローラ７に出力するように制御する（ステップＳ２０６）。バッファコントローラ７は、入力されたデジタルストリーム信号をデマルチプレクサ８に出力する一方、入力された符号化難易度情報をビットレート計算部１１へ出力する。デマルチプレクサ８は、バッファコントローラ７から入力されたデジタルストリーム信号をデジタルビデオストリームとデジタルオーディオストリームに分離し（ステップＳ２０７）、ＡＶデコーダ９へ出力する。ＡＶデコーダ９はデマルチプレクサ８から入力されたデジタルビデオストリームとデジタルオーディオストリームをそれぞれ復号化し（ステップＳ２０８）、ＡＶエンコーダ１０に出力する。

一方、ビットレート計算部１１は、あらかじめＣＰＵ１５から設定された目標平均ビットレートとバッファコントローラ７から入力された符号化難易度情報から目標ビットレートを算出する（ステップＳ２０９）。より具体的には、トランスポートストリーム全体のフレーム数をＮとして、各フレームごとの符号化難易度情報の値の合計を求め、この合計値をＮで除算して符号化難易度情報の平均値を求める。この平均値にＣＰＵ１５から設定された目標平均ビットレートを対応付け、フレームごとの符号化難易度情報と平均値との差分と大小関係からフレームごとの目標ビットレートを算出する。すなわち、符号化難易度情報が平均値符号化より高いフレームには上記差分量に対応した高い目標ビットレートを割り当て、符号化難易度情報が平均値符号化より低いフレームには上記差分量に対応した低い目標ビットレートを割り振る。そして、算出した目標ビットレートの情報をＡＶエンコーダ１０に出力する。

ＡＶエンコーダ１０は、ＡＶデコーダ９から入力されたビデオ信号およびオーディオ信号をビットレート計算部１１から入力された目標ビットレートの情報を用いて符号化を行う（ステップＳ２１０）。ここでＡＶエンコーダ１０での符号化により結果として発生したビットレートの値はＣＰＵ１５へ出力され、ＣＰＵ１５にて目標ビットレートとの差分が計算され、次回のビットレート計算にフィードバックされる。

ＡＶエンコーダ１０によって符号化されたデジタルビデオストリームおよびデジタルオーディオストリームはマルチプレクサ１２に出力される。マルチプレクサ１２は入力されたデジタルビデオストリームとオーディオデジタルストリームとの多重化を行い（ステップＳ２１１）、デジタルストリーム信号としてバッファコントローラ７へ出力する。

バッファコントローラ７は、マルチプレクサ１２から入力されたデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４に出力する。可変ビットレートで符号化されたデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４のいずれに出力するかはユーザによる設定あるいは実装に依存する。これにより、マスストレージデバイス１３またはドライブ１４に装着されている記録媒体１６に可変ビットレートで符号化されたデジタルストリーム信号が記録される（ステップＳ２１２）。

以上のように、本実施形態の動画像信号の符号化装置１００によれば、ストリーム解析部５にて、入力デジタルストリーム信号を解析して符号化難易度を計算するために必要な情報を直接取得するように構成したことで、入力デジタルストリーム信号を復号化した後符号化してこの符号化の際の情報を符号化難易度を計算するための情報として取り出すＡＶデコーダおよびＡＶエンコーダが不要になる。ストリーム解析部５はＡＶデコーダおよびＡＶエンコーダに比べて回路規模が小さくて済み、よって低コスト化と高速化を図ることが可能である。

また、１パス目のデジタルストリーム信号の入力は、デジタル放送チューナ１以外のネットワークインターフェース２やマスストレージインターフェース３からの入力も可能である。ネットワークインターフェース２やマスストレージインターフェース３からの入力の場合、デジタル放送チューナ１の入力より高速の入力が可能である。このようにデジタルストリーム信号の高速な入力に対して、従来は符号化難易度情報を取得する復号化部や符号化部の性能がボトルネックになるおそれがあったが、本実施形態では、ストリーム解析部５が純粋なハードウェアで構成することが可能なので、高速化が期待できる。また、ソフトウェアで本システムを組んだとしても処理の高速化を期待できる。

（第２の実施形態）
図４は本発明の第２の実施形態である動画像信号の符号化装置の構成を示すブロック図である。

同図に示すように、この動画像信号の符号化装置２００は、デジタル放送チューナ１、ネットワークインターフェース２、マスストレージインターフェース３、セレクタ４、ストリーム解析部５、符号化難易度計算部６、バッファコントローラ７、デマルチプレクサ８、ＡＶ（Audio/Video）デコーダ９、ＡＶエンコーダ１０、簡易ＡＶデコーダ・エンコーダ２１、特徴点解析部２２、ビットレート計算部１１、マルチプレクサ１２、マスストレージデバイス１３、ドライブ１４、ＣＰＵ（Central Processing Unit）１５などを備えている。

すなわち、本実施形態の動画像信号の符号化装置２００は、第１の実施形態の動画像信号の符号化装置１００の構成に簡易ＡＶデコーダ・エンコーダ２１および特徴点解析部２２を付加したものである。

以上の構成において、デマルチプレクサ８は、１パス目にバッファコントローラ７より入力されたデジタルストリーム信号をデジタルビデオストリームとデジタルオーディオストリームに分離して簡易ＡＶデコーダ・エンコーダ２１に供給し、２パス目にバッファコントローラ７より入力されたデジタルストリーム信号をデジタルビデオストリームとデジタルオーディオストリームに分離してＡＶデコーダ９に供給する。

簡易ＡＶデコーダ・エンコーダ２１は、デマルチプレクサ８から入力されたデジタルビデオストリーム信号とデジタルオーディオストリーム信号をそれぞれ簡易的に復号化し、さらに復号化した信号をたとえば固定ビットレートで符号化し、この符号化の際の発生ビット量、量子化スケール、動き予測（ＭＥ）エラー、シーンチェンジ情報、カラー情報など、画像の複雑さの指標となる情報を特徴点解析部２２へ出力する手段である。

特徴点解析部２２は、簡易ＡＶデコーダ・エンコーダ２１から入力された情報をもとに画像の特徴点の解析を行い、符号化難易度計算部６へ解析結果である符号化難易度情報算出変数を出力する手段である。画像の特徴点については後で詳述する。

符号化難易度計算部６は、ストリーム解析部５によって生成された符号化難易度情報算出変数と特徴点解析部２２から入力された符号化難易度情報算出変数とをもとに単位時間たとえばフレームごとの符号化難易度を計算し、バッファコントローラ７に符号化難易度情報を出力する手段である。

次に、この第２の実施形態にかかる動画像信号の符号化装置２００の動作を説明する。 図５はこの動画像信号の符号化装置２００の２パス可変ビットレート符号化動作の流れを示すフローチャートである。

(2.1) １パス目の動作
ＣＰＵ１５は、デジタル放送チューナ１、ネットワークインターフェース２、もしくはマスストレージインターフェース３のいずれか１系統からのデジタルストリーム信号をセレクタ４にて選択する（ステップＳ５０１）。セレクタ４にて選択されたデジタルストリーム信号は、バッファコントローラ７とストリーム解析部５へそれぞれ出力される。

バッファコントローラ７はセレクタ４から入力されたデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４に出力するとともにデマルチプレクサ８に出力する。入力されたデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４のいずれに出力するかはユーザによる設定あるいは実装に依存する。これにより、デジタルストリーム信号がマスストレージデバイス１３に、またはドライブ１４に装着された記録媒体１６に記録される（ステップＳ５０２）。

デマルチプレクサ８は、バッファコントローラ７より入力されたデジタルストリーム信号をデジタルビデオストリームとデジタルオーディオストリームに分離して簡易ＡＶデコーダ・エンコーダ２１に出力する（ステップＳ５０３）。簡易ＡＶデコーダ・エンコーダ２１は、デマルチプレクサ８から入力されたデジタルビデオストリームとデジタルオーディオストリームをそれぞれ簡易的に復号化した後、たとえば固定ビットレートで符号化して、この符号化の際の発生ビット量、量子化スケール、動き予測（ＭＥ）エラー、シーンチェンジ情報、カラー情報など、画像の複雑さの指標となる情報を特徴点解析部２２へ出力する（ステップＳ５０４）。

特徴点解析部２２は、簡易ＡＶデコーダ・エンコーダ２１から入力された情報をもとに画像の特徴点の解析を行い、符号化難易度計算部６へ解析結果である符号化難易度情報算出変数を出力する（ステップＳ５０５）。

一方、ストリーム解析部５では、セレクタ４から入力されたデジタルストリーム信号中のヘッダ情報、データ情報からフレームごとの符号化難易度を計算するために必要な情報が生成され（ステップＳ５０６）、符号化難易度計算部６へ出力される。

符号化難易度計算部６は、特徴点解析部２２から入力された符号化難易度情報算出変数とストリーム解析部５から入力された符号化難易度情報算出変数をもとに符号化難易度を計算し（ステップＳ５０７）、計算した符号化難易度情報をバッファコントローラ７に出力する。

この後、バッファコントローラ７によって、符号化難易度計算部６より入力された符号化難易度情報はマスストレージデバイス１３またはドライブ１４に出力される。符号化難易度情報をマスストレージデバイス１３またはドライブ１４のいずれに出力するかはユーザによる設定あるいは実装に依存する。これにより、符号化難易度情報はマスストレージデバイス１３に、またはドライブ１４に装着された記録媒体１６に記録される（ステップＳ５０８）。この際、符号化難易度情報はフレームごとの情報であるから、既にマスストレージデバイス１３に、またはドライブ１４の記録媒体１６に記録されているデジタルストリーム信号との対応関係が分るような形式で記録される。

(2.2) 簡易ＡＶデコーダ・エンコーダ２１による簡易的復号化の詳細
簡易ＡＶデコーダ・エンコーダ２１による簡易的復号化とは、たとえばハーフコンバートなどによってフレームの水平方向または垂直方向の画素数を半分に間引いた画像を対象に復号化を行ったり、水平方向または垂直方向の画素間差分のみを対象として復号化を行う手法である。このような簡易的復号化は、復号化したデータを一次保存しておくためのメモリの容量の低減やメモリ帯域の低減、さらには復号化自体の処理量低減による回路規模の縮小や、回路規模の縮小による回路の高速化などの利点をもたらす。

また、フレームの画素数をさらに低減させて上記の利点を増大させるために、ハーフコンバートに加えてダウンコンバートを行うようにしてもよい。ダウンコンバートとはフレームの画素数を水平および垂直のそれぞれの方向において間引いて、結果的にＳＤ（標準テレビジョン）画像の画素数（４８０×６４０）に変換する処理である。

図６は上記のハーフコンバートとダウンコンバートとによる画素数の変換例を示す図である。この例は、入力画像をＨＤ（高画質放送）画像とし、その画素数が１０８０×１４４０である場合を示している。このＨＤ画像の水平方向の画素数をハーフコンバートによって１／２に間引くことによって１０８０×７２０の画像が生成され、さらにダウンコンバートによって４８０×６４０のＳＤ画像が生成される。すなわちハーフコンバート後の１０８０×７２０の画素数は、ダウンコンバートによって水平方向に１／１．１２５、垂直方向に１／２．２５にそれぞれ間引きされて４８０×６４０（ＳＤ画像）となる。

図７は上記のハーフコンバートとダウンコンバートとによる画素数の他の変換例を示す図である。入力されるＨＤ画像の画素数は１０８０×１９２０である。このＨＤ画像の水平方向の画素数をハーフコンバートによって１／２に間引くことによって１０８０×９６０の画像が生成される。この場合、最終的に水平方向の画素数を６４０にするために、ハーフコンバート後の１０８０×９６０の画素数は、ダウンコンバートによって水平方向に１／１．５、垂直方向に１／３．３７５にそれぞれ間引きした後、上下にダミーの画素（８０×６４０）７１，７２をそれぞれ付加して、４８０×６４０のＳＤ画像を生成する。

図６および図７に示したように、もとのＨＤ画像、ハーフコンバート後の画像、ダウンコンバート後のＳＤ画像をそれぞれ比較すると、それぞれの画像の特徴点には大きな差異がなく、すなわち、ハーフコンバートおよびダウンコンバートは画像の特徴点を残したまま画像数を低減できることが分る。

ところで、簡易ＡＶデコーダ・エンコーダ２１でハーフコンバートのみを行うようにするか、ハーフコンバートとダウンコンバートの両方を行うようにするかは、システムの仕様で決められている入力画像がＨＤ画像であるかＳＤ画像であるかという点と、簡易ＡＶデコーダ・エンコーダ２１の性能、特にエンコーダ内部において復号された画像を解析する回路の性能に依存する。たとえば、入力画像がＳＤ画像に決められた仕様の場合には、簡易ＡＶデコーダ・エンコーダ２１内の画像解析回路の性能に依存することなくハーフコンバートのみを行う実装とする。また、入力画像がＨＤ画像で、簡易ＡＶデコーダ・エンコーダ２１内の画像解析回路の性能がＨＤ画像の解析をサポートしているならば、ハーフコンバートのみを行う実装とする。また、入力画像がＨＤ画像で、簡易ＡＶデコーダ・エンコーダ２１内の画像解析回路の性能がＳＤ画像までの解析しかサポートしていない場合にはハーフコンバートとダウンコンバートを行う実装とする。

(2.3) 特徴点解析部２２の詳細
特徴点解析部２２は、簡易ＡＶデコーダ・エンコーダ２１から入力された情報をもとに画像の特徴点の解析を行い、符号化難易度計算部６へ解析結果である符号化難易度情報算出変数を出力する。特徴点とは画像の特徴的な部位（テロップ、字幕など）や色（肌色など）、動作（シーンチェンジ、フェードなど）などである。このような特徴点の解析結果から得られる符号化難易度情報算出変数としては、発生ビット量、量子化スケール、動き予測（ＭＥ）エラー、シーンチェンジ情報、カラー情報などがある。ただし、簡易ＡＶデコーダ・エンコーダ２１の仕様によって取得できる変数は異なってくる。

(2.4) 符号化難易度計算部６の詳細
符号化難易度計算部６によって符号化難易度情報算出変数から算出される符号化難易度情報としては、アクセスユニット（ＡＵ）サイズの値のほかに、たとえば、Ｆｌｕｓｈ検出、クロスフェード検出、シーンチェンジ検出（１）、シーンチェンジ検出（２）、クロスフェード前後検出、色度（肌色）検出などのフラグ情報がある。

Ｆｌｕｓｈ検出のフラグは、１ＧＯＰ（Group Of Picture）内に規定回数以上のシーンチェンジが発生したことが判定された場合に有効となる。クロスフェード検出のフラグは、過去の連続する所定数のＧＯＰごとの動き予測（ＭＥ）エラーの発生回数の比較値が規定値以上である場合に有効となる。クロスフェードとは、フェードインとフェードアウトを同時に行って異なる映像どうしを入れ替える機能である。シーンチェンジ検出（１）のフラグは、シーンチェンジ情報がＯＮであれば有効となる。シーンチェンジ検出（２）のフラグは、過去の連続する３つのＧＯＰのＭＥエラーの発生回数が現在のＧＯＰのＭＥエラーの発生回数の規定数倍でかつＱスケール値が規定値以上である場合に有効となる。クロスフェード前後検出のフラグは、クロスフェード検出後またはシーンチェンジ検出（２）後のＧＯＰで有効となる。色度（肌色）検出のフラグは、カラー情報が規定数以上ＯＮであれば有効になる。

これらの符号化難易度情報は２パス目の再符号化時のビットレート算出に用いるだけでなく、画像の特徴点として編集にも用いることができる。たとえば、シーンチェンジ検出部分で自動的にチャプタ付けを行うなどの応用が可能である。

(2.5) ２パス目の動作
２パス目の動作は第１の実施形態と同様である。すなわち、図５に戻って、ＣＰＵ１５は、１パス目にマスストレージデバイス１３または、ドライブ１４によって記録媒体１６に記録されたデジタルストリーム信号と符号化難易度情報をバッファコントローラ７に出力するように制御する（ステップＳ５０９）。バッファコントローラ７は、入力されたデジタルストリーム信号をデマルチプレクサ８に出力する一方、入力された符号化難易度情報をビットレート計算部１１へ出力する。デマルチプレクサ８は、バッファコントローラ７から入力されたデジタルストリーム信号をデジタルビデオストリームとデジタルオーディオストリームに分離し（ステップＳ５１０）、ＡＶデコーダ９へ出力する。ＡＶデコーダ９はデマルチプレクサ８から入力されたデジタルビデオストリームとデジタルオーディオストリームをそれぞれ復号化し（ステップＳ５１１）、ＡＶエンコーダ１０に出力する。

一方、ビットレート計算部１１は、あらかじめＣＰＵ１５から設定された目標平均ビットレートとバッファコントローラ７から入力された符号化難易度情報から目標ビットレートを算出する（ステップＳ５１２）。より具体的には、トランスポートストリーム全体のフレーム数をＮとして、各フレームごとの符号化難易度情報の値の合計を求め、この合計値をＮで除算して符号化難易度情報の平均値を求める。この平均値にＣＰＵ１５から設定された目標平均ビットレートを対応付け、フレームごとの符号化難易度情報と平均値との差分と大小関係からフレームごとの目標ビットレートを算出する。すなわち、符号化難易度情報が平均値符号化より高いフレームには上記差分量に対応した高い目標ビットレートを割り当て、符号化難易度情報が平均値符号化より低いフレームには上記差分量に対応した低い目標ビットレートを割り振る。そして、算出した目標ビットレートの情報をＡＶエンコーダ１０に出力する。

ＡＶエンコーダ１０は、ＡＶデコーダ９から入力されたビデオ信号およびオーディオ信号をビットレート計算部１１から入力された目標ビットレートの情報を用いて符号化を行う（ステップＳ５１３）。ここでＡＶエンコーダ１０での符号化により結果として発生したビットレートの値はＣＰＵ１５へ出力され、ＣＰＵ１５にて目標ビットレートとの差分が計算され、次回のビットレート計算にフィードバックされる。

ＡＶエンコーダ１０によって符号化されたデジタルビデオストリームおよびデジタルオーディオストリームはマルチプレクサ１２に出力される。マルチプレクサ１２は入力されたデジタルビデオストリームとオーディオデジタルストリームとの多重化を行い（ステップＳ５１４）、デジタルストリーム信号としてバッファコントローラ７へ出力する。

バッファコントローラ７は、マルチプレクサ１２から入力されたデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４に出力する。可変ビットレートで符号化されたデジタルストリーム信号をマスストレージデバイス１３またはドライブ１４のいずれに出力するかはユーザによる設定あるいは実装に依存する。これにより、マスストレージデバイス１３またはドライブ１４に装着されている記録媒体１６に可変ビットレートで符号化されたデジタルストリーム信号が記録される（ステップＳ５１５）。

以上のように、本実施形態の動画像信号の符号化装置２００によれば、ストリーム解析部５によるデジタルストリーム信号の解析による符号化難易度情報算出変数の生成と、簡易ＡＶデコーダ・エンコーダ２１と特徴点解析部２２とによる符号化難易度情報算出変数の生成とを同時に実行し、符号化難易度計算部６にてそれぞれの系で生成された符号化難易度情報算出変数をもとに符号化難易度を計算する。これにより、符号化難易度情報算出変数の増大により、符号化難易度情報の精度や情報量の向上を期待できる。

また、簡易ＡＶデコーダ・エンコーダ２１にて、ハーフコンバート、またはハーフコンバートとダウンコンバートによって画素数を間引いた画像を対象に復号化を行うことで、復号化された信号を記憶するメモリの容量、メモリ帯域を低減でき、回路規模の縮小や高速化を実現することができる。また、特徴点解析部２２は、特定の特徴点のみの解析を行うロジックのみで構成されるので回路規模が小さいもので済み、低コスト化と高速化を図れる。

（符号化難易度情報を記録したコンピュータ読み取り可能な記録媒体）
第１の実施形態の動画像信号の符号化装置１００あるいは第２の実施形態の動画像信号の符号化装置２００の１パス目に生成された符号化難易度情報は、符号化難易度情報を生成する機能を持たない他の符号化装置にて、外部より入力したデジタルストリーム信号を２パスＶＢＲで符号化する際のビットレート計算に利用することが可能である。そこで、第１の実施形態の動画像信号の符号化装置１００あるいは第２の実施形態の動画像信号の符号化装置２００にて生成された符号化難易度情報をコンピュータが読み取り可能な記録媒体に記録し、この記録媒体の流通により他の符号化装置へ符号化難易度情報を伝送するようにしてもよい。

以上、本発明に係る実施形態を説明したが、本発明は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
たとえば、上記の実施形態では、ストリーム信号としてＭＰＥＧ−２ストリームを扱う場合について説明したが、H.264/AVCストリームも扱うシステムにおいても本発明は適用可能である。

本発明の第１の実施形態に係る動画像信号の符号化装置の構成を示すブロック図である。 図１の動画像信号の符号化装置の２パス可変ビットレート符号化動作を示すフローチャートである。 ＭＰＥＧ−２のトランスポートストリームの構成を示す図である。 本発明の第２の実施形態に係る動画像信号の符号化装置の構成を示すブロック図である。 図４の動画像信号の符号化装置の２パス可変ビットレート符号化動作を示すフローチャートである。 簡易ＡＶデコーダ・エンコーダによる簡易的復号化の例を示す図である。 簡易ＡＶデコーダ・エンコーダによる簡易的復号化の別の例を示す図である。

符号の説明

１ デジタル放送チューナ
２ ネットワークインターフェース
３ マスストレージインターフェース
４ セレクタ
５ ストリーム解析部
６ 符号化難易度計算部
７ バッファコントローラ
８ デマルチプレクサ
９ ＡＶデコーダ
１０ ＡＶエンコーダ
１１ ビットレート計算部
１２ マルチプレクサ
１３ マスストレージデバイス
１４ ドライブ
１６ 記録媒体
２１ 簡易ＡＶデコーダ・エンコーダ
２２ 特徴点解析部
１００、２００ 動画像信号の符号化装置

Claims (2)

1. ＭＰＥＧ−２の入力動画像信号を２パス可変ビットレート方式により符号化処理する装置において、
   前記入力動画像信号のヘッダ情報及びデータ情報のうち少なくとも一方を解析して符号化難易度の計算に必要な情報を生成するストリーム解析部と、
   前記入力動画像信号を簡易的に復号化し、この復号化された信号を符号化する簡易復号・符号化部と、
   前記簡易復号・符号化部により符号化された情報をもとに画像の特徴点を解析して単位時間ごとの符号化難易度の計算に必要な情報を生成する特徴点解析部と、
   前記ストリーム解析部によって生成された情報と前記特徴点解析部によって生成された情報に基づいて単位時間ごとの符号化難易度を計算する符号化難易度計算部と、
   前記入力動画像信号と前記計算された単位時間ごとの符号化難易度情報とを対応付けて記録する記録部と、
   前記記録部に記録された動画像信号を入力して復号化する復号化部と、
   前記記録部に記録された前記単位時間ごとの符号化難易度情報に基づき２パス目の符号化に割り振るビットレートを計算するビットレート計算部と、
   前記復号化部により復号化された信号について前記ビットレート計算部によって計算されたビットレートに従って２パス目の符号化を行う符号化部と
   を具備することを特徴とする動画像信号の符号化装置。
2. ＭＰＥＧ−２の動画像信号を２パス可変ビットレート方式により符号化処理する方法において、
   １パス目に、前記入力動画像信号のヘッダ情報及びデータ情報のうち少なくとも一方を解析して符号化難易度の計算に必要な情報を生成するとともに、前記入力動画像信号を簡易的に復号化し、この復号化された信号を符号化し、この符号化された情報をもとに画像の特徴点を解析して単位時間ごとの符号化難易度の計算に必要な情報を生成し、前記各情報に基づいて単位時間ごとの符号化難易度を計算し、前記入力動画像信号と前記計算された単位時間ごとの符号化難易度情報とを対応付けて記録部に記録し、
   ２パス目に、前記記録部に記録された動画像信号を復号化し、前記記録部に記録された前記単位時間ごとの符号化難易度情報に基づき符号化に割り振るビットレートを計算し、前記復号化された信号を前記計算されたビットレートに従って符号化することを特徴とする動画像信号の符号化方法。

Images