JP4351903B2

JP4351903B2 - 動画像符号化装置

Info

Publication number: JP4351903B2
Application number: JP2003427718A
Authority: JP
Inventors: 淳松村; 知也児玉; 昇山口; 忠昭増田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-12-24
Filing date: 2003-12-24
Publication date: 2009-10-28
Anticipated expiration: 2023-12-24
Also published as: JP2005191689A

Description

本発明は、複数のプロセッシングユニットを用いて、動画像を符号化する動画像符号化装置に関するものである。

コンピュータ技術の進化に伴い、ＭＰＥＧ−２／ＭＰＥＧ−４に代表される動画像符号化および復号化をソフトウェアベースで行う技術が一般化してきている。この技術を利用して、パーソナルコンピュータ上でソフトウェアによりテレビ放送の画像符号化復号化を行い、パーソナルコンピュータをハードディスクレコーダとして使用するような利用形態が知られている。

一方、次世代のゲーム機やホームサーバ、デジタルテレビジョンなどに搭載されるＣＰＵとして、高速なＳＩＭＤ(ＳｉｎｇｌｅＩｎｓｔｒｕｃｔｉｏｎＭｕｌｔｉｐｌｅＤａｔａ)プロセッサを複数用意し、それらが協調して処理を実行するモデルが提案されている。

例えば、同一のＩＳＡ(ＩｎｓｔｒｕｃｔｉｏｎＳｅｔＡｒｃｈｉｔｅｃｔｕｒｅ)を持つ８個の付加処理ユニット(ＡＰＵ)が共用ダイナミックランダムアクセスメモリ(ＤＲＡＭ)を用いてリアルタイムに通信を行い、処理を行う装置がある（特許文献１参照）。

これによれば、１つのプロセッサエレメント(ＰＥ)は、処理ユニット(ＰＵ)、ダイレクトメモリアクセスコントローラ(ＤＭＡＣ)、および８個のＡＰＵから構成される。ＰＵは、処理のスケジュール管理と装置の全般的管理を行う。そして、ＡＰＵはスケジュールに従って並列的に処理を実行する。

本装置は、ＴＣＰ／ＩＰネットワークからパケット化されたＭＰＥＧデータを取得し、当該データを復号化する一連の処理を行う。この一連の処理のうちＭＰＥＧデータの抽出およびＭＰＥＧデータの復号化はＡＰＵにより行われる。このように、長時間を要する処理をＡＰＵに行わせることにより、処理の高速化を図っている。

特開２００２−３５８２８９号公報

以上のように、複数のＡＰＵの協働により処理の高速化を図る技術が知られているが、各ＡＰＵが有するローカルメモリのメモリ容量は非常に小さい。従って、メモリを大量に消費する演算や、大量のデータを利用する演算を行う場合には、ＡＰＵとＤＲＡＭの間での情報の授受が必要となる。そして、このようなＡＰＵからＤＲＡＭへのアクセスは処理の遅延の主な要因となる。

本発明は、上記に鑑みてなされたものであって、上述のような処理の遅延を抑制し、高
速に符号化処理を行うことのできる動画像符号化装置を提供することを
目的とする。

上述した課題を解決し、目的を達成するために、本発明は、動画像を符号化する動画像符号化装置であって、前記符号化の処理を指示し、かつ前記符号化に関する処理を行う第１プロセッサと、前記第１プロセッサからの指示に基づいて、前記符号化に関する処理を行う第２プロセッサと、前記符号化に関する情報を保持するメインメモリと、前記メインメモリと前記第１プロセッサの間、および前記メインメモリと前記第２プロセッサとの間のデータの授受を制御するメインメモリ制御手段と、前記第２プロセッサから直接アクセス可能なローカルメモリとを備え、前記第１プロセッサは、前記メインメモリ制御手段を介して前記メインメモリに保持される情報を参照し、前記符号化に関する処理として、前処理、動き検出処理、動き補償処理、ＤＣＴ処理、逆離散コサイン変換処理、量子化処理、可変長符号化処理及びシンタックス生成処理の少なくとも１つのうち全部又は一部の処理であって且つ処理にかかる演算量が予め定められた演算量よりも小さい第１処理を行い、前記第２プロセッサは、前記ローカルメモリに保持される情報を参照して、前記第１プロセッサからの指示に基づいて、前記符号化に関する処理として、前処理、動き検出処理、動き補償処理、ＤＣＴ処理、逆離散コサイン変換処理、量子化処理、可変長符号化処理及びシンタックス生成処理のうち少なくとも１つのうち全部又は一部の処理であって且つ処理にかかる演算量が予め定められた演算量よりも大きい第２処理を行い、前記第２プロセッサが行う前記第２処理全体は、複数のステージに分割され、前記メインメモリは、各ステージにおいて用いられる情報をさらに保持し、前記ローカルメモリは、前記第２プロセッサが一の前記ステージにおいて前記第２処理を実行するときに、前記メインメモリ制御手段を介して前記メインメモリから当該ステージにおいて用いられる情報を取得し、当該ステージにおいて用いられる情報を保持することを特徴とする。

本発明にかかる動画像符号化装置は、符号化の処理のうち比較的大きな演算量の処理を、メインメモリに直接アクセス可能な第１プロセッサに担当させ、符号化の処理のうち比較的小さな演算量の処理を、メインメモリには直接アクセスできないが、ローカルメモリに直接アクセス可能な第２プロセッサに担当させる。このように、符号化に含まれる複数の処理を第１プロセッサおよび第２プロセッサに分担させることにより、処理の高速化を図ることができるという効果を奏する。また、複数のステージに分割される第２処理の一のステージにおいて処理を第２プロセッサが実行するときに、ローカルメモリがメインメモリ制御手段を介してメインメモリから当該ステージにおいて用いられる情報を取得し、当該ステージにおいて用いられる情報を保持することにより、処理の高速化と共に、ローカルメモリのメモリ量を低減させることができるという効果を奏する。

以下に、本発明にかかる動画像符号化装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本発明の動画像符号化装置１０のハードウェア構成を示すブロック図である。動画像符号化装置１０は、プロセッサエレメント１００とＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１１０とを有している。さらにプロセッサエレメント１００は、処理ユニット１０２と、ＤＭＡＣ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓＣｏｎｔｒｏｌｌｅｒ）１０４と、複数の付加処理ユニット、すなわち第１付加処理ユニット１０６ａ，第２付加処理ユニット１０６ｂ・・・とを有している。

なお、ここで、本実施の形態にかかる処理ユニット１０２および付加処理ユニット１０６は、それぞれ本発明の第１プロセッサおよび第２プロセッサを構成する。また、本実施の形態のＤＲＡＭ１１０およびＤＭＡＣ１０４は、それぞれ本発明のメインメモリおよびメインメモリ制御手段を構成する。

処理ユニット１０２は、動画像符号化装置１０の全体を統括する。ＤＲＡＭ１１０は、処理対象となる動画像データおよび動画像データに対する符号化処理にかかるプログラム等を保持している。ＤＭＡＣ１０４は、ＤＲＡＭ１１０から取得した情報を処理ユニット１０２または付加処理ユニット１０６に送る。さらに処理ユニット１０２および付加処理ユニット１０６から取得した情報をＤＲＡＭ１１０に送る。このように、ＤＭＡＣ１０４は、ＤＲＡＭ１１０とプロセッサエレメント１００の間のインターフェースとして機能する。また、各付加処理ユニット１０６は、処理ユニット１０２からの指示により、符号化に関する処理を行う。

図２は、図１に示す第１付加処理ユニット１０６ａの詳細な構成を示すブロック図である。付加処理ユニット１０６ａは、ローカルメモリ１０６０と、レジスタ１０６２と、第１浮動少数点演算ユニット１０６４ａ，第２浮動小数点演算ユニット１０６４ｂ，・・・と、第１整数演算ユニット１０６６ａ，第２整数演算ユニット１０６６ｂ・・・とを有している。

第１付加処理ユニット１０６ａは、複数の浮動小数点演算ユニットおよび複数の整数演算ユニットを有している。第１付加処理ユニット１０６ａは、これらの協働により高速演算を行うことができる。

ローカルメモリ１０６０は、１２８キロバイト程度の比較的小さいＳＲＡＭ（ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）で構成されている。付加処理ユニット１０６は、ローカルメモリ１０６０が保持するプログラムおよびデータを利用して動作する。また、ＤＭＡＣ１０４に対してＤＲＡＭ１１０と付加処理ユニット１０６の間のデータ転送要求を行う。付加処理ユニット１０６は、ＤＭＡＣ１０４に接続されたＤＲＡＭ１１０を直接アクセスすることはできない。

付加処理ユニット１０６がプログラムを実行する場合、処理ユニット１０２がＤＭＡＣ１０４を制御し、ＤＲＡＭ１１０から付加処理ユニット１０６のローカルメモリ１０６０にオブジェクトプログラムと関連するスタックフレームが転送される。次いで、処理ユニット１０２が付加処理ユニット１０６にプログラムを実行させる旨のコマンドを発行する。そして、付加処理ユニット１０６は、処理ユニット１０２から発行されたコマンドに基づいて、プログラムの実行を開始する。付加処理ユニット１０６はまた、プログラムの結果をＤＭＡＣ１０４を介してＤＲＡＭ１１０に転送する。付加処理ユニット１０６は、処理が完了すると処理ユニット１０２に対し、処理が完了したことを示す割り込みを発生させるように指示する。

なお、図２を参照しつつ第１付加処理ユニット１０６ａの詳細な構成について説明したが、第２付加処理ユニット１０６ｂ等の詳細な構成は、第１付加処理ユニット１０６ａの詳細な構成と同様である。

図３は、プロセッサエレメント１００における符号化処理を示すフローチャートである。まず、付加処理ユニット１０６は、ＤＭＡＣ１０４を介して動画像データを取得し、符号化効率を高めるための前処理を行う (ステップＳ１００)。次に、前方向動き検出(ステップＳ１０２)および後方向動き検出(ステップＳ１０４)を順に行う。次に、動き補償を行う(ステップＳ１０６)。次に、動き補償により得られた残差信号に対して離散コサイン変換を行う(ステップＳ１０８)。次に、量子化を行い(ステップＳ１１０)、続いて可変長符号化を行う(ステップＳ１１２)。

一方、動き検出および動き補償を行うために、量子化（ステップＳ１１０）を行った後、逆量子化を行い(ステップＳ１２０)、続いて逆離散コサイン変換を行う(ステップＳ１２２)。以上の処理は、全て付加処理ユニット１０６により行われる。

以上のように、付加処理ユニット１０６にピクチャー層以下のマクロブロック単位の処理を割り当てるのが望ましい。ピクチャー層以下の処理は、処理に要するメモリ量が比較的小さくて済むので、付加処理ユニット１０６による処理に適している。

動き検出(ステップＳ１０２，ステップＳ１０４)、動き補償（ステップＳ１０６）およびＤＣＴ処理(ステップＳ１０８）において必要な演算量は非常に大きい。このように、演算量、すなわち演算負荷が大きい処理は、付加処理ユニット１０６に割り当てるのが望ましい。付加処理ユニット１０６は、図２において説明したように、複数の浮動少数点演算ユニット１０６４および複数の整数演算ユニット１０６６により、高速に処理を行うことができるので、処理ユニット１０２が処理する場合に比べてより高速に処理を行うことができる。

なお、演算負荷の大小を判断するための閾値を予め定めておいてもよい。この場合は、当該閾値と演算量とを比較することにより、処理ユニット１０２および付加処理ユニット１０６のいずれに割り当てるかを判断する。

このように、所定の演算量を閾値として、閾値を基準に付加処理ユニット１０６に分担させる処理および処理ユニット１０２に分担させる処理を定めることにより、全体として処理の高速化を図ることができる。

また、ピクチャー層以下の処理は、繰り返し処理が多い。このように繰り返し処理が多い場合も、高速な処理が可能な付加処理ユニット１０６による処理に適している。このように、各機能に適した処理を割り当てることにより、全体として処理の効率化を図ることができる。

また、上述の付加処理ユニット１０６による処理とは別に、シンタックスの生成が行われる(ステップＳ１３０)。シンタックス処理(ステップＳ１３０)は、処理ユニット１０２が行う。

シンタックス処理にかかる演算負荷は小さい。しかし、処理において大量のテーブルを使用する。そこで、メモリ容量の大きなＤＲＡＭ１１０との協働により処理を行うことにより、処理の効率化を図るのが望ましい。具体的には、処理ユニット１０２は、ＤＭＡＣ１０４を介してＤＲＡＭ１１０に直接アクセスし、ＤＲＡＭ１１０に保持されているテーブルを参照しつつシンタックス処理を行う。このように、処理ユニット１０２には、ピクチャー層よりも上位のシンタックス生成を割り当てるのが望ましい。

以上で、符号化処理が完了する。以上のように、符号化処理を処理ユニット１０２および付加処理ユニット１０６に分担することにより、効率的かつ高速に処理を行うことができる。

なお、プロセッサエレメント１００における符号化処理は一般的なＭＰＥＧによる符号化処理と同様である。

図３を参照しつつ説明した付加処理ユニット１０６の処理は、複数のステージに分割されている。本実施の形態においては、付加処理ユニット１０６の処理は５つのステージに分割されている。すなわち、動画像符号化処理は、前処理(ステップＳ１００)を行う第１ステージと、前方向動き検出(ステップＳ１０２)を行う第２ステージと、後方向動き検出(ステップＳ１０４)を行う第３ステージと、動き補償(ステップＳ１０６)およびＤＣＴ処理（ステップＳ１０８)を行う第４ステージと、量子化(ステップＳ１１０)、可変長符号化（ステップＳ１１２)、逆量子化(ステップＳ１２０)および逆離散コサイン変換（ステップＳ１２２)を行う第５ステージを有している。

付加処理ユニット１０６による第１ステージの処理の実行中は、ローカルメモリ１０６０は、第１ステージにおいて実行されるプログラム、第１ステージにおける処理の対象となる動画像データおよび参照されるデータ等を保持している。そして、第１ステージにおける処理が完了すると、第１ステージにおいて実行されるプログラム等がＤＭＡＣ１０４を介して付加処理ユニット１０６からＤＲＡＭ１１０に退避される。

そして、第２ステージにおいて実効されるプログラム等がＤＭＡＣ１０４を介してＤＲＡＭ１１０から付加処理ユニット１０６に書き込まれる。このように、ＤＲＡＭ１１０へのアクセスは、第１ステージから第２ステージへの切り替り、第２ステージから第２ステージへの切り替りなど、各ステージの切り替りのタイミングにおいてのみ行われる。

各ステージに含める処理は、付加処理ユニット１０６のローカルメモリ１０６０の大きさ、および付加処理ユニット１０６における演算速度等に基づいて定められている。すなわち、ローカルメモリ１０６０のメモリ容量において保持可能な最大限のデータ量の処理を１つのステージとしている。

符号化処理は、いくつもの複雑な処理を含む。従って、これらの処理をソフトウェアで実現するためのプログラムのデータ量は大きい。また、動き検出や動き補償は、参照画像、対象画像および動き補償画像などデータ量の多いデータを対象とするため大量にメモリを必要とする。また、可変長符号化は可変長符号化テーブルを保持して処理を行うため大量のメモリを必要とする。

これに対して、ローカルメモリ１０６０のメモリ容量は小さいので、符号化処理に利用すべきプログラムおよびデータを一度にローカルメモリ１０６０に保持させることはできない。従って、付加処理ユニット１０６は、必要に応じてプログラムやデータをダイナミックにＤＲＡＭ１１０から取得し、さらにＤＲＡＭ１１０に書き込む必要が生じる。

しかし、ＤＲＡＭ１１０へのアクセスを含む処理は長時間を要し、全体として処理の遅延を招く主な要因となる。そこで、上述のように、ＤＲＡＭ１１０にアクセスする頻度を最小限に留めることにより、ＤＲＡＭ１１０へのアクセスに起因する処理の遅延を避けることができる。

以下、図４から図７を参照しつつ、各ステージにおけるデータの授受について説明する。

図４は、第１ステージにおける動画像データの流れを示す図である。第１ステージにおいては、まず、ＤＭＡＣ１０４は、ＤＲＡＭ１１０から動画像データを取得する。そして、ＤＭＡＣ１０４は、処理ユニット１０２からの指示に基づいて、動画像データをスライスを最少単位として各付加処理ユニット１０６に分配する。ここで、スライスとは、動画像を構成する静止画の横方向の１ライン分のことである。なお、動画像データの分配については後述する。

各付加処理ユニット１０６は、ＤＭＡＣ１０４から受け取った動画像データに対して前処理(ステップＳ２００)を行う。そして、前処理が施された動画像データは、ＤＭＡＣ１０４を介してＤＲＡＭ１１０に書き戻される。

前処理(ステップＳ１００)としては、様々な種類の処理が想定される。具体的には、例えば、４：２：２→４：２：０変換、３：２プルダウン検出、ノイズ除去などがある。各処理にかかるプログラムの容量やデータ容量は、処理毎に異なる。そこで、これを１つのステージとしている。

第１ステージにおいては、上述のように、前処理のみで１つのステージとしている。従って、前処理がメモリを多く必要とする場合であっても、第１ステージにかかる処理の途中でＤＲＡＭ１１０とのデータの授受を行わずに済み、効率的な処理を行うことができる。

図５は、第２ステージにおける動画像データの流れを示す図である。第２ステージにおいて各付加処理ユニット１０６は、ＤＭＡＣ１０４を介してＤＲＡＭ１１０から動画像データのローカルデコードを取得する。そして、前方向動き検出(ステップＳ１０２)を行う。そして、前方向動き検出(ステップＳ１０２)によって得られた動きベクトルは、ＤＭＡＣ１０４を介してＤＲＡＭ１１０に書き戻される。

第３ステージにおける処理は、図７を参照しつつ説明した第２ステージにおける動画像データの流れと同様である。

図６は、第４ステージにおける動画像データの流れを示す図である。第４ステージにおいては、各付加処理ユニット１０６は、ＤＭＡＣ１０４を介してＤＲＡＭ１１０から動画像データおよびローカルデコード画像、および動きベクトルを取得する。付加処理ユニット１０６は、取得した動画像データに対して動き補償を行い、ローカルメモリ１０６０は、動き補償により得られた残差信号を保持する。さらに、ローカルメモリ１０６０が保持する残差信号に対してＤＣＴ処理(ステップＳ１０８)を行う。ＤＣＴ処理により得られた結果、すなわちＤＣＴ係数をＤＲＡＭ１１０に書き戻す。

動き補償（Ｓ１０６）においては、動画像データ、ローカルデコード画像、動きベクトル、および残差信号を対象とする。これらの処理対象のデータのデータ容量は大きく、ローカルメモリ１０６０の容量の多くを占有する。一方、ＤＣＴ処理(ステップＳ１０８）は動き補償（Ｓ１０６）において確保されたデータ領域をＤＣＴ処理(ステップＳ１０８）の後のＤＣＴ係数の保存先としても利用することができる。また、ＤＣＴ処理(ステップＳ１０８）のプログラム自体は小さい。そこでこれらの処理をまとめて１つのステージとしている。

図７は、第５ステージにおける動画像データの流れを示す図である。第５ステージにおいては、各付加処理ユニット１０６は、ＤＭＡＣ１０４を介してＤＲＡＭ１１０からＤＣＴ係数を取得する。付加処理ユニット１０６は、取得したＤＣＴ係数に対して、量子化（ステップＳ１１０）を行う。ローカルメモリ１０６０は、量子化後のＤＣＴ係数を保持する。

また、各付加処理ユニット１０６は、ＤＭＡＣ１０４を介してＤＲＡＭ１１０から動きベクトルを取得する。そして、付加処理ユニット１０６は、動きベクトルとローカルメモリ１０６０が保持する量子化後のＤＣＴ係数とに対して、それぞれ可変長符号化(ステップＳ１１２)を行う。

また、ローカルメモリ１０６０から量子化後のＤＣＴ係数を読み出し、逆量子化(ステップＳ１２０)を行う。そして、ローカルメモリ１０６０は、その結果を保持する。さらに、付加処理ユニット１０６は、ローカルメモリ１０６０に保持されている逆量子化後のＤＣＴ係数に対して逆離散コサイン変換(ステップＳ１２２)を行い、ローカルデコード画像を作成する。そして、ローカルデコード画像および可変長符号化されたデータをＤＲＡＭ１１０に書き込む。

量子化(ステップＳ１１０)、可変長符号化(ステップＳ１１２)、逆量子化(ステップＳ１２０)、および逆離散コサイン変換(ステップＳ１２２）は、いずれもプログラム量、データ容量とも小さい。ただし、可変長符号化(ステップＳ１１２)において利用されるテーブルのデータ量が比較的大きい。そこで、これら処理をまとめて１つのステージとする。

図８は、各付加処理ユニット１０６への処理の割り当てを説明するための図である。図８に示すように、付加処理ユニット１０６にはタイミングを制御するタイムバジェットが設定されている。そして、各付加処理ユニット１０６は、同一のタイムバジェットにおいて異なるスライスに対して同一の処理を施す。ここで、スライスとは、動画像を構成する静止画の横方向の１ライン分のことである。

例えば、第１付加処理ユニット１０６ａには、スライス１に対する処理が割り当てられている、また、第２付加処理ユニット１０６ｂには、スライス２に対する処理が割り当てられている。このように、複数の付加処理ユニット１０６が１つの動画像データに対する処理を分担することにより並列処理を行う。

例えば第１ステージでは、第１付加処理ユニット１０６ａは、スライス１に対して前処理を行う。そして、前処理が行われた後のスライス１をＤＲＡＭ１１０に書き戻す。また、第２付加処理ユニット１０６ｂは、スライス２に対して前処理を行う。そして、前処理が行われた後のスライス２をＤＲＡＭ１１０に書き戻す。同様に、各付加処理ユニット１０６が前処理を行い、その結果をそれぞれＤＲＡＭ１１０に書き戻す。

以上のように、複数の付加処理ユニット１０６がスライス単位で処理を分担することにより、処理の高速化を図ることができる。

また、スライスの数が付加処理ユニット１０６の数よりも多い場合には、１つの付加処理ユニットに複数のスライスを割り当ててもよい。例えば、第１付加処理ユニット１０６ａにスライス１〜スライス３が割り当てられ、第２付加処理ユニット１０６ｂにスライス４〜スライス６が割り当てられる。

さらに、第１付加処理ユニット１０６ａが第１ステージの処理を完了したときに、第２付加処理ユニット１０６ｂが第１ステージの処理を完了していない場合がある。例えば、第１付加処理ユニット１０６ａが第１ステージの処理を完了したときに、第２付加処理ユニット１０６ｂがスライス４に対する処理を行っている場合がある。例えば、同一のスライスであっても、処理に要する演算量が異なる場合などである。

この場合には、第２付加処理ユニット１０６ｂがスライス４を処理する間に、第１付加処理ユニット１０６ａは、スライス６に対する処理を行う。これにより、第２付加処理ユニット１０６ｂがスライス４〜スライス６に対する処理を行う場合に比べて、処理を高速化することができる。このように、各付加処理ユニット１０６における処理速度が異なる場合には、スライスを再配分することにより、さらなる処理の高速化を図ることができる。

なお、本実施の形態においては、スライス単位で動画像データが各付加処理ユニット１０６に割り当てられているが、各付加処理ユニット１０６への動画像データの割り当ての単位はこれに限定されるものではなく、これ以外の単位でもよい。例えば、スライスを構成するさらに細かい単位であるマクロブロック単位で、動画像データが各付加処理ユニット１０６に割り当てられてもよい。

図９は、付加処理ユニット１０６がそれぞれ異なる処理を担当する場合の各付加処理ユニット１０６の処理を説明するための図である。図９に示すように各付加処理ユニット１０６がそれぞれ異なる処理を担当することとすると、第１付加処理ユニット１０６ａがスライス１に対し第１ステージの処理を行っている間は、第２付加処理ユニット１０６ｂは、スライス１に対し第２ステージの処理を行えず、スタンバイ状態となる。このように、複数の付加処理ユニット１０６が異なる処理を行うこととすると、一の付加処理ユニット１０６における処理が完了するまで他の付加処理ユニット１０６は処理を開始できない場合があり効率が悪い。複数の付加処理ユニット１０６が異なる処理を担当することとすると、複数の付加処理ユニット１０６による並列処理を行っているにもかかわらず、十分な処理の効率化を図ることができない。

そこで、図８を参照しつつ説明したように、各付加処理ユニット１０６は、それぞれ異なるスライスに対して同一の処理を行うこととした。これにより、図９を参照しつつ説明したような各付加処理ユニット１０６におけるスタンバイ状態の頻出を避けることができ、処理の効率化を図ることができる。

以上のように、本発明にかかる動画像符号化装置および符号化方法は、動画像データの符号化に有用であり、特に、複数のプロセッシングユニットを用いた動画像データの符号化に有用である。

本発明の動画像符号化装置１０のハードウェア構成を示すブロック図である。図１に示す第１付加処理ユニット１０６ａの詳細な構成を示すブロック図である。プロセッサエレメント１００における符号化処理を示すフローチャートである。第１ステージにおける動画像データの流れを示す図である。第２ステージにおける動画像データの流れを示す図である。第４ステージにおける動画像データの流れを示す図である。第５ステージにおける動画像データの流れを示す図である。各付加処理ユニット１０６への処理の割り当てを説明するための図である。付加処理ユニット１０６がそれぞれ異なる処理を担当する場合の各付加処理ユニット１０６の処理を説明するための図である。

符号の説明

１０動画像符号化装置
１００プロセッサエレメント
１０２処理ユニット
１０６付加処理ユニット
１０６０ローカルメモリ
１０６２レジスタ
１０６４浮動少数点演算ユニット
１０６６整数演算ユニット

Claims

動画像を符号化する動画像符号化装置であって、
前記符号化の処理を指示し、かつ前記符号化に関する処理を行う第１プロセッサと、
前記第１プロセッサからの指示に基づいて、前記符号化に関する処理を行う第２プロセッサと、
前記符号化に関する情報を保持するメインメモリと、
前記メインメモリと前記第１プロセッサの間、および前記メインメモリと前記第２プロセッサとの間のデータの授受を制御するメインメモリ制御手段と、
前記第２プロセッサから直接アクセス可能なローカルメモリとを備え、
前記第１プロセッサは、前記メインメモリ制御手段を介して前記メインメモリに保持される情報を参照し、前記符号化に関する処理として、前処理、動き検出処理、動き補償処理、ＤＣＴ処理、逆離散コサイン変換処理、量子化処理、可変長符号化処理及びシンタックス生成処理の少なくとも１つのうち全部又は一部の処理であって且つ処理にかかる演算量が予め定められた演算量よりも小さい第１処理を行い、
前記第２プロセッサは、前記ローカルメモリに保持される情報を参照して、前記第１プロセッサからの指示に基づいて、前記符号化に関する処理として、前処理、動き検出処理、動き補償処理、ＤＣＴ処理、逆離散コサイン変換処理、量子化処理、可変長符号化処理及びシンタックス生成処理のうち少なくとも１つのうち全部又は一部の処理であって且つ処理にかかる演算量が予め定められた演算量よりも大きい第２処理を行い、
前記第２プロセッサが行う前記第２処理全体は、複数のステージに分割され、
前記メインメモリは、各ステージにおいて用いられる情報をさらに保持し、
前記ローカルメモリは、前記第２プロセッサが一の前記ステージにおいて前記第２処理を実行するときに、前記メインメモリ制御手段を介して前記メインメモリから当該ステージにおいて用いられる情報を取得し、当該ステージにおいて用いられる情報を保持する
ことを特徴とする動画像符号化装置。
前記ローカルメモリは、前記第２プロセッサが一の前記ステージにおいて前記第２処理を完了したときに、当該ステージにおいて用いられる情報を前記メインメモリに退避することを特徴とする請求項１に記載の動画像符号化装置。
前記第２処理のうち、前記前処理は第１ステージに含まれ、前記動き検出処理のうち前方動き検出処理は第２ステージに含まれ、前記動き検出処理のうち後方動き検出処理は第３ステージに含まれ、前記動き補償処理及びＤＣＴ処理は第４ステージに含まれ、前記逆離散コサイン変換処理、量子化処理及び可変長符号化処理は第５ステージに含まれることを特徴とする請求項１または２に記載の動画像符号化装置。
前記第２プロセッサを複数備え、
前記第１プロセッサは、前記動画像を複数の部分データに分割し、前記部分データ単位で前記動画像を前記複数の第２プロセッサに配分し、
前記複数の第２プロセッサは、前記第１プロセッサから受け取った前記部分データに対してそれぞれ第２処理を行うことを特徴とする請求項１から３のいずれか一項に記載の動画像符号化装置。
前記第１プロセッサは、前記動画像を構成する静止画像を複数のスライスに分割し、前記スライス単位で前記動画像を前記複数の第２プロセッサに配分することを特徴とする請求項４に記載の動画像符号化装置。