JP3918263B2 - 圧縮符号化装置および符号化方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばＭＰＥＧの規定に従う画像情報を伝送するシステムにおいて、画像信号を高効率に圧縮する圧縮符号化装置および符号化方法に関する。
【０００２】
【従来の技術】
画像情報を伝送するシステムにおいては、画像信号を圧縮符号化する圧縮符号化装置、および圧縮符号化された信号から画像信号を復号する復号化装置が不可欠な要素となる。圧縮符号化装置および復号化装置がマルチメディアに対応できるために、すなわち種々の画像情報送信手段または受信手段に対して適用可能となるために、従うべき規定としてＭＰＥＧ、ＪＰＥＧ等が定められている。
【０００３】
ＭＰＥＧは、例えばビデオ映像等の動画の伝送方法に関する規定である。圧縮符号化方法として、時間的相関を利用した情報圧縮を行う動き補償フレーム間予測符号化方法、空間的相関を利用した情報圧縮を行う直交符号化としての離散コサイン変換（以下、ＤＣＴと表記する）による符号化方法、および上述の符号化方法によって生成される符号の出現確率の偏りを利用した情報圧縮を行うエンロピー符号化（可変長符号化）としてのハフマン符号化方法とを組み合わせたものである。
【０００４】
このうち、動き補償フレーム間予測符号化方法は、動画を伝送するシステムにおいて必要とされるものであり、ＭＰＥＧ等において採用されている。動き補償フレーム間予測符号化は、信号中の各フレームを単位として、他のフレームを参照して行われる。ＭＰＥＧにおいては、動き補償フレーム間予測符号化に関して、各フレームについて、Ｉピクチャ、ＰピクチャおよびＢピクチャの３個のピクチャタイプが規定されている。
【０００５】
Ｉピクチャは、フレーム内符号化、すなわち他のフレームを参照せずに符号化される画像であり、動き補償フレーム間予測符号化の対象とされない。また、Ｐピクチャは、前方予測、すなわち先行するフレームを参照することによって、動き補償フレーム間予測符号化のなされる画像である。さらに、Ｂピクチャは、両方向予測を行う画像である。すなわち、先行するフレームおよび後続のフレームを参照することによって、動き補償フレーム間予測符号化のなされる画像である。
【０００６】
また、他のフレームを動き補償フレーム間予測符号化するために参照されるフレームのピクチャタイプは、ＩピクチャおよびＰピクチャである。Ｂピクチャは、参照され得ない。すなわち、Ｐピクチャを動き補償フレーム間予測符号化するために参照されるフレームは、先行するＩピクチャまたはＰピクチャである。また、Ｂピクチャを動き補償フレーム間予測符号化するためには、先行するフレーム（ＩピクチャまたはＰピクチャ）および後続するフレーム（ＩピクチャまたはＰピクチャ）が参照される必要がある。
【０００７】
従って、Ｂピクチャを動き補償フレーム間予測符号化する処理は、入力される画像信号中で後続する位置にあるフレーム（ＩピクチャまたはＰピクチャ）が処理された後においてのみ行うことができる。このため、入力される画像信号中の各フレームの順序は、処理される順序とは異なる。そこで、入力される画像信号中の各フレームの順序の並べ変え（リオーダリング）が行われた後に、動き補償フレーム間予測符号化を施す手段に供給される。後述するように、このような並べ変えを行う際に、メモリが使用される。
【０００８】
ＭＰＥＧの規定に従う圧縮符号化装置は、このような動き補償フレーム間予測符号化を行った後に、上述したようなＤＣＴによる符号化、およびエンロピー符号化（可変長符号化）としてのハフマン符号化を行なうことによって、圧縮符号化の施された信号を生成する。そして、このような圧縮符号化信号が伝送される。
【０００９】
従って、復号化装置が伝送されてきた圧縮符号化信号に復号化を施すことによって生成される画像信号は、フレームの順序が並べ変えられたものとなる。このため、フレームの順序を元に戻す処理が必要となる。後述するように、このようなフレームの順序を元に戻す処理を行う際に、復号化装置に付随して設けられるメモリが使用される。
【００１１】
上述したような圧縮符号化／復号化装置による処理は、図１５に示すように、メモリとのデータの受渡しによって進行する。従って、圧縮符号化／復号化装置に付随してメモリが設けられている。このようなメモリが果たす役割について、以下に説明する。
【００１２】
まず、上述したように、動画を取り扱う圧縮符号化装置において、動き補償フレーム間予測符号化方法が用いられることに起因して必要となるフレームの順序の並べ変えのために、入力される画像信号を一時的に記憶しておくことに、かかるメモリが使用される。すなわち、かかるメモリから取出される際の順序が動き補償フレーム間予測符号化を行うために好適なものとなるように制御される。また、かかるメモリは、動き補償フレーム間予測符号化方法を行うために基準として参照されるフレーム（後述するローカルデコード画像）を記憶する役割も果たす。
【００１３】
さらに、かかるメモリは、例えばシーンチェンジを含む等の各フレームの性質を認識するために、圧縮符号化／復号化装置による処理に先立って、画像信号を所定時間確保しておくためにも使用される。上述したようにメモリの使用は、動画、静止画像の何れを扱う圧縮符号化装置においても行われる。
【００１４】
一方、動画を取り扱う復号化装置に付随して設けられるメモリは、まず、上述したように圧縮符号化に対応する復号化における、動き補償フレーム間予測符号化に対応する復号化において、基準として参照される信号を記憶することに使用される。また、復号化が完了した後に、フレームの順序を元の画像信号中の順序に戻す処理のために、復号化された画像信号を一時的に記憶しておくことにも使用される。すなわち、復号化された画像信号を、かかるメモリから取出す際の順序が元の画像信号の順序となるように制御される。
【００１５】
このような圧縮符号化／復号化装置に付随して設けられるメモリは、画像伝送システムの性能、取り扱う画像の性質等の条件に応じて、数フレーム〜数十フレームを記憶するものとされる。このため、一般に、このようなメモリとしては、大きな記憶容量を有するものが必要とされる。例えば、従来用いられている圧縮符号化／復号化装置は、少なくとも１６Ｍｂｉｔ〜３２Ｍｂｉｔ、多い場合には、３２０Ｍｂｉｔものメモリを必要とする。
【００１６】
【発明が解決しようとする課題】
上述したように、ＭＰＥＧの規定に従う画像情報伝送システムにおいて用いられる圧縮符号化／復号化装置は、処理を行うために大きな記憶容量のメモリを必要とする。このため、圧縮符号化／復号化装置に付随して設けられるメモリのコストがシステム全体のコストを上昇させる要因の一つとなっていた。
【００１７】
従って、この発明の目的は、ＭＰＥＧの規定に従う画像情報伝送システムにおいて、圧縮符号化装置に付随して設けられるメモリの容量を削減することが可能な圧縮符号化装置および符号化方法を提供することにある。
【００１８】
【課題を解決するための手段】
この発明は、画像信号を符号化する圧縮符号化装置において、
メモリと、
入力画像信号の種類を判定する入力画像判定回路と、
入力画像判定回路の判定結果に応じて、所定の入力画像信号を非可逆圧縮処理する圧縮回路と、
圧縮回路によって圧縮された信号を伸張処理する伸張回路と、
メモリに対する、圧縮回路によって圧縮された信号の書込み、および読出しを制御するメモリ制御回路と、
伸張回路によって伸張された画像信号を符号化する符号化回路を有し、
符号化回路は、ＭＰＥＧ規格で規定される符号化方法に従って画像信号を符号化し、
所定の画像信号は、ＭＰＥＧ規格で規定されるＢピクチャーのみである、
ことを特徴とする圧縮符号化装置である。
【００１９】
この発明は、画像信号を圧縮符号化する符号化方法において、
入力画像の種類を判定する入力画像信号判定ステップと、
入力画像信号判定ステップの判定結果に応じて、所定の入力画像信号を非可逆圧縮方法で圧縮処理する圧縮ステップと、
圧縮された信号を所定のメモリに書込むステップと、
所定のメモリに記憶された、圧縮された信号を読出すステップと、
読出された信号を伸張処理する伸張ステップと、
伸張された画像信号を伝送するために符号化する符号化ステップとを有し、
符号化ステップでは、ＭＰＥＧ規格で規定される符号化方法に従って画像信号を符号化し、
所定の画像信号は、ＭＰＥＧ規格で規定されるＢピクチャーのみである、
ことを特徴とする符号化方法である。
【００２２】
この発明によれば、圧縮符号化装置に付随して設けられるメモリに書込まれる信号の情報量を、ＭＰＥＧ規格等に従ってなされるメインの圧縮符号化とは別の圧縮／伸張を行うことによって減少させることができる。このため、必要とされるメモリ容量を削減することができる。
【００２４】
【発明の実施の形態】
〔第１の実施例〕
以下、この発明の第１の実施例について説明する。この発明の第１の実施例は、ＭＰＥＧの規定に従う伝送システム中の圧縮符号化装置に、この発明を適用したものである。図１にこの発明の第１の実施例のブロック図を示す。圧縮符号化装置としてのエンコーダ１に付随して、メモリ２が設けられている。
【００２５】
前処理部３は、画像信号を受取り、受取った画像信号に所定の処理を施す。動き検出／補償処理回路９、ＤＣＴ／量子化回路４およびハフマン符号化回路５は、前処理部３の出力に大して後述するような圧縮符号化処理を行う。逆ＤＣＴ／逆量子化回路１０は、後述するように、動き検出／補償処理回路９による処理のために参照される信号を生成するために、ＤＣＴ／量子化回路４とは逆の処理を行う。また、メモリコントローラ６は、上述したようなエンコーダ１中の各構成要素と、メモリ２との信号の受渡しを制御する。さらに、符号インターフェイス７は、符号化された信号をＭＰＥＧビデオビットストリームとして出力する。コントローラ８は、エンコーダ１全体の動作を総合的に制御する。
【００２６】
信号圧縮回路１１は、メモリ２の容量の削減を可能とするための圧縮を行う。かかる圧縮は、メインの圧縮、すなわちＭＰＥＧ等の規定に従って行われる圧縮符号化とは別のものである。また、信号伸張回路１２は、信号圧縮回路１１による圧縮のなされた信号を元の信号に復元する。
【００２７】
この発明の第１の実施例が行う処理のための動作について説明する。入力された画像信号は、前処理部３によって例えば（４：２：２）から（４：２：０）への変換等の所定の処理がなされた後に、信号圧縮回路１１に供給される。信号圧縮回路１１は、後述するようにして信号を圧縮し、メモリコントローラ６に供給する。メモリコントローラ６は、供給された信号をメモリ２に書込む。この書込みが進行する結果として、エンコードを開始するために充分な量の圧縮された画像信号がメモリ２に貯えられる。さらに、上述したようにメモリ２に貯えられた画像の例えばシーンチェンジを含んでいる等の性質を認識することが行われる。
【００２８】
このようにして、エンコードを開始する条件が整った後に、コントローラ８の指示に従って、圧縮された画像信号、すなわち、メインの圧縮符号化を行う画像信号と、その画像信号の動きを検出するために参照される画像信号がメモリ２から信号伸張回路１２に供給される。信号伸張回路１２は、後述するようにして、供給された信号、すなわち圧縮された画像信号を元のデータに復元する。そして、復元した信号を動き検出／補償処理回路９に供給する。このようにして、復元された画像信号が動き検出／補償処理回路９に供給される際に、上述したように、入力される画像信号中の各フレームの順序の並べ変え（リオーダリング）が行われる。
【００２９】
動き検出／補償処理回路９は、上述の動き補償フレーム間予測符号化方法としての動き検出／補償処理（ＭＥ／ＭＣ）を行う。すなわち、信号伸張回路１２から供給された信号（メインの圧縮符号化を行う画像信号と参照画像信号）との間の動き検出を行い、その検出結果に合わせて、標準として参照されるフレームとの差分をとる動き補償処理を行うことによって、供給された信号の時間的相関を利用した情報圧縮を行う。この動き検出／補償処理回路９には、必要に応じて点線に示すように、メモリコントローラ６から画像信号に関する情報が供給される。このようにして、動き検出／補償処理回路９によって符号化された信号は、ＤＣＴ／量子化回路４に供給される。また、この動き検出において参照されるフレームの画像信号が逆ＤＣＴ／逆量子化回路１０に保持される。なお、フレーム内符号化を必要とされる画像信号は、そのままＤＣＴ／量子化回路４に供給される。
【００３０】
ＤＣＴ／量子化回路４は、供給された信号に直交変換としてのＤＣＴを施し、さらにＤＣＴによって算出された画素値を量子化する。このようにして、供給された信号の空間的相関を利用した情報圧縮が行われる。ＤＣＴ／量子化回路４によって符号化された信号は、ハフマン符号化回路５に供給されると供に、逆ＤＣＴ／逆量子化回路１０にも供給される。
【００３１】
ハフマン符号化回路５は、供給された信号に例えば２次元ハフマン符号化を施す。ハフマン符号化は、エントロピー符号化（可変長符号化）を具体化した符号化方法である。すなわち、動き検出／補償処理回路９およびＤＣＴ／量子化回路４によって行われる、上述したような情報圧縮を伴う符号化によって生成された符号値に対して、出現確率の低い値に長い符号長を割り当て、且つ、出現確率の高い値に短い符号長を割り当てることによって、信号全体の情報量を減らすようにした符号化方法である。
【００３２】
ハフマン符号化回路５が生成する信号は、メモリコントローラ６を介してメモリ２に書込まれる。そして、符号インターフェイス７を介して、所定の伝送タイミングで、ＭＰＥＧビデオビットストリームとして出力される。このＭＰＥＧビデオビットストリームが最終的なエンコーダ１の出力となる。
【００３３】
一方、上述したように、ＤＣＴ／量子化回路４によって符号化された信号は、逆ＤＣＴ／逆量子化回路１０にも供給される。逆ＤＣＴ／逆量子化回路１０は、供給される信号に逆ＤＣＴ／逆量子化を施す。逆量子化を施された信号と動き検出／補償処理回路９から供給される画像信号から、後述するように、動き検出／補償処理回路９によってなされる処理において参照されるローカルデコード画像が生成される。後述するように、逆ＤＣＴ／逆量子化回路１０の出力は、選択的にローカルデコード画像としてメモリ２に書込まれる。このような書込みの際には、圧縮がなされない。なお、フレーム内符号化が施された画像信号は、そのまま、メモリとして書込まれる。
【００３４】
上述したメモリ２への書込みについて、図２を参照して説明する。上述したように、前処理部３は、信号圧縮回路１１に画像信号を供給する。この時には、ピクチャタイプには無関係に、入力画像信号中の全てのフレームが信号圧縮回路１１に供給され、圧縮された後にメモリ２に書込まれる。その後段の、すなわち伸張回路１２によって伸張された信号に対する動き検出／補償処理回路９、ＤＣＴ／量子化回路４および逆ＤＣＴ／逆量子化回路回路１０による処理を、図２中の３０として総括的に示した。かかる処理により、ＩピクチャおよびＰピクチャに基づいてローカルデコード画像が生成され、メモリ２に書込まれる。すなわち、Ｉピクチャについては、上述した処理３０による処理結果がそのままメモリ２に書込まれる。また、Ｐピクチャについては、処理３０による処理結果と、メモリ２から読出されたローカルデコード画像信号とが加算された後にメモリ２に書込まれる。
【００３５】
上述したように、ＭＰＥＧ等において規定されるピクチャタイプは、Ｉピクチャ、ＰピクチャおよびＢピクチャの３つであるが、このうちのＰピクチャ、Ｂピクチャは、上述したように、他のフレームを参照して符号化される。すなわち、Ｐピクチャ、Ｂピクチャについては、動き検出／補償処理回路９によって、上述のローカルデコード画像との差分が計算され、計算された差分に基づいて動き補償フレーム間予測符号化が行われる。このため、図２に示すようにローカルデコード画像が動き検出／補償処理回路９に供給される。上述したように、ローカルデコード画像は、メモリ２に書込まれる時に圧縮されないので、メモリ２から動き検出／補償処理回路９に供給される時に伸張されない。
【００３６】
他方、一般に、ある信号に対して圧縮／伸張がなされた場合、完全に元に戻ることは無く、ある程度の誤差を含むものとなる。個々のフレームの伝送に関する限りにおいては、このような誤差は、伝送システムに要求される画像品質に対して許容される範囲内であれば、何ら問題とはならない。しかしながら、上述したように、ローカルデコード画像は、他のフレームの符号化に関与するので、ローカルデコード画像に対して圧縮／伸張がなされると、圧縮／伸張によって生じる誤差は、画像信号の広範な部分の符号化に対して影響を与え、伝送される画像全体の品質を低下させる要因となるおそれがある。このため、上述したように、ローカルデコード画像として用いられるＩピクチャおよびＰピクチャがメモリ２に書込まれる時、およびメモリ２から動き検出／補償処理回路９に供給される際には、圧縮／伸張がなされない。
【００３７】
メインの圧縮とは別の圧縮、すなわち信号圧縮回路１１によってなされる圧縮について詳述する。かかる圧縮は、例えば差分パルス符号変調方法（以下、ＤＰＣＭと表記する）によって行われる。この発明の第１の実施例においては、５画素分に相当する４０ビット（すなわち、８（ビット／画素）×５画素＝４０ビット）を３２ビットに圧縮する。図３に信号圧縮回路１１の詳細な構成を示す。切替え制御回路１１０は、スイッチ４４、スイッチ４５およびマルチプレクサ４８を制御することにより、各画素を単位として、供給先を切替える。
【００３８】
画像信号は、画素毎に、すなわち８ビット単位で供給される。第１番目の画素が供給された時には、切替え制御回路１１０の指令によって、スイッチ４４が端子４９と端子５１を接続する。従って、供給された８ビットの画素データは、マルチプレクサ４８およびスイッチ４５に供給される。さらに、第１番目の画素データが供給された時には、切替え制御回路１１０の指令によって、スイッチ４５が端子５２と端子５４を接続するようになされる。このため、第１番目の画素データは、フリップフロップ４２に供給される。
【００３９】
第２番目の画素が供給されると、第２番目の画素データと、上述したようにフリップフロップ４２に記憶された第１番目の画素データとの差分が減算器４６によって計算される。この差分が量子化器４１に供給され、６ビットに量子化される。ところで、第２番目の画素が供給された時には、切替え制御回路１１０の指令によって、スイッチ４４が端子５０と端子５１を接続するようになされる。このため、上述したようにして生成された６ビットのデータは、マルチプレクサ１３に供給されると供に、逆量子化器４３に供給される。
【００４０】
逆量子化器４３は、供給された６ビットのデータを逆量子化し、加算器４７に供給する。加算器４７は、逆量子化器４３から供給されたデータと、フリップフロップ４２に記憶されていた第１番目の画素データとを加算して、第２番目の画素データを復元する。ところで、第２番目の画素が供給された時には、切替え制御回路１１０の指令によって、スイッチ４５が端子５３と端子５４を接続するようになされる。従って、上述の加算の結果、すなわち復元された第２番目の画素データがフリップフロップ４２に記憶される。このようにして、フリップフロップ４２に記憶された復元された画素データは、次に入力される画素データを処理する際に減算器４６、加算器４７において用いられる。
【００４１】
さらに、３番目〜５番目までの画素データも２番目の画素データと同様に処理され、各々６ビットのデータとされる。この結果、図３の下方に示すように、５画素分のデータ（４０ビット）が３２ビットのデータに圧縮される。このようにして３２ビットのデータが生成される毎に、３２ビットを転送できるバスを介して、メモリ２に出力される。このようにして、５画素に対応する圧縮されたデータがメモリ２上の１アドレスに書込まれる。
【００４２】
その後、６番目以降の画素データについても、上述の動作と同様にして、５画素分の４０ビットのデータを処理単位として、３２ビットのデータに圧縮することが行われる。従って、信号圧縮回路１１に入力される画像信号について、常に４／５の圧縮がなされる。
【００４３】
次に、メインの圧縮とは別の圧縮、すなわち信号圧縮回路１１による圧縮が施されたデータから、元のデータを復元するための伸張について説明する。かかる伸張は、信号伸張回路１２によってなされる。その基本構成は、信号圧縮回路１１によってなされる圧縮の逆処理を行うものである。従って、この発明の第１の実施例においては、上述したようにして生成された３２ビットのデータを元の４０ビットのデータに戻す処理がなされる。図４に信号伸張回路１２の詳細な構成を示す。切替え制御回路１２０は、デマルチプレクサ６１およびスイッチ６４によって、画素を単位としてなされる供給先の切替えを制御する。
【００４４】
上述したように、コントローラ８の指令によってメモリ２から取出された３２ビットのデータがデマルチプレクサ６１に供給される。デマルチプレクサ６１は、供給される３２ビットのデータのうちの８ビットの画素データ（上述の圧縮において、ビット長が８ビットのままとされる画素データ、すなわち処理単位とされる５画素のうちの最初の画素データ）が第１番目に処理され、その後２番目以降に６ビットのデータが順に処理されるように、後段に画素データを供給する。
【００４５】
デマルチプレクサ６１から第１番目のデータとして８ビットのデータが出力される時には、切替え制御回路１２０の指令によって、スイッチ６４が端子６６と端子６８を接続する。従って、８ビットのデータは、信号伸張回路１２を通過すると供に、フリップフロップ６５に記憶される。
【００４６】
また、デマルチプレクサ６１から第２番目のデータとして６ビットのデータが出力される時には、逆量子化器６２によって６ビットのデータが逆量子化され、加算器６３に供給される。加算器６３は、逆量子化器６２から供給されるデータと、フリップフロップ６５に記憶された第１番目のデータとを加算し、第２番目のデータを復元する。ところで、デマルチプレクサ６１から第２番目のデータとして６ビットのデータが出力される時には、切替え制御回路１２０の指令によって、スイッチ６４が端子６７と端子６８を接続する。このため、加算器６３の出力すなわち復元された２番目の画素データは、信号伸張回路１２を通過すると供に、フリップフロップ６５に記憶される。このようにして、フリップフロップ６５に記憶された復元された画素データは、次に入力される画素データを処理する際に加算器６３において用いられる。
【００４７】
その後、第３番目〜第５番目のデータについても同様な処理が行われる。この結果、図４の下方に示すように、３２ビットのデータが４０ビットのデータに伸張され、８ビット／画素の５画素分のデータに戻される。その後、信号伸張回路１２に供給されるデータについても、上述の動作と同様にして、３２ビットのデータを１まとまりとして、４０ビットすなわち５画素分のデータに戻すことが行われる。従って、信号伸張回路１２に入力される圧縮データについて、常に５／４の伸張がなされる。
【００４８】
また、この発明の第１の実施例では、メインの圧縮符号化とは別の圧縮／伸張として、８画素分の４０ビットを３２ビットに圧縮する４／５のＤＰＣＭ圧縮を行う場合について説明したが、この他にも、削減したいメモリ容量および伝送される画像に要求される品質等の観点から、最適な圧縮率を用いることが可能である。また、１画素当たりのビット数が８ビット以外のデータ長からなる画像信号を扱う場合にも、この発明を適用することができる。
【００４９】
以上のような圧縮／伸張を輝度信号とクロマ信号の両方に行うことも可能であるし、クロマ信号にのみ行うことも可能である。何れの方法を適用するかは、削減したいメモリ量と、伝送される画像に要求される品質等に応じて決定すれば良い。また、削減したいメモリ量と、伝送される画像に要求される品質等を考慮して有効なものであれば、ＤＰＣＭ圧縮以外の圧縮方法を用いても良い。
【００５０】
この発明の第１の実施例において、使用されるメモリの量について図５に示す。またこの発明を適用しない場合について、図６に示す。ここでは、圧縮符号化に先立って、５フレーム分の原画像を記憶するようになされた圧縮符号化装置について、この発明を適用することによる効果を説明する。
【００５１】
図６に示すこの発明を適用しない場合においては、原画像とそれ以外の部分（ローカルデコード画像およびその他）の比率が６５：４１である。これに対して、図５に示す、第１の実施例においてクロマ信号にのみ４／５の圧縮を行う場合には、原画像の情報量が圧縮されるので、原画像とそれ以外の部分の比率が５９：４１である。このような原画像の情報量の圧縮は、上述したようなメインの圧縮とは別の圧縮符号化によって可能となるものである。また、図５、図６の上部に、各々の場合に使用されるメモリ容量を示した。これらの図によれば、実際に削減されるメモリ容量は、４Ｍｂｉｔとなる。
【００５２】
図６の場合には、２個の１６Ｍｂｉｔメモリに加えて、４Ｍｂｉｔメモリ１個が必要とされる。すなわち、この場合には３個のメモリが必要となる。これに対して、図５においては、必要なメモリ容量が削減されたために、２個の１６Ｍｂｉｔメモリを用いれば圧縮符号化を行うことが可能である。このため、図５においては、圧縮符号化装置が１チップとして設計される場合に、メモリとデータの受渡しをするためのＬＳＩのピンおよびバスの数も減少することになる。すなわち、この発明を適用することによって、圧縮符号化装置の全体構成が単純化されるという効果も得られる。
【００５３】
〔第２の実施例〕
上述したようなこの発明の第１の実施例は、図２を参照して説明したように、入力された画像信号に対して、メインの圧縮とは別の圧縮、すなわち信号圧縮回路１１による圧縮を行ってメモリに書込む時には、ピクチャータイプに関係なく、画像信号中の全ての部分についてかかる圧縮を行うものである。これに対して、この発明の第２の実施例として、かかる圧縮をピクチャータイプに応じて選択的に行うようにするものも可能である。
【００５４】
この発明の第２の実施例の全体構成は、図１を用いて上述したこの発明の第１の実施例と同様である。但し、図１中に点線で示した経路を介して、ピクチャタイプについての情報が前処理部分３からメモリコントローラ６、さらには動き検出／補償処理回路９に供給される。信号圧縮回路１１および信号伸張回路１２における画像信号の取り扱いについて、図７を用いて説明する。この発明の第１の実施例の説明において用いた図２と同様に、図７は、前処理部３、およびその後段における動き検出／補償処理回路９、ＤＣＴ／量子化回路４および逆ＤＣＴ／逆量子化回路１０による処理を総括的に示す３０による処理を示している。図７に示すように、この発明の第２の実施例においては、メインの圧縮とは別の圧縮／伸張は、Ｂピクチャのみに施され、ＩピクチャおよびＰピクチャには、施されない。
【００５５】
すなわち、図７においてＢピクチャのみが前処理部３から信号圧縮回路１１に供給され、圧縮された後にメモリ２に書込まれる。ＩピクチャおよびＰピクチャは、圧縮されずにメモリ２に書込まれる。その後段の上述したように３０として総括的に示した処理においては、ＩピクチャおよびＰピクチャがメモリ２から読出されて伸張されずに、直接、３０として総括的に示した処理の対象とされる。但し、Ｐピクチャについては、ローカルデコード画像が差引かれた後に、処理対象とされる。また、Ｂピクチャは、メモリ２から読出されて伸張された後に、信号伸張回路１２に供給される。信号伸張回路１２によって伸張されたＢピクチャからローカルデコード画像が差引かれた後に、上述した処理３０の処理対象とされる。
【００５６】
処理３０によるＩピクチャに基づく処理結果がそのままメモリ２に書込まれる。また、処理３０によるＰピクチャに基づく処理結果にメモリ２から読出されたローカルデコード画像が加算された後にメモリ２に書込まれる。このようにしてメモリ２に書込まれたＰピクチャおよびＢピクチャに基づく処理３０による処理結果がローカルデコード画像として使用される。
【００５７】
上述したように、Ｂピクチャは、圧縮符号化／復号化において他のピクチャを取り扱うために参照されることがない。このため、一般に、メインの圧縮において、Ｂピクチャの圧縮率は、ＩピクチャおよびＰピクチャよりも高い値に設定される。従って、メインの圧縮によって、Ｂピクチャに対して生じる画質劣化は、ＩピクチャおよびＰピクチャに対して生じる画質劣化より大きくなる。このような状況を考慮すると、メインの圧縮とは別の圧縮／伸張によってＢピクチャに生じる画質劣化についての許容範囲は、ＩピクチャおよびＰピクチャより広いものとなる。そこで、ＩピクチャおよびＰピクチャにメインの圧縮とは別の圧縮／伸張を行わない分、Ｂピクチャに対する、メインの圧縮とは別の圧縮／伸張の圧縮率を大きくすることが可能である。
【００５８】
上述したこの発明の第２の実施例においては、ローカルデコード画像の重要性を考慮して、Ｉピクチャ、Ｐピクチャに対しては、圧縮／伸張がなされない。ところで、伝送画像に要求される品質等の条件によっては、ローカルデコード画像として参照されることを考慮しても、ある程度の誤差が許容される場合もある。このような場合には、Ｉピクチャ、Ｐピクチャに対して、誤差がその許容範囲内となるような圧縮率で、メインの圧縮とは別の圧縮を行うようにすることも可能である。
【００５９】
〔第３の実施例〕
さらに、メインの圧縮におけるアクセスの効率に関して改善を図ったものとして、この発明の第３の実施例がある。この発明の第３の実施例についての説明に先立って、メインの圧縮におけるアクセスの効率と、メインの圧縮とは別の圧縮がなされる単位の大きさの関係について説明する。上述したように、メインの圧縮とは別の圧縮には、ＤＰＣＭ圧縮が用いられる。
【００６０】
一般のＤＰＣＭ圧縮では、１フレームまたは１ラインの単位で圧縮が行われる。この様子を図８に示す。図８において、各水平線が１ラインを示している。さらに、図８では、簡略化のため、１５本の水平線を用いて１フレームを示す。丸印を付した位置がリセット位置である。すなわち、このリセット位置の画素データのみが圧縮されずに伝送され、それ以降の画素データについては、全て前データとの差分が伝送される。従って、１フレーム分の圧縮データから、例えば最後の画素データのみを取出したい場合にも、丸印を付して示したリセット位置の画素データを開始点として順に伸張を行わなければならない。
【００６１】
これに対して、上述したこの発明の第１の実施例中の信号圧縮回路１１においては図９に示すように、１ラインよりも小さい単位（５画素）毎にリセット位置が設定されることになるため、信号伸張回路１２によって伸張がなされる際に、任意の位置のデータに対するアクセスが容易なものとされている。
【００６２】
上述した観点から、この発明の第３の実施例について説明する。全体構成は、図１を用いて上述したこの発明の第１の実施例と同様である。そして、図１中の信号圧縮回路１１において、以下に説明するような方法で、メインの圧縮とは別の圧縮としてのＤＰＣＭ圧縮が行われることにより、ＤＣＴ／量子化回路４および逆ＤＣＴ／逆量子化回路１０によって処理がなされる際に、任意の位置のブロックに対するアクセスが容易となる。
【００６３】
上述したようなＤＰＣＭ圧縮について、図１０を参照して説明する。メインの圧縮においてアクセスがなされる単位（ＭＰＥＧ等においては、マクロブロック）を１ブロックと称することにすると、１ブロック以下の所定の単位で、上述したようなＤＰＣＭ圧縮のリセットが行われる。以下の説明においては、このようなＤＰＣＭ圧縮の単位をＤＰＣＭブロックと称する。図１０中の右側に示した図において、丸印を付した位置がリセット位置である。リセット位置の画素は、そのままのデータ長で伝送される。また、図１０中の右側に示した図において１個のＤＰＣＭブロックは、リセット位置を開始点とし、短く区切られたラインの断片の３本分からなる。
【００６４】
従って、図１０の例においては、１ブロック分のデータにアクセスするためには、ブロックの位置によって異なる幾つかのＤＰＣＭブロックにアクセスすれば良いことになる。例えば、図中のブロックＡにアクセスするためには、４個のＤＰＣＭブロックにアクセスすれば良い。１ブロック分のデータにアクセスするために必要なＤＰＣＭブロック数が最大となるのは、例えばブロックＢにアクセスする場合であり、この時には、図に示されるように、６個のＤＰＣＭブロックにアクセスすれば良い。
【００６５】
このようにして、ＤＰＣＭブロックの大きさをメインの圧縮の単位（上述のブロック）のサイズ以下として、メインの圧縮とは別の圧縮としてのＤＰＣＭ圧縮が行われることによって、メインの圧縮におけるアクセス効率を低下させずに、メインの圧縮とは別の圧縮を行うことが可能となる。従って、この発明が適用される画像情報伝送システム本来のアクセス効率を保ちながら、圧縮符号化装置に付随して設けられるメモリの容量を削減することが可能となる。
【００６６】
〔第４の実施例〕
上述したこの発明の第１の実施例等においては、メインの圧縮においてフィードバック処理が行われていた。すなわち、メインの圧縮は、動き検出／補償処理回路９、ＤＣＴ／量子化回路４およびその後段のハフマン符号化回路５によって行われるが、ＤＣＴ／量子化回路４の出力は、逆ＤＣＴ／逆量子化回路１０にも供給され、逆ＤＣＴ／逆量子化される。かかる逆ＤＣＴ／逆量子化によって生成されたＩピクチャ、Ｐピクチャは、圧縮されずにメモリ２に書込まれ、動き検出／補償処理回路９によって、画像信号中の他のフレームに属するＰピクチャおよびＢピクチャが処理される際に、ローカルデコード画像として参照される。
【００６７】
従って、一連なりの画像信号に、メインの圧縮のうちの１ステップである動き検出／補償処理を施す際に、かかる画像信号中のフレームについてなされる処理の結果（逆ＤＣＴ／逆量子化回路１０の出力）が他のフレームの処理に関与することになる。このため、上述のこの発明の第１の実施例等においては、図１１に示すように、メインの圧縮とは別の圧縮／伸張は、信号中の各フレームについて選択的に行われる。すなわち、上述したように、ローカルデコード画像等のメインの処理において参照される信号部分は、メインの圧縮とは別の圧縮／伸張の対象とされない。
【００６８】
これに対し、この発明の第４の実施例として、メインの圧縮においてフィードバック処理が行われない圧縮符号化装置に対して、この発明を適用することも可能である。このような圧縮符号化装置は、ＪＰＥＧ等の静止画像を伝送するための規定に従う、画像伝送システムにおいて用いられるものである。かかるシステムは、動画を扱うＭＰＥＧ等の規定に従うものと異なり、動き補償フレーム間予測符号化を施す必要がない。このため、上述したようなローカルデコード画像が用いられる必要がないので、特定のピクチャタイプに対して、メインの圧縮とは別の圧縮／伸張を行わない等の制御を行う必要も無い。そこで、図１２に示すように、信号圧縮回路１１および信号伸張回路１２は、供給される全ての画像信号を圧縮／伸張するようになされる。
【００６９】
この発明の第４の実施例の全体構成を図１３に示す。図１３において、図１を用いて説明したこの発明の第１の実施例におけるものと同様の構成要素には、同一の番号を付した。上述したように、動き補償フレーム間予測符号化を施す必要が無いので、図１３中には、図１中の動き検出／補償処理回路９が含まれていない。さらに、上述のローカルデコード画像が用いられる必要も無いので、ローカルデコード画像を生成するために設けられている図１中の逆ＤＣＴ／逆量子化回路４は、図１３中には、含まれていない。また、上述したような理由で、信号圧縮回路１１および信号伸張回路１２は、供給される全ての信号を圧縮／伸張する。
【００７０】
この場合には、供給される全ての信号が一定の圧縮率で圧縮／伸張され、それに見合うメモリ容量の削減が可能となる。
【００７１】
〔第５の実施例〕
上述したこの発明の第１の実施例〜第４の実施例は、何れも圧縮符号化装置にこの発明を適用したものである。これに対して、以下に説明するこの発明の第５の実施例は、例えば、上述のこの発明の第１の実施例を含む、ＭＰＥＧの規定に従う伝送システム中の復号化装置にこの発明を適用したものである。このようにすれば、復号化装置に付随して設けられているメモリの容量を削減することができる。図１４に、この発明の第５の実施例の全体構成を示す。復号化装置としてのデコーダ８１に付随して、メモリ８２が設けられている。
【００７２】
符号インターフェイス８７は、圧縮符号化信号を受取り、受取った圧縮符号化信号画像信号に所定の処理を施し、後段に供給する。ハフマン復号化回路８５、逆ＤＣＴ／逆量子化回路８４および動き補償処理回路８９は、ＭＰＥＧの規定に従って、後述するような復号化処理を行う。動き補償処理回路８９は、処理結果の内、ＩピクチャおよびＢピクチャに基づく所定のものをローカルデコード画像としてメモリコントーラ８６に供給する。このようにして、ローカルデコード画像がメモリ８２に書込まれ、動き補償処理回路８９の動作において必要に応じて読出されて参照される。メモリコントローラ８６は、上述したようなデコーダ８１中の各構成要素と、メモリ８２との信号の受渡しを制御する。後処理部８３は、復号された画像信号を受取り、所定の処理を施した後に、デコーダ８１の出力として後段に出力する。コントローラ８８は、デコーダ８１全体の動作を総合的に制御する。
【００７３】
信号圧縮回路９１は、メモリ８２の容量の削減を可能とするための圧縮を行う。信号伸張回路９０は、信号圧縮回路９１によって圧縮のなされた信号から、元の信号を復元する。
【００７４】
次にこの発明の第５の実施例の動作について説明する。デコーダ８１に対する入力となる、伝送されてきた圧縮符号化信号は、符号インターフェイス８７を介して、メモリ８２に書込まれる。そして、コントローラ８８の指令に従って取出され、ハフマン復号化回路８５に供給される。ハフマン復号化回路８５は、供給される圧縮符号化信号に、ハフマン符号化に対応する復号化（可変長復号化）を施す。
【００７５】
ハフマン復号化の結果として得られた信号は、逆ＤＣＴ／逆量子化回路８４に供給される。逆ＤＣＴ／逆量子化回路８４は、供給された信号に上述したＤＣＴ／量子化による符号化に対応する、逆ＤＣＴ／逆量子化による復号化を施す。そして、逆ＤＣＴ／逆量子化による復号化のなされた信号を、動き補償処理回路８９に供給する。また、この信号のうち、Ｉピクチャ、Ｐピクチャは、動き補償処理回路８９による処理において参照されるために、メモリ８２に書込まれる。但し、Ｉピクチャは、逆ＤＣＴ／逆量子化回路８４によって復号化された後、そのままメモリ８２に書込まれる。Ｐピクチャは、動き補償処理回路８９にて動き補償されたものがメモリ８２に書込まれる。
【００７６】
動き補償処理回路８９は、上述したようにしてメモリ８２に書込まれていたＩピクチャ、Ｐピクチャを参照して、供給された信号に基づいて動き補償処理を行う。かかる動き補償処理は、上述した圧縮符号化における動き検出／補償処理に対応する復号化である。動き補償処理回路８９の出力は、画像信号として完全に復号された各フレームからなる。ただし、上述したように、圧縮符号化の際に、動き補償フレーム間予測符号化を行うために並べ変えが行われるので、これらのフレームの順序は、元の画像信号中の順序とは異なる。従って、復号化された画像信号中のフレームの順序を元に戻すために、一旦メモリ８２に書込まれた後に、元の画像信号中の順序で取出される。
【００７７】
上述したフレームの順序を元に戻すための処理について、具体的に説明する。動き補償処理回路８９の出力は、信号圧縮回路９１に供給される。信号圧縮回路９１は、供給された信号に圧縮を施す。そして、圧縮された信号をメモリコントローラ８６を介してメモリ８２に書込む。メモリ８２に書込まれた信号は、コントローラ８８の指令に従って、元の画像信号中のフレームの順序に沿って取出される。このような取出しの際には、例えばオーディオ信号等の画像信号以外の信号との同期も考慮される。取出された信号が信号伸張回路９０によって伸張され、元の画像信号が復元される。復元された画像信号は、後処理部８３を介して、後段に出力される。
【００７８】
このような、圧縮符号化に対応する復号化が完了した後に、復号化された画像信号中のフレームの順序を元の画像信号中のフレームの順序に戻すために必要とされる、メモリ８２への書込み／メモリ８２からの取出しに際して、信号圧縮回路９１／信号伸張回路９０によって圧縮／伸張がなされることによって、メモリ８２の容量を削減することができる。
【００７９】
上述したこの発明の第５の実施例は、例えば第１の実施例によってなされる圧縮符号化に対応する復号化を行う復号化装置に、この発明を適用したものである。同様に、この発明の第２の実施例および第３の実施例によってなされる圧縮符号化に対応する復号化を行う復号化装置として、この発明の第５の実施例を適用することも可能である。さらに、例えばこの発明の第４の実施例等の、ＪＰＥＧ等の規定に従って静止画像に対して圧縮符号化を施す圧縮符号化装置に対応して、復号化を行う復号化装置に、この発明の第５の実施例の復号化装置を適用することも可能である。この場合には、動き補償処理を行うことに対応するための構成が不要となる。
【００８０】
また、この発明は、上述したような実施の形態に限定されることなく、この発明の要旨を逸脱しない範囲で種々の応用および変形が考えられる。
【００８１】
【発明の効果】
上述したように、この発明は、ＭＰＥＧの規定に従って、動画または静止画像等の画像信号等を伝送するシステムに用いられる、圧縮符号化装置において、各々の規定に従ってなされるメインの圧縮符号化とは別の圧縮を行うようにしたものである。このため、圧縮符号化装置による処理のために必要となるメモリの容量を削減することが可能となり、システム全体のコストを低減させることができる。また、メインの圧縮符号化とは別の圧縮における圧縮率等を調整することによって、伝送される画像の品質等に適合するように、メモリの容量の削減を行うことができる。
【００８２】
また、この発明の第２の実施例において説明したように、信号中の特定の部分に対してのみ、メインの圧縮符号化とは別の圧縮を行うように制御するようにした場合には、かかる特定の部分に対して圧縮率等を高く設定することができる。この場合に、メインの圧縮符号化とは別の圧縮を行わない部分は、フィードバック処理を受ける信号中の部分、すなわち信号中の他の部分に施されるメインの圧縮符号化において、基準として参照される部分である。このような制御によって、基準として用いられる部分は、メインの圧縮符号化とは別の圧縮によって生じる誤差を含まないものとされる。このため、上述の信号中の特定の部分に対する圧縮率等を高く設定しても伝送される画像の品質が劣化しないようにすることができる。
【００８３】
さらに、この発明の第３の実施例において説明したように、メインの圧縮符号化とは別の圧縮を、メインの圧縮符号化におけるアクセスの単位以下の所定の単位毎に行うようにする場合には、メインの圧縮符号化におけるアクセスの効率を劣化させずに、メインの圧縮符号化とは別の圧縮を行うことができる。従って、ＭＰＥＧの規定に従って画像信号等を伝送するシステム本来のアクセス効率を保ちながら、圧縮符号化装置に付随して設けられるメモリの容量を削減することができる。
【図面の簡単な説明】
【図１】この発明の第１の実施例の構成を示すブロック図である。
【図２】この発明の第１の実施例における、ピクチャタイプに応じてなされる制御について説明するための略線図である。
【図３】この発明の第１の実施例の一部の構成を詳細に示すブロック図である。
【図４】この発明の第１の実施例の他の一部の構成を詳細に示すブロック図である。
【図５】この発明の第１の実施例によって達成される、メモリ容量の削減について説明するための略線図である。
【図６】図５との比較のために、この発明が適用されない場合について説明するための略線図である。
【図７】この発明の第２の実施例における、ピクチャタイプに応じてなされる制御について説明するための略線図である。
【図８】一般的なＤＰＣＭ圧縮について説明するための略線図である。
【図９】この発明の第１の実施例においてなされるＤＰＣＭ圧縮について説明するための略線図である。
【図１０】この発明の第３の実施例においてなされるＤＰＣＭ圧縮について説明するための略線図である。
【図１１】動画を伝送するシステムに用いられる圧縮符号化／復号化装置に対して、この発明が適用される場合に行われる制御について説明するための略線図である。
【図１２】静止画像を伝送するシステムに用いられる圧縮符号化／復号化装置に対して、この発明が適用される場合に行われる制御について説明するための略線図である。
【図１３】この発明の第４の実施例の構成を示すブロック図である。
【図１４】この発明の第５の実施例の構成を示すブロック図である。
【図１５】ＭＰＥＧ、ＪＰＥＧ等の画像伝送システムにおける、従来の圧縮符号化／復号化について説明するための略線図である。
【符号の説明】
１・・・エンコーダ、２・・・メモリ、３・・・前処理部、４・・・離散コサイン変換（ＤＣＴ）／量子化回路、５・・・ハフマン符号化回路、６・・・メモリコントローラ、７・・・符号インターフェイス、８・・・コントローラ、９・・・動き検出／補償処理回路、１０・・・逆離散コサイン変換（逆ＤＣＴ）／逆量子化回路、１１・・・信号圧縮回路、１２・・・信号伸張回路、４１・・・量子化器、４２・・・フリップフロップ、４３・・・逆量子化器、４４・・・スイッチ、４５・・・スイッチ、４６・・・減算器、４７・・・加算器、４８・・・マルチプレクサ、１１０・・・切替え制御回路、６１・・・デマルチプレクサ、６２・・・逆量子化器、６３・・・加算器、６４・・・スイッチ、６５・・・フリップフロップ、１２０・・・切替え制御回路、８１・・・デコーダ、８２・・・メモリ、８３・・・後処理部、８４・・・逆離散コサイン変換（逆ＤＣＴ）／逆量子化回路、８５・・・ハフマン復号化回路、８６・・・メモリコントローラ、８７・・・符号インターフェイス、８８・・・コントローラ、８９・・・動き補償処理回路、９０・・・信号伸張回路、９１・・・信号圧縮回路

Claims (5)

1. 画像信号を符号化する圧縮符号化装置において、
   メモリと、
   入力画像信号の種類を判定する入力画像判定回路と、
   上記入力画像判定回路の判定結果に応じて、所定の入力画像信号を非可逆圧縮処理する圧縮回路と、
   上記圧縮回路によって圧縮された信号を伸張処理する伸張回路と、
   上記メモリに対する、上記圧縮回路によって圧縮された信号の書込み、および読出しを制御するメモリ制御回路と、
   上記伸張回路によって伸張された画像信号を符号化する符号化回路を有し、
   上記符号化回路は、ＭＰＥＧ規格で規定される符号化方法に従って画像信号を符号化し、
   上記所定の画像信号は、上記ＭＰＥＧ規格で規定されるＢピクチャーのみである、
   ことを特徴とする圧縮符号化装置。
2. 請求項１において、
   上記入力画像信号は、輝度信号とクロマ信号とからなり、
   上記圧縮回路および伸張回路は、上記クロマ信号に対して圧縮処理および伸張処理を実行するようになされていることを特徴とする圧縮符号化装置。
3. 請求項１において、
   上記圧縮回路は、符号化すべき画素と上記符号化すべき画素に隣接する画素との差分を演算し、上記差分を量子化することにより画像信号に圧縮処理を施すようになされていることを特徴とする圧縮符号化装置。
4. 請求項１において、
   上記符号化回路は、画像信号を所定のブロック単位で符号化し、
   上記圧縮回路は、上記所定のブロック単位以下の単位で符号化すべき画素と上記符号化すべき画素に隣接する画素との差分を演算し、上記差分を量子化することにより画像信号に圧縮処理を施すようになされていることを特徴とする圧縮符号化装置。
5. 画像信号を圧縮符号化する符号化方法において、
   入力画像の種類を判定する入力画像信号判定ステップと、
   上記入力画像信号判定ステップの判定結果に応じて、所定の入力画像信号を非可逆圧縮方法で圧縮処理する圧縮ステップと、
   上記圧縮された信号を所定のメモリに書込むステップと、
   上記所定のメモリに記憶された、圧縮された信号を読出すステップと、
   読出された信号を伸張処理する伸張ステップと、
   伸張された画像信号を伝送するために符号化する符号化ステップとを有し、
   上記符号化ステップでは、ＭＰＥＧ規格で規定される符号化方法に従って画像信号を符号化し、
   上記所定の画像信号は、上記ＭＰＥＧ規格で規定されるＢピクチャーのみである、
   ことを特徴とする符号化方法。

Images