JP4590306B2

JP4590306B2 - 画像処理装置

Info

Publication number: JP4590306B2
Application number: JP2005144555A
Authority: JP
Inventors: 浩二磨田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-05-17
Filing date: 2005-05-17
Publication date: 2010-12-01
Anticipated expiration: 2025-05-17
Also published as: JP2006324807A

Description

本発明は画像処理装置に関し、特に、動画像信号を符号化処理するために用いて好適な技術に関する。

近年、記録媒体にディスク媒体を用いたビデオカメラが製品化され始めた。ディスク媒体を使用したビデオカメラは、小型で持ち運びも容易であり、今後ますます普及していくと思われる。

このような機器では、動画像信号をＭＰＥＧ方式などにより圧縮符号化して記録媒体に記録する。圧縮符号化方式のうち、ＭＰＥＧ２においては、動画像を構成する各フレーム画像をマクロブロックと呼ばれる「16×16画素」のブロックに分割し、各マクロブロック単位に時間的に前または後に所定のフレーム分だけ離れた参照画像において、符号化対象ブロックとの間で最も差分が少なくなるブロックを算出して動きベクトルを求める。次に、この動きベクトルによって示されるブロックの画像信号と符号化対象ブロックの画像信号との差分（予測誤差）を求めるようにしている（動き補償予測技術）。

そして、予測誤差信号または符号化画素そのものに対して、直交変換の一種であるDCT（離散コサイン変換）、量子化、可変長符号化等の技術を用いて、情報量を圧縮する（変換符号化技術）ようにしている（例えば、特許文献１参照）。前記特許文献１においては、符号化を行う際に、ブロック毎に画像の複雑度という要素を利用して、画面内の各ブロックに対して割り当てる符号量を調整している。

特開２００３−０３７８４３号公報

上記従来技術の構成では、各マクロブロックの複雑度を求めるのに、マクロブロック中の原画像の画素値を利用しているため、実際に記録媒体に記録される符号化データのデータレートに関係なく、各マクロブロックの複雑度が決まってしまっていた。

そのため、目標データレートを低く設定した場合には、１フレームに割り当てられる符号量が少ない中で視覚特性に基づいた画面内の符号量の割り当てを行うので、複雑度を用いないで生成された画像と比較して、ブロックノイズが目立ってしまうなど、かえって画質が悪化してしまうという問題があった。

本発明は上述の問題点にかんがみ、入力された動画像信号を符号化する際に、前記入力された動画像信号に応じて、複雑度の情報を用いて符号化したり、複雑度の情報を用いることなく符号化したりできるようにすることを目的としている。

本発明の画像処理装置は、入力された動画像信号を直交変換する直交変換手段と、前記直交変換された動画像信号を量子化する量子化手段と、前記量子化手段で量子化された動画像信号を可変長符号化する符号化手段と、前記入力された動画像信号に係る動画像の複雑度を算出する複雑度算出手段と、前記符号化手段で発生された可変長符号の符号量を算出する符号量算出手段と、前記符号化手段が前記動画像信号を符号化する符号化レートを設定するレート設定手段と、前記量子化手段が前記量子化を行うときの量子化コードを設定する量子化コード設定手段と、前記符号化レートが所定のレートを超える場合、前記量子化コード設定手段が、前記符号量の情報と、前記符号化レートの情報と、前記複雑度の情報とを用いて前記量子化コードを設定し、前記符号化レートが前記所定のレート以下の場合、前記量子化コード設定手段が、前記符号量の情報と、前記符号化レートの情報とを用い、前記複雑度の情報を用いずに前記量子化コードを設定するように、前記量子化コード設定手段の動作を切り替える切り替え手段とを有することを特徴とする。

本発明によれば、符号化レートが所定のレートを超える場合には符号量の情報と、符号化レートの情報と、複雑度の情報とを用いて量子化コードを設定し、符号化レートが所定のレート以下の場合には符号量の情報と、符号化レートの情報とを用い、複雑度の情報を用いずに前記量子化コードを設定するようにした。これにより、低い符号化レートでの記録処理の際には、視覚特性を用いないので、例えば、長時間モードなど低符号化レートの記録モードにおける記録処理において、視覚特性を用いるために生じてしまう、ブロックノイズが強調されるなどの画質の悪化を防止することが可能となり、使用者は好適な映像を楽しむことができる。

（第１の実施の形態）
以下、本発明の画像処理装置の第１の実施の形態を説明する。
図１は、本実施の形態の画像処理装置の構成例を示すブロック図である。図１を参照しながら本実施の形態における複雑度による符号化制御について説明する。本実施の形態では、ユーザが設定した画質（データレート）に応じて符号化画像データのデータレートを制御するようにしている。

図１において、１１は原画像データＳ１を入力する画像入力端子、１２は画像入力端子から入力された原画像データＳ１をマクロブロック単位に符号化する符号化部である。符号化部１２は、原画像データＳ１と局部復号データとに基づいて画像の変化を動きベクトル情報とし、この動きベクトル情報によってフレームメモリの読み出しを制御する動き補償部１５、原画像データＳ１を周波数領域の情報に変換する直交変換部１６、直交変換されたデータを量子化する量子化部１７、量子化部１７に量子化コードを設定する量子化コード設定部１９、量子化されたデータの冗長度を取り除く可変長符号化部（VLC）１８等により構成されている。

１３は入力された原画像データＳ１に対する複雑度情報を算出する複雑度算出部、１４は符号化部１２の符号化レートを設定する符号化レート設定部である。２０は可変長符号化部１８より発生した可変長符号の符号量を算出する発生符号量算出部、２１は符号化レート設定部１４より設定される符号化レートに従って、複雑度算出部１３より算出された複雑度情報の出力をオン、オフするスイッチ回路、２２は符号化部１２により符号化された画像データを記録媒体２３に記録する記録部である。

図２は、本実施の形態の画像処理装置における複雑度算出部１３の、量子化コード設定部１９に対する複雑度の設定の動作を示すフローチャートである。以下に、図２を用いて上記複雑度算出部１３の、複雑度の量子化コード設定部１９に対する複雑度の設定の動作について説明する。

まず、フレーム処理が開始すると、最初のステップＳ２１では各マクロブロックの複雑度を求める。前述したTest Model 5におけるステップ３では、複雑度の大きな部分、すなわち複雑な絵柄の部分では、量子化コードを大きくして粗く量子化し、逆に複雑度の小さな部分、すなわち平坦部では、量子化コードを小さくして細かく量子化するようにしている。各マクロブロックの複雑度は次の式のように求められる。

式(１)：actj = 1 + min(var_sblk)
なお、式（１）において、actjはマクロブロックjの複雑度、var_sblkは、サブブロックにおける原画における輝度信号の画素値の分散であり、式（２）のように表される。
式（２）：var_sblk = Σ(Pk − P)² / 64

マクロブロック中の原画像の画素値（フレームDCTモードの４個の輝度信号ブロックとフィールドDCTモードの４個の輝度ブロック）を利用し、これらの画素値の分散のうちの最小値を取ることを意味する。

次に、ステップＳ２２では、ステップＳ２１で求めた複雑度から、正規化複雑度を求める。正規化複雑度は０．５〜２の範囲を取り、次の式（３）のように求められる。
式（３）：Nact(j) = (2 * actj + avg_act) / (actj + 2 * avg_act)
なお、式（３）において、avg_actは直前に符号化したピクチャにおける複雑度の平均値である。

次に、ステップＳ２３に進み、符号化レート設定部１４から符号化レートを取得する。次に、ステップＳ２４に進み、ステップＳ２３で取得した符号化レートが所定のレートＲ１より低いかどうかを判定する。所定のレートＲ１は、例えば画像処理装置の、高画質モードや長時間モードなどの各記録モードにおける符号化レートのうち、長時間モードなど、低画質の記録モードかどうかを判定するレートとする。

ステップＳ２４の判定の結果、ステップＳ２３で受け取った符号化レートが前記所定のレートＲ１より低ければ、ステップＳ２５へと分岐する。また、ステップＳ２３で受け取った符号化レートが所定のレートＲ１より高ければ、ステップＳ２５に分岐せずにステップＳ２６に進む。

ステップＳ２５では、複雑度算出部１３で算出した複雑度情報を量子化コード設定部１９に出力するか否かを切り替えるスイッチ回路２１をオフする。その後、ステップＳ２６に進んで、ステップＳ２２で求めた正規化複雑度を量子化コード設定部１９へと出力する。次に、ステップＳ２７において、全ての処理が終了したか否かを判断し、終了していない場合にはステップＳ２１に戻って前述した処理を繰り返し行う。

上記記録処理では、符号化レートが所定のレートＲ１より高い場合は、量子化コード設定部１９にてステップＳ２２で求めた正規化複雑度と、レート設定部１４より設定される符号化レート、発生符号量算出部２０より算出される発生符号量を用いて量子化部１７にて量子化を行うようにするため、視覚特性を利用した量子化コードを求めることができる（第１の符号化モード）。

また、符号化レートが所定のレートＲ１よりも低い場合には、ステップＳ２５においてスイッチ回路２１をオフにすることにより複雑度算出部１３の制御無しで、直交変換部１６で変換されたデータを量子化部１７にて量子化を行い、視覚特性を用いない量子化コードを求めることができる（第２の符号化モード）。

したがって、本実施の形態の画像処理装置においては、低い符号化レートでの記録処理の際に、視覚特性を用いないので、例えば、長時間モードなど低符号化レートの記録モードにおける記録処理において、視覚特性を用いるために生じてしまう、ブロックノイズが強調されるなどの画質の悪化を防止することが可能となり、使用者は好適な映像を楽しむことができる。

（第２の実施の形態）
次に、図３の本発明における画像処理装置の構成において、ＶＢＲ（可変ビットレート）で記録する場合の記録処理について説明する。ここで、可変ビットレートモードとは、符号化対象の画像の複雑度に応じて各画面に割り当てる符号量をダイナミックに変化させる方法である。

具体的には、複雑な絵柄の画面に対しては符号量を多く割り当て、比較的平坦な絵柄の画像に対しては符号量をより少なく割り当てる方法である。本実施の形態では、具体的な可変ビットレート方式については公知の技術を使用するが、直前に発生した符号化画像データの符号量を所定値と比較し、所定値よりも低くなった場合に複雑度情報を使用せずに符号化する。

図３において、３１は原画像データＳ１を入力する画像入力端子、３２は入力された原画像をマクロブロック単位に符号化する符号化部である。原画像データＳ１と局部復号データとに基づいて画像の変化を動きベクトル情報とし、この動きベクトルによってフレームメモリの読み出しを制御する動き補償部３５、原画像データＳ１を周波数領域の情報に変換する直交変換部３６、直交変換されたデータを量子化する量子化部３７、量子化部３７に量子化コードを設定する量子化コード設定部３９、量子化されたデータの冗長度を取り除く可変長符号化部（VLC）３８等により構成されている。

３３は入力された原画像データＳ１に対する複雑度情報を算出する複雑度算出部、３４は符号化部の符号化レートを設定する符号化レート設定部である。４０は、可変長符号化部３８より発生した可変長符号の符号量を算出する発生符号量算出部、４１は、発生符号量算出部４０によって求められる発生符号量に従って、複雑度算出部３３より算出された複雑度情報の出力をオン、オフするスイッチ回路である。

図４は、実施の形態における複雑度算出部３３の、量子化コード設定部３９に対する複雑度の設定の動作を示すフローチャートである。
以下、図４を用いて、可変ビットレートで記録する場合、上記複雑度算出部３３が量子化コード設定部３９に対して行う複雑度の設定の動作について説明する。

フレーム処理が開始されると、ステップＳ４１ではフレーム全体の各マクロブロックにおける複雑度を算出する。マクロブロック中の原画像の画素値（フレームDCTモードの４個の輝度信号ブロックとフィールドDCTモードの４個の輝度ブロック）を利用し、これらの画素値の分散のうちの最小値を取り、例えば前記式（１）のように定義されるマクロブロック毎の複雑度を求める。

次に、ステップＳ４２に進み、正規化複雑度を算出する。本実施の形態においては、ステップＳ４１で算出した各マクロブロックの複雑度と、直前に符号化したピクチャでの複雑度の平均から、前記式(３)のように定義される正規化複雑度を求める。次に、ステップＳ４３に進み、符号化レート設定部３４から符号化レートを取得する。本実施の形態では、例えばＧＯＰ(Group Of Picture)単位で各フレームに対する符号量を配分しているとする。

次に、ステップＳ４４に進み、符号化レート設定部３４から受け取る符号化レートと所定の符号量Ｎ２よりも小さいか否かを判定する。この判定は、符号化レート設定部３４から受け取る符号化レートがＧＯＰ単位で変化するので、記録モードによらず、ＧＯＰ単位に発生する符号量が所定の符号量Ｎ２より小さいかどうかを知るためである。

ステップＳ４４の判定の結果、ＧＯＰ単位に発生する符号量が所定の符号量Ｎ２よりも小さいならばステップＳ４５へと分岐する。また、ＧＯＰ単位に発生する符号量が所定の符号量Ｎ２よりも大きいならば、ステップＳ４５へ分岐せずにステップＳ４６に進む。

ステップＳ４５では、複雑度算出部３３で算出した複雑度情報を量子化コード設定部３９に出力するか否かを切り替えるスイッチ回路４１をオフする。その後、ステップＳ４６に進んで、ステップＳ４２で求めた正規化複雑度を量子化コード設定部３９へと出力する。次に、ステップＳ４７において全ての処理が終了したか否かを判断し、終了していない場合には、ステップＳ４１に戻って前述した処理を繰り返し行う。

上記の記録処理では、可変ビットレートでの記録処理において、GOP単位の発生符号量が大きい場合には、量子化コード設定部３９にて、ステップＳ４２で求めた正規化複雑度とレート設定部３４より設定される符号化レート、発生符号量算出部４０より算出される発生符号量を用いて量子化コードを算出し、量子化部３７にて量子化を行うため、視覚特性を利用した量子化コードを求めることができる。

一方、GOP単位の発生符号量が小さい場合は複雑度算出部３３の制御無しで、直交変換部３６で変換されたデータを量子化部３７にて量子化を行うようにしたので、視覚特性を用いないようにすることができる。このため、可変ビットレートでの記録処理においても、視覚特性を用いるために生じてしまう、ブロックノイズが強調されるなどの画質の悪化を防ぐことができ、使用者は好適な映像を楽しむことができる。

（本発明に係る他の実施の形態）
上述した本発明の実施の形態における画像処理装置を構成する各手段、並びに画像処理方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び上記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では図２、図４に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。

本発明の実施の形態における画像処理装置の構成を示すブロック図である。本発明の実施の形態における複雑度設定処理のフローチャートである。本発明の実施の形態における画像処理装置の構成を示すブロック図である。本発明の実施の形態における複雑度設定処理のフローチャートである。

符号の説明

１１画像入力端子
１２符号化部
１３複雑度算出部
１４符号化レート設定部
１５動き補償部
１６直交変換部
１７量子化部
１８可変長符号化部
１９量子化コード設定部
２１スイッチ回路
２２記録部
２３記録媒体
Ｓ１原画像データ

Claims

入力された動画像信号を直交変換する直交変換手段と、
前記直交変換された動画像信号を量子化する量子化手段と、
前記量子化手段で量子化された動画像信号を可変長符号化する符号化手段と、
前記入力された動画像信号に係る動画像の複雑度を算出する複雑度算出手段と、
前記符号化手段で発生された可変長符号の符号量を算出する符号量算出手段と、
前記符号化手段が前記動画像信号を符号化する符号化レートを設定するレート設定手段と、
前記量子化手段が前記量子化を行うときの量子化コードを設定する量子化コード設定手段と、
前記符号化レートが所定のレートを超える場合、前記量子化コード設定手段が、前記符号量の情報と、前記符号化レートの情報と、前記複雑度の情報とを用いて前記量子化コードを設定し、前記符号化レートが前記所定のレート以下の場合、前記量子化コード設定手段が、前記符号量の情報と、前記符号化レートの情報とを用い、前記複雑度の情報を用いずに前記量子化コードを設定するように、前記量子化コード設定手段の動作を切り替える切り替え手段とを有することを特徴とする画像処理装置。
前記複雑度算出手段は、前記入力された動画像信号における空間的な周波数成分情報、ノイズ成分情報、フレーム間変化情報、またはフレーム間動きベクトル情報のうち、少なくとも一つを用いて前記複雑度を算出することを特徴とする請求項１に記載の画像処理装置。
前記符号化手段から出力された符号化動画像信号を記録媒体に記録する記録手段を備えたことを特徴とする請求項１または２に記載の画像処理装置。