JP3702185B2

JP3702185B2 - 画像符号化装置と画像復号装置および画像符号化方法と画像復号方法および画像符号化プログラムを記録した記録媒体と画像復号プログラムを記録した記録媒体および画像符号化プログラムと画像復号プログラム

Info

Publication number: JP3702185B2
Application number: JP2001017756A
Authority: JP
Inventors: 英明木全; 由幸八島
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2001-01-26
Filing date: 2001-01-26
Publication date: 2005-10-05
Anticipated expiration: 2021-01-26
Also published as: JP2002223445A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像符号化において画像信号を帯域制限する、後処理フィルタを適用した画像符号化装置とその復号装置、ならびに画像符号化方法とその復号方法に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧ−２等、一般的に動画像符号化では、画像情報に対してＤＣＴ（離散コサイン変換）を適用し、その係数を量子化する。この量子化により、符号化効率を向上することが可能であるが、他方で復号画像に特有な歪み（量子化歪み）を発生する。この量子化歪みによって画質が劣化する。
【０００３】
このような量子化歪みを低減するために、符号化前に予め画像にフィルタを施して帯域を制限することが行われている。これはプレフィルタ方法と呼ばれる。一般的に、画像の高周波成分は視覚に与える影響が少ないため、フィルタによって特に高周波を制限することによって、視覚的な劣化を引き起こさずに符号化効率を向上している。一般的に、高周波を制限する量が多いほど、量子化歪みを低減することができる。
【０００４】
帯域を制限するフィルタには、画面内画素間の相関を利用する空間フィルタとフレーム間画素間の相関を利用する時間フィルタがある。
【０００５】
このうち、空間フィルタの１つには移動平均フィルタがある。このフィルタでは、図１２に示すように、求める画素を中心にした、縦Ｎ画素、横Ｎ画素（Ｎタップ）の正方形の領域を設定し、その正方形に含まれる画素の画像情報を式（１）に示す重み付け加算をすることによって、その画素の画像情報を求める。この処理を画面内の各画素に施すことによって、画面全体に移動平均フィルタを施す。このフィルタの周波数特性はタップ数Ｎと重み付け係数Ｗによって特徴付けられ、帯域制限後の視覚特性はこれらの値に依存する。一般的にタップ数Ｎが大きいほど、広範囲な画素の平均となるため、隣り合う画素間の差が少なくなり、より高周波成分が削除される。
【０００６】
【数１】

【０００７】
Ｉ（ｘ，ｙ）：横ｘ、縦ｙの画素における入力画像
Ｏ（ｘ，ｙ）：横ｘ、縦ｙの画素における出力画像
さらに、画面中の画像情報が大きく変化するエッジは、一般的に顕著な視覚的情報を与えることから、エッジを保存しつつ帯域を制限するエッジ保存型フィルタもある。また、エッジの画素とその他の画素とで、周波数特性の異なるフィルタを施す方法も提案されている。このようなフィルタでは、エッジ画素の高周波成分を低減せず、エッジ以外の画素の高周波成分を低減する帯域制限を行う。
【０００８】
エッジ画素とその他の画素とで周波数特性を変更するために、エッジ画素を予め検出しておく方法がある。エッジの検出には１次微分を使う方法と２次微分を使う方法がある。このうち１次微分方法では、エッジの判断をする対象の画素に対して、式（２）（３）（４）に従って変化量Ｚを求め、変化量Ｚが予め設定した値Ｔよりも大きい（式（５））場合に、その画素をエッジ画素と判断する方法がある。式（２）で使用する微分オペレータＧＸの例を図１３に、式（３）で使用する微分オペレータＧＹの例を図１４に示す。関数ＡＢＳは絶対値を求める関数である。
【０００９】
【数２】

【００１０】
Ｉ（ｘ，ｙ）：横ｘ、縦ｙの画素における入力画像
Ｚ＞Ｔ …式（５）
他方、復号器で、復号画像にフィルタを適用して量子化歪みを低減するポストフィルタ方法がある。ポストフィルタ方法には、大きく分けて２種類有り、フィルタを適用した復号画像を出力画像とするだけではなく、次のフレームの参照画像にも用いるループ内ポストフィルタ方法と、参照画像にはフィルタを適用する前の復号画像を用いるループ外ポストフィルタ方法がある。
【００１１】
特に、ループ内ポストフィルタ方法では、動画像符号化で一般的に符号化効率の向上ために用いられているフレーム間予測符号化で、符号化効率の低下を防ぐこともできる。フレーム間予測符号化は、以前に符号化したフレームの復号画像（参照画像と呼ぶ）と現画像との差分（予測誤差と呼ぶ）を離散コサイン変換（ＤＣＴ）する。参照画像に量子化歪みがあると、予測誤差が大きくなり、符号化効率が低下する。ループ内ポストフィルタ方法では、復号画像にフィルタを適用して量子化歪みを低減するため、予測誤差の増加を防ぐことができる。このような現画像との差分を低減する目的で適用するループ内ポストフィルタは、動画像符号化側と復号側の両方に同じものが備えられる。
【００１２】
これらのループ内あるいはループ外ポストフィルタ方法には、復号画像にエッジ保存型帯域制限フィルタを適用する方法がある。これは、エッジ付近に特徴的に現れる量子化歪みであるモスキートノイズを効果的に低減することができる。
【００１３】
プレフィルタ方法と同様に、エッジの画素とその他の画素とで、周波数特性の異なる帯域制限フィルタを施すことにより、エッジを保存しながら高周波成分を削除する方法もある。エッジを保存しながら帯域制限をする場合には、エッジを予め検出する方法がある。エッジは式（２）〜（５）を使って検出することができる。
【００１４】
【発明が解決しようとする課題】
ループ内あるいはループ外ポストフィルタ方法におけるエッジの検出方法やエッジ検出パラメータが、プレフィルタ方法におけるエッジの検出方法やエッジ検出パラメータと異なると、プレフィルタにおいてエッジと判定されない画素を、ループ内あるいはループ外ポストフィルタにおいてエッジと判定する問題が発生する。この場合には、プレフィルタで高周波成分を多く低減したにも関わらず、ループ内あるいはループ外ポストフィルタで高周波が低減されず残ってしまう。そのため、量子化歪みを低減することができないという問題が発生する。
【００１５】
逆に、プレフィルタにおいてエッジと判定された画素を、ループ内あるいはループ外ポストフィルタにおいてエッジと判定しない問題も発生する。この場合には、プレフィルタで保存したエッジの高周波成分を、ループ内あるいはループ外ポストフィルタで削除してしまう。そのため、エッジの視覚的品質が低下してしまうという問題が発生する。
【００１６】
また、符号化側のループ内ポストフィルタと復号側のループ内ポストフィルタとで、異なるエッジ検出方法やエッジ検出パラメータを使うと、符号化側と復号側で異なる位置にエッジが検出される問題が発生する。この場合には、ポストフィルタ後の参照画像が異なり、復号側で正しい復号画像が得られなくなるという問題が発生する。
【００１７】
本発明は、上記の問題点を解決し、量子化歪みを低減することができ、エッジの視覚的品質が維持でき、復号側で正しい復号画像が得られる画像符号化装置と画像復号装置、ならびに画像符号化方法と画像復号方法を提供することを課題とする。
【００１８】
【課題を解決するための手段】
上記の課題を解決するため、本発明による第１の画像符号化装置では、画像の帯域を制限し、その画像を符号化する動画像の符号化装置において、画像を取得する画像入力部と、前記画像入力部にて取得した画像に帯域制限フィルタを適用するプレフィルタ部と、前記画像入力部にて取得した画像のエッジを、その判断をする対象の画素に対して変化量を求め、変化量が予め設定した閾値Ｔ１よりも大きい場合に、その画素をエッジ画素として検出するプレエッジ検出部と、前記プレエッジ検出部で得られたエッジ情報から、前記プレフィルタ部にて適用するフィルタの特性を制御するプレフィルタ制御部と、前記プレフィルタ部からの画像を符号化する画像符号化部と、前記プレエッジ検出部でエッジを検出するための閾値Ｔ１であるエッジ検出パラメータに閾値Ｔ２＝閾値Ｔ１×Ｃ（Ｃ：予め設定した値）の式の計算を施して、新エッジ検出パラメータを求めるエッジ検出パラメータ計算部と、前記エッジ検出パラメータ計算部で計算して求めた新エッジ検出パラメータを出力するエッジ検出パラメータ送信部と、を備えることを特徴とする。
【００１９】
本発明による第２の画像符号化装置では、画像の帯域を制限し、その画像を符号化する動画像の符号化装置において、画像を取得する画像入力部と、前記画像入力部にて取得した画像に帯域制限フィルタを適用するプレフィルタ部と、前記画像入力部にて取得した画像のエッジを検出するプレエッジ検出部と、前記プレエッジ検出部で得られたエッジ情報から、前記プレフィルタ部にて適用するフィルタの特性を制御するプレフィルタ制御部と、前記プレフィルタ部からの画像を符号化する画像符号化部と、前記画像符号化部で符号化された画像を復号する局所復号部と、前記局所復号部の復号画像のエッジを検出するポストエッジ検出部と、前記ポストエッジ検出部でエッジを検出するための閾値であるエッジ検出パラメータを変化させることにより、エッジと判定される画素の数を変化させ、所定の条件と一致する新エッジ検出パラメータを決定する画素エッジ検出パラメータ計算部と、前記新エッジ検出パラメータを使い、前記ポストエッジ検出部で使用するエッジ検出パラメータを制御するポストエッジ検出制御部と、前記ポストエッジ検出部で使用したエッジ検出パラメータを出力するエッジ検出パラメータ送信部と、を備えることを特徴とする。
【００２０】
本発明による第３の画像符号化装置では、画像の帯域を制限し、その画像をフレーム間予測符号化する動画像の符号化装置において、画像を取得する画像入力部と、前記画像入力部にて取得した画像に帯域制限フィルタを適用するプレフィルタ部と、前記画像入力部にて取得した画像のエッジを検出するプレエッジ検出部と、前記プレエッジ検出部で得られたエッジ情報から、前記プレフィルタ部にて適用するフィルタの特性を制御するプレフィルタ制御部と、帯域制限フィルタを適用した復号画像を参照画像にして、前記プレフィルタ部からの画像を符号化する画像符号化部と、帯域制限フィルタを適用した復号画像を参照画像にして、前記画像符号化部で符号化された画像を復号する局所復号部と、前記局所復号部の復号画像に前記帯域制限フィルタを適用するポスト帯域制限フィルタ部と、前記局所復号部の復号画像のエッジを検出するポストエッジ検出部と、前記ポストエッジ検出部で得られたエッジ情報から、前記ポスト帯域制限フィルタ部にて適用するフィルタの特性を制御するポストフィルタ制御部と、前記プレエッジ検出部でエッジを検出するための閾値であるエッジ検出パラメータに所定の計算を施して、新エッジ検出パラメータを求めるエッジ検出パラメータ計算部と、前記新エッジ検出パラメータを使い、前記ポストエッジ検出部で使用するエッジ検出パラメータを制御するポストエッジ検出制御部と、前記ポストエッジ検出部で使用したエッジ検出パラメータを出力するエッジ検出パラメータ送信部と、を備えることを特徴とする。
【００２１】
本発明による第４の画像符号化装置では、前記第３の画像符号化装置において、前記エッジ検出パラメータ計算部に代えて、前記ポストエッジ検出部でエッジを検出するための閾値であるエッジ検出パラメータを変化させることにより、エッジと判定される画素の数を変化させ、所定の条件と一致する新エッジ検出パラメータを決定する画素エッジ検出パラメータ計算部を備えることを特徴とする。
【００２２】
同じく、本発明による第１の画像復号装置では、動画像を符号化した画像を復号する画像復号装置において、符号化された画像を復号する画像復号部と、前記画像復号部の復号画像に帯域制限フィルタを適用するポスト帯域制限フィルタ部と、前記画像復号部の復号画像のエッジを検出するポストエッジ検出部と、前記ポストエッジ検出部で得られたエッジ情報から、前記ポスト帯域制限フィルタ部にて適用するエッジ画素用のフィルタＤ１かエッジ以外の画素用のフィルタＤ２のいずれかを選択しフィルタの特性を変更するポストフィルタ制御部と、前記ポストエッジ検出部でエッジを検出するための閾値であるエッジ検出パラメータを受信するエッジ検出パラメータ受信部と、を備えることを特徴とする。
【００２３】
本発明による第２の画像復号装置では、動画像をフレーム間予測符号化した画像を復号する画像復号装置において、符号化された画像を、参照画像を用いて復号する画像復号部と、前記画像復号部の復号画像に帯域制限フィルタを適用して、帯域制限された画像を次のフレームの前記参照画像に設定するポスト帯域制限フィルタ部と、前記画像復号部の復号画像のエッジを検出するポストエッジ検出部と、前記ポストエッジ検出部で得られたエッジ情報から、前記ポスト帯域制限フィルタ部にて適用するフィルタの特性を制御するポストフィルタ制御部と、前記ポストエッジ検出部でエッジを検出するための閾値であるエッジ検出パラメータを受信するエッジ検出パラメータ受信部と、を備えることを特徴とする。
【００２４】
同じく、本発明による第１の画像符号化方法では、画像の帯域を制限し、その画像を符号化する動画像の符号化方法において、画像を取得する画像入力ステップと、前記画像入力ステップにて取得した画像に帯域制限フィルタを適用するプレフィルタステップと、前記画像入力ステップにて取得した画像のエッジを、その判断をする対象の画素に対して変化量を求め、変化量が予め設定した閾値Ｔ１よりも大きい場合に、その画素をエッジ画素として検出するプレエッジ検出ステップと、前記プレエッジ検出ステップで得られたエッジ情報から、前記プレフィルタステップにて適用するフィルタの特性を制御するプレフィルタ制御ステップと、前記プレフィルタステップからの画像を符号化する画像符号化ステップと、前記プレエッジ検出ステップでエッジを検出するための閾値Ｔ１であるエッジ検出パラメータに閾値Ｔ２＝閾値Ｔ１×Ｃ（Ｃ：予め設定した値）の式の計算を施して、新エッジ検出パラメータを求めるエッジ検出パラメータ計算ステップと、前記エッジ検出パラメータ計算ステップで計算して求めた新エッジ検出パラメータを出力するエッジ検出パラメータ送信ステップと、を備えることを特徴とする。
【００２５】
本発明による第２の画像符号化方法は、画像の帯域を制限し、その画像を符号化する動画像の符号化方法において、画像を取得する画像入力ステップと、前記画像入力ステップにて取得した画像に帯域制限フィルタを適用するプレフィルタステップと、前記画像入力ステップにて取得した画像のエッジを検出するプレエッジ検出ステップと、前記プレエッジ検出ステップで得られたエッジ情報から、前記プレフィルタステップにて適用するフィルタの特性を制御するプレフィルタ制御ステップと、前記プレフィルタステップからの画像を符号化する画像符号化ステップと、前記画像符号化ステップで符号化された画像を復号する局所復号ステップと、前記局所復号ステップの復号画像のエッジを検出するポストエッジ検出ステップと、前記ポストエッジ検出ステップでエッジを検出するための閾値であるエッジ検出パラメータを変化させることにより、エッジと判定される画素の数を変化さ、所定の条件と一致する新エッジ検出パラメータを決定する画素エッジ検出パラメータ計算ステップと、前記新エッジ検出パラメータを使い、前記ポストエッジ検出ステップで使用するエッジ検出パラメータを制御するポストエッジ検出制御ステップと、前記ポストエッジ検出ステップで使用したエッジ検出パラメータを出力するエッジ検出パラメータ送信ステップと、を備えることを特徴とする。
【００２６】
本発明による第３の画像符号化方法では、画像の帯域を制限し、その画像をフレーム間予測符号化方法を用いて符号化する動画像の符号化方法において、画像を取得する画像入力ステップと、前記画像入力ステップにて取得した画像に帯域制限フィルタを適用するプレフィルタステップと、前記画像入力ステップにて取得した画像のエッジを検出するプレエッジ検出ステップと、前記プレエッジ検出ステップで得られたエッジ情報から、前記プレフィルタステップにて適用するフィルタの特性を制御するプレフィルタ制御ステップと、帯域制限フィルタを適用した復号画像を参照画像にして、前記プレフィルタステップからの画像を符号化する画像符号化ステップと、帯域制限フィルタを適用した復号画像を参照画像にして、前記画像符号化ステップで符号化された画像を復号する局所復号ステップと、前記局所復号ステップの復号画像に帯域制限フィルタを適用するポスト帯域制限フィルタステップと、前記局所復号ステップの復号画像のエッジを検出するポストエッジ検出ステップと、前記ポストエッジ検出ステップで得られたエッジ情報から、前記ポスト帯域制限フィルタステップにて適用するフィルタの特性を制御するポストフィルタ制御ステップと、前記プレエッジ検出ステップでエッジを検出するための閾値であるエッジ検出パラメータに所定の計算を施して、新エッジ検出パラメータを求めるエッジ検出パラメータ計算ステップと、前記新エッジ検出パラメータを使い前記ポストエッジ検出ステップで使用するエッジ検出パラメータを制御するポストエッジ検出制御ステップと、前記ポストエッジ検出ステップで使用したエッジ検出パラメータを出力するエッジ検出パラメータ送信ステップと、を備えることを特徴とする。
【００２７】
本発明による第４の画像符号化方法では、前記第３の画像符号化方法において、前記エッジ検出パラメータ計算ステップに代えて、前記ポストエッジ検出ステップでエッジを検出するための閾値であるエッジ検出パラメータを変化させることにより、エッジと判定される画素の数を変化させ、所定の条件と一致する新エッジ検出パラメータを決定する画素エッジ検出パラメータ計算ステップを備えることを特徴とする。
【００２８】
同じく、本発明による第１の画像復号方法では、動画像を符号化した画像を復号する画像復号方法において、符号化された画像を復号する画像復号ステップと、前記画像復号ステップの復号画像に帯域制限フィルタを適用するポスト帯域制限フィルタステップと、前記画像復号ステップの復号画像のエッジを検出するポストエッジ検出ステップと、前記ポストエッジ検出ステップで得られたエッジ情報から、前記ポスト帯域制限フィルタステップにて適用するエッジ画素用のフィルタＤ１かエッジ以外の画素用のフィルタＤ２のいずれかを選択しフィルタの特性を変更するポストフィルタ制御ステップと、前記ポストエッジ検出ステップでエッジを検出するための閾値であるエッジ検出パラメータを受信するエッジ検出パラメータ受信ステップと、を備えることを特徴とする。
【００２９】
本発明による第２の画像復号方法では、動画像をフレーム間予測符号化した画像を復号する復号方法において、符号化された画像を、参照画像を用いて復号する画像復号ステップと、前記画像復号ステップの復号画像に帯域制限フィルタを適用して、帯域制限された画像を次のフレームの参照画像に設定するポスト帯域制限フィルタステップと、前記画像復号ステップの復号画像のエッジを検出するポストエッジ検出ステップと、前記ポストエッジ検出ステップで得られたエッジ情報から、前記ポスト帯域制限フィルタステップにて適用するフィルタの特性を制御するポストフィルタ制御ステップと、前記ポストエッジ検出ステップでエッジを検出するための閾値であるエッジ検出パラメータを受信するエッジ検出パラメータ受信ステップと、を備えることを特徴とする。
【００３０】
以上の画像符号化方法におけるステップは、コンピュータに実行させるための画像符号化プログラムとすることができるとともに、前記画像符号化プログラムを前記コンピュータが読み取り可能な記録媒体に記録することが可能である。
【００３１】
また、以上の画像復号方法におけるステップをコンピュータに実行させるための画像復号プログラムとすることができるとともに、前記画像復号プログラムを前記コンピュータが読み取り可能な記録媒体に記録することが可能である。
【００３２】
本発明による第１の画像符号化装置／方法の発明によれば、プレエッジ検出部／ステップでエッジを検出するための閾値であるエッジ検出パラメータを出力することができる。また、本発明による第１の画像復号装置／方法の発明によれば、復号画像のエッジを検出する際に、受信したエッジ検出パラメータを使用することができる。これにより、本発明による第１の画像復号装置／方法で動画像符号化データを復号する際に、符号化データを作成する際に検出された画素と同じ位置にエッジを検出することができる。従って、プレフィルタでエッジと判定されない画素を、ポストフィルタでエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。また、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができ、プレフィルタで保存したエッジの高周波成分をポストフィルタでも保存し、エッジの視覚的品質を維持することができる。この発明は、フレーム間予測符号化方法を用いた符号化と、フレーム内符号化方法を用いた符号化の両方に適用できる。
【００３３】
本発明による第２の画像符号化装置／方法の発明によれば、プレエッジ検出部／ステップでエッジと検出された画素が、ボストエッジ検出部／ステップでエッジとして検出されるような、エッジ検出パラメータを求めて出力することができる。これにより、本発明による第１の画像符号化装置／方法と同様に、本発明による第１の画像復号装置／方法で動画像符号化データを復号する際に、符号化データを作成する際に検出された画素と同じ位置にエッジを検出することができる。従って、プレフィルタでエッジと判定されない画素を、ポストフィルタでエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。また、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができ、プレフィルタで保存したエッジの高周波成分をポストフィルタでも保存し、エッジの視覚的品質を維持することができる。
【００３４】
ポストエッジ検出制御部／ステップにおけるエッジ検出パラメータの制御は、例えば次のように実現できる。ポストエッジ検出部／ステップで、予め設定したエッジ検出パラメータでエッジを検出する。検出したエッジの位置をプレエッジ検出部／ステップで検出されたエッジの位置と比較し、同じ位置に検出できたエッジの画素数を計測する。この数の、エッジ画素の総数に対する割合が、ある閾値以上であれば、そのエッジ検出パラメータで検出したエッジの画素を使って、実際にポストフィルタ処理を行う。エッジ画素の総数に対する割合が、閾値未満の場合には、エッジ検出パラメータを変更して、再度上記の工程を行う。本発明による第１の画像符号化装置／方法と同様に、この発明は、フレーム間予測符号化方法を用いた符号化と、フレーム内符号化方法を用いた符号化の両方に適用できる。
【００３５】
本発明による第３の画像符号化装置／方法の発明によれば、プレエッジ検出部／ステップでエッジを検出するための閾値であるエッジ検出パラメータから、ポストエッジ検出部／ステップのエッジ検出方法を制御することにより、プレフィルタと同じ画素をエッジと検出することができる。さらに、復号画像を帯域制限した画像を次のフレームの参照画像に適用できる。また、本発明による第２の画像復号装置／方法の発明によれば、復号画像のエッジを検出する際に、受信したエッジ検出パラメータを使用することができる。また。帯域制限した画像を次のフレームの参照画像に設定できる。これにより、本発明による第２の画像復号装置／方法との組み合わせにおいて、プレフィルタでエッジと判定されない画素を、ポストフィルタでエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。また、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができ、プレフィルタで保存したエッジの高周波成分をポストフィルタでも保存し、エッジの視覚的品質を維持することができる。また、量子化歪みのある画像を参照画像にするために生じる予測誤差の増大を防ぎ、符号化効率を向上することができる。
【００３６】
本発明による第４の画像符号化装置／方法の発明によれば、プレエッジ検出部／ステップでエッジと検出された画素が、ポストエッジ検出部／ステップでエッジとして検出されるように、エッジ検出パラメータを制御するとができる。さらに、復号画像を帯域制限した画像を次のフレームの参照画像に適用できる。これにより、本発明による第２の画像復号装置／方法との組み合わせにおいて、プレフィルタでエッジと判定されない画素を、ポストフィルタでエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。また、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができ、プレフィルタで保存したエッジの高周波成分をポストフィルタでも保存し、エッジの視覚的品質を維持することができる。また、量子化歪みのある画像を参照画像にするために生じる予測誤差の増大を防ぎ、符号化効率を向上することができる。
【００３７】
【発明の実施の形態】
以下、本発明の実施形態例を図面を参照して説明する。
【００３８】
〈実施形態例１〉
本発明の第１の実施形態例の画像符号化装置と画像復号装置の構成と動作の例を示す。まず、入力画像をフレーム内符号化する場合であり、ループ外ポストフィルタを適用する場合の構成と動作の例を示す。
【００３９】
画像符号化装置では、局所復号部で復号画像を作り、プレエッジ検出部で検出したエッジ情報を使い、ポストエッジ検出部で復号画像のエッジを検出する。画像復号装置では、符号化データとエッジ検出パラメータを受信し、符号化データを復号した後でエッジ検出パラメータを使ってポストフィルタを適用する。
【００４０】
図１は画像符号化装置の構成を示す図である。画像入力部１０１、プレフィルタ部１０２、プレエッジ検出部１０９、プレフィルタ制御部１１０、画像符号化部１０３、局所復号部１０４、ポストエッジ検出部１０６、ポストエッジ検出制御部１０８、画素エッジ検出パラメータ計算部１２０、エッジ検出パラメータ送信部１１１の他に、フレーム単位に符号化データとエッジ検出パラメータを多重化する送信側多重化部１１７を備える。
【００４１】
プレエッジ検出部１０９と、ポストエッジ検出部１０６で行うエッジ検出は式（２）〜（５）に従って行う。プレエッジ検出部１０９で使用する式（５）の閾値をＴ１とし、Ｔ１を各フレームに対して２０に設定する。
【００４２】
ポストエッジ検出部１０６で使用する式（５）の閾値をＴ２とする。プレフィルタ制御部１１０には、エッジ画素用のフィルタＣ１、エッジ以外の画素用のフィルタＣ２が設定されており、プレエッジ検出部１０９からのエッジ情報に基づいて、２つのうちいずれかのフィルタを選択する。図２（ａ）（ｂ）にＣ１とＣ２における、式（１）の係数を示す。
【００４３】
このような前提の下で、各画素が０から２５５までの値の画像情報となる動画像を符号化する際に、画像符号化装置は次のように動作する。まず画像入力部１０１は１フレーム分の画像情報を取得する。画像入力部１０１から得られた現フレームの画像情報に対して、プレエッジ検出部１０９は閾値Ｔ１を使いエッジを検出する。プレフィルタ部１０２でフィルタを適用し帯域制限をする。この際に、プレフィルタ制御部１１０は、プレエッジ検出部１０９で検出した各画素のエッジ情報を使って、画素毎にＣ１かＣ２のいずれかを選択しフィルタの特性を変更する。画像符号化部１０３はプレフィルタ部１０２で帯域制限された画像を入力画像として符号化する。符号化データを局所復号部１０４にて復号する。
【００４４】
画素エッジ検出パラメータ計算部１２０とポストエッジ検出制御部１０８とポストエッジ検出部１０６とで、復号画像のエッジ情報を求める方法を次に示す。動作フローを図３に示す。ポストエッジ検出制御部１０８では、予めエッジ検出パラメータとして閾値Ｔ２を、Ｔ２の取りうる最大値である５１０に設定しておく。このＴ２の値に従ってポストエッジ検出部１０６は復号画像のエッジを検出する。画素エッジ検出パラメータ計算部１２０では、検出したエッジの位置を、プレエッジ検出部１０９で検出したエッジの位置と比較する。同じ位置にエッジがあった画素の数をＮとし、プレエッジ検出部１０９で検出したエッジの総数をＭとする。ＭとＮが式（６）を満たす場合には、ポストエッジ検出部１０６で検出したエッジの位置情報を、復号画像のエッジ情報として決定する。式（６）を満たさない場合には、閾値Ｔ２の値を１減らして上記の工程を繰り返す。
【００４５】
Ｎ＞Ｍ×８０／１００ …式（６）
エッジ検出パラメータ送信部１１１は、復号画像のエッジ情報を決定した時の閾値Ｔ２を出力する。送信側多重化部１１７は符号化データと閾値Ｔ２を多重化して出力する。
【００４６】
この実施形態例のように本発明による画像符号化装置では、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができる。
【００４７】
また、画素エッジ検出パラメータ計算部１２０とポストエッジ検出制御部１０８とポストエッジ検出部１０６とで、復号画像のエッジ情報を決定する際に、次のようにする方法もある、動作フローを図４に示す。ポストエッジ検出制御部１０８では、予めエッジ検出パラメータとして閾値Ｔ２を、Ｔ２の取りうる最小値である０に設定しておく。このＴ２の値に従ってポストエッジ検出部１０６は復号画像のエッジを検出する。画素エッジ検出パラメータ計算部１２０では、検出したエッジの位置を、プレエッジ検出部１０９で検出したエッジの位置と比較する。同じ位置にエッジがあった画素の数をＮとし、プレエッジ検出部１０９で検出したエッジの総数をＭとする。ＭとＮが式（７）を満たす場合には、ポストエッジ検出部１０６で検出したエッジの位置情報を、ポストフィルタ制御部１０７で使用する。式（７）を満たさない場合には、閾値Ｔ２の値を１増やして上記の工程を繰り返す。
【００４８】
Ｎ＜Ｍ …式（７）
この場合には、本実施形態例における画像符号化装置では、プレフィルタにおいてエッジと判定されない画素を、画像復号装置のポストフィルタにおいてエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。
【００４９】
なお、入力画像のエッジ情報と復号画像のエッジ情報から、閾値Ｔ２を逐次変化して求めるのではなく、プレフィルタで用いた閾値Ｔ１から直接Ｔ２を求める方法も可能である。この場合の画像符号化装置の構成を図５に示す。画像入力部１０１、プレフィルタ部１０２、プレエッジ検出部１０９、プレフィルタ制御部１１０、画像符号化部１０３、エッジ検出パラメータ計算部１１９、エッジ検出パラメータ送信部１１１の他に、フレーム単位に符号化データとエッジ検出パラメータを多重化する送信側多重化部１１７を備える。プレフィルタ部１０２、プレエッジ検出部１０９、プレフィルタ制御部１１０の動作は上記と同様である。このうち、エッジ検出パラメータ計算部１１９では、例えば式（８）のように閾値Ｔ１に予め設定した値を乗算してＴ２を求める。この場合には、閾値Ｔ２を逐次求める方法に比べて、閾値Ｔ２を逐次求める作業を省くことができ、より高速に閾値Ｔ１を決定することができる。
【００５０】
Ｔ２＝Ｔ１×Ｃ（Ｃは定数） …式（８）
続いて画像復号装置の構成と動作の例を示す。上記の画像符号化装置から出力されるデータを復号する場合の構成と動作の例を示す。
【００５１】
図６は画像復号装置の構成を示す図である。画像復号部１１２、受信側ポスト帯域制限フィルタ部１１４、受信側ポストエッジ検出部１１５、受信側ポストフィルタ制御部１１６、エッジ検出パラメータ受信部１１３の他に、受信するデータから符号化データとエッジ検出パラメータを分解する受信側分解部１１８を備える。受信側ポストフィルタ制御部１１６には、エッジ画素用のフィルタＤ１、エッジ以外の画素用のフィルタＤ２が設定されており、受信側ポストエッジ検出部１１５からのエッジ情報に基づいて、２つのうちいずれかのフィルタを選択する。図７（ａ）（ｂ）にＤ１とＤ２における、式（１）の係数を示す。
【００５２】
このような前提の下で、受信したデータを復号する際に画像復号装置は次のように動作する。
【００５３】
受信側分解部１１８は、受信したデータを符号化データとエッジ検出パラメータに分解する。画像復号部１１２は符号化データを復号する。エッジ検出パラメータ受信部１１３は、エッジ検出パラメータを受信側ポストエッジ検出部１１５に送信する。受信側ポストエッジ検出部１１５は、エッジ検出パラメータに基づいて復号画像のエッジを検出する。受信側ポストフィルタ制御部１１６は、受信側ポストエッジ検出部１１５で検出したエッジ情報を使い、画素毎にＤ１かＤ２のいずれかを選択しフィルタの特性を変更する。受信側ポスト帯域制限フィルタ部１１４は、変更されたフィルタを使い復号画像を帯域制限する。受信側ポスト帯域制限フィルタ部１１４は、帯域制限した画像を出力画像として出力する。
【００５４】
この実施形態例のように本発明による画像符号化装置と画像復号装置を組み合わせると、符号化側のポストフィルタと復号側のポストフィルタとで、同じ位置にエッジが検出することができ、画像復号装置で正しい復号画像を得ることができる。
【００５５】
同様な構成を、入力画像をフレーム間予測符号化する場合であり、ループ外ポストフィルタを適用する場合においても適用できる。画素エッジ検出パラメータ計算部１２０を使う場合における、画像符号化装置の構成は図１と同じである。フレーム内符号化の場合と異なり、局所復号部１０４で作成される復号画像を参照画像に設定する。他の各部はフレーム内符号化の場合と同じ動作をすることが可能である。対応する画像復号装置の構成も図６と同様である。画像復号部１１２では、前フレームの復号画像を保持しておき、これを参照画像にしてフレーム間予測符号化の符号化データを復号する。
【００５６】
また、エッジ検出パラメータ計算部１１９を使う方法も適用できる。この場合の画像符号化装置の構成は図８のようになる。フレーム内符号化方式の場合と異なり、符号化データを復号する局所復号部１０４を備える。ここで作成される復号画像を参照画像に設定する。他の各部はフレーム内符号化の場合と同じ動作をする。対応する画像復号装置の構成も図６と同様であり、画像復号部１１２では、前フレームの復号画像を保持しておき、これを参照画像にしてフレーム間予測符号化の符号化データを復号する。
【００５７】
このように、フレーム間予測符号化をする場合においても、画像復号装置でループ外ポストフィルタを適用するにあたり、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができる。また、プレフィルタにおいてエッジと判定されない画素を、画像復号装置のポストフィルタにおいてエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。
【００５８】
〈実施形態例２〉
本発明の第２の実施形態例の画像符号化装置と画像復号装置の構成と動作の例を示す。第２の実施形態例はフレーム間予測符号化方法を用いた場合であり、ループ内ポストフィルタを用いた場合の構成と動作の例である。
【００５９】
画像符号化装置では、プレエッジ検出部１０９で検出したエッジ情報を使い、ポストエッジ検出部１０６でエッジを検出しポストフィルタを制御する。さらに、画像符号化装置がエッジ検出パラメータを出力する。画像復号装置では、符号化データとエッジ検出パラメータを受信し、符号化データを復号した後でエッジ検出パラメータを使ってポストフィルタを適用する。
【００６０】
図９は画像符号化装置の構成を示す図である。画像入力部１０１、プレフィルタ部１０２、プレエッジ検出部１０９、プレフィルタ制御部１１０、画像符号化部１０３、局所復号部１０４、ポスト帯域制限フィルタ部１０５、ポストエッジ検出部１０６、ポストフィルタ制御部１０７、ポストエッジ検出制御部１０８、画素エッジ検出パラメータ計算部１２０、エッジ検出パラメータ送信部１１１の他に、フレーム単位に符号化データとエッジ検出パラメータを多重化する送信側多重化部１１７を備える。
【００６１】
プレエッジ検出部１０９と、ポストエッジ検出部１０６で行うエッジ検出は式（２）〜（５）に従って行う。プレエッジ検出部１０９で使用する式（５）の閾値をＴ１とし、Ｔ１を各フレームに対して２０に設定する。ポストエッジ検出部１０６で使用する式（５）の閾値をＴ２とする。
【００６２】
プレフィルタ制御部１１０には、エッジ画素用のフィルタＣ１、エッジ以外の画素用のフィルタＣ２が設定されており、プレエッジ検出部１０９からのエッジ情報に基づいて、２つのうちいずれかのフィルタを選択する。Ｃ１とＣ２における、式（１）の係数は図２と同様である。ポストフィルタ制御部１０７には、エッジ画素用のフィルタＤ１、エッジ以外の画素用のフィルタＤ２が設定されており、プレエッジ検出部１０９からのエッジ情報に基づいて、２つのうちいずれかのフィルタを選択する。Ｄ１とＤ２における、式（１）の係数は図７と同様である。
【００６３】
このような前提の下で、各画素が０から２５５までの値の画像情報となる動画像を符号化する際に、画像符号化装置は次のように動作する。
【００６４】
まず画像入力部１０１は１フレーム分の画像情報を取得する。画像入力部１０１から得られた現フレームの画像情報に対して、プレエッジ検出部１０９は閾値Ｔ１を使いエッジを検出する。プレフィルタ部１０２でフィルタを適用し帯域制限をする。この際に、プレフィルタ制御部１１０は、プレエッジ検出部１０９で検出した各画素のエッジ情報を使って、画素毎にＣ１かＣ２のいずれかを選択しフィルタの特性を変更する。画像符号化部１０３はプレフィルタ部１０２で帯域制限された画像を入力画像として符号化する。符号化データを局所復号部１０４にて復号する。
【００６５】
画素エッジ検出パラメータ計算部１２０とポストエッジ検出制御部１０８とポストエッジ検出部１０６とで、ポストフィルタ制御部１０７で使用するエッジ情報を求める方法を次に示す。動作フローは図３と同様である。ポストエッジ検出制御部１０８では、予めエッジ検出パラメータとして閾値Ｔ２を、Ｔ２の取りうる最大値である５１０に設定しておく。このＴ２の値に従ってポストエッジ検出部１０６は復号画像のエッジを検出する。画素エッジ検出パラメータ計算部１２０では、検出したエッジの位置を、プレエッジ検出部１０９で検出したエッジの位置と比較する。同じ位置にエッジがあった画素の数をＮとし、プレエッジ検出部１０９で検出したエッジの総数をＭとする。ＭとＮが上記式（６）を満たす場合には、ポストエッジ検出部１０６で検出したエッジの位置情報を、ポストフィルタ制御部１０７で使用する。式（６）を満たさない場合には、閾値Ｔ２の値を１減らして上記の工程を繰り返す。
【００６６】
ポストフィルタ制御部１０７は、ポストエッジ検出部１０６で検出したエッジ情報を使い、画素毎にＤ１かＤ２のいずれかを選択しフィルタの特性を変更する。ポスト帯域制限フィルタ部１０５は、変更されたフィルタを使い復号画像を帯域制限する。帯域制限した画像は次のフレームを符号化する際の参照画像に設定される。
【００６７】
エッジ検出パラメータ送信部１１１は、ポストフィルタ制御部１０７で使用するエッジ情報を検出した際の閾値Ｔ２を出力する。送信側多重化部１１７は符号化データと閾値Ｔ２を多重化して出力する。
【００６８】
この実施形態例のように本発明による画像符号化装置では、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができ、プレフィルタで保存したエッジの高周波成分をポストフィルタでも保存し、エッジの視覚的品質を維持することができる。
【００６９】
また、画素エッジ検出パラメータ計算部１２０とポストエッジ検出制御部１０８とポストエッジ検出部１０６とで、ポストフィルタ制御部１０７で使用するエッジ情報を求める際に、次のようにする方法もある。動作フローは図４と同様である。ポストエッジ検出制御部１０８では、予めエッジ検出パラメータとして閾値Ｔ２を、Ｔ２の取りうる最小値である０に設定しておく。このＴ２の値に従ってポストエッジ検出部１０６は復号画像のエッジを検出する。画素エッジ検出パラメータ計算部１２０では、検出したエッジの位置を、プレエッジ検出部１０９で検出したエッジの位置と比較する。同じ位置にエッジがあった画素の数をＮとし、プレエッジ検出部１０９で検出したエッジの総数をＭとする。ＭとＮが上記式（７）を満たす場合には、ポストエッジ検出部１０６で検出したエッジの位置情報を、ポストフィルタ制御部１０７で使用する。式（７）を満たさない場合には、閾値Ｔ２の値を１増やして上記の工程を繰り返す。
【００７０】
この場合には、本実施形態例における画像符号化装置では、プレフィルタにおいてエッジと判定されない画素を、ポストフィルタにおいてエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。
【００７１】
なお、入力画像のエッジ情報と復号画像のエッジ情報から、閾値Ｔ２を逐次変化して求めるのではなく、プレフィルタで用いた閾値Ｔ１から直接Ｔ２を求める方法も可能である。この場合の画像符号化装置の構成を図１０に示す。図９における画素エッジ検出パラメータ計算部１２０の代わりに、エッジ検出パラメータ計算部１１９を備える。エッジ検出パラメータ計算部１１９以外の各部の動作は、上記と同様である。エッジ検出パラメータ計算部１１９では、例えば上記式（８）のように閾値Ｔ１に予め設定した値を乗算してＴ２を求める。この場合には、閾値Ｔ２を逐次求める方法に比べて、閾値Ｔ２を逐次求める作業を省くことができ、より高速に閾値Ｔ１を決定することができる。
【００７２】
続いて画像復号装置の構成と動作の例を示す。上記の画像符号化装置から出力されるデータを復号する場合の構成と動作の例を示す。
【００７３】
図１１は画像復号装置の構成を示す図である。画像復号部１１２、受信側ポスト帯域制限フィルタ部１１４、受信側ポストエッジ検出部１１５、受信側ポストフィルタ制御部１１６、エッジ検出パラメータ受信部１１３の他に、受信するデータから符号化データとエッジ検出パラメータを分解する受信側分解部１１８を備える。
【００７４】
受信側ポストフィルタ制御部１１６には、エッジ画素用のフィルタＤ１、エッジ以外の画素用のフィルタＤ２が設定されており、プレエッジ検出部１０９からのエッジ情報に基づいて、２つのうちいずれかのフィルタを選択する。Ｄ１とＤ２はポストフィルタ制御部１０７に設定されたものと同じとする。
【００７５】
このような前提の下で、受信したデータを復号する際に画像復号装置は次のように動作する。受信側分解部１１８は、受信したデータを符号化データとエッジ検出パラメータに分解する。画像復号部１１２は符号化データを復号する。エッジ検出パラメータ受信部１１３は、エッジ検出パラメータを受信側ポストエッジ検出部１１５に送信する。受信側ポストエッジ検出部１１５は、エッジ検出パラメータに基づいて復号画像のエッジを検出する。受信側ポストフィルタ制御部１１６は、受信側ポストエッジ検出部１１５で検出したエッジ情報を使い、画素毎にＤ１かＤ２のいずれかを選択しフィルタの特性を変更する。受信側ポスト帯域制限フィルタ部１１４は、変更されたフィルタを使い復号画像を帯域制限する。受信側ポスト帯域制限フィルタ部１１４は、帯域制限した画像を出力画像として出力し、次のフレームを復号する際の参照画像に設定する。この実施形態例のように本発明による画像符号化装置と画像復号装置を組み合わせると、符号化側のポストフィルタと復号側のポストフィルタとで、同じ位置にエッジが検出することができ、画像復号装置で正しい復号画像を得ることができる。
【００７６】
〈実施形態例３〉
図１、図５、図８〜図１０で示した画像符号化装置、あるいは図６、図１１で示した画像復号装置における各部の一部もしくは全部での処理とその処理の流れをコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図３、図４で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその処理とその処理の流れを実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したり、配布したりすることが可能である。
【００７７】
【発明の効果】
以上の発明によれば、プレフィルタでエッジと判定されない画素を、ポストフィルタでエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。また、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができ、プレフィルタで保存したエッジの高周波成分をポストフィルタでも保存し、エッジの視覚的品質を維持することができる。
【００７８】
さらに、符号化側のポストフィルタと復号側のポストフィルタとで、同じ位置にエッジが検出することができ、復号側で正しい復号画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態例の画像符号化装置の構成図
【図２】（ａ），（ｂ）は、上記実施形態例の空間フィルタＣ１とＣ２の係数の例を示す図
【図３】本発明の実施形態例におけるポストエッジ検出部とポストフィルタ制御部の動作例１を示す図
【図４】本発明の実施形態例におけるポストエッジ検出部とポストフィルタ制御部の動作例２を示す図
【図５】本発明の第１の実施形態例の画像符号化装置の構成図２
【図６】本発明の第１の実施形態例の画像復号装置の構成図
【図７】（ａ），（ｂ）は、本発明の実施形態例における空間フィルタＤ１とＤ２の係数の例を示す図
【図８】本発明の第１の実施形態例の画像符号化装置の構成図３
【図９】本発明の第２の実施形態例の画像符号化装置の構成図１
【図１０】本発明の第２の実施形態例の画像符号化装置の構成図２
【図１１】本発明の第２の実施形態例の画像復号装置の構成図
【図１２】空間フィルタの例を示す図
【図１３】微分オペレータＧＸの例を示す図
【図１４】微分オペレータＧＹの例を示す図
【符号の説明】
１０１…画像入力部
１０２…プレフィルタ部
１０３…画像符号化部
１０４…局所復号部
１０５…ポスト帯域制限フィルタ部
１０６…ポストエッジ検出部
１０７…ポストフィルタ制御部
１０８…ポストエッジ検出制御部
１０９…プレエッジ検出部
１１０…プレフィルタ制御部
１１１…エッジ検出パラメータ送信部
１１２…画像復号部
１１３…エッジ検出パラメータ受信部
１１４…受信側ポスト帯域制限フィルタ部
１１５…受信側ポストエッジ検出部
１１６…受信側ポストフィルタ制御部
１１７…送信側多重化部
１１８…受信側分解部
１１９…エッジ検出パラメータ計算部
１２０…画素エッジ検出パラメータ計算部

Claims

画像の帯域を制限し、その画像を符号化する動画像の符号化装置において、
画像を取得する画像入力部と、
前記画像入力部にて取得した画像に帯域制限フィルタを適用するプレフィルタ部と、
前記画像入力部にて取得した画像のエッジを、その判断をする対象の画素に対して変化量を求め、変化量が予め設定した閾値Ｔ１よりも大きい場合に、その画素をエッジ画素として検出するプレエッジ検出部と、
前記プレエッジ検出部で得られたエッジ情報から、前記プレフィルタ部にて適用するフィルタの特性を制御するプレフィルタ制御部と、
前記プレフィルタ部からの画像を符号化する画像符号化部と、
前記プレエッジ検出部でエッジを検出するための閾値Ｔ１であるエッジ検出パラメータに閾値Ｔ２＝閾値Ｔ１×Ｃ（Ｃ：予め設定した値）の式の計算を施して、新エッジ検出パラメータを求めるエッジ検出パラメータ計算部と、
前記エッジ検出パラメータ計算部で計算して求めた新エッジ検出パラメータを出力するエッジ検出パラメータ送信部と、を備える
ことを特徴とした画像符号化装置。
画像の帯域を制限し、その画像を符号化する動画像の符号化装置において、
画像を取得する画像入力部と、
前記画像入力部にて取得した画像に帯域制限フィルタを適用するプレフィルタ部と、
前記画像入力部にて取得した画像のエッジを検出するプレエッジ検出部と、
前記プレエッジ検出部で得られたエッジ情報から、前記プレフィルタ部にて適用するフィルタの特性を制御するプレフィルタ制御部と、
前記プレフィルタ部からの画像を符号化する画像符号化部と、
前記画像符号化部で符号化された画像を復号する局所復号部と、
前記局所復号部の復号画像のエッジを検出するポストエッジ検出部と、
前記ポストエッジ検出部でエッジを検出するための閾値であるエッジ検出パラメータを変化させることにより、エッジと判定される画素の数を変化させ、所定の条件と一致する新エッジ検出パラメータを決定する画素エッジ検出パラメータ計算部と、
前記新エッジ検出パラメータを使い、前記ポストエッジ検出部で使用するエッジ検出パラメータを制御するポストエッジ検出制御部と、
前記ポストエッジ検出部で使用したエッジ検出パラメータを出力するエッジ検出パラメータ送信部と、を備える
ことを特徴とした画像符号化装置。
画像の帯域を制限し、その画像をフレーム間予測符号化する動画像の符号化装置において、
画像を取得する画像入力部と、
前記画像入力部にて取得した画像に帯域制限フィルタを適用するプレフィルタ部と、
前記画像入力部にて取得した画像のエッジを検出するプレエッジ検出部と、
前記プレエッジ検出部で得られたエッジ情報から、前記プレフィルタ部にて適用するフィルタの特性を制御するプレフィルタ制御部と、
帯域制限フィルタを適用した復号画像を参照画像にして、前記プレフィルタ部からの画像を符号化する画像符号化部と、
帯域制限フィルタを適用した復号画像を参照画像にして、前記画像符号化部で符号化された画像を復号する局所復号部と、
前記局所復号部の復号画像に前記帯域制限フィルタを適用するポスト帯域制限フィルタ部と、
前記局所復号部の復号画像のエッジを検出するポストエッジ検出部と、
前記ポストエッジ検出部で得られたエッジ情報から、前記ポスト帯域制限フィルタ部にて適用するフィルタの特性を制御するポストフィルタ制御部と、
前記プレエッジ検出部でエッジを検出するための閾値であるエッジ検出パラメータに所定の計算を施して、新エッジ検出パラメータを求めるエッジ検出パラメータ計算部と、
前記新エッジ検出パラメータを使い、前記ポストエッジ検出部で使用するエッジ検出パラメータを制御するポストエッジ検出制御部と、
前記ポストエッジ検出部で使用したエッジ検出パラメータを出力するエッジ検出パラメータ送信部と、を備える
ことを特徴とした画像符号化装置。
前記エッジ検出パラメータ計算部に代えて、
前記ポストエッジ検出部でエッジを検出するための閾値であるエッジ検出パラメータを変化させることにより、エッジと判定される画素の数を変化させ、所定の条件と一致する新エッジ検出パラメータを決定する画素エッジ検出パラメータ計算部を備える
ことを特徴とした請求項３に記載の画像符号化装置。
動画像を符号化した画像を復号する画像復号装置において、
符号化された画像を復号する画像復号部と、
前記画像復号部の復号画像に帯域制限フィルタを適用するポスト帯域制限フィルタ部と、
前記画像復号部の復号画像のエッジを検出するポストエッジ検出部と、
前記ポストエッジ検出部で得られたエッジ情報から、前記ポスト帯域制限フィルタ部にて適用するエッジ画素用のフィルタＤ１かエッジ以外の画素用のフィルタＤ２のいずれかを選択しフィルタの特性を変更するポストフィルタ制御部と、
前記ポストエッジ検出部でエッジを検出するための閾値であるエッジ検出パラメータを受信するエッジ検出パラメータ受信部と、を備える
ことを特徴とした画像復号装置。
動画像をフレーム間予測符号化した画像を復号する画像復号装置において、
符号化された画像を、参照画像を用いて復号する画像復号部と、
前記画像復号部の復号画像に帯域制限フィルタを適用して、帯域制限された画像を次のフレームの前記参照画像に設定するポスト帯域制限フィルタ部と、
前記画像復号部の復号画像のエッジを検出するポストエッジ検出部と、
前記ポストエッジ検出部で得られたエッジ情報から、前記ポスト帯域制限フィルタ部にて適用するフィルタの特性を制御するポストフィルタ制御部と、
前記ポストエッジ検出部でエッジを検出するための閾値であるエッジ検出パラメータを受信するエッジ検出パラメータ受信部と、を備える
ことを特徴とした画像復号装置。
画像の帯域を制限し、その画像を符号化する動画像の符号化方法において、
画像を取得する画像入力ステップと、
前記画像入力ステップにて取得した画像に帯域制限フィルタを適用するプレフィルタステップと、
前記画像入力ステップにて取得した画像のエッジを、その判断をする対象の画素に対して変化量を求め、変化量が予め設定した閾値Ｔ１よりも大きい場合に、その画素をエッジ画素として検出するプレエッジ検出ステップと、
前記プレエッジ検出ステップで得られたエッジ情報から、前記プレフィルタステップにて適用するフィルタの特性を制御するプレフィルタ制御ステップと、
前記プレフィルタステップからの画像を符号化する画像符号化ステップと、
前記プレエッジ検出ステップでエッジを検出するための閾値Ｔ１であるエッジ検出パラメータに閾値Ｔ２＝閾値Ｔ１×Ｃ（Ｃ：予め設定した値）の式の計算を施して、新エッジ検出パラメータを求めるエッジ検出パラメータ計算ステップと、
前記エッジ検出パラメータ計算ステップで計算して求めた新エッジ検出パラメータを出力するエッジ検出パラメータ送信ステップと、を備える
ことを特徴とした画像符号化方法。
画像の帯域を制限し、その画像を符号化する動画像の符号化方法において、
画像を取得する画像入力ステップと、
前記画像入力ステップにて取得した画像に帯域制限フィルタを適用するプレフィルタステップと、
前記画像入力ステップにて取得した画像のエッジを検出するプレエッジ検出ステップと、
前記プレエッジ検出ステップで得られたエッジ情報から、前記プレフィルタステップにて適用するフィルタの特性を制御するプレフィルタ制御ステップと、
前記プレフィルタステップからの画像を符号化する画像符号化ステップと、
前記画像符号化ステップで符号化された画像を復号する局所復号ステップと、
前記局所復号ステップの復号画像のエッジを検出するポストエッジ検出ステップと、
前記ポストエッジ検出ステップでエッジを検出するための閾値であるエッジ検出パラメータを変化させることにより、エッジと判定される画素の数を変化さ、所定の条件と一致する新エッジ検出パラメータを決定する画素エッジ検出パラメータ計算ステップと、
前記新エッジ検出パラメータを使い、前記ポストエッジ検出ステップで使用するエッジ検出パラメータを制御するポストエッジ検出制御ステップと、
前記ポストエッジ検出ステップで使用したエッジ検出パラメータを出力するエッジ検出パラメータ送信ステップと、を備える
ことを特徴とした画像符号化方法。
画像の帯域を制限し、その画像をフレーム間予測符号化方法を用いて符号化する動画像の符号化方法において、
画像を取得する画像入力ステップと、
前記画像入力ステップにて取得した画像に帯域制限フィルタを適用するプレフィルタステップと、
前記画像入力ステップにて取得した画像のエッジを検出するプレエッジ検出ステップと、
前記プレエッジ検出ステップで得られたエッジ情報から、前記プレフィルタステップにて適用するフィルタの特性を制御するプレフィルタ制御ステップと、
帯域制限フィルタを適用した復号画像を参照画像にして、前記プレフィルタステップからの画像を符号化する画像符号化ステップと、
帯域制限フィルタを適用した復号画像を参照画像にして、前記画像符号化ステップで符号化された画像を復号する局所復号ステップと、
前記局所復号ステップの復号画像に帯域制限フィルタを適用するポスト帯域制限フィルタステップと、
前記局所復号ステップの復号画像のエッジを検出するポストエッジ検出ステップと、
前記ポストエッジ検出ステップで得られたエッジ情報から、前記ポスト帯域制限フィルタステップにて適用するフィルタの特性を制御するポストフィルタ制御ステップと、
前記プレエッジ検出ステップでエッジを検出するための閾値であるエッジ検出パラメータに所定の計算を施して、新エッジ検出パラメータを求めるエッジ検出パラメータ計算ステップと、
前記新エッジ検出パラメータを使い前記ポストエッジ検出ステップで使用するエッジ検出パラメータを制御するポストエッジ検出制御ステップと、
前記ポストエッジ検出ステップで使用したエッジ検出パラメータを出力するエッジ検出パラメータ送信ステップと、を備える
ことを特徴とした画像符号化方法。
前記エッジ検出パラメータ計算ステップに代えて、
前記ポストエッジ検出ステップでエッジを検出するための閾値であるエッジ検出パラメータを変化させることにより、エッジと判定される画素の数を変化させ、所定の条件と一致する新エッジ検出パラメータを決定する画素エッジ検出パラメータ計算ステップを備える
ことを特徴とした請求項９に記載の画像符号化方法。
動画像を符号化した画像を復号する画像復号方法において、
符号化された画像を復号する画像復号ステップと、
前記画像復号ステップの復号画像に帯域制限フィルタを適用するポスト帯域制限フィルタステップと、
前記画像復号ステップの復号画像のエッジを検出するポストエッジ検出ステップと、
前記ポストエッジ検出ステップで得られたエッジ情報から、前記ポスト帯域制限フィルタステップにて適用するエッジ画素用のフィルタＤ１かエッジ以外の画素用のフィルタＤ２のいずれかを選択しフィルタの特性を変更するポストフィルタ制御ステップと、
前記ポストエッジ検出ステップでエッジを検出するための閾値であるエッジ検出パラメータを受信するエッジ検出パラメータ受信ステップと、を備える
ことを特徴とした画像復号方法。
動画像をフレーム間予測符号化した画像を復号する復号方法において、
符号化された画像を、参照画像を用いて復号する画像復号ステップと、
前記画像復号ステップの復号画像に帯域制限フィルタを適用して、帯域制限された画像を次のフレームの参照画像に設定するポスト帯域制限フィルタステップと、
前記画像復号ステップの復号画像のエッジを検出するポストエッジ検出ステップと、
前記ポストエッジ検出ステップで得られたエッジ情報から、前記ポスト帯域制限フィルタステップにて適用するフィルタの特性を制御するポストフィルタ制御ステップと、
前記ポストエッジ検出ステップでエッジを検出するための閾値であるエッジ検出パラメータを受信するエッジ検出パラメータ受信ステップと、を備える
ことを特徴とした画像復号方法。
請求項７から請求項１０までのいずれかに記載の画像符号化方法におけるステップをコンピュータに実行させるための画像符号化プログラムを、
前記コンピュータが読み取り可能な記録媒体に記録した
ことを特徴とした画像符号化プログラムを記録した記録媒体。
請求項１１または請求項１２に記載の画像復号方法におけるステップをコンピュータに実行させるための画像復号プログラムを、
前記コンピュータが読み取り可能な記録媒体に記録した
ことを特徴とした画像復号プログラムを記録した記録媒体。
請求項７から請求項１０までのいずれかに記載の画像符号化方法におけるステップをコンピュータに実行させる
ことを特徴とした画像符号化プログラム。
請求項１１または請求項１２に記載の画像復号方法におけるステップをコンピュータに実行させる
ことを特徴とした画像復号プログラム。