JP3702185B2 - Image encoding device, image decoding device, image encoding method, image decoding method, recording medium recording image encoding program, recording medium recording image decoding program, image encoding program, and image decoding program - Google Patents

Description

【０００７】
Ｉ（ｘ，ｙ）：横ｘ、縦ｙの画素における入力画像
Ｏ（ｘ，ｙ）：横ｘ、縦ｙの画素における出力画像
さらに、画面中の画像情報が大きく変化するエッジは、一般的に顕著な視覚的情報を与えることから、エッジを保存しつつ帯域を制限するエッジ保存型フィルタもある。また、エッジの画素とその他の画素とで、周波数特性の異なるフィルタを施す方法も提案されている。このようなフィルタでは、エッジ画素の高周波成分を低減せず、エッジ以外の画素の高周波成分を低減する帯域制限を行う。
【０００８】
エッジ画素とその他の画素とで周波数特性を変更するために、エッジ画素を予め検出しておく方法がある。エッジの検出には１次微分を使う方法と２次微分を使う方法がある。このうち１次微分方法では、エッジの判断をする対象の画素に対して、式（２）（３）（４）に従って変化量Ｚを求め、変化量Ｚが予め設定した値Ｔよりも大きい（式（５））場合に、その画素をエッジ画素と判断する方法がある。式（２）で使用する微分オペレータＧＸの例を図１３に、式（３）で使用する微分オペレータＧＹの例を図１４に示す。関数ＡＢＳは絶対値を求める関数である。
【０００９】
【数２】

【００１０】
Ｉ（ｘ，ｙ）：横ｘ、縦ｙの画素における入力画像
Ｚ＞Ｔ …式（５）
他方、復号器で、復号画像にフィルタを適用して量子化歪みを低減するポストフィルタ方法がある。ポストフィルタ方法には、大きく分けて２種類有り、フィルタを適用した復号画像を出力画像とするだけではなく、次のフレームの参照画像にも用いるループ内ポストフィルタ方法と、参照画像にはフィルタを適用する前の復号画像を用いるループ外ポストフィルタ方法がある。
【００１１】
特に、ループ内ポストフィルタ方法では、動画像符号化で一般的に符号化効率の向上ために用いられているフレーム間予測符号化で、符号化効率の低下を防ぐこともできる。フレーム間予測符号化は、以前に符号化したフレームの復号画像（参照画像と呼ぶ）と現画像との差分（予測誤差と呼ぶ）を離散コサイン変換（ＤＣＴ）する。参照画像に量子化歪みがあると、予測誤差が大きくなり、符号化効率が低下する。ループ内ポストフィルタ方法では、復号画像にフィルタを適用して量子化歪みを低減するため、予測誤差の増加を防ぐことができる。このような現画像との差分を低減する目的で適用するループ内ポストフィルタは、動画像符号化側と復号側の両方に同じものが備えられる。
【００１２】
これらのループ内あるいはループ外ポストフィルタ方法には、復号画像にエッジ保存型帯域制限フィルタを適用する方法がある。これは、エッジ付近に特徴的に現れる量子化歪みであるモスキートノイズを効果的に低減することができる。
【００１３】
プレフィルタ方法と同様に、エッジの画素とその他の画素とで、周波数特性の異なる帯域制限フィルタを施すことにより、エッジを保存しながら高周波成分を削除する方法もある。エッジを保存しながら帯域制限をする場合には、エッジを予め検出する方法がある。エッジは式（２）〜（５）を使って検出することができる。
【００１４】
【発明が解決しようとする課題】
ループ内あるいはループ外ポストフィルタ方法におけるエッジの検出方法やエッジ検出パラメータが、プレフィルタ方法におけるエッジの検出方法やエッジ検出パラメータと異なると、プレフィルタにおいてエッジと判定されない画素を、ループ内あるいはループ外ポストフィルタにおいてエッジと判定する問題が発生する。この場合には、プレフィルタで高周波成分を多く低減したにも関わらず、ループ内あるいはループ外ポストフィルタで高周波が低減されず残ってしまう。そのため、量子化歪みを低減することができないという問題が発生する。
【００１５】
逆に、プレフィルタにおいてエッジと判定された画素を、ループ内あるいはループ外ポストフィルタにおいてエッジと判定しない問題も発生する。この場合には、プレフィルタで保存したエッジの高周波成分を、ループ内あるいはループ外ポストフィルタで削除してしまう。そのため、エッジの視覚的品質が低下してしまうという問題が発生する。
【００１６】
また、符号化側のループ内ポストフィルタと復号側のループ内ポストフィルタとで、異なるエッジ検出方法やエッジ検出パラメータを使うと、符号化側と復号側で異なる位置にエッジが検出される問題が発生する。この場合には、ポストフィルタ後の参照画像が異なり、復号側で正しい復号画像が得られなくなるという問題が発生する。
【００１７】
本発明は、上記の問題点を解決し、量子化歪みを低減することができ、エッジの視覚的品質が維持でき、復号側で正しい復号画像が得られる画像符号化装置と画像復号装置、ならびに画像符号化方法と画像復号方法を提供することを課題とする。
【００１８】
【課題を解決するための手段】
上記の課題を解決するため、本発明による第１の画像符号化装置では、画像の帯域を制限し、その画像を符号化する動画像の符号化装置において、画像を取得する画像入力部と、前記画像入力部にて取得した画像に帯域制限フィルタを適用するプレフィルタ部と、前記画像入力部にて取得した画像のエッジを、その判断をする対象の画素に対して変化量を求め、変化量が予め設定した閾値Ｔ１よりも大きい場合に、その画素をエッジ画素として検出するプレエッジ検出部と、前記プレエッジ検出部で得られたエッジ情報から、前記プレフィルタ部にて適用するフィルタの特性を制御するプレフィルタ制御部と、前記プレフィルタ部からの画像を符号化する画像符号化部と、前記プレエッジ検出部でエッジを検出するための閾値Ｔ１であるエッジ検出パラメータに閾値Ｔ２＝閾値Ｔ１×Ｃ（Ｃ：予め設定した値）の式の計算を施して、新エッジ検出パラメータを求めるエッジ検出パラメータ計算部と、前記エッジ検出パラメータ計算部で計算して求めた新エッジ検出パラメータを出力するエッジ検出パラメータ送信部と、を備えることを特徴とする。
【００１９】
本発明による第２の画像符号化装置では、画像の帯域を制限し、その画像を符号化する動画像の符号化装置において、画像を取得する画像入力部と、前記画像入力部にて取得した画像に帯域制限フィルタを適用するプレフィルタ部と、前記画像入力部にて取得した画像のエッジを検出するプレエッジ検出部と、前記プレエッジ検出部で得られたエッジ情報から、前記プレフィルタ部にて適用するフィルタの特性を制御するプレフィルタ制御部と、前記プレフィルタ部からの画像を符号化する画像符号化部と、前記画像符号化部で符号化された画像を復号する局所復号部と、前記局所復号部の復号画像のエッジを検出するポストエッジ検出部と、前記ポストエッジ検出部でエッジを検出するための閾値であるエッジ検出パラメータを変化させることにより、エッジと判定される画素の数を変化させ、所定の条件と一致する新エッジ検出パラメータを決定する画素エッジ検出パラメータ計算部と、前記新エッジ検出パラメータを使い、前記ポストエッジ検出部で使用するエッジ検出パラメータを制御するポストエッジ検出制御部と、前記ポストエッジ検出部で使用したエッジ検出パラメータを出力するエッジ検出パラメータ送信部と、を備えることを特徴とする。
【００２０】
本発明による第３の画像符号化装置では、画像の帯域を制限し、その画像をフレーム間予測符号化する動画像の符号化装置において、画像を取得する画像入力部と、前記画像入力部にて取得した画像に帯域制限フィルタを適用するプレフィルタ部と、前記画像入力部にて取得した画像のエッジを検出するプレエッジ検出部と、前記プレエッジ検出部で得られたエッジ情報から、前記プレフィルタ部にて適用するフィルタの特性を制御するプレフィルタ制御部と、帯域制限フィルタを適用した復号画像を参照画像にして、前記プレフィルタ部からの画像を符号化する画像符号化部と、帯域制限フィルタを適用した復号画像を参照画像にして、前記画像符号化部で符号化された画像を復号する局所復号部と、前記局所復号部の復号画像に前記帯域制限フィルタを適用するポスト帯域制限フィルタ部と、前記局所復号部の復号画像のエッジを検出するポストエッジ検出部と、前記ポストエッジ検出部で得られたエッジ情報から、前記ポスト帯域制限フィルタ部にて適用するフィルタの特性を制御するポストフィルタ制御部と、前記プレエッジ検出部でエッジを検出するための閾値であるエッジ検出パラメータに所定の計算を施して、新エッジ検出パラメータを求めるエッジ検出パラメータ計算部と、前記新エッジ検出パラメータを使い、前記ポストエッジ検出部で使用するエッジ検出パラメータを制御するポストエッジ検出制御部と、前記ポストエッジ検出部で使用したエッジ検出パラメータを出力するエッジ検出パラメータ送信部と、を備えることを特徴とする。
【００２１】
本発明による第４の画像符号化装置では、前記第３の画像符号化装置において、前記エッジ検出パラメータ計算部に代えて、前記ポストエッジ検出部でエッジを検出するための閾値であるエッジ検出パラメータを変化させることにより、エッジと判定される画素の数を変化させ、所定の条件と一致する新エッジ検出パラメータを決定する画素エッジ検出パラメータ計算部を備えることを特徴とする。
【００２２】
同じく、本発明による第１の画像復号装置では、動画像を符号化した画像を復号する画像復号装置において、符号化された画像を復号する画像復号部と、前記画像復号部の復号画像に帯域制限フィルタを適用するポスト帯域制限フィルタ部と、前記画像復号部の復号画像のエッジを検出するポストエッジ検出部と、前記ポストエッジ検出部で得られたエッジ情報から、前記ポスト帯域制限フィルタ部にて適用するエッジ画素用のフィルタＤ１かエッジ以外の画素用のフィルタＤ２のいずれかを選択しフィルタの特性を変更するポストフィルタ制御部と、前記ポストエッジ検出部でエッジを検出するための閾値であるエッジ検出パラメータを受信するエッジ検出パラメータ受信部と、を備えることを特徴とする。
【００２３】
本発明による第２の画像復号装置では、動画像をフレーム間予測符号化した画像を復号する画像復号装置において、符号化された画像を、参照画像を用いて復号する画像復号部と、前記画像復号部の復号画像に帯域制限フィルタを適用して、帯域制限された画像を次のフレームの前記参照画像に設定するポスト帯域制限フィルタ部と、前記画像復号部の復号画像のエッジを検出するポストエッジ検出部と、前記ポストエッジ検出部で得られたエッジ情報から、前記ポスト帯域制限フィルタ部にて適用するフィルタの特性を制御するポストフィルタ制御部と、前記ポストエッジ検出部でエッジを検出するための閾値であるエッジ検出パラメータを受信するエッジ検出パラメータ受信部と、を備えることを特徴とする。
【００２４】
同じく、本発明による第１の画像符号化方法では、画像の帯域を制限し、その画像を符号化する動画像の符号化方法において、画像を取得する画像入力ステップと、前記画像入力ステップにて取得した画像に帯域制限フィルタを適用するプレフィルタステップと、前記画像入力ステップにて取得した画像のエッジを、その判断をする対象の画素に対して変化量を求め、変化量が予め設定した閾値Ｔ１よりも大きい場合に、その画素をエッジ画素として検出するプレエッジ検出ステップと、前記プレエッジ検出ステップで得られたエッジ情報から、前記プレフィルタステップにて適用するフィルタの特性を制御するプレフィルタ制御ステップと、前記プレフィルタステップからの画像を符号化する画像符号化ステップと、前記プレエッジ検出ステップでエッジを検出するための閾値Ｔ１であるエッジ検出パラメータに閾値Ｔ２＝閾値Ｔ１×Ｃ（Ｃ：予め設定した値）の式の計算を施して、新エッジ検出パラメータを求めるエッジ検出パラメータ計算ステップと、前記エッジ検出パラメータ計算ステップで計算して求めた新エッジ検出パラメータを出力するエッジ検出パラメータ送信ステップと、を備えることを特徴とする。
【００２５】
本発明による第２の画像符号化方法は、画像の帯域を制限し、その画像を符号化する動画像の符号化方法において、画像を取得する画像入力ステップと、前記画像入力ステップにて取得した画像に帯域制限フィルタを適用するプレフィルタステップと、前記画像入力ステップにて取得した画像のエッジを検出するプレエッジ検出ステップと、前記プレエッジ検出ステップで得られたエッジ情報から、前記プレフィルタステップにて適用するフィルタの特性を制御するプレフィルタ制御ステップと、前記プレフィルタステップからの画像を符号化する画像符号化ステップと、前記画像符号化ステップで符号化された画像を復号する局所復号ステップと、前記局所復号ステップの復号画像のエッジを検出するポストエッジ検出ステップと、前記ポストエッジ検出ステップでエッジを検出するための閾値であるエッジ検出パラメータを変化させることにより、エッジと判定される画素の数を変化さ、所定の条件と一致する新エッジ検出パラメータを決定する画素エッジ検出パラメータ計算ステップと、前記新エッジ検出パラメータを使い、前記ポストエッジ検出ステップで使用するエッジ検出パラメータを制御するポストエッジ検出制御ステップと、前記ポストエッジ検出ステップで使用したエッジ検出パラメータを出力するエッジ検出パラメータ送信ステップと、を備えることを特徴とする。
【００２６】
本発明による第３の画像符号化方法では、画像の帯域を制限し、その画像をフレーム間予測符号化方法を用いて符号化する動画像の符号化方法において、画像を取得する画像入力ステップと、前記画像入力ステップにて取得した画像に帯域制限フィルタを適用するプレフィルタステップと、前記画像入力ステップにて取得した画像のエッジを検出するプレエッジ検出ステップと、前記プレエッジ検出ステップで得られたエッジ情報から、前記プレフィルタステップにて適用するフィルタの特性を制御するプレフィルタ制御ステップと、帯域制限フィルタを適用した復号画像を参照画像にして、前記プレフィルタステップからの画像を符号化する画像符号化ステップと、帯域制限フィルタを適用した復号画像を参照画像にして、前記画像符号化ステップで符号化された画像を復号する局所復号ステップと、前記局所復号ステップの復号画像に帯域制限フィルタを適用するポスト帯域制限フィルタステップと、前記局所復号ステップの復号画像のエッジを検出するポストエッジ検出ステップと、前記ポストエッジ検出ステップで得られたエッジ情報から、前記ポスト帯域制限フィルタステップにて適用するフィルタの特性を制御するポストフィルタ制御ステップと、前記プレエッジ検出ステップでエッジを検出するための閾値であるエッジ検出パラメータに所定の計算を施して、新エッジ検出パラメータを求めるエッジ検出パラメータ計算ステップと、前記新エッジ検出パラメータを使い前記ポストエッジ検出ステップで使用するエッジ検出パラメータを制御するポストエッジ検出制御ステップと、前記ポストエッジ検出ステップで使用したエッジ検出パラメータを出力するエッジ検出パラメータ送信ステップと、を備えることを特徴とする。
【００２７】
本発明による第４の画像符号化方法では、前記第３の画像符号化方法において、前記エッジ検出パラメータ計算ステップに代えて、前記ポストエッジ検出ステップでエッジを検出するための閾値であるエッジ検出パラメータを変化させることにより、エッジと判定される画素の数を変化させ、所定の条件と一致する新エッジ検出パラメータを決定する画素エッジ検出パラメータ計算ステップを備えることを特徴とする。
【００２８】
同じく、本発明による第１の画像復号方法では、動画像を符号化した画像を復号する画像復号方法において、符号化された画像を復号する画像復号ステップと、前記画像復号ステップの復号画像に帯域制限フィルタを適用するポスト帯域制限フィルタステップと、前記画像復号ステップの復号画像のエッジを検出するポストエッジ検出ステップと、前記ポストエッジ検出ステップで得られたエッジ情報から、前記ポスト帯域制限フィルタステップにて適用するエッジ画素用のフィルタＤ１かエッジ以外の画素用のフィルタＤ２のいずれかを選択しフィルタの特性を変更するポストフィルタ制御ステップと、前記ポストエッジ検出ステップでエッジを検出するための閾値であるエッジ検出パラメータを受信するエッジ検出パラメータ受信ステップと、を備えることを特徴とする。
【００２９】
本発明による第２の画像復号方法では、動画像をフレーム間予測符号化した画像を復号する復号方法において、符号化された画像を、参照画像を用いて復号する画像復号ステップと、前記画像復号ステップの復号画像に帯域制限フィルタを適用して、帯域制限された画像を次のフレームの参照画像に設定するポスト帯域制限フィルタステップと、前記画像復号ステップの復号画像のエッジを検出するポストエッジ検出ステップと、前記ポストエッジ検出ステップで得られたエッジ情報から、前記ポスト帯域制限フィルタステップにて適用するフィルタの特性を制御するポストフィルタ制御ステップと、前記ポストエッジ検出ステップでエッジを検出するための閾値であるエッジ検出パラメータを受信するエッジ検出パラメータ受信ステップと、を備えることを特徴とする。
【００３０】
以上の画像符号化方法におけるステップは、コンピュータに実行させるための画像符号化プログラムとすることができるとともに、前記画像符号化プログラムを前記コンピュータが読み取り可能な記録媒体に記録することが可能である。
【００３１】
また、以上の画像復号方法におけるステップをコンピュータに実行させるための画像復号プログラムとすることができるとともに、前記画像復号プログラムを前記コンピュータが読み取り可能な記録媒体に記録することが可能である。
【００３２】
本発明による第１の画像符号化装置／方法の発明によれば、プレエッジ検出部／ステップでエッジを検出するための閾値であるエッジ検出パラメータを出力することができる。また、本発明による第１の画像復号装置／方法の発明によれば、復号画像のエッジを検出する際に、受信したエッジ検出パラメータを使用することができる。これにより、本発明による第１の画像復号装置／方法で動画像符号化データを復号する際に、符号化データを作成する際に検出された画素と同じ位置にエッジを検出することができる。従って、プレフィルタでエッジと判定されない画素を、ポストフィルタでエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。また、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができ、プレフィルタで保存したエッジの高周波成分をポストフィルタでも保存し、エッジの視覚的品質を維持することができる。この発明は、フレーム間予測符号化方法を用いた符号化と、フレーム内符号化方法を用いた符号化の両方に適用できる。
【００３３】
本発明による第２の画像符号化装置／方法の発明によれば、プレエッジ検出部／ステップでエッジと検出された画素が、ボストエッジ検出部／ステップでエッジとして検出されるような、エッジ検出パラメータを求めて出力することができる。これにより、本発明による第１の画像符号化装置／方法と同様に、本発明による第１の画像復号装置／方法で動画像符号化データを復号する際に、符号化データを作成する際に検出された画素と同じ位置にエッジを検出することができる。従って、プレフィルタでエッジと判定されない画素を、ポストフィルタでエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。また、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができ、プレフィルタで保存したエッジの高周波成分をポストフィルタでも保存し、エッジの視覚的品質を維持することができる。
【００３４】
ポストエッジ検出制御部／ステップにおけるエッジ検出パラメータの制御は、例えば次のように実現できる。ポストエッジ検出部／ステップで、予め設定したエッジ検出パラメータでエッジを検出する。検出したエッジの位置をプレエッジ検出部／ステップで検出されたエッジの位置と比較し、同じ位置に検出できたエッジの画素数を計測する。この数の、エッジ画素の総数に対する割合が、ある閾値以上であれば、そのエッジ検出パラメータで検出したエッジの画素を使って、実際にポストフィルタ処理を行う。エッジ画素の総数に対する割合が、閾値未満の場合には、エッジ検出パラメータを変更して、再度上記の工程を行う。本発明による第１の画像符号化装置／方法と同様に、この発明は、フレーム間予測符号化方法を用いた符号化と、フレーム内符号化方法を用いた符号化の両方に適用できる。
【００３５】
本発明による第３の画像符号化装置／方法の発明によれば、プレエッジ検出部／ステップでエッジを検出するための閾値であるエッジ検出パラメータから、ポストエッジ検出部／ステップのエッジ検出方法を制御することにより、プレフィルタと同じ画素をエッジと検出することができる。さらに、復号画像を帯域制限した画像を次のフレームの参照画像に適用できる。また、本発明による第２の画像復号装置／方法の発明によれば、復号画像のエッジを検出する際に、受信したエッジ検出パラメータを使用することができる。また。帯域制限した画像を次のフレームの参照画像に設定できる。これにより、本発明による第２の画像復号装置／方法との組み合わせにおいて、プレフィルタでエッジと判定されない画素を、ポストフィルタでエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。また、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができ、プレフィルタで保存したエッジの高周波成分をポストフィルタでも保存し、エッジの視覚的品質を維持することができる。また、量子化歪みのある画像を参照画像にするために生じる予測誤差の増大を防ぎ、符号化効率を向上することができる。
【００３６】
本発明による第４の画像符号化装置／方法の発明によれば、プレエッジ検出部／ステップでエッジと検出された画素が、ポストエッジ検出部／ステップでエッジとして検出されるように、エッジ検出パラメータを制御するとができる。さらに、復号画像を帯域制限した画像を次のフレームの参照画像に適用できる。これにより、本発明による第２の画像復号装置／方法との組み合わせにおいて、プレフィルタでエッジと判定されない画素を、ポストフィルタでエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。また、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができ、プレフィルタで保存したエッジの高周波成分をポストフィルタでも保存し、エッジの視覚的品質を維持することができる。また、量子化歪みのある画像を参照画像にするために生じる予測誤差の増大を防ぎ、符号化効率を向上することができる。
【００３７】
【発明の実施の形態】
以下、本発明の実施形態例を図面を参照して説明する。
【００３８】
〈実施形態例１〉
本発明の第１の実施形態例の画像符号化装置と画像復号装置の構成と動作の例を示す。まず、入力画像をフレーム内符号化する場合であり、ループ外ポストフィルタを適用する場合の構成と動作の例を示す。
【００３９】
画像符号化装置では、局所復号部で復号画像を作り、プレエッジ検出部で検出したエッジ情報を使い、ポストエッジ検出部で復号画像のエッジを検出する。画像復号装置では、符号化データとエッジ検出パラメータを受信し、符号化データを復号した後でエッジ検出パラメータを使ってポストフィルタを適用する。
【００４０】
図１は画像符号化装置の構成を示す図である。画像入力部１０１、プレフィルタ部１０２、プレエッジ検出部１０９、プレフィルタ制御部１１０、画像符号化部１０３、局所復号部１０４、ポストエッジ検出部１０６、ポストエッジ検出制御部１０８、画素エッジ検出パラメータ計算部１２０、エッジ検出パラメータ送信部１１１の他に、フレーム単位に符号化データとエッジ検出パラメータを多重化する送信側多重化部１１７を備える。
【００４１】
プレエッジ検出部１０９と、ポストエッジ検出部１０６で行うエッジ検出は式（２）〜（５）に従って行う。プレエッジ検出部１０９で使用する式（５）の閾値をＴ１とし、Ｔ１を各フレームに対して２０に設定する。
【００４２】
ポストエッジ検出部１０６で使用する式（５）の閾値をＴ２とする。プレフィルタ制御部１１０には、エッジ画素用のフィルタＣ１、エッジ以外の画素用のフィルタＣ２が設定されており、プレエッジ検出部１０９からのエッジ情報に基づいて、２つのうちいずれかのフィルタを選択する。図２（ａ）（ｂ）にＣ１とＣ２における、式（１）の係数を示す。
【００４３】
このような前提の下で、各画素が０から２５５までの値の画像情報となる動画像を符号化する際に、画像符号化装置は次のように動作する。まず画像入力部１０１は１フレーム分の画像情報を取得する。画像入力部１０１から得られた現フレームの画像情報に対して、プレエッジ検出部１０９は閾値Ｔ１を使いエッジを検出する。プレフィルタ部１０２でフィルタを適用し帯域制限をする。この際に、プレフィルタ制御部１１０は、プレエッジ検出部１０９で検出した各画素のエッジ情報を使って、画素毎にＣ１かＣ２のいずれかを選択しフィルタの特性を変更する。画像符号化部１０３はプレフィルタ部１０２で帯域制限された画像を入力画像として符号化する。符号化データを局所復号部１０４にて復号する。
【００４４】
画素エッジ検出パラメータ計算部１２０とポストエッジ検出制御部１０８とポストエッジ検出部１０６とで、復号画像のエッジ情報を求める方法を次に示す。動作フローを図３に示す。ポストエッジ検出制御部１０８では、予めエッジ検出パラメータとして閾値Ｔ２を、Ｔ２の取りうる最大値である５１０に設定しておく。このＴ２の値に従ってポストエッジ検出部１０６は復号画像のエッジを検出する。画素エッジ検出パラメータ計算部１２０では、検出したエッジの位置を、プレエッジ検出部１０９で検出したエッジの位置と比較する。同じ位置にエッジがあった画素の数をＮとし、プレエッジ検出部１０９で検出したエッジの総数をＭとする。ＭとＮが式（６）を満たす場合には、ポストエッジ検出部１０６で検出したエッジの位置情報を、復号画像のエッジ情報として決定する。式（６）を満たさない場合には、閾値Ｔ２の値を１減らして上記の工程を繰り返す。
【００４５】
Ｎ＞Ｍ×８０／１００ …式（６）
エッジ検出パラメータ送信部１１１は、復号画像のエッジ情報を決定した時の閾値Ｔ２を出力する。送信側多重化部１１７は符号化データと閾値Ｔ２を多重化して出力する。
【００４６】
この実施形態例のように本発明による画像符号化装置では、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができる。
【００４７】
また、画素エッジ検出パラメータ計算部１２０とポストエッジ検出制御部１０８とポストエッジ検出部１０６とで、復号画像のエッジ情報を決定する際に、次のようにする方法もある、動作フローを図４に示す。ポストエッジ検出制御部１０８では、予めエッジ検出パラメータとして閾値Ｔ２を、Ｔ２の取りうる最小値である０に設定しておく。このＴ２の値に従ってポストエッジ検出部１０６は復号画像のエッジを検出する。画素エッジ検出パラメータ計算部１２０では、検出したエッジの位置を、プレエッジ検出部１０９で検出したエッジの位置と比較する。同じ位置にエッジがあった画素の数をＮとし、プレエッジ検出部１０９で検出したエッジの総数をＭとする。ＭとＮが式（７）を満たす場合には、ポストエッジ検出部１０６で検出したエッジの位置情報を、ポストフィルタ制御部１０７で使用する。式（７）を満たさない場合には、閾値Ｔ２の値を１増やして上記の工程を繰り返す。
【００４８】
Ｎ＜Ｍ …式（７）
この場合には、本実施形態例における画像符号化装置では、プレフィルタにおいてエッジと判定されない画素を、画像復号装置のポストフィルタにおいてエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。
【００４９】
なお、入力画像のエッジ情報と復号画像のエッジ情報から、閾値Ｔ２を逐次変化して求めるのではなく、プレフィルタで用いた閾値Ｔ１から直接Ｔ２を求める方法も可能である。この場合の画像符号化装置の構成を図５に示す。画像入力部１０１、プレフィルタ部１０２、プレエッジ検出部１０９、プレフィルタ制御部１１０、画像符号化部１０３、エッジ検出パラメータ計算部１１９、エッジ検出パラメータ送信部１１１の他に、フレーム単位に符号化データとエッジ検出パラメータを多重化する送信側多重化部１１７を備える。プレフィルタ部１０２、プレエッジ検出部１０９、プレフィルタ制御部１１０の動作は上記と同様である。このうち、エッジ検出パラメータ計算部１１９では、例えば式（８）のように閾値Ｔ１に予め設定した値を乗算してＴ２を求める。この場合には、閾値Ｔ２を逐次求める方法に比べて、閾値Ｔ２を逐次求める作業を省くことができ、より高速に閾値Ｔ１を決定することができる。
【００５０】
Ｔ２＝Ｔ１×Ｃ（Ｃは定数） …式（８）
続いて画像復号装置の構成と動作の例を示す。上記の画像符号化装置から出力されるデータを復号する場合の構成と動作の例を示す。
【００５１】
図６は画像復号装置の構成を示す図である。画像復号部１１２、受信側ポスト帯域制限フィルタ部１１４、受信側ポストエッジ検出部１１５、受信側ポストフィルタ制御部１１６、エッジ検出パラメータ受信部１１３の他に、受信するデータから符号化データとエッジ検出パラメータを分解する受信側分解部１１８を備える。受信側ポストフィルタ制御部１１６には、エッジ画素用のフィルタＤ１、エッジ以外の画素用のフィルタＤ２が設定されており、受信側ポストエッジ検出部１１５からのエッジ情報に基づいて、２つのうちいずれかのフィルタを選択する。図７（ａ）（ｂ）にＤ１とＤ２における、式（１）の係数を示す。
【００５２】
このような前提の下で、受信したデータを復号する際に画像復号装置は次のように動作する。
【００５３】
受信側分解部１１８は、受信したデータを符号化データとエッジ検出パラメータに分解する。画像復号部１１２は符号化データを復号する。エッジ検出パラメータ受信部１１３は、エッジ検出パラメータを受信側ポストエッジ検出部１１５に送信する。受信側ポストエッジ検出部１１５は、エッジ検出パラメータに基づいて復号画像のエッジを検出する。受信側ポストフィルタ制御部１１６は、受信側ポストエッジ検出部１１５で検出したエッジ情報を使い、画素毎にＤ１かＤ２のいずれかを選択しフィルタの特性を変更する。受信側ポスト帯域制限フィルタ部１１４は、変更されたフィルタを使い復号画像を帯域制限する。受信側ポスト帯域制限フィルタ部１１４は、帯域制限した画像を出力画像として出力する。
【００５４】
この実施形態例のように本発明による画像符号化装置と画像復号装置を組み合わせると、符号化側のポストフィルタと復号側のポストフィルタとで、同じ位置にエッジが検出することができ、画像復号装置で正しい復号画像を得ることができる。
【００５５】
同様な構成を、入力画像をフレーム間予測符号化する場合であり、ループ外ポストフィルタを適用する場合においても適用できる。画素エッジ検出パラメータ計算部１２０を使う場合における、画像符号化装置の構成は図１と同じである。フレーム内符号化の場合と異なり、局所復号部１０４で作成される復号画像を参照画像に設定する。他の各部はフレーム内符号化の場合と同じ動作をすることが可能である。対応する画像復号装置の構成も図６と同様である。画像復号部１１２では、前フレームの復号画像を保持しておき、これを参照画像にしてフレーム間予測符号化の符号化データを復号する。
【００５６】
また、エッジ検出パラメータ計算部１１９を使う方法も適用できる。この場合の画像符号化装置の構成は図８のようになる。フレーム内符号化方式の場合と異なり、符号化データを復号する局所復号部１０４を備える。ここで作成される復号画像を参照画像に設定する。他の各部はフレーム内符号化の場合と同じ動作をする。対応する画像復号装置の構成も図６と同様であり、画像復号部１１２では、前フレームの復号画像を保持しておき、これを参照画像にしてフレーム間予測符号化の符号化データを復号する。
【００５７】
このように、フレーム間予測符号化をする場合においても、画像復号装置でループ外ポストフィルタを適用するにあたり、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができる。また、プレフィルタにおいてエッジと判定されない画素を、画像復号装置のポストフィルタにおいてエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。
【００５８】
〈実施形態例２〉
本発明の第２の実施形態例の画像符号化装置と画像復号装置の構成と動作の例を示す。第２の実施形態例はフレーム間予測符号化方法を用いた場合であり、ループ内ポストフィルタを用いた場合の構成と動作の例である。
【００５９】
画像符号化装置では、プレエッジ検出部１０９で検出したエッジ情報を使い、ポストエッジ検出部１０６でエッジを検出しポストフィルタを制御する。さらに、画像符号化装置がエッジ検出パラメータを出力する。画像復号装置では、符号化データとエッジ検出パラメータを受信し、符号化データを復号した後でエッジ検出パラメータを使ってポストフィルタを適用する。
【００６０】
図９は画像符号化装置の構成を示す図である。画像入力部１０１、プレフィルタ部１０２、プレエッジ検出部１０９、プレフィルタ制御部１１０、画像符号化部１０３、局所復号部１０４、ポスト帯域制限フィルタ部１０５、ポストエッジ検出部１０６、ポストフィルタ制御部１０７、ポストエッジ検出制御部１０８、画素エッジ検出パラメータ計算部１２０、エッジ検出パラメータ送信部１１１の他に、フレーム単位に符号化データとエッジ検出パラメータを多重化する送信側多重化部１１７を備える。
【００６１】
プレエッジ検出部１０９と、ポストエッジ検出部１０６で行うエッジ検出は式（２）〜（５）に従って行う。プレエッジ検出部１０９で使用する式（５）の閾値をＴ１とし、Ｔ１を各フレームに対して２０に設定する。ポストエッジ検出部１０６で使用する式（５）の閾値をＴ２とする。
【００６２】
プレフィルタ制御部１１０には、エッジ画素用のフィルタＣ１、エッジ以外の画素用のフィルタＣ２が設定されており、プレエッジ検出部１０９からのエッジ情報に基づいて、２つのうちいずれかのフィルタを選択する。Ｃ１とＣ２における、式（１）の係数は図２と同様である。ポストフィルタ制御部１０７には、エッジ画素用のフィルタＤ１、エッジ以外の画素用のフィルタＤ２が設定されており、プレエッジ検出部１０９からのエッジ情報に基づいて、２つのうちいずれかのフィルタを選択する。Ｄ１とＤ２における、式（１）の係数は図７と同様である。
【００６３】
このような前提の下で、各画素が０から２５５までの値の画像情報となる動画像を符号化する際に、画像符号化装置は次のように動作する。
【００６４】
まず画像入力部１０１は１フレーム分の画像情報を取得する。画像入力部１０１から得られた現フレームの画像情報に対して、プレエッジ検出部１０９は閾値Ｔ１を使いエッジを検出する。プレフィルタ部１０２でフィルタを適用し帯域制限をする。この際に、プレフィルタ制御部１１０は、プレエッジ検出部１０９で検出した各画素のエッジ情報を使って、画素毎にＣ１かＣ２のいずれかを選択しフィルタの特性を変更する。画像符号化部１０３はプレフィルタ部１０２で帯域制限された画像を入力画像として符号化する。符号化データを局所復号部１０４にて復号する。
【００６５】
画素エッジ検出パラメータ計算部１２０とポストエッジ検出制御部１０８とポストエッジ検出部１０６とで、ポストフィルタ制御部１０７で使用するエッジ情報を求める方法を次に示す。動作フローは図３と同様である。ポストエッジ検出制御部１０８では、予めエッジ検出パラメータとして閾値Ｔ２を、Ｔ２の取りうる最大値である５１０に設定しておく。このＴ２の値に従ってポストエッジ検出部１０６は復号画像のエッジを検出する。画素エッジ検出パラメータ計算部１２０では、検出したエッジの位置を、プレエッジ検出部１０９で検出したエッジの位置と比較する。同じ位置にエッジがあった画素の数をＮとし、プレエッジ検出部１０９で検出したエッジの総数をＭとする。ＭとＮが上記式（６）を満たす場合には、ポストエッジ検出部１０６で検出したエッジの位置情報を、ポストフィルタ制御部１０７で使用する。式（６）を満たさない場合には、閾値Ｔ２の値を１減らして上記の工程を繰り返す。
【００６６】
ポストフィルタ制御部１０７は、ポストエッジ検出部１０６で検出したエッジ情報を使い、画素毎にＤ１かＤ２のいずれかを選択しフィルタの特性を変更する。ポスト帯域制限フィルタ部１０５は、変更されたフィルタを使い復号画像を帯域制限する。帯域制限した画像は次のフレームを符号化する際の参照画像に設定される。
【００６７】
エッジ検出パラメータ送信部１１１は、ポストフィルタ制御部１０７で使用するエッジ情報を検出した際の閾値Ｔ２を出力する。送信側多重化部１１７は符号化データと閾値Ｔ２を多重化して出力する。
【００６８】
この実施形態例のように本発明による画像符号化装置では、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができ、プレフィルタで保存したエッジの高周波成分をポストフィルタでも保存し、エッジの視覚的品質を維持することができる。
【００６９】
また、画素エッジ検出パラメータ計算部１２０とポストエッジ検出制御部１０８とポストエッジ検出部１０６とで、ポストフィルタ制御部１０７で使用するエッジ情報を求める際に、次のようにする方法もある。動作フローは図４と同様である。ポストエッジ検出制御部１０８では、予めエッジ検出パラメータとして閾値Ｔ２を、Ｔ２の取りうる最小値である０に設定しておく。このＴ２の値に従ってポストエッジ検出部１０６は復号画像のエッジを検出する。画素エッジ検出パラメータ計算部１２０では、検出したエッジの位置を、プレエッジ検出部１０９で検出したエッジの位置と比較する。同じ位置にエッジがあった画素の数をＮとし、プレエッジ検出部１０９で検出したエッジの総数をＭとする。ＭとＮが上記式（７）を満たす場合には、ポストエッジ検出部１０６で検出したエッジの位置情報を、ポストフィルタ制御部１０７で使用する。式（７）を満たさない場合には、閾値Ｔ２の値を１増やして上記の工程を繰り返す。
【００７０】
この場合には、本実施形態例における画像符号化装置では、プレフィルタにおいてエッジと判定されない画素を、ポストフィルタにおいてエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。
【００７１】
なお、入力画像のエッジ情報と復号画像のエッジ情報から、閾値Ｔ２を逐次変化して求めるのではなく、プレフィルタで用いた閾値Ｔ１から直接Ｔ２を求める方法も可能である。この場合の画像符号化装置の構成を図１０に示す。図９における画素エッジ検出パラメータ計算部１２０の代わりに、エッジ検出パラメータ計算部１１９を備える。エッジ検出パラメータ計算部１１９以外の各部の動作は、上記と同様である。エッジ検出パラメータ計算部１１９では、例えば上記式（８）のように閾値Ｔ１に予め設定した値を乗算してＴ２を求める。この場合には、閾値Ｔ２を逐次求める方法に比べて、閾値Ｔ２を逐次求める作業を省くことができ、より高速に閾値Ｔ１を決定することができる。
【００７２】
続いて画像復号装置の構成と動作の例を示す。上記の画像符号化装置から出力されるデータを復号する場合の構成と動作の例を示す。
【００７３】
図１１は画像復号装置の構成を示す図である。画像復号部１１２、受信側ポスト帯域制限フィルタ部１１４、受信側ポストエッジ検出部１１５、受信側ポストフィルタ制御部１１６、エッジ検出パラメータ受信部１１３の他に、受信するデータから符号化データとエッジ検出パラメータを分解する受信側分解部１１８を備える。
【００７４】
受信側ポストフィルタ制御部１１６には、エッジ画素用のフィルタＤ１、エッジ以外の画素用のフィルタＤ２が設定されており、プレエッジ検出部１０９からのエッジ情報に基づいて、２つのうちいずれかのフィルタを選択する。Ｄ１とＤ２はポストフィルタ制御部１０７に設定されたものと同じとする。
【００７５】
このような前提の下で、受信したデータを復号する際に画像復号装置は次のように動作する。受信側分解部１１８は、受信したデータを符号化データとエッジ検出パラメータに分解する。画像復号部１１２は符号化データを復号する。エッジ検出パラメータ受信部１１３は、エッジ検出パラメータを受信側ポストエッジ検出部１１５に送信する。受信側ポストエッジ検出部１１５は、エッジ検出パラメータに基づいて復号画像のエッジを検出する。受信側ポストフィルタ制御部１１６は、受信側ポストエッジ検出部１１５で検出したエッジ情報を使い、画素毎にＤ１かＤ２のいずれかを選択しフィルタの特性を変更する。受信側ポスト帯域制限フィルタ部１１４は、変更されたフィルタを使い復号画像を帯域制限する。受信側ポスト帯域制限フィルタ部１１４は、帯域制限した画像を出力画像として出力し、次のフレームを復号する際の参照画像に設定する。この実施形態例のように本発明による画像符号化装置と画像復号装置を組み合わせると、符号化側のポストフィルタと復号側のポストフィルタとで、同じ位置にエッジが検出することができ、画像復号装置で正しい復号画像を得ることができる。
【００７６】
〈実施形態例３〉
図１、図５、図８〜図１０で示した画像符号化装置、あるいは図６、図１１で示した画像復号装置における各部の一部もしくは全部での処理とその処理の流れをコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図３、図４で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその処理とその処理の流れを実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したり、配布したりすることが可能である。
【００７７】
【発明の効果】
以上の発明によれば、プレフィルタでエッジと判定されない画素を、ポストフィルタでエッジと判定することにより発生する、ポストフィルタで量子化歪みを低減できない問題を避けることができる。また、プレフィルタでエッジと判定された画素を、ポストフィルタでエッジと判定することができ、プレフィルタで保存したエッジの高周波成分をポストフィルタでも保存し、エッジの視覚的品質を維持することができる。
【００７８】
さらに、符号化側のポストフィルタと復号側のポストフィルタとで、同じ位置にエッジが検出することができ、復号側で正しい復号画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態例の画像符号化装置の構成図
【図２】（ａ），（ｂ）は、上記実施形態例の空間フィルタＣ１とＣ２の係数の例を示す図
【図３】本発明の実施形態例におけるポストエッジ検出部とポストフィルタ制御部の動作例１を示す図
【図４】本発明の実施形態例におけるポストエッジ検出部とポストフィルタ制御部の動作例２を示す図
【図５】本発明の第１の実施形態例の画像符号化装置の構成図２
【図６】本発明の第１の実施形態例の画像復号装置の構成図
【図７】（ａ），（ｂ）は、本発明の実施形態例における空間フィルタＤ１とＤ２の係数の例を示す図
【図８】本発明の第１の実施形態例の画像符号化装置の構成図３
【図９】本発明の第２の実施形態例の画像符号化装置の構成図１
【図１０】本発明の第２の実施形態例の画像符号化装置の構成図２
【図１１】本発明の第２の実施形態例の画像復号装置の構成図
【図１２】空間フィルタの例を示す図
【図１３】微分オペレータＧＸの例を示す図
【図１４】微分オペレータＧＹの例を示す図
【符号の説明】
１０１…画像入力部
１０２…プレフィルタ部
１０３…画像符号化部
１０４…局所復号部
１０５…ポスト帯域制限フィルタ部
１０６…ポストエッジ検出部
１０７…ポストフィルタ制御部
１０８…ポストエッジ検出制御部
１０９…プレエッジ検出部
１１０…プレフィルタ制御部
１１１…エッジ検出パラメータ送信部
１１２…画像復号部
１１３…エッジ検出パラメータ受信部
１１４…受信側ポスト帯域制限フィルタ部
１１５…受信側ポストエッジ検出部
１１６…受信側ポストフィルタ制御部
１１７…送信側多重化部
１１８…受信側分解部
１１９…エッジ検出パラメータ計算部
１２０…画素エッジ検出パラメータ計算部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image encoding device to which a post-processing filter is applied, which limits the band of an image signal in moving image encoding, and its decoding device, as well as an image encoding method and its decoding method.
[0002]
[Prior art]
In general, moving picture coding such as MPEG-2, DCT (discrete cosine transform) is applied to image information, and the coefficient is quantized. This quantization can improve the coding efficiency, but on the other hand, distortion (quantization distortion) peculiar to the decoded image is generated. This quantization distortion degrades the image quality.
[0003]
In order to reduce such quantization distortion, a band is limited by previously filtering an image before encoding. this is Prefilter Called the method. In general, since the high frequency component of an image has little influence on the visual sense, the high efficiency is particularly limited by a filter, thereby improving the coding efficiency without causing visual degradation. In general, the greater the amount that limits the high frequency, the more the quantization distortion can be reduced.
[0004]
Filters that limit the band include a spatial filter that uses correlation between pixels in the screen and a time filter that uses correlation between pixels between frames.
[0005]
Among these, one of the spatial filters is a moving average filter. In this filter, as shown in FIG. 12, a square area of N pixels in the vertical direction and N pixels in the horizontal direction (N taps) centering on the pixel to be obtained is set, and the image information of the pixels included in the square is expressed by equation (1). ) To obtain the image information of the pixel. By applying this process to each pixel in the screen, a moving average filter is applied to the entire screen. The frequency characteristic of this filter is characterized by the number of taps N and the weighting coefficient W, and the visual characteristic after band limitation depends on these values. In general, the larger the tap number N, the wider the average of the pixels, so that the difference between adjacent pixels decreases, and higher frequency components are eliminated.
[0006]
[Expression 1]

[0007]
I (x, y): input image in horizontal x and vertical y pixels
O (x, y): Output image in horizontal x and vertical y pixels
Furthermore, an edge in which image information in the screen changes greatly gives generally remarkable visual information. Therefore, there is an edge preserving filter that limits the band while preserving the edge. There has also been proposed a method of applying filters having different frequency characteristics between edge pixels and other pixels. Such a filter does not reduce the high-frequency component of the edge pixel, but performs band limitation to reduce the high-frequency component of the pixels other than the edge.
[0008]
In order to change the frequency characteristics between the edge pixel and other pixels, there is a method of detecting the edge pixel in advance. There are two methods for detecting edges: a method using primary differentiation and a method using secondary differentiation. Of these, in the first-order differentiation method, the amount of change Z is obtained according to the equations (2), (3), and (4) for the pixel for which the edge is determined, and the amount of change Z is larger than a preset value T ( In the case of Expression (5), there is a method of determining the pixel as an edge pixel. An example of the differential operator GX used in equation (2) is shown in FIG. 13, and an example of the differential operator GY used in equation (3) is shown in FIG. The function ABS is a function for obtaining an absolute value.
[0009]
[Expression 2]

[0010]
I (x, y): input image in horizontal x and vertical y pixels
Z> T ... Formula (5)
On the other hand, there is a post-filter method in which a decoder applies a filter to a decoded image to reduce quantization distortion. There are roughly two types of post-filter methods. In addition to using a decoded image to which a filter is applied as an output image, an in-loop post-filter method used for a reference image of the next frame, and a filter for the reference image There is a post-loop post-filter method that uses a decoded image before application.
[0011]
In particular, in the intra-loop post filter method, it is possible to prevent a decrease in coding efficiency by inter-frame predictive coding which is generally used for improving coding efficiency in moving picture coding. In inter-frame predictive coding, a difference (referred to as a prediction error) between a decoded image (referred to as a reference image) and a current image of a previously coded frame is subjected to discrete cosine transform (DCT). If there is quantization distortion in the reference image, the prediction error increases and the coding efficiency decreases. In the in-loop post-filter method, since a quantization distortion is reduced by applying a filter to a decoded image, an increase in prediction error can be prevented. The same in-loop post filter applied for the purpose of reducing the difference from the current image is provided on both the moving image encoding side and the decoding side.
[0012]
Among these in-loop or out-of-loop post filter methods, there is a method of applying an edge preserving band-limiting filter to a decoded image. This can effectively reduce mosquito noise, which is a quantization distortion characteristically appearing near the edge.
[0013]
Prefilter Similar to the method, there is a method in which high-frequency components are deleted while preserving edges by applying band limiting filters having different frequency characteristics between edge pixels and other pixels. When band limiting is performed while preserving edges, there is a method of detecting edges in advance. Edges can be detected using equations (2)-(5).
[0014]
[Problems to be solved by the invention]
The edge detection method and edge detection parameters in the in-loop or out-of-loop post filter method are: Prefilter If the method is different from the edge detection method and the edge detection parameter, there is a problem that a pixel that is not determined to be an edge in the pre-filter is determined to be an edge in the post-loop or the non-loop post filter. In this case, although the high frequency component is greatly reduced by the pre-filter, the high frequency remains without being reduced by the post filter inside the loop or outside the loop. Therefore, there arises a problem that quantization distortion cannot be reduced.
[0015]
On the other hand, there also arises a problem that a pixel determined as an edge in the pre-filter is not determined as an edge in the post-loop or out-of-loop post filter. In this case, the high-frequency component of the edge stored by the prefilter is deleted by the in-loop or out-of-loop post filter. Therefore, there arises a problem that the visual quality of the edge is deteriorated.
[0016]
Also, if different edge detection methods and edge detection parameters are used for the in-loop post filter on the encoding side and the post-in-loop post filter on the decoding side, there is a problem that edges are detected at different positions on the encoding side and the decoding side. appear. In this case, there is a problem that the reference image after the post-filter is different and a correct decoded image cannot be obtained on the decoding side.
[0017]
The present invention solves the above-described problems, can reduce quantization distortion, maintain the visual quality of edges, and can obtain a correct decoded image on the decoding side, and an image decoding device, and It is an object to provide an image encoding method and an image decoding method.
[0018]
[Means for Solving the Problems]
In order to solve the above problems, in the first image encoding device according to the present invention, an image input unit that acquires an image in the moving image encoding device that limits the band of an image and encodes the image; A pre-filter unit that applies a band limiting filter to the image acquired by the image input unit; and an edge of the image acquired by the image input unit. The amount of change is obtained for the pixel to be determined, and when the amount of change is larger than a preset threshold value T1, the pixel is set as an edge pixel. The pre-edge detection unit to detect, the pre-filter control unit for controlling the characteristics of the filter applied in the pre-filter unit, and the image from the pre-filter unit from the edge information obtained by the pre-edge detection unit Threshold value for detecting an edge by the image encoding unit and the pre-edge detection unit T1 The edge detection parameter is Formula of threshold T2 = threshold T1 × C (C: preset value) An edge detection parameter calculation unit for calculating a new edge detection parameter and an edge detection parameter transmission unit for outputting the new edge detection parameter calculated by the edge detection parameter calculation unit. And
[0019]
In the second image encoding device according to the present invention, in the moving image encoding device that limits the band of the image and encodes the image, the image input unit that acquires the image and the image input unit that acquires the image From the pre-filter unit that applies a band limiting filter to the image, the pre-edge detection unit that detects the edge of the image obtained by the image input unit, and the edge information obtained by the pre-edge detection unit, the pre-filter unit A prefilter control unit that controls characteristics of a filter to be applied; an image encoding unit that encodes an image from the prefilter unit; a local decoding unit that decodes an image encoded by the image encoding unit; A post-edge detection unit that detects an edge of a decoded image of the local decoding unit, and an edge detection parameter that is a threshold for detecting an edge by the post-edge detection unit is changed. By changing the number of pixels determined as edges, a pixel edge detection parameter calculation unit that determines a new edge detection parameter that matches a predetermined condition, and the post edge detection unit using the new edge detection parameter A post edge detection control unit that controls an edge detection parameter to be used, and an edge detection parameter transmission unit that outputs an edge detection parameter used in the post edge detection unit.
[0020]
In a third image encoding device according to the present invention, in a moving image encoding device that limits an image band and performs interframe predictive encoding on the image, an image input unit that acquires an image, and the image input unit A pre-filter unit that applies a band limiting filter to the acquired image, a pre-edge detection unit that detects an edge of the image acquired by the image input unit, and edge information obtained by the pre-edge detection unit. A pre-filter control unit that controls characteristics of a filter applied in a unit, an image encoding unit that encodes an image from the pre-filter unit using a decoded image to which a band-limiting filter is applied as a reference image, and band limitation Using the decoded image to which the filter is applied as a reference image, a local decoding unit that decodes the image encoded by the image encoding unit, and the decoded image of the local decoding unit in the band A post-band limiting filter unit that applies a limiting filter, a post-edge detecting unit that detects an edge of a decoded image of the local decoding unit, and edge information obtained by the post-edge detecting unit, to the post-band limiting filter unit Post-filter control unit that controls the characteristics of the filter to be applied, and edge detection parameter calculation that obtains a new edge detection parameter by performing predetermined calculation on the edge detection parameter that is a threshold for detecting an edge in the pre-edge detection unit A post-edge detection control unit for controlling an edge detection parameter used in the post-edge detection unit using the new edge detection parameter, and an edge detection parameter transmission for outputting the edge detection parameter used in the post-edge detection unit And a section.
[0021]
In the fourth image encoding device according to the present invention, in the third image encoding device, an edge detection parameter which is a threshold for detecting an edge by the post edge detection unit instead of the edge detection parameter calculation unit. By changing the number of pixels determined to be edges, and a pixel edge detection parameter calculation unit that determines a new edge detection parameter that matches a predetermined condition.
[0022]
Similarly, in the first image decoding device according to the present invention, an image decoding device that decodes an image obtained by encoding a moving image, an image decoding unit that decodes the encoded image, and a band in the decoded image of the image decoding unit. A post-band limiting filter unit that applies a limiting filter, a post-edge detecting unit that detects an edge of a decoded image of the image decoding unit, and edge information obtained by the post-edge detecting unit, to the post-band limiting filter unit Apply Select either the edge pixel filter D1 or the pixel filter D2 other than the edge to change the filter characteristics. A post filter control unit; and an edge detection parameter receiving unit that receives an edge detection parameter that is a threshold for detecting an edge by the post edge detection unit.
[0023]
In a second image decoding device according to the present invention, in an image decoding device that decodes an image obtained by performing interframe prediction encoding of a moving image, an image decoding unit that decodes the encoded image using a reference image, and the image A post-band limiting filter unit that applies a band-limiting filter to the decoded image of the decoding unit and sets the band-limited image as the reference image of the next frame, and a post that detects an edge of the decoded image of the image decoding unit From the edge information obtained by the edge detection unit, the post-edge detection unit, a post-filter control unit that controls the characteristics of the filter applied by the post-band limiting filter unit, and the post-edge detection unit detects an edge And an edge detection parameter receiving unit that receives an edge detection parameter that is a threshold for the purpose.
[0024]
Similarly, in the first image encoding method according to the present invention, in the moving image encoding method for limiting the band of an image and encoding the image, an image input step of acquiring an image, and the image input step A pre-filtering step for applying a band limiting filter to the acquired image; and an edge of the image acquired in the image input step. The amount of change is obtained for the pixel to be determined, and when the amount of change is larger than a preset threshold value T1, the pixel is set as an edge pixel. A pre-edge detection step for detecting, a pre-filter control step for controlling characteristics of a filter applied in the pre-filter step, and an image from the pre-filter step are encoded from the edge information obtained in the pre-edge detection step. Threshold value for detecting an edge in the image encoding step and the pre-edge detection step T1 The edge detection parameter is Formula of threshold T2 = threshold T1 × C (C: preset value) An edge detection parameter calculation step for obtaining a new edge detection parameter by performing the calculation of; and an edge detection parameter transmission step for outputting the new edge detection parameter obtained by the calculation in the edge detection parameter calculation step. And
[0025]
According to a second image encoding method of the present invention, an image input step for acquiring an image and an image input step for acquiring the image in the moving image encoding method for limiting the band of the image and encoding the image are obtained in the image input step. A pre-filtering step for applying a band limiting filter to the image, a pre-edge detecting step for detecting an edge of the image acquired in the image input step, and edge information obtained in the pre-edge detecting step, A prefilter control step for controlling the characteristics of the filter to be applied; an image encoding step for encoding an image from the prefilter step; and a local decoding step for decoding the image encoded in the image encoding step; A post-edge detection step for detecting an edge of a decoded image in the local decoding step; Pixel edge detection that changes the number of pixels that are determined as edges by changing the edge detection parameters that are threshold values for detecting edges in the edge detection step, and determines new edge detection parameters that match a predetermined condition A parameter calculation step, a post-edge detection control step for controlling an edge detection parameter used in the post-edge detection step using the new edge detection parameter, and an edge detection for outputting the edge detection parameter used in the post-edge detection step And a parameter transmission step.
[0026]
In a third image encoding method according to the present invention, an image input step for acquiring an image in a moving image encoding method that limits an image band and encodes the image using an inter-frame predictive encoding method; A pre-filtering step for applying a band limiting filter to the image acquired in the image input step; a pre-edge detection step for detecting an edge of the image acquired in the image input step; and an edge obtained in the pre-edge detection step A pre-filter control step for controlling characteristics of a filter applied in the pre-filter step, and an image code for encoding the image from the pre-filter step using a decoded image to which a band-limiting filter is applied as a reference image And a decoded image to which a band limiting filter is applied as a reference image, and the image encoding A local decoding step for decoding an image encoded with tep, a post-band-limiting filter step for applying a band-limiting filter to the decoded image in the local decoding step, and a post-edge for detecting an edge of the decoded image in the local decoding step A post-filter control step for controlling the characteristics of the filter applied in the post-band limiting filter step, and an edge for detecting the edge in the pre-edge detection step, from the edge information obtained in the post-edge detection step; An edge detection parameter calculation step for obtaining a new edge detection parameter by performing predetermined calculation on the edge detection parameter as a threshold value, and a post edge for controlling the edge detection parameter used in the post edge detection step using the new edge detection parameter Detection control And steps, characterized in that it comprises an edge detection parameter transmission step for outputting an edge detection parameters used in the post edge detection step.
[0027]
In the fourth image coding method according to the present invention, in the third image coding method, an edge detection parameter which is a threshold for detecting an edge in the post edge detection step instead of the edge detection parameter calculation step. By changing the number of pixels that are determined to be edges, and a pixel edge detection parameter calculation step that determines a new edge detection parameter that matches a predetermined condition.
[0028]
Similarly, in a first image decoding method according to the present invention, in an image decoding method for decoding an image obtained by encoding a moving image, an image decoding step for decoding the encoded image, and a band in the decoded image of the image decoding step A post-band limiting filter step that applies a limiting filter, a post-edge detection step that detects an edge of a decoded image in the image decoding step, and edge information obtained in the post-edge detection step, to the post-band limiting filter step Apply Select either the edge pixel filter D1 or the pixel filter D2 other than the edge to change the filter characteristics. A post-filter control step; and an edge detection parameter reception step of receiving an edge detection parameter that is a threshold for detecting an edge in the post-edge detection step.
[0029]
In a second image decoding method according to the present invention, an image decoding step of decoding an encoded image using a reference image in a decoding method for decoding an image obtained by inter-frame predictive encoding of a moving image, and the image decoding A post-band limiting filter step that applies a band-limiting filter to the decoded image of the step and sets the band-limited image as a reference image of the next frame; and a post-edge detection that detects an edge of the decoded image of the image decoding step A post-filter control step for controlling the characteristics of the filter applied in the post-band limiting filter step from the edge information obtained in the post-edge detection step, and an edge for detecting the edge in the post-edge detection step An edge detection parameter receiving step for receiving an edge detection parameter as a threshold; and Characterized in that it comprises a.
[0030]
The steps in the image encoding method described above can be an image encoding program to be executed by a computer, and the image encoding program can be recorded on a recording medium readable by the computer.
[0031]
In addition, an image decoding program for causing a computer to execute the steps in the image decoding method described above can be used, and the image decoding program can be recorded on a computer-readable recording medium.
[0032]
According to the first image coding apparatus / method of the present invention, it is possible to output an edge detection parameter which is a threshold for detecting an edge by the pre-edge detection unit / step. Further, according to the first image decoding apparatus / method of the present invention, the received edge detection parameter can be used when detecting the edge of the decoded image. Thus, when moving image encoded data is decoded by the first image decoding apparatus / method according to the present invention, an edge can be detected at the same position as the pixel detected when the encoded data is created. Therefore, it is possible to avoid the problem that the quantization distortion cannot be reduced by the post filter, which occurs when the pixel that is not determined to be the edge by the pre-filter is determined to be the edge by the post-filter. In addition, pixels that have been determined to be edges by the prefilter can be determined to be edges by the postfilter, and the high-frequency components of the edges stored by the prefilter can also be stored by the postfilter to maintain the visual quality of the edges. it can. The present invention can be applied to both encoding using the inter-frame prediction encoding method and encoding using the intra-frame encoding method.
[0033]
According to the second image encoding device / method of the present invention, the edge detection parameter is set such that a pixel detected as an edge by the pre-edge detection unit / step is detected as an edge by the post-edge detection unit / step. Can be output. Accordingly, when the encoded image data is generated when the moving image encoded data is decoded by the first image decoding device / method according to the present invention, similarly to the first image encoding device / method according to the present invention. An edge can be detected at the same position as the detected pixel. Therefore, it is possible to avoid the problem that the quantization distortion cannot be reduced by the post filter, which occurs when the pixel that is not determined to be the edge by the pre-filter is determined to be the edge by the post-filter. In addition, pixels that have been determined to be edges by the prefilter can be determined to be edges by the postfilter, and the high-frequency components of the edges stored by the prefilter can also be stored by the postfilter to maintain the visual quality of the edges. it can.
[0034]
The edge detection parameter control in the post edge detection control unit / step can be realized as follows, for example. The post edge detection unit / step detects an edge using a preset edge detection parameter. The detected edge position is compared with the edge position detected by the pre-edge detection unit / step, and the number of pixels of the edge detected at the same position is measured. If the ratio of this number to the total number of edge pixels is equal to or greater than a certain threshold value, post-filter processing is actually performed using the edge pixels detected by the edge detection parameter. If the ratio of the total number of edge pixels is less than the threshold value, the edge detection parameter is changed and the above process is performed again. Similar to the first image coding apparatus / method according to the present invention, the present invention can be applied to both the coding using the inter-frame prediction coding method and the coding using the intra-frame coding method.
[0035]
According to the third image coding apparatus / method of the present invention, the edge detection method of the post edge detection unit / step is controlled from the edge detection parameter which is a threshold value for detecting the edge by the pre-edge detection unit / step. By doing so, the same pixel as the pre-filter can be detected as an edge. Furthermore, an image obtained by band-limiting the decoded image can be applied to the reference image of the next frame. Further, according to the second image decoding apparatus / method of the present invention, the received edge detection parameter can be used when detecting the edge of the decoded image. Also. The band-limited image can be set as a reference image for the next frame. As a result, in the combination with the second image decoding apparatus / method according to the present invention, it is impossible to reduce the quantization distortion by the post filter, which occurs when the pixel that is not determined to be an edge by the pre filter is determined to be the edge by the post filter. You can avoid problems. In addition, pixels that have been determined to be edges by the prefilter can be determined to be edges by the postfilter, and the high-frequency components of the edges stored by the prefilter can also be stored by the postfilter to maintain the visual quality of the edges. it can. In addition, it is possible to prevent an increase in prediction error that occurs when an image with quantization distortion is used as a reference image, and to improve encoding efficiency.
[0036]
According to the fourth image coding apparatus / method of the present invention, the edge detection parameter is set such that the pixel detected as an edge by the pre-edge detection unit / step is detected as an edge by the post-edge detection unit / step. Can be controlled. Furthermore, an image obtained by band-limiting the decoded image can be applied to the reference image of the next frame. As a result, in the combination with the second image decoding apparatus / method according to the present invention, it is impossible to reduce the quantization distortion by the post filter, which occurs when the pixel that is not determined to be an edge by the pre filter is determined to be the edge by the post filter. You can avoid problems. In addition, pixels that have been determined to be edges by the prefilter can be determined to be edges by the postfilter, and the high-frequency components of the edges stored by the prefilter can also be stored by the postfilter to maintain the visual quality of the edges. it can. In addition, it is possible to prevent an increase in prediction error that occurs when an image with quantization distortion is used as a reference image, and to improve encoding efficiency.
[0037]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0038]
<Embodiment Example 1>
2 illustrates an example of the configuration and operation of an image encoding device and an image decoding device according to a first exemplary embodiment of the present invention. First, an example of the configuration and operation in the case where the input image is intra-frame encoded and the post-loop post filter is applied will be described.
[0039]
In the image coding apparatus, a local decoding unit creates a decoded image, and edge information detected by the pre-edge detection unit is used, and a post-edge detection unit detects an edge of the decoded image. In the image decoding apparatus, the encoded data and the edge detection parameter are received, and after decoding the encoded data, a post filter is applied using the edge detection parameter.
[0040]
FIG. 1 is a diagram illustrating a configuration of an image encoding device. Image input unit 101, prefilter unit 102, preedge detection unit 109, prefilter control unit 110, image encoding unit 103, local decoding unit 104, post edge detection unit 106, post edge detection control unit 108, pixel edge detection parameter calculation In addition to the unit 120 and the edge detection parameter transmission unit 111, a transmission side multiplexing unit 117 that multiplexes the encoded data and the edge detection parameter for each frame is provided.
[0041]
Edge detection performed by the pre-edge detection unit 109 and the post-edge detection unit 106 is performed according to equations (2) to (5). The threshold value of the equation (5) used in the pre-edge detection unit 109 is T1, and T1 is set to 20 for each frame.
[0042]
The threshold value of equation (5) used in the post edge detection unit 106 is T2. In the prefilter control unit 110, a filter C1 for edge pixels and a filter C2 for pixels other than edges are set, and one of the two filters is selected based on the edge information from the preedge detection unit 109. To do. FIGS. 2A and 2B show the coefficients of the equation (1) in C1 and C2.
[0043]
Under such a premise, when encoding a moving image in which each pixel is image information having a value from 0 to 255, the image encoding device operates as follows. First, the image input unit 101 acquires image information for one frame. For the image information of the current frame obtained from the image input unit 101, the pre-edge detection unit 109 detects an edge using a threshold value T1. The pre-filter unit 102 applies a filter to limit the band. At this time, the prefilter control unit 110 uses the edge information of each pixel detected by the preedge detection unit 109 to select either C1 or C2 for each pixel and change the filter characteristics. The image encoding unit 103 encodes the image band-limited by the prefilter unit 102 as an input image. The local decoding unit 104 decodes the encoded data.
[0044]
A method of obtaining edge information of a decoded image by the pixel edge detection parameter calculation unit 120, the post edge detection control unit 108, and the post edge detection unit 106 will be described below. The operation flow is shown in FIG. In the post-edge detection control unit 108, the threshold T2 is set in advance as 510 as the maximum value that T2 can take as an edge detection parameter. The post edge detection unit 106 detects the edge of the decoded image according to the value of T2. The pixel edge detection parameter calculation unit 120 compares the detected edge position with the edge position detected by the pre-edge detection unit 109. The number of pixels having edges at the same position is N, and the total number of edges detected by the pre-edge detection unit 109 is M. When M and N satisfy Expression (6), the position information of the edge detected by the post edge detection unit 106 is determined as the edge information of the decoded image. If the expression (6) is not satisfied, the value of the threshold T2 is decreased by 1 and the above process is repeated.
[0045]
N> M × 80/100 Formula (6)
The edge detection parameter transmission unit 111 outputs the threshold value T2 when the edge information of the decoded image is determined. The transmission side multiplexing unit 117 multiplexes the encoded data and the threshold value T2 and outputs the result.
[0046]
In the image coding apparatus according to the present invention as in this embodiment, a pixel determined to be an edge by the pre-filter can be determined to be an edge by the post-filter.
[0047]
In addition, when determining edge information of a decoded image by the pixel edge detection parameter calculation unit 120, the post edge detection control unit 108, and the post edge detection unit 106, there is a method as follows. Shown in In the post-edge detection control unit 108, the threshold value T2 is set in advance as 0 as the minimum value that T2 can take as an edge detection parameter. The post edge detection unit 106 detects the edge of the decoded image according to the value of T2. The pixel edge detection parameter calculation unit 120 compares the detected edge position with the edge position detected by the pre-edge detection unit 109. The number of pixels having edges at the same position is N, and the total number of edges detected by the pre-edge detection unit 109 is M. When M and N satisfy Expression (7), the position information of the edge detected by the post edge detection unit 106 is used by the post filter control unit 107. If the expression (7) is not satisfied, the value of the threshold value T2 is increased by 1, and the above process is repeated.
[0048]
N <M (7)
In this case, in the image coding apparatus according to the present embodiment, quantization distortion is reduced by the post filter, which is generated by determining a pixel that is not determined to be an edge by the pre filter as an edge by the post filter of the image decoding apparatus. You can avoid problems that cannot be done.
[0049]
Note that it is also possible to directly obtain T2 from the threshold T1 used in the prefilter, instead of sequentially changing the threshold T2 from the edge information of the input image and the edge information of the decoded image. FIG. 5 shows the configuration of the image encoding apparatus in this case. In addition to the image input unit 101, the prefilter unit 102, the preedge detection unit 109, the prefilter control unit 110, the image encoding unit 103, the edge detection parameter calculation unit 119, and the edge detection parameter transmission unit 111, encoded data in units of frames. And a transmission side multiplexing unit 117 for multiplexing the edge detection parameters. The operations of the prefilter unit 102, preedge detection unit 109, and prefilter control unit 110 are the same as described above. Among these, the edge detection parameter calculation unit 119 obtains T2 by multiplying the threshold value T1 by a preset value, for example, as shown in Expression (8). In this case, as compared with the method of sequentially obtaining the threshold value T2, it is possible to omit the work of sequentially obtaining the threshold value T2, and it is possible to determine the threshold value T1 at a higher speed.
[0050]
T2 = T1 × C (C is a constant) Formula (8)
Next, an example of the configuration and operation of the image decoding apparatus will be shown. An example of the configuration and operation in the case of decoding data output from the image encoding device will be shown.
[0051]
FIG. 6 is a diagram showing the configuration of the image decoding apparatus. In addition to the image decoding unit 112, the reception side post-band limiting filter unit 114, the reception side post edge detection unit 115, the reception side post filter control unit 116, and the edge detection parameter reception unit 113, encoded data and edge detection from received data A receiving side decomposition unit 118 for decomposing parameters is provided. In the reception side post filter control unit 116, a filter D1 for edge pixels and a filter D2 for pixels other than the edge are set. Based on the edge information from the reception side post edge detection unit 115, one of the two is selected. Select one of these filters. FIGS. 7A and 7B show the coefficients of the expression (1) in D1 and D2.
[0052]
Under such a premise, the image decoding apparatus operates as follows when decoding received data.
[0053]
The reception side decomposition unit 118 decomposes the received data into encoded data and edge detection parameters. The image decoding unit 112 decodes the encoded data. The edge detection parameter reception unit 113 transmits the edge detection parameter to the reception side post edge detection unit 115. The reception-side post edge detection unit 115 detects the edge of the decoded image based on the edge detection parameter. The reception-side post filter control unit 116 uses the edge information detected by the reception-side post edge detection unit 115 to select either D1 or D2 for each pixel and change the filter characteristics. The reception-side post-band limiting filter unit 114 limits the band of the decoded image using the changed filter. The receiving side post-band limiting filter unit 114 outputs the band-limited image as an output image.
[0054]
When the image encoding device and the image decoding device according to the present invention are combined as in this embodiment, an edge can be detected at the same position by the encoding-side post filter and the decoding-side post filter. A correct decoded image can be obtained by the apparatus.
[0055]
A similar configuration is applied when the input image is subjected to inter-frame predictive encoding, and can also be applied when an out-loop post filter is applied. The configuration of the image encoding device when using the pixel edge detection parameter calculation unit 120 is the same as that in FIG. Unlike the case of intra-frame coding, a decoded image created by the local decoding unit 104 is set as a reference image. Other units can perform the same operation as in the case of intra-frame coding. The configuration of the corresponding image decoding apparatus is the same as that in FIG. The image decoding unit 112 holds the decoded image of the previous frame, and decodes the encoded data of the inter-frame prediction encoding using this as a reference image.
[0056]
A method using the edge detection parameter calculation unit 119 can also be applied. The configuration of the image encoding device in this case is as shown in FIG. Unlike the case of the intra-frame coding method, a local decoding unit 104 that decodes encoded data is provided. The decoded image created here is set as a reference image. The other parts perform the same operation as in the case of intra-frame coding. The configuration of the corresponding image decoding apparatus is the same as that in FIG. 6, and the image decoding unit 112 holds the decoded image of the previous frame, and uses this as a reference image to decode the encoded data of the inter-frame prediction encoding .
[0057]
As described above, even when interframe predictive coding is performed, when an out-loop post filter is applied by the image decoding apparatus, a pixel determined to be an edge by the prefilter can be determined to be an edge by the postfilter. In addition, it is possible to avoid the problem that the quantization distortion cannot be reduced by the post filter, which occurs when a pixel that is not determined to be an edge by the prefilter is determined to be an edge by the postfilter of the image decoding apparatus.
[0058]
<Embodiment 2>
2 shows an example of the configuration and operation of an image encoding device and an image decoding device according to a second embodiment of the present invention. The second embodiment is a case where an inter-frame prediction encoding method is used, and is an example of a configuration and an operation when an intra-loop post filter is used.
[0059]
In the image encoding device, the edge information detected by the pre-edge detection unit 109 is used, the post-edge detection unit 106 detects the edge, and controls the post filter. Further, the image encoding device outputs edge detection parameters. In the image decoding apparatus, the encoded data and the edge detection parameter are received, and after decoding the encoded data, a post filter is applied using the edge detection parameter.
[0060]
FIG. 9 is a diagram illustrating the configuration of the image encoding device. Image input unit 101, prefilter unit 102, preedge detection unit 109, prefilter control unit 110, image encoding unit 103, local decoding unit 104, post band limiting filter unit 105, post edge detection unit 106, postfilter control unit 107 In addition to the post edge detection control unit 108, the pixel edge detection parameter calculation unit 120, and the edge detection parameter transmission unit 111, a transmission side multiplexing unit 117 that multiplexes the encoded data and the edge detection parameter in units of frames is provided.
[0061]
Edge detection performed by the pre-edge detection unit 109 and the post-edge detection unit 106 is performed according to equations (2) to (5). The threshold value of the equation (5) used in the pre-edge detection unit 109 is T1, and T1 is set to 20 for each frame. The threshold value of equation (5) used in the post edge detection unit 106 is T2.
[0062]
In the prefilter control unit 110, a filter C1 for edge pixels and a filter C2 for pixels other than edges are set, and one of the two filters is selected based on the edge information from the preedge detection unit 109. To do. The coefficients of equation (1) in C1 and C2 are the same as those in FIG. In the post-filter control unit 107, a filter D1 for edge pixels and a filter D2 for pixels other than edges are set, and one of the two filters is selected based on edge information from the pre-edge detection unit 109. To do. The coefficients of equation (1) in D1 and D2 are the same as those in FIG.
[0063]
Under such a premise, when encoding a moving image in which each pixel is image information having a value from 0 to 255, the image encoding device operates as follows.
[0064]
First, the image input unit 101 acquires image information for one frame. For the image information of the current frame obtained from the image input unit 101, the pre-edge detection unit 109 detects an edge using a threshold value T1. The pre-filter unit 102 applies a filter to limit the band. At this time, the prefilter control unit 110 uses the edge information of each pixel detected by the preedge detection unit 109 to select either C1 or C2 for each pixel and change the filter characteristics. The image encoding unit 103 encodes the image band-limited by the prefilter unit 102 as an input image. The local decoding unit 104 decodes the encoded data.
[0065]
A method for obtaining edge information used by the post filter control unit 107 by the pixel edge detection parameter calculation unit 120, the post edge detection control unit 108, and the post edge detection unit 106 will be described below. The operation flow is the same as in FIG. In the post-edge detection control unit 108, the threshold T2 is set in advance as 510 as the maximum value that T2 can take as an edge detection parameter. The post edge detection unit 106 detects the edge of the decoded image according to the value of T2. The pixel edge detection parameter calculation unit 120 compares the detected edge position with the edge position detected by the pre-edge detection unit 109. The number of pixels having edges at the same position is N, and the total number of edges detected by the pre-edge detection unit 109 is M. When M and N satisfy the above equation (6), the position information of the edge detected by the post edge detection unit 106 is used by the post filter control unit 107. If the expression (6) is not satisfied, the value of the threshold T2 is decreased by 1 and the above process is repeated.
[0066]
The post filter control unit 107 uses the edge information detected by the post edge detection unit 106 to select either D1 or D2 for each pixel and change the filter characteristics. The post-band limiting filter unit 105 limits the band of the decoded image using the changed filter. The band-limited image is set as a reference image for encoding the next frame.
[0067]
The edge detection parameter transmission unit 111 outputs a threshold value T2 when edge information used by the post filter control unit 107 is detected. The transmission side multiplexing unit 117 multiplexes the encoded data and the threshold value T2 and outputs the result.
[0068]
As in this embodiment, the image coding apparatus according to the present invention can determine a pixel determined to be an edge by the prefilter as an edge by the postfilter, and the high-frequency component of the edge stored by the prefilter to the postfilter. Even save and maintain the visual quality of the edges.
[0069]
In addition, when the edge information used by the post filter control unit 107 is obtained by the pixel edge detection parameter calculation unit 120, the post edge detection control unit 108, and the post edge detection unit 106, there is a method as follows. The operation flow is the same as in FIG. In the post-edge detection control unit 108, the threshold value T2 is set in advance as 0 as the minimum value that T2 can take as an edge detection parameter. The post edge detection unit 106 detects the edge of the decoded image according to the value of T2. The pixel edge detection parameter calculation unit 120 compares the detected edge position with the edge position detected by the pre-edge detection unit 109. The number of pixels having edges at the same position is N, and the total number of edges detected by the pre-edge detection unit 109 is M. When M and N satisfy the above formula (7), the position information of the edge detected by the post edge detection unit 106 is used by the post filter control unit 107. If the expression (7) is not satisfied, the value of the threshold value T2 is increased by 1, and the above process is repeated.
[0070]
In this case, the image coding apparatus according to the present embodiment avoids the problem that quantization distortion cannot be reduced by the post filter, which occurs when pixels that are not determined to be edges by the prefilter are determined to be edges by the postfilter. be able to.
[0071]
Note that it is also possible to directly obtain T2 from the threshold T1 used in the prefilter, instead of sequentially changing the threshold T2 from the edge information of the input image and the edge information of the decoded image. FIG. 10 shows the configuration of the image encoding device in this case. Instead of the pixel edge detection parameter calculation unit 120 in FIG. 9, an edge detection parameter calculation unit 119 is provided. The operation of each unit other than the edge detection parameter calculation unit 119 is the same as described above. The edge detection parameter calculation unit 119 obtains T2 by multiplying the threshold value T1 by a preset value, for example, as in the above equation (8). In this case, as compared with the method of sequentially obtaining the threshold value T2, it is possible to omit the work of sequentially obtaining the threshold value T2, and it is possible to determine the threshold value T1 at a higher speed.
[0072]
Next, an example of the configuration and operation of the image decoding apparatus will be shown. An example of the configuration and operation in the case of decoding data output from the image encoding device will be shown.
[0073]
FIG. 11 is a diagram showing the configuration of the image decoding apparatus. In addition to the image decoding unit 112, the reception side post-band limiting filter unit 114, the reception side post edge detection unit 115, the reception side post filter control unit 116, and the edge detection parameter reception unit 113, encoded data and edge detection from received data A receiving side decomposition unit 118 for decomposing parameters is provided.
[0074]
In the reception-side post filter control unit 116, a filter D1 for edge pixels and a filter D2 for pixels other than edges are set. Based on the edge information from the pre-edge detection unit 109, one of the two filters is set. Select. It is assumed that D1 and D2 are the same as those set in the post filter control unit 107.
[0075]
Under such a premise, the image decoding apparatus operates as follows when decoding received data. The reception side decomposition unit 118 decomposes the received data into encoded data and edge detection parameters. The image decoding unit 112 decodes the encoded data. The edge detection parameter reception unit 113 transmits the edge detection parameter to the reception side post edge detection unit 115. The reception-side post edge detection unit 115 detects the edge of the decoded image based on the edge detection parameter. The reception-side post filter control unit 116 uses the edge information detected by the reception-side post edge detection unit 115 to select either D1 or D2 for each pixel and change the filter characteristics. The reception-side post-band limiting filter unit 114 limits the band of the decoded image using the changed filter. The receiving-side post-band limiting filter unit 114 outputs the band-limited image as an output image, and sets it as a reference image for decoding the next frame. When the image encoding device and the image decoding device according to the present invention are combined as in this embodiment, an edge can be detected at the same position by the encoding-side post filter and the decoding-side post filter. A correct decoded image can be obtained by the apparatus.
[0076]
<Embodiment 3>
The processing of part or all of each part in the image coding apparatus shown in FIG. 1, FIG. 5, FIG. 8 to FIG. 10, or the image decoding apparatus shown in FIG. The present invention can be realized by executing the program using a computer, or the processing procedure shown in FIGS. 3 and 4 is configured by a computer program, and the program is executed on the computer. Needless to say, a program for realizing the processing and the flow of the processing in the computer, or a program for causing the computer to execute the processing procedure, a recording medium readable by the computer, for example, FD (floppy disk (registered trademark)), MO, ROM, memory card, CD, D D, and recorded in a removable disk, storage or, or provide, it is possible or distribute.
[0077]
【The invention's effect】
According to the above invention, it is possible to avoid the problem that the quantization distortion cannot be reduced by the post filter, which occurs when the pixel that is not determined to be the edge by the pre-filter is determined to be the edge by the post-filter. In addition, pixels that have been determined to be edges by the prefilter can be determined to be edges by the postfilter, and the high-frequency components of the edges stored by the prefilter can also be stored by the postfilter to maintain the visual quality of the edges. it can.
[0078]
Furthermore, an edge can be detected at the same position by the post filter on the encoding side and the post filter on the decoding side, and a correct decoded image can be obtained on the decoding side.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an image encoding device according to a first exemplary embodiment of the present invention.
FIGS. 2A and 2B are diagrams showing examples of coefficients of spatial filters C1 and C2 in the embodiment.
FIG. 3 is a diagram showing an operation example 1 of the post edge detection unit and the post filter control unit in the embodiment of the present invention.
FIG. 4 is a diagram showing an operation example 2 of the post edge detection unit and the post filter control unit in the embodiment of the present invention.
FIG. 5 is a block diagram of an image coding apparatus according to the first embodiment of the present invention.
FIG. 6 is a block diagram of an image decoding apparatus according to the first embodiment of the present invention.
FIGS. 7A and 7B are diagrams showing examples of coefficients of spatial filters D1 and D2 in the embodiment of the present invention.
FIG. 8 is a block diagram of an image coding apparatus according to the first embodiment of the present invention.
FIG. 9 is a block diagram of an image coding apparatus according to a second embodiment of the present invention.
FIG. 10 is a block diagram of an image coding apparatus according to a second embodiment of the present invention.
FIG. 11 is a block diagram of an image decoding apparatus according to a second embodiment of the present invention.
FIG. 12 is a diagram illustrating an example of a spatial filter
FIG. 13 is a diagram showing an example of a differential operator GX
FIG. 14 is a diagram showing an example of a differential operator GY
[Explanation of symbols]
101: Image input unit
102: Pre-filter part
103: Image encoding unit
104: Local decoding unit
105. Post-band limiting filter unit
106: Post-edge detection unit
107: Post filter control unit
108: Post-edge detection control unit
109: Pre-edge detection unit
110: Pre-filter control unit
111... Edge detection parameter transmission unit
112: Image decoding unit
113: Edge detection parameter receiving unit
114... Reception side post-band limiting filter unit
115. Receiving side post edge detection unit
116: Receiving side post filter control unit
117... Transmission side multiplexing unit
118 ... Reception side disassembly unit
119 ... Edge detection parameter calculation unit
120... Pixel edge detection parameter calculation unit

Claims (16)

In a video encoding device that limits the bandwidth of an image and encodes the image,
An image input unit for acquiring images;
A pre-filter unit that applies a band-limiting filter to the image acquired by the image input unit;
A change amount of the edge of the image acquired by the image input unit is obtained for a pixel to be determined, and when the change amount is larger than a preset threshold value T1, the pixel is detected as an edge pixel . A pre-edge detector;
From the edge information obtained by the pre-edge detection unit, a pre-filter control unit that controls characteristics of a filter applied by the pre-filter unit,
An image encoding unit for encoding an image from the prefilter unit;
Edge detection for obtaining a new edge detection parameter by calculating an expression of threshold T2 = threshold T1 × C (C: a preset value) on an edge detection parameter which is a threshold T1 for detecting an edge by the pre- edge detection unit A parameter calculator,
An image coding apparatus comprising: an edge detection parameter transmission unit that outputs a new edge detection parameter calculated by the edge detection parameter calculation unit. In a video encoding device that limits the bandwidth of an image and encodes the image,
An image input unit for acquiring images;
A pre-filter unit that applies a band-limiting filter to the image acquired by the image input unit;
A pre-edge detection unit for detecting an edge of an image acquired by the image input unit;
From the edge information obtained by the pre-edge detection unit, a pre-filter control unit that controls characteristics of a filter applied by the pre-filter unit,
An image encoding unit for encoding an image from the prefilter unit;
A local decoding unit for decoding the image encoded by the image encoding unit;
A post-edge detection unit for detecting an edge of a decoded image of the local decoding unit;
A pixel that determines a new edge detection parameter that matches a predetermined condition by changing the number of pixels determined to be an edge by changing an edge detection parameter that is a threshold for detecting an edge by the post edge detection unit. An edge detection parameter calculator,
Using the new edge detection parameter, a post edge detection control unit for controlling an edge detection parameter used in the post edge detection unit;
An image coding apparatus comprising: an edge detection parameter transmission unit that outputs an edge detection parameter used in the post edge detection unit. In a moving image encoding device that limits the band of an image and performs interframe predictive encoding of the image,
An image input unit for acquiring images;
A pre-filter unit that applies a band-limiting filter to the image acquired by the image input unit;
A pre-edge detection unit for detecting an edge of an image acquired by the image input unit;
From the edge information obtained by the pre-edge detection unit, a pre-filter control unit that controls characteristics of a filter applied by the pre-filter unit,
An image encoding unit that encodes an image from the prefilter unit using a decoded image to which a band limiting filter is applied as a reference image;
A local decoding unit that decodes an image encoded by the image encoding unit, using a decoded image to which a band-limiting filter is applied as a reference image;
A post-band limiting filter unit that applies the band-limiting filter to the decoded image of the local decoding unit;
A post-edge detection unit for detecting an edge of a decoded image of the local decoding unit;
From the edge information obtained by the post edge detection unit, a post filter control unit that controls the characteristics of the filter applied by the post band limiting filter unit,
An edge detection parameter calculation unit that obtains a new edge detection parameter by performing predetermined calculation on an edge detection parameter that is a threshold for detecting an edge in the pre-edge detection unit;
Using the new edge detection parameter, a post edge detection control unit for controlling an edge detection parameter used in the post edge detection unit;
An image coding apparatus comprising: an edge detection parameter transmission unit that outputs an edge detection parameter used in the post edge detection unit. Instead of the edge detection parameter calculation unit,
A pixel that determines a new edge detection parameter that matches a predetermined condition by changing the number of pixels determined to be an edge by changing an edge detection parameter that is a threshold for detecting an edge by the post edge detection unit. The image coding apparatus according to claim 3, further comprising an edge detection parameter calculation unit. In an image decoding apparatus for decoding an image obtained by encoding a moving image,
An image decoding unit for decoding the encoded image;
A post-band limiting filter unit that applies a band-limiting filter to the decoded image of the image decoding unit;
A post-edge detection unit for detecting an edge of a decoded image of the image decoding unit;
From the edge information obtained by the post edge detection unit, either the edge pixel filter D1 or the filter D2 for pixels other than the edge applied by the post band limiting filter unit is selected to change the filter characteristics. A post filter control unit;
An image detection apparatus comprising: an edge detection parameter receiving unit that receives an edge detection parameter that is a threshold for detecting an edge by the post edge detection unit. In an image decoding apparatus that decodes an image obtained by inter-frame predictive encoding a moving image,
An image decoding unit that decodes an encoded image using a reference image;
A post-band limiting filter unit that applies a band-limiting filter to the decoded image of the image decoding unit and sets the band-limited image as the reference image of the next frame;
A post-edge detection unit for detecting an edge of a decoded image of the image decoding unit;
From the edge information obtained by the post edge detection unit, a post filter control unit that controls the characteristics of the filter applied by the post band limiting filter unit,
An image decoding apparatus comprising: an edge detection parameter receiving unit that receives an edge detection parameter that is a threshold for detecting an edge by the post edge detection unit. In a video encoding method that limits the bandwidth of an image and encodes the image,
An image input step for acquiring an image;
A pre-filtering step of applying a band limiting filter to the image acquired in the image input step;
A change amount of the edge of the image acquired in the image input step is obtained with respect to a pixel to be determined, and when the change amount is larger than a preset threshold T1, the pixel is detected as an edge pixel . A pre-edge detection step;
From the edge information obtained in the pre-edge detection step, a pre-filter control step for controlling the characteristics of the filter applied in the pre-filter step,
An image encoding step for encoding the image from the prefiltering step;
Edge detection for obtaining a new edge detection parameter by calculating an equation of threshold T2 = threshold T1 × C (C: a preset value) to an edge detection parameter which is a threshold T1 for detecting an edge in the pre- edge detection step A parameter calculation step;
An image detection method comprising: an edge detection parameter transmission step for outputting a new edge detection parameter calculated by the edge detection parameter calculation step. In a video encoding method that limits the bandwidth of an image and encodes the image,
An image input step for acquiring an image;
A pre-filtering step of applying a band limiting filter to the image acquired in the image input step;
A pre-edge detection step of detecting an edge of the image acquired in the image input step;
From the edge information obtained in the pre-edge detection step, a pre-filter control step for controlling the characteristics of the filter applied in the pre-filter step,
An image encoding step for encoding the image from the prefiltering step;
A local decoding step of decoding the image encoded in the image encoding step;
A post-edge detection step for detecting an edge of the decoded image in the local decoding step;
A pixel that determines a new edge detection parameter that matches a predetermined condition by changing an edge detection parameter that is a threshold for detecting an edge in the post-edge detection step, thereby changing the number of pixels that are determined as an edge. An edge detection parameter calculation step;
A post-edge detection control step for controlling the edge detection parameter used in the post-edge detection step using the new edge detection parameter;
An image coding method comprising: an edge detection parameter transmission step for outputting an edge detection parameter used in the post edge detection step. In a video encoding method that limits the bandwidth of an image and encodes the image using an inter-frame predictive encoding method,
An image input step for acquiring an image;
A pre-filtering step of applying a band limiting filter to the image acquired in the image input step;
A pre-edge detection step of detecting an edge of the image acquired in the image input step;
From the edge information obtained in the pre-edge detection step, a pre-filter control step for controlling the characteristics of the filter applied in the pre-filter step,
An image encoding step that encodes an image from the prefilter step using a decoded image to which a band limiting filter is applied as a reference image;
A local decoding step of decoding the image encoded in the image encoding step using the decoded image to which the band limiting filter is applied as a reference image;
A post-band limiting filter step of applying a band limiting filter to the decoded image of the local decoding step;
A post-edge detection step for detecting an edge of the decoded image in the local decoding step;
From the edge information obtained in the post edge detection step, a post filter control step for controlling the characteristics of the filter applied in the post band limiting filter step,
An edge detection parameter calculation step for obtaining a new edge detection parameter by performing a predetermined calculation on an edge detection parameter that is a threshold for detecting an edge in the pre-edge detection step;
A post-edge detection control step for controlling an edge detection parameter used in the post-edge detection step using the new edge detection parameter;
An image coding method comprising: an edge detection parameter transmission step for outputting an edge detection parameter used in the post edge detection step. Instead of the edge detection parameter calculation step,
A pixel that determines a new edge detection parameter that matches a predetermined condition by changing the number of pixels determined to be an edge by changing an edge detection parameter that is a threshold value for detecting an edge in the post-edge detection step. The image encoding method according to claim 9, further comprising an edge detection parameter calculation step. In an image decoding method for decoding an image obtained by encoding a moving image,
An image decoding step for decoding the encoded image;
A post-band limiting filter step of applying a band limiting filter to the decoded image of the image decoding step;
A post-edge detection step for detecting an edge of the decoded image in the image decoding step;
From the edge information obtained in the post-edge detection step, either the edge pixel filter D1 or the filter D2 for pixels other than the edge applied in the post-band limiting filter step is selected to change the filter characteristics. A post filter control step;
An image decoding method comprising: an edge detection parameter receiving step of receiving an edge detection parameter that is a threshold for detecting an edge in the post-edge detection step. In a decoding method for decoding an image obtained by performing interframe prediction encoding of a moving image,
An image decoding step of decoding the encoded image using the reference image;
Applying a band limiting filter to the decoded image of the image decoding step, and setting the band limited image as a reference image of the next frame; and
A post-edge detection step for detecting an edge of the decoded image in the image decoding step;
From the edge information obtained in the post edge detection step, a post filter control step for controlling the characteristics of the filter applied in the post band limiting filter step,
An image decoding method comprising: an edge detection parameter receiving step of receiving an edge detection parameter that is a threshold for detecting an edge in the post-edge detection step. An image encoding program for causing a computer to execute the steps in the image encoding method according to any one of claims 7 to 10,
A recording medium on which an image encoding program recorded on the computer-readable recording medium is recorded. An image decoding program for causing a computer to execute the steps in the image decoding method according to claim 11 or 12,
A recording medium having recorded thereon an image decoding program recorded on the computer-readable recording medium. An image encoding program that causes a computer to execute the steps in the image encoding method according to any one of claims 7 to 10. 13. An image decoding program that causes a computer to execute the steps in the image decoding method according to claim 11 or 12.

Images