JP7290985B2

JP7290985B2 - Image processing device and program

Info

Publication number: JP7290985B2
Application number: JP2019078008A
Authority: JP
Inventors: 康孝松尾; 菊文神田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2019-04-16
Filing date: 2019-04-16
Publication date: 2023-06-14
Anticipated expiration: 2039-04-16
Also published as: JP2020178189A

Description

本発明は、動画像を入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置及びプログラムに関する。 The present invention relates to an image processing apparatus and program for inputting a moving image and performing image processing using wavelet degeneration based on wavelet packet decomposition.

従来、動画像を入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて雑音除去を行う技法として、入力画像をウェーブレット変換した周波数分解係数のうち、所定の雑音レベル以下の成分をコアリングすることによりノイズ除去を行うことが知られている（例えば、非特許文献１参照）。 Conventionally, as a technique for removing noise by inputting a moving image and using wavelet degeneration based on wavelet packet decomposition, among the frequency decomposition coefficients obtained by wavelet transforming the input image, noise is generated by coring the components below a predetermined noise level. It is known to remove (see, for example, Non-Patent Document 1).

また、ウェーブレット縮退を用いた画像処理装置として、高周波ノイズ画像と低周波ノイズ画像を抽出し、これらの画像が輝度成分の画像であるか色差成分の画像であるかに応じて分けて統合することで雑音レベルの低減を行う技法が知られている（例えば、特許文献１参照）。 Also, as an image processing device using wavelet degeneration, a high-frequency noise image and a low-frequency noise image are extracted, and these images are divided and integrated according to whether they are images of luminance components or images of color difference components. A technique for reducing the noise level is known (see Patent Document 1, for example).

特許第５３５２９４２号明細書Patent No. 5352942 specification

David L. Donoho, Iain M. Johnstone, Gerard Kerkyacharian and Dominique Picard: “Wavelet Shrinkage: Asymptopia?”, Journal of the Royal Statistical Society. Series B (Methodological), Vol. 57, No. 2, pp. 301-369, 1995.David L. Donoho, Iain M. Johnstone, Gerard Kerkyacharian and Dominique Picard: “Wavelet Shrinkage: Asymptopia?”, Journal of the Royal Statistical Society. Series B (Methodological), Vol. 57, No. 2, pp. 301-369 , 1995.

上述したように、従来から、非特許文献１や特許文献１などのように、画像に対しウェーブレット縮退を用いて雑音除去する技法が知られている。また、ウェーブレット縮退を用いて帯域制限処理を行う技法もある。 As described above, techniques for removing noise from an image using wavelet degeneration are conventionally known, such as in Non-Patent Document 1 and Patent Document 1. There are also techniques for bandlimiting using wavelet shrinkage.

一方で、近年、例えば次世代地上波放送として、ハイビジョンを超える超高精細動画像として４Ｋや８ＫのＳＨＶ（Super Hi-Vision）などの大容量コンテンツサービスを伝送することが検討されている。このような超高精細動画像の伝送にあたって高圧縮符号化を行う際に、空間高周波数帯域成分のパワーが大きいなどの理由で高圧縮符号化が困難な動画像が入力されうることが想定される。この場合、伝送容量としてその入力動画像が持つ膨大な情報量に対する符号化ビットレートが十分ではない事態が生じうるため、圧縮又は伝送に係る符号化に起因する画像破綻が発生する場合がある。 On the other hand, in recent years, for example, transmission of large-capacity content services such as 4K and 8K SHV (Super Hi-Vision) as ultra-high-definition moving images exceeding high-definition has been considered as next-generation terrestrial broadcasting. When performing high-compression encoding for the transmission of such ultra-high-definition video, it is assumed that video images that are difficult to high-compression-encode due to reasons such as the power of spatial high-frequency band components being large may be input. be. In this case, since the encoding bit rate may not be sufficient for the enormous amount of information that the input moving image has as transmission capacity, image corruption may occur due to encoding related to compression or transmission.

そこで、超高精細動画像に対する高圧縮符号化処理の前段で、非特許文献１や特許文献１などの従来の雑音除去処理や帯域制限処理を行うことで、入力動画像が持つ情報量を削減することができる。 Therefore, prior to high-compression encoding processing for ultra-high-definition video, conventional noise removal processing and band-limiting processing such as those described in Non-Patent Document 1 and Patent Document 1 are performed to reduce the amount of information contained in the input video. can do.

しかし、従来技術を用いて雑音除去処理と帯域制限処理を行う場合に、様々な線形フィルタ処理や非線形フバルタ処理が存在するが、従来技術では、雑音成分が十分に除去できない、静止領域（更には動領域）のエッジがぼやけやすいという問題がある。 However, when performing noise removal processing and band-limiting processing using conventional technology, there are various linear filter processing and nonlinear Fvarta processing. There is a problem that the edges of the motion area) tend to be blurred.

このため、超高精細動画像等の動画像に対し圧縮符号化処理の前段でウェーブレット縮退を用いて情報量を削減するにあたり、静止領域（更には動領域）のエッジのぼやけを抑圧しながら雑音除去を行うフィルタ処理（ウェーブレット縮退に用いる縮退関数）が必要であり、これにより圧縮符号化が困難な動画像で発生する画像破綻を抑制し、動画像の符号化品質を向上させる技法が望まれる。 For this reason, in order to reduce the amount of information by using wavelet degeneracy in the preceding stage of compression encoding processing for moving images such as ultra-high-definition moving images, it is necessary to reduce the amount of noise while suppressing blurring of edges in still areas (and moving areas). A filtering process (degeneration function used for wavelet degeneration) is required to remove the wavelets, and a technique that suppresses image corruption that occurs in video that is difficult to compress and encode and improves the quality of video encoding is desired. .

従って、本発明の目的は、圧縮符号化処理の前処理として動画を入力し、この入力動画像に対しウェーブレットパケット分解に基づくウェーブレット縮退を用いて静止領域（更には動領域）のエッジのぼやけを抑圧しながら雑音除去及び帯域制限を行う画像処理を施し、動画像の圧縮符号化処理に係る画質を向上させる画像処理装置及びプログラムを提供することにある。 Accordingly, an object of the present invention is to input a moving image as preprocessing for compression encoding processing, and apply wavelet degeneracy based on wavelet packet decomposition to this input moving image to reduce edge blurring in a still area (furthermore, a moving area). An object of the present invention is to provide an image processing device and a program that perform image processing that performs noise removal and band limitation while suppressing noise, and improves image quality related to compression encoding processing of a moving image.

本発明による一態様の画像処理装置は、動画像の圧縮符号化処理の前段で、入力動画像の静止領域（更には動領域）の信号パワーと雑音パワーに基づいて、静止領域（更には動領域）のエッジ成分のぼやけを抑制しつつ雑音除去及び帯域制限を行う縮退関数を個別に、且つ適応的に設定して、時空間ウェーブレットパケット分解に基づく時空間ウェーブレット縮退処理を行うように構成する。 An image processing apparatus according to one aspect of the present invention, prior to compression encoding processing of a moving image, based on the signal power and noise power of a still region (further moving region) of an input moving image, area) is configured to perform spatio-temporal wavelet degeneration processing based on spatio-temporal wavelet packet decomposition by individually and adaptively setting degeneration functions that perform noise removal and band limitation while suppressing blurring of edge components of regions). .

即ち、本発明の画像処理装置は、動画像を入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置であって、入力動画像に対しｎ（ｎ≧１）階の時空間ウェーブレットパケット分解処理を施し、時空間の各周波数帯域群の周波数分解係数を抽出する時空間ウェーブレットパケット分解部と、前記時空間の各周波数帯域群の周波数分解係数における所定の空間高周波数帯域に属する時間方向の周波数帯域群のうち、予め定めた時間低周波帯域は制限帯域内の静止領域とし、当該予め定めた時間低周波帯域において水平高周波数帯域、垂直高周波数帯域、及び対角高周波数帯域毎の周波数分解係数を抽出し、該周波数帯域毎の周波数分解係数のうちの所定の閾値以上の周波数分解係数を静止領域のエッジ成分とみなし、該所定の閾値以上の周波数分解係数の平均値又は標準偏差、或いは中央値を前記制限帯域における静止領域エッジパワーとして、当該抽出した時空間の周波数帯域群毎に検出する静止領域エッジパワー検出部と、前記時空間の各周波数帯域群のうち、時空間対角最高周波数帯域の周波数分解係数を抽出し、当該時空間対角最高周波数帯域内の全周波数分解係数のパワーにおける予め定めた割合以上となるパワーを雑音成分とみなし、当該雑音成分を雑音パワーとして検出する雑音パワー検出部と、前記制限帯域内の静止領域とした当該予め定めた時間低周波帯域に該当する各周波数帯域群の静止領域エッジパワーと、前記雑音パワーと、当該時間低周波帯域用に帯域制限量を指定する制限量パラメータとに基づいて、前記制限帯域内の時間低周波帯域用の縮退関数を設定する第１制限帯域用縮退関数設定部と、前記制限帯域以外となる周波数帯域群を通過帯域とし、前記雑音パワーを基に、前記通過帯域用の縮退関数を設定する通過帯域用縮退関数設定部と、前記時空間の各周波数帯域群の周波数分解係数に対し、前記制限帯域内の時間低周波帯域用の縮退関数、及び前記通過帯域用の縮退関数を適用して時空間ウェーブレット縮退処理を実行することにより、当該時空間ウェーブレットパケット分解処理に基づく時空間ウェーブレット縮退処理を行う時空間ウェーブレット縮退部と、前記時空間ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域群の周波数分解係数を用いて時空間ウェーブレット再構成処理を施すことにより帯域制限及び雑音除去された出力動画像を生成する再構成部と、を備えることを特徴とする。 That is, the image processing apparatus of the present invention is an image processing apparatus for inputting a moving image and performing image processing using wavelet degeneration based on wavelet packet decomposition. a spatio-temporal wavelet packet decomposition unit that performs spatial wavelet packet decomposition processing and extracts frequency decomposition coefficients of each spatio-temporal frequency band group; Of the group of frequency bands in the time direction to which it belongs, a predetermined temporal low-frequency band is a static region within the restricted band, and the predetermined temporal low-frequency band has a horizontal high-frequency band, a vertical high-frequency band, and a diagonal high-frequency band A frequency resolution coefficient for each band is extracted, and among the frequency resolution coefficients for each frequency band, a frequency resolution coefficient equal to or greater than a predetermined threshold is regarded as an edge component of a still region, and an average value of the frequency resolution coefficients equal to or greater than the predetermined threshold Alternatively, a static region edge power detection unit that detects the standard deviation or the median value as the static region edge power in the restricted band for each of the extracted spatiotemporal frequency band groups, and among the spatiotemporal frequency band groups, Extracting the frequency resolution coefficient of the spatio-temporal diagonal highest frequency band, regarding the power that is equal to or greater than a predetermined ratio in the power of all frequency resolution coefficients in the spatio-temporal diagonal highest frequency band as a noise component, and treating the noise component as a noise power detection unit for detecting noise power; a static region edge power of each frequency band group corresponding to the predetermined temporal low frequency band defined as the static region within the restricted band; the noise power; a first restricted band degeneracy function setting unit that sets a degeneracy function for a temporal low frequency band within the restricted band based on a restriction amount parameter that specifies a band restriction amount for the frequency band; A passband degeneration function setting unit that sets a degeneration function for the passband based on the noise power, and a frequency resolution coefficient for each of the spatiotemporal frequency band groups, Spatio-temporal wavelet degeneration based on the spatio-temporal wavelet packet decomposition processing by applying the degeneration function for the temporal low-frequency band in the restricted band and the degeneration function for the passband to perform the spatio-temporal wavelet degeneration processing. Band limitation and noise removal by performing spatio-temporal wavelet reconstruction processing using a spatio-temporal wavelet degeneration unit that performs processing and frequency resolution coefficients of each frequency band group band-limited and noise-removed by the spatio-temporal wavelet degeneration processing and a reconstructing unit that generates a converted output moving image.

また、本発明の画像処理装置において、前記時空間の各周波数帯域群の周波数分解係数における所定の空間高周波数帯域に属する時間方向の周波数帯域群のうち、予め定めた時間高周波帯域は前記制限帯域内の動領域とし、当該予め定めた時間高周波帯域において水平高周波数帯域、垂直高周波数帯域、及び対角高周波数帯域毎の周波数分解係数を抽出し、該抽出した周波数帯域毎の周波数分解係数のうちの所定の閾値以上の周波数分解係数を動領域のエッジ成分とみなし、該所定の閾値以上の周波数分解係数の平均値又は標準偏差、或いは中央値を前記制限帯域における動領域エッジパワーとして、当該抽出した時空間の周波数帯域群毎に検出する動領域エッジパワー検出部と、前記制限帯域内の動領域とした当該時間高周波帯域に該当する各周波数帯域群の動領域エッジパワーと、前記雑音パワーと、当該時間高周波帯域用に帯域制限量を指定する制限量パラメータとに基づいて、前記制限帯域内の時間高周波帯域用の縮退関数を設定する第２制限帯域用縮退関数設定部と、を更に備え、前記時空間ウェーブレット縮退部は、前記時空間の各周波数帯域群の周波数分解係数に対し、前記制限帯域内の時間低周波帯域用の縮退関数、前記制限帯域内の時間高周波帯域用の縮退関数、及び前記通過帯域用の縮退関数を適用して時空間ウェーブレット縮退処理を実行することにより、当該時空間ウェーブレットパケット分解処理に基づく時空間ウェーブレット縮退処理を行うことを特徴とする。
Further, in the image processing apparatus of the present invention, among the frequency band groups in the temporal direction belonging to the predetermined spatial high frequency band in the frequency resolution coefficient of each spatiotemporal frequency band group, the predetermined temporal high frequency band is the restricted band. and extracting frequency resolution coefficients for each horizontal high-frequency band , vertical high-frequency band, and diagonal high-frequency band in the predetermined temporal high-frequency band, and extracting frequency resolution coefficients for each of the extracted frequency bands Among them, the frequency resolution coefficients equal to or greater than a predetermined threshold are regarded as edge components of the motion region, and the mean value, standard deviation, or median value of the frequency resolution coefficients equal to or greater than the predetermined threshold is defined as the motion region edge power in the restricted band. A dynamic region edge power detection unit that detects each extracted spatio-temporal frequency band group, a dynamic region edge power of each frequency band group corresponding to the temporal high frequency band set as the dynamic region within the restricted band, and the noise power and a second restricted band degeneracy function setting unit that sets a degeneracy function for the temporal high frequency band within the restricted band based on a restriction amount parameter that specifies a band restriction amount for the temporal high frequency band. The spatio-temporal wavelet degeneracy unit degenerates a degeneracy function for a temporal low-frequency band within the restricted band and a degeneracy function for a temporal high-frequency band within the restricted band for the frequency resolution coefficients of each of the spatio-temporal frequency band groups. It is characterized by performing spatio-temporal wavelet degeneration processing based on the spatio-temporal wavelet packet decomposition processing by applying the function and the degeneration function for the passband.

また、本発明の画像処理装置において、前記時間低周波帯域用に帯域制限量を指定する制限量パラメータ、及び前記時間高周波帯域用に帯域制限量を指定する制限量パラメータの各々は、全体的に帯域制限するための第１の帯域制限量と、ぼやけを抑制しつつ帯域を制限するための第２の帯域制限量とを含み、前記時間高周波帯域用に帯域制限量を指定する制限量パラメータにおける第１の帯域制限量及び第２の帯域制限量は、前記時間低周波帯域用に帯域制限量を指定する制限量パラメータにおける第１の帯域制限量及び第２の帯域制限量よりも帯域制限する抑圧量を大きくするよう構成されていることを特徴とする。 Further, in the image processing apparatus of the present invention, each of the limiting amount parameter specifying the band limiting amount for the temporal low-frequency band and the limiting amount parameter specifying the band limiting amount for the temporal high-frequency band is generally In the limiting amount parameter specifying the band limiting amount for the temporal high frequency band, including a first band limiting amount for band limiting and a second band limiting amount for limiting the band while suppressing blur The first band-limiting amount and the second band-limiting amount limit the band more than the first band-limiting amount and the second band-limiting amount in the band-limiting amount parameter specifying the band-limiting amount for the temporal low-frequency band. It is characterized by being configured to increase the amount of suppression.

更に、本発明のプログラムは、コンピューターを、本発明の画像処理装置として機能させるためのプログラムとして構成する。 Furthermore, the program of the present invention constitutes a program for causing a computer to function as the image processing apparatus of the present invention.

本発明によれば、動画像の圧縮符号化処理の前処理として本発明に係る画像処理装置を利用することで、入力動画像の静止領域（更には動領域）のエッジ成分のぼやけを抑制しつつ雑音成分を抑制し帯域制限することができ、動画像符号化品質を向上することが可能となる。 According to the present invention, by using the image processing apparatus according to the present invention as pre-processing for compression encoding processing of moving images, blurring of edge components in still regions (furthermore, moving regions) of input moving images is suppressed. While suppressing the noise component and limiting the band, it is possible to improve the video coding quality.

本発明による一実施形態の画像処理装置の概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of an image processing apparatus according to one embodiment of the present invention; FIG. （ａ）は２階空間ウェーブレットパケット分解によって得られる周波数帯域を示す図であり、（ｂ）は本発明による一実施形態の画像処理装置における一実施例の画像処理に係る２階時空間ウェーブレットパケット分解によって得られる周波数帯域を示す図である。(a) is a diagram showing a frequency band obtained by second-order spatial wavelet packet decomposition, and (b) is a second-order spatio-temporal wavelet packet according to an example of image processing in an image processing apparatus according to an embodiment of the present invention. FIG. 4 is a diagram showing frequency bands obtained by decomposition; 本発明による一実施形態の画像処理装置における一実施例の画像処理に係る通過帯域（非制限帯域）用、及び制限帯域用の周波数帯域の説明図である。FIG. 4 is an explanatory diagram of frequency bands for a passband (unlimited band) and a restricted band in image processing of one example in the image processing apparatus of one embodiment according to the present invention; 本発明による一実施形態の画像処理装置における一実施例の画像処理を示すフローチャートである。4 is a flow chart showing image processing of an example in the image processing apparatus of one embodiment according to the present invention; 本発明による一実施形態の画像処理装置における雑音パワー検出対象領域を示す図である。FIG. 4 is a diagram showing a noise power detection target area in the image processing apparatus of one embodiment according to the present invention; 本発明による一実施形態の画像処理装置における静止領域エッジパワー検出対象領域を示す図である。FIG. 4 is a diagram showing still area edge power detection target areas in the image processing apparatus according to one embodiment of the present invention; 本発明による一実施形態の画像処理装置における動領域エッジパワー検出対象領域を示す図である。FIG. 4 is a diagram showing a moving region edge power detection target region in the image processing apparatus according to one embodiment of the present invention; （ａ），（ｂ），（ｃ）は、それぞれ本発明による一実施形態の画像処理装置における一実施例の画像処理に係る通過帯域（非制限帯域）用、制限帯域内の時間低周波帯域用、及び制限帯域内の時間高周波帯域用の縮退関数の説明図である。(a), (b), and (c) are temporal low frequency bands within the restricted band for the passband (unrestricted band) related to the image processing of one example in the image processing apparatus of one embodiment according to the present invention, respectively. FIG. 10 is an illustration of a degeneracy function for use and for the temporal high frequency band within the restricted band; （ａ），（ｂ）は、それぞれ本発明による一実施形態の画像処理装置における変形例の画像処理に係る通過帯域（非制限帯域）用、及び制限帯域用の縮退関数の説明図である。8A and 8B are explanatory diagrams of degeneration functions for a passband (unrestricted band) and a restricted band, respectively, related to image processing of a modified example in the image processing apparatus according to one embodiment of the present invention; FIG. 本発明による一実施形態の画像処理装置における一実施例の画像処理に係る３階時空間ウェーブレットパケット分解によって得られる周波数帯域を示す図である。FIG. 4 is a diagram showing frequency bands obtained by third-order spatio-temporal wavelet packet decomposition related to image processing of one example in the image processing apparatus of one embodiment according to the present invention;

以下、本発明による一実施形態の画像処理装置１について、図面を参照して詳細に説明する。 An image processing apparatus 1 according to an embodiment of the present invention will be described in detail below with reference to the drawings.

〔装置構成〕
図１は本発明による一実施形態の画像処理装置１の概略構成を示すブロック図である。本実施形態の画像処理装置１は、圧縮符号化処理の前処理として、動画像を入力し時空間ウェーブレットパケット分解に基づく時空間ウェーブレット縮退を用いて画像処理を行う装置として構成され、時空間ウェーブレットパケット分解部１１、静止領域エッジパワー検出部１２、動領域エッジパワー検出部１３、雑音パワー検出部１４、第１制限帯域用縮退関数設定部１５、第２制限帯域用縮退関数設定部１６、通過帯域用縮退関数設定部１７、時空間ウェーブレット縮退部１８、及び再構成部１９を備える。尚、図１に示す例において、画像処理装置１に対しウェーブレットパケット分解階数（ｎ階）を外部指定可能とし、画像処理装置１内の必要とされる各構成要素に対し個別に外部指定するように図示しているが、パラメータとして伝送しながら処理する構成とすることも可能である。〔Device configuration〕
FIG. 1 is a block diagram showing a schematic configuration of an image processing apparatus 1 of one embodiment according to the present invention. The image processing apparatus 1 of the present embodiment is configured as a device that performs image processing using spatio-temporal wavelet degeneration based on spatio-temporal wavelet packet decomposition by inputting a moving image as preprocessing for compression encoding processing. Packet decomposition unit 11, static region edge power detection unit 12, motion region edge power detection unit 13, noise power detection unit 14, first limited band degeneration function setting unit 15, second limited band degeneration function setting unit 16, passing A band degeneration function setting unit 17 , a spatio-temporal wavelet degeneration unit 18 , and a reconstruction unit 19 are provided. In the example shown in FIG. 1, the wavelet packet decomposition order number (nth order) can be externally specified for the image processing apparatus 1, and each necessary component in the image processing apparatus 1 can be specified externally. , it is also possible to have a configuration in which processing is performed while being transmitted as parameters.

時空間ウェーブレットパケット分解部１１は、動画像を入力し、設定されたウェーブレットパケット分解階数（ｎ階）に従って（ｎ≧１）、入力動画像に対しｎ階時空間ウェーブレットパケット分解処理を施し、これにより抽出される時空間（空間方向及び時間方向）の各周波数帯域群の周波数分解係数を時空間ウェーブレット縮退部１８に出力する。尚、当該ｎ階時空間ウェーブレットパケット分解によって得られる時空間の各周波数帯域群の周波数分解係数における所定の空間高周波数帯域（空間制限帯域）に属する時間方向の周波数帯域群のうち予め定めた時間低周波帯域は制限帯域内の静止領域として静止領域エッジパワー検出部１２にて抽出される。また、当該ｎ階時空間ウェーブレットパケット分解によって得られる時空間の各周波数帯域群の周波数分解係数における所定の空間高周波数帯域（空間制限帯域）に属する時間方向の周波数帯域群のうち予め定めた時間高周波帯域は制限帯域内の動領域として動領域エッジパワー検出部１３にて抽出される。更に、当該ｎ階時空間ウェーブレットパケット分解によって得られる時空間の各周波数帯域のうち時空間対角最高周波数帯域内の周波数分解係数は雑音パワー検出部１４にて抽出される。 A spatio-temporal wavelet packet decomposition unit 11 receives a moving image, and according to the set number of wavelet packet decomposition orders (n≧1) (n≧1), performs n-th order spatio-temporal wavelet packet decomposition processing on the input moving image. The frequency resolution coefficients of each frequency band group in the spatio-temporal (spatial direction and temporal direction) extracted by are output to the spatio-temporal wavelet degeneration unit 18 . In addition, a predetermined time among the frequency band groups in the time direction belonging to a predetermined spatial high frequency band (spatial restricted band) in the frequency resolution coefficient of each spatiotemporal frequency band group obtained by the n-th order spatiotemporal wavelet packet decomposition The low frequency band is extracted by the still area edge power detector 12 as a still area within the restricted band. Also, a predetermined time among the temporal direction frequency band group belonging to a predetermined spatial high frequency band (space limited band) in the frequency resolution coefficient of each spatiotemporal frequency band group obtained by the n-th order spatiotemporal wavelet packet decomposition The high frequency band is extracted by the dynamic region edge power detector 13 as a dynamic region within the restricted band. Further, the noise power detector 14 extracts frequency resolution coefficients within the spatio-temporal diagonal maximum frequency band among the spatio-temporal frequency bands obtained by the n-th order spatio-temporal wavelet packet decomposition.

図２を参照して、より具体的に時空間ウェーブレットパケット分解について説明する。図２（ａ）は２階空間ウェーブレットパケット分解によって得られる周波数帯域を示す図であり、図２（ｂ）は本発明による一実施形態の画像処理装置１における一実施例の画像処理に係る２階時空間ウェーブレットパケット分解によって得られる周波数帯域を示す図である。図２は放送カメラで撮像された所謂８Ｋ／６０Ｐの映像の画像サイズ（水平解像度８Ｋ（７６８０画素）×垂直解像度４Ｋ（４３２０画素））の動画像を処理対象とした例である。まず、図２（ａ）に示すように、ｎ＝２とした空間方向のみを処理対象とする２階空間ウェーブレットパケット分解では、入力動画像における１枚のフレーム画像に対しそれぞれ水平・垂直方向に２階空間ウェーブレットパケット分解を行う。この場合、水平周波数×垂直周波数で表される図２（ａ）に図示するような、２階の空間低周波数帯域ＬＬ^ｍ、水平高周波数帯域ＬＨ^ｍ、垂直高周波数帯域ＨＬ^ｍ、及び対角（水平・垂直）高周波数帯域ＨＨ^ｍ（ｍは各周波数帯域群の群番号）に分解される。 The spatio-temporal wavelet packet decomposition will be described more specifically with reference to FIG. FIG. 2(a) is a diagram showing frequency bands obtained by second-order spatial wavelet packet decomposition, and FIG. FIG. 4 is a diagram showing frequency bands obtained by floor spatio-temporal wavelet packet decomposition; FIG. 2 shows an example of processing a moving image of a so-called 8K/60P video image size (horizontal resolution 8K (7680 pixels)×vertical resolution 4K (4320 pixels)) captured by a broadcast camera. First, as shown in Fig. 2(a), in the second-order spatial wavelet packet decomposition where n = 2 and only the spatial direction is the target of processing, one frame image in the input moving image is horizontally and vertically Perform second-order spatial wavelet packet decomposition. In this case, the second spatial low frequency band LL ^m , the horizontal high frequency band LH ^m , the vertical high frequency band HL ^m , and the diagonal It is decomposed into (horizontal/vertical) high frequency bands HH ^m (m is the group number of each frequency band group).

一方、図２（ｂ）に示すように、ｎ＝２とした空間方向及び時間方向を処理対象とする２階時空間ウェーブレットパケット分解では、入力動画像における１枚のフレーム画像に対しそれぞれ水平・垂直方向に２階空間ウェーブレットパケット分解を行った上で、その２階空間ウェーブレットパケット分解後の周波数帯域群を基準に、時間ウェーブレットフィルタを用いて当該１枚のフレーム画像に連続する直近の複数枚（例えば４枚）のフレーム画像を参照して時間方向に２階ウェーブレットパケット分解を行う。これにより、水平周波数×垂直周波数で表される２階の空間低周波数帯域ＬＬ^ｍ、水平高周波数帯域ＬＨ^ｍ、垂直高周波数帯域ＨＬ^ｍ、及び対角（水平・垂直）高周波数帯域ＨＨ^ｍ（ｍは各周波数帯域群の群番号）について、時間方向にも分解した周波数帯域が得られる。尚、図２（ｂ）では、説明の便宜上、時間方向周波数１５Ｐ毎に区切って図示している。 On the other hand, as shown in FIG. 2(b), in the second-order spatio-temporal wavelet packet decomposition with n=2 and processing in the spatial direction and the temporal direction, horizontal and After performing second-order spatial wavelet packet decomposition in the vertical direction, using the frequency band group after the second-order spatial wavelet packet decomposition as a reference, a temporal wavelet filter is used to obtain the most recent multiple images that are continuous with the one frame image. Second-order wavelet packet decomposition is performed in the time direction with reference to (for example, four) frame images. As a result, the second spatial low frequency band LL ^m , horizontal high frequency band LH ^m , vertical high frequency band HL ^m , and diagonal (horizontal/vertical) high frequency band HH ^m ( m is the group number of each frequency band group), frequency bands resolved also in the time direction are obtained. In addition, in FIG. 2(b), for convenience of explanation, the time direction frequency is divided every 15P.

図３は、本発明による一実施形態の画像処理装置１における一実施例の画像処理に係る通過帯域（非制限帯域）用、及び制限帯域用の周波数帯域の説明図である。図３に示すように、本実施形態では、時間方向周波数０Ｐから６０Ｐまでの時間方向で所定の空間低周波数帯域の領域Ｃ^１に属する周波数帯域群は雑音成分のみの除去を対象とする通過帯域（時空間非制限帯域）とし、時間方向周波数０Ｐから６０Ｐまでの時間方向で空間高周波数帯域の領域Ｃ^２に属する周波数帯域群は制限帯域（時空間制限帯域）ＴＣ^２として予め定めている。 FIG. 3 is an explanatory diagram of frequency bands for a pass band (non-restricted band) and a restricted band in image processing of one example in the image processing apparatus 1 according to one embodiment of the present invention. As shown in FIG. 3, in the present embodiment, a frequency band group belonging to a region ^C1 of a predetermined spatial low frequency band in the time direction from 0P to 60P in the time direction is a passband for removing only noise components. (spatio-temporal unrestricted band), and a frequency band group belonging to the region ^C2 of the spatial high-frequency band in the time direction from 0P to 60P in the time direction is predetermined as a restricted band (spatio-temporal restricted band) ^TC2 .

即ち、図３に示す例において、例えば８Ｋ／６０Ｐの入力動画像を４Ｋ／３０Ｐの出力動画像に縮退することを想定し、制限帯域（時空間制限帯域）ＴＣ^２と、ＴＣ^２以外の帯域である通過帯域（時空間非制限帯域）と、を予め定めている。つまり、図３は、８Ｋ／６０Ｐの入力動画像を水平方向に４Ｋ、垂直方向に２Ｋ、時間方向に３０Ｐに帯域制限をする例としている。ｎ階時空間ウェーブレットパケット分解して得られる周波数帯域群について、空間方向でどの周波数帯域群を通過帯域又は制限帯域とするか、更には、時間方向でどの周波数帯域群を時間低周波帯域又は時間高周波帯域とするかは、ｎ階時空間ウェーブレットパケット分解におけるｎの値で一意に定まるように予め定めておくものとする。尚、ｎ階時空間ウェーブレットハケット分解における各階間には、パーセバルの法則が成り立つものとなっている。 That is, in the example shown in FIG. 3, for example, assuming that an 8K/60P input moving image is degenerated into a 4K/30P output moving image, a limited band (spatio-temporal limited band) TC ² and bands other than TC ² A passband (spatio-temporal unrestricted band) is determined in advance. That is, FIG. 3 shows an example in which an 8K/60P input moving image is band-limited to 4K in the horizontal direction, 2K in the vertical direction, and 30P in the time direction. Regarding the frequency band group obtained by n-th order spatio-temporal wavelet packet decomposition, which frequency band group in the spatial direction is set as the passband or restriction band, and which frequency band group in the temporal direction is the temporal low frequency band or time Whether to use the high-frequency band is determined in advance so as to be uniquely determined by the value of n in the n-th order spatio-temporal wavelet packet decomposition. Note that Parseval's law holds between each level in the n-th order spatio-temporal wavelet Hackett decomposition.

図１に示すように、静止領域エッジパワー検出部１２は、ウェーブレットパケット分解階数（ｎ階）に従って、時空間ウェーブレットパケット分解部１１からの出力値である時空間の各周波数帯域群のうち静止領域とした予め定めた時間低周波帯域（例えば、制限帯域内の時間周波数０Ｐ～３０Ｐ間）で、水平高周波数帯域ＬＨ^ｍ、垂直高周波数帯域ＨＬ^ｍ、及び対角高周波数帯域ＨＨ^ｍ毎の周波数分解係数を抽出し、この抽出した周波数帯域毎の周波数分解係数のうち所定の閾値Ｔ_Ｓ以上の周波数分解係数を静止領域のエッジ成分とみなす。そして、静止領域エッジパワー検出部１２は、当該所定の閾値Ｔ_Ｓ以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における静止領域エッジパワーＰ_Ｓとして、当該抽出した時空間の周波数帯域群毎に検出し第１制限帯域用縮退関数設定部１５に出力する。 As shown in FIG. 1, the static region edge power detector 12 detects static regions among the spatio-temporal frequency band groups, which are the output values from the spatio-temporal wavelet packet decomposition unit 11, according to the wavelet packet decomposition order (nth order). In a predetermined temporal low-frequency band (for example, between temporal frequencies 0P to 30P within the restricted band), horizontal high-frequency band LH ^m , vertical high-frequency band HL ^m , and diagonal high-frequency band HH ^m frequency A resolution coefficient is extracted, and among the extracted frequency resolution coefficients for each frequency band, a frequency resolution coefficient equal to or greater than a predetermined threshold _TS is regarded as an edge component of the still region. Then, the static region edge power detection unit 12 uses the average value, standard deviation, or median value of the frequency resolution coefficients equal to or greater than the predetermined threshold value T _S as the static region edge power P _S in the restricted band. Each frequency band group is detected and output to the degeneracy function setting unit 15 for the first restricted band.

動領域エッジパワー検出部１３は、ウェーブレットパケット分解階数（ｎ階）に従って、時空間ウェーブレットパケット分解部１１からの出力値である時空間の各周波数帯域群のうち動領域とした予め定めた時間高周波帯域（例えば、制限帯域内の時間周波数３０Ｐ～６０Ｐ間）で、水平高周波数帯域ＬＨ^ｍ、垂直高周波数帯域ＨＬ^ｍ、及び対角高周波数帯域ＨＨ^ｍ毎の周波数分解係数を抽出し、この抽出した周波数帯域毎の周波数分解係数のうち所定の閾値Ｔ_Ｍ以上の周波数分解係数を動領域のエッジ成分とみなす。そして、動領域エッジパワー検出部１３は、当該所定の閾値Ｔ_Ｍ以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における動領域エッジパワーＰ_Ｍとして、当該抽出した時空間の周波数帯域群毎に検出し第２制限帯域用縮退関数設定部１６に出力する。 The dynamic domain edge power detector 13 selects a predetermined temporal high frequency as a dynamic domain among the spatio-temporal frequency band groups, which are the output values from the spatio-temporal wavelet packet decomposer 11, according to the wavelet packet decomposition order (nth order). A frequency resolution coefficient is extracted for each horizontal high-frequency band LH ^m , vertical high-frequency band HL ^m , and diagonal high-frequency band HH ^m in a band (for example, between temporal frequencies 30P to 60P within the restricted band), and this extraction Of the frequency resolution coefficients for each frequency band obtained, frequency resolution coefficients equal to or greater than a predetermined threshold _TM are regarded as edge components of the motion region. Then, the dynamic region edge power detection unit 13 uses the average value, standard deviation, or median value of the frequency resolution coefficients equal to or greater than the predetermined threshold value _TM as the dynamic region edge power P _M in the restricted band, Each frequency band group is detected and output to the degeneracy function setting unit 16 for the second restricted band.

雑音パワー検出部１４は、ウェーブレットパケット分解階数（ｎ階）に従って、時空間ウェーブレットパケット分解部１１からの出力値である時空間の各周波数帯域群のうち時空間対角最高周波数帯域（本例ではｎ＝２としており、空間ＨＨ^４に属する時間周波数４５Ｐ～６０Ｐ間）の成分（周波数分解係数）を抽出する。そして、雑音パワー検出部１４は、ｎ階時空間ウェーブレットパケット分解して得られる当該時空間対角最高周波数帯域内の全成分（全周波数分解係数）のパワーにおける予め定めた割合以上となるパワー（上位α％番目のパワー）を雑音成分とみなし、雑音パワーＰ_Ｎとして検出し第１制限帯域用縮退関数設定部１５、第２制限帯域用縮退関数設定部１６、及び通過帯域用縮退関数設定部１７に出力する。 The noise power detection unit 14 detects the spatio-temporal diagonal highest frequency band (in this example, With n=2, the components (frequency resolution coefficients) of the time frequencies 45P to 60P belonging to the space HH ⁴ are extracted. Then, the noise power detection unit 14 detects the power ( The upper α%th power) is regarded as a noise component, detected as a noise power P _N , and is detected by the first restricted band degeneration function setting unit 15, the second restricted band degeneration function setting unit 16, and the pass band degeneration function setting unit. 17.

第１制限帯域用縮退関数設定部１５は、静止領域エッジパワー検出部１２から得られる制限帯域における当該時間低周波帯域に該当する各周波数帯域群の静止領域エッジパワーＰ_Ｓと、雑音パワー検出部１４から得られる雑音パワーＰ_Ｎと、帯域制限量を指定する制限量パラメータとを基に、時空間ウェーブレット縮退部１８で用いる制限帯域内の時間低周波帯域用の縮退関数Ｓ^Ｓを設定する。第１制限帯域用縮退関数設定部１５で用いる制限量パラメータには、制限帯域における当該時間低周波帯域（静止領域）内で全体的に帯域制限するための第１の帯域制限量（例えば６［ｄＢ］）と、静止領域に対するぼやけを抑制しつつ帯域を制限するため静止領域エッジパワーＰ_Ｓを基準とした第２の帯域制限量（例えば２０［ｄＢ］）とが含まれる。 The first restricted band degeneration function setting unit 15 sets the static region edge power P _S of each frequency band group corresponding to the temporal low frequency band in the restricted band obtained from the static region edge power detection unit 12 and the noise power detection unit Based on the noise power P _N obtained from 14 and the limiting amount parameter specifying the band limiting amount, the degeneration function ^SS for the temporal low frequency band within the limited band used in the spatio-temporal wavelet degeneration unit 18 is set. The limiting amount parameter used in the first band-limited degeneracy function setting unit 15 includes a first band-limiting amount (for example, 6 [ dB]), and a second band limiting amount (for example, 20 [dB]) based on the still area edge power P _S to limit the band while suppressing blurring in the still area.

第２制限帯域用縮退関数設定部１６は、動領域エッジパワー検出部１３から得られる制限帯域における当該時間高周波帯域に該当する各周波数帯域群の動領域エッジパワーＰ_Ｍと、雑音パワー検出部１４から得られる雑音パワーＰ_Ｎと、帯域制限量を指定する制限量パラメータとを基に、時空間ウェーブレット縮退部１８で用いる制限帯域内の時間高周波帯域用の縮退関数Ｓ_Ｍを設定する。第２制限帯域用縮退関数設定部１６で用いる制限量パラメータには、制限帯域における当該時間高周波帯域（動領域）内で全体的に帯域制限するための第１の帯域制限量（例えば１２［ｄＢ］）と、動領域に対するぼやけを抑制しつつ帯域を制限するため動領域エッジパワーＰ_Ｍを基準とした第２の帯域制限量（例えば４０［ｄＢ］）とが含まれる。 The second restricted band degeneration function setting unit 16 sets the motion domain edge power P _M of each frequency band group corresponding to the temporal high frequency band in the restricted band obtained from the motion domain edge power detection unit 13 and the noise power detection unit 14 A degeneration function _SM for the temporal high-frequency band within the restricted band used in the spatio-temporal wavelet degeneracy unit 18 is set based on the noise power P _N obtained from and the limiting amount parameter specifying the band limiting amount. The limiting amount parameter used in the second limited band degeneration function setting unit 16 includes a first band limiting amount (for example, 12 [dB ]) and a second band-limiting amount (for example, 40 [dB]) based on the moving-region edge power _PM in order to limit the band while suppressing the blurring of the moving region.

ここで、第２制限帯域用縮退関数設定部１６で用いる第１の帯域制限量及び第２の帯域制限量は、それぞれ第１制限帯域用縮退関数設定部１５で用いる第１の帯域制限量及び第２の帯域制限量と同じ値とすることもできる。ただし、第２制限帯域用縮退関数設定部１６で用いる第１の帯域制限量及び第２の帯域制限量は、それぞれ第１制限帯域用縮退関数設定部１５で用いる第１の帯域制限量及び第２の帯域制限量よりも帯域制限する抑圧量を大きくすることが好適であり、これにより後処理として予定される動画像の圧縮符号化処理に係る画質を向上させつつ、画像破綻が発生しないように帯域制限することができる。 Here, the first band limiting amount and the second band limiting amount used in the second band limiting degeneracy function setting section 16 are the first band limiting amount and the second band limiting amount used in the first band limited degeneracy function setting section 15, respectively. It can also be the same value as the second band limit amount. However, the first band limiting amount and the second band limiting amount used in the second band limiting degeneracy function setting section 16 are the first band limiting amount and the second band limiting amount used in the first band limited degeneracy function setting section 15, respectively. It is preferable to increase the amount of band-limiting suppression more than the amount of band-limiting in 2. By doing so, it is possible to improve the image quality related to the compression encoding processing of moving images scheduled as post-processing while preventing image corruption. can be band limited to

一方、通過帯域用縮退関数設定部１７は、雑音パワー検出部１４から得られる雑音パワーＰ_Ｎを基に、時空間ウェーブレット縮退部１８で用いる通過帯域用の縮退関数Ｓ^Ｔを設定する。 On the other hand, the passband degeneration function setting unit 17 sets the passband degeneration function ^ST used in the spatio-temporal wavelet degeneration unit 18 based on the noise power P _N obtained from the noise power detection unit 14 .

時空間ウェーブレット縮退部１８は、時空間ウェーブレットパケット分解部１１から入力された各周波数帯域群の周波数分解係数に対し、第１制限帯域用縮退関数設定部１５、第２制限帯域用縮退関数設定部１６、及び通過帯域用縮退関数設定部１７により設定された縮退関数を適用して時空間ウェーブレット縮退処理を実行する。これにより、時空間ウェーブレット縮退部１８は、静止領域及び動領域のエッジ成分のぼやけを抑制しつつ雑音除去及び帯域制限を行う縮退関数を個別に、且つ適応的に設定して、時空間ウェーブレットパケット分解に基づく時空間ウェーブレット縮退処理を行い、帯域制限及び雑音除去後の各周波数帯域内の周波数分解係数を再構成部１９に出力する。 The spatio-temporal wavelet degeneracy unit 18 applies a first restricted band degeneracy function setting unit 15 and a second restricted band degeneracy function setting unit to the frequency resolution coefficients of each frequency band group input from the spatio-temporal wavelet packet decomposing unit 11. 16 and the degeneration function set by the passband degeneration function setting unit 17 are applied to perform spatio-temporal wavelet degeneration processing. As a result, the spatio-temporal wavelet degeneration unit 18 individually and adaptively sets degeneration functions that perform noise removal and band limitation while suppressing blurring of edge components in still and motion regions, and generates spatio-temporal wavelet packets. A spatio-temporal wavelet degeneration process based on decomposition is performed, and frequency decomposition coefficients in each frequency band after band limitation and noise removal are output to the reconstruction unit 19 .

再構成部１９は、ウェーブレットパケット分解階数（ｎ階）に従って、時空間ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域群の周波数分解係数を用いて時空間ウェーブレット再構成処理を施すことにより帯域制限及び雑音除去された出力動画像を生成し外部に出力する。 The reconstruction unit 19 performs spatio-temporal wavelet reconstruction processing using the frequency decomposition coefficients of each frequency band group band-limited and noise-removed by the spatio-temporal wavelet degeneration processing according to the wavelet packet decomposition order (nth order). A band-limited and noise-removed output moving image is generated and output to the outside.

〔装置動作〕
以下、より具体的に、図１乃至図３に示す本実施形態の画像処理装置１の動作として、図５乃至図７を参照しながら、図４を基に一実施例の画像処理について説明する。 [Device operation]
Hereinafter, as the operation of the image processing apparatus 1 according to the present embodiment shown in FIGS. 1 to 3, the image processing of one embodiment will be described with reference to FIGS. 5 to 7 and based on FIG. .

図４は、本発明による一実施形態の画像処理装置１における一実施例の画像処理を示すフローチャートである。また、図５は本実施形態の画像処理装置１における雑音パワー検出対象領域ＴＣ^２Ｎを示す図であり、図６は本実施形態の画像処理装置１における静止領域エッジパワー検出対象領域ＴＣ^２Ｓを示す図であり、図７は本実施形態の画像処理装置１における動領域エッジパワー検出対象領域ＴＣ^２Ｍを示す図である。 FIG. 4 is a flow chart showing an example of image processing in the image processing apparatus 1 of one embodiment according to the present invention. 5 is a diagram showing a noise power detection target area TC ^2N in the image processing apparatus 1 of this embodiment, and FIG. 6 shows a still area edge power detection target area TC ^2S in the image processing apparatus 1 of this embodiment. FIG. 7 is a diagram showing a moving region edge power detection target region TC ^2M in the image processing apparatus 1 of this embodiment.

まず、画像処理装置１は、時空間ウェーブレットパケット分解部１１により、動画像を入力し、設定されたウェーブレットパケット分解階数（ｎ階）に従って（ｎ≧１）、入力動画像に対しｎ階時空間ウェーブレットパケット分解処理を施し、これにより空間方向及び時間方向の各周波数帯域群の周波数分解係数を得る（ステップＳ１）。 First, the image processing apparatus 1 inputs a moving image by the spatio-temporal wavelet packet decomposition unit 11, and according to the set wavelet packet decomposition order (n ≧ 1), the input moving image is subjected to n-th spatio-temporal decomposition. A wavelet packet decomposition process is performed to obtain frequency decomposition coefficients of each frequency band group in the spatial direction and the temporal direction (step S1).

続いて、画像処理装置１は、雑音パワー検出部１４により、ウェーブレットパケット分解階数（ｎ階）に従って、時空間ウェーブレットパケット分解部１１からの出力値である時空間の各周波数帯域群のうち時空間対角最高周波数帯域（本例ではｎ＝２としており、図５に示すように空間ＨＨ^４に属する時間周波数４５Ｐ～６０Ｐ間である雑音パワー検出対象領域ＴＣ^２Ｎ）の成分（周波数分解係数）を抽出し、当該時空間対角最高周波数帯域内の全成分（全周波数分解係数）のパワーにおける予め定めた上位α％番目のパワーを雑音成分とみなし、雑音パワーＰ_Ｎとして検出する（ステップＳ２）。 Subsequently, the image processing apparatus 1 uses the noise power detection unit 14 to determine the spatio-temporal frequency band group, which is the output value from the spatio-temporal wavelet packet decomposition unit 11, according to the wavelet packet decomposition order (nth order). The component (frequency resolution coefficient) of the diagonal maximum frequency band (in this example, n=2, and the noise power detection target area TC ^2N between time frequencies 45P to 60P belonging to the space HH ⁴ as shown in FIG. 5) is Then, the predetermined upper α% power in the power of all components (all frequency resolution coefficients) within the spatio-temporal diagonal maximum frequency band is regarded as a noise component and detected as a noise power _PN (step S2). .

一般に、信号成分のパワーは低周波数帯域に偏在する。一方、熱雑音などの雑音成分のパワーは全周波数帯域群でほぼ一定である。このため、ｎ階時空間ウェーブレットパケット分解による時空間対角最高周波数帯域内の成分はほぼ雑音成分となる。そこで、雑音パワー検出部１４は、時空間対角最高周波数帯域（図５に示す雑音パワー検出対象領域ＴＣ^２Ｎ）の全成分（全周波数分解係数）のパワーをソートして、例えばα＝９８とすると、その上位９８％番目の値を雑音パワーＰ_Ｎとする。 In general, the power of signal components is unevenly distributed in the low frequency band. On the other hand, the power of noise components such as thermal noise is almost constant over the entire frequency band group. Therefore, the components within the spatio-temporal diagonal highest frequency band by the n-th order spatio-temporal wavelet packet decomposition are almost noise components. Therefore, the noise power detector 14 sorts the power of all components (all frequency resolution coefficients) in the spatio-temporal diagonal maximum frequency band (noise power detection target area TC ^2N shown in FIG. 5), and sets α=98, for example. Then, the upper 98% value is set as the noise power _PN .

続いて、画像処理装置１は、静止領域エッジパワー検出部１２により、ウェーブレットパケット分解階数（ｎ階）に従って、時空間ウェーブレットパケット分解部１１からの出力値である時空間の各周波数帯域群のうち予め定めた時間低周波帯域（例えば、図６に示すように制限帯域内の時間周波数０Ｐ～３０Ｐ間である静止領域エッジパワー検出対象領域ＴＣ^２Ｓ）で、その静止領域エッジパワー検出対象領域ＴＣ^２Ｓ内の水平高周波数帯域ＬＨ^ｍ、垂直高周波数帯域ＨＬ^ｍ、及び対角高周波数帯域ＨＨ^ｍの周波数分解係数を抽出し、この抽出した周波数帯域毎の周波数分解係数のうち所定の閾値Ｔ_Ｓ以上の周波数分解係数を静止領域のエッジ成分とみなす。そして、静止領域エッジパワー検出部１２は、当該所定の閾値Ｔ_Ｓ以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における静止領域エッジパワーＰ_Ｓとして、当該抽出した時空間の周波数帯域群毎に検出する（ステップＳ３）。 Next, the image processing apparatus 1 uses the static region edge power detection unit 12 to perform the wavelet packet decomposition order (nth order). In a predetermined temporal low frequency band (for example, a stationary area edge power detection target area TC ^2S that is between temporal frequencies 0P to 30P within the restricted band as shown in FIG. 6), the stationary area edge power detection target area TC ^2S of the horizontal high-frequency band LH ^m , vertical high _- frequency band HL ^m , and diagonal high-frequency band HH ^m within the is regarded as the edge component of the static region. Then, the static region edge power detection unit 12 uses the average value, standard deviation, or median value of the frequency resolution coefficients equal to or greater than the predetermined threshold value T _S as the static region edge power P _S in the restricted band. Detection is performed for each frequency band group (step S3).

ここで、静止領域エッジパワーＰ_Ｓは、予め定めた時間低周波帯域内の空間方向の各周波数帯域ＬＨ^ｍ，ＨＬ^ｍ，ＨＨ^ｍの周波数分解係数（信号成分）のうち閾値Ｔ_Ｓ以上の成分が、画像として著しい動きはないが水平、垂直、対角方向に連続なエッジ成分である可能性が高いことを利用して求めるものとする。例えば、図６に示す例を参照して説明するに、静止領域エッジパワー検出部１２は、静止領域エッジパワー検出対象領域ＴＣ^２Ｓである２階の時間低周波帯域内の空間方向の各周波数帯域ＬＨ^ｍ，ＨＬ^ｍ，ＨＨ^ｍ（ｍ＝２～４）毎に、閾値Ｔ_Ｓ以上の周波数分解係数の平均値（或いは標準偏差又は中央値でもよい。）を静止領域エッジパワーＰ_Ｓとしてそれぞれ求める（ただし、閾値Ｔ_Ｓは、各周波数帯域ＬＨ^ｍ，ＨＬ^ｍ，ＨＨ^ｍ（ｍ＝２～４）で異なる値としてもよい。）。 Here, the still area edge power P _S is the component equal to or greater than the threshold T _S among the frequency resolution coefficients (signal components) of each of the frequency bands LH ^m , HL ^m , and HH ^m in the spatial direction within the predetermined temporal low frequency band. However, it is determined by utilizing the fact that there is a high possibility that it is an edge component that is continuous in the horizontal, vertical, and diagonal directions, although there is no significant movement in the image. For example, referring to the example shown in FIG. 6, the still area edge power detection unit 12 detects each frequency band in the spatial direction within the temporal low frequency band on the second floor, which is the still area edge power detection target area TC ^2S . For each of LH ^m , HL ^m , and HH ^m (m=2 to 4), the average value (or standard deviation or median value) of the frequency resolution coefficients equal to or greater than the threshold T _S is obtained as the still area edge power P _S . (However, the threshold T _S may be a different value for each frequency band LH ^m , HL ^m , HH ^m (m=2 to 4)).

続いて、画像処理装置１は、動領域エッジパワー検出部１３により、ウェーブレットパケット分解階数（ｎ階）に従って、時空間ウェーブレットパケット分解部１１からの出力値である時空間の各周波数帯域群のうち予め定めた時間高周波帯域（例えば、図７に示すように制限帯域内の時間周波数３０Ｐ～６０Ｐ間である動領域エッジパワー検出対象領域ＴＣ^２Ｍ）で、その動領域エッジパワー検出対象領域ＴＣ^２Ｍ内の水平高周波数帯域ＬＨ^ｍ、垂直高周波数帯域ＨＬ^ｍ、及び対角高周波数帯域ＨＨ^ｍの周波数分解係数を抽出し、この抽出した周波数帯域毎の周波数分解係数のうち所定の閾値Ｔ_Ｍ以上の周波数分解係数を動領域のエッジ成分とみなす。そして、動領域エッジパワー検出部１３は、当該所定の閾値Ｔ_Ｍ以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における動領域エッジパワーＰ_Ｍとして、当該抽出した時空間の周波数帯域群毎に検出する（ステップＳ４）。 Subsequently, the image processing apparatus 1 uses the moving domain edge power detection unit 13 to determine the frequency band group of each spatio-temporal frequency band, which is the output value from the spatio-temporal wavelet packet decomposition unit 11, according to the wavelet packet decomposition order (nth order). In a predetermined temporal high-frequency band (for example, a dynamic region edge power detection target region TC ^2M between temporal frequencies 30P to 60P within the restricted band as shown in FIG. 7), within the dynamic region edge power detection target region TC ^2M of the horizontal high frequency band LH ^m , the vertical high frequency band HL ^m and the diagonal high frequency band HH ^m are extracted, and among the extracted frequency resolution coefficients for each frequency band _, The frequency resolution coefficients are regarded as the edge components of the motion domain. Then, the dynamic region edge power detection unit 13 uses the average value, standard deviation, or median value of the frequency resolution coefficients equal to or greater than the predetermined threshold value _TM as the dynamic region edge power P _M in the restricted band, Detection is performed for each frequency band group (step S4).

ここで、動領域エッジパワーＰ_Ｍは、予め定めた時間高周波帯域内の空間方向の各周波数帯域ＬＨ^ｍ，ＨＬ^ｍ，ＨＨ^ｍの周波数分解係数（信号成分）のうち閾値Ｔ_Ｍ以上の成分が、画像として著しい動きがあり水平、垂直、対角方向に連続なエッジ成分である可能性が高いことを利用して求めるものとする。例えば、図７に示す例を参照して説明するに、静止領域エッジパワー検出部１２は、動領域エッジパワー検出対象領域ＴＣ^２Ｍである２階の時間高周波帯域内の空間方向の各周波数帯域ＬＨ^ｍ，ＨＬ^ｍ，ＨＨ^ｍ（ｍ＝２～４）毎に、閾値Ｔ_Ｍ以上の周波数分解係数の平均値（或いは標準偏差又は中央値でもよい。）を動領域エッジパワーＰ_Ｍとしてそれぞれ求める（ただし、閾値Ｔ_Ｍは、各周波数帯域ＬＨ^ｍ，ＨＬ^ｍ，ＨＨ^ｍ（ｍ＝２～４）で異なる値としてもよい。）。 Here, the dynamic region edge power P _M is obtained by determining the frequency resolution coefficients (signal components) of each of the frequency bands LH ^m , HL ^m , and HH ^m in the spatial direction within the predetermined temporal high-frequency band, and the components equal to or greater than the threshold T _M . , is determined by utilizing the fact that there is a high probability that the image has significant movement and that it is an edge component that is continuous in the horizontal, vertical and diagonal directions. For example, referring to the example shown in FIG. 7, the still area edge power detection unit ¹² detects each spatial direction frequency band LH For each of ^m , HL ^m , and HH ^m (m=2 to 4), the average value (or standard deviation or median value) of the frequency resolution coefficients equal to or greater than the threshold T _M is obtained as the dynamic region edge power P _M ( However, the threshold T _M may be a different value for each frequency band LH ^m , HL ^m , HH ^m (m=2 to 4)).

続いて、画像処理装置１は、第１制限帯域用縮退関数設定部１５、第２制限帯域用縮退関数設定部１６、及び通過帯域用縮退関数設定部１７により、静止領域エッジパワーＰ_Ｓ、動領域エッジパワーＰ_Ｍ及び雑音パワーＰ_Ｎを基に、制限帯域及び通過帯域毎に縮退関数を設定する（ステップＳ５）。 Subsequently, the image processing apparatus 1 sets the still region edge power P _S and the motion Based on the area edge power _PM and the noise power _PN , a degeneration function is set for each restriction band and passband (step S5).

より具体的には、第１制限帯域用縮退関数設定部１５は、静止領域エッジパワー検出部１２から得られる制限帯域における当該時間低周波帯域に該当する各周波数帯域群の静止領域エッジパワーＰ_Ｓと、雑音パワー検出部１４から得られる雑音パワーＰ_Ｎと、帯域制限量を指定する制限量パラメータとを基に、時空間ウェーブレット縮退部１８で用いる制限帯域内の時間低周波帯域用の縮退関数Ｓ^Ｓを設定する。 More specifically, the first restricted band degeneration function setting unit 15 calculates the static region edge power _PS and the noise power P _N obtained from the noise power detection unit 14 and the limiting amount parameter specifying the band limiting amount, the degeneration function for the temporal low frequency band within the limited band used in the spatio-temporal wavelet degeneration unit 18 Set ^SS .

また、第２制限帯域用縮退関数設定部１６は、動領域エッジパワー検出部１３から得られる制限帯域における当該時間高周波帯域に該当する各周波数帯域群の動領域エッジパワーＰ_Ｍと、雑音パワー検出部１４から得られる雑音パワーＰ_Ｎと、帯域制限量を指定する制限量パラメータとを基に、時空間ウェーブレット縮退部１８で用いる制限帯域内の時間高周波帯域用の縮退関数Ｓ^Ｍを設定する。 Further, the second restricted band degeneracy function setting unit 16 detects the motion domain edge power P _M of each frequency band group corresponding to the temporal high frequency band in the restricted band obtained from the motion domain edge power detection unit 13 and noise power detection. Based on the noise power P _N obtained from the unit 14 and the limiting amount parameter specifying the band limiting amount, the degeneration function ^SM for the temporal high-frequency band within the limited band used in the spatio-temporal wavelet degenerating unit 18 is set.

更に、通過帯域用縮退関数設定部１７は、雑音パワー検出部１４から得られる雑音パワーＰ_Ｎを基に、時空間ウェーブレット縮退部１８で用いる通過帯域用の縮退関数Ｓ^Ｔを設定する。 Further, the passband degeneration function setting unit 17 sets the passband degeneration function ^ST used in the spatio-temporal wavelet degeneration unit 18 based on the noise power P _N obtained from the noise power detection unit 14 .

例えば、図８に、縮退関数Ｓ^Ｔ，Ｓ^Ｓ，Ｓ^Ｍの一例を示している。図８（ａ），（ｂ），（ｃ）は、それぞれ本実施形態の画像処理装置１における一実施例の画像処理に係る通過帯域（非制限帯域）用、制限帯域内の時間低周波帯域用、及び制限帯域内の時間高周波帯域用の縮退関数Ｓ^Ｔ，Ｓ^Ｓ，Ｓ^Ｍの説明図である。尚、図８において、説明の便宜上、縮退関数Ｓ^Ｔ，Ｓ^Ｓ，Ｓ^Ｍの傾きは分かりやすいように図示しており、正確に図示するものではない点に留意する。 For example, FIG. 8 shows an example of degenerate functions S ^T , S ^S , and S ^M . FIGS. 8A, 8B, and 8C are temporal low-frequency bands for passband (unlimited band) and limited band for image processing of one example in the image processing apparatus 1 of the present embodiment, respectively. FIG. 2 is an explanatory diagram of degeneracy functions S ^T , S ^S , and S ^M for use and temporal high-frequency bands within the restricted band; In FIG. 8, for convenience of explanation, the slopes of the degenerate functions S ^T , S ^S , and S ^M are illustrated for easy understanding, and it should be noted that they are not illustrated accurately.

図８（ａ）に示すように、通過帯域用縮退関数設定部１７は、入力ｘに対する出力ｙで示される通過帯域（非制限帯域）用の縮退関数Ｓ^Ｔについて、帯域制限は行わないｙ＝ｘ上で、雑音成分を抑圧する雑音パワーＰ_Ｎを基に定めることができ、時空間ウェーブレット縮退部１８に対して当該縮退関数Ｓ^Ｔを設定する。 As shown in FIG. 8A, the passband degeneracy function setting unit 17 does not band limit the degeneracy function ^ST for the passband (unlimited band) indicated by the output y with respect to the input x. On x, it can be determined based on the noise power P _N for suppressing the noise component, and the degeneration function ^ST is set for the spatio-temporal wavelet degeneration unit 18 .

また、図８（ｂ）に示すように、第１制限帯域用縮退関数設定部１５は、制限帯域における当該時間低周波帯域（静止領域）に対する制限量パラメータとして、制限帯域における当該時間低周波帯域（静止領域）内で全体的に帯域制限するための第１の帯域制限量は６［ｄＢ］とし、静止領域に対するぼやけを抑制しつつ帯域を制限するため静止領域エッジパワーＰ_Ｓを基準とした第２の帯域制限量は２０［ｄＢ］とする。この場合、第１制限帯域用縮退関数設定部１５は、入力ｘに対する出力ｙで示される縮退関数Ｓ^Ｓについて、第１の帯域制限量６［ｄＢ］に対応するｙ＝０．５ｘと、第２の帯域制限量２０［ｄＢ］に対応するｙ＝０．１ｘと、静止領域エッジパワーＰ_Ｓと、雑音パワーＰ_Ｎとを基に定めることができ、時空間ウェーブレット縮退部１８に対して当該縮退関数Ｓ^Ｓを設定する。尚、図８（ｂ）に示す傾き係数ｍ_０は、２０ｄＢとする第２の帯域制限量で自ずと定まる。そしてｍ_０をゼロとしないことから静止領域におけるぼやけを抑制することができる。 Further, as shown in FIG. 8B, the first restricted band degeneration function setting unit 15 sets the temporal low frequency band The first band-limiting amount for overall band-limiting within the (static area) is set to 6 [dB], and the static-area edge power _PS is used as a reference to limit the band while suppressing blurring of the static area. Assume that the second band limit amount is 20 [dB]. In this ^case , the first band-limited degeneracy function setting unit 15 sets y=0.5x corresponding to the first band-limiting amount 6 [dB] and can be determined based on y=0.1x corresponding to the band-limiting amount 20 [dB] of 2, the still region edge power _PS , and the noise power _PN . Set the degeneracy function ^SS . The slope coefficient _m0 shown in FIG. 8(b) is naturally determined by the second band limit amount of 20 dB. Since _m0 is not zero, it is possible to suppress blurring in still areas.

また、図８（ｃ）に示すように、第２制限帯域用縮退関数設定部１６は、制限帯域における当該時間高周波帯域（動領域）に対する制限量パラメータとして、制限帯域における当該時間高周波帯域（動領域）内で全体的に帯域制限するための第１の帯域制限量は１２［ｄＢ］とし、静止領域に対するぼやけを抑制しつつ帯域を制限するため動領域エッジパワーＰ_Ｍを基準とした第２の帯域制限量は４０［ｄＢ］とする。この場合、第２制限帯域用縮退関数設定部１６は、入力ｘに対する出力ｙで示される縮退関数Ｓ^Ｍについて、第１の帯域制限量１２［ｄＢ］に対応するｙ＝０．２５ｘと、第２の帯域制限量４０［ｄＢ］に対応するｙ＝０．０１ｘと、動領域エッジパワーＰ_Ｍと、雑音パワーＰ_Ｎとを基に定めることができ、時空間ウェーブレット縮退部１８に対して当該縮退関数Ｓ^Ｍを設定する。尚、図８（ｃ）に示す傾き係数ｍ_１は、４０ｄＢとする第２の帯域制限量で自ずと定まる。そしてｍ_１をゼロとしないことから動領域におけるぼやけを抑制することができる。 Further, as shown in FIG. 8(c), the second restricted band degeneration function setting unit 16 sets the temporal high frequency band (dynamic region) in the restricted band as a restriction amount parameter for the temporal high frequency band (dynamic The first band-limiting amount for band-limiting the overall band within the region) is set to 12 [dB], and the second band-limiting amount based on the moving region edge power _PM is set to limit the band while suppressing the blurring of the static region. is set to 40 [dB]. In this case, the second band-limited degeneracy function setting unit 16 sets y= ^0.25x corresponding to the first band-limiting amount 12 [dB] and can be determined based on y=0.01x corresponding to the band limitation amount 40 [dB] of 2, the motion domain edge power _PM , and the noise power _PN . Set the degeneracy function ^SM . Note that the slope coefficient _m1 shown in FIG. 8(c) is naturally determined by the second band limit amount of 40 dB. Since _m1 is not set to zero, it is possible to suppress blurring in the motion area.

続いて、画像処理装置１は、時空間ウェーブレット縮退部１８により、時空間ウェーブレットパケット分解部１１から入力された各周波数帯域群の周波数分解係数に対し、第１制限帯域用縮退関数設定部１５、第２制限帯域用縮退関数設定部１６、及び通過帯域用縮退関数設定部１７により設定された縮退関数を適用して時空間ウェーブレット縮退処理を実行することにより静止領域及び動領域のエッジのぼやけを抑圧しながら雑音除去及び帯域制限を行う（ステップＳ６）。 Subsequently, the image processing apparatus 1 causes the spatio-temporal wavelet degeneration unit 18 to apply the frequency decomposition coefficients of each frequency band group input from the spatio-temporal wavelet packet decomposition unit 11 to the first restricted band degeneration function setting unit 15, By applying the degeneracy function set by the second restricted band degeneracy function setting unit 16 and the passband degeneracy function setting unit 17 and performing spatio-temporal wavelet degeneration processing, edge blurring in the still and moving regions is reduced. Noise removal and band limitation are performed while suppressing (step S6).

最終的に、画像処理装置１は、再構成部１９により、時空間ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域群の周波数分解係数を用いて時空間ウェーブレット再構成処理を施すことにより帯域制限及び雑音除去された出力動画像を生成し外部に出力する（ステップＳ７）。 Finally, the image processing device 1 performs spatio-temporal wavelet reconstruction processing using the frequency resolution coefficients of each frequency band group band-limited and noise-removed by the spatio-temporal wavelet degeneration processing by the reconstruction unit 19. A band-limited and noise-removed output moving image is generated and output to the outside (step S7).

以上のように、本実施形態の画像処理装置１は、動画像の圧縮符号化処理の前処理として利用することで、入力動画像の静止領域及び動領域のエッジ成分のぼやけを抑制しつつ雑音成分を抑制することができ、動画像符号化品質を向上することが可能となる。 As described above, the image processing apparatus 1 of the present embodiment suppresses the blurring of edge components in still and moving regions of an input moving image by using it as a pre-process for compressing and encoding a moving image. components can be suppressed, and the video coding quality can be improved.

（変形例）
尚、上述した実施形態の例では、入力動画像の静止領域及び動領域の双方のエッジ成分のぼやけを抑制する例を説明したが、画像処理装置１において、動領域エッジパワー検出部１３及び第２制限帯域用縮退関数設定部１６を省略し、入力動画像の静止領域のみエッジ成分のぼやけを抑制する構成としてもよい。この変形例の縮退関数を図９に例示している。図９（ａ），（ｂ）は、それぞれ本発明による一実施形態の画像処理装置１における変形例の画像処理に係る通過帯域（非制限帯域）用、及び制限帯域用の縮退関数Ｓ^Ｔ，Ｓ^Ｓの説明図である。図９（ａ），（ｂ）に示す縮退関数Ｓ^Ｔ，Ｓ^Ｓは、図８（ａ），（ｂ），（ｃ）にそれぞれ示す縮退関数Ｓ^Ｔ，Ｓ^Ｓと同様である。 (Modification)
In the above-described example of the embodiment, an example of suppressing blurring of edge components in both the static region and the moving region of the input moving image has been described. It is also possible to omit the degeneracy function setting unit 16 for 2-limited bands and suppress the blurring of the edge component only in the static region of the input moving image. The degeneracy function of this variant is illustrated in FIG. FIGS. 9A and 9B show degenerate functions S ^T for passband (unrestricted band) and restricted band, respectively, related to the image processing of the modified example in the image processing apparatus 1 of one embodiment according to the present invention. It is explanatory drawing of ^SS . The degeneracy functions S ^T and S ^S shown in FIGS. 9(a) and (b) are the same as the degeneracy functions S ^T and S S shown in FIGS. 8(a), (b) and (c ⁾ , respectively.

図９に例示するように、画像処理装置１において、動領域エッジパワー検出部１３及び第２制限帯域用縮退関数設定部１６を省略した構成においては、図９に示す縮退関数Ｓ^Ｓを上述と同様に当該時間低周波帯域（静止領域）に対してのみ適用する。この場合でも、比較的多くの動画像においてエッジ成分のぼやけを抑制することができ、処理負担をより軽減させることができる。 As illustrated in FIG. 9, in the image processing apparatus 1, in a configuration in which the moving region edge power detection unit 13 and the second restricted band degeneration function setting unit 16 are omitted, the degeneration function ^SS shown in FIG. Similarly, it applies only to the relevant temporal low-frequency band (stationary region). Even in this case, blurring of edge components can be suppressed in a relatively large number of moving images, and the processing load can be further reduced.

（応用例）
上述した一実施例及び変形例では、ｎ＝２とした２階時空間ウェーブレットパケット分解で動作するときの例を主として説明したが、ｎ≧３以上とすることもできる。例えば、図１０に示すように、ｎ＝３とした３階時空間ウェーブレットパケット分解で動作させることもできる。図１０では放送カメラで撮像された所謂８Ｋ／６０Ｐの映像の画像サイズ（水平解像度８Ｋ（７６８０画素）×垂直解像度４Ｋ（４３２０画素））の動画像を処理対象とした例である。ｎ＝３とした空間方向及び時間方向を処理対象とする３階時空間ウェーブレットパケット分解では、入力動画像における１枚のフレーム画像に対しそれぞれ水平・垂直方向に３階空間ウェーブレットパケット分解を行った上で、その３階空間ウェーブレットパケット分解後の周波数帯域群を基準に、時間ウェーブレットフィルタを用いて当該１枚のフレーム画像に連続する直近の複数枚（例えば８枚）のフレーム画像を参照して時間方向に２階ウェーブレットパケット分解を行う。これにより、水平周波数×垂直周波数で表される３階の空間低周波数帯域ＬＬ^ｍ、水平高周波数帯域ＬＨ^ｍ、垂直高周波数帯域ＨＬ^ｍ、及び対角（水平・垂直）高周波数帯域ＨＨ^ｍ（ｍは各周波数帯域群の群番号）について、より細かく時間方向にも分解した周波数帯域が得られる。 (Application example)
In the above-described embodiment and modification, an example of operating with second-order spatio-temporal wavelet packet decomposition with n=2 has been mainly described, but n≧3 can also be used. For example, as shown in FIG. 10, it is also possible to operate with third-order spatio-temporal wavelet packet decomposition with n=3. FIG. 10 shows an example in which a moving image of a so-called 8K/60P video image size (horizontal resolution 8K (7680 pixels)×vertical resolution 4K (4320 pixels)) captured by a broadcast camera is processed. In the third-order spatio-temporal wavelet packet decomposition with n = 3 and processing in the spatial direction and the temporal direction, one frame image in the input video was subjected to the third-order spatial wavelet packet decomposition in the horizontal and vertical directions, respectively. Above, based on the frequency band group after the third-order spatial wavelet packet decomposition, a plurality of (for example, 8) frame images that are immediately adjacent to the one frame image using a time wavelet filter are referenced. Second-order wavelet packet decomposition is performed in the time direction. As a result, the third spatial low frequency band LL ^m , horizontal high frequency band LH ^m , vertical high frequency band HL ^m , and diagonal (horizontal/vertical) high frequency band HH ^m ( m is the group number of each frequency band group), frequency bands that are more finely resolved also in the time direction can be obtained.

図１０に示すように３階時空間ウェーブレットパケット分解を行う場合も、図３、図６及び図７に示した例と同様に、制限帯域（時空間制限帯域）ＴＣ^２とそれ以外の通過帯域を任意に定め、且つ時間低周波帯域と時間高周波帯域とを任意に定めることができる。上述したように、ｎ階時空間ウェーブレットパケット分解して得られる周波数帯域群について、空間方向でどの周波数帯域群を通過帯域又は制限帯域とするか、更には、時間方向でどの周波数帯域群を時間低周波帯域又は時間高周波帯域とするかは、ｎ階時空間ウェーブレットパケット分解におけるｎの値で一意に定まるように予め定めておくものとする。尚、図１０に示す例では、雑音パワー検出対象領域ＴＣ^２Ｎは時空間の各周波数帯域群のうち時空間対角最高周波数帯域とし、静止領域エッジパワー検出対象領域ＴＣ^２Ｓは時空間の各周波数帯域群のうち予め定めた時間低周波帯域（制限帯域内の時間周波数０Ｐ～４５Ｐ間）とし、動領域エッジパワー検出対象領域ＴＣ^２Ｍは時空間の各周波数帯域群のうち予め定めた時間高周波帯域（制限帯域内の時間周波数４５Ｐ～６０Ｐ間）としている。 As shown in FIG. 10, when the third-order ^spatio -temporal wavelet packet decomposition is performed, similarly to the examples shown in FIGS. can be arbitrarily determined, and the temporal low-frequency band and the temporal high-frequency band can be arbitrarily determined. As described above, regarding the frequency band group obtained by n-th order spatio-temporal wavelet packet decomposition, which frequency band group in the spatial direction is set as the pass band or the limit band, and which frequency band group in the temporal direction is the time band. Whether to use the low-frequency band or the temporal high-frequency band is determined in advance so as to be uniquely determined by the value of n in the n-th order spatio-temporal wavelet packet decomposition. In the example shown in FIG. 10, the noise power detection target region TC ^2N is the spatio-temporal diagonal highest frequency band among the spatio-temporal frequency band groups, and the still region edge power detection target region TC ^2S is each spatio-temporal frequency. A predetermined temporal low-frequency band (between 0P and 45P of temporal frequencies within the restricted band) is selected from the band group, and the dynamic region edge power detection target region TC ^2M is a predetermined temporal high-frequency band from each spatio-temporal frequency band group. (Between time frequencies 45P to 60P within the restricted band).

以上の実施形態における画像処理装置１は、コンピューターにより構成することができ、画像処理装置１の各処理部を機能させるためのプログラムを好適に用いることができる。具体的には、画像処理装置１の各処理部を制御するための制御部をコンピューター内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各処理部を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピューターに、ＣＰＵによって該プログラムを実行させることにより、画像処理装置１の各処理部の有する機能を実現させることができる。更に、画像処理装置１の各処理部の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納させることができる。そのような記憶部は、装置内部のＲＡＭ又はＲＯＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、コンピューターで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。更に、そのようなコンピューターに、画像処理装置１の各処理部として機能させるためのプログラムは、コンピューター読取り可能な記録媒体に記録することができる。また、画像処理装置１の各処理部をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。 The image processing apparatus 1 in the above embodiment can be configured by a computer, and a program for functioning each processing unit of the image processing apparatus 1 can be preferably used. Specifically, a control unit for controlling each processing unit of the image processing apparatus 1 can be configured by a central processing unit (CPU) in a computer, and a program necessary for operating each processing unit can be At least one memory can be used as a storage unit that stores data as appropriate. That is, the functions of each processing unit of the image processing apparatus 1 can be realized by causing the CPU of such a computer to execute the program. Furthermore, a program for realizing the function of each processing unit of the image processing apparatus 1 can be stored in a predetermined area of the storage unit (memory) described above. Such a storage unit can be configured with a RAM or ROM inside the device, or can be configured with an external storage device (eg, hard disk). Also, such a program can be made up of a part of software (stored in a ROM or an external storage device) on an OS used in a computer. Furthermore, a program for causing such a computer to function as each processing unit of the image processing apparatus 1 can be recorded on a computer-readable recording medium. Also, each processing unit of the image processing apparatus 1 can be configured as a part of hardware or software, and can be realized by combining them.

以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した実施形態の例では、主として、２階又は３階時空間ウェーブレットパケット分解に基づく時空間ウェーブレット縮退を用いて雑音除去及び帯域制限を行う例を説明したが、４階以上の時空間ウェーブレットパケット分解に基づいた時空間ウェーブレット縮退を用いて雑音除去及び帯域制限を行う処理とすることもできるし、１階時空間ウェーブレットパケット分解に基づく時空間ウェーブレット縮退を用いて雑音除去及び帯域制限を行う処理としてもよい。例えば、ｎ＝１とした１階時空間ウェーブレットパケット分解により、空間方向における１階の空間低周波数帯域ＬＬ^１、水平高周波数帯域ＬＨ^１、垂直高周波数帯域ＨＬ^１、及び対角高周波数帯域ＨＨ^１について、時間方向にも１階で分解した周波数帯域が得られる。このとき、時間方向周波数０Ｐから６０Ｐまでの時間方向で所定の空間低周波数帯域の領域Ｃ^１（即ち、ＬＬ^１）に属する周波数帯域群は雑音成分のみの除去を対象とする通過帯域（時空間非制限帯域）とし、時間方向周波数０Ｐから６０Ｐまでの時間方向で空間高周波数帯域の領域Ｃ^２（即ち、ＬＨ^１，ＨＬ^１，ＨＨ^１）に属する周波数帯域群は制限帯域（時空間制限帯域）ＴＣ^２として定めることができる。従って、本発明に係る画像処理装置１は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。 Although the present invention has been described with reference to specific embodiments, the present invention is not limited to the above-described embodiments, and can be modified in various ways without departing from the technical idea thereof. For example, in the example of the embodiment described above, an example was mainly described in which noise removal and band limitation were performed using spatiotemporal wavelet degeneration based on second-order or third-order spatiotemporal wavelet packet decomposition. It is also possible to perform denoising and bandlimiting using spatiotemporal wavelet degeneration based on wavelet packet decomposition, or denoise and bandlimit using spatiotemporal wavelet degeneration based on first-order spatiotemporal wavelet packet decomposition. It is good also as a process to perform. For example, a first-order spatio-temporal wavelet packet decomposition with n=1 yields a first-order spatial low-frequency band LL ¹ , horizontal high-frequency band LH ¹ , vertical high-frequency band HL ¹ , and diagonal high-frequency band HH in the spatial direction. ¹ , a first-order resolved frequency band is obtained in the time direction as well. At this time, a frequency band group belonging to a predetermined spatial low frequency band region C ¹ (that is, LL ¹ ) in the temporal direction from 0P to 60P in the temporal direction is a passband (spatio-temporal and the frequency band group belonging to the region C ² (that is, LH ¹ , HL ¹ , HH ¹ ) of the spatial high frequency band in the time direction from 0P to 60P in the time direction is a restricted band (spatio-temporal restricted band ) can be defined as ^TC2 . Therefore, the image processing apparatus 1 according to the present invention is not limited to the above-described embodiment examples, but is limited only by the description of the claims.

本発明によれば、動画像の圧縮符号化処理の前処理として本発明に係る画像処理装置を利用することで、入力動画像の静止領域（更には動領域）のエッジ成分のぼやけを抑制しつつ雑音成分を抑制することができるので、特に、動画像符号化を要する用途に有用である。 According to the present invention, by using the image processing apparatus according to the present invention as pre-processing for compression encoding processing of moving images, blurring of edge components in still regions (furthermore, moving regions) of input moving images is suppressed. Since it is possible to suppress the noise component while reducing noise, it is particularly useful for applications requiring video coding.

１画像処理装置
１１時空間ウェーブレットパケット分解部
１２静止領域エッジパワー検出部
１３動領域エッジパワー検出部
１４雑音パワー検出部
１５第１制限帯域用縮退関数設定部
１６第２制限帯域用縮退関数設定部
１７通過帯域用縮退関数設定部
１８時空間ウェーブレット縮退部
１９再構成部 REFERENCE SIGNS LIST 1 image processing device 11 spatio-temporal wavelet packet decomposing unit 12 still area edge power detector 13 moving area edge power detector 14 noise power detector 15 first restricted band degeneration function setting unit 16 second restricted band degeneration function setting unit 17 passband degeneration function setting unit 18 spatio-temporal wavelet degeneration unit 19 reconstruction unit

Claims

An image processing device for inputting a moving image and performing image processing using wavelet degeneration based on wavelet packet decomposition,
a spatio-temporal wavelet packet decomposition unit that performs n (n≧1)-th order spatio-temporal wavelet packet decomposition processing on an input moving image and extracts frequency decomposition coefficients of each spatio-temporal frequency band group;
Among the frequency band groups in the temporal direction belonging to the predetermined spatial high frequency band in the frequency resolution coefficient of each spatiotemporal frequency band group, a predetermined temporal low frequency band is a static region within the restricted band, and the predetermined extracting frequency resolution coefficients for each of the horizontal high-frequency band, the vertical high-frequency band, and the diagonal high-frequency band in the temporal low-frequency band; Considering the edge component of the static region, the average value, standard deviation, or median value of the frequency resolution coefficients equal to or greater than the predetermined threshold is detected as the static region edge power in the restricted band for each extracted spatio-temporal frequency band group. a stationary area edge power detection unit for
A frequency resolution coefficient of a spatio-temporal diagonal highest frequency band is extracted from each spatio-temporal frequency band group, and the power of all frequency resolution coefficients in the spatio-temporal diagonal highest frequency band is equal to or greater than a predetermined ratio. A noise power detection unit that regards power as a noise component and detects the noise component as noise power;
The static region edge power of each frequency band group corresponding to the predetermined temporal low-frequency band defined as the static region within the restricted band, the noise power, and a limit specifying a band limit amount for the temporal low-frequency band a first restricted band degeneracy function setting unit that sets a degeneracy function for a temporal low frequency band within the restricted band based on a quantity parameter;
A passband degeneration function setting unit that sets a degeneration function for the passband based on the noise power, with a frequency band group other than the restricted band as the passband;
performing spatio-temporal wavelet degeneration processing by applying a degeneration function for the temporal low-frequency band in the restricted band and a degeneration function for the pass band to the frequency resolution coefficients of each of the spatio-temporal frequency band groups; a spatio-temporal wavelet degeneration unit that performs spatio-temporal wavelet degeneration processing based on the spatio-temporal wavelet packet decomposition processing;
Reconstruction for generating a band-limited and noise-removed output moving image by applying a spatio-temporal wavelet reconstruction process using the frequency resolution coefficients of each frequency band group band-limited and noise-removed by the spatio-temporal wavelet degeneration process. Department and
An image processing device comprising:

Of the frequency band groups in the temporal direction belonging to a predetermined spatial high frequency band in the frequency resolution coefficient of each spatiotemporal frequency band group, a predetermined temporal high frequency band is defined as a dynamic region within the restricted band , and the predetermined Extracting frequency resolution coefficients for each of the horizontal high-frequency band, the vertical high-frequency band, and the diagonal high-frequency band in the temporal high-frequency band, and among the extracted frequency resolution coefficients for each frequency band, frequency resolution coefficients equal to or greater than a predetermined threshold is regarded as the edge component of the dynamic region, and the average value or standard deviation of the frequency resolution coefficients equal to or greater than the predetermined threshold, or the median value as the dynamic region edge power in the restricted band, for each of the extracted spatio-temporal frequency band groups a moving region edge power detector for detection;
Based on the dynamic region edge power of each frequency band group corresponding to the temporal high-frequency band set as the dynamic region in the limited band, the noise power, and a limiting amount parameter that specifies the band limiting amount for the temporal high-frequency band and a second restricted band degeneracy function setting unit that sets a degeneracy function for the temporal high frequency band within the restricted band,
The spatio-temporal wavelet degeneracy unit, for frequency resolution coefficients of each spatio-temporal frequency band group, degenerates a degeneracy function for a temporal low-frequency band within the restricted band, a degeneracy function for a temporal high-frequency band within the restricted band, 2. The spatio-temporal wavelet degeneracy process based on the spatio-temporal wavelet packet decomposition process is performed by applying the degeneracy function for the passband and performing the spatio-temporal wavelet degeneracy process. image processing device.

Each of a limiting amount parameter specifying a band limiting amount for the temporal low frequency band and a limiting amount parameter specifying a band limiting amount for the temporal high frequency band is a first band limiting for overall band limiting. and a second bandlimiting quantity to limit the band while suppressing blur;
The first band limiting amount and the second band limiting amount in the limiting amount parameter specifying the band limiting amount for the temporal high frequency band are the first band limiting amount in the limiting amount parameter specifying the band limiting amount for the temporal low frequency band. 3. The image processing apparatus according to claim 2, wherein the suppression amount for band limiting is set larger than the band limiting amount and the second band limiting amount.

A program for causing a computer to function as the image processing apparatus according to any one of claims 1 to 3.