Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7290968B2 - Image processing device and program - Google Patents
[go: Go Back, main page]

JP7290968B2 - Image processing device and program - Google Patents

Image processing device and program Download PDF

Info

Publication number
JP7290968B2
JP7290968B2 JP2019059522A JP2019059522A JP7290968B2 JP 7290968 B2 JP7290968 B2 JP 7290968B2 JP 2019059522 A JP2019059522 A JP 2019059522A JP 2019059522 A JP2019059522 A JP 2019059522A JP 7290968 B2 JP7290968 B2 JP 7290968B2
Authority
JP
Japan
Prior art keywords
band
frequency
degeneration
frequency band
wavelet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019059522A
Other languages
Japanese (ja)
Other versions
JP2020161985A (en
Inventor
康孝 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2019059522A priority Critical patent/JP7290968B2/en
Publication of JP2020161985A publication Critical patent/JP2020161985A/en
Application granted granted Critical
Publication of JP7290968B2 publication Critical patent/JP7290968B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置及びプログラムに関する。 The present invention relates to an image processing apparatus and program for inputting a moving image for each frame image and performing image processing using wavelet degeneration based on wavelet packet decomposition.

従来、動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて雑音除去を行う技法として、入力画像をウェーブレット変換した周波数分解係数のうち、所定の雑音レベル以下の成分をコアリングすることによりノイズ除去を行うことが知られている(例えば、非特許文献1参照)。 Conventionally, as a technique for removing noise by inputting a moving image frame by frame and using wavelet degeneration based on wavelet packet decomposition, among the frequency decomposition coefficients obtained by wavelet transforming the input image, the components below a predetermined noise level are cored. It is known to remove noise by

また、ウェーブレット縮退を用いた画像処理装置として、高周波ノイズ画像と低周波ノイズ画像を抽出し、これらの画像が輝度成分の画像であるか色差成分の画像であるかに応じて分けて統合することで雑音レベルの低減を行う技法が知られている(例えば、特許文献1参照)。 Also, as an image processing device using wavelet degeneration, a high-frequency noise image and a low-frequency noise image are extracted, and these images are divided and integrated according to whether they are images of luminance components or images of color difference components. A technique for reducing the noise level is known (see Patent Document 1, for example).

特許第5352942号明細書Patent No. 5352942 specification

David L. Donoho, Iain M. Johnstone, Gerard Kerkyacharian and Dominique Picard: “Wavelet Shrinkage: Asymptopia?”, Journal of the Royal Statistical Society. Series B (Methodological), Vol. 57, No. 2, pp. 301-369, 1995.David L. Donoho, Iain M. Johnstone, Gerard Kerkyacharian and Dominique Picard: “Wavelet Shrinkage: Asymptopia?”, Journal of the Royal Statistical Society. Series B (Methodological), Vol. 57, No. 2, pp. 301-369 , 1995.

上述したように、従来から、非特許文献1や特許文献1などのように、画像に対しウェーブレット縮退を用いて雑音除去する技法が知られている。 As described above, techniques for removing noise from an image using wavelet degeneration are conventionally known, such as in Non-Patent Document 1 and Patent Document 1.

一方で、近年、例えば次世代地上波放送として、ハイビジョンを超える超高精細動画像として4Kや8KのSHV(Super Hi-Vision)などの大容量コンテンツサービスを伝送することが検討されている。このような超高精細動画像の伝送にあたって高圧縮符号化を行う際に、空間高周波数帯域成分のパワーが大きいなどの理由で高圧縮符号化が困難な動画像が入力されうることが想定される。この場合、伝送容量としてその入力動画像が持つ膨大な情報量に対する符号化ビットレートが十分ではない事態が生じうるため、圧縮又は伝送に係る符号化に起因する画像破綻が発生する場合がある。 On the other hand, in recent years, for example, transmission of large-capacity content services such as 4K and 8K SHV (Super Hi-Vision) as ultra-high-definition moving images exceeding high-definition has been considered as next-generation terrestrial broadcasting. When performing high-compression encoding for the transmission of such ultra-high-definition video, it is assumed that video images that are difficult to high-compression-encode due to reasons such as the power of spatial high-frequency band components being large may be input. be. In this case, since the encoding bit rate may not be sufficient for the enormous amount of information that the input moving image has as transmission capacity, image corruption may occur due to encoding related to compression or transmission.

そこで、超高精細動画像に対する高圧縮符号化処理の前段で、非特許文献1や特許文献1などの従来の雑音除去処理を行うことで、入力動画像が持つ情報量を削減することができる。 Therefore, it is possible to reduce the amount of information contained in the input video by performing conventional noise removal processing such as Non-Patent Document 1 and Patent Document 1 before high-compression encoding processing for ultra-high-definition video. .

しかし、従来の雑音除去処理を用いて超高精細動画像に対する雑音除去を行うと、画像破綻は抑制されるがエッジ成分などがぼやけやすいという問題がある。 However, if the conventional noise removal processing is used to remove noise from an ultra-high-definition moving image, image corruption is suppressed, but there is a problem that edge components and the like tend to blur.

このため、超高精細動画像等の動画像に対し圧縮符号化処理の前段でウェーブレット縮退を用いて情報量を削減するにあたり、エッジ成分などのぼやけを抑制しながら圧縮符号化が困難な動画像で発生する画像破綻を抑制し、動画像の符号化品質を向上させる技法が望まれる。 For this reason, when reducing the amount of information by using wavelet degeneracy in the preceding stage of compression encoding processing for moving images such as ultra-high-definition moving images, it is difficult to compress and encode moving images that are difficult to compress and encode while suppressing blurring of edge components. A technique is desired that suppresses image corruption that occurs in video and improves the coding quality of moving images.

従って、本発明の目的は、圧縮符号化処理の前段で動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行い、エッジ成分などのぼやけを抑制しながら圧縮符号化処理に係る画質を向上させる画像処理装置及びプログラムを提供することにある。 Therefore, an object of the present invention is to perform compression encoding while suppressing blurring of edge components by inputting a moving image frame by frame before compression encoding processing and performing image processing using wavelet degeneration based on wavelet packet decomposition. An object of the present invention is to provide an image processing device and a program for improving image quality related to processing.

本発明による一態様の画像処理装置は、圧縮符号化処理の前段で動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う際に、ウェーブレットパケット分解に基づく各周波数帯域群の連続信号パワーに基づいて、エッジ成分などのぼやけを抑制しながら少なくとも帯域制限を行う縮退関数の設定を適応的に行うように構成する。更に、本発明による別態様の画像処理装置は、エッジ成分などのぼやけを抑制しながら帯域制限及び雑音除去の双方を可能とするために、処理対象の動画像の各フレーム画像に対しウェーブレットパケット分解に基づく各周波数帯域群の連続信号パワー及び雑音パワーの双方に基づいて効率的に縮退関数を設定する。 An image processing apparatus according to one aspect of the present invention performs image processing using wavelet degeneration based on wavelet packet decomposition by inputting a moving image for each frame image before compression encoding processing. Based on the continuous signal power of the band group, it is configured to adaptively set a degeneracy function that performs at least band limitation while suppressing blurring of edge components and the like. Furthermore, the image processing apparatus of another aspect according to the present invention performs wavelet packet decomposition for each frame image of the moving image to be processed in order to enable both band limitation and noise removal while suppressing blurring of edge components. Efficiently sets the degeneracy function based on both the continuous signal power and the noise power of each frequency band group based on .

即ち、本発明の画像処理装置は、動画像をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置であって、前記フレーム画像に対しn(n≧2)階ウェーブレットパケット分解処理を施し、各周波数帯域の周波数分解係数を抽出するウェーブレットパケット分解部と、当該各周波数帯域のうち所定の空間高周波数帯域群を制限帯域として抽出し、前記制限帯域内の水平高周波数帯域、垂直高周波数帯域、及び対角高周波数帯域の所定の閾値以上の周波数分解係数を連続信号成分とみなし、当該所定の閾値以上の周波数分解係数の平均値又は標準偏差、或いは中央値を前記制限帯域における各周波数帯域群の連続信号パワーとして検出する連続信号パワー検出部と、少なくとも前記連続信号パワーと帯域制限量を指定する制限量パラメータとを基に、前記制限帯域における各周波数帯域群の縮退関数を設定する制限帯域用縮退関数設定部と、前記n階ウェーブレットパケット分解処理を施して得られる各周波数帯域の周波数分解係数に対し前記縮退関数を適用してウェーブレット縮退処理を実行することにより前記制限帯域内の周波数分解係数の帯域制限を行うウェーブレット縮退部と、前記ウェーブレット縮退処理後の周波数分解係数を用いてウェーブレット再構成処理を施すことにより出力画像を生成する再構成部と、前記n階ウェーブレットパケット分解処理を施して得られる各周波数帯域の周波数分解係数のうち空間対角最高周波数帯域内の全ての周波数分解係数のパワーにおける予め定めた割合以上となるパワーを雑音成分とみなし、雑音パワーとして検出する雑音パワー検出部と、を備え、前記制限帯域用縮退関数設定部は、前記連続信号パワーと、前記雑音パワーと、前記制限量パラメータとを基に、前記制限帯域における各周波数帯域群の縮退関数を設定することを特徴とする。 That is, the image processing apparatus of the present invention is an image processing apparatus that inputs a moving image for each frame image and performs image processing using wavelet degeneration based on wavelet packet decomposition. ) first-order wavelet packet decomposition processing and extracting frequency decomposition coefficients of each frequency band; The frequency resolution coefficients of the horizontal high-frequency band, the vertical high-frequency band, and the diagonal high-frequency band, which are equal to or greater than a predetermined threshold, are regarded as continuous signal components, and the average value, standard deviation, or median of the frequency resolution coefficients equal to or greater than the predetermined threshold is calculated. A continuous signal power detector for detecting a value as a continuous signal power of each frequency band group in the restricted band; A restricted band degeneration function setting unit that sets a degeneration function for a band group, and performs wavelet degeneration processing by applying the degeneration function to frequency resolution coefficients of each frequency band obtained by performing the n-th order wavelet packet decomposition processing. a wavelet degeneracy unit that band-limits the frequency resolution coefficients within the restricted band by , Among the frequency resolution coefficients of each frequency band obtained by performing the n-th order wavelet packet decomposition processing, the power that is equal to or greater than a predetermined ratio in the power of all the frequency resolution coefficients in the spatial diagonal highest frequency band is defined as a noise component. and a noise power detection unit for detecting noise power, wherein the degeneracy function setting unit for limited band, based on the continuous signal power, the noise power, and the limit amount parameter, in the limited band It is characterized by setting a degeneracy function for each frequency band group .

また、本発明の画像処理装置において、前記制限帯域以外となる周波数帯域群を通過帯域とし、前記雑音パワーを基に前記通過帯域における周波数帯域群の縮退関数を設定する通過帯域用縮退関数設定部を更に備え、前記ウェーブレット縮退部は、前記制限帯域用縮退関数設定部、及び前記通過帯域用縮退関数設定部により設定された各縮退関数を適用してウェーブレット縮退処理を実行することにより前記制限帯域内の周波数分解係数の帯域制限と雑音除去、及び前記通過帯域内の周波数分解係数の雑音除去を行うことを特徴とする。 Further, in the image processing apparatus of the present invention, a passband degeneration function setting unit for setting a degeneration function for a frequency band group in the passband based on the noise power, with a frequency band group other than the restricted band as the passband. wherein the wavelet degeneration unit applies the degeneration functions set by the restricted band degeneration function setting unit and the passband degeneration function setting unit to perform wavelet degeneration processing, thereby reducing the restricted band band limitation and noise elimination of the frequency resolution coefficients within the passband, and noise elimination of the frequency resolution coefficients within the passband.

また、本発明の画像処理装置において、前記制限量パラメータは、前記制限帯域内で全体的に帯域制限するための第1の帯域制限量と、前記連続信号パワーを基準とした第2の帯域制限量とを含むことを特徴とする。 Further, in the image processing apparatus of the present invention, the limiting amount parameter includes a first band limiting amount for band limiting the entire band within the limited band, and a second band limiting amount based on the continuous signal power. and an amount.

更に、本発明のプログラムは、コンピューターを、本発明の画像処理装置として機能させるためのプログラムとして構成する。 Furthermore, the program of the present invention constitutes a program for causing a computer to function as the image processing apparatus of the present invention.

本発明によれば、エッジ成分などのぼやけを抑制しながら符号化が困難な動画像で発生する画像破綻を抑制することができ、動画像符号化品質を向上させることが可能となる。 According to the present invention, it is possible to suppress image corruption that occurs in moving images that are difficult to encode while suppressing blurring of edge components and the like, and it is possible to improve the quality of moving image encoding.

本発明による一実施形態の画像処理装置の概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of an image processing apparatus according to one embodiment of the present invention; FIG. 本発明による一実施形態の画像処理装置における一実施例の画像処理に係る2階ウェーブレットパケット分解によって得られる周波数帯域を示す図である。FIG. 4 is a diagram showing frequency bands obtained by second-order wavelet packet decomposition related to image processing of one example in the image processing apparatus of one embodiment according to the present invention; 本発明による一実施形態の画像処理装置における一実施例の画像処理を示すフローチャートである。4 is a flow chart showing image processing of an example in the image processing apparatus of one embodiment according to the present invention; (a),(b)は、それぞれ本発明による一実施形態の画像処理装置における一実施例の画像処理に係る通過帯域用、及び各制限帯域用の縮退関数の説明図である。3(a) and 3(b) are explanatory diagrams of degeneration functions for a passband and each restricted band, respectively, according to an example of image processing in an image processing apparatus according to an embodiment of the present invention; FIG. (a),(b)は、それぞれ本発明による一実施形態の画像処理装置における変形例の画像処理に係る通過帯域用、及び各制限帯域用の縮退関数の説明図である。8A and 8B are explanatory diagrams of degeneration functions for a passband and each restricted band, respectively, related to image processing of a modified example in the image processing apparatus according to one embodiment of the present invention; FIG. 本発明による一実施形態の画像処理装置における一実施例の画像処理に係る3階ウェーブレットパケット分解によって得られる周波数帯域を示す図である。FIG. 4 is a diagram showing frequency bands obtained by third-order wavelet packet decomposition related to image processing of one example in the image processing apparatus of one embodiment according to the present invention;

以下、本発明による一実施形態の画像処理装置1について、図面を参照して詳細に説明する。 An image processing apparatus 1 according to an embodiment of the present invention will be described in detail below with reference to the drawings.

〔装置構成〕
図1は本発明による一実施形態の画像処理装置1の概略構成を示すブロック図である。本実施形態の画像処理装置1は、圧縮符号化処理の前段で動画をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う装置として構成され、ウェーブレットパケット分解部11、連続信号パワー検出部12、雑音パワー検出部13、制限帯域用縮退関数設定部14、通過帯域用縮退関数設定部15、ウェーブレット縮退部16、及び再構成部17を備える。尚、図1に示す例において、画像処理装置1に対しウェーブレットパケット分解階数(n階)を外部指定可能とし、画像処理装置1内の必要とされる各構成要素に対し個別に外部指定するように図示しているが、パラメータとして伝送しながら処理する構成とすることも可能である。
〔Device configuration〕
FIG. 1 is a block diagram showing a schematic configuration of an image processing apparatus 1 of one embodiment according to the present invention. The image processing apparatus 1 of the present embodiment is configured as an apparatus for inputting a moving image frame by frame before compression encoding processing and performing image processing using wavelet degeneration based on wavelet packet decomposition. A continuous signal power detection unit 12 , a noise power detection unit 13 , a restriction band degeneration function setting unit 14 , a passband degeneration function setting unit 15 , a wavelet degeneration unit 16 and a reconstruction unit 17 are provided. In the example shown in FIG. 1, the wavelet packet decomposition order number (nth order) can be externally specified for the image processing apparatus 1, and each necessary component in the image processing apparatus 1 can be specified externally. , it is also possible to have a configuration in which processing is performed while being transmitted as parameters.

ウェーブレットパケット分解部11は、動画のフレーム画像を入力画像として入力し、設定されたウェーブレットパケット分解階数(n階)に従って(n≧2)、入力画像に対しn階ウェーブレットパケット分解処理を施し、これにより得られる各周波数帯域の周波数分解係数をウェーブレット縮退部16に出力する。尚、当該n階ウェーブレットパケット分解によって得られる各周波数帯域の周波数分解係数のうち所定の空間高周波数帯域群の周波数分解係数は制限帯域として連続信号パワー検出部12にて抽出され、当該n階ウェーブレットパケット分解によって得られる各周波数帯域の周波数分解係数のうち空間対角高周波数帯域内の周波数分解係数は雑音パワー検出部13にて抽出される。 The wavelet packet decomposition unit 11 receives a frame image of a moving image as an input image, and performs nth-order wavelet packet decomposition processing on the input image in accordance with the set wavelet packet decomposition order (n≧2). The frequency-resolved coefficients of each frequency band obtained by are output to the wavelet degeneracy unit 16 . Of the frequency resolution coefficients of each frequency band obtained by the n-th order wavelet packet decomposition, the frequency resolution coefficients of a predetermined spatial high frequency band group are extracted as a restricted band by the continuous signal power detection unit 12, and the n-th order wavelet Among the frequency resolution coefficients of each frequency band obtained by packet decomposition, the frequency resolution coefficients in the spatial diagonal high frequency band are extracted by the noise power detector 13 .

図2を参照して、より具体的に空間高周波数帯域群及び空間低周波数帯域群について説明する。図2は、本発明による一実施形態の画像処理装置1における一実施例の画像処理に係る2階ウェーブレットパケット分解によって得られる周波数帯域を示す図である。図2は放送カメラで撮像された所謂8Kの映像の画像サイズ(水平解像度8K(7680画素)×垂直解像度4K(4320画素))のフレーム画像を入力画像とした例であり、この入力画像に対しそれぞれ水平・垂直方向に2階ウェーブレットパケット分解を行うことで、水平周波数×垂直周波数で表される図示するような、2階の空間低周波数帯域LL、水平高周波数帯域LH、垂直高周波数帯域HL、及び対角(水平・垂直)高周波数帯域HH(mは各周波数帯域群Cの群番号)に分解される。そして、空間低周波数帯域群に属する周波数帯域群Cは雑音成分のみの除去を対象とする通過帯域とし、空間高周波数帯域群に属する周波数帯域群C,C,Cは、エッジ成分などのぼやけを抑制しながら帯域制限を行うことを対象とする制限帯域として予め定めている。 The spatial high frequency band group and the spatial low frequency band group will be described more specifically with reference to FIG. FIG. 2 is a diagram showing frequency bands obtained by second-order wavelet packet decomposition related to image processing of one example in the image processing apparatus 1 of one embodiment according to the present invention. FIG. 2 shows an example in which a frame image of a so-called 8K video captured by a broadcast camera and having an image size (horizontal resolution 8K (7680 pixels)×vertical resolution 4K (4320 pixels)) is used as an input image. By performing second-order wavelet packet decomposition in the horizontal and vertical directions, respectively, the second-order spatial low-frequency band LL m , horizontal high-frequency band LH m , and vertical high-frequency band represented by horizontal frequency × vertical frequency are shown in the figure. It is decomposed into a band HL m and a diagonal (horizontal/vertical) high frequency band HH m (m is the group number of each frequency band group C m ). The frequency band group C1 belonging to the spatial low frequency band group is a passband for removing only noise components, and the frequency band groups C2 , C3 , and C4 belonging to the spatial high frequency band group are edge components. It is determined in advance as a restricted band for which band restriction is performed while suppressing blurring such as .

即ち、図2に示す例において、例えば8Kのフレーム画像を4Kのフレーム画像に縮退することを想定し、周波数帯域群Cを通過帯域、周波数帯域群C,C,Cは制限帯域とするように定めている。n階ウェーブレットパケット分解して得られる周波数帯域群Cについて、どの周波数帯域群を通過帯域又は制限帯域とするかは、n階ウェーブレットパケット分解におけるnの値で一意に定まるように予め定めておくものとする。尚、n階ウェーブレットハケット分解における各階間には、パーセバルの法則が成り立つものとなっている。 That is, in the example shown in FIG. 2, for example, assuming that an 8K frame image is degenerated into a 4K frame image, the frequency band group C1 is the passband, and the frequency band groups C2 , C3 , and C4 are the restriction bands. It is defined as Regarding the frequency band group C m obtained by n-th order wavelet packet decomposition, which frequency band group is to be the pass band or the restriction band is predetermined so that it is uniquely determined by the value of n in the n-th order wavelet packet decomposition. shall be Note that Parseval's law holds between each level in the n-th order wavelet Hackett decomposition.

図1に示すように、連続信号パワー検出部12は、ウェーブレットパケット分解階数(n階)に従って、ウェーブレットパケット分解部11からの出力値のうち制限帯域である各空間高周波数帯域群C(=C,C,C)内の水平高周波数帯域LH、垂直高周波数帯域HL、及び対角高周波数帯域HHの周波数分解係数を抽出し所定の閾値T以上の周波数分解係数を連続信号成分とみなす。そして、連続信号パワー検出部12は、当該所定の閾値T以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における各周波数帯域群の連続信号パワーP として検出し制限帯域用縮退関数設定部14に出力する。 As shown in FIG. 1, the continuous signal power detector 12 detects each spatial high frequency band group C m (= C 2 , C 3 , C 4 ), the frequency resolution coefficients of the horizontal high-frequency band LH m , vertical high-frequency band HL m , and diagonal high-frequency band HH m are extracted, and frequency resolution coefficients equal to or greater than a predetermined threshold Th are extracted. is regarded as a continuous signal component. Then, the continuous signal power detection unit 12 detects the average value, standard deviation, or median value of the frequency resolution coefficients equal to or greater than the predetermined threshold value T h as the continuous signal power P cm of each frequency band group in the restricted band, and limits it. It is output to the band degeneration function setting unit 14 .

雑音パワー検出部13は、ウェーブレットパケット分解階数(n階)に従って、ウェーブレットパケット分解部11からの出力値である各周波数帯域群C(=C,C,C,C)のうち空間対角高周波数帯域(本例ではn=2としており、HH)を抽出する。そして、雑音パワー検出部13は、n階ウェーブレットパケット分解して得られる空間対角最高周波数帯域(本例ではn=2としており、HH)内の全成分(全周波数分解係数)のパワーにおける予め定めた割合以上となるパワー(上位α%番目のパワー)を雑音成分とみなし、雑音パワーPとして検出し制限帯域用縮退関数設定部14、及び通過帯域用縮退関数設定部15に出力する。 The noise power detection unit 13 determines, in accordance with the wavelet packet decomposition order (nth order), of each frequency band group C m (=C 1 , C 2 , C 3 , C 4 ), which is the output value from the wavelet packet decomposition unit 11. A spatial diagonal high frequency band (HH 4 where n=2 in this example) is extracted. Then, the noise power detection unit 13 detects the power of all components (all frequency resolution coefficients) in the spatial diagonal highest frequency band (in this example, n=2, HH 4 ) obtained by n-th order wavelet packet decomposition. A power exceeding a predetermined ratio (upper α% power) is regarded as a noise component, detected as a noise power PN , and output to the degeneration function setting unit 14 for the limit band and the degeneration function setting unit 15 for the pass band. .

制限帯域用縮退関数設定部14は、連続信号パワー検出部12から得られる制限帯域における各周波数帯域群C(=C,C,C)の連続信号パワーP と、雑音パワー検出部13から得られる雑音パワーPと、帯域制限量を指定する制限量パラメータとを基に、ウェーブレット縮退部16で用いる制限帯域における各周波数帯域群の縮退関数S(=S,S,S)を設定する。制限量パラメータには、制限帯域内で全体的に帯域制限するための第1の帯域制限量(例えば6[dB])と、連続信号(エッジなど)に対するぼやけを抑制しつつ帯域を制限するため連続信号パワーP を基準とした第2の帯域制限量(例えば20[dB])とが含まれる。 The degeneracy function setting unit for limited band 14 sets the continuous signal power P cm of each frequency band group C m (=C 2 , C 3 , C 4 ) in the limited band obtained from the continuous signal power detection unit 12 and the noise power Based on the noise power P N obtained from the detection unit 13 and the limiting amount parameter specifying the band limiting amount, the degeneration function S m (=S 2 , S 3 , S4 ). The limiting amount parameter includes a first band limiting amount (for example, 6 [dB]) for band limiting overall within the limited band, and and a second band-limiting amount (for example, 20 [dB]) based on the continuous signal power P c m .

一方、通過帯域用縮退関数設定部15は、雑音パワー検出部13から得られる雑音パワーPを基に、ウェーブレット縮退部16で用いる通過帯域における周波数帯域群C(=C)の縮退関数S(=S)を設定する。 On the other hand, based on the noise power P N obtained from the noise power detection unit 13, the passband degeneration function setting unit 15 degenerates the frequency band group C m (=C 1 ) in the passband used in the wavelet degeneration unit 16. Set S m (=S 1 ).

ウェーブレット縮退部16は、ウェーブレットパケット分解部11から入力された各周波数帯域の周波数分解係数に対し、制限帯域用縮退関数設定部14、及び通過帯域用縮退関数設定部15により設定された縮退関数を適用してウェーブレット縮退処理を実行する。これにより、ウェーブレット縮退部16は、制限帯域内の周波数分解係数の帯域制限と雑音除去、及び通過帯域内の周波数分解係数の雑音除去を行い、帯域制限及び雑音除去後の各周波数帯域内の周波数分解係数を再構成部17に出力する。 The wavelet degeneracy unit 16 applies degeneracy functions set by the restriction band degeneracy function setting unit 14 and the passband degeneracy function setting unit 15 to the frequency resolution coefficients of each frequency band input from the wavelet packet decomposing unit 11. Apply to perform the wavelet shrinkage process. As a result, the wavelet degeneracy unit 16 performs band limitation and noise removal on the frequency resolution coefficients within the restricted band, noise removal on the frequency resolution coefficients within the passband, and the frequencies in each frequency band after band limitation and noise removal The decomposition coefficients are output to the reconstruction unit 17 .

再構成部17は、ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域の周波数分解係数を用いてウェーブレット再構成処理を施すことにより出力画像を生成し外部に出力する。 The reconstruction unit 17 generates an output image by performing wavelet reconstruction processing using the frequency resolution coefficients of each frequency band band-limited and noise-removed by the wavelet degeneration processing, and outputs it to the outside.

〔装置動作〕
以下、図1乃至図3を参照しながら、より具体的に、本実施形態の画像処理装置1の動作として、一実施例の画像処理について説明する。
[Device operation]
Hereinafter, image processing of an example will be described more specifically as an operation of the image processing apparatus 1 of the present embodiment with reference to FIGS. 1 to 3. FIG.

図3は、本発明による一実施形態の画像処理装置1における一実施例の画像処理を示すフローチャートである。 FIG. 3 is a flow chart showing an example of image processing in the image processing apparatus 1 of one embodiment according to the present invention.

まず、画像処理装置1は、ウェーブレットパケット分解部11により、動画のフレーム画像を入力画像として入力し、設定されたウェーブレットパケット分解階数(n階)に従って(n≧2)、入力画像に対しn階ウェーブレットパケット分解処理を施し、これにより得られる各周波数帯域の周波数分解係数を得る(ステップS1)。 First, the image processing apparatus 1 inputs a frame image of a moving image as an input image through the wavelet packet decomposition unit 11, and according to the set wavelet packet decomposition rank (nth order) (n≧2), the input image is subjected to nth order decomposition. A wavelet packet decomposition process is performed to obtain frequency decomposition coefficients for each frequency band (step S1).

続いて、画像処理装置1は、連続信号パワー検出部12により、ウェーブレットパケット分解階数(n階)に従って、ウェーブレットパケット分解部11からの出力値のうち制限帯域である各空間高周波数帯域群C(=C,C,C)内の水平高周波数帯域LH、垂直高周波数帯域HL、及び対角高周波数帯域HHの周波数分解係数を抽出し所定の閾値T以上の周波数分解係数を連続信号成分とみなす。そして、連続信号パワー検出部12は、当該所定の閾値T以上の周波数分解係数の平均値又は標準偏差、或いは中央値を制限帯域における各周波数帯域群の連続信号パワーP として検出する(ステップS2)。 Subsequently, the image processing apparatus 1 uses the continuous signal power detection unit 12 to determine each spatial high-frequency band group C m that is a restricted band among the output values from the wavelet packet decomposition unit 11 according to the wavelet packet decomposition order (nth order). The frequency resolution coefficients of the horizontal high-frequency band LH m , vertical high-frequency band HL m and diagonal high-frequency band HH m in (=C 2 , C 3 , C 4 ) are extracted and the frequencies equal to or higher than a predetermined threshold Th are extracted. Consider the decomposition coefficients as continuous signal components. Then, the continuous signal power detection unit 12 detects the average value , standard deviation, or median value of the frequency resolution coefficients equal to or greater than the predetermined threshold Th as the continuous signal power P cm of each frequency band group in the restricted band ( step S2).

ここで、制限帯域における各周波数帯域群の連続信号パワーP は、各空間高周波数帯域群C(=C,C,C)内の各周波数帯域LH,HL,HHの周波数分解係数(信号成分)のうち閾値T以上の成分が水平、垂直、対角方向に連続なエッジ成分である可能性が高いことを利用して求めるものとする。例えば、図2に示す例を参照して説明するに、連続信号パワー検出部12は、2階の周波数帯域群Cにおける各周波数帯域LH,HL,HHの周波数分解係数(信号成分)のうち閾値T以上の成分のパワーの平均値(或いは標準偏差又は中央値でもよい。)を連続信号パワーP として求め、2階の周波数帯域群C,Cにおける各連続信号パワーP ,P もそれぞれ同様に定めたち閾値T(ただし、各空間高周波数帯域群C,C,Cで異なる閾値としてもよい。)に基づき求める。 Here, the continuous signal power P cm of each frequency band group in the restricted band is obtained by each frequency band LH m , HL m , HH in each spatial high frequency band group C m (=C 2 , C 3 , C 4 ) . The frequency resolution coefficients (signal components) of m are determined by utilizing the fact that the components above the threshold Th are highly likely to be edge components that are continuous in the horizontal, vertical and diagonal directions. For example, to describe with reference to the example shown in FIG . 2 , the continuous signal power detection unit 12 detects frequency resolution coefficients (signal components ), the average value (or standard deviation or median value) of the power of the components above the threshold T h is obtained as the continuous signal power P c 4 , and each continuous signal in the second-order frequency band groups C 2 and C 3 The powers P c 2 and P c 3 are similarly determined based on threshold values T h (however, different threshold values may be used for the spatial high-frequency band groups C 2 , C 3 and C 4 ).

続いて、画像処理装置1は、雑音パワー検出部13は、ウェーブレットパケット分解階数(n階)に従って、ウェーブレットパケット分解部11からの出力値である空間対角最高周波数帯域(本例ではn=2としており、HH)を抽出し、その空間対角最高周波数帯域HH内の全成分(全周波数分解係数)のパワーにおける予め定めた上位α%番目のパワーを雑音成分とみなし、雑音パワーPとして検出する(ステップS3)。 Subsequently, in the image processing apparatus 1, the noise power detection unit 13 detects the spatial diagonal maximum frequency band (n=2 in this example), which is the output value from the wavelet packet decomposition unit 11, according to the wavelet packet decomposition order (nth order). HH 4 ) is extracted, the power of the predetermined upper α % of the power of all components (all frequency resolution coefficients) in the spatial diagonal highest frequency band HH 4 is regarded as a noise component, and the noise power P N is detected (step S3).

一般に、信号成分のパワーは低周波数帯域に偏在する。一方、熱雑音などの雑音成分のパワーは全周波数帯域群でほぼ一定である。このため、n階ウェーブレットパケット分解による空間対角最高周波数帯域内の成分は雑音成分が支配的となる。そこで、雑音パワー検出部13は、本例では2階ウェーブレットパケット分解による空間対角最高周波数帯域(本例ではn=2としており、HH)内の全成分のパワーにおける上位α%番目のパワーを雑音パワーPとして検出する。例えばα=95とすると、空間対角最高周波数帯域HH内の全成分のパワーをソートしてその上位95%番目の値を雑音パワーPとする。 In general, the power of signal components is unevenly distributed in the low frequency band. On the other hand, the power of noise components such as thermal noise is almost constant over the entire frequency band group. For this reason, noise components are dominant in the components within the spatial diagonal maximum frequency band resulting from the n-th order wavelet packet decomposition. Therefore, in this example, the noise power detection unit 13 detects the power of the upper α% of the powers of all components in the spatial diagonal maximum frequency band (in this example, n=2, HH 4 ) by second-order wavelet packet decomposition. is detected as the noise power PN . For example, if α=95, the powers of all the components in the spatial diagonal highest frequency band HH4 are sorted, and the top 95% value is taken as the noise power PN .

続いて、画像処理装置1は、制限帯域用縮退関数設定部14及び通過帯域用縮退関数設定部15により、連続信号パワーP 及び雑音パワーPを基に、制限帯域及び通過帯域毎に縮退関数を設定する(ステップS4)。 Subsequently, the image processing apparatus 1 uses the degeneration function setting unit 14 for the limit band and the degeneration function setting unit 15 for the pass band to set A degenerate function is set (step S4).

より具体的には、制限帯域用縮退関数設定部14は、連続信号パワー検出部12から得られる制限帯域における各周波数帯域群C(=C,C,C)の連続信号パワーP と、雑音パワー検出部13から得られる雑音パワーPと、連続信号パワーP を考慮して定められる帯域制限量を指定する制限量パラメータとを基に、ウェーブレット縮退部16で用いる制限帯域における各周波数帯域群の縮退関数S(=S,S,S)を設定する。 More specifically , the restricted band degeneration function setting unit 14 calculates the continuous signal power P c m , the noise power P N obtained from the noise power detection unit 13, and a limiting amount parameter specifying a band limiting amount determined in consideration of the continuous signal power P c m . A degeneracy function S m (=S 2 , S 3 , S 4 ) for each frequency band group in the restricted band is set.

例えば、図4(b)に示すように、制限帯域用縮退関数設定部14は、制限量パラメータとして、制限帯域内で全体的に帯域制限するための第1の帯域制限量は6[dB]とし、連続信号(エッジなど)に対するぼやけを抑制しつつ帯域を制限するため連続信号パワーP を基準とした第2の帯域制限量は20[dB]とする。この場合、制限帯域用縮退関数設定部14は、入力xに対する出力yで示される縮退関数S,S,Sについて、第1の帯域制限量6[dB]に対応するy=0.5xと、第2の帯域制限量20[dB]に対応するy=0.1xと、制限帯域における各周波数帯域群C(=C,C,C)の連続信号パワーP と、雑音パワーPとを基に定めることができ、ウェーブレット縮退部16に対して当該縮退関数S,S,Sを設定する。尚、図4(b)に示す傾き係数mは、20dBとする第2の帯域制限量で自ずと定まる。そしてmをゼロとしないことからぼやけを抑制することができる。 For example, as shown in FIG. 4(b), the limited band degeneration function setting unit 14 sets the first band limiting amount for band limiting as a whole within the limited band as a limiting amount parameter to 6 [dB]. In order to limit the band while suppressing blurring of continuous signals (edges, etc.), the second band limiting amount based on the continuous signal power P c m is set to 20 [dB]. In this case, the band-limited degeneracy function setting unit 14 sets y= 0 . 5x, y=0.1x corresponding to the second band limiting amount 20 [dB], and continuous signal power P cm of each frequency band group C m (=C 2 , C 3 , C 4 ) in the limiting band , and the noise power P N , and the degeneration functions S 2 , S 3 and S 4 are set for the wavelet degeneration unit 16 . Note that the slope coefficient m0 shown in FIG. 4B is naturally determined by the second band limit amount of 20 dB. Since m0 is not set to zero, blurring can be suppressed.

また、通過帯域用縮退関数設定部15は、雑音パワー検出部13から得られる雑音パワーPを基に、ウェーブレット縮退部16で用いる通過帯域における周波数帯域群C(=C)の縮退関数S(=S)を設定する。 In addition, the passband degeneration function setting unit 15 uses the noise power P N obtained from the noise power detection unit 13 as a degeneration function for the frequency band group C m (=C 1 ) in the passband used in the wavelet degeneration unit 16. Set S m (=S 1 ).

例えば、図4(a)に示すように、入力xに対する出力yで示される縮退関数Sについて、帯域制限は行わないy=x上で、雑音成分を抑圧する雑音パワーPを基に定めることができ、ウェーブレット縮退部16に対して当該縮退関数Sを設定する。 For example, as shown in FIG. 4(a), the degenerate function S1 indicated by the output y for the input x is determined based on the noise power PN that suppresses the noise component on y=x without band limitation. The degeneration function S 1 is set for the wavelet degeneration unit 16 .

続いて、画像処理装置1は、ウェーブレット縮退部16は、ウェーブレットパケット分解部11から入力された各周波数帯域の周波数分解係数に対し、制限帯域用縮退関数設定部14、及び通過帯域用縮退関数設定部15により設定された縮退関数を適用してウェーブレット縮退処理を実行することにより制限帯域内の周波数分解係数の帯域制限と雑音除去、及び通過帯域内の周波数分解係数の雑音除去を行う(ステップS5)。 Subsequently, in the image processing apparatus 1, the wavelet degeneracy unit 16 performs the restriction band degeneracy function setting unit 14 and the passband degeneracy function setting for the frequency decomposition coefficients of each frequency band input from the wavelet packet decomposing unit 11. By applying the degeneration function set by the unit 15 and executing wavelet degeneration processing, band restriction and noise removal of the frequency resolution coefficients within the restricted band and noise removal of the frequency resolution coefficients within the passband are performed (step S5 ).

最終的に、画像処理装置1は、再構成部17により、ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域の周波数分解係数を用いてウェーブレット再構成処理を施すことにより出力画像を生成し外部に出力する(ステップS6)。 Finally, the image processing device 1 generates an output image by performing wavelet reconstruction processing using the frequency resolution coefficients of each frequency band band-limited and noise-removed by the wavelet degeneration processing by the reconstruction unit 17. Output to the outside (step S6).

以上のように、本実施形態の画像処理装置1は、圧縮符号化処理の前段で入力される動画のフレーム画像毎に上記の処理を行うことで、適応的、且つ効率的にエッジ成分などのぼやけを抑制しながら帯域制限と雑音除去の双方を行うことが実現される。 As described above, the image processing apparatus 1 of the present embodiment performs the above processing for each frame image of a moving image input before compression encoding processing, thereby adaptively and efficiently removing edge components and the like. Both bandlimiting and denoising while suppressing blur are achieved.

(変形例)
尚、上述した実施形態の例では、画像処理装置1に雑音パワー検出部13及び通過帯域用縮退関数設定部15を設け、図4に例示する縮退関数をウェーブレット縮退部16に設定する例を説明したが、上記の雑音パワー検出部13及び通過帯域用縮退関数設定部15を省略してもよい。この変形例の縮退関数を図5に例示している。
(Modification)
In the above-described embodiment, the image processing apparatus 1 is provided with the noise power detection unit 13 and the passband degeneration function setting unit 15, and the degeneration function illustrated in FIG. 4 is set in the wavelet degeneration unit 16. However, the noise power detection unit 13 and the passband degeneration function setting unit 15 may be omitted. The degeneracy function of this variant is illustrated in FIG.

図5(a)に示すように、入力xに対する出力yで示される縮退関数Sについては、帯域制限は行わないy=xとするため、通過帯域用縮退関数設定部15の設置を省略でき、処理負担をより軽減させることができる。 As shown in FIG. 5(a), for the degeneration function S1 indicated by the output y for the input x, since y=x without band limitation, installation of the degeneration function setting unit 15 for the passband can be omitted. , the processing load can be further reduced.

また、図5(b)に示すように、雑音パワー検出部13の設置を省略したとき、制限帯域用縮退関数設定部14は、入力xに対する出力yで示される縮退関数S,S,Sについて、第1の帯域制限量6[dB]に対応するy=0.5xと、第2の帯域制限量20[dB]に対応するy=0.1xと、制限帯域における各周波数帯域群C(=C,C,C)の連続信号パワーP とを基に定めることができ、ウェーブレット縮退部16に対して当該縮退関数S,S,Sを設定する。図5(b)に示す例においても、傾き係数mは、20dBとする第2の帯域制限量で自ずと定まり、mをゼロとしないことからぼやけを抑制することができる。 Also, as shown in FIG. 5B, when the noise power detection unit 13 is omitted, the degeneration function setting unit 14 for the limited band sets the degeneration functions S 2 , S 3 , For S4 , y = 0.5x corresponding to the first band limiting amount 6 [dB], y = 0.1x corresponding to the second band limiting amount 20 [dB], and each frequency band in the limited band can be determined based on the continuous signal power P cm of the group C m (=C 2 , C 3 , C 4 ), and the degeneration functions S 2 , S 3 , S 4 are set for the wavelet degeneration unit 16 do. In the example shown in FIG. 5B as well, the slope coefficient m0 is naturally determined by the second band-limiting amount of 20 dB, and since m0 is not set to zero, blurring can be suppressed.

(応用例)
上述した一実施例及び変形例では、n=2とした2階ウェーブレットパケット分解で動作するときの例を主として説明したが、n≧3以上とすることもできる。例えば、図6に示すように、n=3とした3階ウェーブレットパケット分解で動作させることもできる。図6では放送カメラで撮像された所謂8Kの映像の画像サイズ(水平解像度8K(7680画素)×垂直解像度4K(4320画素))のフレーム画像を入力画像とした例であり、この入力画像に対しそれぞれ水平・垂直方向に3階ウェーブレットパケット分解を行うことで、水平周波数×垂直周波数で表される図示するような、3階の空間低周波数帯域LL、水平高周波数帯域LH、垂直高周波数帯域HL、及び対角(水平・垂直)高周波数帯域HH(mは各周波数帯域群Cの群番号)に分解される。そして、図6に示す空間低周波数帯域群に属する周波数帯域群C~Cは雑音成分のみの除去を対象とする通過帯域とし、空間高周波数帯域群に属する周波数帯域群C10~C16は、エッジ成分などのぼやけを抑制しながら雑音除去を対象とする制限帯域として予め定めておけばよい。
(Application example)
In the above-described embodiment and modified example, an example of operating with second-order wavelet packet decomposition with n=2 has been mainly described, but n≧3 can also be used. For example, as shown in FIG. 6, it is also possible to operate with third-order wavelet packet decomposition with n=3. FIG. 6 shows an example in which a frame image of a so-called 8K video captured by a broadcast camera and having an image size (horizontal resolution of 8K (7680 pixels)×vertical resolution of 4K (4320 pixels)) is used as an input image. By performing third-order wavelet packet decomposition in the horizontal and vertical directions, respectively, the spatial low-frequency band LL m , horizontal high-frequency band LH m , and vertical high-frequency band represented by horizontal frequency × vertical frequency are shown in the figure. It is decomposed into a band HL m and a diagonal (horizontal/vertical) high frequency band HH m (m is the group number of each frequency band group C m ). The frequency band groups C 1 to C 9 belonging to the spatial low frequency band group shown in FIG . may be determined in advance as a restricted band targeted for noise removal while suppressing blurring of edge components and the like.

図6に示すように3階ウェーブレットパケット分解を行う場合も、図2に示した例と同様に、連続信号パワー検出部12によって制限帯域における各周波数帯域群C(=C10~C16)の各連続信号パワーP を求めることができ、及び雑音パワー検出部13によって3階ウェーブレットパケット分解による空間対角最高周波数帯域(本例ではn=3としており、HH16)から雑音パワーPを求めることができる。このため、制限帯域用縮退関数設定部14、及び通過帯域用縮退関数設定部15は、図2に示した例と同様に、ウェーブレット縮退部16に対し、制限帯域及び通過帯域における各縮退関数を設定することができる。 As shown in FIG. 6, when performing third-order wavelet packet decomposition, the continuous signal power detector 12 detects each frequency band group C m (=C 10 to C 16 ) in the restricted band as in the example shown in FIG. , and the noise power detection unit 13 uses the spatial diagonal highest frequency band (n = 3 in this example, HH 16 ) by the third-order wavelet packet decomposition to obtain the noise power P N can be obtained. For this reason, the limit band degeneration function setting unit 14 and the pass band degeneration function setting unit 15 set the degeneration functions in the limit band and the pass band to the wavelet degeneration unit 16 in the same manner as in the example shown in FIG. can be set.

以上の実施形態における画像処理装置1は、コンピューターにより構成することができ、画像処理装置1の各処理部を機能させるためのプログラムを好適に用いることができる。具体的には、画像処理装置1の各処理部を制御するための制御部をコンピューター内の中央演算処理装置(CPU)で構成でき、且つ、各処理部を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも1つのメモリで構成させることができる。即ち、そのようなコンピューターに、CPUによって該プログラムを実行させることにより、画像処理装置1の各処理部の有する機能を実現させることができる。更に、画像処理装置1の各処理部の有する機能を実現させるためのプログラムを、前述の記憶部(メモリ)の所定の領域に格納させることができる。そのような記憶部は、装置内部のRAM又はROMなどで構成させることができ、或いは又、外部記憶装置(例えば、ハードディスク)で構成させることもできる。また、そのようなプログラムは、コンピューターで利用されるOS上のソフトウェア(ROM又は外部記憶装置に格納される)の一部で構成させることができる。更に、そのようなコンピューターに、画像処理装置1の各処理部として機能させるためのプログラムは、コンピューター読取り可能な記録媒体に記録することができる。また、画像処理装置1の各処理部をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。 The image processing apparatus 1 in the above embodiment can be configured by a computer, and a program for functioning each processing unit of the image processing apparatus 1 can be preferably used. Specifically, a control unit for controlling each processing unit of the image processing apparatus 1 can be configured by a central processing unit (CPU) in a computer, and a program necessary for operating each processing unit can be At least one memory can be used as a storage unit that stores data as appropriate. That is, the functions of each processing unit of the image processing apparatus 1 can be realized by causing the CPU of such a computer to execute the program. Furthermore, a program for realizing the function of each processing unit of the image processing apparatus 1 can be stored in a predetermined area of the storage unit (memory) described above. Such a storage unit can be configured with a RAM or ROM inside the device, or can be configured with an external storage device (eg, hard disk). Also, such a program can be made up of a part of software (stored in a ROM or an external storage device) on an OS used in a computer. Furthermore, a program for causing such a computer to function as each processing unit of the image processing apparatus 1 can be recorded on a computer-readable recording medium. Also, each processing unit of the image processing apparatus 1 can be configured as a part of hardware or software, and can be realized by combining them.

以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した実施形態の例では、主として、2階又は3階ウェーブレットパケット分解に基づくウェーブレット縮退を用いて雑音除去を行う例を説明したが、4階以上のウェーブレットパケット分解に基づいたウェーブレット縮退を用いて雑音除去を行う処理とすることもできる。従って、本発明に係る画像処理装置1は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。 Although the present invention has been described with reference to specific embodiments, the present invention is not limited to the above-described embodiments, and can be modified in various ways without departing from the technical idea thereof. For example, in the examples of the embodiments described above, an example of performing noise removal mainly using wavelet degeneration based on second-order or third-order wavelet packet decomposition has been described. It is also possible to perform noise removal processing using Therefore, the image processing apparatus 1 according to the present invention is not limited to the above-described embodiment examples, but is limited only by the description of the claims.

本発明によれば、エッジ成分などのぼやけを抑制しながら符号化が困難な動画像で発生する画像破綻を抑制することができるので、特に、動画像符号化を要する用途に有用である。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to suppress blurring of edge components and the like while suppressing image corruption that occurs in moving images that are difficult to encode.

1 画像処理装置
11 ウェーブレットパケット分解部
12 連続信号パワー検出部
13 雑音パワー検出部
14 制限帯域用縮退関数設定部
15 通過帯域用縮退関数設定部
16 ウェーブレット縮退部
17 再構成部
REFERENCE SIGNS LIST 1 image processing device 11 wavelet packet decomposition unit 12 continuous signal power detection unit 13 noise power detection unit 14 degeneration function setting unit for restricted band 15 degeneration function setting unit for pass band 16 wavelet degeneration unit 17 reconstruction unit

Claims (4)

動画像をフレーム画像毎に入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置であって、
前記フレーム画像に対しn(n≧2)階ウェーブレットパケット分解処理を施し、各周波数帯域の周波数分解係数を抽出するウェーブレットパケット分解部と、
当該各周波数帯域のうち所定の空間高周波数帯域群を制限帯域として抽出し、前記制限帯域内の水平高周波数帯域、垂直高周波数帯域、及び対角高周波数帯域の所定の閾値以上の周波数分解係数を連続信号成分とみなし、当該所定の閾値以上の周波数分解係数の平均値又は標準偏差、或いは中央値を前記制限帯域における各周波数帯域群の連続信号パワーとして検出する連続信号パワー検出部と、
少なくとも前記連続信号パワーと帯域制限量を指定する制限量パラメータとを基に、前記制限帯域における各周波数帯域群の縮退関数を設定する制限帯域用縮退関数設定部と、
前記n階ウェーブレットパケット分解処理を施して得られる各周波数帯域の周波数分解係数に対し前記縮退関数を適用してウェーブレット縮退処理を実行することにより前記制限帯域内の周波数分解係数の帯域制限を行うウェーブレット縮退部と、
前記ウェーブレット縮退処理後の周波数分解係数を用いてウェーブレット再構成処理を施すことにより出力画像を生成する再構成部と、
前記n階ウェーブレットパケット分解処理を施して得られる各周波数帯域の周波数分解係数のうち空間対角最高周波数帯域内の全ての周波数分解係数のパワーにおける予め定めた割合以上となるパワーを雑音成分とみなし、雑音パワーとして検出する雑音パワー検出部と、を備え
前記制限帯域用縮退関数設定部は、前記連続信号パワーと、前記雑音パワーと、前記制限量パラメータとを基に、前記制限帯域における各周波数帯域群の縮退関数を設定することを特徴とする画像処理装置。
An image processing device for inputting a moving image for each frame image and performing image processing using wavelet degeneration based on wavelet packet decomposition,
a wavelet packet decomposition unit that performs n (n≧2)-th order wavelet packet decomposition processing on the frame image and extracts frequency decomposition coefficients of each frequency band;
A predetermined spatial high-frequency band group is extracted from each of the frequency bands as a restricted band, and a frequency resolution coefficient equal to or greater than a predetermined threshold for the horizontal high-frequency band, the vertical high-frequency band, and the diagonal high-frequency band within the restricted band. is regarded as a continuous signal component, and the average value or standard deviation of the frequency resolution coefficients equal to or greater than the predetermined threshold, or the median value is detected as the continuous signal power of each frequency band group in the restricted band;
a degeneracy function setting unit for a restricted band that sets a degeneracy function for each frequency band group in the restricted band based on at least the continuous signal power and a restriction amount parameter that specifies the amount of band restriction;
A wavelet for band-limiting the frequency resolution coefficients within the restricted band by applying the degeneration function to the frequency resolution coefficients of each frequency band obtained by performing the n-th order wavelet packet decomposition processing and executing the wavelet degeneration processing. a degenerate portion;
a reconstruction unit that generates an output image by performing wavelet reconstruction processing using the frequency-resolved coefficients after the wavelet degeneration processing;
Among the frequency resolution coefficients of each frequency band obtained by performing the n-th order wavelet packet decomposition processing, the power of all the frequency resolution coefficients in the spatial diagonal highest frequency band is regarded as a noise component that is equal to or greater than a predetermined ratio. , and a noise power detection unit for detecting as noise power ,
The degeneracy function setting unit for the limited band is characterized in that it sets the degeneracy function for each frequency band group in the limited band based on the continuous signal power, the noise power, and the limit amount parameter. Image processing device.
前記制限帯域以外となる周波数帯域群を通過帯域とし、前記雑音パワーを基に前記通過帯域における周波数帯域群の縮退関数を設定する通過帯域用縮退関数設定部を更に備え、
前記ウェーブレット縮退部は、前記制限帯域用縮退関数設定部、及び前記通過帯域用縮退関数設定部により設定された各縮退関数を適用してウェーブレット縮退処理を実行することにより前記制限帯域内の周波数分解係数の帯域制限と雑音除去、及び前記通過帯域内の周波数分解係数の雑音除去を行うことを特徴とする、請求項に記載の画像処理装置。
A passband degeneration function setting unit that sets a frequency band group other than the restricted band as a passband and sets a degeneration function for the frequency band group in the passband based on the noise power,
The wavelet degeneration unit applies the degeneration functions set by the restricted band degeneration function setting unit and the passband degeneration function setting unit to perform wavelet degeneration processing, thereby performing frequency decomposition within the restricted band. 2. The image processing apparatus according to claim 1 , wherein band limiting and noise elimination of coefficients and noise elimination of frequency-resolved coefficients within said passband are performed.
前記制限量パラメータは、前記制限帯域内で全体的に帯域制限するための第1の帯域制限量と、前記連続信号パワーを基準とした第2の帯域制限量とを含むことを特徴とする、請求項1又は2に記載の画像処理装置。 The limiting amount parameter includes a first band limiting amount for band limiting as a whole within the limited band and a second band limiting amount based on the continuous signal power, The image processing apparatus according to claim 1 or 2 . コンピューターを、請求項1からのいずれか一項に記載の画像処理装置として機能させるためのプログラム。 A program for causing a computer to function as the image processing apparatus according to any one of claims 1 to 3 .
JP2019059522A 2019-03-26 2019-03-26 Image processing device and program Active JP7290968B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019059522A JP7290968B2 (en) 2019-03-26 2019-03-26 Image processing device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019059522A JP7290968B2 (en) 2019-03-26 2019-03-26 Image processing device and program

Publications (2)

Publication Number Publication Date
JP2020161985A JP2020161985A (en) 2020-10-01
JP7290968B2 true JP7290968B2 (en) 2023-06-14

Family

ID=72640001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019059522A Active JP7290968B2 (en) 2019-03-26 2019-03-26 Image processing device and program

Country Status (1)

Country Link
JP (1) JP7290968B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114510A (en) 2011-11-29 2013-06-10 Nippon Hoso Kyokai <Nhk> Image space super-resolution device and program
CN105096280A (en) 2015-06-17 2015-11-25 浙江宇视科技有限公司 Method and device for processing image noise
JP2018173857A (en) 2017-03-31 2018-11-08 日本放送協会 Bandwidth limiting device and program
JP2018174470A (en) 2017-03-31 2018-11-08 日本放送協会 Noise removal apparatus and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114510A (en) 2011-11-29 2013-06-10 Nippon Hoso Kyokai <Nhk> Image space super-resolution device and program
CN105096280A (en) 2015-06-17 2015-11-25 浙江宇视科技有限公司 Method and device for processing image noise
JP2018173857A (en) 2017-03-31 2018-11-08 日本放送協会 Bandwidth limiting device and program
JP2018174470A (en) 2017-03-31 2018-11-08 日本放送協会 Noise removal apparatus and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yasutaka Matsuo ほか2名,Pre-processing equipment of 8K video codec with low-pass filtering and noise reduction functions,2018 IEEE International Symposium on Signal Processing and Information Technology (ISSPIT)20,2018年12月08日

Also Published As

Publication number Publication date
JP2020161985A (en) 2020-10-01

Similar Documents

Publication Publication Date Title
US8218082B2 (en) Content adaptive noise reduction filtering for image signals
US7548660B2 (en) System and method of spatio-temporal edge-preserved filtering techniques to reduce ringing and mosquito noise of digital pictures
US7742652B2 (en) Methods and systems for image noise processing
JP5027757B2 (en) Moving image denoising device, method and program thereof
US6563958B1 (en) Method and apparatus for boundary filtering a digital image
JP2007514359A (en) Spatial scalable compression scheme with dead zone
JP4834776B2 (en) Image processing apparatus and image processing method
JP2011199399A (en) Image processing apparatus and image processing method
JP6901895B2 (en) Bandwidth limiting device and program
US8798379B2 (en) Image processing method, encoding device, decoding device, and image processing apparatus
US20150310593A1 (en) Noise removal system, noise removal method, and program
JP4543873B2 (en) Image processing apparatus and processing method
JP7303661B2 (en) Image processing device and program
JP7290968B2 (en) Image processing device and program
JP7290985B2 (en) Image processing device and program
JP2005012641A (en) Block noise detecting device and block noise removing device using the same
JP4481868B2 (en) Prefilter
JP2004023217A (en) Noise reduction device
JP7057694B2 (en) Image denoising device and program
JP7071216B2 (en) Bandwidth limiting device and program
JP7737318B2 (en) Reduction device and program
EP2226760A1 (en) Method and apparatus for reducing compression artifacts in video signals
JP7465410B2 (en) Data processing method and system
JP2024517851A (en) Data processing method and system
Prasad et al. Enhanced Image By Wavelet Based Compression Method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230602

R150 Certificate of patent or registration of utility model

Ref document number: 7290968

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250