JP4392582B2

JP4392582B2 - Signal processing apparatus, signal processing method, and program

Info

Publication number: JP4392582B2
Application number: JP2003133382A
Authority: JP
Inventors: 信一郎五味; 浩信文; 和彦上田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-05-12
Filing date: 2003-05-12
Publication date: 2010-01-06
Anticipated expiration: 2023-05-12
Also published as: JP2004336652A

Description

【０００１】
【発明の属する技術分野】
本発明は、信号処理装置および信号処理方法、並びにプログラムに関し、特に、例えば、画像におけるエッジ部等を精度良く区別し、テクスチャ部の画質を損なわずに、エッジ周辺部に発生する圧縮ノイズ（モスキートノイズ）を効果的に十分に除去できるようにした信号処理装置および信号処理方法、並びにプログラムに関する。
【０００２】
【従来の技術】
例えば、ＭＰＥＧ（Moving Picture Experts Group）などにおいては、画像信号をブロック化し、各ブロックをＤＣＴ（Discrete Cosine Transform）処理する。このため、ＭＰＥＧエンコードされた画像信号をデコードすると、そのデコード画像においては、原理的に、エッジ周辺部に、モスキートノイズが発生する。モスキートノイズは、画像のエッジ周辺部に現れるため、モスキートノイズを除去するには、画像からエッジ部を検出する必要がある。
【０００３】
このため、モスキートノイズを除去する、従来のノイズ除去装置では、例えば、単なる一次微分や二次微分によるエッジ検出や、ソーベルオペレータを用いたソーベルフィルタなどによるエッジ検出が行われている（例えば、特許文献１）。
【０００４】
図１は、ある画像５１のある水平ラインの画素値を、横軸を画素の位置とするとともに、縦軸を画素値として示している。なお、図１（後述する図８においても同様）では、各画素の水平方向の中心位置に、各画素の画素値をプロットし、さらに、画素値の変化を明確にするため、隣接する画素の画素値（を表す点）を直線で結んである。また、図１では、その左側の画素から、１からのシーケンシャルな番号を付して、各画素を表してある。
【０００５】
画像５１は、画素♯１乃至画素♯１０からなる信号レベル（画素値）がほとんど変化しない平坦部ｂ、画素♯１１および♯１２からなる信号レベルが急に変化するエッジ部ａ、並びに画素♯１３乃至画素♯２１からなる有意なテクスチャ部（例えば、模様があるなどして、信号レベルの変化がある程度存在する部分）ｃを有している。
【０００６】
ここで有意なテクスチャ部ｃでは、平坦部ｂよりも信号レベルが大きく変化しているが、エッジ部ａにおける場合ほどは変化していない。
【０００７】
例えば、二次微分によるエッジ検出では、画像５１の二次微分が演算され、その結果得られる二次微分値を閾値処理することにより、エッジが検出される。
【０００８】
即ち、二次微分によるエッジ検出では、二次微分値の大きさ（絶対値）が、ある閾値より大の部分が検出され、その部分がエッジ部として検出される。
【０００９】
モスキートノイズは、エッジ本体部ａを含むその周辺であるエッジ周辺部５３に生じるので、そのエッジ周辺部５３をフィルタリングすることにより、モスキートノイズを除去（低減）することができる。
【００１０】
【特許文献１】
特開平７−２３１４５０号公報
【００１１】
【発明が解決しようとする課題】
ところで、図１において波形５２は、画像５１の二次微分値を示している。平坦部ｂでは、信号レベルの変化がほとんどないため、二次微分値５２の大きさは、小さくなる。これに対して、エッジ部ａや有意なテクスチャ部ｃでは、信号レベルの変化がある程度以上であるため、二次微分値５２の大きさは、大きくなる。
【００１２】
このため、二次微分値５２を閾値処理することによりエッジ検出を行う場合には、エッジ本体部ａのみならず有意なテクスチャ部ｃも、エッジとして検出され、エッジ本体部ａと有意なテクスチャ部ｃとを精度良く区別することができないことがあった。
【００１３】
さらに、その結果、モスキートノイズを除去するためのフィルタリング時に、エッジ本体部ａの他に、有意なテクスチャ部ｃもフィルタリングされ、有意なテクスチャ部ｃの画質の劣化が生じ、また、エッジ部５３に発生するモスキートノイズを効率的に除去することができないことがあった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、画像信号を精度良く識別して、さらには、例えば、エッジ部に発生するモスキートノイズを効果的に十分に除去するようにすること等ができるようにするものである。
【００１５】
【課題を解決するための手段】
本発明の信号処理装置は、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段と、エッジ検出信号を平滑化し、平滑化信号として出力する平滑化手段と、平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出手段と、画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出手段と、注目画素のエッジ信号が所定の第１の閾値以上である場合、注目画素がエッジ本体部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が所定の第２の閾値以下である場合、注目画素が平坦部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が所定の第３の閾値未満である場合、注目画素がエッジ周辺部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が第３の閾値以上である場合、注目画素がテクスチャ部であると識別する識別手段とを備えることを特徴とする。
【００１６】
本発明の信号処理方法は、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、エッジ検出信号を平滑化し、平滑化信号として出力する平滑化ステップと、平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出ステップと、画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出ステップと、注目画素のエッジ信号が所定の第１の閾値以上である場合、注目画素がエッジ本体部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が所定の第２の閾値以下である場合、注目画素が平坦部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が所定の第３の閾値未満である場合、注目画素がエッジ周辺部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が第３の閾値以上である場合、注目画素がテクスチャ部であると識別する識別ステップとを含むことを特徴とする。
【００１７】
本発明のプログラムは、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、エッジ検出信号を平滑化し、平滑化信号として出力する平滑化ステップと、平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出ステップと、画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出ステップと、注目画素のエッジ信号が所定の第１の閾値以上である場合、注目画素がエッジ本体部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が所定の第２の閾値以下である場合、注目画素が平坦部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が所定の第３の閾値未満である場合、注目画素がエッジ周辺部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が第３の閾値以上である場合、注目画素がテクスチャ部であると識別する識別ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００１８】
本発明の信号処理装置、信号処理方法、およびプログラムにおいては、画像信号からエッジが検出され、その検出結果を表すエッジ検出信号が出力され、エッジ検出信号が平滑化され、平滑化信号として出力され、平滑化信号の変化量が求められ、その変化量を表すエッジ信号が出力され、画像信号の変化量が求められ、その変化量を表す画像変化信号が出力され、注目画素のエッジ信号が所定の第１の閾値以上である場合、注目画素がエッジ本体部であると識別され、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が所定の第２の閾値以下である場合、注目画素が平坦部であると識別され、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が所定の第３の閾値未満である場合、注目画素がエッジ周辺部であると識別され、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が第３の閾値以上である場合、注目画素がテクスチャ部であると識別される。
【００１９】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２１】
請求項１に記載の信号処理装置は、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段（例えば、図２のエッジ検出部１）と、前記エッジ検出信号を平滑化し、平滑化信号として出力する平滑化手段（例えば、図２のフィルタ部２）と、前記平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出手段（例えば、図２の変化検出部３）と、前記画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出手段（例えば、図２の変化検出部４）と、注目画素の前記エッジ信号が所定の第１の閾値以上である場合、前記注目画素がエッジ本体部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が所定の第２の閾値以下である場合、前記注目画素が平坦部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第２の閾値より大きく、かつ、前記注目画素の前記画像変化信号が所定の第３の閾値未満である場合、前記注目画素がエッジ周辺部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第２の閾値より大きく、かつ、前記注目画素の前記画像変化信号が前記第３の閾値以上である場合、前記注目画素がテクスチャ部であると識別する識別手段（例えば、図２の識別部５）とを備えることを特徴とする。
【００２２】
請求項２に記載の信号処理装置は、エッジ信号が大きい画素ほどノイズの除去処理を強く施すとともに、エッジ信号の値が同じ場合、エッジ周辺部の画素に対してノイズの除去処理を最も強く施し、画像信号からノイズを除去するノイズ除去手段（例えば、図２のノイズ除去フィルタ部６）をさらに備えることを特徴とする。
【００２４】
図２は、本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。ノイズ除去装置は、エッジ検出部１、フィルタ部２、変化検出部３、変化検出部４、識別部５、およびノイズ除去フィルタ部６から構成される。
【００２５】
エッジ検出部１には、入力信号としての、例えばＭＰＥＧデコードされた画像信号が入力され、エッジ検出部１は、入力信号としての画像信号からエッジを検出し、フィルタ部２に、そのエッジの検出結果を表すエッジ検出信号を出力するようになされている。なお、エッジ検出部１としては、例えば、一次微分や二次微分、ソーベルオペレータによるエッジ検出を行う従来のエッジ検出装置その他を利用することができる。
【００２６】
フィルタ部２は、エッジ検出部１から出力されるエッジ検出信号を平滑化し、その平滑化結果を平滑化信号として、変化検出部３および識別部５に出力するようになされている。なお、フィルタ部２は、例えば、ＬＰＦ（Low Pass Filter）で構成することができる。
【００２７】
変化検出部３は、フィルタ部２から出力される平滑化信号の変化量を検出し、その変化量を、入力信号としての画像信号におけるエッジの程度を表すエッジ信号として、識別部５およびノイズ除去フィルタ部６に出力するようになされている。
【００２８】
変化検出部４には、入力信号としての画像信号が入力され、変化検出部４は、入力信号としての画像信号の変化量を検出し、その変化量（以下、適宜、画像変化信号という）を、識別部５に出力するようになされている。
【００２９】
識別部５には、変化検出部３から出力されるエッジ信号、フィルタ部２から出力される平滑化信号、および変化検出部４から出力される画像変化信号が入力され、識別部５は、エッジ信号、平滑化信号、および画像変化信号に基づいて、画像信号がエッジ本体部、エッジ周辺部、有意なテクスチャ部、または平坦部のうちのいずれであるかを識別し、その識別結果を表す識別情報を、ノイズ除去フィルタ部６に出力するようになされている。
【００３０】
ノイズ除去フィルタ部６には、識別部５から出力される識別情報の他、変化検出部３から出力されるエッジ信号および入力信号としての画像信号が入力される。ノイズ除去フィルタ部６は、識別部５から出力される識別情報に基づいて、処理に用いるパラメータ特性を設定し、そのパラメータ特性と変化検出部３からのエッジ信号に基づいて所定の演算を行い、これにより、画像信号からモスキートノイズを除去し、出力信号としての画像信号を出力するようになされている。
【００３１】
図３は、図２のノイズ除去装置の処理（画像処理）を説明するフローチャートである。
【００３２】
図２のノイズ除去装置には、例えば、ＭＰＥＧデコードされた画像信号が入力信号として供給され、その画像信号は、エッジ検出部１、変化検出部４、およびノイズ除去フィルタ部６に供給される。図３の画像処理は、入力信号としての画像信号が、エッジ検出部１とノイズ除去フィルタ部６に供給されると開始される。
【００３３】
ステップＳ１において、エッジ検出部１は、そこに供給される画像信号からエッジ検出を行い、そのエッジ検出結果としてのエッジ検出信号を、フィルタ部２に出力し、ステップＳ２に進む。
【００３４】
ステップＳ２において、フィルタ部２は、エッジ検出部１から供給されるエッジ検出信号を、例えばＬＰＦによってフィルタリングすることにより平滑化し、その結果得られる平滑化信号を変化検出器３および識別部５に出力して、ステップＳ３に進む。
【００３５】
ステップＳ３において、変化検出部３は、フィルタ部２から供給される平滑化信号の変化量を算出し、その変化量をエッジ信号として、ノイズ除去フィルタ部６に出力して、ステップＳ４に進む。ここで、平滑化信号の変化量としては、例えば、その平滑化信号の分散を採用することができる。変化検出部３は、入力信号である平滑化された画像信号を構成する各画素について、その画素に対応する平滑化信号の分散を求め、エッジ信号として出力する。
【００３６】
ステップ４において、変化検出部４は、そこに供給される画像信号から変化量を算出し、その変化量である画像変化信号を、識別部５に出力して、ステップＳ５に進む。ここで変化量としては、ステップＳ３と同様に分散を採用することができる。変化検出部４は、入力信号である画像信号を構成する各画素について、分散を求め、画像変化信号として出力する。
【００３７】
なお、ステップＳ１乃至Ｓ３の処理とステップＳ４の処理とは、図３に示した順番で実行する必要はなく、また、並列に実行することもできる。
【００３８】
ステップＳ５において、識別部５は、そこに供給されるエッジ信号、平滑化信号、および画像変化信号に基づいて、画像信号が、エッジ本体部、有意なテクスチャ部、平坦部、またはエッジ周辺部のうちいずれであるかを識別し、その識別結果を表す識別情報を、ノイズ除去フィルタ部６に出力して、ステップＳ６に進む。
【００３９】
ステップＳ６において、ノイズ除去フィルタ部６は、識別部５から供給される画像識別信号、および変化検出部３から供給されるエッジ信号に基づいて、入力信号としての画像信号に対して、所定の演算を施し、その演算結果をモスキートノイズを除去した画像信号として出力する。そして、ステップＳ６からＳ１に戻り、以下、同様の処理が繰り返される。
【００４０】
なお、図３の処理は、ノイズ除去装置に供給される画像信号を構成する各画素を、例えばラスタスキャン順に、順次、注目画素として、その注目画素を対象に行われ、ノイズ除去装置に画像信号が供給されなくなると、終了する。
【００４１】
図４は、図２のエッジ検出部１の構成例を示すブロック図である。エッジ検出部１は、例えば、水平エッジ検出部１１、比較部１２、および垂直エッジ検出部１３から構成されている。
【００４２】
水平エッジ検出部１１と垂直エッジ検出部１３には、入力信号としての画像信号が入力される。そして、水平エッジ検出部１１は、そこに入力される画像信号の水平方向のエッジ（水平エッジ）を検出し、その検出結果を表すエッジ検出信号（以下、適宜、水平エッジ検出信号という）を比較部１２に出力する。
【００４３】
一方、垂直エッジ検出部１３は、そこに入力される画像信号の垂直方向のエッジ（垂直エッジ）を検出し、その検出結果を表すエッジ検出信号（以下、適宜、垂直エッジ検出信号という）を比較部１２に出力する。
【００４４】
なお、水平エッジ検出部１１と垂直エッジ検出部１３は、画像信号を構成する各画素について、エッジ検出信号を出力する。
【００４５】
比較部１２は、画像信号を構成する各画素ごとに、水平エッジ検出部１１から供給される水平エッジ検出信号と、垂直エッジ検出部１３から供給される垂直エッジ検出信号を比較し、値の大きい方を、最終的なエッジ検出信号としてフィルタ部２に出力する。
【００４６】
なお、エッジ検出部１では、エッジを水平方向と垂直方向に分けずに、二次元フィルタ等によって検出することが可能である。
【００４７】
また、エッジ検出部１では、水平エッジ検出信号と垂直エッジ検出信号との合成値（例えば、平均値）などを、最終的なエッジ検出信号として採用することが可能である。
【００４８】
図５は、図４の水平エッジ検出部１１の構成例を示すブロック図である。水平エッジ検出部１１は、微分部２１と絶対値化部２２とから構成されている。
【００４９】
微分部２１は、そこに供給される画像信号を構成する画素を、例えばラスタスキャン順に、順次、注目画素とし、その注目画素における画素値の水平方向の微分値を求める。即ち、微分部２１は、例えば、注目画素とその左または右隣の画素との画素値の差分を演算し、その差分を、注目画素における水平方向の微分値として、絶対値化部２２に出力する。
【００５０】
絶対値化部２２は、微分部２１から出力される微分値の絶対値をとり、その絶対値を、水平エッジ検出信号として、図５の比較部１２に供給する。
【００５１】
なお、図４の垂直エッジ検出部１３も、図５の水平エッジ検出部１１と同様に構成される。但し、垂直エッジ検出部１３を構成する微分部２１は、注目画素における画素値の垂直方向の微分値を求め、絶対値化部２２に供給する。
【００５２】
また、図５の実施の形態では、一次微分によって、エッジ検出を行うようにしたが、エッジ検出は、その他、例えば、二次微分などによって行うことも可能である。
【００５３】
図６は、図２のフィルタ部２の構成例を示すブロック図である。フィルタ部２は、例えば、水平ローパスフィルタ部３１と垂直ローパスフィルタ部３２とから構成されている。
【００５４】
水平ローパスフィルタ部３１は、エッジ検出部１から供給されるエッジ検出信号の水平方向の高周波数成分をカットし、垂直ローパスフィルタ部３２に出力する。
【００５５】
垂直ローパスフィルタ部３２は、水平ローパスフィルタ部３１から出力された信号の垂直方向の高周波数成分をカットし、その結果得られる信号を、平滑化信号として変化検出部３に出力する。
【００５６】
以上のようにして、フィルタ部２では、エッジ検出信号を平滑化した平滑化信号が出力される。
【００５７】
なお、フィルタ部２は、例えば、水平ローパスフィルタ部３１と垂直ローパスフィルタ部３２とを入れ換えて構成することも可能である。
【００５８】
さらに、フィルタ部２は、例えば、水平方向と垂直方向の高周波数成分を同時にカットする二次元のローパスフィルタで構成することも可能である。
【００５９】
図７は、図２の識別部５の構成を示すブロック図である。識別部５は、例えば、エッジ識別部９１、平坦部識別部９２、テクスチャ識別部９３、および識別結果出力部９４から構成されている。
【００６０】
識別部５には、変化検出部３から出力されるエッジ信号Ｖ、フィルタ部２から出力される平滑化信号Ｆ、および変化検出部４から出力される画像変化信号Ｔｘが入力され、識別部５は、注目画素がエッジ本体部、平坦部、有意なテクスチャ部、およびエッジ周辺部のいずれの画素であるかを識別する。
【００６１】
エッジ識別部９１は、変化検出部３から供給されるエッジ信号Ｖと、所定の閾値ＴＨ１とを比較し、その比較結果を、識別結果出力部９４に供給する。
【００６２】
平坦部識別部９２は、フィルタ部２から供給される平滑化信号と、所定の閾値ＴＨ２とを比較し、その比較結果を、識別結果出力部９４に供給する。
【００６３】
テクスチャ識別部９３は、変化検出部４から供給される画像変化信号と、所定の閾値ＴＨ３とを比較し、その比較結果を、識別結果出力部９４に供給する。
【００６４】
識別結果出力部９４は、エッジ識別部９１、平坦部識別部９２またはテクスチャ識別部９３の出力に基づいて、注目画素が、エッジ本体部、平坦部、有意なテクスチャ部、またはエッジ周辺部のうちのいずれであるかを識別し、その識別結果を表す識別情報を、ノイズ除去フィルタ部６に供給する。
【００６５】
図８は、図７の識別部５による図３のステップＳ５における識別処理を説明するフローチャートである。
【００６６】
ステップＳ１１において、エッジ識別部９１は、注目画素のエッジ信号Ｖが閾値ＴＨ１未満（または以下）であるかどうかを判定する。ステップＳ１１において、注目画素のエッジ信号が閾値ＴＨ１未満でないと判定された場合、即ち、注目画素のエッジ信号が、ある程度大きい場合、ステップＳ１２に進み、識別結果出力部９４は、注目画素がエッジ本体部である旨の識別情報を、ノイズ除去フィルタ部６に出力し、リターンする。
【００６７】
一方、ステップＳ１１において、エッジ信号が閾値ＴＨ１未満であると判定された場合、ステップＳ１３に進み、平坦部識別部９２は、注目画素の平滑化信号が、閾値ＴＨ２より大（以上）であるかどうかを判定する。
【００６８】
ステップＳ１３において、注目画素の平滑化信号が閾値ＴＨ２より大でないと判定された場合、即ち、注目画素の平滑化信号がある程度小さい場合、ステップＳ１４に進み、識別結果出力部９４は、注目画素が平坦部である旨の識別情報を、ノイズ除去フィルタ部６に供給し、リターンする。
【００６９】
ステップＳ１３において、注目画素の平滑化信号が閾値ＴＨ２より大であると判定された場合、ステップＳ１５に進み、テクスチャ識別部９３は、注目画素の画像変化信号が閾値ＴＨ３未満（または以下）であるかどうかを判定する。
【００７０】
ステップＳ１５において、注目画素の画像変化信号が閾値ＴＨ３未満でないと判定された場合、即ち、注目画素の画素変化信号がある程度大きい場合、ステップＳ１６に進み、識別結果出力部９４は、注目画素が有意なテクスチャ部である旨の識別情報を、ノイズ除去フィルタ部６に供給してリターンする。
【００７１】
また、ステップＳ１５において、注目画素の画像変化信号が閾値ＴＨ３未満であると判定された場合、即ち、注目画素の画像変化信号がある程度小さい場合、ステップＳ１７に進み、識別結果出力部９４は、注目画素がエッジ周辺部である旨の識別情報を、ノイズ除去フィルタ部６に供給してリターンする。
【００７２】
図９は、図２のノイズ除去装置で処理される信号の波形を模式的に示している。
【００７３】
波形（画像信号）Ｔ１は、入力信号としての画像信号におけるある水平ラインの信号波形（各画素の画素値）を示している。図９において波形Ｔ１は、ａで示されるエッジ本体部、ｂで示される平坦部、ｃで示される有意なテクスチャ部、およびｄで示されるエッジ周辺部（エッジ本体部ａの境界周辺）を有している。モスキートノイズは、エッジ部、特に、エッジ周辺部ｄに発生する。
【００７４】
波形Ｔ２およびＴ３は、エッジ検出部１による画像信号Ｔ１を対象としたエッジ検出結果としての信号波形を示している。即ち、いま、エッジ検出部１が、画像信号Ｔ１を一次微分し、その一次微分結果の絶対値を、エッジ検出信号として出力するものとすると、波形Ｔ２は、波形Ｔ１の一次微分結果を示し、波形Ｔ３は、波形Ｔ２の絶対値であるエッジ検出信号を示す。エッジ検出信号Ｔ３は、平坦部ｂでは小さな振幅となるが、エッジ本体部ａおよびエッジ周辺部ｄ、さらには有意なテクスチャ部ｃでも大きな振幅となる。このため、例えば、エッジ検出信号Ｔ３だけによってエッジ部を検出するとすれば、エッジ本体部ａおよびエッジ周辺部ｄの他、有意なテクスチャ部ｃも、エッジ部として検出されるおそれがある。
【００７５】
波形Ｔ４は、フィルタ部２においてエッジ検出信号Ｔ３を平滑化することにより得られる平滑化信号の波形を示している。フィルタ部２では、エッジ検出信号Ｔ３から高周波成分が除去される。従って、エッジ本体部ａおよびエッジ周辺部ｄでは、エッジ検出信号Ｔ３の振幅が大であるため、平滑化信号Ｔ４は、ある程度大きな変化を有するものとなる。また、有意なテクスチャ部ｃでは、エッジ検出信号Ｔ３の振幅は、エッジ本体部ａおよびエッジ周辺部ｄほど大ではないため、平滑化信号Ｔ４は、それほど大きく変化しないものとなる。さらに、平坦部ｂでは、平滑化信号Ｔ４は、ほとんど変化がない、０に近いものとなる。
【００７６】
そこで、識別部５では、注目画素の平滑化信号Ｔ４が閾値ＴＨ２より大きくないときには、注目画素を、平坦部ｂと識別する。
【００７７】
波形Ｔ５は、変化検出部３において求められる平滑化信号Ｔ４の変化量としての、例えば分散の波形、即ち、エッジ信号を示している。エッジ信号Ｔ５は、平滑化信号Ｔ４の変化量であるから、平滑化信号Ｔ４がほとんど変化しない平坦部ｂや、それほど大きく変化しない有意なテクスチャ部ｃでは、０あるいは０に近い値となるが、平滑化信号Ｔ４がある程度大きく変化するエッジ本体部ａでは、大きな値となる。
【００７８】
エッジ検出信号Ｔ３は、上述したように、エッジ本体部ａおよびエッジ周辺部ｄだけでなく、テクスチャ部ｃでも、ある程度大きな値となるため、エッジ検出信号Ｔ３によって、画像信号Ｔ１におけるエッジ部を判断したのでは、エッジ本体部ａだけでなく、テクスチャ部ｃも、誤って、エッジと判断されることになる。
【００７９】
これに対して、エッジ信号Ｔ５では、エッジ本体部ａで大きな値となり、テクスチャ部ｃでは小さな値となる。そこで、識別部５は、注目画素のエッジ信号Ｔ５が閾値ＴＨ１未満でないときには、注目画素をエッジ本体部ａであると識別する。
【００８０】
波形Ｔ６は、変化検出部４において求められる入力信号としての画像信号の変化量としての、例えば、分散の波形、即ち、画像変化信号を示している。画像変化信号Ｔ６は、平坦部と、入力信号としての画像信号Ｔ１が大きく変化し始めるエッジ周辺部ｄでは小さな値をとり、画像信号Ｔ１がある程度変化するエッジ本体部ａとテクスチャ部ｃではある程度大きな値をとる。そこで、識別部５は、注目画素の画像変化信号Ｔ６が閾値ＴＨ３未満でないときには、注目画素をテクスチャ部ｃであると識別し、画像変化信号Ｔ６が閾値ＴＨ３未満であるときには、注目画素をエッジ周辺部であると識別する。
【００８１】
ここで、識別部５において、注目画素の画像変化信号Ｔ６を閾値Ｔ３によって閾値処理すると、有意なテクスチャ部ｃおよびエッジ本体部ａと、エッジ周辺部ｄおよび平坦部ｂとを識別することができるが、図８の識別処理によれば、注目画素の画像変化信号Ｔ６を閾値処理するステップＳ１５の時点において、注目画素が、エッジ本体部ａ（ステップＳ１２）でも、平坦部（ステップＳ１４）でもないことが識別処理されている。即ち、注目画素の画像変化信号Ｔ６を閾値処理するステップＳ１５の時点において、注目画素が、有意なテクスチャ部ｃまたはエッジ周辺部ｄのどちらか一方であることは識別されている。従って、注目画素の画像変化信号Ｔ６を閾値Ｔ３と比較することにより、注目画素が、有意なテクスチャ部ｃであるか、または、エッジ周辺部ｄであるかを識別することができる。
【００８２】
図１０は、ある画像５１について、図２のノイズ除去装置で得られるエッジ信号５４を示している。なお、図１０における画像５１の波形は、図１における場合と同一であるため、その説明は省略する。また、図１０においては、図１における場合と同様に、画像５１の二次微分値５２を図示してある。
【００８３】
画像５１からは、波形５４で示すエッジ信号が得られる。
【００８４】
エッジ信号５４は、エッジ本体部ａおよびエッジ周辺部であるエッジ部５３において大きな値となっている。即ち、エッジ信号５４は、エッジ本体部ａである画素♯１１および♯１２を中心として大きな値をとり、その左または右方向の部分（エッジ周辺部）では次第に値が小さくなっている。そして、エッジ信号５４は、有意なテクスチャ部ｃおよび平坦部ｂでは限りなく０に近い値となっている。従って、エッジ信号５４によれば、エッジ部５３と、有意なテクスチャ部ｃおよび平坦部ｂとを精度良く区別して検出することができる。
【００８５】
図１１は、図２のノイズ除去フィルタ部６の第１の構成例を示すブロック図である。図１１では、ノイズ除去フィルタ部６は、例えば、ＬＰＦ部４１、混合部４２、および特性設定部４３とから構成されている。
【００８６】
ＬＰＦ部４１と混合部４２には、入力信号としての画像信号が供給される。ＬＰＦ部４１は、そこに供給される画像信号を構成する画素を、例えばラスタスキャン順に、順次、注目画素として、その注目画素（の画素値）を、ＬＰＦでフィルタリングし、そのフィルタリング信号を混合部４２に出力する。
【００８７】
ここで、ＬＰＦ部４１において画像信号がフィルタリングされることにより、その画像信号に生じているモスキートノイズが除去（低減）される。
【００８８】
混合部４２には、入力信号としての画像信号の他、変化検出部３から出力されたエッジ信号Ｖ、特性設定部４３から出力されるパラメータ特性、およびＬＰＦ部４１の出力が入力される。混合部４２は、特性設定部４３から出力されたパラメータ特性に基づき、変化検出器３から出力されたエッジ信号Ｖに対応して無次元量であるパラメータαを設定し、そのパラメータαに基づき、入力信号としての画像信号を構成する画素のうちの注目画素の画素値と、その注目画素に対応するＬＰＦ部４１の出力とを用いて演算を行い、その演算結果を、注目画素のノイズ除去結果として出力する。
【００８９】
即ち、混合部４２は、パラメータαを、注目画素の元の画素値と、注目画素に対応するＬＰＦ部４１の出力との混合比として、両者を混合し、その結果得られる混合値を、注目画素の新たな画素値（ノイズ除去結果）として出力する。
【００９０】
具体的には、注目画素の元の画素値をＸｎと表すとともに、注目画素に対応するＬＰＦ部４１の出力（注目画素のフィルタリング結果）をＸｎ´と表すこととすると、混合部４２は、式Ｚｎ＝αＸｎ´＋（1−α）Ｘｎにしたがって、注目画素の新たな画素値Ｚｎを求める。
【００９１】
特性設定部４３には、識別部５から出力される注目画素の識別情報が入力され、特性設定部４３は、あらかじめ設定されているパラメータ特性を、注目画素の識別情報に応じて選択し、その選択したパラメータ特性を混合部４２に出力する。
【００９２】
図１２は、図１１のＬＰＦ部４１でのフィルタリングに用いられるタップ係数の例を示している。
【００９３】
図１２のタップ係数によれば、注目画素の画素値に４／１６が乗算され、注目画素の上下左右それぞれに隣接する画素の画素値に２／１６が乗算され、注目画素の左上、左下、右上、右下それぞれに隣接する画素の画素値に１／１６が乗算され、それらの乗算結果の総和が、フィルタリング結果として出力される。
【００９４】
図１３は、図１１の特性設定部４３においてあらかじめ設定されているパラメータ特性としての、エッジ信号Ｖとパラメータαとの関係を示している。
【００９５】
図１３によれば、パラメータαは、エッジ信号Ｖが大であるほど、つまり、エッジである程度が大であるほど、０乃至１の範囲で大になっている。
【００９６】
また、図１３のパラメータ特性においては、パラメータαは、エッジの程度が同じであっても、注目画素の種類（特性、性質）により、異なる値をとるようになっている。即ち、図１３のパラメータ特性によれば平坦部、有意なテクスチャ部、エッジ本体部、エッジ周辺部の順で、パラメータαが大きな値に設定される。特に、モスキートノイズはエッジ周辺部に発生するため、注目画素がエッジ周辺部である場合、エッジの程度にかかわらず、αが限りなく１となるように、パラメータ特性が設定される。これにより、エッジ部、即ち、特にエッジ周辺部ｄに発生するモスキートノイズを効果的に十分に除去することができる。
【００９７】
図１１の混合部４２では、上述したように、式Ｚｎ＝αＸｎ´＋（1−α）Ｘｎにしたがって、注目画素の画素値Ｘｎと、注目画素のフィルタリング結果Ｘｎ´とが混合され、注目画素の新たな画素値Ｚｎが求められる。
【００９８】
従って、パラメータαが大である画素、即ち、エッジ信号Ｖが大きく、エッジである程度が大である画素については、その画素のフィルタリング結果Ｘｎ´の重み大きくして、その画素の元の画素値Ｘｘｎとフィルタリング結果Ｘｎ´とが混合される。その結果、モスキートノイズが生じるエッジ部の画素については、フィルタリング結果Ｘｎ´の割合が高い画素値、即ち、モスキートノイズが除去された画素値が、新たな画素値Ｚｎとして得られる。
【００９９】
一方、パラメータが小である画素、即ち、エッジ信号Ｖが小さい、平坦部や有意なテクスチャ部の画素については、その画素の元の画素値Ｘｎの重みを大きくして、その画素値Ｘｎと、フィルタリング結果Ｘｎ´とが混合される。その結果、平坦部や有意なテクスチャ部の画素については、元の画素値の割合が高い画素値、即ち、特に、有意なテクスチャ部のディテール（detail）を維持した画素値が、新たな画素値Ｚｎとして得られる。
【０１００】
従って、有意なテクスチャ部の画質を損なわずに、モスキートノイズを効果的に除去することができる。
【０１０１】
図１４は、図１１のノイズ除去フィルタ部６により行われる図３のステップＳ６のノイズ除去処理を説明するフローチャートである。
【０１０２】
ステップＳ２１において、特性設定部４３には、識別部５から出力される注目画素の識別情報が入力され、特性設定部４３は、その識別情報に基づき、図１３に示したパラメータ特性の中から、注目画素の処理に用いるパラメータ特性を選択し、混合部４２に出力して、ステップＳ２２へ進む。
【０１０３】
ステップＳ２２において、ＬＰＦ４１には、入力信号としての画像信号が入力され、ＬＰＦ部４１は、その画像信号を構成する各画素のうちの注目画素の画素値Ｘｎについて、ローパスフィルタリング処理を実行し、その処理結果を混合部４２に出力し、ステップＳ２３へ進む。
【０１０４】
ステップ２３において、混合部４２には、特性設定部４３から出力されるパラメータ特性、変化検出部３から出力される注目画素のエッジ信号Ｖ、入力信号としての画像信号を構成する各画素のうちの注目画素の画素値Ｘｎ、およびＬＰＦ部４１から出力される、注目画素に対応するフィルタリング結果Ｘｎ´が入力され、混合部４２は、パラメータ特性に基づき、注目画素のエッジ信号Ｖに対応するパラメータαを設定する。さらに、混合部４２は、そのパラメータαを混合比として注目画素の画素値Ｘｎと、その注目画素に対応するフィルタリング結果Ｘｎ´とを混合する演算処理を実行し、その演算結果を、注目画素の新しい画素値Ｚｎとして出力してリターンする。
【０１０５】
また、ステップＳ２１とＳ２２の処理は、任意の順番で実行することができ、また、並列に実行することも可能である。
【０１０６】
図１５は、図２のノイズ除去フィルタ部６の第２の構成例を示す図である。図１５では、ノイズ除去フィルタ部６は、例えば、ε利得供給部６１、εフィルタ部６２、および特性設定部６３とから構成されている。
【０１０７】
ε利得供給部６１は、特性設定部６３から出力されるパラメータ特性にしたがい、変化検出部３から出力されるエッジ信号Ｖに応じてεフィルタ部６２のパラメータεを設定し、そのパラメータεをεフィルタ部６２に出力する。
【０１０８】
εフィルタ部６２には、ε利得供給部６１から出力されたパラメータεと入力信号としての画像信号が入力される。εフィルタ部６２は、入力された画像信号に対してパラメータεの値に基づき所定の演算処理を実行し、その結果を注目画素の新しい画素値として出力する。即ち、εフィルタ部６２は、そこに供給される画像信号を構成する各画素を、例えばラスタスキャン順に、順次、注目画素とし、その注目画素を、その注目画素に対応するパラメータεに応じてフィルタリングする。
【０１０９】
εフィルタ部６２は、パラメータεの値が大きい値であるほど、平滑化される度合いが高く（即ち、鈍りが生じやすく）、パラメータεの値が小さい値であるほど、平滑化される度合いが低く（即ち、鈍りが生じにくく）なるように信号を平滑化するフィルタリング処理を実行する。
【０１１０】
特性設定部６３には、識別部５から出力される注目画素の識別情報が入力され、特性設定部６３は、あらかじめ設定されているパラメータ特性の中から、注目画その識別情報がに対応するパラメータ特性を選択し、その選択したパラメータ特性をε利得供給部６１に出力する。
【０１１１】
図１６は、図１５の特性設定部６３においてあらかじめ設定されているパラメータ特性を示している。図１６のパラメータ特性は、パラメータεがとり得る範囲がパラメータαのとり得る範囲と異なることを除けば、図１３と同様であるので説明は省略する。
【０１１２】
図１７は、εフィルタ部６２のフィルタリング処理を説明する図である。εフィルタ部６２では、入力信号が、例えば、図１７Ａに示される急峻なエッジを有する画像信号であっても、図１７Ｂに示すように、その急峻なエッジを維持するように信号に平滑化される。
【０１１３】
以下に、εフィルタ部６２が実行する平滑化処理（フィルタリング処理）の詳細について説明する。εフィルタ部６２は、注目画素を、その注目画素の近傍にある近傍画素を用いてローパスフィルタリングするが、その際に近傍画素の画素値がパラメータεに応じて設定される。即ち、注目画素Ｐｎの画素値Ｘｎを中心とするεの範囲内に近傍画素Ｐｍの画素値Ｘｍがない場合、近傍画素Ｐｍの画素値Ｘｍを注目画素Ｐｎの画素値Ｘｎに置き換えてローパスフィルタリングが行われ、近傍画素Ｐｍの画素値Ｘｍがεの範囲内にある場合、その近傍画素Ｐｍの画素値Ｘｍをそのまま用いてローパスフィルタリングが行われる。
【０１１４】
即ち、εフィルタ部６２は、注目画素Ｐｎの画素値Ｘｎと注目画素Ｐｎの近傍画素Ｐｍの画素値Ｘｍとの差の絶対値｜Ｘｎ−Ｘｍ｜をε／２と比較する。そして、εフィルタ部６２は、絶対値｜Ｘｎ−Ｘｍ｜がε／２よりも大きい（または以上である）と判断した場合には、近傍画素Ｐｍの画素値Ｘｍを注目画素Ｐｎの画素値Ｘｎに置き換え、注目画素Ｐｎについてローパスフィルタ処理（ローパスフィルタリング）を行う。
【０１１５】
一方、εフィルタ部６２は、絶対値｜Ｘｎ−Ｘｍ｜がε／２以下（または未満）と判断した場合には、近傍画素の画素値Ｘｍをそのまま用いて、注目画素Ｐｎについてローパスフィルタ処理を行う。
【０１１６】
従って、εフィルタ部６２によれば、注目画素の画素値に近い値の画素値のみを用いて、注目画素がローパスフィルタリングされる。その結果、εフィルタ部６２においては、例えば、入力信号としての画像信号に微少なノイズが含まれる場合には、そのノイズが除去されたフィルタリング結果が得られる。さらに、εフィルタ部６２においては、例えば、入力信号としての画像信号に、急峻なエッジが含まれている場合には、そのエッジの形状を維持したフィルタリング結果が得られる。
【０１１７】
図１５のノイズ除去フィルタ部６では、上述したように、注目画素がエッジである程度が大であるとパラメータεも大とされ、エッジである程度が小であると、パラメータεも小とされる。
【０１１８】
従って、図１５のεフィルタ部６２では、エッジ部の画素については、パラメータεが大となり、その画素周辺の画素の画素値をそのまま用いてローパスフィルタリングが行われ易くるので、そのエッジ部に生じるモスキートノイズを除去することができる。また、図１２のεフィルタ部６２では、平坦部や有意なテクスチャ部の画素については、パラメータεが小となり、その画素周辺の画素の画素値を、注目画素の画素値に置き換えてローパスフィルタリングが行われ易くなるので、特に、有意なテクスチャ部のディテールを維持したフィルタリング結果を得ることができる。
【０１１９】
なお、εフィルタ部６２で実行されるフィルタリング処理のタップ数は、特に限定されるのもではなく、また、ユーザの要求に応じた任意の値とすることが可能である。
【０１２０】
図１８は、図１５のノイズ除去フィルタ部６の動作を説明するフローチャートである。
【０１２１】
ステップＳ３１において、特性設定部６３には、識別部５が出力する注目画素の識別情報が入力され、特性設定部６３は、その識別情報に基づき、あらかじめ設定されているパラメータ特性の中から、注目画素の処理に用いるパラメータ特性を選択し、ε利得供給部６２に出力して、ステップＳ３２へ進む。
【０１２２】
ステップＳ３２において、ε利得供給部６２は、特性設定部６３から出力されたパラメータ特性に基づき、注目画素のエッジ信号Ｖに対応するパラメータεを設定し、そのパラメータεをεフィルタ部６２へ出力して、ステップＳ３３へ進む。
【０１２３】
ステップＳ３３において、εフィルタ部６２は、ε利得供給部６２から供給されるパラメータεに基づき、画像信号を構成する各画素のうち注目画素について、注目画素の近傍にある近傍画素の画素値を用いてフィルタリング処理を行い、その処理結果を注目画素の新しい画素値Ｚｎとして出力してリターンする。なお、εフィルタ部６２のフィルタリング処理に用いるタップ係数としては、例えば、図１２に示したもの採用することができる。
【０１２４】
以上のように、エッジ検出信号、平滑化信号、およびエッジ信号に基づき、注目画素を識別し、その識別結果を表す識別情報と、エッジ信号とに基づいてフィルタリング処理を行うことにより、有意なテクスチャ部のディテールを損なわずに、モスキートノイズを効果的に十分に除去することができる。
【０１２５】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０１２６】
上述した一連の処理をソフトウェアで実行させる場合、ノイズ除去装置は、例えば、図１９に示されるようなパーソナルコンピュータなどとして構成することが可能である。
【０１２７】
図１９において、CPU（Central Processing Unit）７１は、ROM（Read Only Memory）７２に記憶されているプログラム、または記憶部７８からRAM（Random Access Memory）７３にロードされたプログラムに従って各種の処理を実行する。
【０１２８】
RAM７３にはまた、CPU７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２９】
CPU７１、ROM７２、およびRAM７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。
【０１３０】
入出力インタフェース７５には、キーボード、マウスなどよりなる入力部７６、ディスプレイなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、および通信部７９が接続されている。
【０１３１】
入出力インタフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク８１、光ディスク８２、光磁気ディスク８３、或いは半導体メモリ８４が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。
【０１３２】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０１３３】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１９に示すように、磁気ディスク８１（フロッピディスクを含む）、光ディスク８２（CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)を含む）、光磁気ディスク８３、もしくは半導体メモリ８４などよりなるパッケージメディア、または、プログラムが一時的もしくは永続的に格納されるROM７２や、記憶部７８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１３４】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１３６】
なお、本実施の形態では、エッジ信号および識別情報に基づいて、モスキートノイズを除去するようにしたが、エッジ信号はおよび識別情報は、モスキートノイズの除去の他、例えば、画像をオブジェクト符号化する場合のオブジェクトの抽出などに利用することが可能である。
【０１３７】
また、本実施の形態では、ＭＰＥＧデコードされた画像信号を処理するようにしたが、その他の画像信号を対象として処理を行うことも可能である。
【０１３８】
さらに、本実施の形態では、平滑化信号の変化量（エッジ信号）として、平滑化信号の分散を求めるようにしたが、平滑化信号の変化量としては、注目画素の近傍の画素の平滑化信号の差分絶対値の平均値や、平滑化信号の微分値などを採用することが可能である。画像信号の変化量（画像変化信号）についても同様である。
【０１３９】
また、本実施の形態では、エッジ信号、平滑化信号、画像変化信号の３つを用いて、画像信号を識別し、その識別結果を表す識別情報を出力するようにしたが、その他、例えば、エッジ信号と、平滑化信号または画像変化信号のうちのいずれか一方との２つを用いて、画像信号を識別することも可能である。但し、この場合、図８の識別処理において、平滑化信号を用いないときには、ステップＳ１３およびＳ１４の処理が行われなくなり、画像変化信号を用いないときには、ステップＳ１５乃至Ｓ１７の処理が行われなくなる。
【０１４０】
さらに、ノイズ除去フィルタ部６は、上述したように構成する他、例えば、メディアンフィルタを用いて構成することが可能である。
【０１４１】
【発明の効果】
以上のように、本発明によれば、エッジ本体部、平坦部、有意なテクスチャ部、およびノイズを明確に区別することができる。
【図面の簡単な説明】
【図１】従来の画像信号とその二次微分の信号レベルを説明する図である。
【図２】本発明を適用したノイズ除去装置の一実施の形態の構成を示すブロック図である。
【図３】ノイズ除去装置の動作を説明するフローチャートである。
【図４】エッジ検出部１の構成例を示すブロック図である。
【図５】水平エッジ検出部１１（垂直エッジ検出部１３）の構成例を示すブロック図である。
【図６】フィルタ部２の構成例を示すブロック図である。
【図７】識別部５の構成例を示すブロック図である。
【図８】識別部５の動作を説明するフローチャートである。
【図９】ノイズ除去装置で得られる信号の波形を示す図である。
【図１０】変化検出部３において得られるエッジ信号の波形を説明する図である。
【図１１】ノイズ除去フィルタ部６の第１の構成例を示すブロック図である。
【図１２】ＬＰＦ部４１のタップ係数の一実施の形態を示す図である。
【図１３】エッジ信号Ｖとパラメータαとの関係を示す図である。
【図１４】図１１のノイズ除去フィルタ部６の動作を説明するフローチャートである。
【図１５】ノイズ除去フィルタ部６の第２の構成例を示すブロック図である。
【図１６】エッジ信号Ｖとパラメータεとの関係を示す図である。
【図１７】εフィルタ部６２の処理を説明する図である。
【図１８】図１５のノイズ除去フィルタ部６の動作を説明するフローチャートである。
【図１９】本発明を適用したノイズ除去装置を実現するコンピュータの構成例を示すブロック図である。
【符号の説明】
１エッジ検出部，２フィルタ部，３変化検出部，４ノイズ除去フィルタ部，１１水平エッジ検出部，１２比較部，１３垂直エッジ検出部，２１微分部，２２絶対値化部，３１水平ローパスフィルタ部，３２垂直ローパスフィルタ部，４１ＬＰＦ部，４２混合部，４３特性設定部，６１ ε利得供給部，６２ εフィルタ部，６３特性設定部，７１ＣＰＵ，７２ＲＯＭ，７３ＲＡＭ，７４バス，７５入出力インターフェース，７６入力部，７７出力部，７８記憶部，７９通信部，８０ドライブ，８１磁器ディスク，８２光ディスク，８３光磁器ディスク，８４半導体メモリ，９１エッジ識別部，９２平坦部識別部，９３テクスチャ識別部，９４識別結果出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a signal processing device, a signal processing method, and a program, and in particular, for example, an edge portion in an image is accurately distinguished, and compression noise (mosquito noise generated in an edge peripheral portion without deteriorating the image quality of a texture portion. The present invention relates to a signal processing apparatus, a signal processing method, and a program that can effectively and sufficiently remove noise.
[0002]
[Prior art]
For example, in MPEG (Moving Picture Experts Group) or the like, an image signal is blocked and each block is subjected to DCT (Discrete Cosine Transform) processing. Therefore, when an MPEG-encoded image signal is decoded, in principle, mosquito noise is generated in the peripheral portion of the edge of the decoded image. Since mosquito noise appears around the edge of the image, it is necessary to detect the edge from the image in order to remove the mosquito noise.
[0003]
For this reason, in a conventional noise removing apparatus that removes mosquito noise, for example, edge detection by simple primary differentiation or secondary differentiation, or edge detection by a Sobel filter using a Sobel operator is performed (for example, Patent Document 1).
[0004]
FIG. 1 shows pixel values of a horizontal line of an image 51, with the horizontal axis as the pixel position and the vertical axis as the pixel value. In FIG. 1 (the same applies to FIG. 8 described later), the pixel value of each pixel is plotted at the center position in the horizontal direction of each pixel, and in order to clarify the change of the pixel value, Pixel values (representing points) are connected by a straight line. Further, in FIG. 1, each pixel is represented by a sequential number from 1 from the left pixel.
[0005]
The image 51 includes a flat portion b where the signal level (pixel value) consisting of the pixels # 1 to # 10 hardly changes, an edge portion a where the signal level consisting of the pixels # 11 and # 12 changes suddenly, and a pixel # 13. Or a significant texture portion (for example, a portion where a change in the signal level exists to some extent due to a pattern or the like) c including the pixel # 21.
[0006]
Here, in the significant texture portion c, the signal level changes more greatly than in the flat portion b, but does not change as much as in the edge portion a.
[0007]
For example, in edge detection by secondary differentiation, the secondary differentiation of the image 51 is calculated, and an edge is detected by thresholding the resulting secondary differential value.
[0008]
That is, in edge detection by secondary differentiation, a portion where the magnitude (absolute value) of the secondary differential value is greater than a certain threshold is detected, and that portion is detected as an edge portion.
[0009]
Since the mosquito noise is generated in the edge peripheral portion 53 that is the periphery including the edge main body portion a, the mosquito noise can be removed (reduced) by filtering the edge peripheral portion 53.
[0010]
[Patent Document 1]
JP 7-231450 A
[0011]
[Problems to be solved by the invention]
Incidentally, a waveform 52 in FIG. 1 indicates a second derivative value of the image 51. Since the signal level hardly changes in the flat part b, the magnitude of the secondary differential value 52 becomes small. On the other hand, in the edge part a and the significant texture part c, since the change in the signal level is more than a certain level, the magnitude of the secondary differential value 52 becomes large.
[0012]
For this reason, when performing edge detection by thresholding the secondary differential value 52, not only the edge body portion a but also the significant texture portion c is detected as an edge, and the edge body portion a and the significant texture portion are detected. c may not be accurately distinguished.
[0013]
Further, as a result, during the filtering for removing mosquito noise, in addition to the edge main body portion a, a significant texture portion c is also filtered, resulting in a significant deterioration in the image quality of the texture portion c. In some cases, the generated mosquito noise cannot be removed efficiently.
[0014]
The present invention has been made in view of such a situation, and identifies an image signal with high accuracy, and further, for example, effectively and sufficiently removes mosquito noise generated at an edge portion. Is to be able to.
[0015]
[Means for Solving the Problems]
The signal processing apparatus of the present invention detects an edge from an image signal, outputs an edge detection signal indicating the detection result, smoothes the edge detection signal, and outputs a smoothing signal. An edge signal calculating means for obtaining a change amount of the smoothed signal and outputting an edge signal representing the amount of change; an image change signal calculating means for obtaining an amount of change of the image signal and outputting an image change signal representing the amount of change; , Edge signal of the pixel of interest But A predetermined first threshold If so, The pixel of interest is the edge body When Identify and The edge signal of the pixel of interest is less than the first threshold, and Smoothed signal of the target pixel But A predetermined second threshold If The target pixel is a flat part When Identify and The edge signal of the pixel of interest is less than the first threshold, the smoothed signal of the pixel of interest is greater than the second threshold, and Image change signal of the target pixel But Predetermined third threshold If less than The pixel of interest is the edge periphery The edge signal of the target pixel is less than the first threshold, the smoothed signal of the target pixel is greater than the second threshold, and the image change signal of the target pixel is greater than or equal to the third threshold. The pixel of interest is identified as a texture portion And an identification unit.
[0016]
The signal processing method of the present invention detects an edge from an image signal, outputs an edge detection signal representing the detection result, smoothes the edge detection signal, and outputs a smoothing signal as a smoothing signal. An edge signal calculation step for obtaining a change amount of the smoothed signal and outputting an edge signal representing the change amount; an image change signal calculation step for obtaining an amount of change in the image signal and outputting an image change signal representing the change amount; , Edge signal of the pixel of interest But A predetermined first threshold If so, The pixel of interest is the edge body When Identify and The edge signal of the pixel of interest is less than the first threshold, and Smoothed signal of the target pixel But A predetermined second threshold If The target pixel is a flat part When Identify and The edge signal of the pixel of interest is less than the first threshold, the smoothed signal of the pixel of interest is greater than the second threshold, and Image change signal of the target pixel But Predetermined third threshold If less than The pixel of interest is the edge periphery The edge signal of the target pixel is less than the first threshold, the smoothed signal of the target pixel is greater than the second threshold, and the image change signal of the target pixel is greater than or equal to the third threshold. The pixel of interest is identified as a texture portion And an identification step.
[0017]
The program of the present invention detects an edge from an image signal, outputs an edge detection signal representing the detection result, smoothes the edge detection signal, and outputs a smoothing signal. An edge signal calculation step for obtaining an amount of change in the signal and outputting an edge signal representing the amount of change; an image change signal calculating step for obtaining an amount of change in the image signal and outputting an image change signal representing the amount of change; Pixel edge signal But A predetermined first threshold If so, The pixel of interest is the edge body When Identify and The edge signal of the pixel of interest is less than the first threshold, and Smoothed signal of the target pixel But A predetermined second threshold If The target pixel is a flat part When Identify and The edge signal of the pixel of interest is less than the first threshold, the smoothed signal of the pixel of interest is greater than the second threshold, and Image change signal of the target pixel But Predetermined third threshold If less than The pixel of interest is the edge periphery The edge signal of the target pixel is less than the first threshold, the smoothed signal of the target pixel is greater than the second threshold, and the image change signal of the target pixel is greater than or equal to the third threshold. The pixel of interest is identified as a texture portion The computer is caused to execute a process including an identification step.
[0018]
In the signal processing device, signal processing method, and program of the present invention, an edge is detected from an image signal, an edge detection signal representing the detection result is output, the edge detection signal is smoothed, and output as a smoothed signal. The change amount of the smoothing signal is obtained, the edge signal representing the change amount is output, the change amount of the image signal is obtained, the image change signal representing the change amount is output, and the edge signal of the target pixel But A predetermined first threshold If so, The pixel of interest is the edge body When Identified, The edge signal of the pixel of interest is less than the first threshold, and Smoothed signal of the target pixel But A predetermined second threshold If The target pixel is a flat part When Identified, The edge signal of the pixel of interest is less than the first threshold, the smoothed signal of the pixel of interest is greater than the second threshold, and Image change signal of the target pixel But Predetermined third threshold If less than The pixel of interest is the edge periphery The edge signal of the pixel of interest is less than the first threshold, the smoothed signal of the pixel of interest is greater than the second threshold, and the image change signal of the pixel of interest is greater than or equal to the third threshold. The pixel of interest is identified as a texture portion .
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below. Correspondences between constituent elements described in the claims and specific examples in the embodiments of the present invention are exemplified as follows. This description is to confirm that specific examples supporting the invention described in the claims are described in the embodiments of the invention. Therefore, even if there are specific examples that are described in the embodiment of the invention but are not described here as corresponding to the configuration requirements, the specific examples are not included in the configuration. It does not mean that it does not correspond to a requirement. On the contrary, even if a specific example is described here as corresponding to a configuration requirement, this means that the specific example does not correspond to a configuration requirement other than the configuration requirement. not.
[0020]
Further, this description does not mean that all the inventions corresponding to the specific examples described in the embodiments of the invention are described in the claims. In other words, this description is an invention corresponding to the specific example described in the embodiment of the invention, and the existence of an invention not described in the claims of this application, that is, in the future, a divisional application will be made. Nor does it deny the existence of an invention added by amendment.
[0021]
The signal processing apparatus according to claim 1 detects an edge from an image signal and outputs an edge detection signal indicating the detection result (for example, the edge detection unit 1 in FIG. 2), and the edge detection signal. Smoothing means (for example, the filter unit 2 in FIG. 2) that outputs a smoothing signal, and an edge signal calculation means that obtains a change amount of the smoothing signal and outputs an edge signal representing the change amount ( For example, a change detection unit 3) in FIG. 2, an image change signal calculation unit (for example, a change detection unit 4 in FIG. 2) that obtains a change amount of the image signal and outputs an image change signal representing the change amount; The edge signal of the pixel of interest But A predetermined first threshold If so, The target pixel is an edge main body When Identify and The edge signal of the pixel of interest is less than the first threshold, and The smoothed signal of the pixel of interest But A predetermined second threshold If The target pixel is a flat part When Identify and The edge signal of the pixel of interest is less than the first threshold, and the smoothed signal of the pixel of interest is greater than the second threshold, and The image change signal of the pixel of interest But Predetermined third threshold If less than The pixel of interest is the edge periphery The edge signal of the pixel of interest is less than the first threshold, the smoothing signal of the pixel of interest is greater than the second threshold, and the image change signal of the pixel of interest Is greater than or equal to the third threshold, the pixel of interest is identified as a texture portion And an identification unit (for example, the identification unit 5 in FIG. 2).
[0022]
The signal processing device according to claim 2 comprises: When the edge signal is larger, the noise removal process is more strongly applied, and when the edge signal value is the same, the noise removal process is most strongly applied to the pixels around the edge, The image processing apparatus further includes noise removing means for removing noise from the image signal (for example, the noise removing filter unit 6 in FIG. 2).
[0024]
FIG. 2 is a block diagram showing a configuration example of an embodiment of a noise removing device to which the present invention is applied. The noise removal apparatus includes an edge detection unit 1, a filter unit 2, a change detection unit 3, a change detection unit 4, an identification unit 5, and a noise removal filter unit 6.
[0025]
The edge detection unit 1 receives, for example, an MPEG decoded image signal as an input signal. The edge detection unit 1 detects an edge from the image signal as the input signal, and the filter unit 2 detects the edge. An edge detection signal representing the result is output. As the edge detection unit 1, for example, a conventional edge detection device or the like that performs edge detection by a primary differentiation, a secondary differentiation, or a Sobel operator can be used.
[0026]
The filter unit 2 smoothes the edge detection signal output from the edge detection unit 1 and outputs the smoothed result to the change detection unit 3 and the identification unit 5 as a smoothed signal. In addition, the filter part 2 can be comprised by LPF (Low Pass Filter), for example.
[0027]
The change detection unit 3 detects the change amount of the smoothed signal output from the filter unit 2, and uses the change amount as an edge signal representing the degree of edge in the image signal as the input signal, and the noise removal unit 5 and the noise removal unit The data is output to the filter unit 6.
[0028]
The change detection unit 4 receives an image signal as an input signal, and the change detection unit 4 detects a change amount of the image signal as the input signal and uses the change amount (hereinafter referred to as an image change signal as appropriate). Are output to the identification unit 5.
[0029]
The identification unit 5 receives the edge signal output from the change detection unit 3, the smoothed signal output from the filter unit 2, and the image change signal output from the change detection unit 4. Based on the signal, smoothing signal, and image change signal, identify whether the image signal is the edge body part, edge peripheral part, significant texture part, or flat part, and indicate the identification result The information is output to the noise removal filter unit 6.
[0030]
In addition to the identification information output from the identification unit 5, an edge signal output from the change detection unit 3 and an image signal as an input signal are input to the noise removal filter unit 6. The noise removal filter unit 6 sets parameter characteristics used for processing based on the identification information output from the identification unit 5, performs a predetermined calculation based on the parameter characteristics and the edge signal from the change detection unit 3, Thereby, mosquito noise is removed from the image signal, and an image signal as an output signal is output.
[0031]
FIG. 3 is a flowchart for explaining processing (image processing) of the noise removal apparatus of FIG.
[0032]
For example, an MPEG-decoded image signal is supplied as an input signal to the noise removal apparatus in FIG. 2, and the image signal is supplied to the edge detection unit 1, the change detection unit 4, and the noise removal filter unit 6. The image processing in FIG. 3 is started when an image signal as an input signal is supplied to the edge detection unit 1 and the noise removal filter unit 6.
[0033]
In step S1, the edge detection unit 1 performs edge detection from the image signal supplied thereto, outputs an edge detection signal as the edge detection result to the filter unit 2, and proceeds to step S2.
[0034]
In step S 2, the filter unit 2 smoothes the edge detection signal supplied from the edge detection unit 1 by filtering, for example, with an LPF, and outputs the resulting smoothed signal to the change detector 3 and the identification unit 5. Then, the process proceeds to step S3.
[0035]
In step S3, the change detection unit 3 calculates a change amount of the smoothed signal supplied from the filter unit 2, outputs the change amount as an edge signal to the noise removal filter unit 6, and proceeds to step S4. Here, as the amount of change in the smoothed signal, for example, the variance of the smoothed signal can be employed. The change detection unit 3 obtains the variance of the smoothed signal corresponding to each pixel constituting the smoothed image signal that is the input signal, and outputs it as an edge signal.
[0036]
In step 4, the change detection unit 4 calculates a change amount from the image signal supplied thereto, outputs an image change signal that is the change amount to the identification unit 5, and proceeds to step S5. Here, as the amount of change, dispersion can be adopted as in step S3. The change detection unit 4 obtains dispersion for each pixel constituting the image signal that is an input signal, and outputs it as an image change signal.
[0037]
Note that the processing of steps S1 to S3 and the processing of step S4 do not have to be executed in the order shown in FIG. 3, and can be executed in parallel.
[0038]
In step S 5, the identification unit 5 determines that the image signal is based on the edge signal, the smoothing signal, and the image change signal supplied to the edge main body part, significant texture part, flat part, or edge peripheral part. The identification information indicating the identification result is output to the noise removal filter unit 6, and the process proceeds to step S6.
[0039]
In step S 6, the noise removal filter unit 6 performs a predetermined calculation on the image signal as the input signal based on the image identification signal supplied from the identification unit 5 and the edge signal supplied from the change detection unit 3. And the calculation result is output as an image signal from which mosquito noise is removed. And it returns to S1 from step S6, and the same process is repeated hereafter.
[0040]
Note that the processing in FIG. 3 is performed on each pixel constituting the image signal supplied to the noise removal device as the pixel of interest sequentially, for example, in raster scan order, and the image signal is sent to the noise removal device. When no more is supplied, the process ends.
[0041]
FIG. 4 is a block diagram illustrating a configuration example of the edge detection unit 1 of FIG. The edge detection unit 1 includes, for example, a horizontal edge detection unit 11, a comparison unit 12, and a vertical edge detection unit 13.
[0042]
An image signal as an input signal is input to the horizontal edge detection unit 11 and the vertical edge detection unit 13. Then, the horizontal edge detection unit 11 detects a horizontal edge (horizontal edge) of the image signal input thereto, and compares an edge detection signal indicating the detection result (hereinafter referred to as a horizontal edge detection signal as appropriate). To the unit 12.
[0043]
On the other hand, the vertical edge detection unit 13 detects an edge (vertical edge) in the vertical direction of an image signal input thereto, and compares an edge detection signal indicating the detection result (hereinafter referred to as a vertical edge detection signal as appropriate). To the unit 12.
[0044]
The horizontal edge detection unit 11 and the vertical edge detection unit 13 output an edge detection signal for each pixel constituting the image signal.
[0045]
The comparison unit 12 compares the horizontal edge detection signal supplied from the horizontal edge detection unit 11 with the vertical edge detection signal supplied from the vertical edge detection unit 13 for each pixel constituting the image signal, and has a large value. Is output to the filter unit 2 as a final edge detection signal.
[0046]
Note that the edge detection unit 1 can detect an edge with a two-dimensional filter or the like without dividing the edge into a horizontal direction and a vertical direction.
[0047]
In addition, the edge detection unit 1 can employ a combined value (for example, an average value) of the horizontal edge detection signal and the vertical edge detection signal as a final edge detection signal.
[0048]
FIG. 5 is a block diagram illustrating a configuration example of the horizontal edge detection unit 11 of FIG. The horizontal edge detection unit 11 includes a differentiation unit 21 and an absolute value conversion unit 22.
[0049]
The differentiating unit 21 sequentially sets pixels constituting the image signal supplied thereto as a target pixel in order of raster scan, for example, and obtains a horizontal differential value of the pixel value at the target pixel. That is, the differentiating unit 21 calculates, for example, a difference between pixel values of the pixel of interest and the left or right adjacent pixel, and outputs the difference to the absolute value converting unit 22 as a horizontal differential value of the pixel of interest. To do.
[0050]
The absolute value converting unit 22 takes the absolute value of the differential value output from the differentiating unit 21, and supplies the absolute value to the comparing unit 12 in FIG. 5 as a horizontal edge detection signal.
[0051]
4 is configured in the same manner as the horizontal edge detection unit 11 in FIG. However, the differentiating unit 21 constituting the vertical edge detecting unit 13 obtains a differential value in the vertical direction of the pixel value in the target pixel and supplies it to the absolute value converting unit 22.
[0052]
In the embodiment of FIG. 5, edge detection is performed by primary differentiation, but edge detection can also be performed by, for example, secondary differentiation.
[0053]
FIG. 6 is a block diagram illustrating a configuration example of the filter unit 2 of FIG. For example, the filter unit 2 includes a horizontal low-pass filter unit 31 and a vertical low-pass filter unit 32.
[0054]
The horizontal low-pass filter unit 31 cuts a high-frequency component in the horizontal direction of the edge detection signal supplied from the edge detection unit 1 and outputs it to the vertical low-pass filter unit 32.
[0055]
The vertical low-pass filter unit 32 cuts the high frequency component in the vertical direction of the signal output from the horizontal low-pass filter unit 31 and outputs the resulting signal to the change detection unit 3 as a smoothed signal.
[0056]
As described above, the filter unit 2 outputs a smoothed signal obtained by smoothing the edge detection signal.
[0057]
The filter unit 2 can be configured by replacing the horizontal low-pass filter unit 31 and the vertical low-pass filter unit 32, for example.
[0058]
Furthermore, the filter unit 2 can be configured by a two-dimensional low-pass filter that simultaneously cuts high-frequency components in the horizontal direction and the vertical direction, for example.
[0059]
FIG. 7 is a block diagram showing a configuration of the identification unit 5 of FIG. The identification unit 5 includes, for example, an edge identification unit 91, a flat part identification unit 92, a texture identification unit 93, and an identification result output unit 94.
[0060]
The identification unit 5 receives the edge signal V output from the change detection unit 3, the smoothed signal F output from the filter unit 2, and the image change signal Tx output from the change detection unit 4. Identifies whether the pixel of interest is an edge body part, a flat part, a significant texture part, or an edge peripheral part.
[0061]
The edge identification unit 91 compares the edge signal V supplied from the change detection unit 3 with a predetermined threshold TH1 and supplies the comparison result to the identification result output unit 94.
[0062]
The flat portion identifying unit 92 compares the smoothed signal supplied from the filter unit 2 with a predetermined threshold TH2, and supplies the comparison result to the identification result output unit 94.
[0063]
The texture identification unit 93 compares the image change signal supplied from the change detection unit 4 with a predetermined threshold TH3 and supplies the comparison result to the identification result output unit 94.
[0064]
Based on the output of the edge identification unit 91, the flat part identification unit 92, or the texture identification unit 93, the identification result output unit 94 includes an edge main body part, a flat part, a significant texture part, or an edge peripheral part. And the identification information indicating the identification result is supplied to the noise removal filter unit 6.
[0065]
FIG. 8 is a flowchart for explaining the identification processing in step S5 of FIG. 3 by the identification unit 5 of FIG.
[0066]
In step S11, the edge identifying unit 91 determines whether or not the edge signal V of the target pixel is less than (or less than) the threshold value TH1. If it is determined in step S11 that the edge signal of the target pixel is not less than the threshold TH1, that is, if the edge signal of the target pixel is somewhat large, the process proceeds to step S12, and the identification result output unit 94 determines that the target pixel is the edge body. Is output to the noise removal filter unit 6 and the process returns.
[0067]
On the other hand, if it is determined in step S11 that the edge signal is less than the threshold value TH1, the process proceeds to step S13, and the flat part identifying unit 92 determines whether the smoothed signal of the target pixel is greater than (or greater than) the threshold value TH2. Determine if.
[0068]
If it is determined in step S13 that the smoothed signal of the target pixel is not larger than the threshold TH2, that is, if the smoothed signal of the target pixel is somewhat small, the process proceeds to step S14, and the identification result output unit 94 determines whether the target pixel is The identification information indicating that it is a flat part is supplied to the noise removal filter part 6 and the process returns.
[0069]
If it is determined in step S13 that the smoothed signal of the target pixel is larger than the threshold value TH2, the process proceeds to step S15, and the texture identifying unit 93 has the image change signal of the target pixel less than (or less than) the threshold value TH3. Determine whether or not.
[0070]
If it is determined in step S15 that the image change signal of the target pixel is not less than the threshold TH3, that is, if the pixel change signal of the target pixel is somewhat large, the process proceeds to step S16, and the identification result output unit 94 determines that the target pixel is significant. The identification information indicating that the texture portion is a correct texture portion is supplied to the noise removal filter portion 6 and the process returns.
[0071]
If it is determined in step S15 that the image change signal of the target pixel is less than the threshold value TH3, that is, if the image change signal of the target pixel is small to some extent, the process proceeds to step S17, and the identification result output unit 94 Identification information indicating that the pixel is an edge peripheral portion is supplied to the noise removal filter unit 6 and the process returns.
[0072]
FIG. 9 schematically shows a waveform of a signal processed by the noise removal apparatus of FIG.
[0073]
A waveform (image signal) T1 indicates a signal waveform (pixel value of each pixel) of a certain horizontal line in the image signal as an input signal. In FIG. 9, the waveform T1 has an edge main body portion indicated by a, a flat portion indicated by b, a significant texture portion indicated by c, and an edge peripheral portion indicated by d (periphery of the boundary of the edge main body portion a). is doing. Mosquito noise is generated at the edge portion, particularly at the edge peripheral portion d.
[0074]
Waveforms T2 and T3 show signal waveforms as edge detection results for the image signal T1 by the edge detector 1. That is, now, assuming that the edge detection unit 1 performs primary differentiation on the image signal T1 and outputs the absolute value of the primary differentiation result as an edge detection signal, the waveform T2 indicates the primary differentiation result of the waveform T1, A waveform T3 indicates an edge detection signal that is an absolute value of the waveform T2. The edge detection signal T3 has a small amplitude in the flat portion b, but also has a large amplitude in the edge main body portion a and the edge peripheral portion d, and also in the significant texture portion c. For this reason, for example, if the edge portion is detected only by the edge detection signal T3, there is a possibility that a significant texture portion c as well as the edge body portion a and the edge peripheral portion d may be detected as the edge portion.
[0075]
A waveform T4 indicates a waveform of a smoothed signal obtained by smoothing the edge detection signal T3 in the filter unit 2. The filter unit 2 removes high frequency components from the edge detection signal T3. Accordingly, since the amplitude of the edge detection signal T3 is large at the edge body part a and the edge peripheral part d, the smoothing signal T4 has a certain large change. Further, in the significant texture portion c, the amplitude of the edge detection signal T3 is not as great as that of the edge main body portion a and the edge peripheral portion d, so that the smoothed signal T4 does not change so much. Further, in the flat portion b, the smoothed signal T4 is almost zero with almost no change.
[0076]
Therefore, the identifying unit 5 identifies the target pixel as the flat portion b when the smoothed signal T4 of the target pixel is not greater than the threshold value TH2.
[0077]
A waveform T5 indicates, for example, a dispersion waveform, that is, an edge signal, as an amount of change of the smoothed signal T4 obtained by the change detection unit 3. Since the edge signal T5 is the amount of change of the smoothed signal T4, the flat portion b where the smoothed signal T4 hardly changes or the significant texture portion c where there is not much change is 0 or a value close to 0. In the edge main body a where the smoothing signal T4 changes greatly to some extent, the value becomes large.
[0078]
As described above, the edge detection signal T3 has a large value to some extent not only in the edge body part a and the edge peripheral part d but also in the texture part c. Therefore, the edge part in the image signal T1 is determined by the edge detection signal T3. As a result, not only the edge body portion a but also the texture portion c is erroneously determined as an edge.
[0079]
On the other hand, the edge signal T5 has a large value at the edge body part a and a small value at the texture part c. Therefore, when the edge signal T5 of the target pixel is not less than the threshold value TH1, the identification unit 5 identifies the target pixel as the edge main body a.
[0080]
A waveform T6 indicates, for example, a dispersion waveform, that is, an image change signal as a change amount of the image signal as an input signal obtained in the change detection unit 4. The image change signal T6 takes a small value in the flat portion and the edge peripheral portion d where the image signal T1 as the input signal starts to change greatly, and is somewhat large in the edge body portion a and the texture portion c where the image signal T1 changes to some extent. Takes a value. Therefore, when the image change signal T6 of the target pixel is not less than the threshold value TH3, the identification unit 5 identifies the target pixel as the texture portion c, and when the image change signal T6 is less than the threshold value TH3, Identified as part.
[0081]
Here, when the image change signal T6 of the target pixel is threshold-processed by the threshold value T3 in the identification unit 5, the significant texture part c and the edge body part a, and the edge peripheral part d and the flat part b can be identified. However, according to the identification processing of FIG. 8, at the time of step S15 in which the image change signal T6 of the target pixel is threshold-processed, the target pixel is neither the edge main body part a (step S12) nor the flat part (step S14). That is the identification process. In other words, at the time of step S15 when threshold processing is performed on the image change signal T6 of the target pixel, it is identified that the target pixel is either the significant texture portion c or the edge peripheral portion d. Therefore, by comparing the image change signal T6 of the target pixel with the threshold T3, it is possible to identify whether the target pixel is a significant texture portion c or an edge peripheral portion d.
[0082]
FIG. 10 shows an edge signal 54 obtained by the noise removal apparatus of FIG. The waveform of the image 51 in FIG. 10 is the same as that in FIG. Further, in FIG. 10, as in the case of FIG. 1, the secondary differential value 52 of the image 51 is illustrated.
[0083]
An edge signal indicated by a waveform 54 is obtained from the image 51.
[0084]
The edge signal 54 has a large value in the edge body part a and the edge part 53 which is the edge peripheral part. That is, the edge signal 54 takes a large value centering on the pixels # 11 and # 12 which are the edge main body part a, and gradually decreases in the left or right part (edge peripheral part). The edge signal 54 has a value close to 0 as much as possible in the significant texture portion c and flat portion b. Therefore, according to the edge signal 54, it is possible to accurately distinguish and detect the edge portion 53 and the significant texture portion c and flat portion b.
[0085]
FIG. 11 is a block diagram illustrating a first configuration example of the noise removal filter unit 6 of FIG. In FIG. 11, the noise removal filter unit 6 includes, for example, an LPF unit 41, a mixing unit 42, and a characteristic setting unit 43.
[0086]
An image signal as an input signal is supplied to the LPF unit 41 and the mixing unit 42. The LPF unit 41 sequentially filters pixels constituting the image signal supplied thereto, for example, in the raster scan order as a pixel of interest, filters the pixel of interest (pixel value thereof) with the LPF, and mixes the filtered signal with the mixing unit Output to 42.
[0087]
Here, by filtering the image signal in the LPF unit 41, mosquito noise generated in the image signal is removed (reduced).
[0088]
In addition to the image signal as an input signal, the mixing unit 42 receives the edge signal V output from the change detection unit 3, the parameter characteristics output from the characteristic setting unit 43, and the output of the LPF unit 41. The mixing unit 42 sets a parameter α that is a dimensionless amount corresponding to the edge signal V output from the change detector 3 based on the parameter characteristic output from the characteristic setting unit 43, and based on the parameter α, An operation is performed using the pixel value of the pixel of interest among the pixels constituting the image signal as the input signal and the output of the LPF unit 41 corresponding to the pixel of interest, and the operation result is obtained as the noise removal result of the pixel of interest. Output as.
[0089]
That is, the mixing unit 42 uses the parameter α as a mixing ratio between the original pixel value of the target pixel and the output of the LPF unit 41 corresponding to the target pixel, and mixes both, and the resultant mixed value is used as the target value. A new pixel value (noise removal result) of the pixel is output.
[0090]
Specifically, if the original pixel value of the target pixel is expressed as Xn, and the output of the LPF unit 41 corresponding to the target pixel (filtering result of the target pixel) is expressed as Xn ′, the mixing unit 42 represents the expression In accordance with Zn = αXn ′ + (1−α) Xn, a new pixel value Zn of the target pixel is obtained.
[0091]
The characteristic setting unit 43 receives the identification information of the pixel of interest output from the identification unit 5, and the characteristic setting unit 43 selects a preset parameter characteristic according to the identification information of the pixel of interest. The selected parameter characteristic is output to the mixing unit 42.
[0092]
FIG. 12 shows an example of tap coefficients used for filtering in the LPF unit 41 of FIG.
[0093]
According to the tap coefficient of FIG. 12, the pixel value of the target pixel is multiplied by 4/16, the pixel values of pixels adjacent to the upper, lower, left, and right of the target pixel are multiplied by 2/16, and the upper left, lower left, The pixel values of the pixels adjacent to the upper right and lower right are multiplied by 1/16, and the sum of the multiplication results is output as the filtering result.
[0094]
FIG. 13 shows the relationship between the edge signal V and the parameter α as the parameter characteristic preset in the characteristic setting unit 43 of FIG.
[0095]
According to FIG. 13, the parameter α increases in the range from 0 to 1 as the edge signal V is larger, that is, as the edge signal is larger to some extent.
[0096]
In the parameter characteristics shown in FIG. 13, the parameter α takes different values depending on the type (characteristic and property) of the target pixel even when the edge degree is the same. That is, according to the parameter characteristics of FIG. 13, the parameter α is set to a large value in the order of the flat portion, significant texture portion, edge body portion, and edge peripheral portion. In particular, since mosquito noise is generated in the edge peripheral portion, when the pixel of interest is in the edge peripheral portion, the parameter characteristics are set so that α is 1 as much as possible regardless of the degree of the edge. Thereby, the mosquito noise generated at the edge portion, that is, particularly the edge peripheral portion d can be effectively and sufficiently removed.
[0097]
In the mixing unit 42 in FIG. 11, as described above, the pixel value Xn of the target pixel and the filtering result Xn ′ of the target pixel are mixed according to the expression Zn = αXn ′ + (1−α) Xn, and the target pixel The new pixel value Zn is obtained.
[0098]
Accordingly, for a pixel having a large parameter α, that is, a pixel having a large edge signal V and a certain degree of edge, the weight of the filtering result Xn ′ of the pixel is increased, and the original pixel value Xxn of the pixel is increased. And the filtering result Xn ′ are mixed. As a result, for a pixel at an edge where mosquito noise occurs, a pixel value having a high ratio of the filtering result Xn ′, that is, a pixel value from which mosquito noise has been removed is obtained as a new pixel value Zn.
[0099]
On the other hand, for a pixel having a small parameter, that is, a pixel of a flat portion or a significant texture portion where the edge signal V is small, the weight of the original pixel value Xn of the pixel is increased, The filtering result Xn ′ is mixed. As a result, for the pixels in the flat part and the significant texture part, the pixel value having a high ratio of the original pixel value, that is, the pixel value maintaining the detail of the significant texture part in particular is a new pixel value. Obtained as Zn.
[0100]
Therefore, mosquito noise can be effectively removed without impairing the image quality of the significant texture portion.
[0101]
FIG. 14 is a flowchart for explaining the noise removal processing in step S6 of FIG. 3 performed by the noise removal filter unit 6 of FIG.
[0102]
In step S21, the identification information of the target pixel output from the identification unit 5 is input to the characteristic setting unit 43, and the characteristic setting unit 43 selects, based on the identification information, the parameter characteristics shown in FIG. A parameter characteristic used for processing of the target pixel is selected and output to the mixing unit 42, and the process proceeds to step S22.
[0103]
In step S22, an image signal as an input signal is input to the LPF 41, and the LPF unit 41 performs a low-pass filtering process on the pixel value Xn of the target pixel among the pixels constituting the image signal. The processing result is output to the mixing unit 42, and the process proceeds to step S23.
[0104]
In step 23, the mixing unit 42 includes the parameter characteristics output from the characteristic setting unit 43, the edge signal V of the target pixel output from the change detection unit 3, and the pixels constituting the image signal as the input signal. The pixel value Xn of the target pixel and the filtering result Xn ′ corresponding to the target pixel output from the LPF unit 41 are input, and the mixing unit 42 sets the parameter α corresponding to the edge signal V of the target pixel based on the parameter characteristics. Set. Further, the mixing unit 42 executes a calculation process of mixing the pixel value Xn of the target pixel and the filtering result Xn ′ corresponding to the target pixel using the parameter α as a mixing ratio, and the calculation result is obtained from the target pixel. Output as a new pixel value Zn and return.
[0105]
Further, the processes of steps S21 and S22 can be executed in an arbitrary order, and can also be executed in parallel.
[0106]
FIG. 15 is a diagram illustrating a second configuration example of the noise removal filter unit 6 in FIG. 2. In FIG. 15, the noise removal filter unit 6 includes, for example, an ε gain supply unit 61, an ε filter unit 62, and a characteristic setting unit 63.
[0107]
The ε gain supply unit 61 sets the parameter ε of the ε filter unit 62 according to the edge signal V output from the change detection unit 3 in accordance with the parameter characteristic output from the characteristic setting unit 63, and sets the parameter ε to ε Output to the filter unit 62.
[0108]
The ε filter unit 62 receives the parameter ε output from the ε gain supply unit 61 and an image signal as an input signal. The ε filter unit 62 performs a predetermined calculation process on the input image signal based on the value of the parameter ε, and outputs the result as a new pixel value of the target pixel. That is, the ε filter unit 62 sequentially sets each pixel constituting the image signal supplied thereto as a pixel of interest, for example, in raster scan order, and filters the pixel of interest according to the parameter ε corresponding to the pixel of interest. To do.
[0109]
The larger the value of the parameter ε, the higher the degree of smoothing (ie, the dullness is likely to occur), and the smaller the value of the parameter ε, the smoother the degree of the ε filter unit 62 is. A filtering process for smoothing the signal so as to be low (that is, less likely to be dull) is executed.
[0110]
The characteristic setting unit 63 receives the identification information of the target pixel output from the identification unit 5, and the characteristic setting unit 63 sets the parameter corresponding to the identification information of the target image from the preset parameter characteristics. A characteristic is selected, and the selected parameter characteristic is output to the ε gain supply unit 61.
[0111]
FIG. 16 shows parameter characteristics preset in the characteristic setting unit 63 of FIG. The parameter characteristics in FIG. 16 are the same as those in FIG. 13 except that the range that can be taken by the parameter ε is different from the range that can be taken by the parameter α.
[0112]
FIG. 17 is a diagram illustrating the filtering process of the ε filter unit 62. In the ε filter unit 62, for example, even if the input signal is an image signal having a steep edge shown in FIG. 17A, the signal is smoothed into a signal so as to maintain the steep edge as shown in FIG. 17B. The
[0113]
Below, the detail of the smoothing process (filtering process) which the (epsilon) filter part 62 performs is demonstrated. The ε filter unit 62 performs low-pass filtering on the pixel of interest using neighboring pixels in the vicinity of the pixel of interest. At this time, the pixel value of the neighboring pixel is set according to the parameter ε. That is, when there is no pixel value Xm of the neighboring pixel Pm within the range of ε centered on the pixel value Xn of the target pixel Pn, the pixel value Xm of the neighboring pixel Pm is replaced with the pixel value Xn of the target pixel Pn, and low pass filtering is performed. When the pixel value Xm of the neighboring pixel Pm is within the range of ε, the low-pass filtering is performed using the pixel value Xm of the neighboring pixel Pm as it is.
[0114]
That is, the ε filter unit 62 compares the absolute value | Xn−Xm | of the difference between the pixel value Xn of the target pixel Pn and the pixel value Xm of the neighboring pixel Pm of the target pixel Pn with ε / 2. When the ε filter unit 62 determines that the absolute value | Xn−Xm | is greater than (or greater than) ε / 2, the pixel value Xm of the neighboring pixel Pm is changed to the pixel value Xn of the target pixel Pn. And low-pass filter processing (low-pass filtering) is performed on the pixel of interest Pn.
[0115]
On the other hand, when the ε filter unit 62 determines that the absolute value | Xn−Xm | is equal to or less than (or less than) ε / 2, the pixel value Xm of the neighboring pixel is used as it is, and the low pass filter process is performed on the target pixel Pn. Do.
[0116]
Therefore, according to the ε filter unit 62, the target pixel is low-pass filtered using only the pixel value close to the pixel value of the target pixel. As a result, in the ε filter unit 62, for example, when a minute noise is included in the image signal as the input signal, a filtering result from which the noise is removed is obtained. Further, in the ε filter unit 62, for example, when the image signal as the input signal includes a steep edge, a filtering result maintaining the shape of the edge is obtained.
[0117]
In the noise removal filter unit 6 of FIG. 15, as described above, the parameter ε is increased when the pixel of interest is an edge to some extent, and the parameter ε is also decreased when the edge is an edge to some extent.
[0118]
Therefore, in the ε filter unit 62 of FIG. 15, the parameter ε is large for the pixel at the edge portion, and low-pass filtering is easily performed using the pixel values of the pixels around the pixel as it is, and thus the pixel is generated at the edge portion. Mosquito noise can be removed. Further, in the ε filter unit 62 of FIG. 12, the parameter ε is small for the pixels of the flat portion and the significant texture portion, and the pixel values of the pixels around the pixel are replaced with the pixel values of the target pixel to perform low-pass filtering. Since it becomes easy to perform, the filtering result which maintained the detail of the significant texture part especially can be obtained.
[0119]
Note that the number of taps of the filtering process executed by the ε filter unit 62 is not particularly limited, and can be an arbitrary value according to the user's request.
[0120]
FIG. 18 is a flowchart for explaining the operation of the noise removal filter unit 6 of FIG.
[0121]
In step S31, the identification information of the target pixel output from the identification unit 5 is input to the characteristic setting unit 63, and the characteristic setting unit 63 selects the target parameter from preset parameter characteristics based on the identification information. The parameter characteristics used for pixel processing are selected and output to the ε gain supply unit 62, and the process proceeds to step S32.
[0122]
In step S 32, the ε gain supply unit 62 sets a parameter ε corresponding to the edge signal V of the target pixel based on the parameter characteristic output from the characteristic setting unit 63, and outputs the parameter ε to the ε filter unit 62. Then, the process proceeds to step S33.
[0123]
In step S 33, the ε filter unit 62 uses pixel values of neighboring pixels in the vicinity of the target pixel for the target pixel among the pixels constituting the image signal based on the parameter ε supplied from the ε gain supply unit 62. The filtering process is performed, the process result is output as a new pixel value Zn of the target pixel, and the process returns. In addition, as a tap coefficient used for the filtering process of the epsilon filter part 62, what was shown in FIG. 12 is employable, for example.
[0124]
As described above, a significant texture can be obtained by identifying the target pixel based on the edge detection signal, the smoothing signal, and the edge signal, and performing the filtering process based on the identification information indicating the identification result and the edge signal. Mosquito noise can be effectively and sufficiently removed without deteriorating the detail of the part.
[0125]
The series of processes described above can be executed by hardware, but can also be executed by software.
[0126]
When the above-described series of processing is executed by software, the noise removal device can be configured as a personal computer as shown in FIG. 19, for example.
[0127]
In FIG. 19, a CPU (Central Processing Unit) 71 executes various processes according to a program stored in a ROM (Read Only Memory) 72 or a program loaded from a storage unit 78 to a RAM (Random Access Memory) 73. To do.
[0128]
The RAM 73 also appropriately stores data necessary for the CPU 71 to execute various processes.
[0129]
The CPU 71, ROM 72, and RAM 73 are connected to each other via a bus 74. An input / output interface 75 is also connected to the bus 74.
[0130]
The input / output interface 75 is connected to an input unit 76 such as a keyboard and a mouse, an output unit 77 composed of a display, a storage unit 78 composed of a hard disk, and a communication unit 79.
[0131]
A drive 80 is connected to the input / output interface 75 as necessary, and a magnetic disk 81, an optical disk 82, a magneto-optical disk 83, or a semiconductor memory 84 is appropriately mounted, and a computer program read from them is necessary. Is installed in the storage unit 78 according to the above.
[0132]
When a series of processing is executed by software, the program that constitutes the software executes a variety of functions by installing a computer embedded in dedicated hardware or various programs. For example, a general-purpose personal computer is installed from the program storage medium.
[0133]
As shown in FIG. 19, a program storage medium for storing a program installed in a computer and ready to be executed by the computer includes a magnetic disk 81 (including a floppy disk), an optical disk 82 (CD-ROM (Compact Disk- Read only memory) (including DVD (Digital Versatile Disk)), magneto-optical disk 83, semiconductor memory 84, or other package media, ROM 72 for storing programs temporarily or permanently, and storage unit 78 Consists of a hard disk and the like. The program is stored in the program storage medium using a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via an interface such as a router or a modem as necessary.
[0134]
In the present specification, the step of describing the program stored in the program storage medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series. Or the process performed separately is also included.
[0135]
Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
[0136]
In this embodiment, the mosquito noise is removed based on the edge signal and the identification information. However, the edge signal and the identification information are, for example, object-coded in addition to the removal of the mosquito noise. It can be used for extracting objects in cases.
[0137]
In the present embodiment, the MPEG-decoded image signal is processed, but it is also possible to perform processing for other image signals.
[0138]
Furthermore, in this embodiment, the variance of the smoothed signal is obtained as the amount of change (edge signal) of the smoothed signal. However, as the amount of change of the smoothed signal, the smoothing of pixels in the vicinity of the target pixel is performed. It is possible to employ an average value of the absolute difference value of the signal, a differential value of the smoothed signal, or the like. The same applies to the change amount of the image signal (image change signal).
[0139]
In the present embodiment, the image signal is identified using the edge signal, the smoothed signal, and the image change signal, and the identification information representing the identification result is output. It is also possible to identify the image signal using two of the edge signal and either the smoothed signal or the image change signal. However, in this case, in the identification process of FIG. 8, when the smoothed signal is not used, the processes of steps S13 and S14 are not performed, and when the image change signal is not used, the processes of steps S15 to S17 are not performed.
[0140]
Furthermore, the noise removal filter unit 6 can be configured using a median filter, for example, in addition to the configuration described above.
[0141]
【The invention's effect】
As described above, according to the present invention, the edge main body portion, the flat portion, the significant texture portion, and the noise can be clearly distinguished.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a conventional image signal and a signal level of a second derivative thereof.
FIG. 2 is a block diagram showing a configuration of an embodiment of a noise removing device to which the present invention is applied.
FIG. 3 is a flowchart illustrating the operation of the noise removal device.
4 is a block diagram illustrating a configuration example of an edge detection unit 1. FIG.
FIG. 5 is a block diagram illustrating a configuration example of a horizontal edge detection unit 11 (vertical edge detection unit 13).
6 is a block diagram illustrating a configuration example of a filter unit 2. FIG.
7 is a block diagram illustrating a configuration example of an identification unit 5. FIG.
FIG. 8 is a flowchart for explaining the operation of the identification unit 5;
FIG. 9 is a diagram illustrating a waveform of a signal obtained by the noise removing device.
FIG. 10 is a diagram for explaining a waveform of an edge signal obtained in the change detection unit 3;
FIG. 11 is a block diagram illustrating a first configuration example of the noise removal filter unit 6;
12 is a diagram illustrating an embodiment of tap coefficients of the LPF unit 41. FIG.
FIG. 13 is a diagram illustrating a relationship between an edge signal V and a parameter α.
14 is a flowchart for explaining the operation of the noise removal filter unit 6 of FIG. 11;
FIG. 15 is a block diagram illustrating a second configuration example of the noise removal filter unit 6;
FIG. 16 is a diagram illustrating a relationship between an edge signal V and a parameter ε.
FIG. 17 is a diagram for explaining processing of the ε filter unit 62;
18 is a flowchart for explaining the operation of the noise removal filter unit 6 of FIG.
FIG. 19 is a block diagram illustrating a configuration example of a computer that implements a noise removal device to which the present invention has been applied.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Edge detection part, 2 Filter part, 3 Change detection part, 4 Noise removal filter part, 11 Horizontal edge detection part, 12 Comparison part, 13 Vertical edge detection part, 21 Differentiation part, 22 Absolute value conversion part, 31 Horizontal low pass filter Unit, 32 vertical low-pass filter unit, 41 LPF unit, 42 mixing unit, 43 characteristic setting unit, 61 ε gain supply unit, 62 ε filter unit, 63 characteristic setting unit, 71 CPU, 72 ROM, 73 RAM, 74 bus, 75 I / O interface, 76 input section, 77 output section, 78 storage section, 79 communication section, 80 drive, 81 magnetic disk, 82 optical disk, 83 optomagnetic disk, 84 semiconductor memory, 91 edge identification section, 92 flat section identification section, 93 texture identification unit, 94 identification result output unit

Claims

Edge detection means for detecting an edge from an image signal and outputting an edge detection signal representing the detection result;
Smoothing means for smoothing the edge detection signal and outputting the smoothed signal;
An edge signal calculation means for obtaining a change amount of the smoothed signal and outputting an edge signal representing the change amount;
Image change signal calculating means for obtaining a change amount of the image signal and outputting an image change signal representing the change amount;
When the edge signal of the pixel of interest is equal to or greater than a predetermined first threshold value, the target pixel is identified as an edge body portion, the edge signal is less than the first threshold value of the pixel of interest, and the target when the smoothed signal of the pixel is equal to or less than a predetermined second threshold value, the target pixel is identified as a flat portion, the edge signal is less than the first threshold value of the pixel of interest, and the pixel of interest the smoothed signal is greater than said second threshold, and if the image change signal of the pixel of interest is less than a predetermined third threshold value, the target pixel is identified as an edge peripheral portion, wherein The edge signal of the pixel of interest is less than the first threshold, the smoothed signal of the pixel of interest is greater than the second threshold, and the image change signal of the pixel of interest is greater than or equal to the third threshold. If the Containing the signal processing apparatus characterized by comprising identifying means for identifying as a texture unit.

Pixels with a larger edge signal are subjected to stronger noise removal processing, and when the edge signal value is the same, the noise removal processing is most strongly applied to pixels around the edge to remove noise from the image signal. The signal processing apparatus according to claim 1, further comprising noise removing means for performing the processing.

When the edge signal value is the same, the noise removal means performs noise removal processing in order of the edge peripheral pixel, the edge body pixel, the texture pixel, and the flat pixel from the strongest one. The signal processing device according to claim 2 , wherein the strength of the signal processing unit is adjusted.

An edge detection step of detecting an edge from the image signal and outputting an edge detection signal representing the detection result;
A smoothing step of smoothing the edge detection signal and outputting as a smoothed signal;
An edge signal calculation step for obtaining a change amount of the smoothed signal and outputting an edge signal representing the change amount;
An image change signal calculation step for obtaining a change amount of the image signal and outputting an image change signal representing the change amount;
When the edge signal of the pixel of interest is equal to or greater than a predetermined first threshold value, the target pixel is identified as an edge body portion, the edge signal is less than the first threshold value of the pixel of interest, and the target when the smoothed signal of the pixel is equal to or less than a predetermined second threshold value, the target pixel is identified as a flat portion, the edge signal is less than the first threshold value of the pixel of interest, and the pixel of interest the smoothed signal is greater than said second threshold, and if the image change signal of the pixel of interest is less than a predetermined third threshold value, the target pixel is identified as an edge peripheral portion, wherein The edge signal of the pixel of interest is less than the first threshold, the smoothed signal of the pixel of interest is greater than the second threshold, and the image change signal of the pixel of interest is greater than or equal to the third threshold. If the Signal processing method containing the signal processing apparatus characterized by comprising an identification identifying as a texture unit.

An edge detection step of detecting an edge from the image signal and outputting an edge detection signal representing the detection result;
A smoothing step of smoothing the edge detection signal and outputting as a smoothed signal;
An edge signal calculation step for obtaining a change amount of the smoothed signal and outputting an edge signal representing the change amount;
An image change signal calculation step for obtaining a change amount of the image signal and outputting an image change signal representing the change amount;
When the edge signal of the pixel of interest is equal to or greater than a predetermined first threshold value, the target pixel is identified as an edge body portion, the edge signal is less than the first threshold value of the pixel of interest, and the target when the smoothed signal of the pixel is equal to or less than a predetermined second threshold value, the target pixel is identified as a flat portion, the edge signal is less than the first threshold value of the pixel of interest, and the pixel of interest the smoothed signal is greater than said second threshold, and if the image change signal of the pixel of interest is less than a predetermined third threshold value, the target pixel is identified as an edge peripheral portion, wherein The edge signal of the pixel of interest is less than the first threshold, the smoothed signal of the pixel of interest is greater than the second threshold, and the image change signal of the pixel of interest is greater than or equal to the third threshold. If the Program element is to execute a process including the identification identifying as a texture unit to the computer.