JP4572606B2 - 画像処理装置 - Google Patents

Description

本発明は、画像信号から動きベクトルを検出し、動きベクトルを用いた画像処理をおこなう、画像処理装置に関する。

例えば、伝送や再生された画像データや音声データには、一般に、時間的に変動するノイズが含まれているが、データに含まれるノイズを除去する方法としては、様々な方法がある。

Ｊ．Ｓ．Ｌｉｍの著書、”Ｔｗｏ Ｄｉｍｅｎｓｉｏｎａｌ Ｓｉｇｎａｌａｎｄ ＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ”（Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、１９９０年、第５６８ページ以降）（非特許文献１を参照）に述べられているように、時間的フィルタ処理は、最も単純にはフレーム平均化によって行われる。フレーム平均化は、フレーム間の映像情報の変化が多くはないものの、ランダムノイズによって汚染されている連続映像フレームの処理に非常に有効である。

公知のように、フレーム平均化には様々な方法がある。フレーム平均化は非常に単純かつ効果的であるが、フレーム間での信号の正確な記録が不可欠である。動画及びＴＶなどの実際のアプリケーションでは、映像はフレーム間で変化し得る。映像の一部が、平行移動や回転、大きさの変化、あるいはこれらの組合せによって移動することがある。ある従来技術のシステムでは、フレーム平均化は任意の映像中の静止部分、すなわちフレーム間で動きが見られない部分に対してのみ適用される。別の従来技術のシステムでは、あるフレームから次のフレームへの間の映像の動きを推定し、フレーム平均化を行うことによってこの動きを補償する試みがなされている。この動き補償型映像復元を行うためには、近似動き軌道に沿って映像フレームが平均化される。

Ｊ．Ｍ．Ｂｏｙｃｅの論文、”ＮｏｉｓｅＲｅｄｕｃｔｉｏｎ ｏｆ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ Ｕｓｉｎｇ Ａｄａｐｔｉｖｅ ＭｏｔｉｏｎＣｏｍｐｅｎｓａｔｅｄ Ｆｒａｍｅ Ａｖｅｒａｇｉｎｇ”、ＩＥＥＥ ＩＣＡＳＳＰ―９２、第ＩＩＩー４６１〜ＩＩＩー４６４ページ（非特許文献２を参照）では、単純な（変位のない）フレーム平均化と、ブロック単位で行われる動き補償型フレーム平均化とを適宜切り替えることによって、映像シーケンスのノイズを低減する方法が提案されている。特に、ノイズ及び動きにそれぞれ起因する２つのブロック間の相対的な相違に基づいて、変位フレーム平均化法（動き補償型平均化）と非変位平均化法（単純フレーム平均化）とを適宜切り替える方法が、開示されている。変位フレーム平均化は動いている物体を含むブロックに対して行われ、フレーム間の相違がノイズのみに起因するブロックでは変位は起こらない。

ノイズ低減を実現する別の方法が、Ｔ．Ｊ．Ｄｅｎｎｉｓの論文、”Ｎｏｎｌｉｎｅａｒ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒ Ｆｏｒ ＴｅｌｅｖｉｓｉｏｎＰｉｃｔｕｒｅ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ”、ＩＥＥＥ Ｐｒｏｃｅｅｄｉｎｇｓ、Ｖｏｌ．１２７、Ｐｔ．Ｇ、Ｎｏ．２、１９８０年４月、第５２ページ以降（非特許文献３を参照）に開示されている。より具体的には、走査線６２５本で５．５ＭＨｚのモノクロームテレビ用の従来のフレーム間再帰ローパスフィルタを改変し、フレームの相違の減衰がその振幅に直ちに依存するようにしている。これにより、フィルタは、ゼロ周波数またはフレーム周波数成分を含まないという条件下において、ストリーキングなどの大領域空間干渉を低減する。しかし、この方法では、映像のうちで動きを含む部分において空間的劣化が起こり得る。

また、このうちの動き補償型平均化法に用いられているような動き検出は、ノイズ除去だけにとどまらず、インタレース−プログレッシブ変換やフレームレート変換をおこなうためにも用いられる。

動き検出は一般に、フレーム間差分をとることによりおこなわれるが、その動きに対してより細かい情報を検出する方法として、動きベクトルを検出する方法がある。

この動きベクトルを検出する方法として、現フレームの処理ブロックと参照フレームの予測ブロックについて、対応する画素間の差分絶対値和（あるいは差分自乗和）を算出し、最小値を取るベクトルを動きベクトルと推定する方法がある。この手順としては、参照フレームの探索領域内のすべてのブロックパターンについて差分絶対値和演算をおこなうフルサーチ手順と、３段階の手順で簡易的に動きベクトルを検出する３ステップサーチ手順などが一般的である。

また、特許文献１などもこの動きベクトルの検出方法について記載されている。
特開平７−１２３４１６号公報 Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、１９９０年、ｐ．５６８− ＩＥＥＥ ＩＣＡＳＳＰ―９２、第ＩＩＩーｐ．４６１〜ＩＩＩーｐ．４６４ ＩＥＥＥ Ｐｒｏｃｅｅｄｉｎｇｓ、Ｖｏｌ．１２７、Ｐｔ．Ｇ、Ｎｏ．２、１９８０年４月、ｐ．５２−

しかしながら、動き検出や動きベクトル検出では、ノイズ成分に対して動きを検出してしまうため、本来の画像には存在しないノイズに対しても動きベクトルを検出してしまうこととなり、ノイズを含む画像においては、全体として動きベクトルの精度が低下してしまうという課題があった。

本発明は、方式の異なる複数のノイズ除去回路によりノイズを除去した複数の画像データを用いて、検出された複数の検出結果を比較し、精度の高い動きベクトルを出力させる方法を提供することを目的とする。

課題を解決するために、本発明の画像処理装置は、方式の異なる複数のノイズ除去回路によりノイズを除去した複数の画像データを用いて、検出された複数の検出結果を比較し、検出された動きベクトルに対して、重み付けをおこなう、もしくは各検出結果に共通する動きベクトルのみを用いることにより、信頼度データを伴った動きベクトル、または精度の高い動きベクトルのみを出力する構成にしたものである。

これにより、ノイズ成分に対して検出された動きベクトルの優先度が下がるもしくは、誤検出された動きベクトルが低減されるため、この動きベクトルを用いた画像処理において、ノイズの弊害が少なくなる。

以上のように、本発明によれば、画像処理における動きベクトルの検出に際して、ノイズによる動きベクトルの誤検出を低減させ、動きベクトルの精度を向上させるという有利な効果が得られる。

本発明の第１の発明は、入力画像信号を処理し、その処理結果として出力映像を出力する画像処理装置において、前記入力画像信号からノイズを除去する方式の異なる複数の手段と、前記ノイズを除去する複数の手段からの画像信号それぞれに対して動きベクトルを検出する手段と、前記動きベクトルを検出する手段から出力された複数の検出結果を比較、選別し、動きベクトルを出力する手段を含むことを特徴としたものであり、ノイズ成分に対して誤検出された結果が低減した、精度の高い動きベクトルを出力する作用を有する。

本発明の第２の発明は、入力画像信号を処理し、その処理結果として出力映像を出力する画像処理装置において、前記入力画像信号からノイズを除去する方式の異なる複数の手段と、前記ノイズを除去する複数の手段からの画像信号それぞれに対して動きベクトルを検出する手段と、前記動きベクトルを検出する手段から出力された複数の検出結果を比較し、いずれの検出結果にも存在するベクトルのみを選別し、動きベクトルを出力する手段を含むことを特徴としたものであり、ノイズ成分に対する誤検出結果を低減させた動きベクトルを出力する作用を有する。

本発明の第３の発明は、入力画像信号を処理し、その処理結果として出力映像を出力する画像処理装置において、前記入力画像信号からノイズを除去する方式の異なる複数の手段と、前記ノイズを除去する複数の手段からの画像信号それぞれに対して動きベクトルを検出する手段と、前記動きベクトルを検出する手段から出力された複数の検出結果を比較し、前記検出結果が持つ動きベクトルに対して、重み付けを行い、前記検出結果に含まれる動きベクトルおよび前記動きベクトルに対する信頼性を表す情報を出力する手段を含むことを特徴としたものであり、信頼度データを伴った動きベクトルが出力されるため、ノイズ成分に対して誤検出された動きベクトルの影響を小さくする作用を有する。

本発明の第４の発明は、前記入力画像信号からノイズを除去する手段として、ハイパスフィルタを用いてノイズ除去をおこなう手段と、フレーム平均化法によってノイズ除去をおこなう手段を持つ画像処理装置である。

本発明の第５の発明は、以上の画像処理装置によって出力される動きベクトルを用いて、フレーム補間をおこなうものであり、ノイズによるフレームの補間ミスを低減させる作用を有する。

また本発明の第６の発明は、以上の画像処理装置によって出力される動きベクトルを用いて、動き補償型ノイズ除去をおこなうものであり、ノイズによる誤検出の少ない動きベクトルを用いて、補償型ノイズ除去が可能になる作用を有する。

（実施の形態１）
以下、本発明の実施の形態例について、図１から図４を用いて説明する。

図１は、本発明の一実施例における画像処理装置の概略構成を示すブロック図である。

図１における画像処理装置は、ハイパスフィルタを用いて、ノイズを除去するハイパスフィルタ式ノイズ除去回路１と、フレーム平均化法を用いて、入力画像信号とフレームメモリ６に蓄えた画像信号とを用いてノイズを除去するフレーム平均型ノイズ除去回路２、動きベクトルを検出する動きベクトル検出回路３および４と、２入力において、どちらの入力にもあるベクトルのみを出力するＡＮＤ回路５と、画像処理の間、画像信号を蓄えておく、フレームメモリ７および８と、画像信号と動きベクトルから補間フレームを生成する補間フレーム生成回路９と、補間フレームを元信号に挿入し、フレームレート変換をおこなう補間フレーム挿入回路１０を備える。

なお、以上の説明では、動きベクトルの共通部分のみをＡＮＤ回路５から出力する例で説明したが、その他のＡＮＤ回路５の部分を動きベクトル比較回路に変えて、おのおので検出された全動きベクトルを出力するとともに、その動きベクトルの信頼度データも出力できる構成についても同様に実施可能である。

本実施例では、入力画像信号Ｓ１をハイパスフィルタ式ノイズ除去回路１によってノイズ除去し、得られた画像信号を、動きベクトル検出回路３を用いて、動きベクトル１１を検出する。一方、入力画像信号Ｓ１をフレーム平均型ノイズ除去回路２によってノイズ除去し、得られた画像信号を動きベクトル検出回路４を用いて、動きベクトル１２を検出する。この動きベクトル１１と動きベクトル１２をＡＮＤ回路５に入力し、両方の動きベクトル情報に共通に存在する動きベクトルのみを選別した、動きベクトル１３を出力させる。この動きベクトル１３および、フレームメモリ７に蓄えられた原画像信号から補間フレーム生成回路９によって補間フレームを生成し、この補間フレームとフレームメモリ８に蓄えられた原画像信号とから補間フレーム挿入回路１０において、フレーム挿入を行い、フレーム変換をおこなう。

本実施例では、図２のように、物体Ａが少し下に移動している画像に、複数のノイズ成分が含まれている、２フレーム分の入力画像信号Ｓ１および、フレームメモリ６に蓄えられているＮ−２フレームの画像信号を入力画像信号Ｓ１として使用した。図３は、図１のハイパスフィルタ式ノイズ除去回路１に図２のような画像信号が入力された場合の画像出力および図１の動きベクトル検出回路３の出力を示したものである。図４は、図１のフレーム平均型ノイズ除去回路２に図２のような画像信号が入力された場合の画像出力および図１の動きベクトル検出回路４の出力を示したものである。

図２のような画像信号を図１の画像処理装置に入力すると、図１のハイパスフィルタ式ノイズ除去回路１において、図２のノイズＢのような輝度変化の少ないノイズがカットされるが、輝度変化の大きいノイズＣのようなノイズは除去されない。そのため、図３に示すような画像信号が出力される。そして、図３のような画像信号から動きベクトルが検出されるために、図３の物体Ａに対する動きベクトルＡおよびノイズＣに対する動きベクトルＣが検出される。

一方、図１のフレーム平均型ノイズ除去回路においては、前後のフレームに共通に存在する信号のみを取り出すために、ノイズＣのような同一の位置に存在しないノイズは除去されるが、ノイズＢのうち２フレーム間で共通する部分は残る。そのため、図４に示すような画像信号が出力される。

図４のＮ−１フレームは、図２のＮ−２フレームとＮ−１フレームから、図４のＮフレームは図２のＮフレームとＮ−１フレームから生成されている。そして、図４のような画像信号から動きベクトルが検出されるために、図４の物体Ａに対する動きベクトルＡおよびノイズＢに対する動きベクトルＢが検出される。その結果、図１のＡＮＤ回路５では、図３の動きベクトルＡのみが、動きベクトル検出結果として出力されるため、図２に見られたノイズ２および３の影響が動きベクトルの検出結果に現れない。

この動きベクトルを用いて、補間フレームを生成するため、補間フレームにはノイズによる補間ミスは見られない。

本発明は、動き検出の精度向上を特徴とするため、フレームレート変換やノイズリダクションなど、動き検出が必要な画像処理をおこなう表示装置として有用である。

本発明の一実施の形態による画像処理装置の概略構成を示すブロック図 同画像処理装置において、物体Ａが少し下に移動している画像に、複数のノイズ成分（Ｂ、Ｃ）が含まれている、２フレーム分の入力画像信号Ｓ１および、フレームメモリ６に蓄えられているＮ−２フレームの画像信号の概略図 図１のハイパスフィルタ式ノイズ除去回路１に図２のような画像信号が入力された場合の画像出力および図１の動きベクトル検出回路３の出力を示した図 図１のフレーム平均型ノイズ除去回路２に図２のような画像信号が入力された場合の画像出力および図１の動きベクトル検出回路４の出力を示した図

符号の説明

１ ハイパスフィルタ式ノイズ除去回路
２ フレーム平均化型ノイズ除去回路
３、４ 動きベクトル検出回路
５ ＡＮＤ回路
６、７、８ フレームメモリ
９ 補間フレーム生成回路
１０ 補間フレーム挿入回路
１１、１２、１３ 動きベクトル

Claims (3)

1. 入力画像信号からハイパスフィルタを用いてノイズを除去するハイパスフィルタ式ノイズ除去手段と、
   前記入力画像信号からフレーム平均化法によってノイズを除去し、前後のフレームに共通に存在する信号のみを取り出すフレーム平均型ノイズ除去手段と、
   前記ハイパスフィルタ式ノイズ除去手段の出力に対して第１の動きベクトルを検出する第１の動きベクトル検出手段と、
   前記フレーム平均型ノイズ除去手段の出力に対して第２の動きベクトルを検出する第２の動きベクトル検出手段と
   前記第１の動きベクトル検出手段の出力である第１の動きベクトルと前記第２の動きベクトル検出手段の出力である第２の動きベクトルに共通に存在する動きベクトルのみを選別した第３の動きベクトルを出力するＡＮＤ手段と、
   を有する画像処理装置。
2. 前記第３の動きベクトルを用いて、フレーム補間をおこなう請求項１記載の画像処理装置。
3. 前記第３の動きベクトルを用いて、動き補償型ノイズ除去をおこなう請求項１記載の画像処理装置。

Images