JPH027553B2 - - Google Patents

Description

【発明の詳細な説明】 本発明は、画像の動きに対してその方向と大き
さとに相当する画像位置の補正を加えながらフレ
ーム間の相関を利用して画像信号のノイズを低減
する動き補正ノイズ低減装置に関し、特に、その
ノイズ低減にノイズ自体による誤動作が生じない
ようにしたものである。

この種動き補正ノイズ低減装置においては、本
願人の出願に係る特開昭55−37018号公報に記載
のとおりに、フレームメモリを用いてフレーム遅
延させた画像信号を入力画像信号に正帰還して加
算し、画像信号成分をフレーム間相関により強調
するとともに、フレーム間相関のないノイズを平
均化することにより出力画像信号のノイズを低減
するに際し、画像の動きにより画像のフレーム間
相関が失われた部分の画像信号成分がノイズとと
もに低減されるのを、画像の動きを検出した結果
に応じ、画像に動きがある部分については画像信
号成分に位置補正を施してフレーム間相関を回復
させた動き補正予測画像信号を正帰還することに
より、動きのある部分の画像信号についてもノイ
ズのみを低減し得るようにしてあり、適切な範囲
のブロツク毎に画像の動きの有無を検出し、その
検出結果により動き補正予測画像信号と非動き補
正予測画像信号とをブロツク単位で切換えて正帰
還するようになつている。しかしながら、画像の
動きの有無は画像信号のフレーム間における差分
の大小によつて検出しているので、フレーム間に
ノイズによる差分が大きく生じたときには、動き
のない部分の画像信号についても動き補正の操作
を施した動き補正予測画像信号を正帰還して加算
することになるので、却つて画質の劣化を招くと
いう欠点があつた。

本発明の目的は、上述した従来の欠点を除去
し、画素毎に画像の動きの有無の検出結果に応じ
て行なう動き補正予測画像信号と非動き補正予測
画像信号との切換え正帰還に、動き検出の際のノ
イズの影響に基づく誤動作が生じないようにした
動き補正ノイズ低減装置を提供することにある。

すなわち、本発明動き補正ノイズ低減装置は、
入力画像信号と１フレーム前の入力画像信号につ
いて画像の動きの方向と大きさとに応じその画像
の位置に補正を施した予測画像信号とのフレーム
間相関により前記入力画像信号のノイズを低減す
る動き補正ノイズ低減装置において、前記入力画
像信号における順次の画素毎に、それぞれの画素
に近接した画素を含めた複数個の画素について画
像の動きを検出するとともに、画像の動きの方向
と大きさとに応じて位置補正を施した動き補正予
測画像信号および位置補正を施さない非動き補正
予測画像信号をそれぞれ前記入力画像信号と比較
してそれぞれの近似性を判断した結果に基づき、
順次の画素毎に、前記動き補正予測画像信号と前
記非動き補正予測画像信号とを切替えて前記予測
画像信号とするように構成したことを特徴とする
ものである。

以下に図面を参照して実施例につき本発明を詳
細に説明する。

しかして、一般に、動き補正ノイズ低減装置に
おいて、フレーム間の差分に基づいて画像の動き
に対する位置補正を１フレーム前の画像信号に施
して予測した画像信号は現フレームの画像信号に
よく似ているが、従来は、その動きの位置補正を
例えば８ライン×16画素等のブロツク単位で行な
つていたために、同一ブロツク内に動きのある画
素と静止した画素とが含まれている場合には、動
き補正予測画像信号を画素毎に見ると、必ずしも
現フレームの画像信号によく似ているとは限ら
ず、動き補正を施したことにより、静止画素が動
き画素につられて動いてしまう結果、現フレーム
の画像信号との間に新たに差異が生ずることにな
る。したがつて、動き補正予測画像信号と非動き
補正予測画像信号とのうち、現フレーム画像信号
によく近似した方を切換え使用してノイズ低減を
行なうようにすればよいことになるが、その切換
えのアルゴリズムは、一言でいえば、動き補正予
測画像信号と非動き補正予測画像信号とのうち現
フレーム画像信号に近似した方を使用することに
なる。一方、ノイズ低減を施すべき画像信号は、
信号対ノイズ比が低下したノイズの多い画像信号
であり、したがつて、顕著なノイズを画像の動き
であると判断してしまう可能性があり、切換えが
完全には行なわれないことがあり得る。

したがつて、従来のように、動き補正予測画像
信号と非動き補正予測画像信号との切換えを、単
なる画素毎の動きの有無の検出結果に基づいて行
なうことは、十分なノイズ低減効果が得られない
のみならず、切換えによつて新たなノイズ増大を
惹起する可能性さえ生ずることになる。

一方、従来の動き検出は画像のブロツク毎に行
なわれており、各ブロツク内におけるノイズが平
均化されて低減効果が生ずるようしていたのであ
るから、動きの検出自体は正確に行なわれていた
ものとみなすことができる。しかしながら、その
検出結果の切換え信号は、上述した理由により必
ずしも正確ではなかつた。さらに、上述の切換え
を画像のブロツク単位にて行なうと、ブロツク間
に歪みが生ずるので適切ではないという問題もあ
つた。そこで、本発明装置においては、まず、動
き補正予測画像信号と非動き補正予測画像信号と
の切換えを画素単位にて行なうとともに、その切
換えの根拠とする画像の動きの有無の検出を画像
毎に行なうようにし、しかも、その画像毎に行な
う動き検出を、単に順次の画素についてのみ行な
わず、順次の画素毎にそれぞれの周囲の画素をも
含めて総合的に行ない、個々の画素のみについて
動き検出を行なつたときに生ずる前述したような
誤検出乃至誤判断を防ぐようにしている。

例えば、動き検出の直接の対象とする画素を中
心にして、その上下の数ラインに亘り、左右両方
向の数個ずつの画素を動き検出の対象に含めるこ
とにより、直接の対象とする画素が弧立して、そ
の画素のみについての動き検出の結果と周囲の画
素群についての動き検出結果とが喰い違うことが
ないようにして、上述したような誤検出乃至誤判
断の発生を防ぐようにし、さらには、直接の対象
とする画素を最大としてその画素から離隔するに
従い小さくする重み付けを施したうえで総合的に
動きの有無を判断するようにする。かかる総合的
な動きの有無の判断によれば、単に画素毎に行な
つたときに生ずるおそれのある誤判断を防いで正
確な切換え信号を得ることができる。

上述のような動作原理に基づいた本発明による
動き補正ノイズ低減装置の構成例を第１図に示
す。図示の構成においては、入力端子からの現フ
レームの画像信号を減算器１に供給し、後述する
ようにして形成した予測画像信号と現フレーム画
像信号との差をとり、その減算出力信号を係数器
２に導いて１を超えない係数を乗算したうえで加
算器３に供給し、上述した予測画像信号と現フレ
ーム画像信号とを加算した出力画像信号を形成
し、出力端子から取出すとともに、フレームメモ
リ４に供給して記憶させ、予測画像信号の形成に
備える。そのフレームメモリ４から１フレーム期
間遅延して読出した１フレーム前の画像信号は、
動き検出回路５、動き補正回路６、切換え判断回
路７および切換え器８に並列に供給し、後述する
ように切換え判断回路７の判断のもとに、動き補
正予測画像信号と非動き補正予測画像信号とが切
換え器８によつて切換えられ、予測画像信号とし
て減算器１に導かれて、前述したように入力端子
からの現フレーム画像信号との差分を求める。ま
た、動き検出回路５に供給した１フレーム前の画
像信号は、入力端子からの現フレーム画像信号と
比較して画像の動きの有無を検出し、動き検出の
結果として得られる動きペクトルを動き補正回路
６に供給して、フレームメモリ４から供給した１
フレーム前の画像信号に画像の動きの補正を施し
て動き補正予測画像信号を形成し、その動き補正
予測画像信号を、切換え器８を介し、後述する切
換え判断回路７の判断のもとに、上述したと同様
に減算器１に導く。その切換え判断回路７におい
ては、前述した非動き補正予測画像信号とともに
上述の動き補正予測画像信号および入力端子から
の現フレーム画像信号をも受入れて、非動き補正
と動き補正との双方の予測画像信号のいずれが現
フレーム画像信号によく近似しているかを判断
し、その判断結果に基づき、現フレーム画像信号
によく近似している方の予測画像信号を、切換え
器８を介して、上述したように減算器１に供給す
るとともに、加算器３にも供給し、係数器２から
のフレーム間差分信号に重み付けをしたものを予
測画像信号に加算して、所望のノイズ低減出力画
像信号を形成する。

つぎに、第１図の構成により上述のように動作
する本発明動き補正ノイズ低減装置の要部をなす
切換え判断回路７の構成例を第２図に示す。しか
して、切換え判断回路７は、上述したように非動
き補正予測画像信号および動き補正予測画像信号
を現フレーム入力画像信号とそれぞれ比較し、現
フレーム画像信号によく近似した方の予測画像信
号を切換え器８を介して減算器１および加算器３
に供給するようにするため、その判断出力信号が
高論理レベルＨとなつたときには切換え器８を制
御して動き補正予測画像信号の方を減算器１およ
び加算器３に供給するように構成してある。な
お、切換え判断回路７におけるかかる判断のみに
よつては、ノイズにより誤切換えが生ずるおそれ
があるので、第３図および第４図につき後述する
ように、動き検出の直接の対象とする画素を中心
にした画素群における画像の動きの有無を総合的
に判断し、直接の対象とする画素が孤立状態にあ
るときには、その画素についての切換え判断結果
を廃棄し、多数決による判断乃至重み付けを施し
た判断を行なつて、最終的な判断結果に基づいて
切換え信号を出力するようにする。

しかして、第２図示の構成による切換え判断回
路７においては、各入力端子からの非動き補正予
測画像信号および動き補正予測画像信号を減算器
９および１０に供給して現フレーム画像信号との
それぞれの差を求め、それらの差分信号を絶対値
器１１および１２に導いてそれぞれの絶対値を求
め、それら差分の絶対値を振幅比較器１５および
１６にそれぞれ供給して、つぎの条件がすべて満
されたときに動き補正予測画像信号の方をノイズ
低減に用いるべきであると判断して、上述したよ
うに、それらの振幅比較器１５，１６等の出力信
号をすべて供給してあるアンド回路１８の論理積
出力が高論理レベルＨとなるように構成してあ
る。すなわち、 条件(1)：非動き補正予測画像信号と現フレーム画
像信号との差がスイツチレジスタ１３により設
定したレベルより大きいとき。

この条件(1)は、動き補正を施さないと予測画
像信号の現フレーム画像信号との差が大きくな
る動きが画像にあること示したものである。す
なわち、動き補正の信号処理は画像ブロツクの
画素群について総括的に行なわざるを得ないた
めに、静止画素が動き画素の補正に伴つて動
き、現フレーム画像信号との間に新たなずれが
生ずるのを防ぐためのものであり、スイツチレ
ジスタ１３が示すレベルより差分が小さいとき
には動き補正予測画像信号を用いる必要のない
静止画素が動き検出の直接の対象になつている
ことを示したものである。

条件(2)：動き補正予測画像信号と現フレーム画像
信号との差がスイツチレジスタ１４により設定
したレベルより小さいとき。

この条件(2)は、動き補正が適正に行なわれ
て、動き補正を施して予測した画像信号が現フ
レーム画像信号により近似していることを示し
たものである。すなわち、ノイズ低減装置はノ
イズの多い画像信号を取扱うものであり、その
際にノイズが多いとき、動きの検出結果に混入
したノイズが動き補正の結果に強く影響するた
めに、適正な動き補正が正確に行なわれなくな
る可能性が生じ、動き補正に伴つてブロツク状
の歪みが画像に現われることになる。したがつ
て、反対に、適正な動き補正が正確に行なわれ
れば、動き補正予測画像信号と現フレーム画像
信号との差はそれほど大きくなる筈がなく、も
しも、その差が大きくなつたときには、動き補
正が適切に行なわれず、動き補正に誤りがあ
る、として、非動き補正予測画像信号の方をノ
イズ低減に用いるべきことを示している。

条件(3)：非動き補正予測画像信号および動き補正
予測画像信号の双方の現フレーム画像信号との
差を振幅比較器１７により比較して、後者の差
の方が小さいとき。

この条件(3)は文字どおり、現フレーム画像信
号によく近似した方の予測画像信号をノイズ低
減に用いることを示したものである。

以上の３条件は、一言でいえば、動き補正予測
画像信号と非動き補正予測画像信号とのうち、現
フレーム画像信号によく近似した方をノイズ低減
に用いるべきであるが、いずれがよく近似してい
るかの判断に際し、静止画素であると判断した場
合および動き補正に誤りがあつたと判断した場合
には非動き補正予測画像信号の方を用いることを
条件にしたものである。

しかして、上述のような動き補正予測画像信号
と非動き補正予測画像信号との切換え判断に際
し、単一の画素のみを直接の対象として判断すれ
ば、ノイズの影響を受けて判断に誤りが生ずる可
能性のあること、前述したとおりである。したが
つて、直接の判断対象とする画素の周囲の画素群
の状態を参照しながら、直接対象の画素について
判断し得るようにした切換え判断器の構成例を第
３図および第４図にそれぞれ示す。

第３図の構成による切換え判断回路は、直接対
象の画素と同一水平走査線上の画素群のみを参照
して判断を行なうようにしたものであり、入力端
子からの画像信号を１画素遅延器１９_-1〜3に順次
に供給して１画素期間ずつ順次に遅延させ、それ
ら順次に１画素分ずつずれた画像信号を孤立点除
去回路２０に供給して順次の画素信号を相互に比
較し、前後の画素信号と相違した孤立点の画素信
号を除去する。すなわち、孤立点除去回路２０に
おいては、例えば、順次の３画素について、前後
の画素信号がともに高論理レベルＨのときに直接
対象の画素信号が低論理レベルＬのとき、あるい
はその逆の関係にあるときには、その直接対象の
画素信号を孤立したもの、すなわち、ノイズの影
響等により判断の対象とするには不適切な状態に
あるものとして除去する。なお、かかるレベル比
較は、前後の複数個ずつの画素についても、縦続
接続する１画素遅延器１９の個数を増大させて同
様に行なうことができる。しかして、上述のよう
にして孤立点を除去した画像信号を、直接に、お
よび、１画素遅延器２１_-1〜4を順次に介して、多
数決判断回路２２に供給し、それら順次に１画素
分ずつずれた画像信号について多数決により判断
を行なう。すなわち、図示の例においては、順次
の５個の画像信号群について、３個以上の画素信
号が高論理レベルＨであれば多数決判断出力信号
も高論理レベルＨとし、あるいは、３個以上の画
素信号が低論理レベルＬであれば多数決判断出力
信号も低論理レベルＬとするようにして、その多
数決判断出力信号により前述した予測画像信号の
切換えを制御する。

上述した構成の切換え判断回路においては直接
対象とする画素に対して水平方向に近接した画素
群にのみ着目した１次元の判断を行なつたが、一
層適切な判断を正確に行ない得るように２次元の
画素群について判断するようにしたのが第４図示
の構成例であり、入力端子からの画像信号を、途
中に１ラインメモリ25_-1,2を介挿して対象とする
水平走査線を順次に移しながら、直接対象とする
画素信号を取出す１画素遅延器２３の前後に、各
走査線毎に複数個ずつの１画素遅延器２４_-1〜10
を縦続接続し、それらの１画素遅延器から取出し
た上下３画素、左右２画素ずつの計11画素信号群
を判断器群２６_-1〜4に供給して、上述した２次元
の判断を行なつている。なお、各１ラインメモリ
25_-1,2は、厳密には１ラインから４画素分を差引
いた量の遅延を画像信号に与えるようにしてあ
る。また、判断器群２６_-1〜4は、第３図示の構成
例におけると同様の孤立点除去、多数決判断およ
び重み付けを含む判断を行なうものであり、その
判断結果によつて前述した態様の切換え信号を出
力する。かかる判断器は、判断のアルゴリズムが
比較的単純であれば論理回路のみによつて構成す
ることができるが、判断のアルゴリズムが複雑な
場合には、リードオンメモリROMを用いて、例
えば、判断対象の各種の定形パターンに対する判
断結果をあらかじめ記憶させておくなどすれば、
回路構成を複雑化することなく実現することがで
きる。

また、上述のように直接対象とする画素に対す
る判断を周囲の画素群を参照して行なうのは、入
力画像信号のノイズに基づく誤判断の発生を防ぐ
ためであり、入力画像信号の信号対ノイズ比が良
好であれば、周囲の画素群を参照する必要はな
く、寧ろ、不要の画素群をも含めて判断を行なえ
ば、直接対象とする画素に対して的確な判断が行
なえなくなる。という逆効果も生ずる。したがつ
て、第４図示の構成においては、判断のアルゴリ
ズムおよび参照する周囲画素群の範囲が順次に異
なる複数段階の判断器を備えておき、入力画像信
号の信号対ノイズ比の程度に応じ、切換え器２７
を手動もしくは自動的に操作して適切な段階の判
断を行ない得るようにしてある。

以上の説明から明らかなように、本発明によれ
ば、画像信号のフレーム間相関を利用して行なう
ノイズ低減に用いる１フレーム遅延画像信号に動
き補正を施した予測の画像信号、すなわち、動き
補正予測画像信号と、動き補正を施ずに単純に１
フレーム遅延させた予測の画像信号、すなわち、
非動き補正予測画像信号とを、画素毎に画像の動
き有無を判断した結果に基づいて切換え、現フレ
ーム画像信号に近似した方の予測画像信号をノイ
ズ低減に使用し、しかも、従来のように、動きの
ある部分の画像がノイズ低減に伴う残像によりぼ
けたり、そのぼけを防ぐと動き部分のノイズが低
減されないなどの欠点が生じないようにするとと
もに、動きの激しい部分に対する動き補正が不完
全となるがために動き補正予測画像信号を用いて
ノイズ低減を行なつたときに生ずる動き部分のブ
ロツク歪みや静止画素の随伴移動等の新たな画質
劣化が生じないようにするために、上述した画素
毎の判断に際して周囲画素群のの状態を参照し、
総合的な判断の結果に基づき、従来に比して格段
に的確な予測画像信号を切換え使用して、画像信
号のフレーム間相関利用のノイズ低減を極めて適
切に行なうことができる。

【図面の簡単な説明】

第１図は本発明動き補正ノイズ低減装置の構成
例を示すブロツク線図、第２図は本発明装置に用
いる切換え判断器の構成例を示すブロツク線図、
第３図および第４図は同じくその切換え判断器の
他の構成例をそれぞれ示すブロツク線図である。 １，９，１０…減算器、２…係数器、３…加算
器、４…フレームメモリ、５…動き検出回路、６
…動き補正回路、７…切換え判断回路、８，２７
…切換え器、１１，１２…絶対値器、１３，１４
…スイツチレジスタ、１５，１６，１７…振幅比
較器、１８…アンド回路、１９_-1〜3，２１_-1〜4，
２３，２４_-1〜10…１画素遅延器、２０…孤立点
除去回路、２２…多数決判断回路２２、25_-1,2…
１ラインメモリ、２６_-1〜4…判断器。

Claims (1)

1. 【特許請求の範囲】 １ 入力画像信号と１フレーム前の入力画像信号
   について画像の動き方向と大きさとに応じその画
   像の位置に補正を施した予測画像信号とのフレー
   ム間相関により前記入力画像信号のノイズを低減
   する動き補正ノイズ低減装置において、 前記入力画像信号における順次の画素毎に、そ
   れぞれの画素に近接した画素を含めた複数個の画
   素について画像の動きを検出するとともに、 画像の動きの方向と大きさとに応じて位置補正
   を施した動き補正予測画像信号および位置補正を
   施さない非動き補正予測画像信号をそれぞれ前記
   入力画像信号と比較してそれぞれの近似性を判断
   した結果に基づき、順次の画素毎に、前記動き補
   正予測画像信号と前記非動き補正予測画像信号と
   を切替えて前記予測画像信号とするように構成し
   たことを特徴とする動き補正ノイズ低減装置。 ２ 特許請求の範囲第１項記載の動き補正ノイズ
   低減装置において、 前記動き補正予測画像信号と前記非動き補正予
   測画像信号とのうち、前記入力画像信号との差が
   小さい方を、前記非動き補正予測画像信号の前記
   入力画像信号との差が所定値より大きく、かつ、
   前記動き補正予測画像信号の前記入力画像信号と
   の差が所定値より小さいときにのみ、前記予測画
   像信号とするように構成したことを特徴とする動
   き補正ノイズ低減装置。