JP4403330B2 - Motion vector detection device and detection method, and image signal processing device and processing method - Google Patents

Description

ここで、ｎはクラスタップとして切出される画素の数である。また、ｐの値としては、例えばｐ＝２とすることができる。
【００３２】
クラスコードは、係数メモリ３０に供給される。係数メモリ３０はクラス毎に予め決定された予測係数を記憶しており、記憶している予測係数の内から、クラスコードに対応するものを出力する。係数メモリ３０の出力は、推定演算部３１に供給される。一方、領域切出し部２７は、切出した予測タップのデータを推定演算部３１に供給する。推定演算部３１は、領域切出し部２７から供給されるデータと、係数メモリ３０から供給される予測係数とに基づいて以下の式（１）のような演算を行い、その結果として出力画像中の画素値ｙを順次生成する。
【００３３】
ｙ＝ｗ₁×ｘ₁ ＋ｗ₂ ×ｘ₂ ＋‥‥＋ｗ_n ×ｘ_n （３）
ここで、ｘ₁ ，‥‥，ｘ_n が各予測タップの画素データであり、ｗ₁ ，‥‥，ｗ_n が各予測係数である。
【００３４】
次に、この発明の第１の実施形態における学習、すなわち予測係数を決定する処理について図４を参照して説明する。画像情報変換の結果として生成されるべきノイズを有しない画像（以下、教師画像と表記する）がノイズ付加部４０と、正規方程式加算部５０とに供給される。ノイズ付加部４０は、供給される教師画像にノイズ成分を付加する。ノイズ付加部４０の出力がフレームメモリ４１に供給される。フレームメモリ４１には、フレームメモリ４２、４３、４４、４５がシフトレジスタ状に順次接続されている。これにより、フレームメモリ４１〜４５に、時間的に連続する５個のフレームの画像データが記憶される。以下の説明では、フレームメモリ４３に記憶される画像データを注目フレームの画像データとして扱うものとする。また、フレームメモリ４４，４５に記憶される画像データを、それぞれ、注目フレームよりそれぞれ１フレーム、２フレーム前のフレームの画像データとして扱い、また、フレームメモリ４２，４１に記憶される画像データを、それぞれ、注目フレームよりそれぞれ１フレーム、２フレーム後のフレームの画像データとして扱うものとする。
【００３５】
フレームメモリ４１〜４５が記憶しているフレーム内のデータがタップ配置決定部４６に供給される。タップ配置決定部２６は、図３中のタップ配置決定部４６と同様に、供給されるデータに基づいてクラスタップ、予測タップとして切出すべき画素の位置を決定する。クラスタップとして切出すべき画素の位置に係る情報が領域切出し部４８に供給される。また、予測タップとして切出すべき画素の位置に係る情報が領域切出し部４７に供給される。
【００３６】
また、領域切出し部４７、４８には、フレームメモリ４１〜４５が記憶しているフレームが供給される。領域切出し部４８は、供給される各フレームから、タップ配置決定部４６から供給される情報に従う位置の画素をクラスタップとして切出す。一方、領域切出し部４７は、供給される各フレームから、タップ配置決定部４６から供給される情報に従う位置の画素を予測タップとして切出す。時空間内でクラスタップとして切出される画素位置の一例を図９Ａに示す。また、時空間内で予測タップとして切出される画素位置の一例を図９Ｂに示す。
【００３７】
領域切出し部４８は、切出したクラスタップのデータをクラスコード発生部４９に供給する。クラスコード発生部４９は、供給されるデータから、図３中のクラスコード発生部２９と同様な処理を行うことによって時空間内のパターンを抽出し、抽出したパターンに従って分類されるクラスを示すクラスコードを生成する。クラスコードが正規方程式加算部５０に供給される。
【００３８】
一方、領域切出し部４７は、切出した予測タップのデータを正規方程式加算部５０に供給する。正規方程式加算部５０は、供給される教師画像、予測タップのデータおよびクラスコードに基づいて、予測係数を解とする正規方程式を解くために必要なデータを計算する。正規方程式加算部５０の出力は、予測係数決定部５１に供給される。予測係数決定部５１は、所定の演算を行うことにより、クラス毎の予測係数を決定する。決定された予測係数がメモリ５２に供給され、記憶される。メモリ５２に記憶内容が図３中の係数メモリ３０にロードされることにより、上述したような予測推定が可能とされる。
【００３９】
予測係数を決定するための演算について説明する。図４に示したような構成に対し、複数種類の画像データが供給される。これらの画像データの種類数をｍと表記する場合、式（３）から、以下の式（４）が設定される。
【００４０】
ｙ_k ＝ｗ₁ ×ｘ_k1＋ｗ₂ ×ｘ_k2＋‥‥＋ｗ_n ×ｘ_kn （４）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合には、ｗ₁ ，‥‥，ｗ_n は一意に決まらないので、誤差ベクトルｅの要素ｅ_k を以下の式（５）で定義して、式（６）によって定義される誤差ベクトルｅの２乗を最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００４１】
ｅ_k ＝ｙ_k −｛ｗ₁ ×ｘ_k1＋ｗ₂ ×ｘ_k2＋‥‥＋ｗ_n ×ｘ_kn｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００４２】
【数２】

【００４３】
式（６）のｅ² を最小とする予測係数を求めるための実際的な計算方法としては、ｅ² を予測係数ｗ_i (i=1,2‥‥)で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗ_i を決定すれば良い。
【００４４】
【数３】

【００４５】
式（７）から各予測係数ｗ_i を決定する具体的な手順について説明する。式（８）、（９）のようにＸ_ji，Ｙ_i を定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００４６】
【数４】

【００４７】
【数５】

【００４８】
【数６】

【００４９】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算部５０は、供給されるデータに基づいて式（８）、（９）に示すような演算を行うことにより、Ｘ_ji，Ｙ_i （ｉ＝１，２，‥‥，ｎ）をそれぞれ計算する。予測係数決定部５１は、掃き出し法等の一般的な行列解法に従って正規方程式（１０）を解くことにより、予測係数ｗ_i （ｉ＝１，２，‥‥，ｎ）を算出する。
【００５０】
次に、ノイズ付加部４０における、教師画像にノイズを付加する処理について詳細に説明する。ノイズを付加する方法としては、例えば以下の（１）〜（４）ような方法が考えられる。（１）コンピュータシミュレーション的にランダムノイズを発生させ、発生させたノイズを付加する。（２）教師画像に対してＲＦ系を介してノイズを付加する。（３）レベルが一様な画像と、その画像をＲＦ系を介してなる画像との差分をとり、その差分を教師画像に加算する。（４）レベルが一様な画像をＲＦ系を介してなる画像と、該画像についてフレーム加算を行うことによってノイズ除去をした画像との差分をとることによってノイズ成分を抽出し、抽出したノイズ成分を教師画像に付加する。
【００５１】
（２）の方法に係る構成の一例を図５に示す。教師画像がＲＦ変調器６１に供給される。ＲＦ変調器６１は、教師画像にＲＦ変調を施す。ＲＦ変調器６１の出力がアテネータ減衰器６２に供給される。アテネータ減衰器６２は、ＲＦ変調器６１の出力にアテネータ減衰処理を施す。アテネータ減衰器６２の出力はＲＦ復調器６３に供給される。ＲＦ復調器６３は、アテネータ減衰器６２の出力をＲＦ復調することにより、教師画像にノイズが付加された画像を生成する。なお、（２）の方法においては、教師画像と生徒画像との間での画素位置のずれを考慮する必要がある。
【００５２】
（３）の方法に係る構成の一例を図６に示す。レベルが一様な画像がＲＦ変調器７１と減算器７４とに供給される。ＲＦ変調器７１は、供給される画像にＲＦ変調を施す。ＲＦ変調器７１の出力がアテネータ減衰器７２に供給される。アテネータ減衰器７２は、ＲＦ変調器７１の出力にアテネータ減衰処理を施す。アテネータ減衰器７２の出力はＲＦ復調器７３に供給される。ＲＦ復調器７３は、アテネータ減衰器７２の出力をＲＦ復調する。ＲＦ復調器７３の出力が減算器７４に供給される。減算器７４は、レベルが一様な画像とＲＦ復調器７３の出力との差分をとる。減算器７４の出力が加算器７５に供給される。加算器７５には、さらに、教師画像が供給される。加算器７５は、減算器７４の出力を教師画像に加算することにより、教師画像にノイズが付加された画像を生成する。
【００５３】
（４）の方法に係る構成の一例を図７に示す。レベルが一様な画像がＲＦ変調器８１に供給される。ＲＦ変調器８１は、供給される画像にＲＦ変調を施す。ＲＦ変調器８１の出力がアテネータ減衰器８２に供給される。アテネータ減衰器８２は、ＲＦ変調器８１の出力にアテネータ減衰処理を施す。アテネータ減衰器８２の出力はＲＦ復調器８３に供給される。ＲＦ復調器８３は、アテネータ減衰器８２の出力をＲＦ復調する。ＲＦ復調器８３の出力がフレーム加算回路８４と、減算器８５とに供給される。
【００５４】
フレーム加算回路８４は、供給される画像をフレーム加算することによってＲＦ復調器８３の出力からノイズが除去されてなる画像を生成する。フレーム加算回路８４の出力が減算器８５に供給される。減算器８５は、ＲＦ復調器８３の出力とフレーム加算回路８４の出力との差分をとることにより、ＲＦ系におけるノイズ成分を抽出する。減算器８５の出力である、抽出されたノイズ成分は加算器８６に供給される。加算器８６には、さらに、教師画像が供給される。加算器８６は、減算器８５の出力を教師画像に加算することにより、教師画像にノイズが付加された画像を生成する。
【００５５】
次に、タップ配置決定部２６、４６によってなされるタップ位置の決定方法について詳細に説明する。まず、図８を参照して原理的な説明を行う。ここで、水平、垂直方向にそれぞれ、各フレームにおける水平、垂直方向をとり、また、奥に向かう方向に時間をとる。すなわち、時間経過に従ってフレームｆ［−２］，ｆ［−１］，ｆ［０］，ｆ［＋１］，ｆ［＋２］が順に奥に見えるように図示されている。また、この方法を行うためには以下のような前提条件が満たされる必要がある。
【００５６】
（Ｐ）５フレーム程度の微小な時間においては、画像の動きはほぼ等速直線運動である。本願出願人は、実際の画像について（Ｐ）が成り立つことを統計的に確認した。
（Ｑ）ノイズが無い場合、各フレーム間での同じ画素の分散は０であるか、或いは０に極めて近い。
【００５７】
この発明の第１の実施形態では、フレームｆ［−２］〜ｆ［＋２］を通る時空間内での直線を幾つか設定し、各直線上に位置するフレームｆ［−２］〜ｆ［＋２］内の画素値の分散をそれぞれ計算する。そして、分散が最小となる場合の直線を決定し、そのような直線が動きを示すものとする。
【００５８】
より具体的には、図８に示すように、注目フレームｆ［０］上に、注目画素を中心として例えば５×５画素の領域（以下、投票範囲と表記する）を設定し、投票範囲から各画素（以下、投票画素と表記する）を順次取り出し、取り出した投票画素の各々について以下の処理を行う。すなわち、例えばフレームｆ［＋１］上に投票画素に対応する画素位置を中心として探索範囲を設定する。探索範囲は、フレームｆ［＋１］以外のフレーム上に設定しても良い。さらに、投票画素と探索範囲内の各画素（以下、探索画素と表記する）を通る各直線上にあるフレームｆ［−２］〜ｆ［＋２］内の各画素を取り出す。そして、取り出した画素の間で分散を計算し、計算される分散が最小となる時の直線に基づいて動きベクトルを算出する。分散が最小となる時の直線は、投票画素の各々に対応して１個ずつ決まるので、例えば５×５画素の画素領域内から投票画素を設定する場合においては２５個の直線が決められることになる。この内で最も頻度が大きいものを、注目画素の動きを示す直線として最終的に決定する。
【００５９】
処理手順の一例を図１０に示す。ステップＳ１では、注目画素周辺の例えば５×５画素の領域から投票画素を取り出す。ステップＳ２では、例えばｆ［１］上に探索範囲を設定する。ステップＳ３では、探索範囲内の位置を示すパラメータａ，ｂをそれぞれ０と設定する（初期化）。ここで、図８に示すように、ａ，ｂは探索範囲内での例えば水平方向、垂直方向の座標をそれぞれ示すものである。勿論、直行座標系以外座標系を用いて探索範囲内の位置を示すようにしても良い。（ａ，ｂ）が設定される毎に１個の直線が決まる。ステップＳ４では、（ａ，ｂ）によって決まる直線上にある、ｆ［−２］〜ｆ［＋２］内の各画素を取り出す。
【００６０】
ステップＳ５では、ステップＳ４で取り出された画素の間の分散を計算する。ステップＳ６では、ステップＳ５で計算された分散がそれ以前に他の（ａ，ｂ）に対応して計算された分散の内で最小であるか否かを判定する。ステップＳ５で計算された分散がそれ以前に他の（ａ，ｂ）に対応して計算された分散の内で最小であると判定される場合にはステップＳ７に移行し、それ以外の場合にはステップＳ８に移行する。ステップＳ７では、ステップＳ５で計算された分散値およびその時の（ａ，ｂ）を保存し、さらにステップＳ８に移行する。ステップＳ８では、ａ，ｂの値を更新する。
【００６１】
図８に示したようにａ，ｂをとる場合には、ａ，ｂの値の更新は例えばラスタスキャン上に行うことができる。ステップＳ９では、ステップＳ８で更新されたａ，ｂの値がステップＳ２で設定された探索範囲を越えるか否かをチェックする。探索範囲を越える場合には、最早、探索は終了したとの判断の下にステップＳ１０に移行する。それ以外の場合にはステップＳ４に移行し、ステップＳ８で更新されたａ，ｂの値の下での処理を行う。
【００６２】
ステップＳ１０では、ステップＳ７によって保存された、分散を最小とする（ａ，ｂ）を投票する。ここで、投票とは、（ａ，ｂ）の頻度分布を調べる処理である。ステップＳ１１では、ステップＳ１によって投票画素として取り出された全ての画素に対して投票がなされたか否かを判定する。全ての投票画素に対して投票がなされたと判定される場合にはステップＳ１２に移行し、それ以外の場合にはステップＳ１に移行して、投票画素として新たな画素を切出し、切出した画素についての処理を行う。
【００６３】
ステップＳ１２では、投票数の多い、すなわち頻度の大きい直線上にフレーム内におけるクラスタップおよび予測タップが設定される。このようにして、動きを的確に反映したタップ配置が行われる。
【００６４】
ここで、投票によって頻度の大きい（ａ，ｂ）を定めるようにしたので、入力画像におけるノイズに起因して（ａ，ｂ）の値の決定が誤るおそれを回避若しくはその程度を減少させることができる。従って、動きをより精度良く反映したタップ配置が可能とされる。
【００６５】
上述したこの発明の第１の画像は、動画像において動きベクトルを検出し、検出した動きベクトルを参照することによって、ノイズをより的確に除去するようにしたものであるが、この発明は、動きを把握することが必要な各種の画像信号処理を行う場合に適用することができる。
【００６６】
次に、この発明の第２〜第５の実施形態における動きベクトル検出処理の概要について図１１を参照して説明する。図１１では、注目フレームｆ〔０〕を中心として、時間的に先行する２フレームすなわちフレームｆ〔−１〕およびフレームｆ〔−２〕、並びに時間的に後続する２フレームすなわちフレームｆ〔＋１〕およびフレームｆ〔＋２〕上の画素を図示した（各画素を丸で示す）。但し、注目画素は黒丸として図示した。なお、図面が煩雑となるのを避けるため、フレームｆ〔−２〕およびフレームｆ〔＋２〕のみを点線の長方形として図示した。
【００６７】
この発明の第２および第３の実施形態では、注目フレームｆ〔０〕内で注目画素の周囲に投票範囲が設定され、投票範囲内の投票画素の各々について、その画素を通る複数の直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものが推定される。そして、投票、すなわち各投票画素について推定される直線パラメータの内で最も頻度が高いものを注目画素の動きの軌跡として採用する処理が行われることにより、動きベクトルが算出される。
【００６８】
また、この発明の第４および第５の実施形態では、注目フレームｆ〔０〕内で注目画素の周囲に領域（以下、管範囲と表記する）を設定し、当該領域内の各画素を通る互いに平行な複数の直線からなる複数種類の直線群が設定される。以下、このような直線群を管と表記する。従って、管は、平行直線を規定する直線パラメータによって規定されることになる。そして、当該管を構成する各直線上に位置する、フレームｆ〔−２〕〜フレームｆ〔＋２〕内の画素の分散の総和が最小となるような管を判定し、判定した管に係る直線パラメータに基づいて動きベクトルが算出される。
【００６９】
以下、この発明の第２の実施形態について詳細に説明する。図１２に、この発明の第２の実施形態に係る構成の一例を示す。入力画像信号は、フレームメモリ部１０に入力される。フレームメモリ部１０は、シフトレジスタ状に接続された５個のフレームメモリｆｍ〔−２〕、ｆｍ〔−１〕、ｆｍ〔０〕、ｆｍ〔＋１〕、ｆｍ〔＋２〕を備えている。フレームメモリｆｍ〔−２〕、ｆｍ〔−１〕、ｆｍ〔０〕、ｆｍ〔＋１〕、ｆｍ〔＋２〕には、それぞれ、入力画像信号内の連続する５個のフレームｆ〔−２〕、フレームｆ〔−１〕、フレームｆ〔０〕、フレームｆ〔＋１〕、フレームｆ〔＋２〕の画像データが記憶される。
【００７０】
注目フレームｆ〔０〕の画像データがフレームメモリｆｍ〔０〕から投票範囲決定部１１内の領域切出し回路１１２に供給される。また、ｆ〔−２〕、フレームｆ〔−１〕、フレームｆ〔０〕、フレームｆ〔＋１〕、フレームｆ〔＋２〕の画像データがそれぞれ、フレームメモリｆｍ〔−２〕、ｆｍ〔−１〕、ｆｍ〔０〕、ｆｍ〔＋１〕、ｆｍ〔＋２〕から動きベクトル算出部１２内の直線上画素切出し回路１２３に供給される。
【００７１】
投票範囲初期設定回路１１１は初期の切出し領域を設定し、設定した初期の切出し領域を示すパラメータを領域切出し回路１１２に供給する。領域切出し回路１１２は、注目フレームｆ〔０〕の画像データから、供給されるパラメータに従って領域を切出す。
【００７２】
領域切出し回路１１２は、切出した領域内の画素データを水平方向ＤＲ計算回路１１３および垂直方向ＤＲ計算回路１１４に供給する。水平方向ＤＲ計算回路１１３は、供給される画素データを水平方向にスキャン（図１３Ａ参照）することによって、水平方向のＤＲ（ダイナミックレンジ）を計算する。水平方向ＤＲ計算回路１１３は、さらに、計算した水平方向のＤＲの内で最大のものを決定して、水平方向のＤＲの最大値を投票範囲決定回路１１６に供給する。
【００７３】
また、垂直方向ＤＲ計算回路１１４は、供給される画素データを垂直方向にスキャン（図１３Ｂ参照）することによって垂直方向のＤＲを計算する。垂直方向ＤＲ計算回路１１４は、さらに、計算した垂直方向のＤＲの内で最大のものを決定して、垂直方向のＤＲの最大値を投票範囲決定回路１１６に供給する。
【００７４】
投票範囲決定回路１１６は、供給される水平方向および垂直方向のＤＲの最大値が共に予め設定されたしきい値を越える際に、その時に切出されている領域を動きベクトル検出のための演算処理に使用する投票範囲として最終的に決定する。
【００７５】
一方、供給される水平方向および垂直方向のＤＲの最大値の内の少なくとも一方が予め設定されたしきい値以下となる場合には、投票範囲決定回路１１６は、その時に切出されている領域を示すパラメータを投票範囲更新回路１１５に供給する。投票範囲更新回路１１５は、供給されるパラメータに基づいて新たな領域を設定し、設定した領域を示すパラメータを領域切出し回路１１２に供給する。領域切出し回路１１２は、供給されるパラメータに基づいて、注目フレームｆ〔０〕の画像データから新たな領域を切出す。
【００７６】
上述したような構成および動作により、水平方向および垂直方向のＤＲの最大値が共に予め設定されたしきい値を越えるという条件を満たすまで、投票範囲の候補として切出される領域を初期設定に係る領域から段階的に拡大する処理が行われる。これにより、動きベクトル検出のための演算処理に使用する投票範囲が最終的に決定される。例えば図１４Ａに示すように、初期に切出される領域が水平および垂直方向にそれぞれ、０番目〜１１番目までの画素からなる矩形の領域とされ、その後、水平方向および垂直方向のＤＲの最大値が共にしきい値を越えるという条件が満たされるまで、水平および垂直方向にそれぞれ０番目〜２２番目、０番目〜３３番目、…の画素を含む矩形の領域が順次切出される。
【００７７】
ここで、初期の切出し領域の大きさ、新たな領域を切出す際の領域の拡大の割合、ＤＲについてのしきい値等は任意に設定することができる。また、新たな領域として、それ以前に切出された領域を拡大したもの以外にも、それ以前に切出された領域を回転或いは縮小したものを用いても良い。
【００７８】
また、投票範囲として切出される領域における画素の密度を変化させるようにしても良い。例えば図１４Ｂに示すように，黒で示した画素を切出しの対象から除外することにより、画素を例えば１個おきに切出すようにすることにより、投票範囲として切出される領域が拡大しても領域内の画素の総数が一定となるようにしても良い。
【００７９】
また、上述の説明では、切出される領域の水平方向および垂直方向のＤＲについてしきい値判定を行うことによって投票範囲を決定するものとしたが、切出される領域全体のＤＲについてしきい値判定を行うことによって投票範囲を決定するようにしても良い。また、切出される領域のアクティビティを表現する量として当該領域全体の分散等を計算し、計算結果に応じて投票範囲を決定するようにしても良い。
【００８０】
投票範囲決定部１１によって決定された投票範囲を示すパラメータが投票範囲決定回路１１６から動きベクトル算出部１２内の投票画素初期設定回路１２１に供給される。投票画素初期設定回路１２１は、投票画素を初期設定し、初期設定に係る投票画素位置を示すパラメータを直線パラメータ初期設定回路１２２に供給する。直線パラメータ初期設定回路１２２は、直線パラメータを初期設定する。初期設定された直線パラメータが画素切出し回路１２３に供給される。
【００８１】
図１５からわかるように、特定の投票画素と、当該投票画素に対する相対的な空間画素位置が（ａ，ｂ）であるような例えばフレームｆ〔１〕内の画素とを通る直線は、（ｘ，ｙ，ｔ）空間内で一意に特定される。従って、投票画素が設定された状況では、直線パラメータは、（ａ，ｂ）として表現することができる。実際の処理においては、例えばフレームｆ〔１〕内に探索範囲を設定し、探索範囲内の探索画素位置によって直線パラメータが表現される。なお、直線パラメータが同一で投票画素が異なる２直線は、互いに平行となる。
【００８２】
画素切出し回路１２３は、フレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から、各フレームの画像データを供給される。画素切出し回路１２３は、供給される画像データから、直線パラメータ（ａ，ｂ）によって規定される直線上に位置する各フレーム内の画素データを切出す。切出された画素データは、分散演算および直線パラメータ保持回路１２４に供給される。
【００８３】
分散演算および直線パラメータ保持回路１２４は、供給される画素データに基づいて５個の画素の分散を計算する処理、計算値を比較する処理、並びに、比較結果に応じて計算値およびそれに対応する直線パラメータを保持する処理を行う。そして、分散演算および直線パラメータ保持回路１２４は、最終的に保持された直線パラメータを直線パラメータ投票回路１２５に供給する。また、分散演算および直線パラメータ保持回路１２４は、分散値の計算が完了した直線パラメータについての情報を直線パラメータ更新回路１２６に供給する。直線パラメータ更新回路１２６は、供給される情報に基づいて、画素切出し回路１２３による画素切出しに未だ用いられていない直線を示す直線パラメータを設定し、設定した直線パラメータを画素切出し回路１２３に供給する。
【００８４】
直線パラメータ初期設定回路１２２、画素切出し回路１２３、分散演算および直線パラメータ保持回路１２４、直線パラメータ更新回路１２６の動作の結果として以下のような処理がなされる。探索範囲内の画素位置（ａ，ｂ）として表現される直線パラメータによって特定される直線上に位置する各フレーム内の画素の分散値が初期設定に係る直線パラメータに対応するものから順に計算される。そして、分散値が最小となる際の直線パラメータが直線パラメータ投票回路１２５に供給される。
【００８５】
直線パラメータ投票回路１２５は、直線パラメータを供給される毎に、供給される直線パラメータを示す情報を投票画素更新回路１２７に供給する。かかる情報が供給される毎に、投票画素更新回路１２７が投票画素の更新を行い、更新された投票画素を示す情報を直線パラメータ初期設定回路１２２に供給する。かかる情報に基づいて直線パラメータ初期設定回路１２２、画素切出し回路１２３、分散演算および直線パラメータ保持回路１２４、直線パラメータ更新回路１２６による、上述したような処理が行われる。このようにして、投票範囲内の各画素について、当該投票画素を通る直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものに係る直線パラメータが順次決定される。
【００８６】
上述したような処理により、投票範囲内の全ての投票画素に対応して直線パラメータが供給されると、直線パラメータ投票回路１２５は、供給された直線パラメータについて投票すなわち頻度を検出する処理を行う。これにより、最も頻度の大きい直線パラメータが注目画素の動きベクトルの軌跡として採用される。採用された直線パラメータを（ａ₀ ，ｂ₀ ）とすると、フレームｆ〔−２〕、〔−１〕、ｆ〔０〕、ｆ〔＋１〕、ｆ〔＋２〕における注目画素の動きベクトルは、それぞれ、（−２×ａ₀ ，−２×ｂ₀ ），（−ａ₀ ，−ｂ₀ ），（０，０），（ａ₀ ，ｂ₀ ），（２×ａ₀ ，２×ｂ₀ ）と演算される（図１６参照）。
【００８７】
上述したこの発明の第２の実施形態は、投票範囲の候補として切出される領域についてＤＲ等を順次計算し、計算値がしきい値以上となる際の領域を投票範囲として採用すると共に、各投票画素について、当該投票画素を通る直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものに係る直線パラメータを順次決定し、決定した直線パラメータの内で頻度が最大となるものに基づいて動きベクトルを計算するようにしたものである。
【００８８】
これに対して、投票範囲の候補として切出される領域の各々についてＤＲ等を並列的に算出し、算出値を比較して、比較結果に基づいて投票範囲を決定するようにしても良い。
【００８９】
また、各投票画素について、当該投票画素を通る直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものに係る直線パラメータを並列的に決定し、決定した直線パラメータの内で頻度が最大となるものに基づいて動きベクトルを計算するようにしても良い。
【００９０】
このような観点から、以下に説明するこの発明の第３の実施形態が可能である。この発明の第３の実施形態に係る構成の一例を図１７に示す。入力画像信号はフレームメモリ部１０に供給される。フレームメモリ部１０については図１２を参照して上述したので、重複する説明を省略する。フレームメモリｆｍ〔０〕から、注目フレームｆ〔０〕の画像データが投票範囲決定部２１内の領域切出し回路２１２₁ ，２１２₂ ，‥‥２１２₁₉に供給される。また、フレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から、ｆ〔−２〕〜〔＋２〕の画像データが動きベクトル算出部２２内の直線パラメータ推定回路２２１₁ ，２２１₂ ，‥‥，２２１₁₄₄ に供給される。
【００９１】
領域切出し回路２１２₁ ，２１２₂ ，‥‥，２１２₁₉は、注目フレームｆ〔０〕の画像データから、それぞれ水平および垂直方向に０番目〜１１番目、０番目〜２２番目、‥‥、０番目〜２０９（＝１１×１９）番目までの画素を含む矩形の領域を切出す。領域切出し回路２１２₁ ，２１２₂ ，‥‥２１２₁₉によって切出される画像データは、それぞれ、水平ＤＲ算出回路２１３₁ ，２１３₂ ，‥‥，２１３₁₉および垂直ＤＲ算出回路２１４₁ ，２１４₂ ，‥‥，２１４₁₉に供給される。
【００９２】
水平ＤＲ算出回路２１３₁ ，２１３₂ ，‥‥，２１３₁₉および垂直ＤＲ算出回路２１４₁ ，２１４₂ ，‥‥，２１４₁₉は、供給される画像データに基づいて、水平方向および垂直方向のＤＲを算出し、算出値を比較回路２１５に供給する。比較回路２１５は、供給される各算出値を比較し、比較結果に応じて投票範囲を決定する。
【００９３】
ここで、投票範囲の候補として切出される領域の大きさ、ＤＲについてのしきい値等は任意に設定することができる。また、図１４Ｂを参照して上述したように、切出される領域における画素の密度を変化させるようにしても良い。
【００９４】
また、上述の説明では、切出される領域の水平方向および垂直方向のＤＲに基づいて投票範囲を決定するものとしたが、切出される領域全体のＤＲや、切出される領域全体の分散等を計算し、計算結果に応じて投票範囲を決定するようにしても良い。
【００９５】
以下の説明は、水平および垂直方向に０番目〜１１番目までの画素を含む領域が投票範囲として採用される場合を例として行う。この場合には、投票画素は、（０，０），（０，１），‥‥，（１１，１１）の１２×１２＝１４４個となる。これらの投票画素の各々に対応して、直線パラメータ推定回路２２１₁ ，２２１₂ ，‥‥，２２１₁₄₄ が動きベクトル算出部２２内に設けられている。投票範囲決定部２１によって決定される投票範囲を示すパラメータは、動きベクトル算出部２２内の１４４個の直線パラメータ推定回路２２１₁ ，２２１₂ ，‥‥，２２１₁₄₄ に供給される。
【００９６】
直線パラメータ推定回路２２１₁ ，２２１₂ ，‥‥，２２１₁₄₄ は、投票範囲内の各画素に対して、当該画素を通る直線の内でその直線上にあるフレームｆ〔−２〕〜フレームｆ〔＋２〕内の画素の分散が最小となるものに係る直線パラメータを推定する。推定される直線パラメータは、投票回路２２２に供給される。
【００９７】
投票回路２２２は、供給される直線パラメータについて頻度を計数し、頻度データを生成する。頻度データは、比較回路２２３に供給される。比較回路２２３は、供給される頻度データに基づいて頻度が最大となる直線パラメータを特定する。動きベクトル演算回路２２４は、比較回路２２３によって特定される直線パラメータに基づいて動きベクトルを演算する。
【００９８】
直線パラメータ推定回路２２１₁ ，２２１₂ ，‥‥，２２１₁₄₄ の構成の一例を図１８に示す。画素読込み回路３０１，３０２，３０３，３０４，３０５の各々には、投票範囲決定部２１から供給される投票範囲に関連する画素位置情報が供給される。画素読込み回路３０１〜３０５の各々は、供給される画素位置情報に対応する画素データをそれぞれ、フレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から読み出す。この一例では、探索画素は、投票画素位置に対する相対画素位置が（−８，−８），（−７，−８），‥‥，（８，８）であるような２８９個の画素とされている。
【００９９】
画素抽出回路３０６₁ ，３０６₂ ，‥‥，３０６₂₈₉ は、それぞれ、探索画素位置（−８，−８），（−７，−８），‥‥，（８，８）によって特定される直線上に位置する各フレーム内の画素を抽出し、抽出した画素データを分散計算回路３０７₁ ，３０７₂ ，‥‥，３０７₂₈₉ にそれぞれ供給する。
【０１００】
分散計算回路３０７₁ ，３０７₂ ，‥‥，３０７₂₈₉ は、供給される画素データに基づいて分散を計算し、計算値を分散比較回路３０８に供給する。分散比較回路３０８は、供給される分散の計算値を比較することによって計算値が最小となる際の直線パラメータを特定し、特定した直線パラメータを出力する。
【０１０１】
上述の説明は、水平および垂直方向のそれぞれ０番目〜１１番目の画素を含む領域が投票範囲として採用される場合を例とするものである。これに対して、より多くの画素を含む領域が投票範囲として採用される場合にも対応できるように、より多くの直線パラメータ推定回路を設けるようにしても良い。または、直線パラメータ推定回路を、時分割で動作するように制御しても良い。
【０１０２】
また、例えば図１８を参照して上述した一例は、縦、横にそれぞれ１７個ずつ、全部で２８９個の画素を含む領域を探索範囲として用いるようにしたものであるが、探索範囲はこれに限定されるものではなく、任意に設定できる。
【０１０３】
この発明の第２および第３の実施形態は、投票範囲内の各画素について、当該画素を通る直線の内で当該直線上に位置する各フレーム内の画素を抽出し、抽出した画素データの分散が最小となる際の直線に係る直線パラメータを投票に供するようにしたものである。これに対して、抽出した画素データの平均値と各画素値との間の差分の絶対値の総和を計算し、計算値に基づいて投票に供する直線パラメータを決定するようにしても良い。また、抽出した画素データについての隣接画素間の差分絶対値の総和に基づいて投票に供する直線パラメータを決定するようにしても良い。
【０１０４】
また、探索範囲内の画素の内の一部を探索画素として扱う処理によって直線パラメータを粗く推定し、その推定結果を利用して推定された点周辺を詳細に探索するような、階層的探索を行っても良い。このような処理について図１９および図２０を参照して説明する。図１９に示す一例では、探索範囲が水平および垂直方向に１７個（計２８９個）の画素を含んでいる。粗い推定を行う場合には斜線を付して示す３画素おきの画素（計２５個の画素）を探索画素として扱う。すなわち２５個の画素の各々と投票画素とを通る直線上にある、例えば５個のフレーム内の画素の分散を計算し、計算値が最小となる際の探索画素を粗い推定の結果として選択する。
【０１０５】
そして、粗い推定の結果として選択された画素を中心とする水平および垂直方向に５個（計２５個）の画素を含む範囲（影を付して示す）において全ての画素を探索画素として扱う。すなわち、各画素と投票画素とを通る直線上にある、例えば５個のフレーム内の画素の分散を計算し、計算値が最小となる際の探索画素の画素位置に基づいて投票に供する直線パラメータを最終的に決定する。
【０１０６】
また、図２０に示す他の例では、探索範囲が水平および垂直方向に１７個（計２８９個）の画素を含んでいる。粗い推定を行う場合には斜線を付して示す２画素おきの画素（計２５個の画素）を探索画素として扱う。そして、粗い推定の結果として選択された画素を中心とする水平および垂直方向に５個（計２５個）の画素を含む範囲（影を付して示す）において全ての画素を探索画素として扱うことにより、投票に供する直線パラメータを最終的に決定する。
【０１０７】
図１９および図２０を参照して上述したような階層的探索処理を行う場合には、探索範囲内の例えば２５個の画素位置に対応して分散等の計算や計算値の比較を行う構成により、投票に供する直線パラメータを選択することが可能とされる。このため、分散等の計算に係る構成を小規模化することができる。
【０１０８】
次に、この発明の第４の実施形態について説明する。上述したように、この発明の第４の実施形態は、動画像における動きを直線の代わりに管と見たてて動きベクトルを検出するようにしたものである。すなわち、この発明の第４の実施形態では、時空間内の直線の代わりにそれを空間方向の拡大してなる面の分散を演算することにより、ノイズの影響を避け、動きベクトルを正確に算出するようになされている。
【０１０９】
この発明の第４の実施形態の構成の一例を図２１に示す。入力画像はフレームメモリ部１０に入力される。フレームメモリ部１０については、図１２を参照して上述したので重複する説明を省略する。フレームメモリｆｍ〔０〕の記憶内容である、注目フレームｆ〔０〕の画像データが管範囲決定部４１内の管切出し回路４１２に供給される。また、フレームｆ〔−２〕〜ｆ〔＋２〕の画像データがフレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から、動きベクトル算出部４２内の直線上画素切出し回路４２３に供給される。
【０１１０】
管範囲初期設定回路４１１が初期の管範囲を設定し、設定した初期の管範囲を示すパラメータを管切出し回路４１２に供給する。管切出し回路４１２は、注目フレームｆ〔０〕の画像データから、供給されるパラメータに従って領域を切出す。
【０１１１】
切出された領域内の画素データが水平方向ＤＲ計算回路４１３および垂直方向ＤＲ計算回路４１４に供給される。水平方向ＤＲ計算回路４１３は、供給される画素データを水平方向にスキャンすることによって、水平方向のＤＲを順次計算する。水平方向ＤＲ計算回路４１３は、さらに、計算した水平方向のＤＲの内で最大のものを決定して、決定した水平方向のＤＲを管範囲決定回路４１６に供給する。
【０１１２】
また、垂直方向ＤＲ計算回路４１４は、供給される画素データを垂直方向にスキャンすることによって垂直方向のＤＲを順次計算する。垂直方向ＤＲ計算回路４１４は、さらに、計算した垂直方向のＤＲの内で最大のものを決定して、決定した垂直方向のＤＲを管範囲決定回路４１６に供給する。管範囲決定回路４１６は、供給される水平および垂直方向のＤＲが共に予め設定されたしきい値を越える際に、その時の管範囲を動きベクトルの算出処理に係る管範囲として最終的に決定する。
【０１１３】
一方、供給される水平および垂直方向のＤＲの内の少なくとも一方が予め設定されたしきい値以下となる場合には、管範囲決定回路４１６は、その時の管範囲を示すパラメータを管範囲更新回路４１５に供給する。管範囲更新回路４１５は、供給されるパラメータに基づいて、新たな領域を切出すためのパラメータを生成し、生成したパラメータを管切出し回路４１２に供給する。管切出し回路４１２は、注目フレームｆ〔０〕の画像データから、新たな設定に係る領域を切出す。
【０１１４】
上述したような構成および動作により、図１４Ａを参照して上述したように、水平方向および垂直方向のＤＲの最大値が共に予め設定されたしきい値を越えるという条件を満たすまで、管範囲の候補として切出される領域を初期設定に係る領域から段階的に拡大する処理が行われ、その結果として、動きベクトル検出のための演算処理に使用する管範囲が最終的に決定される。
【０１１５】
ここで、初期の切出し領域の大きさ、新たな領域を切出す際の領域の拡大の割合、ＤＲについてのしきい値等は任意に設定することができる。また、管範囲の候補として切出される領域の大きさ、ＤＲについてのしきい値等は任意に設定することができる。また、新たな領域として、それ以前に切出された領域を拡大したもの以外にも、切出された領域を回転或いは縮小したものを用いても良い。また、図１４Ｂを参照して上述したように、管範囲の候補として切出される領域における画素の密度を変化させるようにしても良い。
【０１１６】
また、上述の説明では、切出される領域の水平方向および垂直方向のＤＲに基づいて管範囲を決定するものとしたが、切出される領域全体のＤＲや、切出される領域全体の分散等を計算し、計算結果に応じて管範囲を決定するようにしても良い。
【０１１７】
管範囲決定部４１によって決定された管範囲を示すパラメータは、管範囲決定回路４１６から動きベクトル算出部４２内の直線パラメータ初期設定回路４２１に供給される。直線パラメータ初期設定回路４２１は直線パラメータを初期設定し、初期設定した直線パラメータを平行直線初期設定回路４２２に供給する。直線パラメータに対応して、管範囲内の各画素を通るｘ−ｙ−ｔ空間内の互いに平行な直線の集合体としての管が規定される。平行直線初期設定回路４２２は、管を構成する互いに平行な直線の内の１個を初期設定設置直線として指定するパラメータを生成し、生成したパラメータを画素切出し回路４２３に供給する。
【０１１８】
画素切出し回路４２３には、さらに、フレームｆ〔−２〕〜ｆ〔＋２〕から、各フレームの画像データが供給される。画素切出し回路４２３は、初期設置直線上に位置する各フレーム内の画素を切出す。切出された画素に係る画素データは、分散演算および加算回路４２４に供給される。
【０１１９】
分散演算および加算回路４２４は、供給される画素データに基づいて分散を計算する処理、計算値を加算して分散の総和を計算する処理を行う。また、分散演算および加算回路４２４は、画素切出し回路４２３から供給される画像データに基づく分散の計算および加算が完了する毎に、その旨を示す情報を平行直線更新回路４２６に供給する。
【０１２０】
平行直線更新回路４２６は、管を構成する平行直線の内で画素切出し回路４２３による画素切出しに未だ用いられていないものを示すパラメータを生成し、生成したパラメータを画素切出し回路４２３に供給する。画素切出し回路４２３は、供給されるパラメータに対応する直線について、当該直線上に位置する各フレーム内の画素に係る画素データを切出し、切出した画素データを分散演算および加算回路４２４に供給する。
【０１２１】
直線パラメータ初期設定回路４２１、平行直線初期設定回路４２２、画素切出し回路４２３、分散演算および加算回路４２４、平行直線更新回路４２６の動作の結果として以下のような処理がなされる。すなわち、管内の各直線上に位置する各フレーム内の画素の分散が初期設定に係る直線から順に計算され、計算値が加算されて分散の総和が計算される。そして、分散の総和が分散総和判定および直線パラメータ保持回路４２５に供給される。
【０１２２】
分散総和判定および直線パラメータ保持回路４２５は、分散の総和を供給される毎に、その旨を示す情報を直線パラメータ更新回路４２７に供給する。また、分散総和判定および直線パラメータ保持回路４２５は、供給される分散の総和に基づく判定を行い、判定結果に基づいて直線パラメータを保持する。
【０１２３】
直線パラメータ更新回路４２７は、供給される情報に基づいて、未だ分散の総和の計算および分散の総和に基づく判定処理の対象とされていない管に係る直線パラメータを新たに設定し、設定した直線パラメータを平行直線初期設定回路４２２に供給する。かかる直線パラメータに基づいて画素切出し回路４２３、分散演算および加算回路４２４、平行直線更新回路４２６による、上述したような処理が行われる。このようにして、直線パラメータが設定されることによって規定される管の各々について、当該管内の直線上に位置する各フレーム内の画素の分散の総和が順次計算され、計算される分散の総和に基づく判定がなされる。
【０１２４】
分散総和判定および直線パラメータ保持回路４２５は、例えば以下のような処理を行うことにより、分散の総和に基づく判定を行う。まず、分散演算および加算回路４２４から最初に供給される、初期設定された直線パラメータに係る管についての分散の総和を保持すると共に、初期設定された直線パラメータを保持する。
【０１２５】
次に、分散演算および加算回路４２４からさらに供給される、直線パラメータ更新回路４２７によって２番目に設定される直線パラメータに係る管についての分散の総和を、初期設定された直線パラメータによって規定される管についての分散の総和と比較し、小さい方の分散の総和を保持すると共に、小さい方の分散の総和に係る直線パラメータを保持する。
【０１２６】
その後、分散演算および加算回路４２４からさらに供給される、直線パラメータ更新回路４２７によって３番目、４番目‥‥に設定される直線パラメータに係る管についての分散の総和を、その時点で保持されている分散の総和と比較し、小さい方の分散の総和を保持すると共に、当該小さい方の分散の総和に係る直線パラメータを保持する。
【０１２７】
このような処理を平行直線初期設定回路４２２およびに直線パラメータ更新回路４２７によって設定される直線パラメータによって規定される管の各々について行うことにより、最終的に保持される分散の総和として最小の分散が判定される。そして、最小の分散の総和に係る直線パラメータが動きベクトル演算回路４２８に出力される。動きベクトル演算回路４２８は、供給される直線パラメータに基づいて動きベクトルを演算する。
【０１２８】
上述したこの発明の第４の実施形態は、管範囲の候補として切出される領域についてＤＲ等を順次計算し、計算値がしきい値を越える際の領域を管範囲として採用すると共に、直線パラメータによって規定される管における平行直線の各々の上に位置する各フレーム内の画素の分散の総和を順次計算し、計算値が最小となるような管を決定し、決定した管に係る直線パラメータに基づいて動きベクトルを算出するようにしたものである。
【０１２９】
これに対して、管範囲の候補として切出される領域の各々についてＤＲ等を並列的に計算し、各計算値を比較して、比較結果に基づいて管範囲を決定するようにしても良い。
【０１３０】
また、直線パラメータによって規定される管における平行直線の各々の上に位置する各フレーム上の画素の分散の総和を並列的に計算し、計算値を比較することにより、分散の総和が最小となるような管を決定し、決定した管に係る直線パラメータに基づいて動きベクトルを算出するようにても良い。
【０１３１】
このような観点から、以下に説明するこの発明の第５の実施形態が可能である。この発明の第５の実施形態の構成の一例を図２２に示す。入力画像はフレームメモリ部１０に入力される。フレームメモリ部１０については、図１２を参照して上述したので、重複する説明を省略する。注目フレームｆ〔０〕の画像データがフレームメモリｆｍ〔０〕から管範囲決定部５１内の領域切出し回路５１１₁ ，５１１₂ ，‥‥，５１１₁₉に供給される。また、ｆ〔−２〕〜ｆ〔＋２〕の画像データがフレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から、動きベクトル算出部５２内の直線パラメータ推定回路５２１₁ ，５２１₂ ，‥‥，５２１₁₄₄ に供給される。
【０１３２】
領域切出し回路５１１₁ ，５１１₂ ，‥‥，５１１₁₉は、供給される注目フレームｆ〔０〕の画像データから、それぞれ水平および垂直方向に０番目から１１番目、０番目から２２番目、‥‥、０番目から２０９（＝１１×１９）番目の画素を含む矩形の領域を切出す。切出された領域の画像データは、それぞれ、水平ＤＲ算出回路５１３₁ ，５１３₂ ，‥‥，５１３₁₉および垂直ＤＲ算出回路５１４₁ ，５１４₂ ，‥‥，５１４₁₉に供給される。
【０１３３】
水平ＤＲ計算回路５１３₁ 〜５１３₁₉および垂直ＤＲ計算回路５１４₁〜５１４₁₉ は、供給される画像データに基づいて、水平方向および垂直方向のＤＲを計算し、計算値を比較回路５１５に供給する。比較回路５１５は、供給される各計算値を比較することにより、管範囲を決定する。
【０１３４】
ここで、初期の切出し領域の大きさ、新たな領域を切出す際の領域の拡大の割合、ＤＲについてのしきい値等は任意に設定することができる。また、新たな領域として、それ以前に切出された領域を拡大したもの以外にも、それ以前に切出された領域を回転或いは縮小したものを用いても良い。また、図１４Ｂを参照して上述したように、切出される領域における画素の密度を変化させるようにしても良い。
【０１３５】
また、上述の説明では、切出される領域の水平方向および垂直方向のＤＲについてしきい値判定を行うことによって管範囲を決定するものとしたが、切出される領域全体のＤＲについてしきい値判定を行うことによって管範囲を決定するようにしても良い。また、切出される領域のアクティビティを表現する量として当該領域全体の分散等を計算し、計算結果に応じて管範囲を決定するようにしても良い。
【０１３６】
管範囲決定部５１によって決定された範囲を示すパラメータは、動きベクトル算出部５２内の画素読込み回路５２１〜５２５に供給される。画素読み込み回路５２１〜５２５の各々は、供給される画素位置情報に対応する画像データを、フレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から読み出し、保持する。
【０１３７】
以下の説明は、水平および垂直方向に０番目〜１１番目までの画素を含む領域、すなわち、１２×１２＝１４４個の画素を含む領域が管範囲として採用される場合を例として行う。上述したように、直線パラメータは、管範囲内の画素に対する探索範囲内の画素の相対画素位置として表現される。この一例では、直線パラメータは、（−８，−８），（−７，−８），‥‥，（＋８，＋８）の１７×１７＝２８９個とされている。
【０１３８】
これらの直線パラメータの各々に対応して、画素抽出回路５２６₁ ，５２６₂ ，‥‥，５２６₂₈₉ が設けられる。画素抽出回路５２６₁ ，５２６₂ ，‥‥，５２６₂₈₉ は、各直線パラメータに係る管内の平行直線（この一例では１個の直線パラメータについて１４４本）上に位置する各フレーム内の画素データを、画素読込み回路５２０１〜５２０５に保持されているデータから抽出する。抽出される画素データは、分散総和計算回路５２７₁ ，５２７₂ ，‥‥，５２７₂₈₉ にそれぞれ供給される。
【０１３９】
分散総和計算回路５２７₁ 〜５２７₂₈₉ は、供給される画素データに基づいて分散の総和を計算し、計算した分散の総和を分散総和比較回路５２８に供給する。分散総和比較回路５２８は、供給される分散の総和を比較することによって分散の総和が最小となる際の直線パラメータを特定し、特定した直線パラメータを出力する。動きベクトル演算回路５２９は、供給される直線パラメータを動きベクトル演算回路５２９に供給する。動きベクトル演算回路５２９は、供給される直線パラメータに基づいて動きベクトルを演算する。
【０１４０】
分散総和計算回路５２７₁ 〜５２７₂₈₉ の構成の一例を図２３に示す。かかる一例は、管範囲が水平および垂直方向に０番目〜１１番目までの画素を含む場合を前提とするものである。分散計算回路６１₁ ，６１₂ ，‥‥６１₁₄₄ は、画素読込み回路５２１〜５２５に保持されているデータから、直線パラメータによって特定される管を構成する各直線上に位置する各フレーム内の画素を抽出し、抽出した画素の分散を計算する。
【０１４１】
分散計算回路６１₁ ，６１₂ ，‥‥６１₁₄₄ から出力される計算値が加算器６２に供給される。加算器６２は、供給される計算値を加算することにより、分散の総和を算出する。
【０１４２】
図２２および図２３を参照して上述した構成および動作は、水平および垂直方向に０番目〜１１番目までの画素を含む領域が管範囲として採用される場合を前提とするものである。これに対して、より多くの画素を含む領域を管範囲として採用する場合にも、この発明を適用することができる。そのような場合には、より多くの分散計算回路を設ける構成としても良し、または、分散計算回路を時分割で動作させるように制御しても良い。
【０１４３】
また、図２２を参照して上述した構成の一例は、縦、横にそれぞれ１７個ずつ、全部で２８９個の画素を含む領域を探索範囲として用いるようにしたものであるが、探索範囲はこれに限定されるものではなく、任意に設定できる。
【０１４４】
また、上述したこの発明の第４および第５の実施形態は、直線パラメータによって特定される管を構成する平行直線の各々について当該直線上に位置する画素の分散を計算し、計算値の総和が最小となる際の直線パラメータに基づいて動きベクトルを決定するようにしたものである。これに対して、管を構成する平行直線の各々について当該直線上に位置する画素の平均値と各画素値の差分の絶対値の総和を計算し、計算値が最小となる際の直線パラメータに基づいて動きベクトルを決定するようにしても良い。
【０１４５】
また、管を構成する平行直線の各々について当該直線上に位置する画素の隣接画素間差分の総和を計算し、計算値の総和が最小となる際の直線パラメータに基づいて動きベクトルを算出するようにしても良い。また、管を構成する平行直線の各々について当該直線上に位置する画素のＤＲを計算し、計算値に基づいて動きベクトルを算出するようにしても良い。
【０１４６】
また、この発明の第１〜第５の実施形態では、注目フレームを含む５個のフレームの画像データに基づいて動きベクトルを算出するものとしているが、これに限定されるものではない。例えば、注目フレームを含む３個のフレームの画像データに基づいて動きベクトルの算出処理を行うようにしても良い。
【０１４７】
この発明は、上述したこの発明の第１〜第５の実施形態に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１４８】
【発明の効果】
この発明によれば、時空間内で注目フレーム内の複数の画素を通る複数の直線上に位置する複数のフレーム内の画素の画素値に基づいてなされる演算処理の結果に基づいて動きベクトルが算出される。このため、動きベクトルの算出処理に対するノイズの影響を低減することができる。また、ノイズレベルが様々に変化しても、それに応じた処理が可能となる。
【０１４９】
特に、投票範囲、管範囲等の、直線が通る複数の画素を含む注目フレーム内の領域を、当該領域内の画素の画素値のＤＲ等を規範として可変的に設定するようにした場合には、オブジェクトの大きさに応じて適切な処理を行うことが可能とされる。すなわち、細かいオブジェクトの動きについては、より小さい投票範囲や管範囲を用いることで適切な処理を行うことが可能とされる。
【０１５０】
また、平坦部分ではより大きい投票範囲や管範囲を用いることにより、固定のブロックサイズの下で行われるブロックマッチングでは誤りやすい、平坦部分での動きベクトル検出を適切に行うことが可能とされる。
【０１５１】
また、演算量は一般的には投票範囲や管範囲の大きさに依存するが、多くの場合、ブロックマッチング法に比べてより少ない演算量で精度良い動きベクトル検出が可能とされる。また、ブロックマッチング等を用いる場合と異なり、各フレーム毎に動きを検出する必要がない。
【０１５２】
特に、上述したような方法で動きベクトルを計算し、計算した動きベクトルに応じて、クラス分類適応処理を行う際のクラスタップおよび予測タップの位置を設定するようにした場合には、例えば５フレーム分のタップ配置を一度に決定することができる。また、この場合、クラス分類適応処理の結果として、動き部分における尾を引くような画質劣化を防止若しくは軽減することができると共に、画像に空間的なぼけを生じさせることなくノイズを除去することができる。
【０１５３】
また、この場合、ブロックマッチング等を用いる場合と異なり、動きベクトルの検出が部分的に誤ることに起因して１フレームだけ極端にタップ配置が異なることが無いので、ノイズ除去等の処理を効率よく行うことができる。
【図面の簡単な説明】
【図１】先に提案された、ノイズ除去を行う構成について説明するためのブロック図である。
【図２】図１に示す構成におけるタップ構造について説明するための略線図である。
【図３】この発明の第１の実施形態における、ノイズ除去に係る構成について説明するためのブロック図である。
【図４】この発明の第１の実施形態における、予測係数の生成に係る構成について説明するためのブロック図である。
【図５】ノイズ付加に係る構成の一例を示すブロック図である。
【図６】ノイズ付加に係る構成の他の例を示すブロック図である。
【図７】ノイズ付加に係る構成のさらに他の例を示すブロック図である。
【図８】この発明の第１の実施形態におけるタップ位置の設定について原理的に説明するための略線図である。
【図９】この発明の第１の実施形態における基本的なタップ構造について説明するための略線図である。
【図１０】この発明の第１の実施形態におけるタップ位置の設定に係る処理について説明するためのフローチャートである。
【図１１】この発明の第２〜第５の実施形態の概要を説明するための略線図である。
【図１２】この発明の第２の実施形態の構成について説明するためのブロック図である。
【図１３】投票範囲を設定する処理について説明するための略線図である。
【図１４】設定される投票範囲の例を示す略線図である。
【図１５】直線パラメータについて説明するための略線図である。
【図１６】フレーム毎に算出される動きベクトルについて説明するための略線図である。
【図１７】この発明の第３の実施形態の構成について説明するためのブロック図である。
【図１８】この発明の第３の実施形態の一部の構成について詳細に説明するためのブロック図である。
【図１９】階層的探索の一例について説明するための略線図である。
【図２０】階層的探索の他の例について説明するための略線図である。
【図２１】この発明の第４の実施形態の構成について説明するためのブロック図である。
【図２２】この発明の第５の実施形態の一部の構成について詳細に説明するためのブロック図である。
【図２３】この発明の第５の実施形態の構成について詳細に説明するためのブロック図である。
【図２４】従来の技術について説明するためのブロック図である。
【符号の説明】
２６・・・タップ配置決定部、４６・・・タップ配置決定部、１１５・・・投票範囲更新回路、１１６・・・投票範囲決定回路、１２４・・・分散演算および直線パラメータ保持回路、１２５・・・直線パラメータ投票回路、２２２・・・投票回路、４１５・・・管範囲更新回路、４１６・・・管範囲決定回路，４２５・・・分散総和判定および直線パラメータ保持回路、４２７・・・直線パラメータ更新回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a motion vector detection apparatus and detection method for detecting a motion vector for a moving image, and an image signal processing apparatus and processing method.
[0002]
[Prior art]
In order to remove noise from an image, a motion adaptive recursive filter has been conventionally used. An example of the configuration of the motion adaptive recursive filter is shown in FIG. The image data of the frame of interest, that is, the input frame at each time point is supplied to the subtraction circuit 1100. The subtracting circuit 1100 is further supplied with image data of the previous frame stored in the frame memory 1099, that is, the frame one frame before the frame of interest. The output of the subtraction circuit 1100 is supplied to the absolute value calculation circuit 1101 and converted into an absolute value, and the absolute value is supplied to the threshold value processing circuit 1102. The threshold processing circuit 1102 performs threshold processing on the supplied absolute value under a predetermined threshold, and determines movement / stillness for each pixel.
[0003]
The determination result by the threshold processing circuit 1102 is supplied to the weight setting value generation circuit 1103. The weight setting value generation circuit 1103 sets the value of the weight setting value k according to the supplied determination result. The set k value is supplied to an amplifier 1105 that performs amplitude adjustment on the input frame. Here, the amplifier 1104 multiplies the input signal by k, and the amplifier 1105 multiplies the pixel data in the frame memory by (1−k).
[0004]
When the threshold processing circuit 1102 determines that the object is stationary, a fixed value between 0 and 0.5 is set as the value of k. With this setting, the output of the adder 1106 at the subsequent stage of the amplifiers 1104 and 1105 is a value obtained by weighted addition of the pixel value in the frame of interest and the pixel value in the previous frame. On the other hand, if the threshold value processing circuit 1102 determines that the movement is made, 1 is set as the value of k. With this setting, the adder 1106 outputs the pixel value in the frame of interest as it is.
[0005]
[Problems to be solved by the invention]
The motion adaptive recursive filter as described above has the following problems (a) to (d). (A) Since only a weighted addition is performed on a stationary portion under a constant weight (fixed value k), noise removal corresponding to the magnitude or direction of the noise cannot be accurately performed. (B) When the noise level is high, the stationary part is erroneously determined as a motion, so that the noise removal effect is reduced. (C) A moving part may be erroneously determined to be stationary, and tail-like degradation may be observed. (D) Noise cannot be removed from moving parts.
[0006]
In addition, a method for removing noise using a class classification adaptive process has been proposed. That is, a motion vector is detected by performing block matching, and based on the detected motion vector, class classification adaptation processing using pixels corresponding between frames is performed. In this case, the problem in the motion adaptive recursive filter can be solved or reduced, but there are the following problems.
[0007]
(E) Processing is heavy because block matching is used. (F) It is necessary to perform block matching between each frame, for example, frame t and frame t + 1, frame t + 1 and frame t + 2, and the like. If any one of these block matching is wrong, the noise removal effect is reduced. (G) In block matching, since the movement of a small object that is included in a block cannot be detected, there is a possibility that an inaccurate process may be performed due to such movement.
[0008]
Further, as a prior art other than the motion adaptive recursive filter related to motion vector detection, there are a block matching method, a gradient method, and the like. In the block matching method, it is necessary to calculate the sum of pixel differences in a block for each search range and compare the calculated values. For this reason, the amount of calculation becomes enormous, and there is a problem from the viewpoint of reducing the circuit scale and improving the processing time. Also, the amount of movement cannot be accurately detected for fine movements such as those included in a block. In addition, in the gradient method, the motion amount detection accuracy is significantly deteriorated for an image with noise added.
[0009]
Accordingly, an object of the present invention is to provide a motion vector detection device and detection method, and an image signal processing device and processing method capable of accurately calculating a motion vector for a moving image.
[0010]
[Means for Solving the Problems]
According to the first aspect of the present invention, for each target pixel including a target pixel in the image signal and a plurality of pixels located around the target pixel, a plurality of pixels positioned on a straight line that passes through each target pixel and extends in the time direction are provided. Extracting means for extracting;
Similarity detection means for detecting similarity for each direction of a line based on pixel values of a plurality of pixels extracted for each direction of the line by the extraction means for each target pixel for each target pixel;
A motion vector detection device comprising: motion vector calculation means for calculating a motion vector for a pixel of interest based on a degree of similarity detected for each direction of a straight line for each target pixel.
[0011]
In the invention of claim 13, for each target pixel including a target pixel in the image signal and a plurality of pixels located around the target pixel, a plurality of pixels positioned on a straight line that passes through each target pixel and extends in the time direction are provided. An extraction step to extract;
For each target pixel for each pixel of interest, a similarity detection step for detecting a similarity for each direction of the straight line based on pixel values of a plurality of pixels extracted for each direction of the straight line by the extraction step;
A motion vector detection method comprising: a motion vector calculation step of calculating a motion vector for a target pixel based on a similarity detected for each direction of a straight line for each target pixel.
[0012]
According to the fourteenth aspect of the present invention, each of a straight line that passes through the pixel of interest in the image signal and extends in the time direction and a straight line that passes through the pixels located around the pixel of interest and is parallel to the straight line is positioned on the line. Extraction means for extracting a plurality of pixels;
Similarity detection means for detecting similarity for each direction of the straight line based on a plurality of pixels extracted for each direction of the straight line by the extraction means;
A motion vector detection device comprising: motion vector calculation means for calculating a motion vector for a pixel of interest based on a similarity detected for each direction of a straight line.
[0013]
According to a nineteenth aspect of the present invention, each of a straight line that passes through the target pixel in the image signal and extends in the time direction and a straight line that passes through the pixels located around the target pixel and is parallel to the straight line is positioned on the straight line. An extraction step for extracting a plurality of pixels;
A similarity detection step for detecting a similarity for each direction of the straight line based on a plurality of pixels extracted for each direction of the straight line by the extraction step;
A motion vector detection method comprising: a motion vector calculation step of calculating a motion vector for a pixel of interest based on a similarity detected for each direction of a straight line.
[0014]
The invention of claim 20 comprises a plurality of frame memories for storing image signals for each frame;
First image cutting means for cutting out one or more pixels from each frame stored in a plurality of frame memories;
A class classification unit that detects a pattern of an image level distribution in space-time based on a pixel value of a pixel cut out by the first image cutout unit, and performs class classification according to the detection result;
A coefficient memory that stores prediction coefficients predetermined for each class, and outputs a coefficient corresponding to the class classification result by the class classification means from the stored prediction coefficients;
Second image cutting means for cutting out one or more pixels from each frame stored in the plurality of frame memories;
Output image generating means for generating an output image by performing an operation based on the output of the coefficient memory and the data of the image area cut out by the second image cutting out means;
Extraction means for extracting a plurality of pixels located on a straight line passing through each target pixel and extending in the time direction for each target pixel including the target pixel in the image signal and a plurality of pixels located around the target pixel; Similarity detection means for detecting similarity for each direction of a line based on pixel values of a plurality of pixels extracted for each direction of the line by the extraction means for each target pixel corresponding to each of the pixels; Motion vector detection means including motion vector calculation means for calculating a motion vector for the target pixel based on the similarity detected for each direction of the straight line for each target pixel;
And a cut-out position determining means for setting a position of a pixel cut out by the first image cut-out means and / or the second image cut-out means based on the motion vector detected by the motion vector detection means. The image signal processing apparatus.
[0015]
The invention of claim 21 stores the image signal for each frame;
A first image cutting step of cutting one or more pixels from each frame stored by the storing step;
A class classification step for detecting a pattern of an image level distribution in the spatio-temporal based on a pixel value of a pixel extracted by the first image extraction step, and performing class classification according to the detection result;
A coefficient output step for storing a prediction coefficient determined in advance for each class, and outputting a result corresponding to the class classification result by the class classification means from among the stored prediction coefficients,
A second image cropping step of cropping one or more pixels from each frame stored by the storing step;
An output image generation step of generating an output image by performing an operation based on the output of the coefficient output step and the data of the image region cut out by the second image cutout step;
An extraction step of extracting a plurality of pixels located on a straight line that passes through each target pixel and extends in the time direction for each target pixel including the target pixel in the image signal and a plurality of pixels located around the target pixel; For each target pixel corresponding to each of the pixels, based on the pixel values of a plurality of pixels extracted for each straight line direction by the extraction step, a similarity detection step for detecting the similarity for each straight line direction; A motion vector detection step including a motion vector calculation step of calculating a motion vector for the target pixel based on the similarity detected for each direction of the straight line for each target pixel;
A cutout position determining step for setting a position of a pixel cut out by the first image cutout step and / or the second image cutout step based on the motion vector detected by the motion vector detection step. This is an image signal processing method.
[0016]
According to the invention as described above, based on the result of the arithmetic processing performed based on the pixel values of the pixels in the plurality of frames located on the plurality of straight lines passing through the plurality of pixels in the frame of interest in time and space. A motion vector is calculated.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Prior to the description of the first embodiment of the present invention, in order to facilitate understanding, noise removal is performed in consideration of movement of a moving image by combining block matching and class classification adaptive processing. The outline of the previously proposed configuration (see Japanese Patent Application No. 10-304058) will be described. An example of such a configuration is shown in FIG. An input image signal from which noise is to be removed is supplied to the frame memory 200. Frame memories 201 and 202 are sequentially connected to the frame memory 200 in a shift register shape. As a result, the frame memories 200, 201, and 202 store image data of three temporally continuous frames.
[0018]
The frame memories 200 and 201 supply the stored frames to the motion vector detection unit 203. The motion vector detection unit 203 detects a motion vector by performing block matching based on the two supplied frames, and supplies the detected motion vector to the region extraction units 205 and 206. The frame memories 200, 201, and 202 supply the stored frames to the area cutout units 205 and 206. The motion vector detection unit 204 detects a motion vector by performing block matching based on the two supplied frames, and supplies the detected motion vector to the region extraction units 205 and 206.
[0019]
The area cutout unit 206 is supplied with the frames stored in the frame memories 200, 201 and 202. The region extraction unit 206 refers to the motion vector supplied from the motion vector detection unit 203 and the motion vector supplied from the motion vector detection unit 204, and extracts an image region at a predetermined position from the supplied frame. Data of the clipped image area is supplied to the class code generation unit 207. The class code generation unit 207 extracts a pattern in space-time from the supplied data, for example, by ADRC (Adaptive Dynamic Range Coding) processing, and generates a class code indicating a class classified according to the extracted pattern.
[0020]
As described above, the image area cut out by the area cutout unit 206 is used for processing related to the class classification, and thus the image area is referred to as a class tap. The class code is supplied to the coefficient memory 208. The coefficient memory 208 stores prediction coefficients determined in advance for each class, and outputs one corresponding to the class code from the stored prediction coefficients. The output of the coefficient memory 208 is supplied to the estimation calculation unit 209.
[0021]
On the other hand, the image data of the frames stored in the frame memories 200, 201, and 202 are supplied to the area cutout unit 205. The area extraction unit 205 refers to the motion vectors supplied from the motion vector detection units 204 and 203, extracts an image area at a predetermined position from the supplied frame image data, and estimates and calculates the data of the extracted image area Part 209. The estimation calculation unit 209 performs a predetermined calculation based on the data supplied from the region cutout unit 205 and the prediction coefficient supplied from the coefficient memory 208, and generates an output image as a result. Noise is removed or reduced in the output image. As described above, the image region cut out by the region cutout unit 205 is used for calculation for predictive generation of the output image, and thus the image region is referred to as a class tap.
[0022]
A tap structure of class taps and prediction taps cut out by the area cutout units 206 and 205 will be described with reference to FIG. In FIG. 2, the target pixel to be predicted is indicated by a black circle, and the pixel cut out as a class tap or a prediction tap is indicated by a shaded circle. FIG. 2A shows an example of a basic class tap structure. From the frame of interest f [0] including the pixel of interest and the temporally located frames before and after the frame of interest, that is, f [-1] and f [+1], the pixel at the same spatial position as the pixel of interest is a class tap. Extracted as FIG. 2B shows an example of a basic prediction class tap structure. From the image data of the target frame and the image data of the frame located before and after the target frame in time, the target pixel and, for example, twelve pixels in total around the target pixel are extracted as prediction taps. The
[0023]
Further, FIGS. 2C and 2D show cases where the cutout position is shifted in time according to the motion vectors output from the motion vector detection units 203 and 204 in FIG. As shown in FIG. 2E, when the motion vector in the frame of interest is (0, 0), the motion vector in the previous frame is (−1, −1), and the motion vector in the subsequent frame is (1, 1). The cutout positions of the class tap and the prediction tap in the entire frame are translated according to the motion vector. Thus, in the configuration according to the previous application, it is necessary to detect the motion vector prior to the process of cutting out the class tap and the prediction tap. In this case, a large amount of calculation is required for processing such as block matching for detecting a motion vector, and there is a problem that a large load is applied to the apparatus.
[0024]
Next explained is the first embodiment of the invention. An example of a configuration relating to prediction estimation in the first embodiment of the present invention is shown in FIG. An input image signal is supplied to the frame memory 21. Frame memories 22, 23, 24, and 25 are sequentially connected to the frame memory 21 in a shift register shape. As a result, the image data of five frames that are temporally continuous is stored in the frame memories 21 to 25. In the following description, it is assumed that the image data stored in the frame memory 23 is handled as the image data of the frame of interest. Further, the image data stored in the frame memories 24 and 25 are treated as image data of the frames one frame and two frames before the target frame, respectively, and the image data stored in the frame memories 22 and 21 are Assume that each frame is handled as image data of one frame and two frames after the frame of interest.
[0025]
The image data in the frame stored in the frame memories 21, 22, 23, 24, and 25 is supplied to the tap arrangement determining unit 26. The tap arrangement determination unit 26 determines the positions of pixels to be extracted as class taps and prediction taps based on the supplied data. Information relating to the position of the pixel to be cut out as a class tap is supplied to the area cutout unit 28. In addition, information related to the position of the pixel to be extracted as a prediction tap is supplied to the region extraction unit 27. Image data of the frames stored in the frame memories 21 to 25 are supplied to the area extraction units 27 and 28. The area cutout unit 28 cuts out pixels at positions according to the information supplied from the tap arrangement determination unit 26 as class taps from the supplied frames. On the other hand, the region cutout unit 27 cuts out a pixel at a position according to the information supplied from the tap arrangement determination unit 26 as a prediction tap from each supplied frame.
[0026]
The area extraction unit 28 supplies the extracted class tap data to the class code generation unit 29. The class code generation unit 29 extracts a pattern in space-time by performing processing such as quantization of ADRC and DR (dynamic range), for example, from supplied data, and indicates a class classified according to the extracted pattern Generate class code. In the case of a still image without noise, there is no possibility that the pixel value varies between frames if the pixel is the same. Also, with respect to the motion, deterioration such as blur is observed when the motion is fast, but basically there is no temporal variation in the same pixel.
[0027]
Therefore, when there is a change in the value of the same pixel, the change is considered to be noise. For this reason, it is possible to detect a noise component for each frame by cutting out only one pixel under the class tap structure expanded only in the time direction and performing ADRC based on the data of the cut out pixel. In addition, as the number of bits of the re-quantization code generated by ADRC is larger, the noise level fluctuation can be detected more accurately. In addition, the noise level difference can be distinguished by quantizing the DR and calculating the class code including the value and the re-quantized code by ADRC.
[0028]
The ADRC process will be described below. ADRC is an adaptive requantization method originally developed for high-efficiency coding for VTR (Video Tape Recorder), but it can efficiently express local patterns of signal level in short tone. Has characteristics. Therefore, it can be used to detect a pattern in the space-time of an image signal for generating a class classification code. That is, according to the following equation (1), the maximum value MAX and the minimum value MIN in the region extracted as a class tap are equally divided by the designated number of bits and requantized.
[0029]
DR = MAX-MIN + 1
Q = [(L−MIN + 0.5) × 2 ⁿ / DR] (1)
Here, DR is a dynamic range within the region. Also, n is the number of bits allocated, and for example, n = 2 can be set. L is the data level of the pixels in the area, and Q is the requantization code. However, the brackets ([...]) Indicate truncation processing.
[0030]
As a result, class tap pixel data consisting of, for example, 8 bits per pixel is converted into, for example, a 2-bit requantization code value. The level quantization pattern in the class tap data is expressed with a smaller amount of information by the requantization code value generated in this way. For example, when a tap structure of class taps consisting of 7 pixels is used, seven requantization codes q corresponding to each pixel are obtained by the processing as described above. ₁ ~ Q ₇ Is generated. The class code class generated by the class code generation circuit 4 based on such output is as shown in the following equation (2).
[0031]
[Expression 1]

Here, n is the number of pixels cut out as a class tap. Moreover, as a value of p, it can be set as p = 2, for example.
[0032]
The class code is supplied to the coefficient memory 30. The coefficient memory 30 stores prediction coefficients determined in advance for each class, and outputs one corresponding to the class code from the stored prediction coefficients. The output of the coefficient memory 30 is supplied to the estimation calculation unit 31. On the other hand, the region cutout unit 27 supplies the cut out prediction tap data to the estimation calculation unit 31. The estimation calculation unit 31 performs a calculation such as the following equation (1) based on the data supplied from the region cutout unit 27 and the prediction coefficient supplied from the coefficient memory 30, and as a result, in the output image Pixel values y are sequentially generated.
[0033]
y = w ₁ X ₁ + W ₂ X ₂ + ... + w _n X _n (3)
Where x ₁ , ..., x _n Is the pixel data of each prediction tap, and w ₁ , ..., w _n Are each prediction coefficient.
[0034]
Next, learning in the first embodiment of the present invention, that is, processing for determining a prediction coefficient will be described with reference to FIG. An image having no noise to be generated as a result of the image information conversion (hereinafter referred to as a teacher image) is supplied to the noise adding unit 40 and the normal equation adding unit 50. The noise adding unit 40 adds a noise component to the supplied teacher image. The output of the noise adding unit 40 is supplied to the frame memory 41. Frame memories 42, 43, 44, and 45 are sequentially connected to the frame memory 41 in a shift register shape. As a result, the image data of five frames that are temporally continuous is stored in the frame memories 41 to 45. In the following description, it is assumed that the image data stored in the frame memory 43 is handled as the image data of the frame of interest. Further, the image data stored in the frame memories 44 and 45 are treated as image data of frames one and two frames before the target frame, respectively, and the image data stored in the frame memories 42 and 41 are Assume that each frame is handled as image data of one frame and two frames after the frame of interest.
[0035]
Data in the frame stored in the frame memories 41 to 45 is supplied to the tap arrangement determining unit 46. Similar to the tap arrangement determination unit 46 in FIG. 3, the tap arrangement determination unit 26 determines the positions of pixels to be extracted as class taps and prediction taps based on the supplied data. Information relating to the position of the pixel to be cut out as a class tap is supplied to the area cutout unit 48. In addition, information regarding the position of the pixel to be extracted as a prediction tap is supplied to the region extraction unit 47.
[0036]
In addition, the frames stored in the frame memories 41 to 45 are supplied to the area extraction units 47 and 48. The area cutout unit 48 cuts out a pixel at a position according to the information supplied from the tap arrangement determination unit 46 as a class tap from each supplied frame. On the other hand, the region cutout unit 47 cuts out a pixel at a position according to the information supplied from the tap arrangement determination unit 46 as a prediction tap from each supplied frame. An example of a pixel position cut out as a class tap in the space-time is shown in FIG. 9A. Moreover, an example of the pixel position cut out as a prediction tap in space time is shown in FIG. 9B.
[0037]
The area extraction unit 48 supplies the extracted class tap data to the class code generation unit 49. The class code generation unit 49 extracts a pattern in the spatio-temporal from the supplied data by performing the same processing as the class code generation unit 29 in FIG. 3, and indicates a class classified according to the extracted pattern Generate code. The class code is supplied to the normal equation adding unit 50.
[0038]
On the other hand, the region cutout unit 47 supplies the cut out prediction tap data to the normal equation addition unit 50. The normal equation adding unit 50 calculates data necessary for solving a normal equation having a prediction coefficient as a solution, based on the supplied teacher image, prediction tap data, and class code. The output of the normal equation adding unit 50 is supplied to the prediction coefficient determining unit 51. The prediction coefficient determination unit 51 determines a prediction coefficient for each class by performing a predetermined calculation. The determined prediction coefficient is supplied to the memory 52 and stored therein. The stored contents are loaded into the coefficient memory 30 in FIG. 3 in the memory 52, thereby enabling the prediction estimation as described above.
[0039]
The calculation for determining the prediction coefficient will be described. A plurality of types of image data are supplied to the configuration as shown in FIG. When the number of types of these image data is expressed as m, the following equation (4) is set from the equation (3).
[0040]
y _k = W ₁ X _k1 + W ₂ X _k2 + ... + w _n X _kn (4)
(K = 1, 2,..., M)
If m> n, w ₁ , ..., w _n Is not uniquely determined, the element e of the error vector e _k Is defined by the following equation (5), and the prediction coefficient is determined so as to minimize the square of the error vector e defined by the equation (6). That is, the prediction coefficient is uniquely determined by a so-called least square method.
[0041]
e _k = Y _k -{W ₁ X _k1 + W ₂ X _k2 + ... + w _n X _kn } (5)
(K = 1, 2, ... m)
[0042]
[Expression 2]

[0043]
E in equation (6) ² As a practical calculation method for obtaining the prediction coefficient that minimizes ² Prediction coefficient w _i (i = 1, 2...) is partially differentiated (equation (7)), and each prediction coefficient w _i You just have to decide.
[0044]
[Equation 3]

[0045]
From Equation (7), each prediction coefficient w _i A specific procedure for determining the will be described. X as in equations (8) and (9) _ji , Y _i (7) can be written in the form of the determinant of equation (10).
[0046]
[Expression 4]

[0047]
[Equation 5]

[0048]
[Formula 6]

[0049]
Equation (10) is generally called a normal equation. The normal equation adding unit 50 performs an operation as shown in the equations (8) and (9) based on the supplied data, so that X _ji , Y _i (I = 1, 2,..., N) are calculated. The prediction coefficient determination unit 51 solves the normal equation (10) according to a general matrix solution method such as a sweep-out method, so that the prediction coefficient w _i (I = 1, 2,..., N) is calculated.
[0050]
Next, the process of adding noise to the teacher image in the noise adding unit 40 will be described in detail. As a method for adding noise, for example, the following methods (1) to (4) are conceivable. (1) Generate random noise by computer simulation and add the generated noise. (2) Add noise to the teacher image via the RF system. (3) The difference between the image having a uniform level and the image formed through the RF system is taken, and the difference is added to the teacher image. (4) A noise component is extracted by taking a difference between an image having a uniform level via an RF system and an image from which noise is removed by performing frame addition on the image, and the extracted noise component Is added to the teacher image.
[0051]
An example of the configuration related to the method (2) is shown in FIG. A teacher image is supplied to the RF modulator 61. The RF modulator 61 performs RF modulation on the teacher image. The output of the RF modulator 61 is supplied to the attenuator attenuator 62. The attenuator attenuator 62 performs attenuator attenuation processing on the output of the RF modulator 61. The output of the attenuator attenuator 62 is supplied to the RF demodulator 63. The RF demodulator 63 RF-demodulates the output of the attenuator attenuator 62 to generate an image in which noise is added to the teacher image. In the method (2), it is necessary to take into account the pixel position shift between the teacher image and the student image.
[0052]
An example of the configuration according to the method (3) is shown in FIG. An image having a uniform level is supplied to the RF modulator 71 and the subtracter 74. The RF modulator 71 performs RF modulation on the supplied image. The output of the RF modulator 71 is supplied to the attenuator attenuator 72. The attenuator attenuator 72 performs an attenuator attenuation process on the output of the RF modulator 71. The output of the attenuator attenuator 72 is supplied to the RF demodulator 73. The RF demodulator 73 performs RF demodulation on the output of the attenuator attenuator 72. The output of the RF demodulator 73 is supplied to the subtracter 74. The subtracter 74 takes a difference between an image having a uniform level and the output of the RF demodulator 73. The output of the subtracter 74 is supplied to the adder 75. The adder 75 is further supplied with a teacher image. The adder 75 adds the output of the subtracter 74 to the teacher image, thereby generating an image in which noise is added to the teacher image.
[0053]
An example of the configuration related to the method (4) is shown in FIG. An image having a uniform level is supplied to the RF modulator 81. The RF modulator 81 performs RF modulation on the supplied image. The output of the RF modulator 81 is supplied to the attenuator attenuator 82. The attenuator attenuator 82 performs an attenuator attenuation process on the output of the RF modulator 81. The output of the attenuator attenuator 82 is supplied to the RF demodulator 83. The RF demodulator 83 performs RF demodulation on the output of the attenuator attenuator 82. The output of the RF demodulator 83 is supplied to the frame addition circuit 84 and the subtracter 85.
[0054]
The frame addition circuit 84 generates an image in which noise is removed from the output of the RF demodulator 83 by performing frame addition on the supplied image. The output of the frame addition circuit 84 is supplied to the subtracter 85. The subtractor 85 extracts a noise component in the RF system by taking the difference between the output of the RF demodulator 83 and the output of the frame addition circuit 84. The extracted noise component, which is the output of the subtractor 85, is supplied to the adder 86. Further, a teacher image is supplied to the adder 86. The adder 86 adds the output of the subtracter 85 to the teacher image, thereby generating an image in which noise is added to the teacher image.
[0055]
Next, the tap position determination method performed by the tap arrangement determination units 26 and 46 will be described in detail. First, the principle will be described with reference to FIG. Here, the horizontal and vertical directions in each frame are taken in the horizontal and vertical directions, respectively, and time is taken in the direction toward the back. That is, the frames f [−2], f [−1], f [0], f [+1], and f [+2] are shown in the back in order as time passes. In order to perform this method, the following preconditions must be satisfied.
[0056]
(P) In a minute time of about 5 frames, the motion of the image is a substantially constant linear motion. The applicant of the present application statistically confirmed that (P) holds for an actual image.
(Q) In the absence of noise, the variance of the same pixel between frames is 0 or very close to 0.
[0057]
In the first embodiment of the present invention, several straight lines in space-time passing through the frames f [−2] to f [+2] are set, and the frames f [−2] to f [ +2] is calculated for each pixel value. Then, it is assumed that a straight line when the variance is minimum is determined, and such a straight line indicates movement.
[0058]
More specifically, as shown in FIG. 8, for example, a region of 5 × 5 pixels (hereinafter, referred to as a voting range) is set on the attention frame f [0] with the attention pixel as a center, Each pixel (hereinafter referred to as a voting pixel) is sequentially extracted, and the following processing is performed for each of the extracted voting pixels. That is, for example, a search range is set around the pixel position corresponding to the voting pixel on the frame f [+1]. The search range may be set on a frame other than the frame f [+1]. Further, each pixel in the frames f [−2] to f [+2] on each straight line passing through the voting pixel and each pixel within the search range (hereinafter referred to as a search pixel) is extracted. Then, a variance is calculated between the extracted pixels, and a motion vector is calculated based on a straight line when the calculated variance is minimum. Since one straight line corresponding to each of the voting pixels is determined for each of the voting pixels, for example, when voting pixels are set from within a pixel area of 5 × 5 pixels, 25 straight lines are determined. become. Of these, the one with the highest frequency is finally determined as a straight line indicating the movement of the pixel of interest.
[0059]
An example of the processing procedure is shown in FIG. In step S1, voting pixels are extracted from an area of, for example, 5 × 5 pixels around the target pixel. In step S2, for example, a search range is set on f [1]. In step S3, parameters a and b indicating positions within the search range are set to 0 (initialization). Here, as shown in FIG. 8, a and b indicate, for example, horizontal and vertical coordinates within the search range. Of course, a position within the search range may be indicated using a coordinate system other than the orthogonal coordinate system. Each time (a, b) is set, one straight line is determined. In step S4, each pixel in f [−2] to f [+2] on the straight line determined by (a, b) is extracted.
[0060]
In step S5, the variance between the pixels extracted in step S4 is calculated. In step S6, it is determined whether or not the variance calculated in step S5 is the smallest among the variances previously calculated corresponding to other (a, b). If it is determined that the variance calculated in step S5 is the smallest among the variances previously calculated corresponding to the other (a, b), the process proceeds to step S7, otherwise. Proceeds to step S8. In step S7, the variance value calculated in step S5 and (a, b) at that time are stored, and the process proceeds to step S8. In step S8, the values of a and b are updated.
[0061]
When a and b are taken as shown in FIG. 8, the values of a and b can be updated, for example, on a raster scan. In step S9, it is checked whether or not the values of a and b updated in step S8 exceed the search range set in step S2. If the search range is exceeded, the process proceeds to step S10 under the determination that the search has ended. In other cases, the process proceeds to step S4, and processing is performed under the values of a and b updated in step S8.
[0062]
In step S10, votes (a, b) stored in step S7 that minimize the variance are voted. Here, voting is a process for examining the frequency distribution of (a, b). In step S11, it is determined whether or not voting has been performed for all the pixels extracted as voting pixels in step S1. If it is determined that all the voting pixels have been voted, the process proceeds to step S12. Otherwise, the process proceeds to step S1, and a new pixel is extracted as a voting pixel. Process.
[0063]
In step S12, class taps and prediction taps in a frame are set on a straight line with a large number of votes, that is, a high frequency. In this manner, tap arrangement that accurately reflects the movement is performed.
[0064]
Here, since (a, b) having a high frequency is determined by voting, it is possible to avoid or reduce the possibility of erroneous determination of the value of (a, b) due to noise in the input image. it can. Therefore, it is possible to arrange taps that reflect movement more accurately.
[0065]
In the first image of the present invention described above, a motion vector is detected in a moving image, and noise is more accurately removed by referring to the detected motion vector. The present invention can be applied when performing various image signal processing that needs to be understood.
[0066]
Next, an outline of motion vector detection processing in the second to fifth embodiments of the present invention will be described with reference to FIG. In FIG. 11, two frames that precede in time, ie, frame f [-1] and frame f [-2], and two frames that follow in time, ie, frame f [+1], centered on the frame of interest f [0]. In addition, pixels on the frame f [+2] are illustrated (each pixel is indicated by a circle). However, the target pixel is illustrated as a black circle. Note that only the frame f [−2] and the frame f [+2] are illustrated as dotted rectangles in order to avoid complicated drawings.
[0067]
In the second and third embodiments of the present invention, a voting range is set around the pixel of interest in the frame of interest f [0], and each of the voting pixels in the voting range has a plurality of straight lines passing through the pixel. The pixel having the smallest variance among the frames located on the straight line is estimated. Then, a motion vector is calculated by performing a vote, that is, a process of adopting the most frequently used linear parameter estimated for each voting pixel as a motion trajectory of the pixel of interest.
[0068]
In the fourth and fifth embodiments of the present invention, a region (hereinafter referred to as a tube range) is set around the pixel of interest in the frame of interest f [0], and passes through each pixel in the region. A plurality of types of straight line groups including a plurality of straight lines parallel to each other are set. Hereinafter, such a straight line group is referred to as a tube. Thus, the tube is defined by the linear parameters that define the parallel straight lines. Then, a tube that is located on each straight line that constitutes the tube and that has a minimum sum of variances of pixels in the frame f [−2] to the frame f [+2] is determined, and the straight line related to the determined tube A motion vector is calculated based on the parameter.
[0069]
The second embodiment of the present invention will be described in detail below. FIG. 12 shows an example of a configuration according to the second embodiment of the present invention. The input image signal is input to the frame memory unit 10. The frame memory unit 10 includes five frame memories fm [−2], fm [−1], fm [0], fm [+1], and fm [+2] connected in a shift register shape. The frame memories fm [−2], fm [−1], fm [0], fm [+1], and fm [+2] have five consecutive frames f [−2], Image data of the frame f [-1], the frame f [0], the frame f [+1], and the frame f [+2] is stored.
[0070]
The image data of the frame of interest f [0] is supplied from the frame memory fm [0] to the area extraction circuit 112 in the voting range determination unit 11. In addition, image data of f [−2], frame f [−1], frame f [0], frame f [+1], and frame f [+2] are respectively stored in frame memories fm [−2] and fm [−1]. ], Fm [0], fm [+1], and fm [+2] are supplied to the pixel extraction circuit 123 on the straight line in the motion vector calculation unit 12.
[0071]
The voting range initial setting circuit 111 sets an initial cutout area, and supplies a parameter indicating the set initial cutout area to the area cutout circuit 112. The area extraction circuit 112 extracts an area from the image data of the target frame f [0] according to the supplied parameters.
[0072]
The area extraction circuit 112 supplies pixel data in the extracted area to the horizontal direction DR calculation circuit 113 and the vertical direction DR calculation circuit 114. The horizontal direction DR calculation circuit 113 calculates horizontal DR (dynamic range) by scanning the supplied pixel data in the horizontal direction (see FIG. 13A). The horizontal direction DR calculation circuit 113 further determines the maximum one of the calculated horizontal direction DRs and supplies the maximum value of the horizontal direction DR to the voting range determination circuit 116.
[0073]
Further, the vertical DR calculation circuit 114 calculates the vertical DR by scanning the supplied pixel data in the vertical direction (see FIG. 13B). The vertical DR calculation circuit 114 further determines the maximum one of the calculated vertical DRs, and supplies the maximum value of the vertical DR to the voting range determination circuit 116.
[0074]
The voting range determination circuit 116 performs an operation for detecting a motion vector on a region cut out at the time when both the maximum values of DR supplied in the horizontal and vertical directions exceed a preset threshold value. The voting range to be used for processing is finally determined.
[0075]
On the other hand, if at least one of the supplied maximum values of the horizontal and vertical DRs is equal to or less than a preset threshold value, the voting range determination circuit 116 determines the area cut out at that time. Is supplied to the voting range update circuit 115. The voting range update circuit 115 sets a new area based on the supplied parameter, and supplies a parameter indicating the set area to the area extraction circuit 112. The area extraction circuit 112 extracts a new area from the image data of the frame of interest f [0] based on the supplied parameters.
[0076]
With the configuration and operation as described above, an area to be extracted as a candidate for the voting range is initially set until the condition that both the maximum values of DR in the horizontal direction and the vertical direction exceed a preset threshold value is satisfied. A process of expanding in steps from the area is performed. Thereby, the voting range used for the calculation process for motion vector detection is finally determined. For example, as shown in FIG. 14A, the initially cut out region is a rectangular region composed of the 0th to 11th pixels in the horizontal and vertical directions, respectively, and then the maximum DR value in the horizontal and vertical directions. Until the condition that both exceed the threshold value is satisfied, rectangular regions including the 0th to 22nd, 0th to 33rd,... Pixels in the horizontal and vertical directions are sequentially cut out.
[0077]
Here, the size of the initial cutout area, the ratio of area enlargement when cutting out a new area, the threshold value for DR, and the like can be arbitrarily set. Further, as a new area, in addition to an area obtained by enlarging an area cut out before that, an area obtained by rotating or reducing an area cut out before that may be used.
[0078]
Further, the density of pixels in a region cut out as a voting range may be changed. For example, as shown in FIG. 14B, by excluding the pixels shown in black from the object to be extracted, for example, by cutting out every other pixel, the area to be extracted as the voting range can be enlarged. The total number of pixels in the region may be constant.
[0079]
In the above description, the voting range is determined by performing threshold determination for the horizontal and vertical DRs of the region to be cut out. However, threshold determination is performed for the DR of the entire region to be cut out. The voting range may be determined by performing. Alternatively, the variance of the entire area may be calculated as an amount representing the activity of the extracted area, and the voting range may be determined according to the calculation result.
[0080]
A parameter indicating the voting range determined by the voting range determination unit 11 is supplied from the voting range determination circuit 116 to the voting pixel initial setting circuit 121 in the motion vector calculation unit 12. The voting pixel initial setting circuit 121 initializes voting pixels and supplies a parameter indicating the voting pixel position related to the initial setting to the linear parameter initial setting circuit 122. The straight line parameter initial setting circuit 122 initially sets the straight line parameters. The initially set straight line parameters are supplied to the pixel cutout circuit 123.
[0081]
As can be seen from FIG. 15, a straight line passing through a specific voting pixel and a pixel in the frame f [1], for example, whose spatial pixel position relative to the voting pixel is (a, b) is (x , Y, t) are uniquely specified in the space. Therefore, in a situation where voting pixels are set, the straight line parameter can be expressed as (a, b). In actual processing, for example, a search range is set in the frame f [1], and a straight line parameter is expressed by a search pixel position in the search range. Note that two straight lines having the same straight line parameter and different voting pixels are parallel to each other.
[0082]
The pixel cutout circuit 123 is supplied with image data of each frame from the frame memories fm [−2] to fm [+2]. The pixel cutout circuit 123 cuts out pixel data in each frame located on a straight line defined by the straight line parameters (a, b) from the supplied image data. The extracted pixel data is supplied to the dispersion calculation and linear parameter holding circuit 124.
[0083]
The dispersion calculation and linear parameter holding circuit 124 calculates the dispersion of five pixels based on the supplied pixel data, the process of comparing the calculated values, and the calculated value and the corresponding straight line according to the comparison result. Performs processing to retain parameters. Then, the dispersion calculation and linear parameter holding circuit 124 supplies the linear parameter finally held to the linear parameter voting circuit 125. Further, the variance calculation and linear parameter holding circuit 124 supplies information about the linear parameter for which the calculation of the variance value has been completed to the linear parameter update circuit 126. Based on the supplied information, the straight line parameter update circuit 126 sets a straight line parameter indicating a straight line that has not been used for the pixel cutout by the pixel cutout circuit 123 and supplies the set straight line parameter to the pixel cutout circuit 123.
[0084]
As a result of the operations of the linear parameter initial setting circuit 122, the pixel cutout circuit 123, the dispersion calculation and linear parameter holding circuit 124, and the linear parameter update circuit 126, the following processing is performed. The variance values of the pixels in each frame located on the straight line specified by the straight line parameter expressed as the pixel position (a, b) within the search range are calculated in order from the one corresponding to the initial straight line parameter. . Then, the linear parameter when the variance value is minimized is supplied to the linear parameter voting circuit 125.
[0085]
Each time the straight line parameter is supplied, the straight line parameter voting circuit 125 supplies information indicating the supplied straight line parameter to the voting pixel update circuit 127. Each time such information is supplied, the voting pixel update circuit 127 updates the voting pixels, and supplies information indicating the updated voting pixels to the linear parameter initial setting circuit 122. Based on such information, the processing as described above is performed by the linear parameter initial setting circuit 122, the pixel cutout circuit 123, the dispersion calculation and linear parameter holding circuit 124, and the linear parameter update circuit 126. In this way, for each pixel in the voting range, a linear parameter related to the smallest variance among pixels in each frame located on the straight line among the straight lines passing through the voting pixel is determined.
[0086]
When the straight line parameters are supplied to all the voting pixels in the voting range by the process as described above, the straight line parameter voting circuit 125 performs a process of voting, that is, detecting the frequency of the supplied straight line parameters. As a result, the most frequently used linear parameter is employed as the locus of the motion vector of the target pixel. The adopted linear parameter is (a ₀ , B ₀ ), The motion vectors of the pixel of interest in the frames f [−2], [−1], f [0], f [+1], and f [+2] are respectively (−2 × a ₀ , -2 × b ₀ ), (-A ₀ , -B ₀ ), (0, 0), (a ₀ , B ₀ ), (2 × a ₀ , 2 x b ₀ ) (See FIG. 16).
[0087]
In the second embodiment of the present invention described above, the DR and the like are sequentially calculated for the areas that are cut out as candidates for the voting range, and the areas when the calculated values are equal to or greater than the threshold are used as the voting ranges. With respect to the voting pixels, linear parameters related to the smallest dispersion of pixels in each frame located on the straight line among the straight lines passing through the voting pixel are sequentially determined, and the frequency is the maximum among the determined linear parameters. The motion vector is calculated based on the following.
[0088]
On the other hand, DR etc. may be calculated in parallel for each of the regions cut out as candidates for the voting range, the calculated values may be compared, and the voting range may be determined based on the comparison result.
[0089]
In addition, for each voting pixel, a straight line parameter is determined in parallel for a line that passes through the voting pixel and has a minimum variance of pixels in each frame located on the straight line. The motion vector may be calculated based on the one having the maximum frequency.
[0090]
From such a viewpoint, a third embodiment of the present invention described below is possible. An example of the configuration according to the third embodiment of the present invention is shown in FIG. The input image signal is supplied to the frame memory unit 10. The frame memory unit 10 has been described above with reference to FIG. The image data of the frame of interest f [0] from the frame memory fm [0] is extracted from the area extraction circuit 212 in the voting range determination unit 21. ₁ , 212 ₂ , 212 ₁₉ To be supplied. Also, the image data of f [−2] to [+2] from the frame memories fm [−2] to fm [+2] is converted into the linear parameter estimation circuit 221 in the motion vector calculation unit 22. ₁ 221 ₂ , ..., 221 ₁₄₄ To be supplied.
[0091]
Area extraction circuit 212 ₁ , 212 ₂ , ..., 212 ₁₉ Includes pixels from 0th to 11th, 0th to 22nd,..., 0th to 209 (= 11 × 19) from the image data of the target frame f [0] in the horizontal and vertical directions, respectively. Cut out a rectangular area. Area extraction circuit 212 ₁ , 212 ₂ , 212 ₁₉ The image data cut out by the horizontal DR calculation circuit 213 respectively. ₁ , 213 ₂ , ..., 213 ₁₉ And vertical DR calculation circuit 214 ₁ , 214 ₂ , ..., 214 ₁₉ To be supplied.
[0092]
Horizontal DR calculation circuit 213 ₁ , 213 ₂ , ..., 213 ₁₉ And vertical DR calculation circuit 214 ₁ , 214 ₂ , ..., 214 ₁₉ Calculates horizontal and vertical DR based on the supplied image data and supplies the calculated values to the comparison circuit 215. The comparison circuit 215 compares the supplied calculated values and determines a voting range according to the comparison result.
[0093]
Here, the size of a region cut out as a candidate for the voting range, a threshold value for DR, and the like can be arbitrarily set. Further, as described above with reference to FIG. 14B, the density of the pixels in the region to be cut out may be changed.
[0094]
In the above description, the voting range is determined based on the horizontal and vertical DRs of the area to be cut out. The voting range may be determined according to the calculation result.
[0095]
In the following description, a case where an area including the 0th to 11th pixels in the horizontal and vertical directions is adopted as the voting range will be described as an example. In this case, the number of voting pixels is 12 × 12 = 144 (0, 0), (0, 1),..., (11, 11). Corresponding to each of these voting pixels, the linear parameter estimation circuit 221 ₁ 221 ₂ , ..., 221 ₁₄₄ Is provided in the motion vector calculation unit 22. The parameters indicating the voting range determined by the voting range determining unit 21 are 144 linear parameter estimation circuits 221 in the motion vector calculating unit 22. ₁ 221 ₂ , ..., 221 ₁₄₄ To be supplied.
[0096]
Linear parameter estimation circuit 221 ₁ 221 ₂ , ..., 221 ₁₄₄ Is a straight line for each pixel in the voting range that has the smallest variance of the pixels in the frame f [-2] to the frame f [+2] on the straight line passing through the pixel. Estimate the parameters. The estimated linear parameter is supplied to the voting circuit 222.
[0097]
The voting circuit 222 counts the frequency of the supplied linear parameter and generates frequency data. The frequency data is supplied to the comparison circuit 223. The comparison circuit 223 specifies a linear parameter having the maximum frequency based on the supplied frequency data. The motion vector calculation circuit 224 calculates a motion vector based on the straight line parameter specified by the comparison circuit 223.
[0098]
Linear parameter estimation circuit 221 ₁ 221 ₂ , ..., 221 ₁₄₄ An example of the configuration is shown in FIG. Pixel position information related to the voting range supplied from the voting range determination unit 21 is supplied to each of the pixel reading circuits 301, 302, 303, 304, and 305. Each of the pixel reading circuits 301 to 305 reads pixel data corresponding to the supplied pixel position information from the frame memories fm [−2] to fm [+2], respectively. In this example, the search pixels are 289 pixels whose relative pixel positions with respect to the voting pixel positions are (−8, −8), (−7, −8),..., (8, 8). ing.
[0099]
Pixel extraction circuit 306 ₁ , 306 ₂ , ..., 306 ₂₈₉ Extract and extract pixels in each frame located on a straight line specified by search pixel positions (−8, −8), (−7, −8),..., (8, 8), respectively. The distributed pixel circuit 307 ₁ 307 ₂ 307 ₂₈₉ To supply each.
[0100]
Distributed calculation circuit 307 ₁ 307 ₂ 307 ₂₈₉ Calculates the variance based on the supplied pixel data and supplies the calculated value to the variance comparison circuit 308. The variance comparison circuit 308 identifies the linear parameter when the calculated value is minimized by comparing the calculated values of the supplied variances, and outputs the identified linear parameter.
[0101]
The above description exemplifies a case where an area including the 0th to 11th pixels in the horizontal and vertical directions is adopted as the voting range. On the other hand, more linear parameter estimation circuits may be provided so as to cope with a case where an area including a larger number of pixels is adopted as the voting range. Alternatively, the linear parameter estimation circuit may be controlled to operate in a time division manner.
[0102]
In addition, for example, the example described above with reference to FIG. 18 uses a region including 289 pixels in total, 17 in each of the vertical and horizontal directions. It is not limited and can be set arbitrarily.
[0103]
In the second and third embodiments of the present invention, for each pixel in the voting range, a pixel in each frame located on the straight line is extracted from a straight line passing through the pixel, and distribution of the extracted pixel data is performed. The straight line parameter related to the straight line when the value is minimized is used for voting. On the other hand, the sum of the absolute values of the differences between the average value of the extracted pixel data and each pixel value may be calculated, and the linear parameter used for voting may be determined based on the calculated value. In addition, a straight line parameter for voting may be determined based on the sum of absolute differences between adjacent pixels for the extracted pixel data.
[0104]
In addition, a hierarchical search is performed in which a straight line parameter is roughly estimated by processing a part of the pixels within the search range as a search pixel, and the vicinity of the estimated point is searched in detail using the estimation result. You can go. Such processing will be described with reference to FIGS. 19 and 20. In the example shown in FIG. 19, the search range includes 17 (total 289) pixels in the horizontal and vertical directions. When performing rough estimation, every third pixel indicated by hatching (a total of 25 pixels) is treated as a search pixel. That is, the variance of pixels within, for example, five frames on a straight line passing through each of the 25 pixels and the voting pixels is calculated, and the search pixel when the calculated value is minimized is selected as a result of rough estimation. .
[0105]
Then, all pixels are treated as search pixels in a range (shown with shadows) including 5 (total 25) pixels in the horizontal and vertical directions centered on the pixel selected as a result of rough estimation. That is, a linear parameter that is used for voting based on the pixel position of the search pixel when calculating the variance of pixels within, for example, five frames on a straight line passing through each pixel and the voting pixel, and when the calculated value is minimized Is finally determined.
[0106]
In another example shown in FIG. 20, the search range includes 17 (total 289) pixels in the horizontal and vertical directions. When rough estimation is performed, every second pixel indicated by hatching (a total of 25 pixels) is treated as a search pixel. Then, all pixels are treated as search pixels in a range (shown with a shadow) including 5 (total 25) pixels in the horizontal and vertical directions centered on the pixel selected as a result of rough estimation. Thus, the linear parameter to be used for voting is finally determined.
[0107]
When the hierarchical search process described above with reference to FIG. 19 and FIG. 20 is performed, for example, the calculation of variance and the comparison of the calculated values are performed corresponding to, for example, 25 pixel positions within the search range. , It is possible to select a linear parameter for voting. For this reason, it is possible to reduce the size of the configuration related to calculation such as dispersion.
[0108]
Next explained is the fourth embodiment of the invention. As described above, in the fourth embodiment of the present invention, the motion vector is detected by regarding the motion in the moving image as a tube instead of a straight line. That is, in the fourth embodiment of the present invention, the influence of noise is avoided and the motion vector is accurately calculated by calculating the dispersion of the surface obtained by expanding the space direction instead of the straight line in the space-time. It is made to do.
[0109]
An example of the configuration of the fourth embodiment of the present invention is shown in FIG. The input image is input to the frame memory unit 10. The frame memory unit 10 has been described above with reference to FIG. The image data of the frame of interest f [0], which is the stored contents of the frame memory fm [0], is supplied to the tube cutout circuit 412 in the tube range determination unit 41. Further, the image data of the frames f [−2] to f [+2] are supplied from the frame memories fm [−2] to fm [+2] to the linear pixel cutout circuit 423 in the motion vector calculation unit 42.
[0110]
The tube range initial setting circuit 411 sets an initial tube range, and supplies a parameter indicating the set initial tube range to the tube cutting circuit 412. The tube cutout circuit 412 cuts out an area from the image data of the frame of interest f [0] according to the supplied parameters.
[0111]
Pixel data in the clipped area is supplied to the horizontal direction DR calculation circuit 413 and the vertical direction DR calculation circuit 414. The horizontal DR calculation circuit 413 sequentially calculates horizontal DR by scanning the supplied pixel data in the horizontal direction. The horizontal DR calculation circuit 413 further determines the maximum of the calculated horizontal DRs and supplies the determined horizontal DR to the tube range determination circuit 416.
[0112]
The vertical DR calculation circuit 414 sequentially calculates DR in the vertical direction by scanning the supplied pixel data in the vertical direction. The vertical DR calculation circuit 414 further determines the maximum of the calculated vertical DRs and supplies the determined vertical DR to the tube range determination circuit 416. The tube range determination circuit 416 finally determines the tube range at that time as a tube range for motion vector calculation processing when both the supplied horizontal and vertical DRs exceed a preset threshold value. .
[0113]
On the other hand, when at least one of the supplied horizontal and vertical DRs is equal to or less than a preset threshold value, the tube range determination circuit 416 sets a parameter indicating the tube range at that time as a tube range update circuit. 415 is supplied. The tube range update circuit 415 generates a parameter for cutting out a new area based on the supplied parameter, and supplies the generated parameter to the tube cutting circuit 412. The tube cutout circuit 412 cuts out an area related to a new setting from the image data of the frame of interest f [0].
[0114]
With the configuration and operation as described above, as described above with reference to FIG. 14A, until the maximum value of both the horizontal and vertical DR exceeds the preset threshold value, the condition of the tube range is satisfied. A process of expanding a region cut out as a candidate in a stepwise manner from the region related to the initial setting is performed, and as a result, a tube range used for a calculation process for motion vector detection is finally determined.
[0115]
Here, the size of the initial cutout area, the ratio of area enlargement when cutting out a new area, the threshold value for DR, and the like can be arbitrarily set. In addition, the size of the region cut out as a candidate for the tube range, the threshold value for DR, and the like can be arbitrarily set. Further, as a new area, in addition to an area obtained by enlarging a previously cut out area, an area obtained by rotating or reducing the cut out area may be used. Further, as described above with reference to FIG. 14B, the density of pixels in a region cut out as a tube range candidate may be changed.
[0116]
In the above description, the tube range is determined based on the horizontal and vertical DRs of the region to be cut out. However, the DR of the entire region to be cut out, the variance of the whole region to be cut out, etc. It is also possible to calculate and determine the pipe range according to the calculation result.
[0117]
The parameter indicating the tube range determined by the tube range determining unit 41 is supplied from the tube range determining circuit 416 to the linear parameter initial setting circuit 421 in the motion vector calculating unit 42. The straight line parameter initial setting circuit 421 initializes the straight line parameters and supplies the initially set straight line parameters to the parallel straight line initial setting circuit 422. Corresponding to the straight line parameters, a tube is defined as a collection of mutually parallel straight lines in xyt space that passes through each pixel in the tube range. The parallel straight line initial setting circuit 422 generates a parameter for designating one of the parallel straight lines constituting the tube as a default setting straight line, and supplies the generated parameter to the pixel cutout circuit 423.
[0118]
The pixel cutout circuit 423 is further supplied with image data of each frame from the frames f [−2] to f [+2]. The pixel cutout circuit 423 cuts out pixels in each frame located on the initial installation straight line. Pixel data relating to the cut out pixels is supplied to the dispersion calculation and addition circuit 424.
[0119]
The variance calculation and addition circuit 424 performs processing for calculating variance based on the supplied pixel data, and processing for adding the calculated values to calculate the total variance. Further, every time the calculation and addition of the variance based on the image data supplied from the pixel cutout circuit 423 is completed, the variance calculation and addition circuit 424 supplies information indicating that to the parallel line update circuit 426.
[0120]
The parallel straight line update circuit 426 generates a parameter indicating a parallel straight line constituting the tube that has not been used for the pixel cut out by the pixel cut out circuit 423, and supplies the generated parameter to the pixel cut out circuit 423. The pixel cutout circuit 423 cuts out pixel data related to pixels in each frame located on the straight line corresponding to the supplied parameter, and supplies the cut out pixel data to the dispersion calculation and addition circuit 424.
[0121]
As a result of the operations of the straight line parameter initial setting circuit 421, the parallel straight line initial setting circuit 422, the pixel cutout circuit 423, the dispersion calculation and addition circuit 424, and the parallel straight line update circuit 426, the following processing is performed. That is, the variance of the pixels in each frame located on each straight line in the tube is calculated in order from the straight line according to the initial setting, and the calculated value is added to calculate the total variance. Then, the total variance is supplied to the variance total determination and linear parameter holding circuit 425.
[0122]
Each time the variance total sum determination and linear parameter holding circuit 425 is supplied with the total variance, it supplies information indicating that to the linear parameter update circuit 427. Further, the variance sum determination and linear parameter holding circuit 425 performs determination based on the supplied sum of variances, and holds linear parameters based on the determination result.
[0123]
Based on the supplied information, the straight line parameter update circuit 427 newly sets a straight line parameter relating to a pipe that has not yet been subjected to calculation of the sum of variances and determination processing based on the sum of variances. Is supplied to the parallel straight line initial setting circuit 422. Based on such straight line parameters, the pixel cutout circuit 423, the dispersion calculation and addition circuit 424, and the parallel straight line update circuit 426 perform the processing as described above. In this way, for each of the tubes defined by setting the straight line parameters, the sum of the variance of the pixels in each frame located on the straight line in the tube is sequentially calculated, and the calculated sum of the variances is calculated. Based on the determination.
[0124]
The variance sum determination and linear parameter holding circuit 425 performs determination based on the variance sum by performing, for example, the following processing. First, the sum of the variances for the tubes relating to the initially set linear parameters supplied first from the variance calculation and addition circuit 424 is held, and the initialized linear parameters are held.
[0125]
Next, the sum of the variances for the tube relating to the second linear parameter set by the linear parameter update circuit 427, which is further supplied from the variance calculation and addition circuit 424, is defined by the initial linear parameter. Is compared with the sum of the variances for, and the sum of the smaller variances is retained, and the linear parameter relating to the sum of the smaller variances is retained.
[0126]
Thereafter, the sum of the variances for the tubes related to the linear parameters set in the third, fourth,... By the linear parameter update circuit 427, which is further supplied from the variance calculation and addition circuit 424, is held at that time. Compared with the sum of variances, the sum of the smaller variances is held, and the linear parameter related to the sum of the smaller variances is held.
[0127]
By performing such processing for each of the tubes defined by the parallel straight line initial setting circuit 422 and the straight line parameters set by the straight line parameter updating circuit 427, the minimum dispersion is finally obtained as the total sum of dispersions to be held. Determined. Then, a linear parameter related to the minimum sum of variances is output to the motion vector calculation circuit 428. The motion vector calculation circuit 428 calculates a motion vector based on the supplied linear parameter.
[0128]
In the above-described fourth embodiment of the present invention, DR and the like are sequentially calculated for a region cut out as a tube range candidate, the region when the calculated value exceeds the threshold value is adopted as the tube range, and the linear parameter is set. Sequentially calculate the sum of the variances of the pixels in each frame located on each of the parallel straight lines in the tube defined by, determine the tube with the smallest calculated value, and determine the linear parameters for the determined tube Based on this, a motion vector is calculated.
[0129]
On the other hand, DR etc. may be calculated in parallel for each of the regions cut out as candidates for the tube range, the calculated values may be compared, and the tube range may be determined based on the comparison result.
[0130]
In addition, the sum of the variances is minimized by calculating in parallel the sum of the variances of the pixels on each frame located on each of the parallel straight lines in the tube defined by the straight line parameters, and comparing the calculated values. Such a tube may be determined, and a motion vector may be calculated based on a linear parameter related to the determined tube.
[0131]
From such a viewpoint, the fifth embodiment of the present invention described below is possible. An example of the configuration of the fifth embodiment of the present invention is shown in FIG. The input image is input to the frame memory unit 10. The frame memory unit 10 has been described above with reference to FIG. The image data of the frame of interest f [0] is extracted from the frame memory fm [0] by the area extraction circuit 511 in the tube range determination unit 51 ₁ , 511 ₂ , ..., 511 ₁₉ To be supplied. Also, the image data of f [−2] to f [+2] is obtained from the frame memories fm [−2] to fm [+2], and the linear parameter estimation circuit 521 in the motion vector calculation unit 52 is obtained. ₁ 521 ₂ ,..., 521 ₁₄₄ To be supplied.
[0132]
Area extraction circuit 511 ₁ , 511 ₂ , ..., 511 ₁₉ Are the 0th to 11th, 0th to 22nd,..., 0th to 209 (= 11 × 19) th pixels in the horizontal and vertical directions, respectively, from the supplied image data of the target frame f [0]. Cut out a rectangular area containing. The image data of the clipped area is respectively converted into the horizontal DR calculation circuit 513. ₁ 513 ₂ 513 ₁₉ And vertical DR calculation circuit 514 ₁ 514 ₂ 514, 514 ₁₉ To be supplied.
[0133]
Horizontal DR calculation circuit 513 ₁ ~ 513 ₁₉ And vertical DR calculation circuit 514 ₁ ~ 514 ₁₉ Calculates horizontal and vertical DR based on the supplied image data, and supplies the calculated value to the comparison circuit 515. The comparison circuit 515 determines the tube range by comparing each supplied calculation value.
[0134]
Here, the size of the initial cutout area, the ratio of area enlargement when cutting out a new area, the threshold value for DR, and the like can be arbitrarily set. Further, as a new area, in addition to an area obtained by enlarging an area cut out before that, an area obtained by rotating or reducing an area cut out before that may be used. Further, as described above with reference to FIG. 14B, the density of the pixels in the region to be cut out may be changed.
[0135]
In the above description, the tube range is determined by determining the threshold value for the horizontal and vertical DRs of the region to be cut out. However, the threshold value determination is performed for the DR of the entire region to be cut out. The tube range may be determined by performing the above. Further, the variance of the entire area may be calculated as an amount representing the activity of the extracted area, and the pipe range may be determined according to the calculation result.
[0136]
A parameter indicating the range determined by the tube range determination unit 51 is supplied to the pixel reading circuits 521 to 525 in the motion vector calculation unit 52. Each of the pixel reading circuits 521 to 525 reads and holds image data corresponding to the supplied pixel position information from the frame memories fm [−2] to fm [+2].
[0137]
In the following description, an example in which a region including 0th to 11th pixels in the horizontal and vertical directions, that is, a region including 12 × 12 = 144 pixels is employed as the tube range will be described. As described above, the straight line parameter is expressed as a relative pixel position of a pixel in the search range with respect to a pixel in the tube range. In this example, the number of linear parameters is 17 × 17 = 289 (−8, −8), (−7, −8),..., (+8, +8).
[0138]
Corresponding to each of these linear parameters, the pixel extraction circuit 526 ₁ 526 ₂ ,..., 526 ₂₈₉ Is provided. Pixel extraction circuit 526 ₁ 526 ₂ ,..., 526 ₂₈₉ Extract the pixel data in each frame located on the parallel straight line in the pipe related to each straight line parameter (144 lines in this example for one straight line parameter) from the data held in the pixel reading circuits 5201 to 5205 To do. The extracted pixel data is obtained from the variance sum calculation circuit 527. ₁ 527 ₂ 527 ₂₈₉ Are supplied respectively.
[0139]
Distributed sum calculation circuit 527 ₁ ~ 527 ₂₈₉ Calculates the sum of variances based on the supplied pixel data, and supplies the calculated sum of variances to the variance sum comparison circuit 528. The total variance comparison circuit 528 identifies the linear parameter when the total variance is minimized by comparing the total variance supplied, and outputs the identified linear parameter. The motion vector calculation circuit 529 supplies the supplied linear parameter to the motion vector calculation circuit 529. The motion vector calculation circuit 529 calculates a motion vector based on the supplied linear parameter.
[0140]
Distributed sum calculation circuit 527 ₁ ~ 527 ₂₈₉ An example of the configuration is shown in FIG. Such an example is based on the premise that the tube range includes the 0th to 11th pixels in the horizontal and vertical directions. Distributed calculation circuit 61 ₁ , 61 ₂ , 61 ₁₄₄ Extracts the pixels in each frame located on each straight line constituting the tube specified by the straight line parameter from the data held in the pixel reading circuits 521 to 525, and calculates the variance of the extracted pixels.
[0141]
Distributed calculation circuit 61 ₁ , 61 ₂ , 61 ₁₄₄ Is output to the adder 62. The adder 62 calculates the total sum of variances by adding the supplied calculated values.
[0142]
The configurations and operations described above with reference to FIGS. 22 and 23 are based on the assumption that a region including the 0th to 11th pixels in the horizontal and vertical directions is adopted as the tube range. On the other hand, the present invention can also be applied to a case where a region including a larger number of pixels is adopted as the tube range. In such a case, a configuration may be employed in which more distributed calculation circuits are provided, or control may be performed so that the distributed calculation circuits are operated in a time division manner.
[0143]
In addition, in the example of the configuration described above with reference to FIG. 22, an area including 17 pixels in the vertical and horizontal directions and a total of 289 pixels is used as the search range. It is not limited to and can be set arbitrarily.
[0144]
In the fourth and fifth embodiments of the present invention described above, for each of the parallel straight lines constituting the tube specified by the straight line parameter, the variance of the pixels located on the straight line is calculated, and the sum of the calculated values is calculated. The motion vector is determined based on the linear parameter at the time of the minimum. On the other hand, for each of the parallel straight lines constituting the tube, the sum of the absolute value of the difference between each pixel value and the average value of the pixels located on the straight line is calculated, and the linear parameter when the calculated value is minimized is calculated. The motion vector may be determined on the basis of it.
[0145]
Further, for each of the parallel straight lines constituting the tube, the sum of the differences between adjacent pixels of the pixels located on the straight line is calculated, and the motion vector is calculated based on the straight line parameter when the sum of the calculated values is the minimum. Anyway. Alternatively, the DR of pixels located on the straight line constituting each tube may be calculated, and the motion vector may be calculated based on the calculated value.
[0146]
In the first to fifth embodiments of the present invention, the motion vector is calculated based on the image data of five frames including the frame of interest. However, the present invention is not limited to this. For example, the motion vector calculation process may be performed based on image data of three frames including the frame of interest.
[0147]
The present invention is not limited to the first to fifth embodiments of the present invention described above, and various modifications and applications can be made without departing from the gist of the present invention.
[0148]
【The invention's effect】
According to the present invention, the motion vector is calculated based on the result of the arithmetic processing performed based on the pixel values of the pixels in the plurality of frames located on the plurality of straight lines passing through the plurality of pixels in the frame of interest in space-time. Calculated. For this reason, it is possible to reduce the influence of noise on the motion vector calculation processing. Further, even if the noise level changes variously, processing corresponding to the noise level can be performed.
[0149]
In particular, when a region in a frame of interest including a plurality of pixels through which a straight line passes, such as a voting range and a tube range, is variably set based on the DR of the pixel value of the pixel in the region as a standard It is possible to perform appropriate processing according to the size of the object. That is, it is possible to perform appropriate processing for fine object movements by using a smaller voting range or tube range.
[0150]
In addition, by using a larger voting range or tube range in the flat portion, it is possible to appropriately perform motion vector detection in the flat portion, which is likely to be erroneous in block matching performed under a fixed block size.
[0151]
In general, the amount of calculation depends on the size of the voting range and the tube range, but in many cases, it is possible to detect a motion vector with high accuracy with a smaller amount of calculation compared to the block matching method. Further, unlike the case of using block matching or the like, it is not necessary to detect motion for each frame.
[0152]
In particular, when the motion vector is calculated by the method as described above, and the position of the class tap and the prediction tap when performing the class classification adaptive processing is set according to the calculated motion vector, for example, 5 frames Minute tap placement can be determined at a time. Further, in this case, as a result of the class classification adaptive processing, it is possible to prevent or reduce image quality deterioration that causes a tail in a moving part, and to remove noise without causing spatial blur in the image. it can.
[0153]
Also, in this case, unlike the case of using block matching or the like, the tap arrangement is not extremely different by one frame due to partial misdetection of motion vectors, so that processing such as noise removal can be performed efficiently. It can be carried out.
[Brief description of the drawings]
FIG. 1 is a block diagram for explaining a previously proposed configuration for noise removal;
2 is a schematic diagram for explaining a tap structure in the configuration shown in FIG. 1; FIG.
FIG. 3 is a block diagram for explaining a configuration relating to noise removal in the first embodiment of the present invention;
FIG. 4 is a block diagram for explaining a configuration related to generation of a prediction coefficient in the first embodiment of the present invention.
FIG. 5 is a block diagram illustrating an example of a configuration related to noise addition.
FIG. 6 is a block diagram illustrating another example of a configuration related to noise addition.
FIG. 7 is a block diagram showing still another example of a configuration related to noise addition.
FIG. 8 is a schematic diagram for explaining in principle the setting of the tap position in the first embodiment of the present invention;
FIG. 9 is a schematic diagram for illustrating a basic tap structure according to the first embodiment of the present invention.
FIG. 10 is a flowchart for explaining processing relating to setting of a tap position in the first embodiment of the present invention;
FIG. 11 is a schematic diagram for explaining an outline of second to fifth embodiments of the present invention;
FIG. 12 is a block diagram for explaining a configuration of a second embodiment of the present invention.
FIG. 13 is a schematic diagram for explaining processing for setting a voting range;
FIG. 14 is a schematic diagram illustrating an example of a set voting range.
FIG. 15 is a schematic diagram for explaining a straight line parameter;
FIG. 16 is a schematic diagram for explaining a motion vector calculated for each frame;
FIG. 17 is a block diagram for explaining a configuration of a third embodiment of the present invention;
FIG. 18 is a block diagram for explaining in detail the configuration of a part of the third embodiment of the present invention;
FIG. 19 is a schematic diagram for explaining an example of a hierarchical search;
FIG. 20 is a schematic diagram for explaining another example of the hierarchical search.
FIG. 21 is a block diagram for explaining a configuration of a fourth embodiment of the present invention.
FIG. 22 is a block diagram for explaining in detail the configuration of a part of the fifth embodiment of the present invention;
FIG. 23 is a block diagram for explaining in detail a configuration of a fifth embodiment of the present invention;
FIG. 24 is a block diagram for explaining a conventional technique.
[Explanation of symbols]
26 ... Tap arrangement determining unit, 46 ... Tap arrangement determining unit, 115 ... Voting range update circuit, 116 ... Voting range determining circuit, 124 ... Distributed calculation and linear parameter holding circuit, ..Linear parameter voting circuit, 222... Voting circuit, 415... Pipe range update circuit, 416... Pipe range determination circuit, 425. Parameter update circuit

Claims (21)

Extracting means for extracting a plurality of pixels located on a straight line passing through each target pixel and extending in the time direction for each target pixel including the target pixel in the image signal and a plurality of pixels located around the target pixel;
Similarity detection means for detecting similarity for each direction of a straight line based on pixel values of a plurality of pixels extracted for each direction of a straight line by the extraction means for each target pixel for each target pixel;
A motion vector detection device comprising: motion vector calculation means for calculating a motion vector for the pixel of interest based on the similarity detected for each direction of the straight line for each target pixel. The target pixel is
The motion vector detection apparatus according to claim 1, wherein the motion vector detection apparatus is set based on image data in a frame including the pixel of interest. A plurality of pixels in a frame including the target pixel are cut out, a dynamic range of pixel values of the cut out plurality of pixels is calculated, and the target pixel is determined based on the calculated dynamic range. 2. A motion vector detection device. 3. The motion vector according to claim 2, wherein a plurality of pixels in a frame including the target pixel are cut out, a variance of pixel values of the cut out plurality of pixels is calculated, and the target pixel is determined based on the calculated value. Detection device. The extraction means is:
2. The motion vector detection apparatus according to claim 1, wherein pixels located on the straight line are extracted from three or more frames including a frame including the pixel of interest. The similarity detection means includes:
Computing means for computing based on pixel values of a plurality of pixels extracted for each direction of the straight line by the extracting means;
The motion vector detection apparatus according to claim 1, further comprising similarity detection means for detecting the similarity based on an output of the calculation means. The computing means is
The motion vector detection device according to claim 6, wherein a variance of pixel values of the plurality of pixels is calculated. The similarity detection means includes:
8. The motion vector detection apparatus according to claim 7, wherein the degree of similarity is detected as the variance of pixel values of the plurality of pixels calculated by the calculation means decreases. The computing means is
The motion vector detection device according to claim 6, wherein a sum of absolute differences between adjacent pixels is calculated for pixel values of the plurality of pixels. The computing means is
The motion vector detection apparatus according to claim 6, wherein a dynamic range is calculated for pixel values of the plurality of pixels. The computing means is
7. The motion vector detection according to claim 6, wherein an average value of pixel values of the plurality of pixels is calculated, and a sum of absolute differences between the calculated average value and each of the pixel values of the plurality of pixels is calculated. apparatus. The motion vector calculation means includes
Voting means for voting a straight line parameter related to a straight line when the similarity is maximized for each target pixel;
2. The motion vector detecting device according to claim 1, further comprising motion vector computing means for computing a motion vector for the pixel of interest based on a voting result by the voting means. An extraction step of extracting a plurality of pixels located on a straight line that passes through each target pixel and extends in the time direction for each target pixel including the target pixel in the image signal and a plurality of pixels located around the target pixel;
A similarity detection step for detecting a similarity for each direction of the straight line based on pixel values of a plurality of pixels extracted for each direction of the straight line by the extraction step for each target pixel for each target pixel; ,
And a motion vector calculating step of calculating a motion vector for the target pixel based on the similarity detected for each direction of the straight line for each target pixel. A plurality of pixels located on the straight line are extracted for each of a straight line that passes through the pixel of interest in the image signal and extends in the time direction and a pixel that is positioned around the pixel of interest and is parallel to the straight line. Extraction means to
Similarity detection means for detecting similarity for each direction of the straight line based on a plurality of pixels extracted for each direction of the straight line by the extraction means;
A motion vector detection apparatus comprising: motion vector calculation means for calculating a motion vector for the pixel of interest based on a similarity detected for each direction of the straight line. Pixels located around the pixel of interest are
15. The motion vector detection device according to claim 14, wherein the motion vector detection device is set based on image data in a frame including the pixel of interest. The extraction means is:
15. The motion vector detection device according to claim 14, wherein pixels located on the straight line are extracted from three or more frames including a frame including the pixel of interest. The similarity detection means includes:
Computing means for computing based on pixel values of a plurality of pixels extracted for each direction of the straight line by the extracting means;
15. The motion vector detection device according to claim 14, further comprising similarity detection means for detecting the similarity based on an output of the calculation means. The computing means is
Variance for a plurality of pixels located on the straight line, extracted by the extraction means, and variance for a plurality of pixels located on a straight line passing through the pixels located around the pixel of interest and parallel to the straight line 18. The motion vector according to claim 17, further comprising: calculating a sum of absolute values of differences between pixels of a target frame and pixels of other frames, or a sum of absolute differences of adjacent pixels, and calculating a sum of calculated values. Detection device. A plurality of pixels located on the straight line are extracted for each of a straight line that passes through the pixel of interest in the image signal and extends in the time direction and a pixel that is positioned around the pixel of interest and is parallel to the straight line. An extraction step to
A similarity detection step of detecting a similarity for each direction of the straight line based on a plurality of pixels extracted for each direction of the straight line by the extraction step;
A motion vector detection method comprising: a motion vector calculation step for calculating a motion vector for the pixel of interest based on a similarity detected for each direction of the straight line. A plurality of frame memories for storing image signals for each frame;
First image cutting means for cutting out one or a plurality of pixels from each frame stored in the plurality of frame memories;
A class classification unit that detects a pattern of an image level distribution in a space-time based on a pixel value of a pixel cut out by the first image cut-out unit, and performs class classification according to the detection result;
A coefficient memory that stores a prediction coefficient predetermined for each class, and outputs one of the stored prediction coefficients corresponding to the class classification result by the class classification unit;
Second image cutting means for cutting out one or a plurality of pixels from each frame stored in the plurality of frame memories;
Output image generating means for generating an output image by performing an operation based on the output of the coefficient memory and the data of the image area cut out by the second image cutting out means;
Extraction means for extracting, for each target pixel including a target pixel in the image signal and a plurality of pixels located around the target pixel, a plurality of pixels positioned on a straight line that passes through each target pixel and extends in the time direction; , For each target pixel corresponding to each of the target pixels, a similarity is detected for each direction of the straight line based on pixel values of a plurality of pixels extracted by the extracting unit for each direction of the straight line. A motion vector detection means including a motion vector calculation means for calculating a motion vector for the target pixel based on the similarity detected for each direction of the straight line for each target pixel;
Clipping position determining means for setting the positions of pixels cut out by the first image cutting means and / or the second image cutting means based on the motion vector detected by the motion vector detecting means. An image signal processing apparatus. A storage step of storing an image signal for each frame;
A first image cutout step of cutting out one or more pixels from each frame stored by the storage step;
A class classification step of detecting a pattern of an image level distribution in the spatio-temporal based on a pixel value of a pixel cut out by the first image cutting step, and performing class classification according to the detection result;
A coefficient output step for storing a prediction coefficient determined in advance for each class, and outputting a result corresponding to the class classification result by the class classification means from among the stored prediction coefficients,
A second image cutout step of cutting out one or more pixels from each frame stored by the storage step;
An output image generation step of generating an output image by performing an operation based on the output of the coefficient output step and the data of the image region cut out by the second image cutout step;
An extraction step for extracting a plurality of pixels located on a straight line passing through each target pixel and extending in the time direction for each target pixel including the target pixel in the image signal and a plurality of pixels located around the target pixel; For each target pixel corresponding to each of the target pixels, a similarity is detected for each direction of the straight line based on pixel values of a plurality of pixels extracted for each direction of the straight line by the extraction step. A motion vector detection step including a similarity detection step, and a motion vector calculation step of calculating a motion vector for the target pixel based on the similarity detected for each direction of the straight line for each target pixel;
A cutout position determining step for setting a position of a pixel cut out by the first image cutout step and / or the second image cutout step based on the motion vector detected by the motion vector detection step. An image signal processing method characterized by the above.

Images