JP4022916B2

JP4022916B2 - Motion vector detection apparatus and method, recording medium, and program

Info

Publication number: JP4022916B2
Application number: JP2002296137A
Authority: JP
Inventors: 哲二郎近藤; 靖立平; 淳一石橋; 成司和田; 泰広周藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-10-09
Filing date: 2002-10-09
Publication date: 2007-12-19
Anticipated expiration: 2022-10-09
Also published as: JP2004134947A

Description

【０００１】
【発明の属する技術分野】
本発明は、動きベクトル検出装置および方法、記録媒体、並びにプログラムに関し、特に、動きベクトルを、迅速に検出することができるようにした動きベクトル検出装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
図１は、画像の動きを示す動きベクトルを利用して動画像を効率よく圧縮する従来の画像処理装置の動き検出部１の構成例を示している（例えば、特許文献１および特許文献２参照）。
【０００３】
フレームメモリ１１は、入力端子Tinから入力された画像信号の１フレーム分の画像情報を格納するとともに、格納している画像情報を、次に入力されたフレームの画像情報を格納するとき、フレームメモリ１２および特徴量抽出部１３に出力する。
【０００４】
フレームメモリ１２は、フレームメモリ１１から入力された１フレーム分の画像情報を格納するとともに、格納している画像情報を、次にフレームメモリ１１から入力されたフレームの画像情報を格納するとき、動きベクトル検出部１３に出力する。
【０００５】
動きベクトル検出部１３は、フレームメモリ１１から入力された１フレーム分の画像情報を、カレントフレームＦｃの画像情報とし、フレームメモリ１２から入力された１フレーム（フレームメモリ１１から入力されるフレームより１フレーム分過去のフレーム）分の画像情報を、参照フレームＦｒの画像情報として、ブロックマッチングにより動きベクトルを検出する。動きベクトル検出部１３は、検出した動きベクトルを、出力端子Toutを介して出力する。
【０００６】
ここで、ブロックマッチングのアルゴリズムについて、図２を参照して説明する。例えば、カレントフレームＦｃ上に、動きベクトルを検出するために注目する画素（注目画素）Ｐ（ｉ，ｊ）を中心としたＬ（画素数）×Ｌ（画素数）からなる基準ブロックＢｂ、並びに参照フレームＦｒ上に、注目画素Ｐ（ｉ，ｊ）の位置に対応するサーチエリアＳＲ、およびそのサーチエリアＳＲ内に、Ｌ（画素数）×Ｌ（画素数）の画素からなる参照ブロックＢｒｎ（n=１，２，・・・ｍ）がそれぞれ設定される。
【０００７】
次に、この基準ブロックＢｂの各画素と、参照ブロックＢｒｎの各画素間の差分の絶対値の和が、参照ブロックＢｒｎをサーチエリアＳＲ内の全域で水平方向、または、垂直方向に１画素ずつ移動することにより形成される参照ブロックＢｒ１乃至参照ブロックＢｒｍ（参照ブロックＢｒｎが、サーチエリアＳＲ内にｍ個設定できるものとする）のそれぞれについて算出される。
【０００８】
このようにして求められた基準ブロックＢｂの各画素と参照ブロックＢｒｎの各画素間の差分絶対値和が最小となる参照ブロックＢｒが、基準ブロックＢｂに最も近い（類似している）参照ブロックＢrとして求められる。そして、カレントフレームＦｃ上の注目画素Ｐ（ｉ，ｊ）に対応する参照フレームＦｒ上の画素Ｐ’（ｉ，ｊ）を始点とし、基準ブロックＢｂに最も近いものとして検出された参照ブロックＢｒｎの中心となる画素Ｐｎ（ｉ，ｊ）を終点とするベクトルが、注目画素Ｐ（ｉ，ｊ）の動きベクトルＶ（Ｖｘ，Ｖｙ）として出力される。
【０００９】
次に、図３のフローチャートを参照して、図１の動き検出部１の動き検出処理について説明する。
【００１０】
ステップＳ１において、動きベクトル検出部１３は、フレームメモリ１１から入力されたカレントフレームＦｃ上の注目画素Ｐ（ｉ，ｊ）の画素位置に応じて、サーチエリアＳＲを設定する。
【００１１】
ステップＳ２において、動きベクトル検出部１３は、基準ブロックＢｂの各画素の画素値と参照ブロックＢｒｎの各画素の画素値間の差分絶対値和の最小値を設定する変数minを初期化する。具体的には、変数minが、画素の階調数に基準ブロックＢｂを構成する画素数を乗じた値に設定される。例えば、１画素が８ビットのデータであり、基準ブロックＢｂが３画素×３画素である場合、１画素の階調数は、２５６階調（２５６色）（＝２の８乗）で、画素数は、９個となるので、変数minは、２３０４（＝２５６×９）に初期化される。
【００１２】
ステップＳ３において、動きベクトル検出部１３は、生成された参照ブロックＢｒの数をカウントするカウンタ変数ｎを１に初期化する。
【００１３】
ステップＳ４において、動きベクトル検出部１３は、基準ブロックＢｂと参照ブロックＢｒｎの画素間の差分絶対値和が代入される変数sumを０に初期化する。
【００１４】
ステップＳ５において、動きベクトル検出部１３は、基準ブロックＢｂと参照ブロックＢｒｎの画素間の差分絶対値和（＝sum）を求める。すなわち、動きベクトル検出部１３は、式（１）で示される演算を実行して、基準ブロックＢｂと参照ブロックＢｒｎの画素間の差分絶対値和を求める。式（１）中、Ｐ＿Ｂｂ（ｉ，ｊ）は、基準ブロックＢｂの各画素を、Ｐ＿Ｂｒｎ（ｉ，ｊ）は、基準ブロックＢｒｎの各画素を示している。
【数１】

【００１５】
ステップＳ６において、動きベクトル検出部１３は、変数minが変数sumよりも大きいか否かを判定し、大きいと判定した場合、ステップＳ７に進み、変数minを変数sumに更新し、その時点でのカウンタ変数ｎの値を動きベクトル番号として登録する。すなわち、今求めた差分絶対値和を示す変数sumが、最小値を示す変数minよりも小さいと言うことは、これまで演算したどの参照ブロックＢｒよりも、今演算している参照ブロックＢｒが基準ブロックＢｂに類似したものであるとみなすことができるので、動きベクトルを求める際の候補とされ、その時点でのカウンタｎが動きベクトル番号として登録される。
【００１６】
ステップＳ６において、変数minが変数sumよりも大きくないと判定された場合、ステップＳ７の処理はスキップされる。
【００１７】
ステップＳ８において、動きベクトル検出部１３は、カウンタ変数ｎがサーチエリアＳＲの参照ブロックＢｒの総数ｍであるか否か、すなわち、いまの参照ブロックＢｒが、参照ブロックＢｒｍであるか否かを判定し、例えば、総数ｍではないと判定した場合、ステップＳ９において、カウンタ変数ｎを１だけインクリメントして、ステップＳ４に戻る。
【００１８】
ステップＳ８において、カウンタ変数ｎがサーチエリアＳＲ内の参照ブロックＢｒの総数ｍである、すなわち、今の参照ブロックＢｒが参照ブロックＢｒｍであると判定された場合、ステップＳ１０において、動きベクトル検出部１３は、登録されている動きベクトル番号に基づいて動きベクトルを出力する。すなわち、ステップＳ４乃至Ｓ９が繰り返されることにより、差分絶対値和が最小となる参照ブロックＢｒｎに対応するカウンタ変数ｎが動きベクトル番号として登録されることになるので、動きベクトル検出部１３は、カレントフレームＦｃ上の注目画素Ｐ（ｉ，ｊ）に対応する参照フレームＦｒ上の画素Ｐ’（ｉ，ｊ）を始点とし、動きベクトル番号に対応する参照ブロックＢｒｎの中心となる画素Ｐｎ（ｉ，ｊ）を終点とするベクトルを、注目画素Ｐ（ｉ，ｊ）の動きベクトルＶ（Ｖｘ，Ｖｙ）として求めて出力する。
【００１９】
【特許文献１】
特開平０７−０８７４９４号公報
【００２０】
【特許文献２】
特開平０７−０５９０９３号公報
【００２１】
【発明が解決しようとする課題】
しかしながら、上述したブロックマッチングでは、式（１）における演算量が膨大となり、動きベクトルを迅速に検出することができない課題があった。
【００２２】
本発明はこのような状況に鑑みてなされたものであり、迅速に、かつ、精度良く、動きベクトルを検出することができるようにするものである。
【００２３】
【課題を解決するための手段】
本発明の第１の動きベクトル検出装置は、第１のフレームより時間的に前の第２のフレームの各画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレス毎に、画素の位置情報を記憶する記憶手段と、第１のフレームの注目画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレスに記憶されている位置情報を検出する第１の検出手段と、注目画素の画素値と、第１の検出手段により検出された位置情報で特定される第２のフレームの候補画素の画素値との差分を算出する算出手段と、注目画素の位置と、最小の差分が算出されたときの候補画素の位置とから、注目画素の動きベクトルを検出する第２の検出手段とを備えることを特徴とする。
【００２４】
注目画素の位置に対応したサーチエリアを設定する設定手段をさらに設け、算出手段には、注目画素の画素値と、サーチエリア内に位置する候補画素の画素値との差分を算出させることができる。
【００２６】
本発明の第１の動きベクトル検出方法は、第１のフレームより時間的に前の第２のフレームの各画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレス毎に、画素の位置情報を記憶する記憶ステップと、第１のフレームの注目画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレスに記憶されている位置情報を検出する第１の検出ステップと、注目画素の画素値と、第１の検出ステップの処理で検出された位置情報で特定される第２のフレームの候補画素の画素値との差分を算出する算出ステップと、注目画素の位置と、最小の差分が算出されたときの候補画素の位置とから、注目画素の動きベクトルを検出する第２の検出ステップとを含むことを特徴とする。
【００２７】
本発明の第１の記録媒体のプログラムは、第１のフレームより時間的に前の第２のフレームの各画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレス毎に、画素の位置情報を記憶する記憶ステップと、第１のフレームの注目画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレスに記憶されている位置情報を検出する第１の検出ステップと、注目画素の画素値と、第１の検出ステップの処理で検出された位置情報で特定される第２のフレームの候補画素の画素値との差分を算出する算出ステップと、注目画素の位置と、最小の差分が算出されたときの候補画素の位置とから、注目画素の動きベクトルを検出する第２の検出ステップとを含むことを特徴とする。
【００２８】
本発明の第１のプログラムは、第１のフレームより時間的に前の第２のフレームの各画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレス毎に、画素の位置情報を記憶する記憶ステップと、第１のフレームの注目画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレスに記憶されている位置情報を検出する第１の検出ステップと、注目画素の画素値と、第１の検出ステップの処理で検出された位置情報で特定される第２のフレームの候補画素の画素値との差分を算出する算出ステップと、注目画素の位置と、最小の差分が算出されたときの候補画素の位置とから、注目画素の動きベクトルを検出する第２の検出ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２９】
本発明の第１の動きベクトル検出装置および方法、並びにプログラムにおいては、第１のフレームより時間的に前の第２のフレームの各画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレス毎に、画素の位置情報が記憶され、第１のフレームの注目画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレスに記憶されている位置情報が検出され、注目画素の画素値と、検出された位置情報で特定される第２のフレームの候補画素の画素値との差分が算出され、注目画素の位置と、最小の差分が算出されたときの候補画素の位置とから、注目画素の動きベクトルが検出される。
本発明の第２の動きベクトル検出装置は、第１のフレームより時間的に前の第２のフレームの各画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレス毎に、画素の位置情報を記憶する記憶手段と、第１のフレームの注目画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレスに記憶されている位置情報を検出する第１の検出手段と、注目画素を含む基準ブロックに含まれる各画素の画素値と、第１の検出手段により検出された位置情報で特定される第２のフレームの候補画素を含む参照ブロックに含まれる各画素の画素値との差を算出し、足し合わせる算出手段と、算出手段による足し合わせの結果得られた値の中で最小の値が算出されたときの候補画素の位置と注目画素の位置とから、注目画素の動きベクトルを検出する第２の検出手段とを備えることを特徴とする。
本発明の第２の動きベクトル検出方法は、第１のフレームより時間的に前の第２のフレームの各画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレス毎に、画素の位置情報を記憶する記憶ステップと、第１のフレームの注目画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレスに記憶されている位置情報を検出する第１の検出ステップと、注目画素を含む基準ブロックに含まれる各画素の画素値と、第１の検出ステップで検出された位置情報で特定される第２のフレームの候補画素を含む参照ブロックに含まれる各画素の画素値との差を算出し、足し合わせる算出ステップと、算出ステップでの足し合わせの結果得られた値の中で最小の値が算出されたときの候補画素の位置と注目画素の位置とから、注目画素の動きベクトルを検出する第２の検出ステップとを含むことを特徴とする。
本発明の第２の記録媒体のプログラムは、第１のフレームより時間的に前の第２のフレームの各画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレス毎に、画素の位置情報を記憶する記憶ステップと、第１のフレームの注目画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレスに記憶されている位置情報を検出する第１の検出ステップと、注目画素を含む基準ブロックに含まれる各画素の画素値と、第１の検出ステップで検出された位置情報で特定される第２のフレームの候補画素を含む参照ブロックに含まれる各画素の画素値との差を算出し、足し合わせる算出ステップと、算出ステップでの足し合わせの結果得られた値の中で最小の値が算出されたときの候補画素の位置と注目画素の位置とから、注目画素の動きベクトルを検出する第２の検出ステップとを含むことを特徴とする。
本発明の第２のプログラムは、第１のフレームより時間的に前の第２のフレームの各画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレス毎に、画素の位置情報を記憶する記憶ステップと、第１のフレームの注目画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレスに記憶されている位置情報を検出する第１の検出ステップと、注目画素を含む基準ブロックに含まれる各画素の画素値と、第１の検出ステップで検出された位置情報で特定される第２のフレームの候補画素を含む参照ブロックに含まれる各画素の画素値との差を算出し、足し合わせる算出ステップと、算出ステップでの足し合わせの結果得られた値の中で最小の値が算出されたときの候補画素の位置と注目画素の位置とから、注目画素の動きベクトルを検出する第２の検出ステップとを含むことを特徴とする。
本発明の第２の動きベクトル検出装置及び方法、並びにプログラムおいては、第１のフレームより時間的に前の第２のフレームの各画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレス毎に、画素の位置情報が記憶され、第１のフレームの注目画素とその周辺に位置する画素の画素値から算出される特徴量に対応するアドレスに記憶されている位置情報が検出され、注目画素を含む基準ブロックに含まれる各画素の画素値と、検出された位置情報で特定される第２のフレームの候補画素を含む参照ブロックに含まれる各画素の画素値との差が算出されて、足し合わされ、足し合わせの結果得られた値の中で最小の値が算出されたときの候補画素の位置と注目画素の位置とから、注目画素の動きベクトルが検出される。
【００３０】
【発明の実施の形態】
図４は、画像の動きを示す動きベクトルを利用して動画像を効率よく圧縮する本発明を適用した画像処理装置の動き検出部５１の構成例を示している。
【００３１】
フレームメモリ６１は、入力端子Tinから入力された画像信号の１フレーム分の画像情報を格納するとともに、格納している画像情報を、次に入力されたフレームの画像情報を格納するとき、特徴量抽出部６２およびフレームメモリ６３に出力する。
【００３２】
特徴量抽出部６２は、フレームメモリ６１から供給されたフレーム（カレントフレームＦｃ）上の動きベクトルを検出するために注目する画素（注目画素Ｐ）の特徴量を抽出する。具体的には、例えば、式（２）に示すような、注目画素Ｐと、その周辺の８個の画素の画素値の関数ｆの値が特徴量とされる。式（２）中、ｉは、垂直方向を、ｊは、水平方向を、Ｌｉ，ｊは、位置（ｉ，ｊ）の画素値を示している。
【数２】

【００３３】
特徴量抽出部６２は、抽出した特徴量を、動きベクトル検出部６６に出力する。
【００３４】
フレームメモリ６３は、フレームメモリ６１から入力された１フレーム分の画像情報を格納するとともに、格納している画像情報を、次にフレームメモリ６１から入力されたフレームの画像情報を格納するとき、特徴量抽出部６４に出力する。
【００３５】
特徴量抽出部６４は、フレームメモリ６３から入力されたフレーム（参照フレームＦｒ）（特徴量抽出部６２で特徴量が抽出される注目画素のフレームより１フレーム分過去のフレーム）上の各画素の特徴量を、特徴量抽出部６２が注目画素Ｐの特徴量を抽出する場合と同様の方法で抽出する。特徴量抽出部６４は、抽出した、参照フレームＦｒ上の各画素の特徴量を、位置情報（例えば、座標情報）とともに、データベース制御部６５に供給する。
【００３６】
データベース制御部６５は、図５に示すような、特徴量アドレス０乃至ａと、フラグアドレス０乃至ｂによって示されるａ×ｂ個のセルにより構成されているデータベース７１を有している。データベース制御部６５は、特徴量抽出部６４から供給された、参照フレームＦｒの各画素の位置情報を、それとともに供給された特徴量に対応する特徴量アドレスに対応付けて、フラグアドレス１乃至ｂの順に格納する。フラグアドレス０には、現在、その特徴量アドレスに格納されている位置情報の数が格納される。
【００３７】
例えば、特徴量アドレス１に、１つの位置情報が格納されており（フラグアドレス１に格納されており）、フラグアドレス０（セル（１，０））に１が格納されている場合において、特徴量アドレス１に対応する特徴量の入力があったとき、その特徴量とともに入力された位置情報は、特徴量アドレス１に対応するフラグアドレス２（セル（１，２））に格納され、フラグアドレス０（セル（１，０））の値は、インクリメントされて２となる。
【００３８】
図４に戻り、動きベクトル検出部６６は、特徴量抽出部６２から供給されたカレントフレームＦｃ上の注目画素Ｐの特徴量と、データベース制御部６５のデータベース７１に設定されている参照フレームに関する情報（以下、参照フレーム特徴量情報と称する）を利用して、注目画素Ｐに対応する動きベクトルを検出する。
【００３９】
例えば、動きベクトル検出部６６は、カレントフレームＦｃの注目画素Ｐの画素値と、データベース７１において、注目画素Ｐの特徴量に対応する特徴量アドレスに対応付けられて設定されている各位置情報により特定される参照フレームＦｒ上の各画素（以下、適宜、候補画素と称する）の画素値との差分の絶対値をそれぞれ算出する。そして動きベクトル検出部６６は、差分絶対値の最小値が算出されたときの候補画素（参照画素）を検出するとともに、カレントフレームＦｃ上の注目画素Ｐに対応する参照フレームＦｒ上の画素を始点とし、参照画素を終点とするベクトルを、注目画素Ｐの動きベクトルとして検出する。
【００４０】
次に、データベース７１（参照フレーム特徴量情報）を生成する場合のデータベース制御部６５の動作を、図６のフローチャートを参照して説明する。
【００４１】
ステップＳ３１において、データベース制御部６５は、データベース７１を初期化する。全てのフラグアドレス０のセルに０が書き込まれ、フラグアドレス１乃至ｂに格納されている位置情報が消去される。
【００４２】
次に、ステップＳ３２において、データベース制御部６５は、フレーム内の画素数をカウントするカウンタ変数ｎを０に初期化する。
【００４３】
ステップＳ３３において、データベース制御部６５は、特徴量抽出部６４から、参照フレームＦｒ上の１個の画素の特徴量とその位置情報を取得する。
【００４４】
次に、ステップＳ３４において、データベース制御部６５は、データベース７１の、取得した特徴量に対応する特徴量アドレスを検出するとともに、検出した特徴量アドレスの、フラグアドレス０に設定されている値Kを１だけインクリメントする。
【００４５】
ステップＳ３５において、データベース制御部６５は、ステップＳ３３で取得した位置情報を、ステップＳ３４で検出した特徴量アドレスのフラグアドレスＫ＋１に設定する。
【００４６】
ステップＳ３６において、データベース制御部６５は、カウンタ変数ｎを１だけインクリメントする。
【００４７】
次に、ステップＳ３７において、データベース制御部６５は、カウンタ変数ｎ＝1フレームの画素数であるか否かを判定し、カウンタ変数ｎ＝１フレームの画素数ではないと判定した場合、ステップＳ３３に戻り、それ以降の処理を行う。ステップＳ３７で、カウンタ変数ｎ＝１フレームの画素数であると判定された場合、すなわち、データベース７１に、参照フレームＦｒの各画素の位置情報が、その特徴量に対応する特徴量アドレスに対応付けられて設定されたとき、処理は終了する。
【００４８】
以上のようにしてデータベース７１（参照フレーム特徴量情報）が生成される。
【００４９】
次に、動きベクトル検出処理を、図７のフローチャートを参照して説明する。
【００５０】
ステップＳ５１において、動きベクトル検出部６６は、特徴量抽出部６２から、カレントフレームＦｃの注目画素Ｐの特徴量を取得すると、ステップＳ５２において、データベース制御部６５のデータベース７１から、ステップＳ５１で取得した特徴量に対応する特徴量アドレスに対応付けられて設定されている位置情報の１つを読み取る。
【００５１】
次に、ステップＳ５３において、動きベクトル検出部６６は、注目画素Ｐの画素値を、フレームメモリ６１から読み取り、ステップＳ５４において、ステップＳ５２で読み取った位置情報により特定される参照フレームＦｒの画素（候補画素）の画素値を、フレームメモリ６３から読み取る。
【００５２】
ステップＳ５５において、動きベクトル検出部６６は、ステップＳ５３で読み取った注目画素Ｐの画素値と、ステップＳ５４で読み取った候補画素の画素値の差分絶対値を算出する。
【００５３】
次に、ステップＳ５６において、動きベクトル検出部６６は、ステップＳ５１で取得した特徴量に対応する特徴量アドレスに対応付けられている位置情報のすべてを読み取ったか否かを判定し、読み取っていない位置情報がまだ残っていると判定した場合、ステップＳ５２に戻って次の位置情報をデータベース７１から読み取り、それ以降の処理を実行する。
【００５４】
ステップＳ５６で、すべての位置情報が読み取られたと判定された場合（すべての候補画素との差分絶対値が算出されたとき）、ステップＳ５７に進み、動きベクトル検出部６６は、ステップＳ５５で算出した差分絶対値の最小値が算出されたときの候補画素を検出する。
【００５５】
次に、ステップＳ５８において、動きベクトル検出部６６は、カレントフレームＦｃの注目画素Ｐに対応する参照フレームＦｒ上の画素を始点とし、ステップＳ５７で検出した候補画素（参照画素）を終点とするベクトルを、注目画素Ｐの動きベクトルとして検出する。
【００５６】
すなわちこの動きベクトル検出方法では、例えば、データベース７１において、図８に示すカレントフレームＦｃの注目画素Ｐの特徴量に対応する特徴量アドレスに、図８に示す参照フレームＦｒ上の３個の候補画素Ｐｒ１乃至Ｐｒ３の位置情報が設定されている場合、注目画素Ｐの画素値と、各候補画素Ｐｒ１乃至Ｐｒ３の画素値との差分絶対値がそれぞれ算出され、最も小さい差分絶対値が算出された候補画素Ｐｒが参照画素として検出される。そしてカレントフレームＦｃの注目画素Ｐに対応する参照フレームＦｒ上の画素を始点とし、検出された参照画素を終点とするベクトルが、注目画素Ｐの動きベクトルとして検出される。
【００５７】
図７に戻り、ステップＳ５９において、動きベクトル検出部６６は、カレントフレームＦｃのすべての画素の特徴量を、特徴量抽出部６２から取得したか否かを判定し、特徴量を取得してない画素がカレントフレームＦｃ上にまだ残っていると判定した場合、ステップＳ５１に戻って次の注目画素Ｐの特徴量を取得し、それ以降の処理を実行する。
【００５８】
ステップＳ５９で、カレントフレームＦｃ上のすべての画素の特徴量が取得されたと判定された場合、すなわちカレントフレームＦｃのすべての画素に対応する動きベクトルが検出されたとき、処理は終了する。
【００５９】
なお以上において候補画素は、注目画素Ｐの特徴量に対応する特徴量アドレスに対応付けられている位置情報で特定される画素とされたが、その画素の周辺の画素をさらに候補画素とすることもできる。
【００６０】
例えば、図９の例の場合、画素Ｐｒ１乃至Ｐｒ３と、それらを中心とする所定の大きさのブロックの４隅の画素Ｐｒ１１乃至Ｐｒ１４，Ｐｒ２１乃至Ｐｒ２４，Ｐｒ３１乃至Ｐｒ３４が候補画素となる。
【００６１】
また、すべての候補画素の周辺画素ではなく、候補画素の信頼度を評価して信頼度が最も高かった候補画素の周辺画素のみを候補画素に含めることもできる。なお信頼度が最も高いとは、例えば、注目画素Ｐとの差分絶対値が最も小さいことを意味する。
【００６２】
例えば、図１０の場合、画素Ｐｒ１乃至Ｐｒ３と、信頼度が最も高かった画素Ｐｒ１の周辺の４個の画素Ｐｒ１１乃至画素Ｐｒ１４が候補画素となる。
【００６３】
また、図９に示したように、注目画素Ｐの特徴量に対応する特徴量アドレスに応付けられている位置情報で特定される画素（以下、第１の候補画素と称する）と、それの周辺の画素（以下、第２の候補画素と称する）とを候補画素とするが、ステップＳ５５での算出結果に、第１の候補画素の信頼度に応じた重み付けをすることができる。
【００６４】
例えば、画素Ｐｒ１乃至画素Ｐｒ３の評価値が、それぞれ評価値Ｈ１乃至評価値Ｈ３とあった場合、画素Ｐｒ１と画素Ｐｒ１１乃至Ｐｒ１４について得られたステップＳ５５での差分絶対値のそれぞれには評価値Ｈ１が乗算され、画素Ｐｒ２と画素Ｐｒ２１乃至Ｐｒ２４について得られたステップＳ５５での差分絶対値のそれぞれには評価値Ｈ２が乗算され、そして画素Ｐｒ３と画素Ｐｒ３１乃至Ｐｒ３４について得られたステップＳ５５での差分絶対値のそれぞれには評価値Ｈ３が乗算される。
【００６５】
次に、他の動きベクトル検出処理を、図１１のフローチャートを参照して説明する。
【００６６】
ステップＳ７１において、動きベクトル検出部６６は、特徴量抽出部６２から、カレントフレームＦｃの注目画素Ｐの特徴量を取得すると、ステップＳ７２において、注目画素Ｐの位置に対応したサーチエリアＳＲを設定する。
【００６７】
次に、ステップＳ７３において、動きベクトル検出部６６は、データベース制御部６５のデータベース７１において、ステップＳ７１で取得した特徴量に対応する特徴量アドレスに対応付けられて設定されている位置情報のうち、ステップＳ７２で設定したサーチエリアＳＲ内の画素の位置情報を読み取る。
【００６８】
ステップＳ７４において、動きベクトル検出部６６は、ステップＳ７３で読み取った位置情報の１つの選択する。
【００６９】
ステップＳ７５乃至ステップＳ７７においては、図７のステップＳ５３乃至ステップＳ５５における場合と同様の処理が行われるので、その説明は省略する。
【００７０】
ステップＳ７８において、動きベクトル検出部６６は、ステップＳ７３で読み取ったサーチエリアＳＲ内の位置情報のすべてを選択したか否かを判定し、選択されていない位置情報がまだ残っていると判定した場合、ステップＳ７４に戻って次の位置情報を選択し、それ以降の処理を実行する。
【００７１】
ステップＳ７８で、すべての位置情報が選択されたと判定された場合（サーチエリア内のすべての候補画素との差分絶対値が算出されたとき）、ステップＳ７９に進む。
【００７２】
ステップＳ７９乃至ステップＳ８１においては、図７のステップＳ５７乃至ステップＳ５９における場合と同様の処理が行われるので、その説明は省略する。
【００７３】
すなわちこの例の場合、データベース７１において、例えば、図１２に示すカレントフレームＦｃの注目画素Ｐの特徴量に対応する特徴量アドレスに、図１２に示す参照フレームＦｒ上の３個の候補画素Ｐｒ１乃至Ｐｒ３の位置情報が設定されている場合、そのうちの、設定されたサーチエリアＳＲ内の候補画素Ｐｒ２，Ｐｒ３の画素値について差分絶対値が算出され、そのうち最も小さい差分絶対値が算出されたときの候補画素Ｐｒが参照画素として検出される。
【００７４】
このようにサーチエリアＳＲ内の候補画素についてのみ差分絶対値が算出されるので、動きベクトル検出をより迅速に行うことができる。
【００７５】
なお、この例の場合においても、候補画素を、図９および図１０を参照して上述したように決定したり、ステップＳ７７で算出される差分絶対値に重み付けすることができる。
【００７６】
次に、他の動きベクトル検出処理を、図１３のフローチャートを参照して説明する。
【００７７】
ステップＳ９１において、動きベクトル検出部６６は、特徴量抽出部６２から、カレントフレームＦｃの注目画素Ｐの特徴量を取得すると、ステップＳ９２において、注目画素Ｐを中心とする基準ブロックＢｂを生成する。
【００７８】
次に、ステップＳ９３において、動きベクトル検出部６６は、データベース制御部６５のデータベース７１から、ステップＳ９１で取得した特徴量に対応する特徴量アドレスに対応付けられて設定されている位置情報の１つを読み取る。
【００７９】
ステップＳ９４において、動きベクトル検出部６６は、ステップＳ９３で読み取った位置情報により特定される画素（候補画素）を中心とする参照ブロックＢｒを生成する。
【００８０】
次に、ステップＳ９５において、動きベクトル検出部６６は、ステップＳ９２で生成した基準ブロックＢｂの各画素の画素値と、ステップＳ９４で生成した参照ブロックＢｒの各画素の画素値との差分絶対値和を算出する。
【００８１】
ステップＳ９６において、動きベクトル検出部６６は、ステップＳ９１で取得した特徴量に対応する特徴量アドレスに対応付けられている位置情報のすべてを読み取ったか否かを判定し、読み取られていない位置情報がまだ残っていると判定した場合、ステップＳ９３に戻り、次の位置情報を読み取る。
【００８２】
ステップＳ９６で、すべての位置情報が読み取られたと判定された場合（すべての候補画素についての差分絶対値和が算出されたとき）、ステップＳ９７に進み、動きベクトル検出部６６は、ステップＳ９５で算出した差分絶対値和の最小値が算出されたときの候補画素（参照画素）を検出する。
【００８３】
ステップＳ９８において、動きベクトル検出部６６は、カレントフレームＦｃの注目画素Ｐに対応する参照フレームＦｒ上の画素を始点とし、ステップＳ９７で検出された参照画素を終点とするベクトルを、注目画素Ｐの動きベクトルとして検出する。
【００８４】
ステップＳ９９においては、図７のステップＳ５９における場合と同様の処理が行われるので、その説明は省略する。
【００８５】
なお、この例の場合においても、候補画素を、図９および図１０を参照して上述したように決定したり、ステップＳ９５で算出される差分絶対値和に重み付けすることができる。
【００８６】
次に、他の動きベクトル検出処理を、図１４のフローチャートを参照して説明する。
【００８７】
ステップＳ１１１において、動きベクトル検出部６６は、特徴量抽出部６２から、カレントフレームＦｃの注目画素Ｐの特徴量を取得すると、ステップＳ１１２において、注目画素Ｐを中心とする基準ブロックＢｂを生成する。
【００８８】
次に、ステップＳ１１３において、動きベクトル検出部６６は、注目画素Ｐの位置に対応するサーチエリアＳＲを設定する。
【００８９】
ステップＳ１１４において、動きベクトル検出部６６は、データベース制御部６５のデータベース７１において、ステップＳ１１１で取得した特徴量に対応する特徴量アドレスに対応付けられて設定されている位置情報のうち、ステップＳ１１３で設定したサーチエリアＳＲ内の画素の位置情報を読み取る。
【００９０】
次に、ステップＳ１１５において、動きベクトル検出部６６は、ステップＳ１１４で読み取った位置情報の１つを選択する。
【００９１】
ステップＳ１１６，１１７においては、図１３のステップＳ９４，９５における場合と同様の処理が行われているので、その説明は省略する。
【００９２】
ステップＳ１１８において、動きベクトル検出部６６は、ステップＳ１１４で読み取られた位置情報のすべてを選択したか否かを判定し、選択されていない位置情報がまだ残っていると判定した場合、ステップＳ１１５に戻り、次の位置情報を選択する。
【００９３】
ステップＳ１１８で、すべての位置情報が選択されたと判定された場合、ステップＳ１１９に進む。
【００９４】
ステップＳ１１９乃至ステップＳ１２１においては、図１３のステップＳ９７乃至ステップＳ９９における場合と同様の処理が行われるので、その説明は省略する。
【００９５】
なお、この例の場合においても、候補画素を、図９および図１０を参照して上述したように決定したり、ステップＳ１１７で算出された差分絶対値和に重み付けすることができる。
【００９６】
次に、他の動きベクトル検出処理を、図１５のフローチャートを参照して説明する。
【００９７】
ステップＳ１３１において、動きベクトル検出部６６は、特徴量抽出部６２から、注目画素Ｐの特徴量を取得すると、ステップＳ１３２において、データベース制御部６５のデータベース７１から、ステップＳ１３１で取得した特徴量に対応する特徴量アドレスに対応付けられて設定されている位置情報の１つを読み取る。
【００９８】
次に、ステップＳ１３３において、動きベクトル検出部６６は、注目画素Ｐに対応する参照フレームＦｒ上の画素を始点とし、ステップＳ１３２で読み取った位置情報により特定される候補画素を終点とするベクトルを算出する。
【００９９】
ステップＳ１３４において、動きベクトル検出部６６は、ステップＳ１３１で取得した特徴量に対応する特徴量アドレスに対応付けられている位置情報のすべてを読み取ったか否かを判定し、読み取っていない位置情報がまだ残っていると判定した場合、ステップＳ１３２に戻って、次の位置情報をデータベース７１から読み取り、それ以降の処理を行う。
【０１００】
ステップＳ１３４で、すべての位置情報が読み取られたと判定された場合（すべての候補画素とのベクトルが算出されたとき）、ステップＳ１３５に進み、動きベクトル検出部６６は、ステップＳ１３３で算出されたベクトルのうち、注目画素Ｐの、カレントフレームＦｃの１つ前のフレームにおける動きベクトルと最も近いベクトルを検出し、それを注目画素Ｐの動きベクトルとする。
【０１０１】
なお、注目画素Ｐの動きベクトルは、次のステップＳ１３６において、注目画素Ｐの位置に関連付けて記憶されるので、動きベクトル検出部６６は、記憶したこの情報から、注目画素Ｐの、カレントフレームＦｃの１つ前のフレームにおける動きベクトルを取得する。
【０１０２】
ステップＳ１３６で、ステップＳ１３５で検出された動きベクトルが記憶されると、ステップＳ１３７に進む。ステップＳ１３７おいては、図７のステップＳ５９における場合と同様の処理が行われるので、その説明は省略する。
【０１０３】
なお、この例の場合においても、候補画素を、図９および図１０を参照して上述したように決定したり、ステップＳ１３３で算出されるベクトルに重み付けをすることができる。
【０１０４】
次に、他の動きベクトル検出処理を、図１６のフローチャートを参照して説明する。
【０１０５】
ステップＳ１５１において、動きベクトル検出部６６は、特徴量抽出部６２から、カレントフレームＦｃの注目画素Ｐの特徴量を取得すると、ステップＳ１５２において、データベース制御部６５のデータベース７１から、ステップＳ１５１で取得した特徴量に対応する特徴量アドレスに対応付けられて設定されている位置情報を読み取る。
【０１０６】
次に、ステップＳ１５３において、動きベクトル検出部６６は、ステップＳ１５２で読み取った位置情報により特定される候補画素の重心点を算出する。
【０１０７】
ステップＳ１５４において、動きベクトル検出部６６は、カレントフレームＦｃの注目画素Ｐに対応する参照フレームＦｒ上の画素を始点とし、ステップＳ１５３で検出した候補画素の重心点を終点とするベクトルを、注目画素Ｐの動きベクトルとして検出する。
【０１０８】
ステップＳ１５５においては、図７のステップＳ５９における場合と同様の処理が行われるので、その説明は省略する。
【０１０９】
なお、この例の場合においても、候補画素を、図９および図１０を参照して上述したように決定することができる。
【０１１０】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ（図１７）などに、記録媒体からインストールされる。
【０１１１】
この記録媒体は、図１７に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１３１（フレキシブルディスクを含む）、光ディスク１３２（CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク１３３（ＭＤ(Mini-Disk)（商標）を含む）、もしくは半導体メモリ１３４などよりなるパッケージメディアなどにより構成される。
【０１１２】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１３】
【発明の効果】
本発明によれば、動きベクトルを迅速に検出することができる。
【図面の簡単な説明】
【図１】従来の動き検出部の構成例を示している。
【図２】ブロックマッチングのアルゴリズムを説明する図である。
【図３】従来の動き検出処理を説明するフローチャートである。
【図４】本発明を適用した動き検出部の構成例を示しているブロック図である。
【図５】図４のデータベースのデータ構造を示している図である。
【図６】データベース生成処理を説明するフローチャートである。
【図７】動きベクトル検出処理を説明するフローチャートである。
【図８】動きベクトル検出処理を説明する図である。
【図９】候補画素の決定方法を説明する図である。
【図１０】候補画素の他の決定方法を説明する図である。
【図１１】他の動きベクトル検出処理を説明するフローチャートである。
【図１２】動きベクトル検出処理を説明する他の図である。
【図１３】他の動きベクトル検出処理を説明するフローチャートである。
【図１４】他の動きベクトル検出処理を説明するフローチャートである。
【図１５】他の動きベクトル検出処理を説明するフローチャートである。
【図１６】他の動きベクトル検出処理を説明するフローチャートである。
【図１７】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
５１動き検出部，６１フレームメモリ，６２特徴量抽出部，６３フレームメモリ，６４特徴量抽出部，６５データベース制御部，６６動きベクトル検出部，７１データベース[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a motion vector detection apparatus and method, a recording medium, and a program, and more particularly to a motion vector detection apparatus and method, a recording medium, and a program that can quickly detect a motion vector .
[0002]
[Prior art]
FIG. 1 shows a configuration example of a motion detection unit 1 of a conventional image processing apparatus that efficiently compresses a moving image using a motion vector indicating the motion of the image (see, for example, Patent Document 1 and Patent Document 2). ).
[0003]
The frame memory 11 stores the image information for one frame of the image signal input from the input terminal Tin, and stores the stored image information and the image information of the next input frame. 12 and the feature quantity extraction unit 13.
[0004]
The frame memory 12 stores the image information for one frame input from the frame memory 11, moves the stored image information, and then stores the image information of the frame input from the frame memory 11. Output to the vector detection unit 13.
[0005]
The motion vector detection unit 13 uses the image information for one frame input from the frame memory 11 as the image information of the current frame Fc, and 1 frame input from the frame memory 12 (1 frame from the frame input from the frame memory 11). The motion vector is detected by block matching using the image information of the past frame) as the image information of the reference frame Fr. The motion vector detection unit 13 outputs the detected motion vector via the output terminal Tout.
[0006]
Here, a block matching algorithm will be described with reference to FIG. For example, on the current frame Fc, a reference block Bb consisting of L (number of pixels) × L (number of pixels) centered on a pixel of interest (target pixel) P (i, j) for detecting a motion vector, and On the reference frame Fr, a search area SR corresponding to the position of the target pixel P (i, j), and a reference block Brn (L (number of pixels) × L (number of pixels) in the search area SR). n = 1, 2,... m) are set.
[0007]
Next, the sum of the absolute values of the differences between the pixels of the base block Bb and the pixels of the reference block Brn is determined so that the reference block Brn is moved by one pixel in the horizontal direction or the vertical direction throughout the search area SR. Calculation is performed for each of the reference blocks Br1 to Brm (m is assumed that m reference blocks Brn can be set in the search area SR) formed by moving.
[0008]
The reference block Br having the smallest difference absolute value sum between each pixel of the base block Bb and the reference block Brn thus obtained is the closest (similar) reference block Br to the base block Bb. As required. Then, the reference block Brn detected as the closest to the base block Bb, starting from the pixel P ′ (i, j) on the reference frame Fr corresponding to the target pixel P (i, j) on the current frame Fc. A vector whose end point is the center pixel Pn (i, j) is output as the motion vector V (Vx, Vy) of the pixel of interest P (i, j).
[0009]
Next, the motion detection processing of the motion detection unit 1 in FIG. 1 will be described with reference to the flowchart in FIG.
[0010]
In step S <b> 1, the motion vector detection unit 13 sets the search area SR according to the pixel position of the pixel of interest P (i, j) on the current frame Fc input from the frame memory 11.
[0011]
In step S2, the motion vector detection unit 13 initializes a variable min that sets a minimum value of the sum of absolute differences between the pixel value of each pixel of the base block Bb and the pixel value of each pixel of the reference block Brn. Specifically, the variable min is set to a value obtained by multiplying the number of gradations of the pixel by the number of pixels constituting the reference block Bb. For example, when one pixel is 8-bit data and the reference block Bb is 3 pixels × 3 pixels, the number of gradations of one pixel is 256 gradations (256 colors) (= 2 to the 8th power). Since the number is nine, the variable min is initialized to 2304 (= 256 × 9).
[0012]
In step S3, the motion vector detection unit 13 initializes a counter variable n that counts the number of generated reference blocks Br to 1.
[0013]
In step S4, the motion vector detection unit 13 initializes a variable sum to which the sum of absolute difference values between the pixels of the base block Bb and the reference block Brn is substituted to 0.
[0014]
In step S5, the motion vector detection unit 13 obtains the sum of absolute differences (= sum) between the pixels of the base block Bb and the reference block Brn. That is, the motion vector detection unit 13 performs the calculation represented by the equation (1) to obtain the sum of absolute differences between the pixels of the base block Bb and the reference block Brn. In Expression (1), P_Bb (i, j) represents each pixel of the reference block Bb, and P_Brn (i, j) represents each pixel of the reference block Brn.
[Expression 1]

[0015]
In step S6, the motion vector detection unit 13 determines whether or not the variable min is larger than the variable sum. If it is determined that the variable min is larger, the process proceeds to step S7, where the variable min is updated to the variable sum. The value of the counter variable n is registered as a motion vector number. In other words, the fact that the variable sum indicating the sum of absolute differences thus obtained is smaller than the variable min indicating the minimum value means that the reference block Br currently being calculated is the standard than any reference block Br calculated so far. Since it can be regarded as being similar to the block Bb, it is a candidate for obtaining a motion vector, and the counter n at that time is registered as a motion vector number.
[0016]
If it is determined in step S6 that the variable min is not greater than the variable sum, the process of step S7 is skipped.
[0017]
In step S8, the motion vector detection unit 13 determines whether or not the counter variable n is the total number m of reference blocks Br in the search area SR, that is, whether or not the current reference block Br is a reference block Brm. For example, if it is determined that the total number is not m, the counter variable n is incremented by 1 in step S9, and the process returns to step S4.
[0018]
If it is determined in step S8 that the counter variable n is the total number m of the reference blocks Br in the search area SR, that is, it is determined that the current reference block Br is the reference block Brm, in step S10, the motion vector detection unit 13 Outputs a motion vector based on the registered motion vector number. That is, by repeating steps S4 to S9, the counter variable n corresponding to the reference block Brn having the smallest difference absolute value sum is registered as the motion vector number. A pixel Pn (i, j, which is the center of the reference block Brn corresponding to the motion vector number starts from the pixel P ′ (i, j) on the reference frame Fr corresponding to the target pixel P (i, j) on the frame Fc. A vector having j) as an end point is obtained and output as a motion vector V (Vx, Vy) of the target pixel P (i, j).
[0019]
[Patent Document 1]
Japanese Patent Laid-Open No. 07-087494
[Patent Document 2]
Japanese Patent Laid-Open No. 07-059093
[Problems to be solved by the invention]
However, the block matching described above has a problem that the amount of calculation in Expression (1) becomes enormous and the motion vector cannot be detected quickly.
[0022]
The present invention has been made in view of such a situation, and makes it possible to detect a motion vector quickly and accurately.
[0023]
[Means for Solving the Problems]
The first motion vector detection device of the present invention provides each address corresponding to a feature amount calculated from pixel values of pixels in the second frame temporally prior to the first frame and pixels located in the vicinity thereof. In addition, the storage means for storing the position information of the pixel, and the position information stored at the address corresponding to the feature value calculated from the pixel value of the pixel of interest in the first frame and the pixel located in the vicinity thereof are detected. A first detection unit; a calculation unit that calculates a difference between the pixel value of the target pixel and the pixel value of the candidate pixel of the second frame specified by the position information detected by the first detection unit; And a second detection unit that detects a motion vector of the target pixel from the position of the pixel and the position of the candidate pixel when the minimum difference is calculated.
[0024]
Setting means for setting a search area corresponding to the position of the target pixel is further provided, and the calculation means can calculate the difference between the pixel value of the target pixel and the pixel value of the candidate pixel located in the search area. .
[0026]
In the first motion vector detection method of the present invention, each address corresponding to a feature amount calculated from the pixel values of the pixels in the second frame temporally prior to the first frame and the pixels located in the vicinity thereof. A step of storing pixel position information, and detecting position information stored at an address corresponding to a feature amount calculated from a pixel value of a pixel of interest and surrounding pixels of the first frame. A first detection step; a calculation step for calculating a difference between the pixel value of the target pixel and the pixel value of the candidate pixel of the second frame specified by the position information detected in the processing of the first detection step; And a second detection step of detecting a motion vector of the target pixel from the position of the target pixel and the position of the candidate pixel when the minimum difference is calculated.
[0027]
The program of the first recording medium of the present invention is provided for each address corresponding to the feature amount calculated from the pixel values of the pixels in the second frame temporally prior to the first frame and the pixels located in the vicinity thereof. A step of storing pixel position information, and detecting position information stored at an address corresponding to a feature amount calculated from a pixel value of a pixel of interest and surrounding pixels of the first frame. A first detection step; a calculation step for calculating a difference between the pixel value of the target pixel and the pixel value of the candidate pixel of the second frame specified by the position information detected in the processing of the first detection step; And a second detection step of detecting a motion vector of the target pixel from the position of the target pixel and the position of the candidate pixel when the minimum difference is calculated.
[0028]
The first program of the present invention is configured to generate a pixel for each address corresponding to a feature amount calculated from each pixel of a second frame temporally prior to the first frame and a pixel value of a pixel located in the vicinity thereof. A storage step for storing the position information of the first frame, and a first step of detecting the position information stored at an address corresponding to the feature amount calculated from the pixel values of the pixel of interest in the first frame and the pixels located in the vicinity thereof. A calculation step for calculating a difference between the detection step, the pixel value of the target pixel, and the pixel value of the candidate pixel of the second frame specified by the position information detected in the processing of the first detection step; And a second detection step of detecting a motion vector of the target pixel from the position of the candidate pixel and the position of the candidate pixel when the minimum difference is calculated.
[0029]
In the first motion vector detection apparatus and method, and the program of the present invention, the feature is calculated from the pixel values of the pixels in the second frame temporally prior to the first frame and the pixels located in the vicinity thereof. Position information of the pixel is stored for each address corresponding to the amount, and the position information stored at the address corresponding to the feature amount calculated from the pixel value of the pixel of interest in the first frame and the pixels located in the vicinity thereof Is detected, the difference between the pixel value of the target pixel and the pixel value of the candidate pixel of the second frame specified by the detected position information is calculated, and the position of the target pixel and the minimum difference are calculated. The motion vector of the target pixel is detected from the position of the candidate pixel at that time.
The second motion vector detection device of the present invention provides each address corresponding to the feature amount calculated from the pixel values of the pixels in the second frame temporally prior to the first frame and the pixels located in the vicinity thereof. In addition, the storage means for storing the position information of the pixel, and the position information stored at the address corresponding to the feature value calculated from the pixel value of the pixel of interest in the first frame and the pixel located in the vicinity thereof are detected. A reference block including a first detection means, a pixel value of each pixel included in the reference block including the target pixel, and a candidate pixel of the second frame specified by the position information detected by the first detection means; The difference between the pixel value of each pixel included and the addition means, and the position of the candidate pixel and the target pixel when the minimum value is calculated among the values obtained as a result of the addition by the calculation means From the position of Characterized in that it comprises a second detection means for detecting a motion vector of the pixel of interest.
In the second motion vector detection method of the present invention, each address corresponding to the feature amount calculated from the pixel values of the pixels in the second frame temporally prior to the first frame and the pixels located in the vicinity thereof. A step of storing pixel position information, and detecting position information stored at an address corresponding to a feature amount calculated from a pixel value of a pixel of interest and surrounding pixels of the first frame. In the reference block including the first detection step, the pixel value of each pixel included in the reference block including the target pixel, and the candidate pixel of the second frame specified by the position information detected in the first detection step Calculate the difference from the pixel value of each pixel included, add the calculation step, and the position of the candidate pixel and the attention when the minimum value among the values obtained as a result of the addition in the calculation step is calculated Picture And a position of, characterized in that it comprises a second detection step of detecting a motion vector of the pixel of interest.
The program of the second recording medium of the present invention is for each address corresponding to the feature amount calculated from the pixel values of the pixels in the second frame temporally prior to the first frame and the pixels located in the vicinity thereof. A step of storing pixel position information, and detecting position information stored at an address corresponding to a feature amount calculated from a pixel value of a pixel of interest and surrounding pixels of the first frame. In the reference block including the first detection step, the pixel value of each pixel included in the reference block including the target pixel, and the candidate pixel of the second frame specified by the position information detected in the first detection step Calculate the difference from the pixel value of each pixel included, add the calculation step, and the position of the candidate pixel and the attention when the minimum value among the values obtained as a result of the addition in the calculation step is calculated Picture And a position of, characterized in that it comprises a second detection step of detecting a motion vector of the pixel of interest.
The second program according to the present invention provides a pixel for each address corresponding to a feature amount calculated from the pixel values of the pixels in the second frame temporally prior to the first frame and the pixels located in the vicinity thereof. A storage step for storing the position information of the first frame, and a first step of detecting the position information stored at an address corresponding to the feature amount calculated from the pixel values of the pixel of interest in the first frame and the pixels located in the vicinity thereof. Each of the reference blocks including the detection step, the pixel value of each pixel included in the reference block including the target pixel, and the candidate pixel of the second frame specified by the position information detected in the first detection step The position of the candidate pixel and the position of the target pixel when the difference between the pixel value of the pixel is calculated and added, and the minimum value among the values obtained as a result of the addition in the calculation step is calculated When Et al., Characterized in that it comprises a second detection step of detecting a motion vector of the pixel of interest.
Second motion vector detection apparatus and method of the present invention, as well as keep the program is calculated from the pixel values of the pixels located at each pixel and its surrounding of the second frame prior to temporally first frame For each address corresponding to the feature amount, pixel position information is stored, and stored in the address corresponding to the feature amount calculated from the pixel value of the pixel of interest in the first frame and the surrounding pixels. The pixel value of each pixel included in the reference block including the target pixel in which the position information is detected, and the pixel value of each pixel included in the reference block including the candidate pixel of the second frame specified by the detected position information The motion vector of the target pixel is detected from the position of the candidate pixel and the position of the target pixel when the minimum value among the values obtained as a result of the addition is calculated. Is .
[0030]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 4 shows a configuration example of the motion detection unit 51 of the image processing apparatus to which the present invention for efficiently compressing a moving image using a motion vector indicating the motion of the image is applied.
[0031]
The frame memory 61 stores image information for one frame of the image signal input from the input terminal Tin, and stores the stored image information as the next input frame image information. The data is output to the extraction unit 62 and the frame memory 63.
[0032]
The feature amount extraction unit 62 extracts a feature amount of a pixel of interest (a pixel of interest P) for detecting a motion vector on the frame (current frame Fc) supplied from the frame memory 61. Specifically, for example, the value of the function f of the pixel value of the pixel of interest P and the eight neighboring pixels as shown in the equation (2) is used as the feature amount. In Expression (2), i represents the vertical direction, j represents the horizontal direction, and Li, j represents the pixel value at the position (i, j).
[Expression 2]

[0033]
The feature quantity extraction unit 62 outputs the extracted feature quantity to the motion vector detection unit 66.
[0034]
The frame memory 63 stores the image information for one frame input from the frame memory 61, and stores the stored image information and then the image information of the frame input from the frame memory 61. It outputs to the quantity extraction part 64.
[0035]
The feature amount extraction unit 64 outputs each pixel on the frame (reference frame Fr) input from the frame memory 63 (one frame past the frame of the target pixel from which the feature amount is extracted by the feature amount extraction unit 62). The feature amount is extracted by the same method as when the feature amount extraction unit 62 extracts the feature amount of the target pixel P. The feature quantity extraction unit 64 supplies the extracted feature quantity of each pixel on the reference frame Fr to the database control unit 65 together with position information (for example, coordinate information).
[0036]
The database control unit 65 has a database 71 composed of a × b cells indicated by feature amount addresses 0 to a and flag addresses 0 to b as shown in FIG. The database control unit 65 associates the positional information of each pixel of the reference frame Fr supplied from the feature amount extraction unit 64 with the feature amount address corresponding to the feature amount supplied together with the flag address 1 to b. Store in order. The flag address 0 stores the number of position information currently stored in the feature amount address.
[0037]
For example, when one piece of position information is stored in the feature amount address 1 (stored in the flag address 1) and 1 is stored in the flag address 0 (cell (1, 0)), the feature When the feature amount corresponding to the quantity address 1 is input, the positional information input together with the feature quantity is stored in the flag address 2 (cell (1, 2)) corresponding to the feature quantity address 1, and the flag address The value of 0 (cell (1, 0)) is incremented to 2.
[0038]
Returning to FIG. 4, the motion vector detection unit 66 includes the feature amount of the target pixel P on the current frame Fc supplied from the feature amount extraction unit 62 and information on the reference frame set in the database 71 of the database control unit 65. (Hereinafter referred to as reference frame feature amount information) is used to detect a motion vector corresponding to the target pixel P.
[0039]
For example, the motion vector detection unit 66 uses the pixel value of the target pixel P in the current frame Fc and each position information set in the database 71 in association with the feature amount address corresponding to the feature amount of the target pixel P. The absolute value of the difference from the pixel value of each pixel (hereinafter referred to as a candidate pixel as appropriate) on the identified reference frame Fr is calculated. The motion vector detection unit 66 detects a candidate pixel (reference pixel) when the minimum difference absolute value is calculated, and starts a pixel on the reference frame Fr corresponding to the target pixel P on the current frame Fc. And a vector having the reference pixel as an end point is detected as a motion vector of the pixel of interest P.
[0040]
Next, the operation of the database control unit 65 when generating the database 71 (reference frame feature amount information) will be described with reference to the flowchart of FIG.
[0041]
In step S31, the database control unit 65 initializes the database 71. 0 is written in all the cells of flag address 0, and the position information stored in flag addresses 1 to b is erased.
[0042]
Next, in step S32, the database control unit 65 initializes a counter variable n for counting the number of pixels in the frame to 0.
[0043]
In step S <b> 33, the database control unit 65 acquires the feature amount of one pixel on the reference frame Fr and its position information from the feature amount extraction unit 64.
[0044]
Next, in step S34, the database control unit 65 detects a feature amount address corresponding to the acquired feature amount in the database 71, and sets the value K of the detected feature amount address set to the flag address 0. Increment by one.
[0045]
In step S35, the database control unit 65 sets the position information acquired in step S33 to the flag address K + 1 of the feature amount address detected in step S34.
[0046]
In step S36, the database control unit 65 increments the counter variable n by 1.
[0047]
Next, in step S37, the database control unit 65 determines whether or not the counter variable n = 1 is the number of pixels in one frame, and if it is determined that the counter variable n is not the number of pixels in one frame, the process proceeds to step S33. Return and perform further processing. When it is determined in step S37 that the counter variable n is the number of pixels of one frame, that is, the position information of each pixel of the reference frame Fr is associated with the feature amount address corresponding to the feature amount in the database 71. If it has been set, the process ends.
[0048]
The database 71 (reference frame feature amount information) is generated as described above.
[0049]
Next, the motion vector detection process will be described with reference to the flowchart of FIG.
[0050]
In step S51, the motion vector detection unit 66 acquires the feature amount of the target pixel P of the current frame Fc from the feature amount extraction unit 62. In step S52, the motion vector detection unit 66 acquires from the database 71 of the database control unit 65 in step S51. One of the position information set in association with the feature amount address corresponding to the feature amount is read.
[0051]
Next, in step S53, the motion vector detection unit 66 reads the pixel value of the target pixel P from the frame memory 61, and in step S54, the pixel (candidate) of the reference frame Fr specified by the position information read in step S52. Pixel value) is read from the frame memory 63.
[0052]
In step S55, the motion vector detection unit 66 calculates the absolute difference between the pixel value of the target pixel P read in step S53 and the pixel value of the candidate pixel read in step S54.
[0053]
Next, in step S56, the motion vector detection unit 66 determines whether or not all of the position information associated with the feature amount address corresponding to the feature amount acquired in step S51 has been read, and the position that has not been read. If it is determined that the information still remains, the process returns to step S52, the next position information is read from the database 71, and the subsequent processing is executed.
[0054]
If it is determined in step S56 that all the position information has been read (when the difference absolute values from all candidate pixels have been calculated), the process proceeds to step S57, and the motion vector detection unit 66 calculates in step S55. A candidate pixel when the minimum difference absolute value is calculated is detected.
[0055]
Next, in step S58, the motion vector detection unit 66 uses a pixel on the reference frame Fr corresponding to the target pixel P of the current frame Fc as a start point, and a vector having the candidate pixel (reference pixel) detected in step S57 as an end point. Are detected as the motion vector of the target pixel P.
[0056]
That is, in this motion vector detection method, for example, in the database 71, three candidate pixels on the reference frame Fr shown in FIG. 8 are assigned to the feature quantity address corresponding to the feature quantity of the target pixel P of the current frame Fc shown in FIG. When the position information of Pr1 to Pr3 is set, the difference absolute value between the pixel value of the target pixel P and the pixel value of each candidate pixel Pr1 to Pr3 is calculated, and the candidate for which the smallest difference absolute value is calculated Pixel Pr is detected as a reference pixel. A vector starting from a pixel on the reference frame Fr corresponding to the target pixel P in the current frame Fc and having the detected reference pixel as an end point is detected as a motion vector of the target pixel P.
[0057]
Returning to FIG. 7, in step S <b> 59, the motion vector detection unit 66 determines whether or not the feature amount of all the pixels of the current frame Fc has been acquired from the feature amount extraction unit 62, and has not acquired the feature amount. If it is determined that the pixel still remains on the current frame Fc, the process returns to step S51 to acquire the feature amount of the next pixel of interest P, and the subsequent processing is executed.
[0058]
If it is determined in step S59 that the feature values of all the pixels on the current frame Fc have been acquired, that is, if motion vectors corresponding to all the pixels of the current frame Fc have been detected, the process ends.
[0059]
In the above description, the candidate pixel is a pixel specified by the position information associated with the feature amount address corresponding to the feature amount of the target pixel P. However, pixels around the pixel are further set as candidate pixels. You can also.
[0060]
For example, in the example of FIG. 9, the pixels Pr1 to Pr3 and the pixels Pr11 to Pr14, Pr21 to Pr24, and Pr31 to Pr34 at the four corners of a block of a predetermined size centering on the pixels are candidate pixels.
[0061]
Further, it is possible to include not only the peripheral pixels of all candidate pixels but only the peripheral pixels of the candidate pixel having the highest reliability by evaluating the reliability of the candidate pixels. Note that the highest reliability means, for example, that the difference absolute value from the target pixel P is the smallest.
[0062]
For example, in the case of FIG. 10, the pixels Pr1 to Pr3 and the four pixels Pr11 to Pr14 around the pixel Pr1 having the highest reliability are candidate pixels.
[0063]
Further, as shown in FIG. 9, a pixel (hereinafter referred to as a first candidate pixel) specified by position information associated with a feature amount address corresponding to a feature amount of the target pixel P, Although surrounding pixels (hereinafter referred to as second candidate pixels) are set as candidate pixels, the calculation result in step S55 can be weighted according to the reliability of the first candidate pixel.
[0064]
For example, when the evaluation values of the pixels Pr1 to Pr3 are the evaluation values H1 to H3, respectively, the absolute value of the difference in step S55 obtained for the pixels Pr1 and Pr11 to Pr14 is the evaluation value H1. Is multiplied by an evaluation value H2 for each of the difference absolute values obtained in step S55 obtained for the pixel Pr2 and the pixels Pr21 to Pr24, and the difference obtained in step S55 is obtained for the pixel Pr3 and the pixels Pr31 to Pr34. Each of the absolute values is multiplied by the evaluation value H3.
[0065]
Next, another motion vector detection process will be described with reference to the flowchart of FIG.
[0066]
In step S71, when the motion vector detection unit 66 acquires the feature amount of the target pixel P of the current frame Fc from the feature amount extraction unit 62, the motion vector detection unit 66 sets a search area SR corresponding to the position of the target pixel P in step S72. .
[0067]
Next, in step S73, the motion vector detection unit 66 includes, among the position information set in the database 71 of the database control unit 65 in association with the feature amount address corresponding to the feature amount acquired in step S71. The pixel position information in the search area SR set in step S72 is read.
[0068]
In step S74, the motion vector detection unit 66 selects one of the position information read in step S73.
[0069]
In steps S75 to S77, the same processing as in steps S53 to S55 of FIG. 7 is performed, and thus the description thereof is omitted.
[0070]
In step S78, the motion vector detection unit 66 determines whether or not all the position information in the search area SR read in step S73 has been selected, and determines that position information that has not been selected still remains. Returning to step S74, the next position information is selected, and the subsequent processing is executed.
[0071]
If it is determined in step S78 that all position information has been selected (when absolute differences from all candidate pixels in the search area have been calculated), the process proceeds to step S79.
[0072]
In steps S79 to S81, the same processing as in steps S57 to S59 of FIG. 7 is performed, and thus the description thereof is omitted.
[0073]
That is, in the case of this example, in the database 71, for example, three candidate pixels Pr1 through Pr1 on the reference frame Fr shown in FIG. 12 are assigned to the feature quantity address corresponding to the feature quantity of the target pixel P of the current frame Fc shown in FIG. When the position information of Pr3 is set, the difference absolute value is calculated for the pixel values of the candidate pixels Pr2 and Pr3 in the set search area SR, and the smallest difference absolute value is calculated. Candidate pixel Pr is detected as a reference pixel.
[0074]
In this way, since the absolute difference value is calculated only for the candidate pixels in the search area SR, motion vector detection can be performed more quickly.
[0075]
Even in this example, candidate pixels can be determined as described above with reference to FIGS. 9 and 10, or the difference absolute value calculated in step S77 can be weighted.
[0076]
Next, another motion vector detection process will be described with reference to the flowchart of FIG.
[0077]
In step S91, when the motion vector detection unit 66 acquires the feature amount of the target pixel P of the current frame Fc from the feature amount extraction unit 62, the motion vector detection unit 66 generates a reference block Bb centered on the target pixel P in step S92.
[0078]
Next, in step S93, the motion vector detecting unit 66 is one piece of position information set in association with the feature amount address corresponding to the feature amount acquired in step S91 from the database 71 of the database control unit 65. Read.
[0079]
In step S94, the motion vector detection unit 66 generates a reference block Br centered on the pixel (candidate pixel) specified by the position information read in step S93.
[0080]
Next, in step S95, the motion vector detection unit 66 sums the absolute difference between the pixel value of each pixel of the base block Bb generated in step S92 and the pixel value of each pixel of the reference block Br generated in step S94. Is calculated.
[0081]
In step S96, the motion vector detection unit 66 determines whether or not all of the position information associated with the feature amount address corresponding to the feature amount acquired in step S91 has been read. If it is determined that it still remains, the process returns to step S93 to read the next position information.
[0082]
If it is determined in step S96 that all position information has been read (when the sum of absolute differences is calculated for all candidate pixels), the process proceeds to step S97, and the motion vector detection unit 66 calculates in step S95. A candidate pixel (reference pixel) when the minimum value of the sum of absolute differences is calculated is detected.
[0083]
In step S98, the motion vector detection unit 66 sets a vector whose starting point is the pixel on the reference frame Fr corresponding to the target pixel P of the current frame Fc and whose end point is the reference pixel detected in step S97 to the target pixel P. Detect as motion vector.
[0084]
In step S99, the same processing as in step S59 of FIG. 7 is performed, and thus the description thereof is omitted.
[0085]
Even in this example, candidate pixels can be determined as described above with reference to FIGS. 9 and 10, or the sum of absolute differences calculated in step S95 can be weighted.
[0086]
Next, another motion vector detection process will be described with reference to the flowchart of FIG.
[0087]
In step S111, when the motion vector detection unit 66 acquires the feature amount of the target pixel P of the current frame Fc from the feature amount extraction unit 62, the motion vector detection unit 66 generates a reference block Bb centered on the target pixel P in step S112.
[0088]
Next, in step S113, the motion vector detection unit 66 sets a search area SR corresponding to the position of the target pixel P.
[0089]
In step S114, the motion vector detection unit 66 in step S113 among the position information set in the database 71 of the database control unit 65 in association with the feature amount address corresponding to the feature amount acquired in step S111. The position information of the pixels in the set search area SR is read.
[0090]
Next, in step S115, the motion vector detection unit 66 selects one of the position information read in step S114.
[0091]
In steps S116 and 117, processing similar to that in steps S94 and 95 of FIG.
[0092]
In step S118, the motion vector detection unit 66 determines whether or not all of the position information read in step S114 has been selected. If it is determined that position information that has not been selected still remains, the process proceeds to step S115. Return and select the next location information.
[0093]
If it is determined in step S118 that all position information has been selected, the process proceeds to step S119.
[0094]
In steps S119 to S121, the same processing as in steps S97 to S99 of FIG. 13 is performed, and thus the description thereof is omitted.
[0095]
Even in this example, the candidate pixels can be determined as described above with reference to FIGS. 9 and 10, or the sum of absolute differences calculated in step S117 can be weighted.
[0096]
Next, another motion vector detection process will be described with reference to the flowchart of FIG.
[0097]
In step S131, when the motion vector detection unit 66 acquires the feature amount of the target pixel P from the feature amount extraction unit 62, the motion vector detection unit 66 corresponds to the feature amount acquired in step S131 from the database 71 of the database control unit 65 in step S132. One of the position information set in association with the feature amount address is read.
[0098]
Next, in step S133, the motion vector detection unit 66 calculates a vector having a pixel on the reference frame Fr corresponding to the target pixel P as a start point and a candidate pixel specified by the position information read in step S132 as an end point. To do.
[0099]
In step S134, the motion vector detection unit 66 determines whether or not all of the position information associated with the feature amount address corresponding to the feature amount acquired in step S131 has been read. If it is determined that it remains, the process returns to step S132, the next position information is read from the database 71, and the subsequent processing is performed.
[0100]
When it is determined in step S134 that all position information has been read (when vectors with all candidate pixels are calculated), the process proceeds to step S135, and the motion vector detection unit 66 determines the vector calculated in step S133. Among them, a vector closest to the motion vector in the frame immediately before the current frame Fc of the target pixel P is detected, and is set as the motion vector of the target pixel P.
[0101]
Since the motion vector of the target pixel P is stored in association with the position of the target pixel P in the next step S136, the motion vector detection unit 66 determines that the current frame Fc of the target pixel P from the stored information. The motion vector in the previous frame is acquired.
[0102]
When the motion vector detected in step S135 is stored in step S136, the process proceeds to step S137. In step S137, the same processing as in step S59 of FIG. 7 is performed, and thus the description thereof is omitted.
[0103]
Even in this example, the candidate pixels can be determined as described above with reference to FIGS. 9 and 10, or the vectors calculated in step S133 can be weighted.
[0104]
Next, another motion vector detection process will be described with reference to the flowchart of FIG.
[0105]
In step S151, when the motion vector detection unit 66 acquires the feature amount of the target pixel P of the current frame Fc from the feature amount extraction unit 62, in step S152, the motion vector detection unit 66 acquires from the database 71 of the database control unit 65 in step S151. The position information set in association with the feature amount address corresponding to the feature amount is read.
[0106]
Next, in step S153, the motion vector detection unit 66 calculates the barycentric point of the candidate pixel specified by the position information read in step S152.
[0107]
In step S154, the motion vector detection unit 66 sets a vector starting from the pixel on the reference frame Fr corresponding to the target pixel P of the current frame Fc and ending at the centroid point of the candidate pixel detected in step S153. Detect as P motion vector.
[0108]
In step S155, the same processing as in step S59 of FIG. 7 is performed, and thus the description thereof is omitted.
[0109]
Even in this example, the candidate pixels can be determined as described above with reference to FIGS. 9 and 10.
[0110]
The series of processes described above can also be executed by software. The software is a computer in which the program constituting the software is incorporated in dedicated hardware, or various functions can be executed by installing various programs, for example, a general-purpose personal computer (FIG. 17) and the like are installed from the recording medium.
[0111]
As shown in FIG. 17, this recording medium is distributed to provide a program to the user separately from the computer, and includes a magnetic disk 131 (including a flexible disk) on which the program is recorded, an optical disk 132 (CD- ROM (Compact Disk-Read Only Memory), DVD (including Digital Versatile Disk)), magneto-optical disk 133 (including MD (Mini-Disk) (trademark)), or a package medium composed of semiconductor memory 134, etc. Is done.
[0112]
Further, in the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
[0113]
【The invention's effect】
According to the present invention, a motion vector can be detected quickly.
[Brief description of the drawings]
FIG. 1 shows a configuration example of a conventional motion detection unit.
FIG. 2 is a diagram illustrating a block matching algorithm.
FIG. 3 is a flowchart illustrating a conventional motion detection process.
FIG. 4 is a block diagram showing a configuration example of a motion detection unit to which the present invention is applied.
FIG. 5 is a diagram showing a data structure of the database in FIG. 4;
FIG. 6 is a flowchart illustrating database generation processing.
FIG. 7 is a flowchart illustrating motion vector detection processing.
FIG. 8 is a diagram illustrating motion vector detection processing.
FIG. 9 is a diagram for explaining a candidate pixel determination method;
FIG. 10 is a diagram illustrating another method for determining candidate pixels.
FIG. 11 is a flowchart illustrating another motion vector detection process.
FIG. 12 is another diagram for explaining motion vector detection processing;
FIG. 13 is a flowchart illustrating another motion vector detection process.
FIG. 14 is a flowchart illustrating another motion vector detection process.
FIG. 15 is a flowchart illustrating another motion vector detection process.
FIG. 16 is a flowchart illustrating another motion vector detection process.
FIG. 17 is a block diagram illustrating a configuration example of a personal computer.
[Explanation of symbols]
51 motion detection unit, 61 frame memory, 62 feature quantity extraction unit, 63 frame memory, 64 feature quantity extraction unit, 65 database control unit, 66 motion vector detection unit, 71 database

Claims

Storage means for storing the position information of the pixels for each address corresponding to the feature amount calculated from the pixel values of the pixels of the second frame temporally prior to the first frame and the pixels located in the vicinity thereof When,
First detecting means for detecting the position information stored in an address corresponding to a feature amount calculated from a pixel value of a pixel of interest in the first frame and a pixel located in the vicinity thereof;
Calculation means for calculating a difference between a pixel value of the target pixel and a pixel value of a candidate pixel of the second frame specified by the position information detected by the first detection means;
Motion vector detection, comprising: a second detection unit that detects a motion vector of the target pixel from the position of the target pixel and the position of the candidate pixel when the minimum difference is calculated. apparatus.

Setting means for setting a search area corresponding to the position of the target pixel;
The motion vector detection device according to claim 1, wherein the calculation unit calculates a difference between a pixel value of the target pixel and a pixel value of the candidate pixel located in the search area.

A storage step of storing the position information of the pixels for each address corresponding to a feature amount calculated from the pixel values of the pixels of the second frame temporally prior to the first frame and the pixels located in the vicinity thereof When,
A first detection step of detecting the position information stored in an address corresponding to a feature amount calculated from a pixel value of a pixel of interest in the first frame and a pixel located in the vicinity thereof;
A calculation step of calculating a difference between a pixel value of the target pixel and a pixel value of a candidate pixel of the second frame specified by the position information detected in the processing of the first detection step;
A second detection step of detecting a motion vector of the target pixel from the position of the target pixel and the position of the candidate pixel when the minimum difference is calculated. Method.

A program for causing a computer to execute a motion vector detection process for detecting a motion vector,
A storage step of storing the position information of the pixels for each address corresponding to a feature amount calculated from the pixel values of the pixels of the second frame temporally prior to the first frame and the pixels located in the vicinity thereof When,
A first detection step of detecting the position information stored in an address corresponding to a feature amount calculated from a pixel value of a pixel of interest in the first frame and a pixel located in the vicinity thereof;
A calculation step of calculating a difference between a pixel value of the target pixel and a pixel value of a candidate pixel of the second frame specified by the position information detected in the processing of the first detection step;
And a second detection step of detecting a motion vector of the target pixel from the position of the target pixel and the position of the candidate pixel when the minimum difference is calculated. A recording medium on which possible programs are recorded.

A program for causing a computer to execute a motion vector detection process for detecting a motion vector,
A storage step of storing the position information of the pixels for each address corresponding to a feature amount calculated from the pixel values of the pixels of the second frame temporally prior to the first frame and the pixels located in the vicinity thereof When,
A first detection step of detecting the position information stored in an address corresponding to a feature amount calculated from a pixel value of a pixel of interest in the first frame and a pixel located in the vicinity thereof;
A calculation step of calculating a difference between a pixel value of the target pixel and a pixel value of a candidate pixel of the second frame specified by the position information detected in the processing of the first detection step;
Causing the computer to execute processing including a second detection step of detecting a motion vector of the target pixel from the position of the target pixel and the position of the candidate pixel when the minimum difference is calculated. A featured program.

Storage means for storing the position information of the pixels for each address corresponding to the feature amount calculated from the pixel values of the pixels of the second frame temporally prior to the first frame and the pixels located in the vicinity thereof When,
  First detecting means for detecting the position information stored in an address corresponding to a feature amount calculated from a pixel value of a pixel of interest in the first frame and a pixel located in the vicinity thereof;
  Each of the reference blocks including the pixel value of each pixel included in the reference block including the target pixel and the candidate pixel of the second frame specified by the position information detected by the first detection unit A calculation means for calculating and adding the difference between the pixel values of the pixels;
  A second vector for detecting a motion vector of the target pixel from the position of the candidate pixel and the position of the target pixel when the minimum value among the values obtained as a result of the addition by the calculation unit is calculated; With detection means
  A motion vector detection device comprising:

A storage step of storing the position information of the pixels for each address corresponding to a feature amount calculated from the pixel values of the pixels of the second frame temporally prior to the first frame and the pixels located in the vicinity thereof When,
  A first detection step of detecting the position information stored in an address corresponding to a feature amount calculated from a pixel value of a pixel of interest in the first frame and a pixel located in the vicinity thereof;
  Each of the reference blocks including the pixel value of each pixel included in the reference block including the target pixel and the candidate pixel of the second frame specified by the position information detected in the first detection step A calculation step of calculating and adding the difference between the pixel values of the pixels;
  A second vector for detecting a motion vector of the target pixel from the position of the candidate pixel and the position of the target pixel when the minimum value among the values obtained as a result of the addition in the calculation step is calculated; Detection step and
  A motion vector detection method comprising:

A program for causing a computer to execute a motion vector detection process for detecting a motion vector,
  A storage step of storing the position information of the pixels for each address corresponding to a feature amount calculated from the pixel values of the pixels of the second frame temporally prior to the first frame and the pixels located in the vicinity thereof When,
  A first detection step of detecting the position information stored in an address corresponding to a feature amount calculated from a pixel value of a pixel of interest in the first frame and a pixel located in the vicinity thereof;
  Each of the reference blocks including the pixel value of each pixel included in the reference block including the target pixel and the candidate pixel of the second frame specified by the position information detected in the first detection step A calculation step of calculating and adding the difference between the pixel values of the pixels;
  A second vector for detecting a motion vector of the target pixel from the position of the candidate pixel and the position of the target pixel when the minimum value among the values obtained as a result of the addition in the calculation step is calculated; Detection step and
  A recording medium on which a computer-readable program is recorded.

A program for causing a computer to execute a motion vector detection process for detecting a motion vector,
  A storage step of storing the position information of the pixels for each address corresponding to a feature amount calculated from the pixel values of the pixels of the second frame temporally prior to the first frame and the pixels located in the vicinity thereof When,
  A first detection step of detecting the position information stored in an address corresponding to a feature amount calculated from a pixel value of a pixel of interest in the first frame and a pixel located in the vicinity thereof;
  Each of the reference blocks including the pixel value of each pixel included in the reference block including the target pixel and the candidate pixel of the second frame specified by the position information detected in the first detection step A calculation step of calculating and adding the difference between the pixel values of the pixels;
  A second vector for detecting a motion vector of the target pixel from the position of the candidate pixel and the position of the target pixel when the minimum value among the values obtained as a result of the addition in the calculation step is calculated; Detection step and
A program for causing a computer to execute a process including: