JP3985653B2 - Motion vector detection apparatus and method, recording medium, and program - Google Patents

Description

【００１５】
ステップＳ６において、動きベクトル検出部１３は、変数minが変数sumよりも大きいか否かを判定し、大きいと判定した場合、ステップＳ７に進み、変数minを変数sumに更新し、その時点でのカウンタ変数ｎの値を動きベクトル番号として登録する。すなわち、今求めた差分絶対値和を示す変数sumが、最小値を示す変数minよりも小さいと言うことは、これまで演算したどの参照ブロックＢｒよりも、今演算している参照ブロックＢｒが基準ブロックＢｂに類似したものであるとみなすことができるので、動きベクトルを求める際の候補とされ、その時点でのカウンタｎが動きベクトル番号として登録される。
【００１６】
ステップＳ６において、変数minが変数sumよりも大きくないと判定された場合、ステップＳ７の処理はスキップされる。
【００１７】
ステップＳ８において、動きベクトル検出部１３は、カウンタ変数ｎがサーチエリアＳＲの参照ブロックＢｒの総数ｍであるか否か、すなわち、いまの参照ブロックＢｒが、参照ブロックＢｒｍであるか否かを判定し、例えば、総数ｍではないと判定した場合、ステップＳ９において、カウンタ変数ｎを１だけインクリメントして、ステップＳ４に戻る。
【００１８】
ステップＳ８において、カウンタ変数ｎがサーチエリアＳＲ内の参照ブロックＢｒの総数ｍである、すなわち、今の参照ブロックＢｒが参照ブロックＢｒｍであると判定された場合、ステップＳ１０において、動きベクトル検出部１３は、登録されている動きベクトル番号に基づいて動きベクトルを出力する。すなわち、ステップＳ４乃至Ｓ９が繰り返されることにより、差分絶対値和が最小となる参照ブロックＢｒｎに対応するカウンタ変数ｎが動きベクトル番号として登録されることになるので、動きベクトル検出部１３は、カレントフレームＦｃ上の注目画素Ｐ（ｉ，ｊ）に対応する参照フレームＦｒ上の画素Ｐ’（ｉ，ｊ）を始点とし、動きベクトル番号に対応する参照ブロックＢｒｎの中心となる画素Ｐｎ（ｉ，ｊ）を終点とするベクトルを、注目画素Ｐ（ｉ，ｊ）の動きベクトルＶ（Ｖｘ，Ｖｙ）として求めて出力する。
【００１９】
【特許文献１】
特開平０７−０８７４９４号公報
【００２０】
【特許文献２】
特開平０７−０５９０９３号公報
【００２１】
【発明が解決しようとする課題】
しかしながら、上述したブロックマッチングでは、式（１）における演算量が膨大となり、動きベクトルを迅速に検出することができない課題があった。
【００２２】
本発明はこのような状況に鑑みてなされたものであり、迅速に、かつ、精度良く、動きベクトルを検出することができるようにするものである。
【００２３】
【課題を解決するための手段】
本発明の動きベクトル検出装置は、第１のフレームより時間的に前の第２フレームの各画素及び当該画素周辺の画素の画素値から算出される特徴量に対応するアドレス毎に、前記画素の位置情報を記憶する記憶手段と、前記第１のフレームの注目画素及び当該画素周辺の画素の画素値から算出される特徴量に対応するアドレスに記憶されている前記位置情報を検出する第１の検出手段と、前記注目画素の位置と、前記第１の検出手段により検出された前記位置情報で特定される前記第２のフレームの候補画素の位置とからベクトルを算出する算出手段と、前記ベクトルのうち、前記注目画素位置における時間的に1 フレーム前の動きベクトルと最も近い前記ベクトルを、前記注目画素の動きベクトルとして検出する第２の検出手段とを備えることを特徴とする。
【００２４】
本発明の動きベクトル検出方法は、第１のフレームより時間的に前の第２フレームの各画素及び当該画素周辺の画素の画素値から算出される特徴量に対応するアドレス毎に、前記画素の位置情報を記憶する記憶ステップと、前記第１のフレームの注目画素及び当該画素周辺の画素の画素値から算出される特徴量に対応するアドレスに記憶されている前記位置情報を検出する第１の検出ステップと、前記注目画素の位置と、前記第１の検出ステップの処理で検出された前記位置情報で特定される前記第２のフレームの候補画素の位置とからベクトルを算出する算出ステップと、前記ベクトルのうち、前記注目画素位置における時間的に1 フレーム前の動きベクトルと最も近い前記ベクトルを、前記注目画素の動きベクトルとして検出する第２の検出ステップとを含むことを特徴とする。
【００２５】
本発明の記録媒体のプログラムは、第１のフレームより時間的に前の第２フレームの各画素及び当該画素周辺の画素の画素値から算出される特徴量に対応するアドレス毎に、前記画素の位置情報を記憶する記憶ステップと、前記第１のフレームの注目画素及び当該画素周辺の画素の画素値から算出される特徴量に対応するアドレスに記憶されている前記位置情報を検出する第１の検出ステップと、前記注目画素の位置と、前記第１の検出ステップの処理で検出された前記位置情報で特定される前記第２のフレームの候補画素の位置とからベクトルを算出する算出ステップと、前記ベクトルのうち、前記注目画素位置における時間的に1 フレーム前の動きベクトルと最も近い前記ベクトルを、前記注目画素の動きベクトルとして検出する第２の検出ステップとを含むことを特徴とする。
【００２６】
本発明のプログラムは、第１のフレームより時間的に前の第２フレームの各画素及び当該画素周辺の画素の画素値から算出される特徴量に対応するアドレス毎に、前記画素の位置情報を記憶する記憶ステップと、前記第１のフレームの注目画素及び当該画素周辺の画素の画素値から算出される特徴量に対応するアドレスに記憶されている前記位置情報を検出する第１の検出ステップと、前記注目画素の位置と、前記第１の検出ステップの処理で検出された前記位置情報で特定される前記第２のフレームの候補画素の位置とからベクトルを算出する算出ステップと、前記ベクトルのうち、前記注目画素位置における時間的に1 フレーム前の動きベクトルと最も近い前記ベクトルを、前記注目画素の動きベクトルとして検出する第２の検出ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２７】
本発明の動きベクトル検出装置及び方法、並びにプログラムにおいては、第１のフレームより時間的に前の第２フレームの各画素及び当該画素周辺の画素の画素値から算出される特徴量に対応するアドレス毎に、前記画素の位置情報が記憶され、前記第１のフレームの注目画素及び当該画素周辺の画素の画素値から算出される特徴量に対応するアドレスに記憶されている前記位置情報が検出され、前記注目画素の位置と、検出された前記位置情報で特定される前記第２のフレームの候補画素の位置とからベクトルが算出され、前記ベクトルのうち、前記注目画素位置における時間的に1 フレーム前の動きベクトルと最も近い前記ベクトルが、前記注目画素の動きベクトルとして検出される。
【００２８】
【発明の実施の形態】
図４は、画像の動きを示す動きベクトルを利用して動画像を効率よく圧縮する本発明を適用した画像処理装置の動き検出部５１の構成例を示している。
【００２９】
フレームメモリ６１は、入力端子Tinから入力された画像信号の１フレーム分の画像情報を格納するとともに、格納している画像情報を、次に入力されたフレームの画像情報を格納するとき、特徴量抽出部６２およびフレームメモリ６３に出力する。
【００３０】
特徴量抽出部６２は、フレームメモリ６１から供給されたフレーム（カレントフレームＦｃ）上の動きベクトルを検出するために注目する画素（注目画素Ｐ）の特徴量を抽出する。具体的には、例えば、式（２）に示すような、注目画素Ｐと、その周辺の８個の画素の画素値の関数ｆの値が特徴量とされる。式（２）中、ｉは、垂直方向を、ｊは、水平方向を、Ｌｉ，ｊは、位置（ｉ，ｊ）の画素値を示している。
【数２】

【００３１】
特徴量抽出部６２は、抽出した特徴量を、動きベクトル検出部６６に出力する。
【００３２】
フレームメモリ６３は、フレームメモリ６１から入力された１フレーム分の画像情報を格納するとともに、格納している画像情報を、次にフレームメモリ６１から入力されたフレームの画像情報を格納するとき、特徴量抽出部６４に出力する。
【００３３】
特徴量抽出部６４は、フレームメモリ６３から入力されたフレーム（参照フレームＦｒ）（特徴量抽出部６２で特徴量が抽出される注目画素のフレームより１フレーム分過去のフレーム）上の各画素の特徴量を、特徴量抽出部６２が注目画素Ｐの特徴量を抽出する場合と同様の方法で抽出する。特徴量抽出部６４は、抽出した、参照フレームＦｒ上の各画素の特徴量を、位置情報（例えば、座標情報）とともに、データベース制御部６５に供給する。
【００３４】
データベース制御部６５は、図５に示すような、特徴量アドレス０乃至ａと、フラグアドレス０乃至ｂによって示されるａ×ｂ個のセルにより構成されているデータベース７１を有している。データベース制御部６５は、特徴量抽出部６４から供給された、参照フレームＦｒの各画素の位置情報を、それとともに供給された特徴量に対応する特徴量アドレスに対応付けて、フラグアドレス１乃至ｂの順に格納する。フラグアドレス０には、現在、その特徴量アドレスに格納されている位置情報の数が格納される。
【００３５】
例えば、特徴量アドレス１に、１つの位置情報が格納されており（フラグアドレス１に格納されており）、フラグアドレス０（セル（１，０））に１が格納されている場合において、特徴量アドレス１に対応する特徴量の入力があったとき、その特徴量とともに入力された位置情報は、特徴量アドレス１に対応するフラグアドレス２（セル（１，２））に格納され、フラグアドレス０（セル（１，０））の値は、インクリメントされて２となる。
【００３６】
図４に戻り、動きベクトル検出部６６は、特徴量抽出部６２から供給されたカレントフレームＦｃ上の注目画素Ｐの特徴量と、データベース制御部６５のデータベース７１に設定されている参照フレームに関する情報（以下、参照フレーム特徴量情報と称する）を利用して、注目画素Ｐに対応する動きベクトルを検出する。
【００３７】
例えば、動きベクトル検出部６６は、カレントフレームＦｃの注目画素Ｐの位置と、データベース７１において、注目画素Ｐの特徴量に対応する特徴量アドレスに対応付けられて設定されている各位置情報により特定される参照フレームＦｒ上の各画素（以下、適宜、候補画素と称する）の位置とからベクトルをそれぞれ算出する。そして動きベクトル検出部６６は、注目画素Ｐの過去のベクトルと最も近いベクトルが算出されたときの候補画素（参照画素）を検出するとともに、カレントフレームＦｃ上の注目画素Ｐに対応する参照フレームＦｒ上の画素を始点とし、参照画素を終点とするベクトルを、注目画素Ｐの動きベクトルとして検出する。
【００３８】
次に、データベース７１（参照フレーム特徴量情報）を生成する場合のデータベース制御部６５の動作を、図６のフローチャートを参照して説明する。
【００３９】
ステップＳ３１において、データベース制御部６５は、データベース７１を初期化する。全てのフラグアドレス０のセルに０が書き込まれ、フラグアドレス１乃至ｂに格納されている位置情報が消去される。
【００４０】
次に、ステップＳ３２において、データベース制御部６５は、フレーム内の画素数をカウントするカウンタ変数ｎを０に初期化する。
【００４１】
ステップＳ３３において、データベース制御部６５は、特徴量抽出部６４から、参照フレームＦｒ上の１個の画素の特徴量とその位置情報を取得する。
【００４２】
次に、ステップＳ３４において、データベース制御部６５は、データベース７１の、取得した特徴量に対応する特徴量アドレスを検出するとともに、検出した特徴量アドレスの、フラグアドレス０に設定されている値Kを１だけインクリメントする。
【００４３】
ステップＳ３５において、データベース制御部６５は、ステップＳ３３で取得した位置情報を、ステップＳ３４で検出した特徴量アドレスのフラグアドレスＫ＋１に設定する。
【００４４】
ステップＳ３６において、データベース制御部６５は、カウンタ変数ｎを１だけインクリメントする。
【００４５】
次に、ステップＳ３７において、データベース制御部６５は、カウンタ変数ｎ＝1フレームの画素数であるか否かを判定し、カウンタ変数ｎ＝１フレームの画素数ではないと判定した場合、ステップＳ３３に戻り、それ以降の処理を行う。ステップＳ３７で、カウンタ変数ｎ＝１フレームの画素数であると判定された場合、すなわち、データベース７１に、参照フレームＦｒの各画素の位置情報が、その特徴量に対応する特徴量アドレスに対応付けられて設定されたとき、処理は終了する。
【００４６】
以上のようにしてデータベース７１（参照フレーム特徴量情報）が生成される。
【００４７】
次に、動きベクトル検出処理を、図７のフローチャートを参照して説明する。
【００４８】
ステップＳ５１において、動きベクトル検出部６６は、特徴量抽出部６２から、カレントフレームＦｃの注目画素Ｐの特徴量を取得すると、ステップＳ５２において、データベース制御部６５のデータベース７１から、ステップＳ５１で取得した特徴量に対応する特徴量アドレスに対応付けられて設定されている位置情報の１つを読み取る。
【００４９】
次に、ステップＳ５３において、動きベクトル検出部６６は、注目画素Ｐの画素値を、フレームメモリ６１から読み取り、ステップＳ５４において、ステップＳ５２で読み取った位置情報により特定される参照フレームＦｒの画素（候補画素）の画素値を、フレームメモリ６３から読み取る。
【００５０】
ステップＳ５５において、動きベクトル検出部６６は、ステップＳ５３で読み取った注目画素Ｐの画素値と、ステップＳ５４で読み取った候補画素の画素値の差分絶対値を算出する。
【００５１】
次に、ステップＳ５６において、動きベクトル検出部６６は、ステップＳ５１で取得した特徴量に対応する特徴量アドレスに対応付けられている位置情報のすべてを読み取ったか否かを判定し、読み取っていない位置情報がまだ残っていると判定した場合、ステップＳ５２に戻って次の位置情報をデータベース７１から読み取り、それ以降の処理を実行する。
【００５２】
ステップＳ５６で、すべての位置情報が読み取られたと判定された場合（すべての候補画素との差分絶対値が算出されたとき）、ステップＳ５７に進み、動きベクトル検出部６６は、ステップＳ５５で算出した差分絶対値の最小値が算出されたときの候補画素を検出する。
【００５３】
次に、ステップＳ５８において、動きベクトル検出部６６は、カレントフレームＦｃの注目画素Ｐに対応する参照フレームＦｒ上の画素を始点とし、ステップＳ５７で検出した候補画素（参照画素）を終点とするベクトルを、注目画素Ｐの動きベクトルとして検出する。
【００５４】
すなわちこの動きベクトル検出方法では、例えば、データベース７１において、図８に示すカレントフレームＦｃの注目画素Ｐの特徴量に対応する特徴量アドレスに、図８に示す参照フレームＦｒ上の３個の候補画素Ｐｒ１乃至Ｐｒ３の位置情報が設定されている場合、注目画素Ｐの画素値と、各候補画素Ｐｒ１乃至Ｐｒ３の画素値との差分絶対値がそれぞれ算出され、最も小さい差分絶対値が算出された候補画素Ｐｒが参照画素として検出される。そしてカレントフレームＦｃの注目画素Ｐに対応する参照フレームＦｒ上の画素を始点とし、検出された参照画素を終点とするベクトルが、注目画素Ｐの動きベクトルとして検出される。
【００５５】
図７に戻り、ステップＳ５９において、動きベクトル検出部６６は、カレントフレームＦｃのすべての画素の特徴量を、特徴量抽出部６２から取得したか否かを判定し、特徴量を取得してない画素がカレントフレームＦｃ上にまだ残っていると判定した場合、ステップＳ５１に戻って次の注目画素Ｐの特徴量を取得し、それ以降の処理を実行する。
【００５６】
ステップＳ５９で、カレントフレームＦｃ上のすべての画素の特徴量が取得されたと判定された場合、すなわちカレントフレームＦｃのすべての画素に対応する動きベクトルが検出されたとき、処理は終了する。
【００５７】
なお以上において候補画素は、注目画素Ｐの特徴量に対応する特徴量アドレスに対応付けられている位置情報で特定される画素とされたが、その画素の周辺の画素をさらに候補画素とすることもできる。
【００５８】
例えば、図９の例の場合、画素Ｐｒ１乃至Ｐｒ３と、それらを中心とする所定の大きさのブロックの４隅の画素Ｐｒ１１乃至Ｐｒ１４，Ｐｒ２１乃至Ｐｒ２４，Ｐｒ３１乃至Ｐｒ３４が候補画素となる。
【００５９】
また、すべての候補画素の周辺画素ではなく、候補画素の信頼度を評価して信頼度が最も高かった候補画素の周辺画素のみを候補画素に含めることもできる。なお信頼度が最も高いとは、例えば、注目画素Ｐとの差分絶対値が最も小さいことを意味する。
【００６０】
例えば、図１０の場合、画素Ｐｒ１乃至Ｐｒ３と、信頼度が最も高かった画素Ｐｒ１の周辺の４個の画素Ｐｒ１１乃至画素Ｐｒ１４が候補画素となる。
【００６１】
また、図９に示したように、注目画素Ｐの特徴量に対応する特徴量アドレスに応付けられている位置情報で特定される画素（以下、第１の候補画素と称する）と、それの周辺の画素（以下、第２の候補画素と称する）とを候補画素とするが、ステップＳ５５での算出結果に、第１の候補画素の信頼度に応じた重み付けをすることができる。
【００６２】
例えば、画素Ｐｒ１乃至画素Ｐｒ３の評価値が、それぞれ評価値Ｈ１乃至評価値Ｈ３とあった場合、画素Ｐｒ１と画素Ｐｒ１１乃至Ｐｒ１４について得られたステップＳ５５での差分絶対値のそれぞれには評価値Ｈ１が乗算され、画素Ｐｒ２と画素Ｐｒ２１乃至Ｐｒ２４について得られたステップＳ５５での差分絶対値のそれぞれには評価値Ｈ２が乗算され、そして画素Ｐｒ３と画素Ｐｒ３１乃至Ｐｒ３４について得られたステップＳ５５での差分絶対値のそれぞれには評価値Ｈ３が乗算される。
【００６３】
次に、他の動きベクトル検出処理を、図１１のフローチャートを参照して説明する。
【００６４】
ステップＳ７１において、動きベクトル検出部６６は、特徴量抽出部６２から、カレントフレームＦｃの注目画素Ｐの特徴量を取得すると、ステップＳ７２において、注目画素Ｐの位置に対応したサーチエリアＳＲを設定する。
【００６５】
次に、ステップＳ７３において、動きベクトル検出部６６は、データベース制御部６５のデータベース７１において、ステップＳ７１で取得した特徴量に対応する特徴量アドレスに対応付けられて設定されている位置情報のうち、ステップＳ７２で設定したサーチエリアＳＲ内の画素の位置情報を読み取る。
【００６６】
ステップＳ７４において、動きベクトル検出部６６は、ステップＳ７３で読み取った位置情報の１つの選択する。
【００６７】
ステップＳ７５乃至ステップＳ７７においては、図７のステップＳ５３乃至ステップＳ５５における場合と同様の処理が行われるので、その説明は省略する。
【００６８】
ステップＳ７８において、動きベクトル検出部６６は、ステップＳ７３で読み取ったサーチエリアＳＲ内の位置情報のすべてを選択したか否かを判定し、選択されていない位置情報がまだ残っていると判定した場合、ステップＳ７４に戻って次の位置情報を選択し、それ以降の処理を実行する。
【００６９】
ステップＳ７８で、すべての位置情報が選択されたと判定された場合（サーチエリア内のすべての候補画素との差分絶対値が算出されたとき）、ステップＳ７９に進む。
【００７０】
ステップＳ７９乃至ステップＳ８１においては、図７のステップＳ５７乃至ステップＳ５９における場合と同様の処理が行われるので、その説明は省略する。
【００７１】
すなわちこの例の場合、データベース７１において、例えば、図１２に示すカレントフレームＦｃの注目画素Ｐの特徴量に対応する特徴量アドレスに、図１２に示す参照フレームＦｒ上の３個の候補画素Ｐｒ１乃至Ｐｒ３の位置情報が設定されている場合、そのうちの、設定されたサーチエリアＳＲ内の候補画素Ｐｒ２，Ｐｒ３の画素値について差分絶対値が算出され、そのうち最も小さい差分絶対値が算出されたときの候補画素Ｐｒが参照画素として検出される。
【００７２】
このようにサーチエリアＳＲ内の候補画素についてのみ差分絶対値が算出されるので、動きベクトル検出をより迅速に行うことができる。
【００７３】
なお、この例の場合においても、候補画素を、図９および図１０を参照して上述したように決定したり、ステップＳ７７で算出される差分絶対値に重み付けすることができる。
【００７４】
次に、他の動きベクトル検出処理を、図１３のフローチャートを参照して説明する。
【００７５】
ステップＳ９１において、動きベクトル検出部６６は、特徴量抽出部６２から、カレントフレームＦｃの注目画素Ｐの特徴量を取得すると、ステップＳ９２において、注目画素Ｐを中心とする基準ブロックＢｂを生成する。
【００７６】
次に、ステップＳ９３において、動きベクトル検出部６６は、データベース制御部６５のデータベース７１から、ステップＳ９１で取得した特徴量に対応する特徴量アドレスに対応付けられて設定されている位置情報の１つを読み取る。
【００７７】
ステップＳ９４において、動きベクトル検出部６６は、ステップＳ９３で読み取った位置情報により特定される画素（候補画素）を中心とする参照ブロックＢｒを生成する。
【００７８】
次に、ステップＳ９５において、動きベクトル検出部６６は、ステップＳ９２で生成した基準ブロックＢｂの各画素の画素値と、ステップＳ９４で生成した参照ブロックＢｒの各画素の画素値との差分絶対値和を算出する。
【００７９】
ステップＳ９６において、動きベクトル検出部６６は、ステップＳ９１で取得した特徴量に対応する特徴量アドレスに対応付けられている位置情報のすべてを読み取ったか否かを判定し、読み取られていない位置情報がまだ残っていると判定した場合、ステップＳ９３に戻り、次の位置情報を読み取る。
【００８０】
ステップＳ９６で、すべての位置情報が読み取られたと判定された場合（すべての候補画素についての差分絶対値和が算出されたとき）、ステップＳ９７に進み、動きベクトル検出部６６は、ステップＳ９５で算出した差分絶対値和の最小値が算出されたときの候補画素（参照画素）を検出する。
【００８１】
ステップＳ９８において、動きベクトル検出部６６は、カレントフレームＦｃの注目画素Ｐに対応する参照フレームＦｒ上の画素を始点とし、ステップＳ９７で検出された参照画素を終点とするベクトルを、注目画素Ｐの動きベクトルとして検出する。
【００８２】
ステップＳ９９においては、図７のステップＳ５９における場合と同様の処理が行われるので、その説明は省略する。
【００８３】
なお、この例の場合においても、候補画素を、図９および図１０を参照して上述したように決定したり、ステップＳ９５で算出される差分絶対値和に重み付けすることができる。
【００８４】
次に、他の動きベクトル検出処理を、図１４のフローチャートを参照して説明する。
【００８５】
ステップＳ１１１において、動きベクトル検出部６６は、特徴量抽出部６２から、カレントフレームＦｃの注目画素Ｐの特徴量を取得すると、ステップＳ１１２において、注目画素Ｐを中心とする基準ブロックＢｂを生成する。
【００８６】
次に、ステップＳ１１３において、動きベクトル検出部６６は、注目画素Ｐの位置に対応するサーチエリアＳＲを設定する。
【００８７】
ステップＳ１１４において、動きベクトル検出部６６は、データベース制御部６５のデータベース７１において、ステップＳ１１１で取得した特徴量に対応する特徴量アドレスに対応付けられて設定されている位置情報のうち、ステップＳ１１３で設定したサーチエリアＳＲ内の画素の位置情報を読み取る。
【００８８】
次に、ステップＳ１１５において、動きベクトル検出部６６は、ステップＳ１１４で読み取った位置情報の１つを選択する。
【００８９】
ステップＳ１１６，１１７においては、図１３のステップＳ９４，９５における場合と同様の処理が行われているので、その説明は省略する。
【００９０】
ステップＳ１１８において、動きベクトル検出部６６は、ステップＳ１１４で読み取られた位置情報のすべてを選択したか否かを判定し、選択されていない位置情報がまだ残っていると判定した場合、ステップＳ１１５に戻り、次の位置情報を選択する。
【００９１】
ステップＳ１１８で、すべての位置情報が選択されたと判定された場合、ステップＳ１１９に進む。
【００９２】
ステップＳ１１９乃至ステップＳ１２１においては、図１３のステップＳ９７乃至ステップＳ９９における場合と同様の処理が行われるので、その説明は省略する。
【００９３】
なお、この例の場合においても、候補画素を、図９および図１０を参照して上述したように決定したり、ステップＳ１１７で算出された差分絶対値和に重み付けすることができる。
【００９４】
次に、他の動きベクトル検出処理を、図１５のフローチャートを参照して説明する。
【００９５】
ステップＳ１３１において、動きベクトル検出部６６は、特徴量抽出部６２から、注目画素Ｐの特徴量を取得すると、ステップＳ１３２において、データベース制御部６５のデータベース７１から、ステップＳ１３１で取得した特徴量に対応する特徴量アドレスに対応付けられて設定されている位置情報の１つを読み取る。
【００９６】
次に、ステップＳ１３３において、動きベクトル検出部６６は、注目画素Ｐに対応する参照フレームＦｒ上の画素を始点とし、ステップＳ１３２で読み取った位置情報により特定される候補画素を終点とするベクトルを算出する。
【００９７】
ステップＳ１３４において、動きベクトル検出部６６は、ステップＳ１３１で取得した特徴量に対応する特徴量アドレスに対応付けられている位置情報のすべてを読み取ったか否かを判定し、読み取っていない位置情報がまだ残っていると判定した場合、ステップＳ１３２に戻って、次の位置情報をデータベース７１から読み取り、それ以降の処理を行う。
【００９８】
ステップＳ１３４で、すべての位置情報が読み取られたと判定された場合（すべての候補画素とのベクトルが算出されたとき）、ステップＳ１３５に進み、動きベクトル検出部６６は、ステップＳ１３３で算出されたベクトルのうち、注目画素Ｐの、カレントフレームＦｃの１つ前のフレームにおける動きベクトルと最も近いベクトルを検出し、それを注目画素Ｐの動きベクトルとする。
【００９９】
なお、注目画素Ｐの動きベクトルは、次のステップＳ１３６において、注目画素Ｐの位置に関連付けて記憶されるので、動きベクトル検出部６６は、記憶したこの情報から、注目画素Ｐの、カレントフレームＦｃの１つ前のフレームにおける動きベクトルを取得する。
【０１００】
ステップＳ１３６で、ステップＳ１３５で検出された動きベクトルが記憶されると、ステップＳ１３７に進む。ステップＳ１３７おいては、図７のステップＳ５９における場合と同様の処理が行われるので、その説明は省略する。
【０１０１】
なお、この例の場合においても、候補画素を、図９および図１０を参照して上述したように決定したり、ステップＳ１３３で算出されるベクトルに重み付けをすることができる。
【０１０２】
次に、他の動きベクトル検出処理を、図１６のフローチャートを参照して説明する。
【０１０３】
ステップＳ１５１において、動きベクトル検出部６６は、特徴量抽出部６２から、カレントフレームＦｃの注目画素Ｐの特徴量を取得すると、ステップＳ１５２において、データベース制御部６５のデータベース７１から、ステップＳ１５１で取得した特徴量に対応する特徴量アドレスに対応付けられて設定されている位置情報を読み取る。
【０１０４】
次に、ステップＳ１５３において、動きベクトル検出部６６は、ステップＳ１５２で読み取った位置情報により特定される候補画素の重心点を算出する。
【０１０５】
ステップＳ１５４において、動きベクトル検出部６６は、カレントフレームＦｃの注目画素Ｐに対応する参照フレームＦｒ上の画素を始点とし、ステップＳ１５３で検出した候補画素の重心点を終点とするベクトルを、注目画素Ｐの動きベクトルとして検出する。
【０１０６】
ステップＳ１５５においては、図７のステップＳ５９における場合と同様の処理が行われるので、その説明は省略する。
【０１０７】
なお、この例の場合においても、候補画素を、図９および図１０を参照して上述したように決定することができる。
【０１０８】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ（図１７）などに、記録媒体からインストールされる。
【０１０９】
この記録媒体は、図１７に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１３１（フレキシブルディスクを含む）、光ディスク１３２（CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク１３３（ＭＤ(Mini-Disk)（商標）を含む）、もしくは半導体メモリ１３４などよりなるパッケージメディアなどにより構成される。
【０１１０】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１１】
【発明の効果】
本発明によれば、動きベクトルを迅速に検出することができる。
【図面の簡単な説明】
【図１】従来の動き検出部の構成例を示している。
【図２】ブロックマッチングのアルゴリズムを説明する図である。
【図３】従来の動き検出処理を説明するフローチャートである。
【図４】本発明を適用した動き検出部の構成例を示しているブロック図である。
【図５】図４のデータベースのデータ構造を示している図である。
【図６】データベース生成処理を説明するフローチャートである。
【図７】動きベクトル検出処理を説明するフローチャートである。
【図８】動きベクトル検出処理を説明する図である。
【図９】候補画素の決定方法を説明する図である。
【図１０】候補画素の他の決定方法を説明する図である。
【図１１】他の動きベクトル検出処理を説明するフローチャートである。
【図１２】動きベクトル検出処理を説明する他の図である。
【図１３】他の動きベクトル検出処理を説明するフローチャートである。
【図１４】他の動きベクトル検出処理を説明するフローチャートである。
【図１５】他の動きベクトル検出処理を説明するフローチャートである。
【図１６】他の動きベクトル検出処理を説明するフローチャートである。
【図１７】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
５１ 動き検出部， ６１ フレームメモリ， ６２ 特徴量抽出部， ６３フレームメモリ， ６４ 特徴量抽出部， ６５ データベース制御部， ６６ 動きベクトル検出部， ７１ データベース[0001]
BACKGROUND OF THE INVENTION
  The present inventionMotion vector detection deviceAnd a method, a recording medium, and a program, in particular, a motion vector can be detected quickly.Motion vector detection deviceAnd a method, a recording medium, and a program.
[0002]
[Prior art]
FIG. 1 shows a configuration example of a motion detection unit 1 of a conventional image processing apparatus that efficiently compresses a moving image using a motion vector indicating the motion of the image (see, for example, Patent Document 1 and Patent Document 2). ).
[0003]
The frame memory 11 stores the image information for one frame of the image signal input from the input terminal Tin, and stores the stored image information and the image information of the next input frame. 12 and the feature quantity extraction unit 13.
[0004]
The frame memory 12 stores the image information for one frame input from the frame memory 11, moves the stored image information, and then stores the image information of the frame input from the frame memory 11. Output to the vector detection unit 13.
[0005]
The motion vector detection unit 13 uses the image information for one frame input from the frame memory 11 as the image information of the current frame Fc, and 1 frame input from the frame memory 12 (1 frame from the frame input from the frame memory 11). The motion vector is detected by block matching using the image information of the past frame) as the image information of the reference frame Fr. The motion vector detection unit 13 outputs the detected motion vector via the output terminal Tout.
[0006]
Here, a block matching algorithm will be described with reference to FIG. For example, on the current frame Fc, a reference block Bb consisting of L (number of pixels) × L (number of pixels) centered on a pixel of interest (target pixel) P (i, j) for detecting a motion vector, and On the reference frame Fr, a search area SR corresponding to the position of the target pixel P (i, j), and a reference block Brn (L (number of pixels) × L (number of pixels) in the search area SR). n = 1, 2,... m) are set.
[0007]
Next, the sum of the absolute values of the differences between the pixels of the base block Bb and the pixels of the reference block Brn is determined so that the reference block Brn is moved by one pixel in the horizontal direction or the vertical direction throughout the search area SR. Calculation is performed for each of reference blocks Br1 to Brm (m is assumed that m reference blocks Brn can be set in the search area SR) formed by moving.
[0008]
The reference block Br having the smallest difference absolute value sum between each pixel of the base block Bb and the reference block Brn thus obtained is the closest (similar) reference block Br to the base block Bb. As required. Then, the reference block Brn detected as the closest to the base block Bb, starting from the pixel P ′ (i, j) on the reference frame Fr corresponding to the target pixel P (i, j) on the current frame Fc. A vector whose end point is the center pixel Pn (i, j) is output as the motion vector V (Vx, Vy) of the pixel of interest P (i, j).
[0009]
Next, the motion detection processing of the motion detection unit 1 in FIG. 1 will be described with reference to the flowchart in FIG.
[0010]
In step S <b> 1, the motion vector detection unit 13 sets the search area SR according to the pixel position of the pixel of interest P (i, j) on the current frame Fc input from the frame memory 11.
[0011]
In step S2, the motion vector detection unit 13 initializes a variable min that sets a minimum value of the sum of absolute differences between the pixel value of each pixel of the base block Bb and the pixel value of each pixel of the reference block Brn. Specifically, the variable min is set to a value obtained by multiplying the number of gradations of the pixel by the number of pixels constituting the reference block Bb. For example, when one pixel is 8-bit data and the reference block Bb is 3 pixels × 3 pixels, the number of gradations of one pixel is 256 gradations (256 colors) (= 2 to the 8th power). Since the number is nine, the variable min is initialized to 2304 (= 256 × 9).
[0012]
In step S3, the motion vector detection unit 13 initializes a counter variable n that counts the number of generated reference blocks Br to 1.
[0013]
In step S4, the motion vector detection unit 13 initializes a variable sum to which the sum of absolute difference values between the pixels of the base block Bb and the reference block Brn is substituted to 0.
[0014]
In step S5, the motion vector detection unit 13 obtains the sum of absolute differences (= sum) between the pixels of the base block Bb and the reference block Brn. That is, the motion vector detection unit 13 performs the calculation represented by Expression (1) to obtain the sum of absolute differences between the pixels of the base block Bb and the reference block Brn. In Expression (1), P_Bb (i, j) represents each pixel of the reference block Bb, and P_Brn (i, j) represents each pixel of the reference block Brn.
[Expression 1]

[0015]
In step S6, the motion vector detection unit 13 determines whether or not the variable min is larger than the variable sum. If it is determined that the variable min is larger, the process proceeds to step S7, where the variable min is updated to the variable sum. The value of the counter variable n is registered as a motion vector number. In other words, the fact that the variable sum indicating the sum of absolute differences thus obtained is smaller than the variable min indicating the minimum value means that the reference block Br currently being calculated is the standard than any reference block Br calculated so far. Since it can be regarded as being similar to the block Bb, it is a candidate for obtaining a motion vector, and the counter n at that time is registered as a motion vector number.
[0016]
If it is determined in step S6 that the variable min is not greater than the variable sum, the process of step S7 is skipped.
[0017]
In step S8, the motion vector detection unit 13 determines whether or not the counter variable n is the total number m of reference blocks Br in the search area SR, that is, whether or not the current reference block Br is a reference block Brm. For example, if it is determined that the total number is not m, the counter variable n is incremented by 1 in step S9, and the process returns to step S4.
[0018]
If it is determined in step S8 that the counter variable n is the total number m of the reference blocks Br in the search area SR, that is, it is determined that the current reference block Br is the reference block Brm, in step S10, the motion vector detection unit 13 Outputs a motion vector based on the registered motion vector number. That is, by repeating steps S4 to S9, the counter variable n corresponding to the reference block Brn having the smallest difference absolute value sum is registered as the motion vector number. A pixel Pn (i, j, which is the center of the reference block Brn corresponding to the motion vector number starts from the pixel P ′ (i, j) on the reference frame Fr corresponding to the target pixel P (i, j) on the frame Fc. A vector having j) as an end point is obtained and output as a motion vector V (Vx, Vy) of the target pixel P (i, j).
[0019]
[Patent Document 1]
Japanese Patent Application Laid-Open No. 07-087494
[0020]
[Patent Document 2]
JP 07-059093 A
[0021]
[Problems to be solved by the invention]
However, the block matching described above has a problem that the amount of calculation in Expression (1) becomes enormous and the motion vector cannot be detected quickly.
[0022]
The present invention has been made in view of such a situation, and makes it possible to detect a motion vector quickly and accurately.
[0023]
[Means for Solving the Problems]
  Of the present inventionMotion vector detection deviceIs each pixel of the second frame temporally prior to the first frameAnd the pixel values of pixels around the pixelStorage means for storing position information of the pixel for each address corresponding to a feature amount, and a target pixel of the first frameAnd the pixel values of pixels around the pixelFirst detection means for detecting the position information stored at an address corresponding to a feature amount, the position of the target pixel, and the first information specified by the position information detected by the first detection means. Calculating means for calculating a vector from the positions of candidate pixels of the second frame, and the pixel of interest among the vectorsIn positionTemporally1 flameAnd second detection means for detecting the vector closest to the previous motion vector as a motion vector of the pixel of interest.
[0024]
  Of the present inventionMotion vector detection methodIs each pixel of the second frame temporally prior to the first frameAnd the pixel values of pixels around the pixelA storage step of storing the position information of the pixel for each address corresponding to a feature amount; and a target pixel of the first frameAnd the pixel values of pixels around the pixelIt is specified by the first detection step for detecting the position information stored at the address corresponding to the feature amount, the position of the target pixel, and the position information detected in the processing of the first detection step. A calculation step of calculating a vector from the position of the candidate pixel of the second frame, and the target pixel of the vectorIn positionTemporally1 flameAnd a second detection step of detecting the vector closest to the previous motion vector as the motion vector of the pixel of interest.
[0025]
  The recording medium program according to the present invention includes each pixel of the second frame temporally prior to the first frame.And the pixel values of pixels around the pixelA storage step of storing the position information of the pixel for each address corresponding to a feature amount; and a target pixel of the first frameAnd the pixel values of pixels around the pixelIt is specified by the first detection step for detecting the position information stored at the address corresponding to the feature amount, the position of the target pixel, and the position information detected in the processing of the first detection step. A calculation step of calculating a vector from the position of the candidate pixel of the second frame, and the target pixel of the vectorIn positionTemporally1 flameAnd a second detection step of detecting the vector closest to the previous motion vector as the motion vector of the pixel of interest.
[0026]
  The program of the present invention uses each pixel of the second frame temporally before the first frame.And the pixel values of pixels around the pixelA storage step of storing the position information of the pixel for each address corresponding to a feature amount; and a target pixel of the first frameAnd the pixel values of pixels around the pixelIt is specified by the first detection step for detecting the position information stored at the address corresponding to the feature amount, the position of the target pixel, and the position information detected in the processing of the first detection step. A calculation step of calculating a vector from the position of the candidate pixel of the second frame, and the target pixel of the vectorIn positionTemporally1 flameA computer is caused to execute a process including a second detection step of detecting the vector closest to the previous motion vector as a motion vector of the target pixel.
[0027]
  Of the present inventionMotion vector detection deviceAnd a method, and a program, each pixel of the second frame temporally prior to the first frameAnd the pixel values of pixels around the pixelFor each address corresponding to the feature amount, position information of the pixel is stored, and the target pixel of the first frameAnd the pixel values of pixels around the pixelThe position information stored at the address corresponding to the feature amount is detected, and a vector is calculated from the position of the target pixel and the position of the candidate pixel of the second frame specified by the detected position information. The pixel of interest among the vectorsIn positionTemporally1 flameThe vector closest to the previous motion vector is detected as the motion vector of the pixel of interest.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 4 shows a configuration example of the motion detection unit 51 of the image processing apparatus to which the present invention for efficiently compressing a moving image using a motion vector indicating the motion of the image is applied.
[0029]
The frame memory 61 stores image information for one frame of the image signal input from the input terminal Tin, and stores the stored image information as the next input frame image information. The data is output to the extraction unit 62 and the frame memory 63.
[0030]
The feature amount extraction unit 62 extracts a feature amount of a pixel of interest (a pixel of interest P) for detecting a motion vector on the frame (current frame Fc) supplied from the frame memory 61. Specifically, for example, the value of the function f of the pixel value of the pixel of interest P and the eight neighboring pixels as shown in the equation (2) is used as the feature amount. In Expression (2), i represents the vertical direction, j represents the horizontal direction, and Li, j represents the pixel value at the position (i, j).
[Expression 2]

[0031]
The feature quantity extraction unit 62 outputs the extracted feature quantity to the motion vector detection unit 66.
[0032]
The frame memory 63 stores the image information for one frame input from the frame memory 61, and stores the stored image information and then the image information of the frame input from the frame memory 61. It outputs to the quantity extraction part 64.
[0033]
The feature amount extraction unit 64 outputs each pixel on the frame (reference frame Fr) input from the frame memory 63 (one frame past the frame of the target pixel from which the feature amount is extracted by the feature amount extraction unit 62). The feature amount is extracted by the same method as when the feature amount extraction unit 62 extracts the feature amount of the target pixel P. The feature quantity extraction unit 64 supplies the extracted feature quantity of each pixel on the reference frame Fr to the database control unit 65 together with position information (for example, coordinate information).
[0034]
The database control unit 65 has a database 71 composed of a × b cells indicated by feature amount addresses 0 to a and flag addresses 0 to b as shown in FIG. The database control unit 65 associates the positional information of each pixel of the reference frame Fr supplied from the feature amount extraction unit 64 with the feature amount address corresponding to the feature amount supplied together with the flag address 1 to b. Store in order. The flag address 0 stores the number of position information currently stored in the feature amount address.
[0035]
For example, when one piece of position information is stored in the feature amount address 1 (stored in the flag address 1) and 1 is stored in the flag address 0 (cell (1, 0)), the feature When the feature amount corresponding to the quantity address 1 is input, the positional information input together with the feature quantity is stored in the flag address 2 (cell (1, 2)) corresponding to the feature quantity address 1, and the flag address The value of 0 (cell (1, 0)) is incremented to 2.
[0036]
Returning to FIG. 4, the motion vector detection unit 66 includes the feature amount of the target pixel P on the current frame Fc supplied from the feature amount extraction unit 62 and information on the reference frame set in the database 71 of the database control unit 65. (Hereinafter referred to as reference frame feature amount information) is used to detect a motion vector corresponding to the target pixel P.
[0037]
For example, the motion vector detection unit 66 specifies the position of the target pixel P in the current frame Fc and each position information set in the database 71 in association with the feature amount address corresponding to the feature amount of the target pixel P. A vector is calculated from the position of each pixel (hereinafter referred to as a candidate pixel as appropriate) on the reference frame Fr. Then, the motion vector detection unit 66 detects a candidate pixel (reference pixel) when a vector closest to the past vector of the target pixel P is calculated, and at the same time, the reference frame Fr corresponding to the target pixel P on the current frame Fc. A vector starting from the upper pixel and ending at the reference pixel is detected as a motion vector of the pixel of interest P.
[0038]
Next, the operation of the database control unit 65 when generating the database 71 (reference frame feature amount information) will be described with reference to the flowchart of FIG.
[0039]
In step S31, the database control unit 65 initializes the database 71. 0 is written in all the cells of flag address 0, and the position information stored in flag addresses 1 to b is erased.
[0040]
Next, in step S32, the database control unit 65 initializes a counter variable n for counting the number of pixels in the frame to 0.
[0041]
In step S <b> 33, the database control unit 65 acquires the feature amount of one pixel on the reference frame Fr and its position information from the feature amount extraction unit 64.
[0042]
Next, in step S34, the database control unit 65 detects a feature amount address corresponding to the acquired feature amount in the database 71, and sets the value K of the detected feature amount address set to the flag address 0. Increment by one.
[0043]
In step S35, the database control unit 65 sets the position information acquired in step S33 to the flag address K + 1 of the feature amount address detected in step S34.
[0044]
In step S36, the database control unit 65 increments the counter variable n by 1.
[0045]
Next, in step S37, the database control unit 65 determines whether or not the counter variable n = 1 is the number of pixels in one frame, and if it is determined that the counter variable n is not the number of pixels in one frame, the process proceeds to step S33. Return and perform further processing. When it is determined in step S37 that the counter variable n is the number of pixels of one frame, that is, the position information of each pixel of the reference frame Fr is associated with the feature amount address corresponding to the feature amount in the database 71. If it has been set, the process ends.
[0046]
The database 71 (reference frame feature amount information) is generated as described above.
[0047]
Next, the motion vector detection process will be described with reference to the flowchart of FIG.
[0048]
In step S51, the motion vector detection unit 66 acquires the feature amount of the target pixel P of the current frame Fc from the feature amount extraction unit 62. In step S52, the motion vector detection unit 66 acquires from the database 71 of the database control unit 65 in step S51. One of the position information set in association with the feature amount address corresponding to the feature amount is read.
[0049]
Next, in step S53, the motion vector detection unit 66 reads the pixel value of the target pixel P from the frame memory 61, and in step S54, the pixel (candidate) of the reference frame Fr specified by the position information read in step S52. Pixel value) is read from the frame memory 63.
[0050]
In step S55, the motion vector detection unit 66 calculates the absolute difference between the pixel value of the target pixel P read in step S53 and the pixel value of the candidate pixel read in step S54.
[0051]
Next, in step S56, the motion vector detection unit 66 determines whether or not all of the position information associated with the feature amount address corresponding to the feature amount acquired in step S51 has been read, and the position that has not been read. If it is determined that the information still remains, the process returns to step S52, the next position information is read from the database 71, and the subsequent processing is executed.
[0052]
If it is determined in step S56 that all the position information has been read (when the difference absolute values from all candidate pixels have been calculated), the process proceeds to step S57, and the motion vector detection unit 66 calculates in step S55. A candidate pixel when the minimum difference absolute value is calculated is detected.
[0053]
Next, in step S58, the motion vector detection unit 66 uses a pixel on the reference frame Fr corresponding to the target pixel P of the current frame Fc as a start point, and a vector having the candidate pixel (reference pixel) detected in step S57 as an end point. Are detected as the motion vector of the target pixel P.
[0054]
That is, in this motion vector detection method, for example, in the database 71, three candidate pixels on the reference frame Fr shown in FIG. 8 are assigned to the feature quantity address corresponding to the feature quantity of the target pixel P of the current frame Fc shown in FIG. When the position information of Pr1 to Pr3 is set, the difference absolute value between the pixel value of the target pixel P and the pixel value of each candidate pixel Pr1 to Pr3 is calculated, and the candidate for which the smallest difference absolute value is calculated Pixel Pr is detected as a reference pixel. A vector starting from a pixel on the reference frame Fr corresponding to the target pixel P in the current frame Fc and having the detected reference pixel as an end point is detected as a motion vector of the target pixel P.
[0055]
Returning to FIG. 7, in step S <b> 59, the motion vector detection unit 66 determines whether or not the feature amount of all the pixels of the current frame Fc has been acquired from the feature amount extraction unit 62, and has not acquired the feature amount. If it is determined that the pixel still remains on the current frame Fc, the process returns to step S51 to acquire the feature amount of the next pixel of interest P, and the subsequent processing is executed.
[0056]
If it is determined in step S59 that the feature values of all the pixels on the current frame Fc have been acquired, that is, if motion vectors corresponding to all the pixels of the current frame Fc have been detected, the process ends.
[0057]
In the above description, the candidate pixel is a pixel specified by the position information associated with the feature amount address corresponding to the feature amount of the target pixel P. However, pixels around the pixel are further set as candidate pixels. You can also.
[0058]
For example, in the example of FIG. 9, the pixels Pr1 to Pr3 and the pixels Pr11 to Pr14, Pr21 to Pr24, and Pr31 to Pr34 at the four corners of a block of a predetermined size centering on the pixels are candidate pixels.
[0059]
Further, it is possible to include not only the peripheral pixels of all candidate pixels but only the peripheral pixels of the candidate pixel having the highest reliability by evaluating the reliability of the candidate pixels. Note that the highest reliability means, for example, that the difference absolute value from the target pixel P is the smallest.
[0060]
For example, in the case of FIG. 10, the pixels Pr1 to Pr3 and the four pixels Pr11 to Pr14 around the pixel Pr1 having the highest reliability are candidate pixels.
[0061]
Further, as shown in FIG. 9, a pixel (hereinafter referred to as a first candidate pixel) specified by position information associated with a feature amount address corresponding to a feature amount of the target pixel P, Although surrounding pixels (hereinafter referred to as second candidate pixels) are set as candidate pixels, the calculation result in step S55 can be weighted according to the reliability of the first candidate pixel.
[0062]
For example, when the evaluation values of the pixels Pr1 to Pr3 are the evaluation values H1 to H3, respectively, the absolute value of the difference in step S55 obtained for the pixels Pr1 and Pr11 to Pr14 is the evaluation value H1. Is multiplied by an evaluation value H2 for each of the difference absolute values obtained in step S55 obtained for the pixel Pr2 and the pixels Pr21 to Pr24, and the difference obtained in step S55 is obtained for the pixel Pr3 and the pixels Pr31 to Pr34. Each of the absolute values is multiplied by the evaluation value H3.
[0063]
Next, another motion vector detection process will be described with reference to the flowchart of FIG.
[0064]
In step S71, when the motion vector detection unit 66 acquires the feature amount of the target pixel P of the current frame Fc from the feature amount extraction unit 62, the motion vector detection unit 66 sets a search area SR corresponding to the position of the target pixel P in step S72. .
[0065]
Next, in step S73, the motion vector detection unit 66 includes, among the position information set in the database 71 of the database control unit 65 in association with the feature amount address corresponding to the feature amount acquired in step S71. The pixel position information in the search area SR set in step S72 is read.
[0066]
In step S74, the motion vector detection unit 66 selects one of the position information read in step S73.
[0067]
In steps S75 to S77, the same processing as in steps S53 to S55 of FIG. 7 is performed, and thus the description thereof is omitted.
[0068]
In step S78, the motion vector detection unit 66 determines whether or not all the position information in the search area SR read in step S73 has been selected, and determines that position information that has not been selected still remains. Returning to step S74, the next position information is selected, and the subsequent processing is executed.
[0069]
If it is determined in step S78 that all position information has been selected (when absolute differences from all candidate pixels in the search area have been calculated), the process proceeds to step S79.
[0070]
In steps S79 to S81, the same processing as in steps S57 to S59 of FIG. 7 is performed, and thus the description thereof is omitted.
[0071]
That is, in the case of this example, in the database 71, for example, three candidate pixels Pr1 through Pr1 on the reference frame Fr shown in FIG. 12 are assigned to the feature quantity address corresponding to the feature quantity of the target pixel P of the current frame Fc shown in FIG. When the position information of Pr3 is set, the difference absolute value is calculated for the pixel values of the candidate pixels Pr2 and Pr3 in the set search area SR, and the smallest difference absolute value is calculated. Candidate pixel Pr is detected as a reference pixel.
[0072]
In this way, since the absolute difference value is calculated only for the candidate pixels in the search area SR, motion vector detection can be performed more quickly.
[0073]
Even in this example, candidate pixels can be determined as described above with reference to FIGS. 9 and 10, or the difference absolute value calculated in step S77 can be weighted.
[0074]
Next, another motion vector detection process will be described with reference to the flowchart of FIG.
[0075]
In step S91, when the motion vector detection unit 66 acquires the feature amount of the target pixel P of the current frame Fc from the feature amount extraction unit 62, the motion vector detection unit 66 generates a reference block Bb centered on the target pixel P in step S92.
[0076]
Next, in step S93, the motion vector detecting unit 66 is one piece of position information set in association with the feature amount address corresponding to the feature amount acquired in step S91 from the database 71 of the database control unit 65. Read.
[0077]
In step S94, the motion vector detection unit 66 generates a reference block Br centered on the pixel (candidate pixel) specified by the position information read in step S93.
[0078]
Next, in step S95, the motion vector detection unit 66 sums the absolute difference between the pixel value of each pixel of the base block Bb generated in step S92 and the pixel value of each pixel of the reference block Br generated in step S94. Is calculated.
[0079]
In step S96, the motion vector detection unit 66 determines whether or not all of the position information associated with the feature amount address corresponding to the feature amount acquired in step S91 has been read. If it is determined that it still remains, the process returns to step S93 to read the next position information.
[0080]
If it is determined in step S96 that all position information has been read (when the sum of absolute differences is calculated for all candidate pixels), the process proceeds to step S97, and the motion vector detection unit 66 calculates in step S95. A candidate pixel (reference pixel) when the minimum value of the sum of absolute differences is calculated is detected.
[0081]
In step S98, the motion vector detection unit 66 sets a vector whose starting point is the pixel on the reference frame Fr corresponding to the target pixel P of the current frame Fc and whose end point is the reference pixel detected in step S97 to the target pixel P. Detect as motion vector.
[0082]
In step S99, the same processing as in step S59 of FIG. 7 is performed, and thus the description thereof is omitted.
[0083]
Even in this example, candidate pixels can be determined as described above with reference to FIGS. 9 and 10, or the sum of absolute differences calculated in step S95 can be weighted.
[0084]
Next, another motion vector detection process will be described with reference to the flowchart of FIG.
[0085]
In step S111, when the motion vector detection unit 66 acquires the feature amount of the target pixel P of the current frame Fc from the feature amount extraction unit 62, the motion vector detection unit 66 generates a reference block Bb centered on the target pixel P in step S112.
[0086]
Next, in step S113, the motion vector detection unit 66 sets a search area SR corresponding to the position of the target pixel P.
[0087]
In step S114, the motion vector detection unit 66 in step S113 among the position information set in the database 71 of the database control unit 65 in association with the feature amount address corresponding to the feature amount acquired in step S111. The position information of the pixels in the set search area SR is read.
[0088]
Next, in step S115, the motion vector detection unit 66 selects one of the position information read in step S114.
[0089]
In steps S116 and 117, processing similar to that in steps S94 and 95 of FIG.
[0090]
In step S118, the motion vector detection unit 66 determines whether or not all of the position information read in step S114 has been selected. If it is determined that position information that has not been selected still remains, the process proceeds to step S115. Return and select the next location information.
[0091]
If it is determined in step S118 that all position information has been selected, the process proceeds to step S119.
[0092]
In steps S119 to S121, the same processing as in steps S97 to S99 of FIG. 13 is performed, and thus the description thereof is omitted.
[0093]
Even in this example, the candidate pixels can be determined as described above with reference to FIGS. 9 and 10, or the sum of absolute differences calculated in step S117 can be weighted.
[0094]
Next, another motion vector detection process will be described with reference to the flowchart of FIG.
[0095]
In step S131, when the motion vector detection unit 66 acquires the feature amount of the target pixel P from the feature amount extraction unit 62, the motion vector detection unit 66 corresponds to the feature amount acquired in step S131 from the database 71 of the database control unit 65 in step S132. One of the position information set in association with the feature amount address is read.
[0096]
Next, in step S133, the motion vector detection unit 66 calculates a vector having a pixel on the reference frame Fr corresponding to the target pixel P as a start point and a candidate pixel specified by the position information read in step S132 as an end point. To do.
[0097]
In step S134, the motion vector detection unit 66 determines whether or not all of the position information associated with the feature amount address corresponding to the feature amount acquired in step S131 has been read. If it is determined that it remains, the process returns to step S132, the next position information is read from the database 71, and the subsequent processing is performed.
[0098]
When it is determined in step S134 that all position information has been read (when vectors with all candidate pixels are calculated), the process proceeds to step S135, and the motion vector detection unit 66 determines the vector calculated in step S133. Among them, a vector closest to the motion vector in the frame immediately before the current frame Fc of the target pixel P is detected, and is set as the motion vector of the target pixel P.
[0099]
Since the motion vector of the target pixel P is stored in association with the position of the target pixel P in the next step S136, the motion vector detection unit 66 determines that the current frame Fc of the target pixel P from the stored information. The motion vector in the previous frame is acquired.
[0100]
When the motion vector detected in step S135 is stored in step S136, the process proceeds to step S137. In step S137, the same processing as in step S59 of FIG. 7 is performed, and thus the description thereof is omitted.
[0101]
Even in this example, the candidate pixels can be determined as described above with reference to FIGS. 9 and 10, or the vectors calculated in step S133 can be weighted.
[0102]
Next, another motion vector detection process will be described with reference to the flowchart of FIG.
[0103]
In step S151, when the motion vector detection unit 66 acquires the feature amount of the target pixel P of the current frame Fc from the feature amount extraction unit 62, in step S152, the motion vector detection unit 66 acquires from the database 71 of the database control unit 65 in step S151. The position information set in association with the feature amount address corresponding to the feature amount is read.
[0104]
Next, in step S153, the motion vector detection unit 66 calculates the barycentric point of the candidate pixel specified by the position information read in step S152.
[0105]
In step S154, the motion vector detection unit 66 sets a vector starting from a pixel on the reference frame Fr corresponding to the target pixel P of the current frame Fc and ending at the center of gravity of the candidate pixel detected in step S153. Detect as P motion vector.
[0106]
In step S155, the same processing as in step S59 of FIG. 7 is performed, and thus the description thereof is omitted.
[0107]
Even in this example, the candidate pixels can be determined as described above with reference to FIGS. 9 and 10.
[0108]
The series of processes described above can also be executed by software. The software is a computer in which the program constituting the software is incorporated in dedicated hardware, or various functions can be executed by installing various programs, for example, a general-purpose personal computer (FIG. 17) and the like are installed from the recording medium.
[0109]
As shown in FIG. 17, this recording medium is distributed to provide a program to the user separately from the computer, and includes a magnetic disk 131 (including a flexible disk) on which the program is recorded, an optical disk 132 (CD- ROM (Compact Disk-Read Only Memory), DVD (including Digital Versatile Disk)), magneto-optical disk 133 (including MD (Mini-Disk) (trademark)), or a package medium composed of semiconductor memory 134, etc. Is done.
[0110]
Further, in the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series. It also includes processes that are executed individually.
[0111]
【The invention's effect】
According to the present invention, a motion vector can be detected quickly.
[Brief description of the drawings]
FIG. 1 shows a configuration example of a conventional motion detection unit.
FIG. 2 is a diagram illustrating a block matching algorithm.
FIG. 3 is a flowchart illustrating a conventional motion detection process.
FIG. 4 is a block diagram showing a configuration example of a motion detection unit to which the present invention is applied.
FIG. 5 is a diagram showing a data structure of the database in FIG. 4;
FIG. 6 is a flowchart illustrating database generation processing.
FIG. 7 is a flowchart illustrating motion vector detection processing.
FIG. 8 is a diagram illustrating motion vector detection processing.
FIG. 9 is a diagram for explaining a candidate pixel determination method;
FIG. 10 is a diagram illustrating another method for determining candidate pixels.
FIG. 11 is a flowchart illustrating another motion vector detection process.
FIG. 12 is another diagram for explaining motion vector detection processing;
FIG. 13 is a flowchart illustrating another motion vector detection process.
FIG. 14 is a flowchart illustrating another motion vector detection process.
FIG. 15 is a flowchart illustrating another motion vector detection process.
FIG. 16 is a flowchart illustrating another motion vector detection process.
FIG. 17 is a block diagram illustrating a configuration example of a personal computer.
[Explanation of symbols]
51 motion detection unit, 61 frame memory, 62 feature quantity extraction unit, 63 frame memory, 64 feature quantity extraction unit, 65 database control unit, 66 motion vector detection unit, 71 database

Claims (4)

In a motion vector detection device for detecting a motion vector ,
Storage means for storing the position information of the pixels for each address corresponding to the feature amount calculated from the pixel values of the pixels in the second frame temporally prior to the first frame and the pixels around the pixels ;
First detection means for detecting the position information stored in an address corresponding to a feature amount calculated from a pixel value of a pixel of interest of the first frame and pixels around the pixel ;
Calculating means for calculating a vector from the position of the target pixel and the position of the candidate pixel of the second frame specified by the position information detected by the first detecting means;
A motion vector comprising: a second detection unit configured to detect, as the motion vector of the target pixel, the vector closest to the motion vector one frame before in the target pixel position among the vectors. Detection device . In a motion vector detection method of a motion vector detection device for detecting a motion vector ,
A storage step of storing the position information of the pixels for each address corresponding to the feature amount calculated from the pixel values of the pixels of the second frame temporally prior to the first frame and the pixels around the pixels ;
A first detection step of detecting the position information stored in an address corresponding to a feature amount calculated from a pixel value of a pixel of interest of the first frame and pixels around the pixel ;
A calculation step of calculating a vector from the position of the target pixel and the position of the candidate pixel of the second frame specified by the position information detected in the processing of the first detection step;
A second detection step of detecting, as the motion vector of the target pixel, the vector closest to the motion vector one frame before in the target pixel position among the vectors. Detection method . A program for causing a computer to execute a motion vector detection process for detecting a motion vector ,
A storage step of storing the position information of the pixels for each address corresponding to the feature amount calculated from the pixel values of the pixels of the second frame temporally prior to the first frame and the pixels around the pixels ;
A first detection step of detecting the position information stored in an address corresponding to a feature amount calculated from a pixel value of a pixel of interest of the first frame and pixels around the pixel ;
A calculation step of calculating a vector from the position of the target pixel and the position of the candidate pixel of the second frame specified by the position information detected in the processing of the first detection step;
A computer comprising: a second detection step of detecting, as the motion vector of the target pixel, the vector closest to the motion vector one frame before in the target pixel position among the vectors. A recording medium on which a readable program is recorded. A program for causing a computer to execute a motion vector detection process for detecting a motion vector ,
A storage step of storing the position information of the pixels for each address corresponding to the feature amount calculated from the pixel values of the pixels of the second frame temporally prior to the first frame and the pixels around the pixels ;
A first detection step of detecting the position information stored in an address corresponding to a feature amount calculated from a pixel value of a pixel of interest of the first frame and pixels around the pixel ;
A calculation step of calculating a vector from the position of the target pixel and the position of the candidate pixel of the second frame specified by the position information detected in the processing of the first detection step;
Among the vector, the vector temporally closest to the preceding frame of the motion vector in the target pixel position, thereby executing the processing including a second detecting step of detecting a motion vector of the pixel of interest to the computer A program characterized by

Images