JP4337738B2 - 画像信号処理装置および画像信号処理方法 - Google Patents

Description

本発明は、たとえば動画像圧縮装置などに用いられる動き検出装置やオブジェクト検索装置等、マッチングを必要とする処理に適用可能な画像信号処理装置および画像信号処理方法に関するものである。

信号のマッチング処理、特に画像信号のマッチング処理は、一般的に演算量が多いという問題点がある。マッチング処理を用いた例として、以下に説明するようなブロックマッチングによる動きベクトル検出がある。

すなわち、画像信号処理装置においては、動画像圧縮を効率よく行うための主要技術の１つとして、画像の動きを示す動きベクトルを求める動き検出がある。この動きベクトルを求める手法はいくつか提案されているが、主な手法の１つとしてブロックマッチングアルゴリズムと呼ばれる手法がある。

図１は、ブロックマッチングアルゴリズムを採用した従来の画像信号処理装置における動き検出装置の構成例を示すブロック図である。

この動き検出装置１は、フレームメモリ２，３、および動きベクトル検出部４を有している。
動き検出装置１においては、入力端子ＴINから画像信号が入力されると、１画面の情報がフレームメモリ２に格納される。
次の画面情報が入力されると、先ほどの（前回に入力された）フレームメモリ２の情報がフレームメモリ３に格納され、現在（今回）入力された情報がフレームメモリ２に格納される。
すなわち、カレントフレームＦｃの情報がフレームメモリ２に、参照フレームＦｒの情報がフレームメモリ３に格納されていることになる。
次に、カレントフレームＦｃ、参照フレームＦｒの情報が動きベクトル検出部４に送られる。そして、動きベクトル検出部４でブロック分けされて動きベクトル（Ｖｘ，Ｖｙ）が検出されて、端子ＴOUT から出力される。

図２は、ブロックマッチングアルゴリズムの概要を説明するための図である。以下に、アルゴリズムの概要を図２に関連付けて説明する。

このアルゴリズムにおいては、カレントフレームＦｃ内の注目画素Ｆｃ（ｘ，ｙ）における動きベクトルは、注目画素Ｆｃ（ｘ，ｙ）を中心としてある基準ブロック範囲（Ｌ×Ｌ）の画素と、参照フレームＦｒ内のサーチエリアＳＲ内の前記ブロック範囲（Ｌ×Ｌ）と同じブロック範囲内の画素とで対応する画素との差分絶対値和を演算する。
サーチエリアＳＲ内で抽出するブロック範囲を一画素ずつ移動させながら上述の演算を繰り返し、全てのブロックの中で最も差分絶対値和が最も小さいブロックの中心位置と注目画素位置との差分ベクトルを解（動きベクトル）とする。

次に、図３に関連付けてカレントフレームＦｃ内ある画素Ｆｃ（ｘ，ｙ）の動きベクトルを検出する処理手順を詳細に説明する。

［ステップＳＴ１］
ステップＳＴ１においては、処理開始ＳＴ０後、注目画素の位置（ｘ，ｙ）から参照フレーム内の同位置を基準としたサーチエリアＳＲが決定する。

［ステップＳＴ２］
ステップＳＴ２においては、演算結果の最小値を格納する変数ｍｉｎの初期化のために、演算式の最大値を代入する。１画素を８ビット、ブロック内の画素数を１６とすると、２⁸ ×１６＝４０９６を変数ｍｉｎに代入する。

［ステップＳＴ３］
ステップＳＴ３においては、サーチエリアＳＲ内のブロックをカウントするカウンタ変数ｎを１に初期化する。

［ステップＳＴ４］
ステップＳＴ４においては、演算結果を代入する変数ｓｕｍを０に初期化する。

［ステップＳＴ５］
ステップＳＴ５においては、基準ブロックの範囲をＬ×Ｌ、カレントフレームＦｃのあるブロック内の画素をＦｃ（ｉ，ｊ）、参照フレームＦｒのサーチエリアＳＲ内のｋ番目のブロック内の画素をＦｒｋ（ｉ，ｊ）とすると、対応する画素との差分絶対値和、すなわち次の数１に示す演算を行い、演算結果をｓｕｍに代入する。

［ステップＳＴ６］
ステップＳＴ６においては、演算した差分絶対値和ｓｕｍと差分絶対値和の最小値ｍｉｎとの大小関係の判別を行う。演算した差分絶対値和ｓｕｍが小さい場合にはステップＳＴ７へ、大きい場合（等しいを含む）には演算結果が最小値ではないので更新手続きのステップＳＴ７をスキップしてステップＳＴ８へ進む。

［ステップＳＴ７］
ステップＳＴ７においては、最小値ｍｉｎを演算結果ｓｕｍに更新し、動きベクトル番号としてブロックのカウント値ｎを設定する。

［ステップＳＴ８］
ステップＳＴ８においては、ブロックのカウント値ｎがサーチエリアＳＲ内のブロック総数、つまり最後のブロックならば終了なのでステップＳＴ１０へ、最後のブロックではなければ、ＳＴ９へ進む。

［ステップＳＴ９］
ステップＳＴ９においては、ブロックのカウント値ｎをｎ＋１にインクリメントして、演算を繰り返すためにステップＳＴ４へ進む。

［ステップＳＴ１０］
ステップＳＴ１０においては、動き番号に格納されているブロック番号のブロックの中心画素と（ｘ，ｙ）から動きベクトルを求めて出力する。

上述したブロックマッチングアルゴリズムは、式（１）の演算を繰り返し行うため、演算量が非常に膨大となっており、ＭＰＥＧ等の画像圧縮処理の大半の時間がこれに費やされるという不利益がある。

本発明の目的は、僅かな演算量のみでマッチング処理等を行うことができ、しかも動きベクトル等を精度良く検出することを可能とする画像信号処理装置および画像信号処理方法を提供することにある。

上記目的を達成するため、本発明の第１の観点は、複数の第１のデータを含む第１の画像信号と、複数の第２のデータを含む第２の画像信号を用いて動きベクトルを検出する画像信号処理装置において、上記第１の画像信号において、注目位置のデータである注目データである特徴量を抽出する第１の特徴量抽出手段と、上記第２のデータそれぞれの上記特徴量に対応するアドレスで指定された箇所に、上記第２のデータの位置情報を格納する格納手段と、上記注目データの上記特徴量に対応するアドレスで、上記格納手段に格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得し、上記注目データの位置情報と取得された上記第２のデータの位置情報とを用いて、上記注目データの動きベクトルを算出する動きベクトル算出手段とを有する。
好適には、上記動きベクトル算出手段は、上記注目データの特徴量に対応する上記第２のデータの位置情報が、上記格納手段から複数読み出された場合は、上記注目データの位置に最も距離が近い上記位置情報を、上記注目データに対応する上記第２のデータの位置情報とする。
本発明の第２の観点は、複数の第１のデータを含む第１の画像信号と、複数の第２のデータを含む第２の画像信号を用いて動きベクトルを検出する画像信号処理方法において、上記第１の画像信号において、注目位置のデータである注目データである特徴量を抽出する第１のステップと、上記第２のデータそれぞれの上記特徴量に対応するアドレスで指定された箇所に、上記第２のデータの位置情報を格納する第２のステップと、上記注目データの上記特徴量に対応するアドレスで、上記格納手段に格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得する第３のステップと、上記注目データの位置情報と取得された上記第２のデータの位置情報とを用いて、上記注目データの動きベクトルを算出する第４のステップと、を有し、上記第３のステップは、上記注目データの特徴量に対応する上記第２のデータの位置情報が、上記格納手段から複数読み出された場合は、上記注目データの位置に最も距離が近い上記位置情報を、上記注目データに対応する上記第２のデータの位置情報とする。

本発明によれば、僅かな演算量のみでマッチング処理等を行うことができ、しかも動きベクトル等を精度良く検出することができる。

以下、本発明の実施の形態を添付図面に関連付けて説明する。

図４は、本発明に係る画像信号処理装置の要部である動き検出装置の基本的な構成を有する信号処理装置を示すブロック図である。

本信号処理装置は、複数の第１のデータを含む第１の信号において、注目位置のデータである注目データの特徴量に対応するアドレスで、動き検出メモリ（以下、ＭＥメモリという）に格納された第２の信号に含まれる第２のデータの位置情報を読み出すことで、注目データに対応する第２のデータの位置情報を取得（決定）する処理を行うことで、僅かな演算で位置情報（動きベクトル）を精度良く推定することを可能とするものである。

なお、以降の説明で、ＭＥメモリ（特徴量アドレス，ｉ）というのは、ＭＥメモリ中で（特徴量アドレス，ｉ）というアドレスで指定されている箇所に格納されているデータを示すことである。

以下、本信号処理装置の具体的な構成および機能について、図面を参照しながら詳細に説明する。

本信号処理装置１０は、第１のデータ格納部１１、第２のデータ格納部１２、ＭＥメモリ１３、およびマッチング部１４を有している。

なお、第１のデータ格納部１１により本発明に係る第１の特徴量抽出手段が構成され、第２のデータ格納部１２により本発明に係る第２の特徴量抽出手段が構成され、ＭＥメモリ１３により本発明に係る格納手段が構成され、マッチング部１４により本発明に係る動きベクトル算出手段（マッチング手段）が構成される。

第１のデータ格納部１１は、入力端子ＴINから入力された複数の第１のデータを含む第１の信号を格納する。
第１のデータ格納部１１は、次の第１の信号が入力されるこの次の第１の信号を格納し、先に格納した第１の信号を複数の第２のデータを含む第２の信号として第２のデータ格納部１２、およびマッチング部１４に出力する。
また、第１のデータ格納部１１は、格納した第１の信号において、注目位置のデータである注目データの特徴量を抽出し、注目データの位置情報を含む特徴量情報をマッチング部１４に供給する。

第２のデータ格納部１２は、第１のデータ格納部１１に格納されていた以前（たとえば１回前）の第２の信号を格納し、格納した第２の信号において、第２のデータのそれぞれの特徴量を抽出し、ＭＥメモリ１３に格納する。

図５は、第１および第２のデータ格納部の構成例を示すブロック図である。図５に示すように、第１および第２のデータ格納部の各々は、メモリ１１１と、メモリ１１１に格納された第１または第２の信号から特徴量を抽出する特徴量抽出部１１２を有する。

ＭＥメモリ１３は、第２のデータ格納部１２による第２の信号の第２のデータのそれぞれの特徴量を受けて、第２のデータのそれぞれの特徴量に対応するアドレスで指定された箇所に、第２のデータの位置情報を格納する。

マッチング部１４は、第１のデータ格納部１１から入力した注目位置のデータである注目データの特徴量に対応するアドレスで、ＭＥメモリ１３に格納された第２の信号に含まれる第２のデータの位置情報を読み出すことで、注目データに対応する第２のデータの位置情報を取得（決定）する。
マッチング部１４は、注目データの特徴量に対応する第２のデータの位置情報が、ＭＥメモリ１３から複数読み出された場合は、注目データの位置に最も距離が近い上記位置情報を、注目データに対応する第２のデータの位置情報とする。

図６は、マッチング部１４の構成例を示すブロック図である。

このマッチング部１４は、図６に示すように、入力部１４１と、入力部１４１からの特徴量情報に基づいて、注目位置のデータである注目データの特徴量に対応するアドレスで、ＭＥメモリ１３に格納された第２の信号に含まれる第２のデータの位置情報を読み出す読み出し部１４２と、入力部１４１による第１のデータの位置情報とＭＥメモリ１３から読み出した情報に基づいて注目データに対応する第２のデータの位置情報を決定する決定部１４３とを含む。動き検出に用いる場合は、決定部１４３で動きベクトルと決定し出力する。
なお、第１および第２の信号は、たとえば画像信号である。

また、たとえば第１および第２のデータ格納部１１，１２における特徴量抽出は、所定数の第１ないし第２のデータを用いて抽出される。また、特徴量は、所定数の第１ないし第２のデータの値の分布である。あるいは、第１ないし第２のデータは、複数のビットで表され、特徴量は、上記複数のビットの所定のビットを省いた上記所定数の第１ないし第２のデータの値の分布である。ここで、所定ビットは、第１ないし第２のデータの下位側のビットである。また、特徴量は、所定数の再量子化された第１ないし第２のデータの値の分布である。あるいは、特徴量は、所定数の適応的量子化がなされた第１ないし第２のデータの値の分布であり、適応的量子化は、ＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ）である。

以下に、以上の構成を有する信号処理装置を基本とした画像信号処理装置の要部である動き検出装置に具体化した実施形態を説明する。

＜第１実施形態＞
図７は、本発明に係る画像処理装置の要部である動き検出装置の第１の実施形態を示すブロック図である。

本動き検出装置は、特徴量をアドレスとして位置情報を格納するＭＥメモリを設け、周辺画素値を特徴量としてマッチング処理を行うことにより、僅かな演算で動きベクトルを精度良く推定することを可能とするものである。
以下、本動き検出装置の具体的な構成および機能について、図面を参照しながら詳細に説明する。

本動き検出装置２０は、第１のデータ格納部としての第２のフレームメモリ２１、第２のデータ格納部としての第２のフレームメモリ２２、ＭＥメモリ２３、およびマッチング部としてのマッチング部２４を有している。
なお、第１のフレームメモリ２１により本発明に係る第１の特徴量抽出手段が構成され、第２のフレームメモリ２２により本発明に係る第２の特徴量抽出手段が構成され、ＭＥメモリ２３により本発明に係る格納手段が構成され、マッチング部２４により本発明に係る動きベクトル算出手段（マッチング手段）が構成される。

第１のフレームメモリ２１は、入力端子ＴINから入力された画像信号の１画面の情報を格納する。
第１のフレームメモリ２１は、次の画面情報が入力されると先に格納した画面情報、すなわちカレントフレームＦｃの情報を格納し、カレントフレームＦｃの情報を第２のフレームメモリ２２、およびマッチング部２４に出力する。
また、第１のフレームメモリ２１は、カレントフレームＦｃの情報とともに、注目画素の特徴量、つまりアドレス情報をマッチング部２４に供給する。

第２のフレームメモリ２２は、第１のフレームメモリ２１に格納されていた以前（たとえば１回前）の画面情報を参照フレームＦｒの情報として格納する。

ＭＥメモリ２３は、第２のフレームメモリ２２に格納されている参照フレームＦｒの情報に基づいて、注目画素を中心としたあるブロック範囲の画素値である特徴量をアドレスとしてその特徴量に対応する注目画素の位置座標を含む情報を格納する。

マッチング部２４は、第１のフレームメモリ２１から供給されたカレントフレームＦｃの情報に含まれる注目画素の特徴量を、特徴量アドレスとしてＭＥメモリ２３の格納情報を読み取る。カレントフレーム内の注目画素とＭＥメモリ２３から読み込んだ格納情報に基づいた差分座標を注目画素の動きベクトル（Ｖｘ，Ｖｙ）として端子ＴOUT から出力する。なお、注目画素の特徴量に対応する特徴量アドレスに、複数の格納情報（位置座標）がある場合は、複数の候補の中から注目画素の位置と距離が最小となる動きベクトルを出力する。

図８は、本実施形態に係る動きベクトル検出の概要を示すフローチャートである。

この例では、まず、参照フレームＦｒのデータをＭＥメモリ２３に格納する（ステップＳＴ２１）。次に、マッチング部２４が、カレントフレームＦｃ内の画素Ｌｎの特徴量に応じた特徴量アドレスで、ＭＥメモリ１３からデータを読み出す（ステップＳＴ２２）。
マッチング部２４が、読み出したデータの中で、画素Ｌｎに対応するデータの位置情報を決定する（ステップＳＴ２３）。そして、動きベクトルを全ての画素に対して動きベクトルが求まるまで算出する（ステップＳＴ２３，ＳＴ２４）。

以下、本実施形態の特徴である特徴量アドレス方式を採用したＭＥメモリ２３の構成および機能について、図９および図１０に関連付けて、さらに詳細に説明する。

図９は、特徴量アドレス方式を採用したＭＥメモリの構成例を示す図である。また、図１０は、参照フレームの情報をＭＥメモリに格納する手順を説明するためのフローチャートである。

従来のメモリの場合、画素の位置情報をアドレスとして画素値を格納するものであるが、本ＭＥメモリ２３の場合、特徴量をアドレスとして、特徴量毎にその特徴量を持つ画素の位置情報を順次フラグアドレスＦＲＧＡ１，２．．．、つまり図９のＢ、Ｃ・・・に格納していく。
本実施形態においては、１つのセルＭＥ−Ｂ１は、位置情報分の記憶容量を備えているものとする。同時に、フラグアドレスＦＲＧＡ０には、その特徴量に格納した位置情報の個数を格納しておくものとする。
特徴量としては、注目画素を中心としたあるブロック内の画素値とする。たとえば、ブロック範囲を３×３、垂直方向をｉ、水平方向をｊ、位置（ｉ，ｊ）の画素値をＬ（ｉ，ｊ）とすると、この場合の特徴量は、次の数２のようになる。

次に、参照フレームの情報をＭＥメモリに格納する手順を、図１０のフローチャートに関連付けて説明する。

参照フレームＦｒの情報がフレームメモリ２２に格納されると処理を開始する。

［ステップＳＴ１０１］
ステップＳＴ１０１においては、ＭＥメモリ内の全データを０に初期化する。０を書き込むか、リセット信号をＯｎする。

［ステップＳＴ１０２］
ステップＳＴ１０２においては、１フレームメモリ内の画素をカウントするカウンタ変数ｎを０に初期化する。

［ステップＳＴ１０３］
ステップＳＴ１０３においては、図４のフレームメモリ２１から注目画素Ｌｎを中心としたあるブロック範囲の画素値を特徴量（特徴量アドレス）とする。

［ステップＳＴ１０４］
ステップＳＴ１０４においては、ＭＥメモリ（特徴量、０）の内容を１つインクリメントする。

［ステップＳＴ１０５］
特徴量アドレスをステップＳＴ１０３での特徴量、フラグアドレスを０とした場合のＭＥメモリ２３の内容であるＭＥメモリ（特徴量、０）を読み込みフラグアドレスに設定する。ステップＳＴ１０５においては、ＭＥメモリ１３の内容であるＭＥメモリ（特徴量、フラグアドレス）の内容に、注目画素Ｌｎの位置情報を書き込む。

［ステップＳＴ１０６］
ステップＳＴ１０６においては、カウント変数ｎをインクリメントする。

［ステップＳＴ１０７］
ステップＳＴ１０７においては、注目画素Ｌｎがフレーム内の最後の画素かの判別を行う。最後の画素ではなければ、ステップＳＴ１０３へ進んで次の画素に関して同処理を繰り返す。
また、最後の画素ならば、処理を終了するために、ステップＳＴ１０９へ進む。

次に、本実施形態に係る動きベクトル検出の処理手順を、図７および図１１に関連付けて説明する。
なお、図１１は、本実施形態に係る動きベクトル検出の処理手順を説明するためのフローチャートである。

［ステップＳＴ２０１］
ステップＳＴ２０１においては、フレームメモリ２１，２２にそれぞれカレントフレームＦｃ、参照フレームＦｒの情報が格納された後に、参照フレームの情報を特徴量アドレスに変換しながらＭＥメモリ２３に格納する。詳細は、上述（ステップＳＴ１００〜ＳＴ１０９）している。

［ステップＳＴ２０２］
ステップＳＴ２０２においては、１フレームの画素をカウントするカウント変数ｎを０に初期化する。

［ステップＳＴ２０３］
ステップＳＴ２０３においては、第１のカレントフレーム２１内の注目画素Ｌｎの特徴量は、その画素を中心としたあるブロック範囲の画素値なので、それらを特徴量として、マッチング部２４に送る。

［ステップＳＴ２０４］
ステップＳＴ２０４においては、マッチング部２４は、受け取った特徴量を特徴量アドレスとして、ＭＥメモリ２３から内容ＭＥメモリ（特徴量アドレス、０）の値を読み込み、候補数を意味する変数ｋｎに代入する。
また、候補数カウンタを意味する変数ｋを１に、距離の最小値を意味する変数ｍｉｎを∞もしくは十分大きな値に、距離を意味する変数Ｌを０に初期化する。

［ステップＳＴ２０５］
ステップＳＴ２０５においては、カレントフレーム内の注目画素ＬｎとＭＥメモリ２３から読み込んだＭＥメモリ内容（特徴量アドレス、ｋ）＝位置座標との距離を演算して、変数Ｌに代入する。

［ステップＳＴ２０６］
ステップＳＴ２０６においては、ステップＳＴ２０５で求まった距離Ｌと距離の最小値ｍｉｎとの大小判別を行う。
その結果、ｍｉｎ＞Ｌならば、距離の最小値Ｌを更新するためにステップＳＴ２０７へ、ｍｉｎ≦Ｌならば、更新ステップをスキップして、ステップＳＴ２０８へ進む。

［ステップＳＴ２０７］
ステップＳＴ２０７においては、距離の最小値ｍｉｎをＬに更新する。その際のフラグアドレス値、つまりｋを変数ａｎｓに格納しておく。

［ステップＳＴ２０８］
ステップＳＴ２０８においては、候補カウンタが候補数であるかの判別を行い、候補数である場合はステップＳＴ２１０へ、まだ候補がある場合は、ステップＳＴ２０９へ進む。

［ステップＳＴ２０９］
ステップＳＴ２０９においては、候補カウンタｋをインクリメント後、ステップＳＴ２０５へ進む。

［ステップＳＴ２１０］
ステップＳＴ２１０においては、カレントフレーム内の画素Ｌｎと距離が最少である位置情報、つまりＭＥメモリ２３の内容ＭＥメモリ（特徴量アドレス、ａｎｓ）の値を読み込み、差分座標を動きベクトルとする。

［ステップＳＴ２１１］
ステップＳＴ２１１においては、注目画素の動きベクトルを出力する。

［ステップＳＴ２１２］
ステップＳＴ２１２においては、画素のカウンタ変数ｎをインクリメントする。

［ステップＳＴ２１３］
ステップＳＴ２１３においては、注目画素がカレントフレーム内の最後の画素であるかの判別を行う。判別の結果、最後の画素であれば終了のためステップＳＴ２１４へ、違う場合は、次の画素の動きベクトルを求めるためにステップＳＴ２０３へ進む。

画素値としては、たとえば１画素＝８ビットとした場合、コンピュータグラフィックス（ＣＧ）のような画像はフルビット（８ビット）情報でマッチング処理を行えるが、自然画像の場合は、フレーム毎にバラツキを含むので、複数ビットのうち所定ビットを除いて、マッチング処理を行うことが望ましい。具体的には、下位数ビットをマスクして使用してもよいし、ビット数を少なくして再量子化しても良い。
つまり、非線形／線形な量子化におけるビット数を削減する（量子化ビット数を少なくする）ことが望ましい。

以上説明したように、本第１の実施形態によれは、カレントフレームＦｃの情報を格納し、カレントフレームＦｃの情報とともに、注目画素の特徴量であるアドレス情報を出力する第１のフレームメモリ２１と、第１のフレームメモリ２１に格納されていた以前（１回前）の画面情報を参照フレームＦｒの情報として格納する第２のフレームメモリ１２と、第２のフレームメモリ２２に格納されている参照フレームＦｒの情報に基づいて、注目画素を中心としたあるブロック範囲の画素値を含む特徴量をアドレスとして変換し、変換後の位置情報を含む情報を格納するＭＥメモリ２３と、第１のフレームメモリ２１から供給されたカレントフレームＦｃの情報に含まれる注目画素の特徴量を、特徴量アドレスとしてＭＥメモリ２３の格納情報を読み取り、カレントフレーム内の注目画素とＭＥメモリ２３から読み込んだ特徴量アドレス（位置座標）との距離を演算し、複数の候補の中から距離が最小である位置情報に基づいた差分座標を注目画素の動きベクトル（Ｖｘ，Ｖｙ）として検出するマッチング部２４とを設けたので、以下の効果を得ることができる。
すなわち、本第１の実施形態においては、ブロックエリア内の空間パターン情報を特徴量とし、候補数だけの距離演算比較をするだけなので、従来の手法よりも僅かな演算量で、かつ、精度の高い動きベクトル検出が可能となる利点がある。

なお、候補数が多くなる場合は、ＭＥメモリ２３に格納する情報を１フレームの全情報ではなく、ある程度のエリアに区分してもよい。

＜第２実施形態＞
図１２は、本発明に係る画像処理装置としての動き検出装置の第２の実施形態を示すブロック図である。

本第２の実施形態が上述した第１の実施形態と異なる点は、特徴量を求める特徴量生成手段としてのクラス生成部２５−１，２５−２を設けることによって、好ましい特徴量でマッチングが可能となる点である。なお、図１３に示すように一つのクラス生成部２５を設ける構成も可能である。回路の機能としては、クラス生成部２５−１，２５−２の機能を併せ持つことになる。

クラス生成部２５−１は、第１のフレームメモリ２１のカレントフレームＦｃの情報を受けてＡＤＲＣに基づく量子化コードをカレントフレームの特徴量として生成してマッチング部２４Ａに出力する。
また、クラス生成部２５−２は、第２のフレームメモリ２２の参照フレームＦｒの情報を受けてＡＤＲＣに基づく量子化コードをカレントフレームの特徴量として生成してＭＥメモリ２３に出力する。

マッチング部２４Ａは、カレントフレームの特徴量を、特徴量アドレスとしてＭＥメモリ２３の格納情報を読み取り、カレントフレーム内の注目画素とＭＥメモリ２３から読み込んだ特徴量アドレスに含まれるＡＤＲＣの量子化コードのマッチングを行うことにより注目画素の動きベクトルを検出する。

このように、本第２の実施形態に係るクラス生成部２５−１，２５−２での特徴量の生成としてＡＤＲＣを用いる。ＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ）は、ＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｒｄｅｒ）向け高性能符号化用に開発された適応的量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この第２の実施形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。

ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ、ビット割り当てをｎ、空間クラスタップの画素のデータレベルをＬ、再量子化コードをＱとして、以下の数３により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行うアルゴリズムである。

ただし、｛｝は切り捨て処理を意味する。マッチング処理フローは、上述した図１１の説明の特徴量をＡＤＲＣの量子化コードとしたものと等価なので省略する。

空間クラスタップの取り方の一例として、ブロックサイズが３×３の場合は、図１４Ａに示すように全画素を使用してもよいし、図１４Ｂに示すように十文字で構成してもよく、クラスコードに与えられる情報量の制限の中で決定すればよい。
同様にして、ブロックサイズが５×５の場合の一例としては、図１４Ｃおよび図１４Ｄに示すような形態が採用可能である。
図１４Ｃの例は十文字で構成する場合であり、図１４Ｄの例は十文字で構成し、さらに端部の画素を使用する場合である。

次に、周辺画素値よりもＡＤＲＣ量子化コードを用いた方が優れていることを、図１５Ａおよび図１５Ｂに関連付けて説明する。
図１５Ａおよび図１５Ｂは、分かりやすいように画像のある１ラインが参照フレームからカレントフレームに移動した際の画素値を表示している。また、図１６は輝度値の１０進数表記と１６進数表記との対応関係を示している。

通常、自然画像の場合は、同じ絵柄（パターン）が移動しても、同じ画素値になる可能性は低く、図１５Ａおよび図１５Ｂに示すように、画素レベルがずれてしまう。
この場合、同じパターンとして正しく検出できるかがポイントとなる。周辺画素値を特徴量として用いた場合で、ノイズ成分の影響を抑えるために、下位ビットをマスクした場合のコード結果を載せている。
記載しているように、同じパターンであるにもかかわらず誤検出することがある。
これに対して、ＡＤＲＣでの量子化コードは、信号レベルの局所的なパターンを短い語長で効率的に表現できることから微小なレベル変動に強く、同じコード結果が得られることが分かる。
具体的には、参照フレームのある１ラインのＡＤＲＣコードは「０１１０１」であり、カレントフレームのある１ラインのＡＤＲＣコードも「０１１０１」であり、両者が一致する。

以上説明したように、本第２の実施形態によれば、ＡＤＲＣの量子化コードを特徴量とすることによって従来よりも精度の高い動きベクトル検出が可能となる利点がある。
第１乃至第２の実施の形態では、動きベクトル検出に対応した記憶装置について、説明した。そのため、各特徴量をアドレスとして、空間座標を記憶する記憶装置を例に挙げた。
しかし、本発明は、動きベクトル検出以外にも、マッチングを行うシステムに適用できるものである。
この概念は、「第１のデータに関する情報を記憶した記憶装置において、
上記第１のデータとは異なる第２のデータ中における注目データの第１の特徴（アドレス）を示す第１の特徴量が入力される入力手段と、
上記第１のデータ中における或るデータの上記第１の特徴（アドレス）を示す第３の特徴量に対応する箇所に、上記第１のデータ中における上記或るデータの第２の特徴（座標）を示す第２の特徴量を記憶する記憶手段とを有し、
上記記憶手段の上記第１の特徴量に対応する箇所から、上記第１のデータの上記第２の特徴である上記第２の特徴量を出力することを特徴とする記憶装置。」という形で表現できる。
つまり、データの特徴Ａ（第１の特徴）を示す各第１の特徴量をアドレスとして、データの特徴Ｂ（第２の特徴）を示す第２の特徴量を記憶するようにしても良い。この特徴Ａ、特徴Ｂに関しては、マッチングを行うシステム／装置の目的によって適宜設定・変更できるものである。例えば、本実施の形態では、特徴Ａ：画素値パターン／ＡＤＲＣコード、特徴Ｂ：座標として説明したが、これら以外の特徴を用いてもよい。

本発明の画像信号処理装置および画像信号処理方法によれば、精度の高い動きベクトル検出が可能となることから、動画像圧縮装置などに用いられる動き検出装置やオブジェクト検索装置等、マッチングを必要とする処理に適用可能である。

図１は、ブロックマッチングアルゴリズムを採用した従来の動き検出装置の構成例を示すブロック図である。 図２は、ブロックマッチングアルゴリズムの概要を説明するための図である。 図３は、カレントフレームＦＣ内ある画素Ｆｃ（ｘ，ｙ）の動きベクトルを検出する処理手順を説明するためのフローチャートである。 図４は、本発明に係る画像信号処理装置の要部である動き検出装置の基本的な構成を有する信号処理装置を示すブロック図である。 図５は、図４の第１および第２のデータ格納部の基本的な構成例を示すブロック図である。 図６は、図４のマッチング部の構成例を示すブロック図である。 図７は、本発明に係る動き検出装置の第１の実施形態を示すブロック図である。 図８は、本実施形態に係る動きベクトル検出の概要を示すフローチャートである。 図９は、本実施形態に係る特徴量アドレス方式における動きメモリの構造を説明するための図である。 図１０は、本実施形態に係る特徴量アドレス方式における動きメモリへの格納手順を説明するための図である。 図１１は、本実施形態に係る特徴量アドレス方式における動き検出の動作を説明するためのフローチャートである。 図１２は、本発明に係る動き検出装置の第２の実施形態を示すブロック図である。 図１３は、本第２の実施形態に係る動き検出装置の他の構成例を示すブロック図である。 図１４Ａ〜図１４Ｄは、クラスタップのとり方の一例を示す図である。 図１５Ａおよび図１５Ｂは、周辺画素値よりもＡＤＲＣ量子化コードを用いた方が優れていることを説明するための図である。 図１６は、輝度値の１０進数と１６進数との対応関係を示す図である。

１０・・・信号処理装置、１１・・・第１のデータ格納部、１２・・・第２のデータ格納部、１３・・・動き検出メモリ（ＭＥメモリ）、１４・・・マッチング部、２０，２０Ａ・・・動き検出装置、２１・・・第１のフレームメモリ、２２・・・第２のフレームメモリ、２３・・・動き検出メモリ（ＭＥメモリ）、２４，２４Ａ・・・マッチング部、２５・・・クラス生成部。

Claims (4)

1. 複数の第１のデータを含む第１の画像信号と、複数の第２のデータを含む第２の画像信号を用いて動きベクトルを検出する画像信号処理装置において、
   上記第１の画像信号において、注目位置のデータである注目データである特徴量を抽出する第１の特徴量抽出手段と、
   上記第２のデータそれぞれの上記特徴量に対応するアドレスで指定された箇所に、上記第２のデータの位置情報を格納する格納手段と、
   上記注目データの上記特徴量に対応するアドレスで、上記格納手段に格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得し、上記注目データの位置情報と取得された上記第２のデータの位置情報とを用いて、上記注目データの動きベクトルを算出する動きベクトル算出手段と、を有し、
   上記動きベクトル算出手段は、
   上記注目データの特徴量に対応する上記第２のデータの位置情報が、上記格納手段から複数読み出された場合は、上記注目データの位置に最も距離が近い上記位置情報を、上記注目データに対応する上記第２のデータの位置情報とする
   画像信号処理装置。
2. 上記画像信号処理装置は、さらに、
   上記第２の画像信号において、第２のデータそれぞれの特徴量を抽出する第２の特徴量抽出手段を有する
   請求項１記載の画像信号処理装置。
3. 上記第１の特徴量抽出手段は、さらに、
   上記第２の画像信号において、第２のデータそれぞれの特徴量を抽出する第２の特徴量抽出手段を有する
   請求項１記載の画像信号処理装置。
4. 複数の第１のデータを含む第１の画像信号と、複数の第２のデータを含む第２の画像信号を用いて動きベクトルを検出する画像信号処理方法において、
   上記第１の画像信号において、注目位置のデータである注目データである特徴量を抽出する第１のステップと、
   上記第２のデータそれぞれの上記特徴量に対応するアドレスで指定された箇所に、上記第２のデータの位置情報を格納する第２のステップと、
   上記注目データの上記特徴量に対応するアドレスで、上記格納手段に格納された上記第２のデータに位置情報を読み出すことで、上記注目データに対応する上記第２のデータの位置情報を取得する第３のステップと、
   上記注目データの位置情報と取得された上記第２のデータの位置情報とを用いて、上記注目データの動きベクトルを算出する第４のステップと、を有し、
   上記第３のステップは、
   上記注目データの特徴量に対応する上記第２のデータの位置情報が、上記格納手段から複数読み出された場合は、上記注目データの位置に最も距離が近い上記位置情報を、上記注目データに対応する上記第２のデータの位置情報とする
   画像信号処理方法。

Images