JP4883029B2 - 動きベクトル検出回路、動きベクトル検出装置、及び集積回路 - Google Patents

Description

本発明は、画像信号から動きベクトルを検出する技術に関し、特に、動きベクトルの検出精度を向上させる動きベクトル検出回路、動きベクトル検出装置、当該機能を組み込んだ集積回路に関する。

従来の画像信号の動きベクトル検出装置としては、ブロックマッチング法に基づいた構成がある。すなわち、対象画像を複数のブロックに分割し、動きを検出しようとする注目ブロックと、対象画像の前または後フレームにおける、所定の探索範囲内の複数の候補領域（候補ブロック）との相関度をそれぞれ評価して、それらの候補ブロックの中で最も相関度の高い候補ブロックを決定し、その候補ブロックと注目ブロックとの変位を動きベクトルとするものである。

また、上述の複数の候補ブロックの一つとして、その注目ブロックを含むライン方向のブロック、あるいは、その注目ブロックを含むカラム方向のブロックにおいて、検出された動きベクトルの平均結果を使用することにより、検出性能を向上する構成もある。

また、その注目ブロックが画像の境界ブロックである場合に、その注目ブロックを含むライン方向のブロック、あるいは、その注目ブロックを含むカラム方向のブロックにおいて、検出された動きベクトルの代表値を割り当てることにより、検出性能を向上する構成もある。
特開２００５−２８７０４７号公報 特開２００５−２８７０４８号公報

画像信号の動きベクトル検出において、本来検出されるべき正しい動きベクトルが効果的に検出できないという問題がある。例えば、物体と背景が違う方向に動くような、動きの異なるものが複数混在する画像において、その複数存在する動きにより、動く物体の境界領域等において上述の問題が発生しやすい。

本発明は、上述した従来の課題を解決するもので、正しい動きベクトルを効果的に検出することを目的とする。

上述した目的を達成するために、本発明は、入力される画像信号から動きベクトルを検出する動きベクトル検出回路において、画像信号を構成する表示画の部分領域である基準ブロックの動きベクトルを推定した推定動きベクトルと、推定動きベクトルの指し示す推定ブロックと該基準ブロックとの相関値を算出する動きベクトル推定部と、動きベクトル推定部を第１の基準ブロックに適用した際に算出される第１の推定動きベクトルに応じて第２の基準ブロックを算出する動きベクトル変換部と、前記動きベクトル推定部を第２の基準ブロックに適用した際に算出される相関値である第２の相関値を取得する相関値計算部と、前記動きベクトル推定部を第１の基準ブロックに適用した際に算出される第１の相関値と前記第２の相関値に応じて、第２の基準ブロックの動きベクトルを生成して出力する動きベクトル決定部とを備えることを特徴とする。

なお、動きベクトル変換部は、第１の推定動きベクトルと略同一方向又は略反対方向をもつベクトルが指し示す位置のブロックを第２の基準ブロックすることや、さらに第１の推定動きベクトルと同じ絶対値の大きさを持つベクトルが指し示す位置のブロックを第２の基準ブロックとしてもよい。

また、動きベクトル変換部は、一つの第１の推定動きベクトルに対して複数の第２の基準ブロックを算出するものであってもよい。

さらに、動きベクトル変換部は、第１の推定動きベクトルにある大きさのベクトルを加算したベクトルや、第１の推定動きベクトルをある大きさの値で乗算したベクトルが指し示す位置のブロックを第２の基準ブロックとしてもよい。

また、動きベクトル決定部は、第１の相関値とある閾値を比較して動きベクトルを決定してもよいし、反対に第２の相関値とある閾値を比較して動きベクトルを決定してもよい。

本発明は、電気回路又は電子回路のような装置等の一部の機能であるモジュールや、当該機能を目的とした動きベクトル検出装置のような処理装置、又は当該機能を組み込んだ集積回路といったハードウェア構成だけでなく、ＣＰＵ、ＭＰＵ，ＤＳＰ等の演算装置上で動作するソフトウェアとしても実現可能である。

本発明の目的は、動きベクトルをより高精度に検出することである。

以下、本発明の実施の形態に関する例について、図面を参照しながら説明する。なお、以下において記述される数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
（第１の実施の形態）
図１は、第１の実施の形態の動きベクトル検出装置の構成を示す機能ブロック図である。第１の実施の形態の動きベクトル検出装置は、動画又は静止画等の画像信号としてＲＧＢ信号を入力し、動きベクトルを出力するものである。動きベクトル検出装置１００は、ＹＵＶ変換部１０１、動きベクトル推定部１０２、動きベクトル変換部１０３、相関値計算部１０４、動きベクトル決定部１０５を備える。

ＹＵＶ変換部１０１は、入力されるＲＧＢ色空間の画像信号をＹＵＶ色空間の画像信号に変換する。ＹＵＶ変換部１０１は入力される画像信号と後段の処理に入力される信号との整合性を保つために挿入されるものであり、動きベクトル検出装置１００と動きベクトル推定部１０２の入力が共通である場合には、必ずしも必要ではない。また、外部から入力される信号と後段で必要とされる信号の組み合わせによりこの部分の変換機能は適宜変更が必要である。

動きベクトル推定部１０２は、ＹＵＶ色空間信号で入力される画像信号から動きベクトルを推定するものである。具体的構成を図２に示す。

ブロック分割部２０１で、入力された画像信号のフレーム画像（表示画）を複数の領域（ブロック）に分割する（図３）。基準ブロック決定部２０２は、分割されたブロックからフレーム画像のすべての領域を網羅するように基準ブロックを順に設定する。ここで、基準ブロックとは、動きベクトルを推定又は検出する対象となる際の動きベクトルの起点となるブロックを意味する。

候補ブロック決定部２０３は、基準ブロック決定部２０２で基準ブロックに指定されたブロックをそれぞれ起点とした推定動きベクトルの候補となる所定の探索範囲内の複数のブロック（候補ブロック）を決定する。
ここで、所定の探索範囲の設定方法の一つとしてフレーム全体を探索範囲とすることもできる。この場合、フレームに含まれるすべてのブロックについて探索をおこなうこととなり（全探索）、算出される動きベクトルの信頼性は向上する。反対に、フレームの一部のみを探索範囲（部分探索）とすることもできる。この場合は、計算量を相対的に軽減させることが可能である。

また、上記の探索範囲は、基準ブロックが含まれるフレームに対して、時間軸上の前および／または後の１つ以上のフレームにわたる所定の範囲に設定される（図３）。

候補ブロック相関値計算部２０４は、基準ブロックと個々の候補ブロック間の相関値を全ての候補ブロックについてそれぞれ求める。相関値は、基準ブロックと候補ブロックのそれぞれに対応する画素同士の差分絶対値の総和、あるいは、それぞれに対応する画素同士の差分二乗値の総和など、ブロック間の近似度合いが大きい程、示す値が小さくなるものでよい。

差分値の計算は、ＹＵＶの画像信号の場合の各画素はＹ、Ｃｂ，Ｃｒそれぞれの信号から構成されているため（図４）、全ての成分（Ｙ、Ｃｂ、Ｃｒ）について差分を求めてもよいが、この場合には計算量が増大する。より高速に計算するには、画像構成に影響度の大きい輝度（Ｙ）信号のみに着目して相関値を算出してもよい。この場合は、Ｃｂ、Ｃｒについての計算を省略することができ、高速に相関値を計算することができる。

なお、図４に示す場合において、ＹＵＶ全ての画素を考慮した際における相関値は、差分絶対値総和は７７となり、差分二乗総和は４１１となる。また、輝度信号（Ｙ）のみを考慮した場合の相関値は、差分絶対値総和が５２、差分二乗総和は２３６となる。

推定動きベクトル決定部２０５は、候補ブロック相関値計算部２０４で計算されたそれぞれの候補ブロックの相関値から最も相関が高い（相関値の小さい）ブロックを基準ブロックの移動先ブロック（推定ブロック）とする。そして、推定動きベクトル、推定動きベクトル相関値、基準位置を出力する。推定動きベクトルは、基準ブロックを起点、推定ブロックを終点とするものである。推定動きベクトル相関値は、該推定動きベクトルで示される基準ブロックと推定ブロック間の相関値である。基準位置は、基準ブロックがフレーム上で配置されている位置である。

動きベクトル推定部１０２は、ブロック分割部２０１で分割された全てのブロックを順に基準ブロックとし、それぞれ基準ブロックについて推定動きベクトルと他のブロックとの相関値を計算し出力する。

ここで、
動きベクトル変換部１０３は、動きベクトル推定部１０２が算出した推定動きベクトルに基づいて、入力された推定動きベクトルを変換して別の新たな動きベクトル（変換ベクトル）を生成し対象ブロックを参照するものである。

動きベクトルの変換の方法として幾つかの考え方がある。例えば上記のような動きベクトル推定部１０２における推定動きベクトルの算出に関しては、画面全体が一様に動く場合、画面を構成する主要な被写体等が動く場合など、画像内の比較的大きな領域が同様な動き状態となる場合には、その基準ブロックの周辺のブロックが、基準ブロックと同様な動きベクトルを持つ可能性が高いこと考えられる。

また、画像の動きに関して、画面全体あるいは被写体等の動きにおいての方向の一様性を考慮すれば、基準ブロックの周辺のブロックのうち、基準ブロックを起点として、動きベクトル推定部１０２により推定された推定動きベクトルと略同一方向に位置するブロックについても、基準ブロックと類似した動きベクトル値となる可能性が高いことが考えられる。

そこで、動きベクトル変換部１０３は、上記動きベクトル推定部１０２の出力である、推定動きベクトル値に対して、そのベクトルが持つ方向に関する変換を主として行う。

具体的な変換内容としては、入力された動きベクトルに対して、そのベクトルと反対向きでかつ大きさのほぼ等しい動きベクトルを算出する、あるいは、そのベクトルと同じ向きでかつ大きさのほぼ等しい動きベクトルを算出するなどである。要するに、入力された動きベクトルが持つ方向と略同一方向又は略反対方向に大きさの等しいベクトルを算出するものである。

動きベクトル変換部１０３における変換の内容を、動きベクトル推定部１０２の推定動きベクトルに対して、そのベクトルと反対向きでかつ大きさの等しい動きベクトル値にする場合と、そのベクトルと同じ向きでかつ大きさの等しい動きベクトル値にする場合とでは、基準ブロックにおいて検出された動きに関して、その動きの前方向への推測を行うか、あるいは後方向への推測を行うか、とを制御することができる。

また、入力された動きベクトルと、略同一方向の予め定められた大きさを持つベクトルとを加算して得られるベクトルを算出する、あるいは、入力された動きベクトルに、予め定められた乗算値を乗算して得られるベクトルを算出するなどの変換もある。

ここで、動きベクトル変換部１０３において、変換されたベクトルである変換ベクトルにより特定されるブロックを対象ブロックとすると、動きベクトル変換部１０３は、変換ベクトルの起点となる基準ブロックと、変換ベクトルの終点となる対象ブロックの組み合わせを新たに生成する（組み合わせる）ものと言い換えることもできる。

ベクトル変換部１０３における変換の内容を、動きベクトル推定部１０２の推定動きベクトルと、略同一方向又は略反対方向の予め定められた大きさを持つベクトルとを加算して、その推定動きベクトルを変化させるような算出とした場合は、基準ブロックと対象ブロックとの変位距離を、基準ブロックにおいて検出された推定動きベクトルに対して独立的に増減させる制御とすることができる。

また、ベクトル変換部１０３における変換の内容を、動きベクトル推定部１０２の推定動きベクトルと、予め定められた乗算値とを乗算して、その大きさを変化させるような算出とした場合は、基準ブロックと対象ブロックとの変位距離を、基準ブロックにおいて検出された推定動きベクトルに対して従属的に増減させる制御とすることができる。

このような、動きベクトル推定部１０２および動きベクトル変換部１０３の出力である推定動きベクトル、変換された動きベクトルは、画像信号の水平方向および垂直方向の成分を有するものであり、それらの成分は有限な値である。

したがって、現フレーム内での基準ブロックの位置（基準位置）に対して、動きベクトル変換部１０３で変換されたベクトル値を設定すると、基準ブロック位置を起点として、そのベクトル値の方向（略正方向又は略反対方向）および大きさに対応した新たなブロック（対象ブロック）の位置を決定することができる（図５）。この対象ブロックは、基準ブロックの周辺において、当該基準ブロックと同様な動きベクトルを取る可能性が高いブロックである。

また、対象ブロックは一つの基準ブロックに対して一つに限定されるものではない。例えば、画面上において基準ブロックの位置を起点とし、ある対象ブロックの位置を終点とするベクトルが通過する他のブロックについても、同様に対象ブロックとすることができる（図６）。この場合は、基準ブロックが複数の対象ブロックへの動きベクトルを持つ可能性があることとなる。また、反対にすべての基準ブロックに対して、一つも対象ブロックが割当てられないとすることもできる。この場合は、当該基準ブロックが画面内で移動する動き先がないこととなる。

なお、上述では、推定動きベクトルに略同一方向の予め定められた大きさのベクトルを加算したが、さらに、入力された画像信号の特徴、例えば、画面全体の動きの方向や、動きの大きさ、または画面内での明確な境界が存在する位置等により、加算するベクトルの大きさを動的に変化させてもよい。

同様に、推定動きベクトルに予め定められた乗算値を乗算したが、これも入力される画像信号の特徴を用いることで動的に変化させてもよい。その場合には、入力された画像信号により適切な動きベクトルの検出が可能となる。

相関値計算部１０４は、動きベクトル変換部１０３から算出される対象ブロックを基準ブロックとした際の動きベクトル推定部１０２が算出する相関値を算出する（図５）。つまり相関値計算部１０４は、動きベクトル推定部１０２が対象ブロックについて算出する相関値と同じものを算出するものである。

なお、動きベクトル推定部１０２においてフレームを構成するすべてのブロックについて相関値が計算されていれば、相関値計算部１０４は、動きベクトル推定部１０２で行った同じ計算を繰り返さなくても、その計算結果を利用（取得）することで当該対象ブロックが本来持つ相関値を得ることも可能である。

また、別の方法として、相関値計算部１０４が、動きベクトル推定部１０２が算出した全てのブロックについての相関値を継承／保持し、そこから対象ブロックの相関値を選択する構成とすることも可能である。

これら動きベクトル推定部１０２および相関値計算部１０４における相関値は、基準ブロック、対象ブロックにおいて検出されたそれぞれの動きベクトルに対する相関度合い（関連性の度合い）を示すものであり、相関値の大きさが小さい程、動きベクトルが指し示すブロックとの相関度が高いことを表わし、算出された動きベクトル値の確からしさ、すなわち信頼性が高いことを示すものである。

次に、動きベクトル決定部１０５は、基準ブロックについて算出された推定動きベクトルと相関値、及び、対象ブロックについて算出された推定動きベクトルと相関値（図５）を取込む。動きベクトル決定部１０５は、この二つの相関値を利用して対象ブロックの動きベクトルを決定する。

具体的には動きベクトル推定部１０２で算出された基準ブロックの相関値と、相関値計算部１０４で算出された対象ブロックの相関値を用い、この両者を比較、又は他の閾値等を利用して動きベクトルを決定する。

例えば、動きベクトル推定部１０２で算出された相関値（基準ブロックの相関値）が相関値計算部１０４で算出された相関値（対象ロックの相関値）より小さい場合、動きベクトル推定部１０２で算出された基準ブロックの推定動きベクトルを、対象ブロックの動きベクトルとして決定する。

反対に、対象ブロックの相関値が基準ブロックの相関値より小さい場合は対象ブロックの推定動きベクトルの信頼性が高いと判断し、当該推定動きベクトルを当該ブロックにおける動きベクトルとして決定する。

なお、基準ブロックの相関値と対象ブロックの相関値が等しい場合、若しくは、両者の差が一定範囲内に収まる場合は、予め定めておいた一方のベクトルを動きベクトルとして決定する。ここで、一定の範囲とは、例えば
（ブロックを構成する画素の数）×（各画素が取りえる値の範囲）×許容範囲（％）
で示されるような計算によって定めることもできる。

別の決定方法として、基準ブロックの相関値と予め決定された閾値とを比較し、相関値が閾値よりも小さい場合に基準ブロックの推定動きベクトルを採用し、閾値と等しい場合または大きい場合は対象ブロックの推定動きベクトルを採用する方法もある。この方法によれば、基準ブロックの相関値が、対象ブロックの相関値よりも小さい場合であっても、基準ブロックの相関値が概して大きい場合には、基準ブロックの推定動きベクトルの信頼性が低いとして、対象ブロックの推定動きベクトルを優先的に採用することができる。

反対に、対象ブロックの相関値と、予め決定された閾値とを比較し、相関値が閾値よりも大きい場合に、基準ブロックの推定動きベクトルを採用し、閾値と等しい又は小さい場合は対象ブロックの推定動きベクトルを採用する方法もある。この方法によれば、基準ブロックの相関値が、対象ブロックの相関値よりも小さい場合であって、対象ブロックの相関値が一定の閾値よりも小さい場合には、対象ブロックの推定動きベクトルの信頼性が高いとして、当該推定動きベクトルを優先的に採用することができる。

また、対象ブロックの相関値が最低値及び最大値で定められた範囲に含まれる場合に対象ブロックの推定動きベクトルを採用し、これ以外は基準ブロックの推定動きベクトルを採用することもできる。この場合には、対象ブロックの相関値の信頼性が高いと評価できる範囲は変換された対象ブロックの推定動きベクトルを優先的に採用することができる。

さらに、基準ブロックの推定動きベクトルと対象ブロックの推定動きベクトルのいずれかのみを選択するだけでなく、これらの複数のベクトルから新たなベクトルを算出してもよい。例えば、複数のベクトルが持つそれぞれの相関値の信頼性の大きさに比例してそれぞれのベクトルを加算して新たなベクトルを生成することも出来る。

このように、基準ブロックについて推定した動きベクトルだけでなく、他のブロックの動きベクトルをも用いて算出された対象ブロックとしての推定動きベクトルを用いることで、より精度の高い動きベクトル値を効果的に検出することが可能となる。

本発明の上記の特徴を活かした利用には、動きベクトルを使用して動き補償処理される画像信号の圧縮符号化、および補間画像の生成等において、高品質で高効率の処理を提供することが可能となる。

また、動きベクトル推定部１０２、相関値計算部１０４は、ＹＵＶ信号を入力とし、輝度信号（Ｙ）により動きベクトルを推定したが、ＨＳＶ（色相、彩度、明度）色空間の画像信号を入力し、これらの要素の少なくとも一つを用いて動きベクトルを推定することも可能である。この場合には、輝度では検出しにくい要素（色相、彩度、明度等）の変化で動きベクトルを推定することが可能となる。

また、相関値計算部１０４では、動きベクトル推定部１０２で算出した相関値を利用する方法を記載したが、これ以外の方法も可能である。例えば、相関値計算部１０４で再度計算することも可能であり、その際には、動きベクトル推定部１０２とは異なる計算方法で相関値を計算することも可能である。動きベクトル推定部１０２での相関値計算が輝度信号のみを利用している場合には、相関値計算部１０４では、すべての画素要素を用いて計算する方法がある。こうすることで、動きベクトル推定部１０２とは異なる指標で相関値を算出するので、より高精度な動きベクトルの検出が可能となる。

なお、本発明では基準ブロック、対象ブロックとして説明したが、基準ブロックを第１の基準ブロック、推定ブロックを第１の推定ブロック、対象ブロックを第２の基準ブロック、対象ブロックの推定ブロックを第２の推定ブロック、第１の基準ブロックの推定動きベクトルを第１の推定動きベクトル、第２の基準ブロックの推定動きベクトルを第２の推定動きベクトルとして本発明を理解することも可能である。
（第２の実施の形態）
本実施の形態と第１の実施の形態との相違点は、新たに代表ベクトル生成部７０６が追加されている点及び動きベクトル決定部７０５の内部処理が一部異なる点である。そのため、本実施の形態の説明においては、第１の実施の形態と相違する点のみについて記載し、その他の点については第１の実施の形態と同様であるため説明を省略する。

字幕やテロップ等に代表されるような、画面上の特定の垂直位置における文字等の水平方向への動き、あるいは、映画のエンドロール等のような、画面上の特定の水平位置における文字等の垂直方向への動きがある画像の場合において、基準ブロックと画面上で同じ垂直位置にある他のブロック、あるいは、基準ブロックと画面上で同じ水平位置にある他のブロック、基準ブロックとその周辺の位置にあるブロックについては推定された動きベクトルが同様または類似したものになる可能性が高いことが容易に推測できる。

そこで、代表ベクトル生成部７０６は上述の特性を活かして動きベクトルを算出するものである。

代表ベクトル生成部７０６は、動きベクトル推定部１０２が算出した推定動きベクトルとその相関値を入力とする。そして、基準ブロックの周辺の複数のブロック、あるいは、基準ブロックと画面上で同じ垂直位置にある複数のブロック、あるいは、基準ブロックと画面上で同じ水平位置にある複数のブロックについての動きベクトル値に対して、平均値算出に代表される統計処理を実施し、基準ブロックの周辺の複数のブロック、あるいは、基準ブロックと画面上で同じ垂直位置にある複数のブロック、あるいは、基準ブロックと画面上で同じ水平位置にある複数のブロックにおいて代表的な動きを示す、代表ベクトル値を生成する。

ここで、基準ブロックの周辺の複数のブロックの設定方法としては、例えば、基準ブロックに隣接するブロック、又はある点から一定の距離（範囲）に含まれるブロック、基準ブロックと一定の距離離れているブロック、あるいは基準ブロックと同じフレームにある全てのブロック等様々な方法がある。

代表ベクトル生成部７０６の構成例を図８に示す。代表ベクトル生成部７０６は、動きベクトル推定部１０２から出力された推定動きベクトル相関値、推定動きベクトル、基準位置を入力とする。切り替え部８０１は入力されたこれらの情報に基づいて、当該基準位置（基準ブロック）において、代表ベクトルを生成すべきか否かを判断する。

代表ベクトル生成の可否判断は、例えば、基準ブロックの表示画面上での位置が画面端に該当するか否かで判断することができる。画面端は、動きベクトルの算出が比較的困難なため、代表ベクトルを動きベクトルに利用することで動きベクトルを得ることが可能となる。

また、より高度に判断する場合には、入力される画像信号から論理的に画像の境界を検出し、当該境界付近において動きベクトルの算出に代表ベクトルを利用することができる。さらに、画像信号の内容から、字幕やテロップ等が表示されている位置、若しくは文字列が垂直方向に流れていく状況（例えば、映画のエンドロール等）等を検出して、動きベクトルの算出に代表ベクトルを利用することができる。切り替え部８０１は複数のブロックの推定動きベクトルに基づいて代表ベクトル生成の可否を判断する必要があるため、複数の推定動きベクトル及びその相関値を保持しておくバッファ（記憶領域）等を備えておいても良い。

代表ベクトルを生成しない場合は、入力されたこれらの情報をそのまま出力する。この場合、動きベクトル検出装置１００は、第１の実施の形態と同様の内容となる。

切り替え部８０１において、代表ベクトルを生成する場合は、入力された情報を代表ベクトル算出部８０２へ送る。

代表ベクトル算出部８０２は、入力される情報から代表ベクトルを生成する範囲、例えば、同じ水平位置に属するブロック、同じ垂直位置に属するブロック、又は基準ブロックの周囲のブロック等を特定する。そして、特定された範囲内の推定動きベクトルから加算平均等により代表ベクトルを生成する。

上述の処理により代表ベクトル生成部７０６は代表動きベクトルを出力する。

このように代表ベクトル生成部７０６で生成された代表ベクトルは、基準ブロック及び基準ブロックの周辺のブロックにおける、画像の動きの状態を表すものであり、基準ブロック及び基準ブロックの周辺のブロックについての動きベクトルとして適応が可能である。

また、字幕、テロップ等の画面の一部が一様に動くような状態において、動きベクトルの方向の一様性を考慮すれば、基準ブロックの周辺のブロックは、基準ブロックを起点として、代表ベクトル生成部７０６により生成された代表ベクトルと同じ方向にあるブロックについては、この代表ベクトルと同様の動きとなると考えることが可能である。

代表ベクトル生成部７０６が生成した代表ベクトルは、動きベクトル変換部１０３及び動きベクトル決定部７０５へ出力される。動きベクトル変換部１０３で第１の実施の形態と同様にそのベクトルが変換され、相関値計算部１０４で相関値が求められる。動きベクトル決定部８０５は代表ベクトルと変換された動きベクトルに応じて、動きベクトルを決定して出力する。

動きベクトル決定部７０５は、代表ベクトル生成部７０６からの代表動きベクトルと、動きベクトル変換部１０３及び相関値計算部１０４からの相関値に基づいて動きベクトルを決定する。

ここで第１の実施の形態と異なるのは、代表ベクトル生成部７０６からは代表動きベクトルのみが入力され相関値が入力されないことから、動きベクトル決定部７０５は、相関値計算部１０４からの相関値と予め決定した閾値とを比較していずれのベクトルを動きベクトルとして用いるかを決定する。閾値と相関値の比較方法については第１の実施の形態とおなじであるので説明を省略する。

なお、その他の部分の構成については、第１の実施の形態と同様であるため説明を省略する。

以上より、代表ベクトル生成部７０６を追加することで、画面の動きに特徴のある場合、より高精度に動きベクトルの算出が可能となる。

なお、上記いずれの実施の形態においても、入力される画像信号をフレーム単位で構成するものとして説明したが、本発明はこれに限定されるものではない。入力される画像信号はフィールド単位で構成しても同様に本発明を適用することは可能である。その際は、動きベクトル推定部が設定する所定の探索範囲は、基準ブロックを含むフィールドの前／後のすくなくとも一つ以上のフィールドが対象となる。

なお、上記いずれの実施の形態においても、動きベクトル検出装置として説明を行ったが、本発明は当該実施態様に特定されるものではない。本発明は、上記の機能を電子回路、電気回路として実現可能である。また、当該電子回路を含んだ集積（ＩＣ化、半導体チップ化）した集積回路として具現化してもよい。さらに、当該発明をＣＰＵ上で動作するソフトウェアとして実現してもより。

ソフトウェアとして実現する場合には、ソフトウェアが実行されるハードウェアの構成例は図９で示される。例えば、入力されたアナログビデオ信号をビデオＡ／Ｄ変換でＲＧＢのデジタル信号に変換し、ＣＰＵ（ＤＳＰ）に入力する。ＣＰＵ（ＤＳＰ）では、上述の実施の形態で示したような機能構成を備えるソフトウェアを実行することにより、動きベクトルを検出することができる。この際、動きベクトル推定部１０２や、相関値計算部１０４等で一時的に保持する必要のある前後のフレームデータや相関値のデータはＣＰＵ（ＤＳＰ）に接続されるメモリに記録される。

上述のいずれの実施の形態も本発明を説明するために例示したものであり、上述の実施の形態に制限するものではない。

本発明は、動きベクトル検出回路および動きベクトル検出装置、およびこれらの機能を組み込んだ集積回路又はソフトウェアとしても実現可能であり、画像をデジタル圧縮するＭＰＥＧやＨ２６２の符号化技術や、表示装置におけるフレーム／フィールド補間技術に利用できる。

第１の実施の形態における動きベクトル検出装置の構成例を示す図 動きベクトル推定部の構成例を示す図 動きベクトルを推定する際の探索範囲を示す図 ブロック間で相関値を求める際の差分例を示す図 ベクトル変換部、相関値計算部で算出する対象ブロック、対象ブロックの関係を示す図 変換ベクトルを算出する例（複数の対象ブロック）を示す図 第２の実施の形態における動きベクトル検出装置の構成例を示す図 代表ベクトル生成部の構成例を示す 本発明をソフトウェア処理するためのハードウェア構成例を示す図

符号の説明

１００ 動きベクトル検出装置
１０１ ＹＵＶ変換部
１０２ 動きベクトル推定部
１０３ 動きベクトル変換部
１０４ 相関値計算部
１０５、７０５ 動きベクトル決定部
２０１ ブロック分割部
２０２ 基準ブロック決定部
２０３ 候補ブロック決定部
２０４ 候補ブロック相関値計算部
２０５ 推定動きベクトル決定部
７０６ 代表ベクトル生成部
８０１ 切り替え部
８０２ 代表ベクトル算出部

Claims (10)

1. 入力される画像信号から動きベクトルを検出する動きベクトル検出回路において、
   前記画像信号を構成する表示画の部分領域である第１の基準ブロックに対して、該第１の基準ブロックの動きを推定した第１の推定動きベクトルと、該第１の推定動きベクトルの指し示す第１の推定ブロックと該第１の基準ブロックとの相関の大きさを示す第１の相関値と、を算出する動きベクトル推定部と、
   前記第１の推定動きベクトルと略同一方向又は略反対方向に、該推定動きベクトルの大きさを所定の方法で変換した変換ベクトルを算出する動きベクトル変換部と、
   前記第１の基準ブロックに対して前記変換ベクトルを適用した場合に指し示される第２の基準ブロックに、前記動きベクトル推定部を適用した際に算出される第２の相関値を取得する相関値計算部と、
   前記第１の相関値と前記第２の相関値とに基づいて、前記第１の推定動きベクトルと、前記第２の基準ブロックに前記動きベクトル推定部を適用した際に算出される第２の推定動きベクトルと、から前記第２の基準ブロックの動きベクトルを決定する動きベクトル決定部とを備えることを特徴とする動きベクトル検出回路。
2. 前記動きベクトル変換部は、前記第１の推定動きベクトルと略同一方向又は略反対方向に、前記第１の推定動きベクトルと略同一の大きさを有する変換ベクトルを算出する、
   請求項１に記載の動きベクトル検出回路。
3. 前記動きベクトル変換部は、前記第１の推定動きベクトルに、該推定動きベクトルと略同一方向又は略反対方向に所定の大きさを加算した変換ベクトルを算出する、
   請求項１に記載の動きベクトル検出回路。
4. 前記動きベクトル変換部は、前記第１の推定動きベクトルと略同一又は略反対方向に、前記第１の推定動きベクトルが有する大きさを所定の値で乗算した大きさを有する変換ベクトルを算出する、
   請求項１に記載の動きベクトル検出回路。
5. 前記動きベクトル変換部は、一つの前記第１の推定動きベクトルに対して、複数の変換ベクトルを算出する、
   請求項１乃至４のいずれかに記載の動きベクトル検出回路。
6. 前記動きベクトル決定部は、前記第１の相関値が前記第２の相関値より小さい又は等しい際に、前記第１の推定動きベクトルを前記第２の基準ブロックの動きベクトルとして決定する出力する、
   請求項１に記載の動きベクトル検出回路。
7. 前記動きベクトル決定部は、前記第１の相関値が閾値よりも小さい際に、前記第１の推定動きベクトルを前記第２の基準ブロックの動きベクトルとして決定する、
   請求項１に記載の動きベクトル検出回路。
8. 前記動きベクトル決定部は、前記第２の相関値が閾値よりも大きい際に、前記第１の推定動きベクトルを前記第２の基準ブロックの動きベクトルとして決定する、
   請求項１に記載の動きベクトル検出回路。
9. 請求項１乃至８のいずれかに記載の動きベクトル検出回路を集積した集積回路。
10. 請求項１乃至８のいずれかに記載の動きベクトル検出回路を備えた動きベクトル検出装置。

Images