JP3786300B2 - 動きベクトル検出装置及び動きベクトル検出方法 - Google Patents
動きベクトル検出装置及び動きベクトル検出方法 Download PDFInfo
- Publication number
- JP3786300B2 JP3786300B2 JP24877696A JP24877696A JP3786300B2 JP 3786300 B2 JP3786300 B2 JP 3786300B2 JP 24877696 A JP24877696 A JP 24877696A JP 24877696 A JP24877696 A JP 24877696A JP 3786300 B2 JP3786300 B2 JP 3786300B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- motion vector
- value
- reference block
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術
発明が解決しようとする課題（図６及び図７）
課題を解決するための手段
発明の実施の形態（図１〜図５）
発明の効果
【０００２】
【発明の属する技術分野】
本発明は、動きベクトル検出装置及び動きベクトル検出方法に関し、例えばデイジタルのＨＤＴＶ（High Definition Television）用のＶＴＲにおいて動画像を高能率符号化する際の動きベクトルを検出する場合に適用して好適なものである。
【０００３】
【従来の技術】
従来、動画像を高能率符号化する場合に動きベクトルすなわち時間的に異なる画像中の物体の動き方向と大きさを用いるものがあり、例えば画像の高能率符号化における動き補償フレーム間符号化に用いられている。このように画像の動きベクトルを求める方法としては、ブロツクマツチング法がある（特公昭54-124927 号公報）。
【０００４】
このブロツクマツチング法では、現在のフレームの画像（基本画像）と１フレーム分過去のフレームである前フレームの画像（参照画像）からそれぞれ適当な数画素（Ｍ×Ｎ画素）からなるブロツクを形成する。そして、基本画像のブロツクを固定し（以下、このように固定する側のブロツクを基準ブロツクと呼ぶ）、参照画像のブロツクを所定のサーチエリア内で移動させたとき（以下、このように移動させる側のブロツクを評価ブロツクと呼ぶ）、基準ブロツクの画素値と評価ブロツクの画素値との差分の総和Ｓum（ｘ、ｙ）が最小になる参照画像側の評価ブロツクの位置を求めることにより動きベクトルを検出するようになされている。
【０００５】
【発明が解決しようとする課題】
ところで上述のブロツクマツチング法においては、本来ベクトルによる重み付けを行わないことが一般的であるが、画像中で静止している部分の０ベクトル位置に重み付けを行つた場合、０ベクトル位置が屋根の瓦、及びブロツク塀のような連続するパターンのブロツクや、青空、芝生のような濃淡の差の少ない輝度が一定の画像パターンが続くブロツク内にあつて画面全体が移動する（パンニング）場合に、動きベクトルの検出ミスが発生することがある。
ところが、重み付けを行つた０ベクトル位置が画像中の静止画エリアにあるときには動きベクトルは当然０であり検出ミスはほとんど発生しない。
【０００６】
すなわち、図６（Ａ）及び（Ｂ）に示すように、ブロツク塀のような連続する画像パターンのブロツクに注目してブロツクマツチングを行うときに画面全体が右から左へ移動する（パンニング）場合（ｘ方向への移動だけでｙ方向へは移動しない）、基準ブロツクの画像パターンに似通つているブロツクが存在することにより、サーチエリア内の本来の動きベクトル位置とは異なる位置で基準ブロツクの画素値と評価ブロツクの画素値との差分の総和が最小になることがある。
実際上、図７に示すように、基準ブロツクの画素値と評価ブロツクの画素値との差分の総和Ｓum（ｘ、０）が最小になる評価ブロツクが、サーチエリア内のいくつかの位置において複数（４箇所）存在することにより、どの位置における評価ブロツクが本物なのか見分けがつきにくく、このため動きベクトルの検出ミスが発生するという問題があつた。
【０００７】
本発明は以上の点を考慮してなされたもので、同様の画像パターンが連続する画像及び輝度が一定の画像において動きベクトルの検出ミスを低減させ得る動きベクトル検出装置及び動きベクトル検出方法を提案しようとするものである。
【０００８】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、画像データの動きベクトルを検出する動きベクトル検出装置において、現フレームにおいて所定の大きさに形成されて所定位置に固定された基準ブロツクの画像データを取得する基準ブロツク取得手段と、前フレームにおいて所定範囲のサーチエリア内で移動させたときの各位置における基準ブロツクと同じ大きさでなる評価ブロツクの画像データを取得する評価ブロツク取得手段と、基準ブロツク取得手段により取得された基準ブロツクの画像データと評価ブロツク取得手段により取得された上記評価ブロツクの画像データとの画素値の差分の総和を算出する差分演算手段と、検出が終了している当該基準ブロツクの周囲ブロツクに対する動きベクトル値と、基準ブロツクの評価ブロツクに対する動きベクトル値との差分に対して、基準ブロツクの画像データの分散値に比例した係数を乗算することにより、重み付け量を算出する重み演算手段と、重み演算手段により算出された重み付け量を差分演算手段により算出された画素値の差分の総和に加算してブロツク差分値を算出する加算演算手段と、加算演算手段により算出されたブロツク差分値が最小となる位置の評価ブロツクから基準ブロツクまでの動きベクトルを検出する検出手段とを設けるようにする。
【０００９】
動きベクトル検出装置では、検出が終了している当該基準ブロツクの周囲ブロツクに対する動きベクトル値と、基準ブロツクの評価ブロツクに対する動きベクトル値との差分に対して基準ブロツクの画像データの分散値に比例した係数を乗算することにより重み付け量を算出し、その重み付け量を画素値の差分の総和に加算して算出したブロツク差分値が最小となる位置の評価ブロツクから基準ブロツクまでの動きベクトルを検出することにより、画素値の差分の総和が最小になる評価ブロツクが複数存在するときにも、基準ブロツクの画像データのばらつき傾向を反映させた重み付け量を基に最終的な動きベクトルを検出することができるので、同一絵柄の連続したパターンのブロツク画像であつても誤りなく動きベクトルを検出することができる。
【００１０】
周囲ブロツクは、基準ブロツクの上部に隣接する上ブロツク、又は基準ブロツクの左部に隣接する左ブロツク、或いは上ブロツク及び左ブロツクの双方であるようにすることにより、基準ブロツクから最も近い隣接した位置のブロツクまでの動きベクトル値に基づいて重み付け量を算出することができるので、演算を容易にすると共に演算時間を短縮させることができ、かくして最終的な動きベクトルの検出をリアルタイムに行うことができる。
【００１１】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【００１２】
図１（Ａ）に示すように、ブロツクマツチングを行うためのブロツクは現在のフレーム（以下、これを現フレームと呼ぶ）をＭ×Ｎ画素の大きさに分割して形成される。この現フレームの中で分割されたブロツクを左上から右下方向に向かつて順に（０、０）、（０、１）……（０、ｎ0 ）、（１、０）、（１、１）……（２、０）、（２、１）……（ｍ、０）……（ｍ、ｎ）と位置付けた場合に、動きベクトルを求めるために固定する基準ブロツクを例えば（ｍ0 、ｎ0 ）と位置付けるようにする。
【００１３】
ここで、通常の走査線方式（ノンインターレース方式）の画像データは左上から右下に向かつて入力されて来るので、動きベクトルを検出するための各ブロツクにおいても（０、０）、（０、１）……（０、ｎ0 ）、（１、０）、（１、１）……（２、０）、（２、１）……（ｍ0 、ｎ0 ）……（ｍ、ｎ）の順に画像データが処理されていく。
本発明においては、基準ブロツク（ｍ0 、ｎ0 ）の周囲に位置する各周囲ブロツクのうち当該基準ブロツク（ｍ0 、ｎ0 ）の上部に隣接するブロツクを上ブロツク（ｍ0 −１、ｎ0 ）、左部に隣接するブロツクを左ブロツク（ｍ0 、ｎ0 −１）と位置付ける。
【００１４】
また、図１（Ｂ）に示すように、前フレームのサーチエリアは基準ブロツクの約２倍程度の大きさの面積でなる範囲（±ｘ0 、±ｙ0 ）に設けられ、このサーチエリア内で評価ブロツク（ｍ-1、ｎ-1）の位置を前後左右に１画素づつ移動させていきながら基準ブロツク（ｍ0 、ｎ0 ）と評価ブロツク（ｍ-1、ｎ-1）とをブロツクマツチングさせるようになされている。
【００１５】
次に、図２にはブロツクマツチングを行うための動きベクトル検出装置１の構成を示す。動きベクトル検出装置１においては、符号化された画像データＤ１をフレームごとに差分演算部１Ａの現フレーム用メモリ２及び前フレーム用メモリ３にそれぞれ順次格納する。つまり、現フレーム用メモリ２には現フレームＦ0 が、前フレーム用メモリ３には前フレームＦ-1がそれぞれ格納されることになる。
【００１６】
ブロツクポジシヨンカウント回路４は動きベクトルの検出を行うために現フレーム用メモリ２に格納されている現フレームＦ0 内で固定された基準ブロツク（ｍ0 、ｎ0 ）の位置を指定する指定信号Ｓ１を基準ブロツクアドレスコントロール回路５に送出する。
ここで、画像データは左上から右下に向かつて入力されて来るので、基準ブロツク（ｍ0 、ｎ0 ）の周囲において当該基準ブロツク（ｍ0 、ｎ0 ）の上部に隣接する上ブロツク（ｍ0 −１、ｎ0 ）や、左部に隣接する左ブロツク（ｍ0 、ｎ0 −１）は、すでに画像データの処理がなされた後であつて、それぞれのブロツクにおいて動きベクトル値の検出が終了している。
【００１７】
従つて、ブロツクポジシヨンカウント回路４は、指定信号Ｓ１を基準ブロツクアドレスコントロール回路５に送出すると同時に、基準ブロツク（ｍ0 、ｎ0 ）の周囲ブロツクですでに画像データの処理が終了している上ブロツク（ｍ0 −１、ｎ0 ）の動きベクトル値（ｘ ｍ−１、ｙ ｎ）（以下、これを上ブロツク動きベクトル値と呼ぶ）及び左ブロツク（ｍ0 、ｎ0 −１）の動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）（以下、これを左ブロツク動きベクトル値と呼ぶ）を上ブロツクベクトル値メモリ６及び左ブロツクベクトル値メモリ７にそれぞれ送出して格納しておく。
【００１８】
ここで、図３（Ａ）に示すように上ブロツク動きベクトル値（ｘ ｍ−１、ｙ ｎ）は、前フレームＦ-1の上ブロツクから現フレームＦ0 の上ブロツクまでのベクトル値であり、既に算出された固定値である。また、左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）も、前フレームＦ-1の左ブロツクから現フレームＦ0 の左ブロツクまでのベクトル値であり、既に算出された固定値である。
【００１９】
基準ブロツクアドレスコントロール回路５は、指定信号Ｓ１に基づいて現フレーム用メモリ２から基準ブロツク（ｍ0 、ｎ0 ）の画像データＤ２を読み出すためのアドレス信号Ｓ２を生成して現フレーム用メモリ２に送出する。
現フレーム用メモリ２は、アドレス信号Ｓ２に基づいて基準ブロツク（ｍ0 、ｎ0 ）の画像データＤ２を読み出して差分演算回路８に送出する。
【００２０】
続いて、図３（Ｂ）に示すように、ベクトルコントロール回路９はブロツクマツチングを行うために、前フレームＦ-1のサーチエリア内における全ての評価ブロツク（ｍ-1、ｎ-1）から現フレームＦ0 の基準ブロツク（ｍ0 、ｎ0 ）までの動きベクトル値（ｘ、ｙ）（以下、これを基準ブロツク動きベクトル値と呼ぶ）を順次発生し、動きベクトル値信号Ｓ３として評価ブロツクアドレスコントロール回路１０、及びベクトル差分重み演算回路１１、１２にそれぞれ送出する。
【００２１】
評価ブロツクアドレスコントロール回路１０は、入力された動きベクトル値信号Ｓ３に基づいて評価ブロツク（ｍ-1、ｎ-1）の画像データＤ３を読み出すためのアドレス信号Ｓ４を生成して前フレーム用メモリ３に送出する。前フレーム用メモリ３は、アドレス信号Ｓ４に基づいて評価ブロツク（ｍ-1、ｎ-1）の画像データＤ３を読み出して差分演算回路８に送出する。
【００２２】
差分演算回路８は、入力された基準ブロツク（ｍ0 、ｎ0 ）の画像データＤ２と評価ブロツク（ｍ-1、ｎ-1）の画像データＤ３との画素値の差分の絶対値の総和Ｓum（ｘ、ｙ）を演算するようになされている。これにより、画素値差分演算部１Ａは基準ブロツク（ｍ0 、ｎ0 ）と評価ブロツク（ｍ-1、ｎ-1）との画素値の差分を算出することができる。
ここで、基準ブロツク（ｍ0 、ｎ0 ）内における全画素のアドレス値を（ｈ、ｖ）とした場合、当該基準ブロツク（ｍ0 、ｎ0 ）の各画素値をＹ（ｈ、ｖ）と表し、対応する評価ブロツク（ｍ-1、ｎ-1）の各画素値をＹ ｘｙ（ｈ、ｖ）と表すと、各画素値の差分の絶対値の総和Ｓum（ｘ、ｙ）は、次式
【数１】
で表すことができる。
【００２３】
一方、ブロツク差分値演算部１Ｂの上ブロツクベクトル値メモリ６は、格納しておいた上ブロツク動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）をベクトル差分重み演算回路１１に送出する。同様に、左ブロツクベクトル値メモリ７は格納しておいた左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）をベクトル差分重み演算回路１２に送出する。
【００２４】
ベクトル差分重み演算回路１１は、入力された上ブロツク動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）と、ベクトルコントロール回路９から入力される現在演算の行われている評価ブロツク（ｍ-1、ｎ-1）から基準ブロツク（ｍ0 、ｎ0 ）までの基準ブロツク動きベクトル値（ｘ、ｙ）との差分（距離）に比例した値を、重み値Ｗup（ｘ、ｙ）として、次式
【数２】
で算出するようになされている。
【００２５】
同様に、ベクトル差分重み演算回路１２は、入力された左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）と、ベクトルコントロール回路９から入力された基準ブロツク動きベクトル値（ｘ、ｙ）との差分（距離）に比例した値を、重み値Ｗleft（ｘ、ｙ）として、次式
【数３】
で算出するようになされている。
【００２６】
ここで、（２）式及び（３）式において用いられている係数ｋは、現フレーム用メモリ２から読み出された画像データＤ２の分散値（ばらつき）に応じて変化する値であり、係数演算回路１６によつて基準ブロツクの位置が変わる度に新たに生成され、乗算器１７を介して重み値Ｗup（ｘ、ｙ）及びＷleft（ｘ、ｙ）に乗算されるようになされている。
【００２７】
つまり、係数演算回路１６は画像データＤ２のばらつきが大きい場合、各評価ブロツク（ｍ-1、ｎ-1）との差分の絶対値の総和Ｓum（ｘ、ｙ）も当然ばらつきが大きくなるので、係数ｋを大きな値とすることにより重み値Ｗup（ｘ、ｙ）及びＷleft（ｘ、ｙ）を大きくして大きく重み付けするようになされている。
また、係数演算回路１６は画像データＤ２のばらつきが小さい場合、各評価ブロツク（ｍ-1、ｎ-1）との差分の絶対値の総和Ｓum（ｘ、ｙ）も当然ばらつきが小さくなるので、係数ｋを小さな値とすることにより重み値Ｗup（ｘ、ｙ）及びＷleft（ｘ、ｙ）を小さくして小さく重み付けするようになされている。
【００２８】
このように、係数演算回路１６は画像データＤ２のばらつきに応じて係数ｋの値を変動させることにより、評価ブロツク（ｍ-1、ｎ-1）のそれぞれの位置における総和Ｓum（ｘ、ｙ）の値に重み付けしたときに係数ｋによつて大きく変動させない（打ち消さない）ようにしている。従つて、重み値Ｗup（ｘ、ｙ）及びＷleft（ｘ、ｙ）は総和Ｓum（ｘ、ｙ）の値と比べればごく微小な値となる。この場合、重み値Ｗup（ｘ、ｙ）及びＷleft（ｘ、ｙ）は、基準ブロツク動きベクトル値（ｘ、ｙ）が上ブロツク動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）及び左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）に近ければ近いほど距離が短くなるので差分は小さくなり、当然重み値も小さくなる。
【００２９】
このようにして、算出された重み値Ｗup（ｘ、ｙ）及びＷleft（ｘ、ｙ）は加算器１３によつて加えられ、さらに差分演算回路８から出力される差分の絶対値の総和Ｓum（ｘ、ｙ）に加算器１４を介して加えられてブロツク差分値Ｄiff （ｘ、ｙ）として、次式
【数４】
として表され、検出手段としてのベクトル値検出回路１５に送出される。
【００３０】
このようにして、サーチエリア内の全ての評価ブロツク（ｍ-1、ｎ-1）に対して算出したブロツク差分値Ｄiff （ｘ、ｙ）がベクトル値検出回路１５に入力される。ベクトル値検出回路１５は、全てのブロツク差分値Ｄiff （ｘ、ｙ）を比較し、当該ブロツク差分値Ｄiff （ｘ、ｙ）が最も小さくなるときの基準ブロツク動きベクトル値（ｘ、ｙ）を出力するようになされている。
また、ベクトル値検出回路１５は検出された基準ブロツク動きベクトル値（ｘ、ｙ）を上ブロツクベクトル値メモリ６及び左ブロツクベクトル値メモリ７にも送出し、右及び下ブロツクが次に基準ブロツク（ｍ0 、ｎ0 ）となつたときの動きベクトル値として用いることができるようにしている。
【００３１】
以上の構成において、動きベクトル検出装置１においては図６（Ａ）及び（Ｂ）に示す基準ブロツク（ｍ0 、ｎ0 ）と評価ブロツク（ｍ-1、ｎ-1）とに基づいて画像が右側から左側に移動する場合について説明する。
動きベクトル検出装置１では、差分演算部１Ａによつて現フレームＦ0 の基準ブロツク（ｍ0 、ｎ0 ）の画像データＤ２と前フレームＦ-1のサーチエリア内の評価ブロツク（ｍ-1、ｎ-1）の画像データＤ３との各画素値の差分の絶対値の総和Ｓum（ｘ、ｙ）を（１）式によつて算出する。
【００３２】
ここで、サーチエリア内の全ての評価ブロツク（ｍ-1、ｎ-1）についての総和Ｓum（ｘ、ｙ）を算出し、この算出結果が最小となる評価ブロツク（ｍ-1、ｎ-1）の位置を求めただけでは、レンガの連続した同一パターンのブロツク画像が複数存在しているために総和Ｓum（ｘ、ｙ）が最小となる評価ブロツク（ｍ-1、ｎ-1）の位置を複数検出（図７）してしまつて正確な動きベクトルは検出できない。
【００３３】
そこで、動きベクトル検出装置１はブロツク差分値演算部１Ｂによつて予め記憶させておいた上ブロツク動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）及び左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）と（図３（Ａ））、基準ブロツク動きベクトル値（ｘ、ｙ）と（図３（Ｂ））の差分の絶対値に係数ｋを乗算した重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を（２）式及び（３）式によつて算出し、当該重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を（４）式によつて各画素値の差分の絶対値の総和Ｓum（ｘ、ｙ）に加算してブロツク差分値Ｄiff （ｘ、ｙ）を求める。
【００３４】
実際上、動きベクトル検出装置１では上ブロツク動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）、及び左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）が固定値であり、サーチエリア内の全ての基準ブロツク動きベクトル値（ｘ、ｙ）が評価ブロツク（ｍ-1、ｎ-1）の位置によつて変動する変動値であるために、評価ブロツク（ｍ-1、ｎ-1）がサーチエリア内の本来の動きベクトルを表す位置にあつた場合にだけ重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）が最小になり、かくしてブロツク差分値Ｄiff （ｘ、ｙ）は最小になる。
【００３５】
従つて、図４に示すように動きベクトル検出装置１ではサーチエリア内の各評価ブロツク（ｍ-1、ｎ-1）のそれぞれの位置におけるブロツク差分値Ｄiff （ｘ、ｙ）は、重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）の大きさに応じた傾斜を持つグラフとして表示する。これにより、動きベクトル検出装置１はブロツク差分値Ｄiff （ｘ、ｙ）が最小となる位置の基準ブロツク動きベクトル値（ｘ、ｙ）をベクトル値検出回路１５によつて検出することができ、かくしてレンガのような連続したパターンのブロツク画像であつても動きベクトルを誤りなく検出することができる。
【００３６】
また、動きベクトル検出装置１では重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を算出する際に係数ｋの値を基準ブロツク（ｍ0 、ｎ0 ）の画素のばらつきに応じて変動させることにより、総和Ｓum（ｘ、ｙ）を係数ｋによつて打ち消すことなく重み付けしてブロツク差分値Ｄiff （ｘ、ｙ）を表すグラフの傾斜の角度を変えることができ、かくしてブロツク差分値Ｄiff （ｘ、ｙ）が最小となる基準ブロツク動きベクトル値（ｘ、ｙ）の検出を容易にして動きベクトルの検出ミスを低減させることができる。
【００３７】
このように、動きベクトル検出装置１は差分演算部１Ａによつて基準ブロツク（ｍ0 、ｎ0 ）と評価ブロツク（ｍ-1、ｎ-1）のそれぞれの位置における画素値の差分の絶対値の総和Ｓum（ｘ、ｙ）を算出し、ブロツク差分値演算部１Ｂによつて重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を算出し、当該重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を評価ブロツク（ｍ-1、ｎ-1）のそれぞれの位置における総和Ｓum（ｘ、ｙ）に加算してそれぞれのブロツク差分値Ｄiff （ｘ、ｙ）を算出し、検出手段であるベクトル値検出回路１５によつてブロツク差分値Ｄiff （ｘ、ｙ）が最小となる基準ブロツク動きベクトル値（ｘ、ｙ）を検出することができる。
【００３８】
以上の構成によれば、動きベクトル検出装置１は、基準ブロツク（ｍ0 、ｎ0 ）の画像データＤ２と評価ブロツク（ｍ-1、ｎ-1）の画像データＤ３との各画素値の差分の絶対値の総和Ｓum（ｘ、ｙ）に、上ブロツク動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）及び左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）と、基準ブロツク動きベクトル値（ｘ、ｙ）との差分の絶対値に係数ｋをかけた重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を加算してブロツク差分値Ｄiff （ｘ、ｙ）を算出するようにしたことにより、ブロツク差分値Ｄiff （ｘ、ｙ）が最小となる基準ブロツク動きベクトル値（ｘ、ｙ）の検出を容易にし、かくしてブロツクごとの画像パターンが似通つている場合でも動きベクトルの検出ミスを低減させて高品質な画像データを伝送することができる。
【００３９】
また、動きベクトル検出装置１は基準ブロツク（ｍ0 、ｎ0 ）の画像データＤ２の分散値に比例した係数ｋを上ブロツク動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）及び左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）と、基準ブロツク動きベクトル値（ｘ、ｙ）との差分の絶対値に乗算することにより、画素値の差分の総和Ｓum（ｘ、ｙ）に応じた重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を算出することができ、かくしてブロツク差分値Ｄiff （ｘ、ｙ）が最小となる場合の基準ブロツク（ｍ0 、ｎ0 ）の動きベクトル検出を容易にして検出ミスを低減させることができる。
【００４０】
さらに、動きベクトル検出装置１は基準ブロツク（ｍ0 、ｎ0 ）の周囲に位置する周囲ブロツクのうち、基準ブロツク（ｍ0 、ｎ0 ）の上部に隣接する上ブロツク（ｍ0 −１、ｎ0 ）と、左部に隣接する左ブロツク（ｍ0 、ｎ0 −１）とに基づいて重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を算出するようにしたことにより、演算を容易にして演算時間を短縮させることができ、かくしてリアルタイムに動きベクトルを検出することができる。
【００４１】
なお上述の実施例においては、動きベクトル検出装置１において、現フレームＦ0 の基準ブロツク（ｍ0 、ｎ0 ）に対して上部及び左部に隣接する上ブロツク（ｍ0 −１、ｎ0 ）及び左ブロツク（ｍ0 、ｎ0 −１）の各動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）及び（ｘ ｍ0 、ｙ ｎ0 −１）と、基準ブロツク動きベクトル値（ｘ、ｙ）との差分の絶対値に基づいて重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を算出するようにした場合について述べたが、本発明はこれに限らず、図５に示す動きベクトル検出装置３０のように前フレームの動きベクトル値を格納しておく前フレームベクトル値メモリ３１、及びベクトル差分重み演算回路３２を動きベクトル検出装置１に対して付け加えて、前フレームの動きベクトル値と、基準ブロツク動きベクトル値（ｘ、ｙ）との差分の絶対値に基づいて重み値Ｗfor （ｘ、ｙ）を算出して当該重み値Ｗfor （ｘ、ｙ）を、重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）に加えてブロツク差分値Ｄiff （ｘ、ｙ）を求めるようにしても良い。この場合にも上述の実施例と同様の効果を得ることができる。
【００４２】
また上述の実施例においては、サーチエリアの面積範囲を基準ブロツク（ｍ0 、ｎ0 ）の面積の約４倍程度にするようにした場合について述べたが、本発明はこれに限らず、画像のパターンや処理時間に応じてサーチエリアの面積範囲を自由に設定するようにしても良い。
【００４３】
さらに上述の実施例においては、ブロツク差分値Ｄiff （ｘ、ｙ）を求めるために基準ブロツク（ｍ0 、ｎ0 ）の周囲の上部及び左部に隣接する上ブロツク（ｍ0 −１、ｎ0 ）及び左ブロツク（ｍ0 、ｎ0 −１）の各動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）及び（ｘ ｍ0 、ｙ ｎ0 −１）を用いるようにした場合について述べたが、本発明はこれに限らず、要は基準ブロツク（ｍ0 、ｎ0 ）に対して既に画像データの処理がなされて動きベクトル値の算出されたブロツクであれば上ブロツクあるいは左ブロツクのどちらか一方の動きベクトル値だけでブロツク差分値Ｄiff （ｘ、ｙ）を求めたり、また左斜め上のブロツクや右斜め上のブロツクの動きベクトル値を用いるようにしても良い。
【００４４】
さらに上述の実施例においては、本発明をＨＤＴＶ用のＶＴＲに適用するようにした場合について述べたが、本発明はこれに限らず、デイジタル画像通信の分野において動画像を高能率符号化して伝送する種々の装置に適用するようにしても良い。
【００４５】
【発明の効果】
上述のように本発明によれば、画素値の差分の総和が最小になる評価ブロツクが複数存在するときにも、基準ブロツクの画像データのばらつき傾向を反映させた重み付け量を基に最終的な動きベクトルを検出することができるので、同一絵柄の連続したパターンのブロツク画像であつても誤りなく動きベクトルを検出することができ、かくして同様の画像パターンが連続する画像及び輝度が一定の画像において動きベクトルの検出ミスを低減させ得る動きベクトル検出装置及び動きベクトル検出方法を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施例によるブロツクマツチングを行う場合の説明に供する略線図である。
【図２】本発明の実施例による動きベクトル検出装置の構成を示すブロツク図である。
【図３】本発明の実施例による各動きベクトル値の説明に供する略線図である。
【図４】本発明の実施例による重み値を加えたブロツク差分値によるグラフを示す図表である。
【図５】他の実施例による動きベクトル検出装置の構成を示すブロツク図である。
【図６】画像上におけるブロツクマツチングの説明に供する略線図である。
【図７】連続パターンの画像においてブロツクマツチングを行つたときのＳumの最小値を表すグラフである。
【符号の説明】
１……動きベクトル検出装置、２……現フレーム用メモリ、３……前フレーム用メモリ、４……ブロツクポジシヨンカウント回路、５……基準ブロツクアドレスコントロール回路、６……上ブロツクベクトル値メモリ、７……左ブロツクベクトル値メモリ、８……差分演算回路、９……ベクトルコントロール回路、１０……評価ブロツクアドレスコントロール回路、１１、１２、３２……ベクトル差分重み演算回路、１３、１４……加算器、１５……ベクトル値検出回路、１６……係数演算回路、１７……乗算器、３１……前フレームベクトル値メモリ。
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術
発明が解決しようとする課題（図６及び図７）
課題を解決するための手段
発明の実施の形態（図１〜図５）
発明の効果
【０００２】
【発明の属する技術分野】
本発明は、動きベクトル検出装置及び動きベクトル検出方法に関し、例えばデイジタルのＨＤＴＶ（High Definition Television）用のＶＴＲにおいて動画像を高能率符号化する際の動きベクトルを検出する場合に適用して好適なものである。
【０００３】
【従来の技術】
従来、動画像を高能率符号化する場合に動きベクトルすなわち時間的に異なる画像中の物体の動き方向と大きさを用いるものがあり、例えば画像の高能率符号化における動き補償フレーム間符号化に用いられている。このように画像の動きベクトルを求める方法としては、ブロツクマツチング法がある（特公昭54-124927 号公報）。
【０００４】
このブロツクマツチング法では、現在のフレームの画像（基本画像）と１フレーム分過去のフレームである前フレームの画像（参照画像）からそれぞれ適当な数画素（Ｍ×Ｎ画素）からなるブロツクを形成する。そして、基本画像のブロツクを固定し（以下、このように固定する側のブロツクを基準ブロツクと呼ぶ）、参照画像のブロツクを所定のサーチエリア内で移動させたとき（以下、このように移動させる側のブロツクを評価ブロツクと呼ぶ）、基準ブロツクの画素値と評価ブロツクの画素値との差分の総和Ｓum（ｘ、ｙ）が最小になる参照画像側の評価ブロツクの位置を求めることにより動きベクトルを検出するようになされている。
【０００５】
【発明が解決しようとする課題】
ところで上述のブロツクマツチング法においては、本来ベクトルによる重み付けを行わないことが一般的であるが、画像中で静止している部分の０ベクトル位置に重み付けを行つた場合、０ベクトル位置が屋根の瓦、及びブロツク塀のような連続するパターンのブロツクや、青空、芝生のような濃淡の差の少ない輝度が一定の画像パターンが続くブロツク内にあつて画面全体が移動する（パンニング）場合に、動きベクトルの検出ミスが発生することがある。
ところが、重み付けを行つた０ベクトル位置が画像中の静止画エリアにあるときには動きベクトルは当然０であり検出ミスはほとんど発生しない。
【０００６】
すなわち、図６（Ａ）及び（Ｂ）に示すように、ブロツク塀のような連続する画像パターンのブロツクに注目してブロツクマツチングを行うときに画面全体が右から左へ移動する（パンニング）場合（ｘ方向への移動だけでｙ方向へは移動しない）、基準ブロツクの画像パターンに似通つているブロツクが存在することにより、サーチエリア内の本来の動きベクトル位置とは異なる位置で基準ブロツクの画素値と評価ブロツクの画素値との差分の総和が最小になることがある。
実際上、図７に示すように、基準ブロツクの画素値と評価ブロツクの画素値との差分の総和Ｓum（ｘ、０）が最小になる評価ブロツクが、サーチエリア内のいくつかの位置において複数（４箇所）存在することにより、どの位置における評価ブロツクが本物なのか見分けがつきにくく、このため動きベクトルの検出ミスが発生するという問題があつた。
【０００７】
本発明は以上の点を考慮してなされたもので、同様の画像パターンが連続する画像及び輝度が一定の画像において動きベクトルの検出ミスを低減させ得る動きベクトル検出装置及び動きベクトル検出方法を提案しようとするものである。
【０００８】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、画像データの動きベクトルを検出する動きベクトル検出装置において、現フレームにおいて所定の大きさに形成されて所定位置に固定された基準ブロツクの画像データを取得する基準ブロツク取得手段と、前フレームにおいて所定範囲のサーチエリア内で移動させたときの各位置における基準ブロツクと同じ大きさでなる評価ブロツクの画像データを取得する評価ブロツク取得手段と、基準ブロツク取得手段により取得された基準ブロツクの画像データと評価ブロツク取得手段により取得された上記評価ブロツクの画像データとの画素値の差分の総和を算出する差分演算手段と、検出が終了している当該基準ブロツクの周囲ブロツクに対する動きベクトル値と、基準ブロツクの評価ブロツクに対する動きベクトル値との差分に対して、基準ブロツクの画像データの分散値に比例した係数を乗算することにより、重み付け量を算出する重み演算手段と、重み演算手段により算出された重み付け量を差分演算手段により算出された画素値の差分の総和に加算してブロツク差分値を算出する加算演算手段と、加算演算手段により算出されたブロツク差分値が最小となる位置の評価ブロツクから基準ブロツクまでの動きベクトルを検出する検出手段とを設けるようにする。
【０００９】
動きベクトル検出装置では、検出が終了している当該基準ブロツクの周囲ブロツクに対する動きベクトル値と、基準ブロツクの評価ブロツクに対する動きベクトル値との差分に対して基準ブロツクの画像データの分散値に比例した係数を乗算することにより重み付け量を算出し、その重み付け量を画素値の差分の総和に加算して算出したブロツク差分値が最小となる位置の評価ブロツクから基準ブロツクまでの動きベクトルを検出することにより、画素値の差分の総和が最小になる評価ブロツクが複数存在するときにも、基準ブロツクの画像データのばらつき傾向を反映させた重み付け量を基に最終的な動きベクトルを検出することができるので、同一絵柄の連続したパターンのブロツク画像であつても誤りなく動きベクトルを検出することができる。
【００１０】
周囲ブロツクは、基準ブロツクの上部に隣接する上ブロツク、又は基準ブロツクの左部に隣接する左ブロツク、或いは上ブロツク及び左ブロツクの双方であるようにすることにより、基準ブロツクから最も近い隣接した位置のブロツクまでの動きベクトル値に基づいて重み付け量を算出することができるので、演算を容易にすると共に演算時間を短縮させることができ、かくして最終的な動きベクトルの検出をリアルタイムに行うことができる。
【００１１】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【００１２】
図１（Ａ）に示すように、ブロツクマツチングを行うためのブロツクは現在のフレーム（以下、これを現フレームと呼ぶ）をＭ×Ｎ画素の大きさに分割して形成される。この現フレームの中で分割されたブロツクを左上から右下方向に向かつて順に（０、０）、（０、１）……（０、ｎ0 ）、（１、０）、（１、１）……（２、０）、（２、１）……（ｍ、０）……（ｍ、ｎ）と位置付けた場合に、動きベクトルを求めるために固定する基準ブロツクを例えば（ｍ0 、ｎ0 ）と位置付けるようにする。
【００１３】
ここで、通常の走査線方式（ノンインターレース方式）の画像データは左上から右下に向かつて入力されて来るので、動きベクトルを検出するための各ブロツクにおいても（０、０）、（０、１）……（０、ｎ0 ）、（１、０）、（１、１）……（２、０）、（２、１）……（ｍ0 、ｎ0 ）……（ｍ、ｎ）の順に画像データが処理されていく。
本発明においては、基準ブロツク（ｍ0 、ｎ0 ）の周囲に位置する各周囲ブロツクのうち当該基準ブロツク（ｍ0 、ｎ0 ）の上部に隣接するブロツクを上ブロツク（ｍ0 −１、ｎ0 ）、左部に隣接するブロツクを左ブロツク（ｍ0 、ｎ0 −１）と位置付ける。
【００１４】
また、図１（Ｂ）に示すように、前フレームのサーチエリアは基準ブロツクの約２倍程度の大きさの面積でなる範囲（±ｘ0 、±ｙ0 ）に設けられ、このサーチエリア内で評価ブロツク（ｍ-1、ｎ-1）の位置を前後左右に１画素づつ移動させていきながら基準ブロツク（ｍ0 、ｎ0 ）と評価ブロツク（ｍ-1、ｎ-1）とをブロツクマツチングさせるようになされている。
【００１５】
次に、図２にはブロツクマツチングを行うための動きベクトル検出装置１の構成を示す。動きベクトル検出装置１においては、符号化された画像データＤ１をフレームごとに差分演算部１Ａの現フレーム用メモリ２及び前フレーム用メモリ３にそれぞれ順次格納する。つまり、現フレーム用メモリ２には現フレームＦ0 が、前フレーム用メモリ３には前フレームＦ-1がそれぞれ格納されることになる。
【００１６】
ブロツクポジシヨンカウント回路４は動きベクトルの検出を行うために現フレーム用メモリ２に格納されている現フレームＦ0 内で固定された基準ブロツク（ｍ0 、ｎ0 ）の位置を指定する指定信号Ｓ１を基準ブロツクアドレスコントロール回路５に送出する。
ここで、画像データは左上から右下に向かつて入力されて来るので、基準ブロツク（ｍ0 、ｎ0 ）の周囲において当該基準ブロツク（ｍ0 、ｎ0 ）の上部に隣接する上ブロツク（ｍ0 −１、ｎ0 ）や、左部に隣接する左ブロツク（ｍ0 、ｎ0 −１）は、すでに画像データの処理がなされた後であつて、それぞれのブロツクにおいて動きベクトル値の検出が終了している。
【００１７】
従つて、ブロツクポジシヨンカウント回路４は、指定信号Ｓ１を基準ブロツクアドレスコントロール回路５に送出すると同時に、基準ブロツク（ｍ0 、ｎ0 ）の周囲ブロツクですでに画像データの処理が終了している上ブロツク（ｍ0 −１、ｎ0 ）の動きベクトル値（ｘ ｍ−１、ｙ ｎ）（以下、これを上ブロツク動きベクトル値と呼ぶ）及び左ブロツク（ｍ0 、ｎ0 −１）の動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）（以下、これを左ブロツク動きベクトル値と呼ぶ）を上ブロツクベクトル値メモリ６及び左ブロツクベクトル値メモリ７にそれぞれ送出して格納しておく。
【００１８】
ここで、図３（Ａ）に示すように上ブロツク動きベクトル値（ｘ ｍ−１、ｙ ｎ）は、前フレームＦ-1の上ブロツクから現フレームＦ0 の上ブロツクまでのベクトル値であり、既に算出された固定値である。また、左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）も、前フレームＦ-1の左ブロツクから現フレームＦ0 の左ブロツクまでのベクトル値であり、既に算出された固定値である。
【００１９】
基準ブロツクアドレスコントロール回路５は、指定信号Ｓ１に基づいて現フレーム用メモリ２から基準ブロツク（ｍ0 、ｎ0 ）の画像データＤ２を読み出すためのアドレス信号Ｓ２を生成して現フレーム用メモリ２に送出する。
現フレーム用メモリ２は、アドレス信号Ｓ２に基づいて基準ブロツク（ｍ0 、ｎ0 ）の画像データＤ２を読み出して差分演算回路８に送出する。
【００２０】
続いて、図３（Ｂ）に示すように、ベクトルコントロール回路９はブロツクマツチングを行うために、前フレームＦ-1のサーチエリア内における全ての評価ブロツク（ｍ-1、ｎ-1）から現フレームＦ0 の基準ブロツク（ｍ0 、ｎ0 ）までの動きベクトル値（ｘ、ｙ）（以下、これを基準ブロツク動きベクトル値と呼ぶ）を順次発生し、動きベクトル値信号Ｓ３として評価ブロツクアドレスコントロール回路１０、及びベクトル差分重み演算回路１１、１２にそれぞれ送出する。
【００２１】
評価ブロツクアドレスコントロール回路１０は、入力された動きベクトル値信号Ｓ３に基づいて評価ブロツク（ｍ-1、ｎ-1）の画像データＤ３を読み出すためのアドレス信号Ｓ４を生成して前フレーム用メモリ３に送出する。前フレーム用メモリ３は、アドレス信号Ｓ４に基づいて評価ブロツク（ｍ-1、ｎ-1）の画像データＤ３を読み出して差分演算回路８に送出する。
【００２２】
差分演算回路８は、入力された基準ブロツク（ｍ0 、ｎ0 ）の画像データＤ２と評価ブロツク（ｍ-1、ｎ-1）の画像データＤ３との画素値の差分の絶対値の総和Ｓum（ｘ、ｙ）を演算するようになされている。これにより、画素値差分演算部１Ａは基準ブロツク（ｍ0 、ｎ0 ）と評価ブロツク（ｍ-1、ｎ-1）との画素値の差分を算出することができる。
ここで、基準ブロツク（ｍ0 、ｎ0 ）内における全画素のアドレス値を（ｈ、ｖ）とした場合、当該基準ブロツク（ｍ0 、ｎ0 ）の各画素値をＹ（ｈ、ｖ）と表し、対応する評価ブロツク（ｍ-1、ｎ-1）の各画素値をＹ ｘｙ（ｈ、ｖ）と表すと、各画素値の差分の絶対値の総和Ｓum（ｘ、ｙ）は、次式
【数１】
【００２３】
一方、ブロツク差分値演算部１Ｂの上ブロツクベクトル値メモリ６は、格納しておいた上ブロツク動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）をベクトル差分重み演算回路１１に送出する。同様に、左ブロツクベクトル値メモリ７は格納しておいた左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）をベクトル差分重み演算回路１２に送出する。
【００２４】
ベクトル差分重み演算回路１１は、入力された上ブロツク動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）と、ベクトルコントロール回路９から入力される現在演算の行われている評価ブロツク（ｍ-1、ｎ-1）から基準ブロツク（ｍ0 、ｎ0 ）までの基準ブロツク動きベクトル値（ｘ、ｙ）との差分（距離）に比例した値を、重み値Ｗup（ｘ、ｙ）として、次式
【数２】
【００２５】
同様に、ベクトル差分重み演算回路１２は、入力された左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）と、ベクトルコントロール回路９から入力された基準ブロツク動きベクトル値（ｘ、ｙ）との差分（距離）に比例した値を、重み値Ｗleft（ｘ、ｙ）として、次式
【数３】
【００２６】
ここで、（２）式及び（３）式において用いられている係数ｋは、現フレーム用メモリ２から読み出された画像データＤ２の分散値（ばらつき）に応じて変化する値であり、係数演算回路１６によつて基準ブロツクの位置が変わる度に新たに生成され、乗算器１７を介して重み値Ｗup（ｘ、ｙ）及びＷleft（ｘ、ｙ）に乗算されるようになされている。
【００２７】
つまり、係数演算回路１６は画像データＤ２のばらつきが大きい場合、各評価ブロツク（ｍ-1、ｎ-1）との差分の絶対値の総和Ｓum（ｘ、ｙ）も当然ばらつきが大きくなるので、係数ｋを大きな値とすることにより重み値Ｗup（ｘ、ｙ）及びＷleft（ｘ、ｙ）を大きくして大きく重み付けするようになされている。
また、係数演算回路１６は画像データＤ２のばらつきが小さい場合、各評価ブロツク（ｍ-1、ｎ-1）との差分の絶対値の総和Ｓum（ｘ、ｙ）も当然ばらつきが小さくなるので、係数ｋを小さな値とすることにより重み値Ｗup（ｘ、ｙ）及びＷleft（ｘ、ｙ）を小さくして小さく重み付けするようになされている。
【００２８】
このように、係数演算回路１６は画像データＤ２のばらつきに応じて係数ｋの値を変動させることにより、評価ブロツク（ｍ-1、ｎ-1）のそれぞれの位置における総和Ｓum（ｘ、ｙ）の値に重み付けしたときに係数ｋによつて大きく変動させない（打ち消さない）ようにしている。従つて、重み値Ｗup（ｘ、ｙ）及びＷleft（ｘ、ｙ）は総和Ｓum（ｘ、ｙ）の値と比べればごく微小な値となる。この場合、重み値Ｗup（ｘ、ｙ）及びＷleft（ｘ、ｙ）は、基準ブロツク動きベクトル値（ｘ、ｙ）が上ブロツク動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）及び左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）に近ければ近いほど距離が短くなるので差分は小さくなり、当然重み値も小さくなる。
【００２９】
このようにして、算出された重み値Ｗup（ｘ、ｙ）及びＷleft（ｘ、ｙ）は加算器１３によつて加えられ、さらに差分演算回路８から出力される差分の絶対値の総和Ｓum（ｘ、ｙ）に加算器１４を介して加えられてブロツク差分値Ｄiff （ｘ、ｙ）として、次式
【数４】
【００３０】
このようにして、サーチエリア内の全ての評価ブロツク（ｍ-1、ｎ-1）に対して算出したブロツク差分値Ｄiff （ｘ、ｙ）がベクトル値検出回路１５に入力される。ベクトル値検出回路１５は、全てのブロツク差分値Ｄiff （ｘ、ｙ）を比較し、当該ブロツク差分値Ｄiff （ｘ、ｙ）が最も小さくなるときの基準ブロツク動きベクトル値（ｘ、ｙ）を出力するようになされている。
また、ベクトル値検出回路１５は検出された基準ブロツク動きベクトル値（ｘ、ｙ）を上ブロツクベクトル値メモリ６及び左ブロツクベクトル値メモリ７にも送出し、右及び下ブロツクが次に基準ブロツク（ｍ0 、ｎ0 ）となつたときの動きベクトル値として用いることができるようにしている。
【００３１】
以上の構成において、動きベクトル検出装置１においては図６（Ａ）及び（Ｂ）に示す基準ブロツク（ｍ0 、ｎ0 ）と評価ブロツク（ｍ-1、ｎ-1）とに基づいて画像が右側から左側に移動する場合について説明する。
動きベクトル検出装置１では、差分演算部１Ａによつて現フレームＦ0 の基準ブロツク（ｍ0 、ｎ0 ）の画像データＤ２と前フレームＦ-1のサーチエリア内の評価ブロツク（ｍ-1、ｎ-1）の画像データＤ３との各画素値の差分の絶対値の総和Ｓum（ｘ、ｙ）を（１）式によつて算出する。
【００３２】
ここで、サーチエリア内の全ての評価ブロツク（ｍ-1、ｎ-1）についての総和Ｓum（ｘ、ｙ）を算出し、この算出結果が最小となる評価ブロツク（ｍ-1、ｎ-1）の位置を求めただけでは、レンガの連続した同一パターンのブロツク画像が複数存在しているために総和Ｓum（ｘ、ｙ）が最小となる評価ブロツク（ｍ-1、ｎ-1）の位置を複数検出（図７）してしまつて正確な動きベクトルは検出できない。
【００３３】
そこで、動きベクトル検出装置１はブロツク差分値演算部１Ｂによつて予め記憶させておいた上ブロツク動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）及び左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）と（図３（Ａ））、基準ブロツク動きベクトル値（ｘ、ｙ）と（図３（Ｂ））の差分の絶対値に係数ｋを乗算した重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を（２）式及び（３）式によつて算出し、当該重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を（４）式によつて各画素値の差分の絶対値の総和Ｓum（ｘ、ｙ）に加算してブロツク差分値Ｄiff （ｘ、ｙ）を求める。
【００３４】
実際上、動きベクトル検出装置１では上ブロツク動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）、及び左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）が固定値であり、サーチエリア内の全ての基準ブロツク動きベクトル値（ｘ、ｙ）が評価ブロツク（ｍ-1、ｎ-1）の位置によつて変動する変動値であるために、評価ブロツク（ｍ-1、ｎ-1）がサーチエリア内の本来の動きベクトルを表す位置にあつた場合にだけ重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）が最小になり、かくしてブロツク差分値Ｄiff （ｘ、ｙ）は最小になる。
【００３５】
従つて、図４に示すように動きベクトル検出装置１ではサーチエリア内の各評価ブロツク（ｍ-1、ｎ-1）のそれぞれの位置におけるブロツク差分値Ｄiff （ｘ、ｙ）は、重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）の大きさに応じた傾斜を持つグラフとして表示する。これにより、動きベクトル検出装置１はブロツク差分値Ｄiff （ｘ、ｙ）が最小となる位置の基準ブロツク動きベクトル値（ｘ、ｙ）をベクトル値検出回路１５によつて検出することができ、かくしてレンガのような連続したパターンのブロツク画像であつても動きベクトルを誤りなく検出することができる。
【００３６】
また、動きベクトル検出装置１では重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を算出する際に係数ｋの値を基準ブロツク（ｍ0 、ｎ0 ）の画素のばらつきに応じて変動させることにより、総和Ｓum（ｘ、ｙ）を係数ｋによつて打ち消すことなく重み付けしてブロツク差分値Ｄiff （ｘ、ｙ）を表すグラフの傾斜の角度を変えることができ、かくしてブロツク差分値Ｄiff （ｘ、ｙ）が最小となる基準ブロツク動きベクトル値（ｘ、ｙ）の検出を容易にして動きベクトルの検出ミスを低減させることができる。
【００３７】
このように、動きベクトル検出装置１は差分演算部１Ａによつて基準ブロツク（ｍ0 、ｎ0 ）と評価ブロツク（ｍ-1、ｎ-1）のそれぞれの位置における画素値の差分の絶対値の総和Ｓum（ｘ、ｙ）を算出し、ブロツク差分値演算部１Ｂによつて重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を算出し、当該重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を評価ブロツク（ｍ-1、ｎ-1）のそれぞれの位置における総和Ｓum（ｘ、ｙ）に加算してそれぞれのブロツク差分値Ｄiff （ｘ、ｙ）を算出し、検出手段であるベクトル値検出回路１５によつてブロツク差分値Ｄiff （ｘ、ｙ）が最小となる基準ブロツク動きベクトル値（ｘ、ｙ）を検出することができる。
【００３８】
以上の構成によれば、動きベクトル検出装置１は、基準ブロツク（ｍ0 、ｎ0 ）の画像データＤ２と評価ブロツク（ｍ-1、ｎ-1）の画像データＤ３との各画素値の差分の絶対値の総和Ｓum（ｘ、ｙ）に、上ブロツク動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）及び左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）と、基準ブロツク動きベクトル値（ｘ、ｙ）との差分の絶対値に係数ｋをかけた重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を加算してブロツク差分値Ｄiff （ｘ、ｙ）を算出するようにしたことにより、ブロツク差分値Ｄiff （ｘ、ｙ）が最小となる基準ブロツク動きベクトル値（ｘ、ｙ）の検出を容易にし、かくしてブロツクごとの画像パターンが似通つている場合でも動きベクトルの検出ミスを低減させて高品質な画像データを伝送することができる。
【００３９】
また、動きベクトル検出装置１は基準ブロツク（ｍ0 、ｎ0 ）の画像データＤ２の分散値に比例した係数ｋを上ブロツク動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）及び左ブロツク動きベクトル値（ｘ ｍ0 、ｙ ｎ0 −１）と、基準ブロツク動きベクトル値（ｘ、ｙ）との差分の絶対値に乗算することにより、画素値の差分の総和Ｓum（ｘ、ｙ）に応じた重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を算出することができ、かくしてブロツク差分値Ｄiff （ｘ、ｙ）が最小となる場合の基準ブロツク（ｍ0 、ｎ0 ）の動きベクトル検出を容易にして検出ミスを低減させることができる。
【００４０】
さらに、動きベクトル検出装置１は基準ブロツク（ｍ0 、ｎ0 ）の周囲に位置する周囲ブロツクのうち、基準ブロツク（ｍ0 、ｎ0 ）の上部に隣接する上ブロツク（ｍ0 −１、ｎ0 ）と、左部に隣接する左ブロツク（ｍ0 、ｎ0 −１）とに基づいて重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を算出するようにしたことにより、演算を容易にして演算時間を短縮させることができ、かくしてリアルタイムに動きベクトルを検出することができる。
【００４１】
なお上述の実施例においては、動きベクトル検出装置１において、現フレームＦ0 の基準ブロツク（ｍ0 、ｎ0 ）に対して上部及び左部に隣接する上ブロツク（ｍ0 −１、ｎ0 ）及び左ブロツク（ｍ0 、ｎ0 −１）の各動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）及び（ｘ ｍ0 、ｙ ｎ0 −１）と、基準ブロツク動きベクトル値（ｘ、ｙ）との差分の絶対値に基づいて重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）を算出するようにした場合について述べたが、本発明はこれに限らず、図５に示す動きベクトル検出装置３０のように前フレームの動きベクトル値を格納しておく前フレームベクトル値メモリ３１、及びベクトル差分重み演算回路３２を動きベクトル検出装置１に対して付け加えて、前フレームの動きベクトル値と、基準ブロツク動きベクトル値（ｘ、ｙ）との差分の絶対値に基づいて重み値Ｗfor （ｘ、ｙ）を算出して当該重み値Ｗfor （ｘ、ｙ）を、重み値Ｗup（ｘ、ｙ）、Ｗleft（ｘ、ｙ）に加えてブロツク差分値Ｄiff （ｘ、ｙ）を求めるようにしても良い。この場合にも上述の実施例と同様の効果を得ることができる。
【００４２】
また上述の実施例においては、サーチエリアの面積範囲を基準ブロツク（ｍ0 、ｎ0 ）の面積の約４倍程度にするようにした場合について述べたが、本発明はこれに限らず、画像のパターンや処理時間に応じてサーチエリアの面積範囲を自由に設定するようにしても良い。
【００４３】
さらに上述の実施例においては、ブロツク差分値Ｄiff （ｘ、ｙ）を求めるために基準ブロツク（ｍ0 、ｎ0 ）の周囲の上部及び左部に隣接する上ブロツク（ｍ0 −１、ｎ0 ）及び左ブロツク（ｍ0 、ｎ0 −１）の各動きベクトル値（ｘ ｍ0 −１、ｙ ｎ0 ）及び（ｘ ｍ0 、ｙ ｎ0 −１）を用いるようにした場合について述べたが、本発明はこれに限らず、要は基準ブロツク（ｍ0 、ｎ0 ）に対して既に画像データの処理がなされて動きベクトル値の算出されたブロツクであれば上ブロツクあるいは左ブロツクのどちらか一方の動きベクトル値だけでブロツク差分値Ｄiff （ｘ、ｙ）を求めたり、また左斜め上のブロツクや右斜め上のブロツクの動きベクトル値を用いるようにしても良い。
【００４４】
さらに上述の実施例においては、本発明をＨＤＴＶ用のＶＴＲに適用するようにした場合について述べたが、本発明はこれに限らず、デイジタル画像通信の分野において動画像を高能率符号化して伝送する種々の装置に適用するようにしても良い。
【００４５】
【発明の効果】
上述のように本発明によれば、画素値の差分の総和が最小になる評価ブロツクが複数存在するときにも、基準ブロツクの画像データのばらつき傾向を反映させた重み付け量を基に最終的な動きベクトルを検出することができるので、同一絵柄の連続したパターンのブロツク画像であつても誤りなく動きベクトルを検出することができ、かくして同様の画像パターンが連続する画像及び輝度が一定の画像において動きベクトルの検出ミスを低減させ得る動きベクトル検出装置及び動きベクトル検出方法を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施例によるブロツクマツチングを行う場合の説明に供する略線図である。
【図２】本発明の実施例による動きベクトル検出装置の構成を示すブロツク図である。
【図３】本発明の実施例による各動きベクトル値の説明に供する略線図である。
【図４】本発明の実施例による重み値を加えたブロツク差分値によるグラフを示す図表である。
【図５】他の実施例による動きベクトル検出装置の構成を示すブロツク図である。
【図６】画像上におけるブロツクマツチングの説明に供する略線図である。
【図７】連続パターンの画像においてブロツクマツチングを行つたときのＳumの最小値を表すグラフである。
【符号の説明】
１……動きベクトル検出装置、２……現フレーム用メモリ、３……前フレーム用メモリ、４……ブロツクポジシヨンカウント回路、５……基準ブロツクアドレスコントロール回路、６……上ブロツクベクトル値メモリ、７……左ブロツクベクトル値メモリ、８……差分演算回路、９……ベクトルコントロール回路、１０……評価ブロツクアドレスコントロール回路、１１、１２、３２……ベクトル差分重み演算回路、１３、１４……加算器、１５……ベクトル値検出回路、１６……係数演算回路、１７……乗算器、３１……前フレームベクトル値メモリ。
Claims (4)
- 画像データの動きベクトルを検出する動きベクトル検出装置において、
現フレームにおいて所定の大きさに形成されて所定位置に固定された基準ブロツクの画像データを取得する基準ブロツク取得手段と、
前フレームにおいて所定範囲のサーチエリア内で移動させたときの各位置における上記基準ブロツクと同じ大きさでなる評価ブロツクの画像データを取得する評価ブロツク取得手段と、
上記基準ブロツク取得手段により取得された上記基準ブロツクの画像データと上記評価ブロツク取得手段により取得された上記評価ブロツクの画像データとの画素値の差分の総和を算出する差分演算手段と、
検出が終了している当該基準ブロツクの周囲ブロツクに対する動きベクトル値と、上記基準ブロツクの上記評価ブロツクに対する動きベクトル値との差分に対して、上記基準ブロツクの画像データの分散値に比例した係数を乗算することにより、重み付け量を算出する重み演算手段と、
上記重み演算手段により算出された上記重み付け量を上記差分演算手段により算出された上記画素値の差分の総和に加算してブロツク差分値を算出する加算演算手段と、
上記加算演算手段により算出された上記ブロツク差分値が最小となる位置の上記評価ブロツクから上記基準ブロツクまでの動きベクトルを検出する検出手段と
を具えることを特徴とする動きベクトル検出装置。 - 上記周囲ブロツクは、上記基準ブロツクの上部に隣接する上ブロツク、又は上記基準ブロツクの左部に隣接する左ブロツク、或いは上記上ブロツク及び上記左ブロツクの双方である
ことを特徴とする請求項１に記載の動きベクトル検出装置。 - 画像データの動きベクトルを検出する動きベクトル検出方法において、
現フレームにおいて所定の大きさに形成されて所定位置に固定された基準ブロツクの画像データを取得する基準ブロツク取得ステツプと、
前フレームにおいて所定範囲のサーチエリア内で移動させたときの各位置における上記基準ブロツクと同じ大きさでなる評価ブロツクの画像データを取得する評価ブロツク取得ステツプと、
上記基準ブロツク取得ステツプで取得された上記基準ブロツクの画像データと上記評価ブロツク取得手段により取得された上記評価ブロツクの画像データとの画素値の差分の総和を算出する差分演算ステツプと、
検出が終了している当該基準ブロツクの周囲ブロツクに対する動きベクトル値と、上記基準ブロツクの上記評価ブロツクに対する動きベクトル値との差分に対して、上記基準ブロツクの画像データの分散値に比例した係数を乗算することにより、重み付け量を算出する重み演算ステツプと、
上記重み演算ステツプで算出された上記重み付け量を上記差分演算ステツプで算出された上記画素値の差分の総和に加算してブロツク差分値を算出する加算演算ステツプと、
上記加算演算ステツプにより算出された上記ブロツク差分値が最小となる位置の上記評価ブロツクから上記基準ブロツクまでの動きベクトルを検出する検出ステツプと
を具えることを特徴とする動きベクトル検出方法。 - 上記周囲ブロツクは、上記基準ブロツクの上部に隣接する上ブロツク、又は上記基準ブロツクの左部に隣接する左ブロツク、或いは上記上ブロツク及び上記左ブロツクの双方である
ことを特徴とする請求項３に記載の動きベクトル検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24877696A JP3786300B2 (ja) | 1996-08-30 | 1996-08-30 | 動きベクトル検出装置及び動きベクトル検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24877696A JP3786300B2 (ja) | 1996-08-30 | 1996-08-30 | 動きベクトル検出装置及び動きベクトル検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1075453A JPH1075453A (ja) | 1998-03-17 |
| JP3786300B2 true JP3786300B2 (ja) | 2006-06-14 |
Family
ID=17183220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24877696A Expired - Fee Related JP3786300B2 (ja) | 1996-08-30 | 1996-08-30 | 動きベクトル検出装置及び動きベクトル検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3786300B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4529615B2 (ja) * | 2004-09-24 | 2010-08-25 | ソニー株式会社 | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 |
| JP5173409B2 (ja) * | 2005-03-22 | 2013-04-03 | パナソニック株式会社 | 符号化装置および符号化装置を備えた動画像記録システム |
| GB2432068B (en) * | 2005-11-02 | 2010-10-06 | Imagination Tech Ltd | Motion estimation |
| JP2011223393A (ja) * | 2010-04-12 | 2011-11-04 | Canon Inc | 符号化装置及び符号化装置の制御方法 |
| JP5441803B2 (ja) * | 2010-04-12 | 2014-03-12 | キヤノン株式会社 | 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム |
| JP5441812B2 (ja) * | 2010-05-12 | 2014-03-12 | キヤノン株式会社 | 動画像符号化装置、及びその制御方法 |
-
1996
- 1996-08-30 JP JP24877696A patent/JP3786300B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1075453A (ja) | 1998-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0832048B2 (ja) | 動きベクトル検出装置 | |
| JP3200889B2 (ja) | 画像の振動補正装置 | |
| JP2947360B2 (ja) | 画像の動きを測定する方法および装置 | |
| JP3786300B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
| US7970227B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2007323635A (ja) | ビデオ・イメージの再帰的フィルタリング | |
| JP3143494B2 (ja) | 動きベクトル装置及びその方法 | |
| JPH0799661A (ja) | 動き補償予測装置 | |
| JP3154272B2 (ja) | 画像変換装置及び方法 | |
| JP3727460B2 (ja) | 動きベクトル検出回路 | |
| JP3303311B2 (ja) | 画像の振動補正装置及び画像の振動補正方法 | |
| JP3303312B2 (ja) | 画像の振動補正装置及び画像の振動補正方法 | |
| JP3271387B2 (ja) | 動き量検出装置及び動き量検出方法 | |
| JP3832924B2 (ja) | 画像信号処理方法、画像信号処理装置及びコンピュータ読み取り可能な記録媒体 | |
| JP4250807B2 (ja) | フィールド周波数変換装置および変換方法 | |
| JP4078733B2 (ja) | 動きベクトル検出方法及び装置 | |
| JP3271273B2 (ja) | 画像の振動判定装置、画像の振動補正装置、画像の振動判定方法及び画像の振動補正方法 | |
| JPH05145828A (ja) | 画像の手振れ判定装置 | |
| JP3271275B2 (ja) | 画像の振動補正装置及び画像の振動補正方法 | |
| JP3271274B2 (ja) | 画像の振動判定装置、画像の振動補正装置、画像の振動判定方法及び画像の振動補正方法 | |
| JP3223577B2 (ja) | 画像の手振れ補正装置 | |
| JP3303310B2 (ja) | 画像の振動補正装置及び画像の振動補正方法 | |
| JP3230530B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
| JP2743763B2 (ja) | 動画像の動き推定方法 | |
| JP3156247B2 (ja) | 画像変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050415 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050613 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051202 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060316 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100331 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |