JP3453145B2 - 画素ブロックの比較のためのプロセッサ(ブロックマッチングプロセッサ) - Google Patents
画素ブロックの比較のためのプロセッサ(ブロックマッチングプロセッサ)Info
- Publication number
- JP3453145B2 JP3453145B2 JP51005495A JP51005495A JP3453145B2 JP 3453145 B2 JP3453145 B2 JP 3453145B2 JP 51005495 A JP51005495 A JP 51005495A JP 51005495 A JP51005495 A JP 51005495A JP 3453145 B2 JP3453145 B2 JP 3453145B2
- Authority
- JP
- Japan
- Prior art keywords
- processor
- unit
- data
- displacement vector
- search area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/533—Motion estimation using multistep search, e.g. two-dimensional [2D]-log search or one-at-a-time search [OTS]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/231—Analysis of motion using block-matching using full search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【発明の詳細な説明】
動き推定の領域におけるこの形式のプロセッサは、例
えばビデオ補償のためのハイブリッドコード化または動
き補償された補間の場合におけるように、多数の用途に
おいて使用される。その際種々の方法、しかも種々のパ
ラメータ組み合わせを支援することができるようにする
ために、フレキシブルな解決法が望ましい。このための
例はとりわけ、変位領域におけるサブサンプリング、所
謂候補生(Kanditat)ベクトルの探索、ピクセル間引き
およびサブピクセル精度を有する計算である。
えばビデオ補償のためのハイブリッドコード化または動
き補償された補間の場合におけるように、多数の用途に
おいて使用される。その際種々の方法、しかも種々のパ
ラメータ組み合わせを支援することができるようにする
ために、フレキシブルな解決法が望ましい。このための
例はとりわけ、変位領域におけるサブサンプリング、所
謂候補生(Kanditat)ベクトルの探索、ピクセル間引き
およびサブピクセル精度を有する計算である。
全目的デジタル信号プロセッサまたはフレキシブルな
ビデオプロセッサは通例、要求される計算能力に対して
も、必要なI/O帯域幅に対しても設計されていない。
ビデオプロセッサは通例、要求される計算能力に対して
も、必要なI/O帯域幅に対しても設計されていない。
このために必要な高い計算能力は、2次元のセルフィ
ールドによって実現することができる。しかしこの場合
外部のデータはセルフィールド縁を介してしか供給する
ことができないので、使用可能な高い計算能力は一般に
不完全にしか利用することができず、結果的に通例、利
用効率の著しい低下が見られた。
ールドによって実現することができる。しかしこの場合
外部のデータはセルフィールド縁を介してしか供給する
ことができないので、使用可能な高い計算能力は一般に
不完全にしか利用することができず、結果的に通例、利
用効率の著しい低下が見られた。
これまで、上述の2次元のセルフィールドの、例えば
100%までの高い利用効率は、完全な探索に基づいてい
るブロック・マッチング・アルゴリズムの専用具体化実
現においてしか可能でなかった。
100%までの高い利用効率は、完全な探索に基づいてい
るブロック・マッチング・アルゴリズムの専用具体化実
現においてしか可能でなかった。
刊行物IEEE Transactions on Circuits and Systems,
Vol.36,No.10,1989年10月、第1309ないし1316頁には、
完全な探索に基づいているブロック・マッチング・アル
ゴリズムに対するパラメータ化可能なVLSIアーキテクチ
ャが記載されている。
Vol.36,No.10,1989年10月、第1309ないし1316頁には、
完全な探索に基づいているブロック・マッチング・アル
ゴリズムに対するパラメータ化可能なVLSIアーキテクチ
ャが記載されている。
不完全な探索、即ちその都度の探索領域内で可能な変
位ベクトルすべてが探索されないとき、計算された結果
の部分量しか必要とされない。確かに、重要なイベント
またはセルフィールドにおける考察すべきプロセッサエ
レメントのフレキシブルな選択によって、不完全な探索
に基づいているブロック・マッチング・アルゴリズムを
実現することができるが、このために、プロセッサ回路
の利用効率が著しく低減されることになる。
位ベクトルすべてが探索されないとき、計算された結果
の部分量しか必要とされない。確かに、重要なイベント
またはセルフィールドにおける考察すべきプロセッサエ
レメントのフレキシブルな選択によって、不完全な探索
に基づいているブロック・マッチング・アルゴリズムを
実現することができるが、このために、プロセッサ回路
の利用効率が著しく低減されることになる。
ヨーロッパ特許出願公開第0395293号公報から、比較
プロセッサを有する動き推定装置が公知であり、ここで
はとりわけ最小の変位ベクトルが求められる。
プロセッサを有する動き推定装置が公知であり、ここで
はとりわけ最小の変位ベクトルが求められる。
そこで本発明の課題は、不完全な探索に基づいている
ブロック・マッチング・アルゴリズムの場合でも、出来
るだけ高度なハードウェアの利用を可能にする、2次元
のセルフィールドを有する、画素ブロックの比較のため
のプロセッサ(ブロックマッチングプロセッサ)を提供
することである。
ブロック・マッチング・アルゴリズムの場合でも、出来
るだけ高度なハードウェアの利用を可能にする、2次元
のセルフィールドを有する、画素ブロックの比較のため
のプロセッサ(ブロックマッチングプロセッサ)を提供
することである。
この課題は本発明によれば、請求項1の特徴部分に記
載の構成によって解決される。
載の構成によって解決される。
請求項2ないし7の対象は、本発明の有利な実施例に
向いている。
向いている。
本発明を図面を用いて詳細に説明する。その際
第1図は、不完全な探索を説明するための線図、
第2図は、2次元のセルフィールドを有する本発明のプ
ロセッサのブロック回路図、 第3図は、第2図に含まれているセルフィールドの詳細
回路図、 第4図は、第3図に含まれているプロセッサエレメント
の詳細回路図である。
ロセッサのブロック回路図、 第3図は、第2図に含まれているセルフィールドの詳細
回路図、 第4図は、第3図に含まれているプロセッサエレメント
の詳細回路図である。
第1図には、点として図示されている11*13=143個
の生じ得る変位と、中心点としての変位0,0とを有する
変位フィールドの例が示されている。不完全な探索に基
づいているブロック・マッチング・アルゴリズムに対し
ては、完全な探索の場合におけるように、すべての変位
が必要とされず、第1図において太く示されている点と
して図示されている変位1…9のみが必要とされる。従
来のプロセッサ、即ち引き続き必要とされる変位の選択
が行われる完全な変位ではこの場合例えば僅か9つしか
必要とされないにも拘わらず、11*13=143個の計算が
実施される。
の生じ得る変位と、中心点としての変位0,0とを有する
変位フィールドの例が示されている。不完全な探索に基
づいているブロック・マッチング・アルゴリズムに対し
ては、完全な探索の場合におけるように、すべての変位
が必要とされず、第1図において太く示されている点と
して図示されている変位1…9のみが必要とされる。従
来のプロセッサ、即ち引き続き必要とされる変位の選択
が行われる完全な変位ではこの場合例えば僅か9つしか
必要とされないにも拘わらず、11*13=143個の計算が
実施される。
これに対して本発明のプロセッサによって、第1図に
太線で示されている矢印が表すミアンダ状のデータ流が
可能であり、その際必要な計算数は143から34に低減す
ることができる。従って、セルフィールドの利用効率
は、6%から26%に向上する。
太線で示されている矢印が表すミアンダ状のデータ流が
可能であり、その際必要な計算数は143から34に低減す
ることができる。従って、セルフィールドの利用効率
は、6%から26%に向上する。
刊行物IEEE Transactions on Circuits and Systems,
Vol.36,No.10,1989年10月、第1309ないし1316頁に詳細
に記載されているように、タイプ1またはタイプ2のセ
ルフィールドを有するプロセッサが可能であり、その際
タイプ1のセルフィールドは大域的な累算を行いかつタ
イプ2のセルフィールドは局所的な累算作用をする。
Vol.36,No.10,1989年10月、第1309ないし1316頁に詳細
に記載されているように、タイプ1またはタイプ2のセ
ルフィールドを有するプロセッサが可能であり、その際
タイプ1のセルフィールドは大域的な累算を行いかつタ
イプ2のセルフィールドは局所的な累算作用をする。
本発明のプロセッサは基本的にタイプ1のセルフィー
ルドを有することができるが、タイプ2のセルフィール
ドを有していても構わず、その際タイプ1のセルフィー
ルドの方が不完全な探索の場合通例、ハードウェア利用
効率の点で有利である。
ルドを有することができるが、タイプ2のセルフィール
ドを有していても構わず、その際タイプ1のセルフィー
ルドの方が不完全な探索の場合通例、ハードウェア利用
効率の点で有利である。
第2図には、画素ブロックの比較のための、本発明の
プロセッサのブロック回路が示されており、該プロセッ
サは、プロセッサ/レジスタセルフィールドPRAと、探
索領域メモリSDMと、ブロックメモリADMと、制御ユニッ
トCTRLと、場合によっては付加的に推定変位ベクトルDV
を形成するためのユニットVUと、帰還結合レジスタR1を
備えた最小値形成ユニットMINとを有している。第2図
において、語幅と、16*16個の画素を有するその時点で
扱われている画素ブロック(現画素ブロックと称す)お
よび48*48個の画素から成る探索領域に対するメモリ仕
様とが例示されている。現画素ブロックのデータに対す
るブロックメモリADMにはカメラから直接または外部の
画像メモリからシステムクロックCLK毎に例えば、グレ
ー値または色値に相応する、1画素に対する8ビットが
供給される。ブロックメモリADMは、それぞれ、16個の
画素に対する列および行から構成された画像ブロックの
ような2つの同一のユニットから成っており、その際画
素当たり8ビットが設けられている。これらのユニット
は、ブロックメモリへのデータの読み込みおよびプロセ
ッサ/レジスタセルフィールドPRAへのデータの読み出
しに対する交番作動において使用される。ブロックメモ
リADMの出力側において、システムクロック毎に並列
に、ここでは16*8ビットを有する列を現データADとし
てプロセッサ/レジスタセルフィールドPRAに読み出す
ことができる。その都度16個のシステムクロックにおい
て、外部画像メモリから、現画素ブロックの完全な列を
ブロックメモリADMに読み込むことができる。
プロセッサのブロック回路が示されており、該プロセッ
サは、プロセッサ/レジスタセルフィールドPRAと、探
索領域メモリSDMと、ブロックメモリADMと、制御ユニッ
トCTRLと、場合によっては付加的に推定変位ベクトルDV
を形成するためのユニットVUと、帰還結合レジスタR1を
備えた最小値形成ユニットMINとを有している。第2図
において、語幅と、16*16個の画素を有するその時点で
扱われている画素ブロック(現画素ブロックと称す)お
よび48*48個の画素から成る探索領域に対するメモリ仕
様とが例示されている。現画素ブロックのデータに対す
るブロックメモリADMにはカメラから直接または外部の
画像メモリからシステムクロックCLK毎に例えば、グレ
ー値または色値に相応する、1画素に対する8ビットが
供給される。ブロックメモリADMは、それぞれ、16個の
画素に対する列および行から構成された画像ブロックの
ような2つの同一のユニットから成っており、その際画
素当たり8ビットが設けられている。これらのユニット
は、ブロックメモリへのデータの読み込みおよびプロセ
ッサ/レジスタセルフィールドPRAへのデータの読み出
しに対する交番作動において使用される。ブロックメモ
リADMの出力側において、システムクロック毎に並列
に、ここでは16*8ビットを有する列を現データADとし
てプロセッサ/レジスタセルフィールドPRAに読み出す
ことができる。その都度16個のシステムクロックにおい
て、外部画像メモリから、現画素ブロックの完全な列を
ブロックメモリADMに読み込むことができる。
探索領域はここでは例えば48行および48列を有しかつ
探索領域メモリSDMの列はブロックメモリADMの列と同時
にロードしなければならないので、探索領域メモリSDM
には外部画像メモリMからシステムクロック毎に3*8
ビットが供給され、その際その都度16個のシステムクロ
ックの後、ここでは48*8個のビットを有する探索領域
の1列を探索領域メモリSDMに読み込むことができる。
探索領域メモリSDMの出力側において、システムクロッ
ク毎に、並列に、ここでは48*8個のビットを有する列
を探索領域データとして、プロセッサ/レジスタセルフ
ィールドPRAに読み込むことができる。探索領域メモリS
DMはこの場合、48*64*8ビットの編成を有している。
その理由は、その都度2つの連続する探索領域が48*32
ビットの領域においてオーバラップされかつ48*48個の
画素のブロックからその都度読み出されかつ16*48個の
画素のブロックにその都度書き込まれるからである。こ
の場合本発明にとって重要なのは、探索領域メモリSDM
に完全にデータが書き込まれるや否や、その都度の探索
領域内で、探索領域メモリからプロセッサ/レジスタセ
ルフィールドPRAへの、相応の列の再ロードによって、
最大16個のシステムクロック内で任意のシフトが可能で
あるということである。このシフトは水平方向にはセル
フィールド出力側の方向においてのみ行われかつ垂直方
向には下方向にも上方向にも行われる。
探索領域メモリSDMの列はブロックメモリADMの列と同時
にロードしなければならないので、探索領域メモリSDM
には外部画像メモリMからシステムクロック毎に3*8
ビットが供給され、その際その都度16個のシステムクロ
ックの後、ここでは48*8個のビットを有する探索領域
の1列を探索領域メモリSDMに読み込むことができる。
探索領域メモリSDMの出力側において、システムクロッ
ク毎に、並列に、ここでは48*8個のビットを有する列
を探索領域データとして、プロセッサ/レジスタセルフ
ィールドPRAに読み込むことができる。探索領域メモリS
DMはこの場合、48*64*8ビットの編成を有している。
その理由は、その都度2つの連続する探索領域が48*32
ビットの領域においてオーバラップされかつ48*48個の
画素のブロックからその都度読み出されかつ16*48個の
画素のブロックにその都度書き込まれるからである。こ
の場合本発明にとって重要なのは、探索領域メモリSDM
に完全にデータが書き込まれるや否や、その都度の探索
領域内で、探索領域メモリからプロセッサ/レジスタセ
ルフィールドPRAへの、相応の列の再ロードによって、
最大16個のシステムクロック内で任意のシフトが可能で
あるということである。このシフトは水平方向にはセル
フィールド出力側の方向においてのみ行われかつ垂直方
向には下方向にも上方向にも行われる。
第3図には、大域的な累算用のプロセッサ/レジスタ
セルフィールドPRAが詳細に示されている。有利には現
画素ブロックの画素当たり1つのプロセッサユニットが
設けられている。即ち、16*16個の画素の場合、プロセ
ッサユニットPE1,1…PE16,16が設けられている。探索領
域列はここでは48個の画素を含んでいるので、プロセッ
サユニットのそれぞれの列は上側が16個のレジスタによ
っておよび下側が16個のレジスタによって補充されてい
る。従って第3図に図示のプロセッサ/レジスタフィー
ルドの第1列は、上から下に向かって、16個のレジスタ
RE1,1…RE16,16、16個のプロセッサユニットPE1,1…PE1
6,1および別の16個のレジスタユニットRE1,1′…RE16,
1′から成っている。プロセッサ/レジスタセルフィー
ルドの別の列は相応に編成されており、その際最後の列
は16個のレジスタユニットRE1,16…RE16,16、16個のプ
ロセッサユニットPE1,16…PE16,16および別の16個のレ
ジスタユニットRE1,16′…RE16,16′から成っている。
レジスタユニットRE1,16…RE16,16にはそれぞれ、8ビ
ット幅の出力データSD1…SD16が供給され、プロセッサ
ユニットPE1,16…PE16,16にはそれぞれ8ビット幅の、
探索領域メモリSDMの出力データSD17…SD32が供給され
かつレジスタユニットRE1,16′…RE16,16′にはそれぞ
れ例えば8ビット幅の、探索領域メモリSDMの出力デー
タSD33…SD48が供給される。プロセッサ/レジスタセル
フィールドにおける純然たるシフト動作を回避するため
に、供給されるデータを循環的に交換するための装置も
考えられる。これにより利用効率は一層改善される。プ
ロセッサユニットPE1,16…PE16,16には更にそれぞれ、
例えば8ビット幅の、ブロックメモリADMの出力データA
D1…AD16が供給される。その際16列目のプロセッサユニ
ットは探索領域データおよび中間結果に対する現データ
を15列目のプロセッサユニットに転送し、以下も同様な
ことが行われ、ひいては第1列の中間結果を中間結果出
力側、例えばZOを介して加算器装置ADDに送出すること
ができる。
セルフィールドPRAが詳細に示されている。有利には現
画素ブロックの画素当たり1つのプロセッサユニットが
設けられている。即ち、16*16個の画素の場合、プロセ
ッサユニットPE1,1…PE16,16が設けられている。探索領
域列はここでは48個の画素を含んでいるので、プロセッ
サユニットのそれぞれの列は上側が16個のレジスタによ
っておよび下側が16個のレジスタによって補充されてい
る。従って第3図に図示のプロセッサ/レジスタフィー
ルドの第1列は、上から下に向かって、16個のレジスタ
RE1,1…RE16,16、16個のプロセッサユニットPE1,1…PE1
6,1および別の16個のレジスタユニットRE1,1′…RE16,
1′から成っている。プロセッサ/レジスタセルフィー
ルドの別の列は相応に編成されており、その際最後の列
は16個のレジスタユニットRE1,16…RE16,16、16個のプ
ロセッサユニットPE1,16…PE16,16および別の16個のレ
ジスタユニットRE1,16′…RE16,16′から成っている。
レジスタユニットRE1,16…RE16,16にはそれぞれ、8ビ
ット幅の出力データSD1…SD16が供給され、プロセッサ
ユニットPE1,16…PE16,16にはそれぞれ8ビット幅の、
探索領域メモリSDMの出力データSD17…SD32が供給され
かつレジスタユニットRE1,16′…RE16,16′にはそれぞ
れ例えば8ビット幅の、探索領域メモリSDMの出力デー
タSD33…SD48が供給される。プロセッサ/レジスタセル
フィールドにおける純然たるシフト動作を回避するため
に、供給されるデータを循環的に交換するための装置も
考えられる。これにより利用効率は一層改善される。プ
ロセッサユニットPE1,16…PE16,16には更にそれぞれ、
例えば8ビット幅の、ブロックメモリADMの出力データA
D1…AD16が供給される。その際16列目のプロセッサユニ
ットは探索領域データおよび中間結果に対する現データ
を15列目のプロセッサユニットに転送し、以下も同様な
ことが行われ、ひいては第1列の中間結果を中間結果出
力側、例えばZOを介して加算器装置ADDに送出すること
ができる。
その際加算器装置ADDは例えば、2進加算器ツリーか
ら、即ち第1レベルでは3つの加算器、第2レベルでは
4つの加算器、第3レベルでは2つの加算器および第4
レベルでは1つの加算器から成っている。その際加算器
装置ADDの出力側に、現画素ブロックに対するデータ
と、探索領域によって制限された、比較画像の部分の画
素のデータとの差から成る絶対値和基準Nが形成され
る。
ら、即ち第1レベルでは3つの加算器、第2レベルでは
4つの加算器、第3レベルでは2つの加算器および第4
レベルでは1つの加算器から成っている。その際加算器
装置ADDの出力側に、現画素ブロックに対するデータ
と、探索領域によって制限された、比較画像の部分の画
素のデータとの差から成る絶対値和基準Nが形成され
る。
プロセッサユニットに相応して、16列目のレジスタユ
ニットRE1,16…RE16,16′はデータを15列目のレジスタ
ユニットに転送し、最終的にレジスタユニットRE1,1…R
E16,1′まで続けられる。レジスタユニットおよびプロ
セッサユニットないしレジスタユニットおよびレジスタ
ユニット間の双方向のデータ搬送が可能であり、その際
1システムクロックの期間に、データはその都度1行づ
つ先に送ることができる。
ニットRE1,16…RE16,16′はデータを15列目のレジスタ
ユニットに転送し、最終的にレジスタユニットRE1,1…R
E16,1′まで続けられる。レジスタユニットおよびプロ
セッサユニットないしレジスタユニットおよびレジスタ
ユニット間の双方向のデータ搬送が可能であり、その際
1システムクロックの期間に、データはその都度1行づ
つ先に送ることができる。
第4図には、プロセッサユニットPEの詳細回路が示さ
れており、その際プロセッサユニットPE自体はは、レジ
スタユニットREも含んでいる。レジスタユニットREはマ
ルチプレクサMUXと、後置接続されているレジスタR2か
ら成り、レジスタの出力側は同時に、レジスタユニット
REないしプロセッサユニットPEの探索領域データ出力信
号DFCを送出する。2ビット幅のデータ流制御信号DFCに
依存して、隣接行の探索領域データ入力信号SDIi+1およ
びSDIi-1並びにデータ流方向において先行する隣接列の
探索領域データ入力信号SDIiがレジスタR3の入力側に交
互に通し接続される。レジスタR2の出力側は、隣接行に
おけるレジスタユニットに対する探索領域データ出力信
号SDOi+1およびSDIi-1並びにデータ流方向において後続
する、セルフィールドの列のレジスタユニットに対する
探索領域データ出力信号SDOiを送出する。現画素ブロッ
クのデータに対する入力信号ADIはプロセッサユニットP
EにおいてレジスタR3を介してそれぞれの出力側に転送
され、その際プロセッサユニットPEの出力側に、現画素
ブロックのデータに対する出力信号ADOが現れる。
れており、その際プロセッサユニットPE自体はは、レジ
スタユニットREも含んでいる。レジスタユニットREはマ
ルチプレクサMUXと、後置接続されているレジスタR2か
ら成り、レジスタの出力側は同時に、レジスタユニット
REないしプロセッサユニットPEの探索領域データ出力信
号DFCを送出する。2ビット幅のデータ流制御信号DFCに
依存して、隣接行の探索領域データ入力信号SDIi+1およ
びSDIi-1並びにデータ流方向において先行する隣接列の
探索領域データ入力信号SDIiがレジスタR3の入力側に交
互に通し接続される。レジスタR2の出力側は、隣接行に
おけるレジスタユニットに対する探索領域データ出力信
号SDOi+1およびSDIi-1並びにデータ流方向において後続
する、セルフィールドの列のレジスタユニットに対する
探索領域データ出力信号SDOiを送出する。現画素ブロッ
クのデータに対する入力信号ADIはプロセッサユニットP
EにおいてレジスタR3を介してそれぞれの出力側に転送
され、その際プロセッサユニットPEの出力側に、現画素
ブロックのデータに対する出力信号ADOが現れる。
レジスタユニットREの他に、プロセッサユニットPE
は、スイッチSW、レジスタR4、減算器絶対値形成ユニッ
トBおよび加算ユニットAを含んでいる。ブロックの処
理の間、スイッチSWは開放されかつバッファレジスタR4
に記憶された、現画素ブロックのデータが、減算器絶対
値形成ユニットBのプラス入力側に加えられる。新しい
ブロックがロードされたとき初めて、スイッチSWが閉成
されかつバッファレジスタR4には新しい現画素ブロック
のデータがロードされる。減算器絶対値形成ユニットB
のマイナス入力側には信号SDOiが供給されかつ減算器絶
対値形成ユニットの出力側は加算ユニットAの入力側に
接続されており、該加算ユニットの第2入力側には、セ
ルフィールドの、データ流方向において先行する列の中
間結果に対する入力信号が供給されかつその出力側から
は、データ流方向において後続する列の出力信号ZOが送
出される。
は、スイッチSW、レジスタR4、減算器絶対値形成ユニッ
トBおよび加算ユニットAを含んでいる。ブロックの処
理の間、スイッチSWは開放されかつバッファレジスタR4
に記憶された、現画素ブロックのデータが、減算器絶対
値形成ユニットBのプラス入力側に加えられる。新しい
ブロックがロードされたとき初めて、スイッチSWが閉成
されかつバッファレジスタR4には新しい現画素ブロック
のデータがロードされる。減算器絶対値形成ユニットB
のマイナス入力側には信号SDOiが供給されかつ減算器絶
対値形成ユニットの出力側は加算ユニットAの入力側に
接続されており、該加算ユニットの第2入力側には、セ
ルフィールドの、データ流方向において先行する列の中
間結果に対する入力信号が供給されかつその出力側から
は、データ流方向において後続する列の出力信号ZOが送
出される。
局所的な累算に対するプロセッサ/レジスタセルフィ
ールドは第3図に相応して構成されており、その際実質
的に次の相異点がある。即ち、中間結果はプロセッサユ
ニット間で転送されるのではなくて、プロセッサユニッ
ト自体において引き続き処理されかつ別のマルチプレク
サを介して、それぞれのプロセッサエレメントの加算ユ
ニットAの出力側に基準が達するかまたはデータ流方向
において先行するプロセッサエレメントの基準が基準N
としてセルフィールドPRAの出力側に達する。
ールドは第3図に相応して構成されており、その際実質
的に次の相異点がある。即ち、中間結果はプロセッサユ
ニット間で転送されるのではなくて、プロセッサユニッ
ト自体において引き続き処理されかつ別のマルチプレク
サを介して、それぞれのプロセッサエレメントの加算ユ
ニットAの出力側に基準が達するかまたはデータ流方向
において先行するプロセッサエレメントの基準が基準N
としてセルフィールドPRAの出力側に達する。
制御ユニットCTRLは有利には、システムクロックCLK
によってタイミング制御されかつ外部制御データCDによ
って内容が任意にプログラミングされるシフトレジスタ
から成っている。シフトレジスタまたは相応に編成され
た別の書き込み/読み出しメモリに対して択一的に、基
本的に、固定値メモリに基づいた制御ユニットも考えら
れる。その際制御ユニットは、その際制御ユニットは、
その中に、システムクロックCLK毎に並列にデータ流制
御信号DFC、ブロックメモリのアドレス指定のためのア
ドレスADR1および探索領域メモリのアドレス指定のため
の別のアドレスADR2を送出する制御シーケンスが記憶可
能であるように、変形されなければならない。
によってタイミング制御されかつ外部制御データCDによ
って内容が任意にプログラミングされるシフトレジスタ
から成っている。シフトレジスタまたは相応に編成され
た別の書き込み/読み出しメモリに対して択一的に、基
本的に、固定値メモリに基づいた制御ユニットも考えら
れる。その際制御ユニットは、その際制御ユニットは、
その中に、システムクロックCLK毎に並列にデータ流制
御信号DFC、ブロックメモリのアドレス指定のためのア
ドレスADR1および探索領域メモリのアドレス指定のため
の別のアドレスADR2を送出する制御シーケンスが記憶可
能であるように、変形されなければならない。
プロセッサにおいて、絶対値和基準Nのみならず、推
定変位ベクトルDVも計算されるべきときは、プロセッサ
において付加的に、最小値を確定するためのユニットMI
N並びに付加的に推定変位ベクトルDVを形成するための
ユニットVUが設けられている。その際ユニットMINの出
力信号はレジスタR1を介してユニットMINの入力側に帰
還結合されかつユニットMINの別の入力側にはプロセッ
サ/レジスタセルフィールドの絶対値和基準Nが供給さ
れる。
定変位ベクトルDVも計算されるべきときは、プロセッサ
において付加的に、最小値を確定するためのユニットMI
N並びに付加的に推定変位ベクトルDVを形成するための
ユニットVUが設けられている。その際ユニットMINの出
力信号はレジスタR1を介してユニットMINの入力側に帰
還結合されかつユニットMINの別の入力側にはプロセッ
サ/レジスタセルフィールドの絶対値和基準Nが供給さ
れる。
ユニットVUの構成に応じて、制御ユニットCTRLのデー
タ流制御信号DFCを用いて、または第2図に破線で示さ
れているように、制御ユニットCTRLに付加的に記憶され
ている、制御ユニットの出力信号VDを用いて、それぞれ
のユニットVUにおいて推定変位ベクトルDVを形成するこ
とができる。その際付加的な出力信号VDは、ベクトルデ
ータ自体においてまたはベクトルデータのアドレスにお
いて構成することができる。
タ流制御信号DFCを用いて、または第2図に破線で示さ
れているように、制御ユニットCTRLに付加的に記憶され
ている、制御ユニットの出力信号VDを用いて、それぞれ
のユニットVUにおいて推定変位ベクトルDVを形成するこ
とができる。その際付加的な出力信号VDは、ベクトルデ
ータ自体においてまたはベクトルデータのアドレスにお
いて構成することができる。
変位ベクトルDVを形成するためにデータ流制御信号DF
Cのみが用いられるとき、推定ベクトルDVのそれぞれの
要素に対するユニットVUは、データ流制御信号DFCによ
って正または負の計数パルスを得ることができかつその
都度1つの保持素子が後置接続されている計数器を含ん
でいる。その際保持素子では、その都度の絶対値和基準
Nがその都度の最小基準NMINに相応する限り、計数器の
出力側に現れる、その都度の変位ベクトルが記憶され
る。
Cのみが用いられるとき、推定ベクトルDVのそれぞれの
要素に対するユニットVUは、データ流制御信号DFCによ
って正または負の計数パルスを得ることができかつその
都度1つの保持素子が後置接続されている計数器を含ん
でいる。その際保持素子では、その都度の絶対値和基準
Nがその都度の最小基準NMINに相応する限り、計数器の
出力側に現れる、その都度の変位ベクトルが記憶され
る。
制御ユニットCRTLの付加的な出力信号VDがベクトルア
ドレスから成っている場合には、ユニットVUにおいて計
数器ではなくて、ベクトルアドレスによってアドレス指
定されるベクトルメモリが設けられている。更に、ユニ
ットVUにおいて、変位ベクトルのそれぞれの要素に対し
て保持素子が設けられており、該保持素子において、そ
の都度の絶対値和基準Nがその都度の最小基準NMINに相
応する限り、変位ベクトルのその都度の要素が記憶され
る。
ドレスから成っている場合には、ユニットVUにおいて計
数器ではなくて、ベクトルアドレスによってアドレス指
定されるベクトルメモリが設けられている。更に、ユニ
ットVUにおいて、変位ベクトルのそれぞれの要素に対し
て保持素子が設けられており、該保持素子において、そ
の都度の絶対値和基準Nがその都度の最小基準NMINに相
応する限り、変位ベクトルのその都度の要素が記憶され
る。
制御ユニットの付加的な出力信号VDがその都度の変位
ベクトル自体から構成されている場合、その都度の変位
ベクトルは、その都度の絶対値和基準Nがその都度の最
小基準NMINに相応する限り、保持素子に推定変位ベクト
ルとして転送される。
ベクトル自体から構成されている場合、その都度の変位
ベクトルは、その都度の絶対値和基準Nがその都度の最
小基準NMINに相応する限り、保持素子に推定変位ベクト
ルとして転送される。
本発明のプロセッサの有利な実施例によれば、プロセ
ッサはメモリADMおよびSDMとともに半導体チップ上にモ
ノリシックに集積されている。
ッサはメモリADMおよびSDMとともに半導体チップ上にモ
ノリシックに集積されている。
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平5−236455(JP,A)
特開 平2−295288(JP,A)
特開 平2−274083(JP,A)
特開 平2−20988(JP,A)
特開 平1−295379(JP,A)
特表 平4−506889(JP,A)
(58)調査した分野(Int.Cl.7,DB名)
G06T 7/20 - 7/20
Claims (6)
- 【請求項1】2つの現画素ブロックのデータに対するブ
ロックメモリ(ADM)と、比較画像の画素のデータに対
する探索領域メモリ(SDM)と、2次元のプロセッサ/
レジスタセルフィールド(PRA)と、制御ユニット(CTR
L)とが設けられており、ここにおいてそれぞれの探索
領域は行および列から成っており、 前記探索領域メモリはその語幅が、前記プロセッサ/レ
ジスタセルフィールドにシステムクロック(CKL)毎に
その都度、その都度の探索領域の完全な列の画素のデー
タが並列に供給されるように、編成されており、 距離計算のための前記プロセッサ/レジスタセルフィー
ルドにおいて、前記現画素ブロックに対するデータと、
前記その都度の探索領域によって制限される、比較画像
の部分の画素のデータとの差から絶対値和基準(N)が
形成されかつ該絶対値は累算される 画素ブロックの比較のためのプロセッサ(ブロックマッ
チングプロセッサ)において、 前記探索領域メモリは2つの探索領域のデータを含んで
おり、ここにおいて該2つの探索領域は、探索領域交代
の際にプロセッサ/レジスタセルフィールドの再ロード
を短縮するために、相互に水平方向にオーバラップして
おり、 前記制御ユニットおいて、システムクロック(CLK)毎
に並列に、データ流制御信号(DFC)、前記ブロックメ
モリのアドレス指定のためのアドレス(ADR1)、前記そ
の都度の探索領域メモリのアドレス指定のための別のア
ドレス(ADR2)を送出する制御シーケンスが記憶されて
おり、 前記制御ユニット(CTRL)は外部制御データ(CD)によ
ってプログラミングされかつ 前記システムクロック(CLK)によってタイミング制御
されるシフトレジスタが設けられており、該シフトレジ
スタに、前記制御データ(CD)によって、その都度の比
較法(ブロック・マッチング・アルゴリズム)に依存し
ている、フレキシブルな制御シーケンスが書き込まれ、
該制御シーケンスは、前記制御ユニットの出力信号(DF
C,ADR1,ADR2、場合によりVD)を、その都度の比較法に
依存している、現画素ブロックと比較画像の探索領域の
ブロックとの間の原理的に生じ得るすべての変位の部分
のみが比較される(不完全な探索)ように発生する ことを特徴とする画素ブロックの比較のためのプロセッ
サ(ブロックマッチングプロセッサ)。 - 【請求項2】前記プロセッサ/レジスタセルフィールド
に最小値を確定するためのユニット(MIN)が後置接続
されており、該ユニットにおいて絶対値和基準(N)か
ら最小基準(NMIN)が求められ、 付加的に推定変位ベクトル(DV)を形成するためのユニ
ット(VU)が設けられており、 前記絶対値和基準(N)が前記最小基準(NMIN)に相応
するとき、前記制御ユニット(CTRL)の出力信号(DFC
ないしVD)の部分から、前記推定変位ベクトル(DV)が
発生される 請求項1記載のプロセッサ。 - 【請求項3】前記推定変位ベクトル(DV)を形成するた
めのユニット(VU)は変位ベクトルのそれぞれの要素に
対して計数器を含んでおり、該計数器にはデータ流制御
信号(DFC)が供給され、かつ 前記計数器にそれぞれ保持素子が後置接続されており、
該保持素子において、前記計数器の出力側に現れるその
都度の変位ベクトルが、その都度の絶対値和基準(N)
がその都度の最小基準(NMIN)に相応する限り、記憶さ
れる 請求項2記載のプロセッサ。 - 【請求項4】前記推定変位ベクトル(DV)を形成するた
めのユニット(VU)に、ベクトルメモリが設けられてお
り、該ベクトルメモリは前記制御ユニットの出力信号
(VD)の部分によってアドレス指定されかつ 前記推定変位ベクトル(DV)を形成するためのユニット
(VU)は推定ベクトルのそれぞれの要素に対して1つの
保持素子を含んでおり、該保持素子に、その都度の変位
ベクトルが、その都度の絶対値和基準(N)がその都度
の最小基準(NMIN)に相応する限り、記憶される 請求項2記載のプロセッサ。 - 【請求項5】前記推定変位ベクトル(DV)を形成するた
めのユニット(VU)に、前記制御ユニットの出力信号
(VD)の部分が直接供給され、その際前記出力信号の部
分はその都度の変位ベクトル自体に相応しかつ 前記推定変位ベクトル(DV)を形成するためのユニット
(VU)は推定ベクトルのそれぞれの要素に対して1つの
保持素子を含んでおり、該保持素子に、その都度の変位
ベクトルが、その都度の絶対値和基準(N)がその都度
の最小基準(NMIN)に相応する限り、記憶される 請求項2記載のプロセッサ。 - 【請求項6】当該プロセッサは半導体チップ上にモノリ
シックに集積されている 請求項1から5までのいずれか1項記載のプロセッサ。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE4333476 | 1993-09-30 | ||
| DE4333476.8 | 1993-09-30 | ||
| PCT/DE1994/001113 WO1995009404A1 (de) | 1993-09-30 | 1994-09-23 | Prozessor zum vergleich von bildpunkt-blöcken (block-matching-prozessor) |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09503324A JPH09503324A (ja) | 1997-03-31 |
| JP3453145B2 true JP3453145B2 (ja) | 2003-10-06 |
Family
ID=6499156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP51005495A Expired - Fee Related JP3453145B2 (ja) | 1993-09-30 | 1994-09-23 | 画素ブロックの比較のためのプロセッサ(ブロックマッチングプロセッサ) |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5805239A (ja) |
| EP (1) | EP0721633B1 (ja) |
| JP (1) | JP3453145B2 (ja) |
| DE (1) | DE59401987D1 (ja) |
| WO (1) | WO1995009404A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3226020B2 (ja) * | 1997-05-28 | 2001-11-05 | 日本電気株式会社 | 動きベクトル検出装置 |
| ES2138545B1 (es) * | 1997-11-04 | 2000-08-16 | Univ Castilla La Mancha | Sistema de computacion para la realizacion de acumulacion espacio-temporal de activacion en señales digitales. |
| US20060259737A1 (en) * | 2005-05-10 | 2006-11-16 | Telairity Semiconductor, Inc. | Vector processor with special purpose registers and high speed memory access |
| US20070150697A1 (en) * | 2005-05-10 | 2007-06-28 | Telairity Semiconductor, Inc. | Vector processor with multi-pipe vector block matching |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8909498D0 (en) * | 1989-04-26 | 1989-06-14 | British Telecomm | Motion estimator |
-
1994
- 1994-09-23 WO PCT/DE1994/001113 patent/WO1995009404A1/de not_active Ceased
- 1994-09-23 EP EP94927485A patent/EP0721633B1/de not_active Expired - Lifetime
- 1994-09-23 US US08/619,637 patent/US5805239A/en not_active Expired - Fee Related
- 1994-09-23 JP JP51005495A patent/JP3453145B2/ja not_active Expired - Fee Related
- 1994-09-23 DE DE59401987T patent/DE59401987D1/de not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP0721633B1 (de) | 1997-03-05 |
| US5805239A (en) | 1998-09-08 |
| WO1995009404A1 (de) | 1995-04-06 |
| DE59401987D1 (de) | 1997-04-10 |
| JPH09503324A (ja) | 1997-03-31 |
| EP0721633A1 (de) | 1996-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5586202A (en) | Motion detecting apparatus | |
| TW302444B (en) | Full-search block matching motion estimation processor | |
| US8073058B2 (en) | Memory device and device and method for detecting motion vector | |
| Yang et al. | A family of VLSI designs for the motion compensation block-matching algorithm | |
| US6862035B2 (en) | System for matching stereo image in real time | |
| US6965644B2 (en) | Programmable architecture and methods for motion estimation | |
| US5696836A (en) | Motion estimation processor architecture for full search block matching | |
| EP0400084B1 (en) | Circuit implementation of block matching algorithm | |
| US6690730B2 (en) | Motion estimator | |
| US4800425A (en) | System for displacement vector searching during digital image analysis | |
| US5793443A (en) | Motion vector detection circuit | |
| Nicol | A systolic approach for real time connected component labeling | |
| US6850569B2 (en) | Effective motion estimation for hierarchical search | |
| JP3453145B2 (ja) | 画素ブロックの比較のためのプロセッサ(ブロックマッチングプロセッサ) | |
| WO1999063751A1 (en) | Low-power parallel processor and imager integrated circuit | |
| Baglietto et al. | Parallel implementation of the full search block matching algorithm for motion estimation | |
| JPH05236455A (ja) | 動画像の動きベクトル検出装置 | |
| KR100359091B1 (ko) | 움직임추정장치 | |
| JPH01295379A (ja) | ブロツクマツチング型動き検出回路 | |
| Berns et al. | A flexible motion estimation chip for variable size block matching | |
| Lai et al. | An efficient array architecture with data-rings for 3-step hierarchical search block matching algorithm | |
| CN101127236B (zh) | 存储单元电路 | |
| JPH05300497A (ja) | 画像処理装置及びディジタル信号処理プロセッサ | |
| JP2885039B2 (ja) | 動きベクトル検出回路 | |
| KR100246033B1 (ko) | 고속 실시간 처리 움직임 추정을 위한 연산방법 및 이를 위한 연산장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |