JPH0740311B2

JPH0740311B2 - 画像処理装置

Info

Publication number: JPH0740311B2
Application number: JP1950586A
Authority: JP
Inventors: 良平加藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1986-01-31
Filing date: 1986-01-31
Publication date: 1995-05-01
Anticipated expiration: 2010-05-01
Also published as: JPS62177674A

Description

【発明の詳細な説明】以下の順序でこの発明を説明する。

Ａ産業上の利用分野Ｂ発明の概要Ｃ従来の技術Ｄ発明が解決しようとする問題点Ｅ問題点を解決するための手段（第１図）Ｆ作用Ｇ実施例 G₁画像処理装置の説明（第１図） G₂PVP（30B）のアドレス生成部の説明（第１図、第２
図） G₃3次元的処理の一例の説明（第３図、第４図）Ｈ発明の効果Ａ産業上の利用分野この発明は入力画像データを一旦メモリに書き込み、こ
れに種々の加工処理を行うようにする画像処理装置に関
する。

Ｂ発明の概要この発明は、第１の２次元のアドレス信号（Ｘ、Ｙ）を
第１のアドレス生成手段で生成し、第１の２次元アドレ
ス信号に応じた値のＺ信号をＺメモリ手段で出力し、第
１の２次元のアドレス信号とＺ信号とに基づいて演算式
Ｘ′＝Ｘ＋Zsinθ（θは所望の回転角度）及び、Ｙ′＝
Ｙにより第２の２次元アドレス信号を第２のアドレス生
成手段で生成し、第１の２次元アドレス信号（Ｘ、Ｙ）
及び第２の２次元アドレス信号（Ｘ′、Ｙ′）が夫々読
み出しアドレス信号及び書き込みアドレス信号として夫
々入力画像メモリ及び出力画像メモリに供給し、入力ビ
デオ信号にて示される２次元入力画像が、３次元空間内
で回転角度θだけ回転移動された２次元出力画像として
出力画像メモリに記憶することにより、画像データの３
次元的な処理を効果的に行えるようにしたものである。

Ｃ従来の技術ビデオ画像処理システムが種々提案されている（例えば
電子通信学会論文誌85/4 Vol.J68−D No.4、特開昭58−
215813号公報参照）。

第５図はこのビデオ画像処理装置の一例を示すものであ
る。

一般にこの種の処理装置は同図に示すように入出力部
（１）と、入力画像メモリ（2A）と出力画像メモリ（2
B）とからなるメモリ部（２）と、データ処理部（３）
とから構成されている。

入出力部（１）は、例えばビデオカメラ（４）よりのビ
デオ信号をA/D変換してデジタル画像データとし、これ
を入力画像メモリ（2A）に書き込み、また、出力画像メ
モリ（2B）より処理された画像データを読み出し、これ
をD/A変換してアナログビデオ信号に戻し、これを例え
ばVTR（５）に記録したり、モニタ受像機（６）に供給
してビデオ画像をモニタできるようにする。

このため、入出力部（１）の入力画像メモリ（2A）の書
き込みアドレス及び出力画像メモリ（2B）の読み出しア
ドレスを生成する。

データ処理部（３）のプロセッサは１枚あるいは複数枚
のプロセッサからなっており、そのマイクロプログラム
メモリの内容であるマイクロプログラムは、より処理の
幅を広げる場合には交換できるようにされている。

このため、データ処理部（３）は入力画像メモリ（2A）
に対する読み出しアドレス及び出力画像メモリ（2B）に
対する書き込みアドレスを発生するとともに入力画像メ
モリ（2A）よりの画像データを加工する計算処理を行
う。

メモリ部（２）への書き込み及び読み出しは画像のまと
まり、すなわち１フィールドあるいは１フレーム単位で
なされる。このため入力画像メモリ（2A）及び（2B）の
各々は１フィールドあるいは１フレーム分の画像データ
分の容量を有するメモリを複数枚有する。

この場合に、ビデオ画像のモニタ表示は２次元表示であ
るので、画像処理も従来２次元的な扱いであって、アド
レスも２方向の情報、つまり２次元情報から生成するの
が一般的である。

Ｄ発明が解決しようとする問題点上記のように画像は２次元表示されるものである。しか
し、それは元々３次元の世界にあったものを正射影や一
点射影により２次元に投影したものである。したがっ
て、元々の物体が３次元的に変化や運動をした場合が多
々あるが、従来のように画像を２次元的に取り扱ってい
ると、この３次元的な変化や運動の状態の状況を的確に
表現できる処理はなかなかできない。

Ｅ問題点を解決するための手段この発明においては、入力ビデオ信号を記憶する入力画
像メモリ（20A）と、この入力画像メモリ（20A）から出
力されるビデオ信号を記憶する出力画像メモリ（20B）
と、入力画像メモリ（20A）の読み出しアドレス信号と
出力画像メモリ（20B）の書き込みアドレス信号を生成
するアドレス生成部（（301）、（302）とを有し、アド
レス生成部（301）、（302）は、第１の２次元のアドレ
ス信号（Ｘ、Ｙ）を生成する第１のアドレス生成手段
（301）と、第１の２次元アドレス信号（Ｘ、Ｙ）に応
じた値のＺ信号を出力するＺメモリ手段（303）と、第
１の２次元のアドレス信号（Ｘ、Ｙ）とＺ信号とに基づ
いて演算式Ｘ′＝Ｘ＋Zsinθ（θは所望の回転角度）及
び、Ｙ′＝Ｙにより第２の２次元アドレス信号（Ｘ′、
Ｙ′）を生成する第２のアドレス生成手段（302）とを
備え、第１の２次元アドレス信号（Ｘ、Ｙ）及び第２の
２次元アドレス信号（Ｘ′、Ｙ′）が夫々読み出しアド
レス信号及び書き込みアドレス信号として夫々入力画像
メモリ（20A）及び出力画像メモリ（20B）に供給され、
入力ビデオ信号にて示される２次元入力画像が、３次元
空間内で回転角度θだけ回転移動された２次元出力画像
として出力画像メモリ（20B）に記憶されるものであ
る。

Ｆ作用第１の２次元のアドレス信号（Ｘ、Ｙ）を第１のアドレ
ス生成手段（301）で生成し、第１の２次元アドレス信
号（Ｘ、Ｙ）に応じた値のＺ信号をＺメモリ手段（30
3）で出力し、第１の２次元のアドレス信号（Ｘ、Ｙ）
とＺ信号とに基づいて演算式Ｘ′＝Ｘ＋Zsinθ（θは所
望の回転角度）及び、Ｙ′＝Ｙにより第２の２次元アド
レス信号（Ｘ′、Ｙ′）を第２のアドレス生成手段（30
2）で生成し、第１の２次元アドレス信号（Ｘ、Ｙ）及
び第２の２次元アドレス信号（Ｘ′、Ｙ′）が夫々読み
出しアドレス信号及び書き込みアドレス信号として夫々
入力画像メモリ（20A）及び出力画像メモリ（20B）に供
給し、入力ビデオ信号にて示される２次元入力画像が、
３次元空間内で回転角度θだけ回転移動された２次元出
力画像として出力画像メモリ（20B）に記憶する。

Ｇ実施例 G₁画像処理装置の説明第１図はこの発明装置が運用されるビデオ画像処理装置
の全体の概要の一実施例を示すもので、この例はデータ
処理の高速化を実現した例である。

すなわち、この例ではデータ処理部を主として画素値を
計算するプロセッサの系（以下PIPと称す）（30A）とア
ドレスの管理等のデータの流れの管理と処理のタイミン
グ合わせを司るプロセッサの系（以下PVPと称す）（30
B）とに分ける。

従来のデータ処理部ではこの両者の処理時間を合計した
処理時間を必要とするのに対し、このように分ければ両
者のうち、より大きい方の処理時間で済む（前掲特開昭
58−215803号公報参照）。したがって、この例の場合に
はビデオデータ処理をリアルタイムで行うことが可能に
なるほどの高速処理ができる。

また、同図において（10）は入出力部（以下IOCと称
す）、（20）はメモリ部（以下VIMと称す）で、これは
入力画像メモリ（VIMIN）（20A）と出力画像メモリ（VI
MOUT）（20B）とからなる。（40）は処理の実行，停
止、プログラム交換をコントロールする全体のコントロ
ーラとしてのプロセッサ（以下TCと称す）である。

IOC（10）は前述と同様にビデオカメラやVTRからのビデ
オ信号をA/D変換し、入力画像メモリ（20A）に画像イメ
ージで書き込み、また、処理後の画像を出力画像メモリ
（20B）から読み出し、D/A変換し、モニタ等に出力す
る。

この場合、このIOC（10）に入出力可能な信号はNRSC方
式あるいはR,G,B方式のビデオ信号であり、その方式の
指定はTC（40）によりなされる。また、１画素は例えば
８ビットのデータとされる。

VIM（20）は複数枚のフレームメモリ、例えば12枚の765
×512バイトのフレームメモリから構成されている。こ
の例の場合、これら12枚のフレームメモリの使われ方は
固定的ではなく、処理目的に応じ、あるいは処理対象画
像に応じ、入力画像メモリ（20A）と出力画像メモリ（2
0B）とに自由に割り当てることができるようにされてい
る。また、メモリは２枚１組にして使用され、一方が書
き込み状態のとき、他方より読み出しができるようにさ
れて、IOC（10）によるVIM（20）の外部からの処理と、
PIP（30A）及びPVP（30B）によるVIM（20）の内部での
処理が並行して行えるようにされている。

この場合において、このVIM（20）の複数枚のフレーム
メモリが、IOC（10）の支配下におかれるか、PVP（30
B）の支配下におかれるかの支配モード信号はIOC（10）
より発生し、VIM（20）に供給されている。

PIP（30A）とPVP（30B）は基本的には同じアーキテクチ
ャで、制御部、演算部、メモリ部、入出力ポートからな
る独立のプロセッサで、それぞれ複数の単位プロセッサ
からなるマルチプロセッサ構成とされ、主として並列処
理方式により処理の高速化が図られている。

PIP（30A）は例えば60枚のPIPプロセッサと数枚のサブ
のプロセッサを有し、VIM（20）よりの画像データを加
工又はこのPIP内部で画像データを生成する。

PVP（30B）は例えば30枚ほどのプロセッサを有し、VIM
（20）よりの画素データのPIP（30A）への割り当てや回
収などVIM（20）より内側の画像データの流れをコント
ロールする。

すなわち、PVP（30B）ではVIM（20）へのアドレスデー
タ及びコントロール信号を生成し、これらをVIM（20）
に供給するとともに、PIP（30A）の入出力コントロール
信号や他のコントロール信号を生成し、これらをPIP（3
0A）に供給する。

この画像データ処理としては常に入力画像メモリ（20
A）の１枚のフレームよりのデータのみを処理して出力
画像メモリ（20B）にその処理後のデータを書き込む場
合のみではなく、複数枚のフレームメモリよりの複数フ
レームにまたがるデータを用いて処理を行うこともあ
る。

そして、PIP（30A）及びPVP（30B）での演算桁数は16ビ
ットが標準で画像データ処理の演算処理は１フレームの
画像データは１フレーム以内の処理すなわちリアルタイ
ム処理ができるような処理速度が可能とされる。もっと
も、１フレーム以上の処理時間を必要とする処理もあ
る。

この場合、PIP（30A）及びPVP（30B）による画像データ
処理はフレームに同期して行われる。このため、PVP（3
0B）にはIOC（10）よりフレームに同期した処理開始タ
イミング信号PSが供給される。一方、PVP（30B）からは
１つの処理が終了したことを示す信号OKがIOC（10）に
供給される。処理開始タイミング信号PSは各フレームの
１ライン目を示すフレーム開始信号と処理終了信号OKと
からIOC（10）において生成する。

リアルタイムで処理をなす場合には、信号OKは各フレー
ムの終りで必ず得られるため、信号PSはフレーム開始信
号FLと同じ信号になる。

一方、処理時間が１フレームより長い場合には、信号PS
はフレーム周期とはならず、信号OKが出た次のフレーム
の始めで得られる。

そして、IOC（10）からの処理開始タイミング信号PSをP
VP（30B）の中核のプロセッサがプログラム的に検出す
ると、このプロセッサが走り出し、他のプロセッサ（PI
Pも含む）にプログラムによりタイミング信号を出し
て、VIM（20）にアドレスを供給し、VIM（20）よりの画
像データを読み出してPIP（30A）にて加工処理を行う。
そして、処理が終わると信号OKを出力して停止し、次の
処理開始タイミング信号PSを待つ。

この場合、同期信号やバースト信号は除かれた画像信号
部分のみが処理対象とされており、VIM（20）から読み
出されたデータは同期信号やバースト信号は含んでいな
い。このため、このIOC（10）では同期信号、バースト
信号、垂直ブランキング信号を生成するROMを内蔵して
おり、NTSC信号の場合、VIMOUT（20B）からのデータを
（必要なら組みかえて）これら同期信号、バースト信
号、垂直ブランキング信号とともにD/Aコンバータに送
る。

また、３原色信号である場合にも、外部同期信号が必要
であり、これもこのIOC（０）で生成され、モニター等
に供給されるようにされている。

G₂ PVP（30B）のアドレス生成部の説明 PVP（30B）はVIMIN（20A）に対する読み出しアドレス、
VIMOUT（20B）に対する書き込みアドレスを発生するも
のであり、このため第１のアドレス生成部（301）と、
第２のアドレス生成部（302）とがPVP（30B）には設け
られている。

これら第１及び第２のアドレス生成部（301）及び（30
2）は、互いに直交する３つのX,Y,Zの方向のアドレス計
算部を有し、３次元的なアドレス演算ができるような構
造とされている。

すなわち、第２図は第１のアドレス生成部（301）の構
造の一例で、第２のアドレス生成部（302）も全く同様
の構成を有する。

アドレス生成部（301）は、Ｘ方向のアドレス演算生成
部（301X）と、Ｙ方向のアドレス演算生成部（301Y）
と、Ｚ方向のアドレス演算生成部（301Z）とからなる。
これらX,Y,Z方向の各アドレス演算生成部（301X）（301
Y）（301Z）はまったく同じ構造を有するので、各方向
のアドレス演算生成部（301X）（301Y）（301Z）には対
応する部分に同一番号を付与するとともにこの番号にサ
フィックスX,Y,Zを付与して示す。そして、この場合Ｘ
方向のアドレス演算生成部（301X）についてのみ説明す
ることにする。

すなわち、アドレス演算生成部（301X）は乗算器（311
X）と加減算器（312X）と、係数メモリ（313X）と、デ
ータメモリ（314X）と、11個のレジスタ（321X）〜（33
1X）と、トライステートバッファ（341X）〜（343X）と
からなる。

レジスタ（321X）〜（329X）の出力をイネーブルとする
かどうかや、乗算器（311X）を働かせるかどうかや、レ
ジスタ（323X）（324X）（328X）（329X）（330X）（33
1X）にデータを取り込むかどうか等は、マイクロインス
トラクションによる。

また、トライステートバッファ（341X）〜（343X）もマ
イクロインストラクションにより制御される。

そして、入力データはレジスタ（321X）に供給され、レ
ジスタ（331X）より出力データが取り出される。係数メ
モリ（313X）にはcosθ,sinθ等の係数データがストア
され、適宜マイクロインストラクションにより取り出さ
れる。

データメモリ（314X）は必要に応じて生成した出力アド
レスデータをストアしておくものである。

そして、図のように３つの方向の演算生成部（301X）
（301Y）及び（301Z）間は互いに接続され、それぞれの
方向のアドレス演算生成に他方向のアドレス演算生成結
果が適宜用いられるようにされる。

この例の場合には、各加減算器（312X）（312Y）（312
Z）の出力が他の２つの方向のアドレス演算生成部の乗
算器（311X）の入力となるようにレジスタに供給される
とともに、各加減算器（312X）（312Y）（312Z）の出力
が一旦レジスタに取り込まれたものが他の２つの方向の
アドレス演算生成部の加減算器の入力となるようにレジ
スタに供給される。

各演算生成部（301X）（301Y）（301Z）間の接続の仕方
はこれに限られるものでないことは勿論である。

以上のような構成の２つのアドレス生成部（301）（30
2）を用いて、３次元的処理に向いたアドレス生成がで
きる。

なお、この例ではPVP（30B）には、入力される画像がX,
Yの方向のアドレス情報で表されるとき、この画像とし
て表れる元々の物体の３次元的位置情報、すなわち奥行
き情報がメモリ（303）にストアされている。この奥行
き情報はＺ＝Ｚ（X,Y）として演算で求められるもの
で、この値は予め、ホストコンピュータよりTC（40）を
通じてメモリ（303）に書き込まれて貯えられるもので
ある。

G₃ 3次元的処理の一例の説明３次元的処理の一例として３次元空間内で物体を回転さ
せる場合の処理について以下説明する。

例えば第３図に示すように３次元空間内にある直方体を
図のようにＹ軸に平行な直線Ａに関してθだけ回転する
場合を考える。このとき、直方体上のある任意の点
（X₁,Y₁,Z₁）は、（▲Ｘ^′ _１▼，▲Ｙ^′ _１▼，▲Ｚ^′ _１
▼）に移るが、▲Ｘ^′ _１▼，▲Ｙ^′ _１▼，▲Ｚ^′ _１▼は
次のようにして求めることができる。

したがって、第１のアドレス生成部（301）よりX₁,Y₁を
メモリ（303）よりZ₁を第２のアドレス生成部（302）に
与えることによりこの第２のアドレス生成部（302）よ
り▲Ｘ^′ _１▼，▲Ｙ^′ _１▼，▲Ｚ^′ _１▼を得ることがで
き、回転後の図形を出力画像メモリ（20B）に得ること
ができる。

第４図Ａは第１のアドレス生成部（301）で実行される
プログラムのフローチャートを、同図ＢはPIP（30A）で
実行されるプログラムのフローチャートを、同図Ｃは第
２のアドレス生成部（302）で実行されるプログラムの
フローチャートを、それぞれ示している。

すなわち、第１のアドレス生成部（301）よりの３つの
方向のアドレスのうち、X,Y方向のアドレスが「０」か
ら順次VIMIN（20A）に供給されて入力画像データが１画
面分すべて順次読み出され、PIP（30A）に入力される。

PIP（30A）に入力された画像データはそのままVIMOUT
（20）に送出される。

一方、第１のアドレス生成部（301）よりのＸ及びＹ方
向のアドレスは第２のアドレス生成部（302）のＸ及び
Ｙ方向の演算生成部（302X）及び（302Y）の入力として
供給されるとともに、Ｚメモリ（303）に供給されて、
このメモリ（303）よりＺ＝Ｚ（X,Y）によりＺ方向のア
ドレスが得られ、これが第２のアドレス生成部（302）
のＺ方向の演算生成部（302Z）の入力として供給される第２のアドレス生成部（302）ではこれらの３方向のア
ドレス情報を受け取り、前述した計算（ａ）がなされ、
回転移動後の３方向のアドレス情報が得られ、この３方
向のアドレスのうち２方向▲Ｘ^′ _１▼，▲Ｙ^′ _１▼のア
ドレス（▲Ｘ^′ _１▼，▲Ｙ^′ _１▼）によって各（X₁,
Y₁）のデータがVIMOUT（20B）に書き込まれる。よっ
て、このVIMOUT（20B）に書き込まれたデータをＸ＝
０、Ｙ＝０のアドレスから順次読み出せば、第３図にお
いてθだけ３次元空間を回転移動した後の画像がモニタ
ー画面上に得られることになる。

なお、以上の例ではVIMIN（20A）のアドレスとVIMONT
（20B）のアドレスを同じ２方向X,Yのアドレスで読み出
し、書き込みをしたが、メモリ（20A）のアドレスはX,Y
方向、メモリ（20B）のアドレスはX,Z方向というよう
に、２次元アドレスの方向を変えることにより、異なっ
た方向から見た物体の画像を容易に得ることができる。

Ｈ発明の効果この発明においては、第１の２次元のアドレス信号
（Ｘ、Ｙ）を第１のアドレス生成手段で生成し、第１の
２次元アドレス信号に応じた値のＺ信号をＺメモリ手段
で出力し、第１の２次元のアドレス信号とＺ信号とに基
づいて演算式Ｘ′＝Ｘ＋Zsinθ（θは所望の回転角度）
及び、Ｙ′＝Ｙにより第２の２次元アドレス信号を第２
のアドレス生成手段で生成し、第１の２次元アドレス信
号（Ｘ、Ｙ）及び第２の２次元アドレス信号（Ｘ′、
Ｙ′）が夫々読み出しアドレス信号及び書き込みアドレ
ス信号として夫々入力画像メモリ及び出力画像メモリに
供給し、入力ビデオ信号にて示される２次元入力画像
が、３次元空間内で回転角度θだけ回転移動された２次
元出力画像として出力画像メモリに記憶する。即ち、２
次元構造の画像メモリに対する２方向アドレスを生成す
るに、その生成過程においては３次元的なデータを扱い
各方向のデータを互いに密接に関係させながら生成を行
うようにしたので、物体を３次元空間で回転させたよう
な３次元的処理を効果的に行うことができる。

【図面の簡単な説明】

第１図はこの発明による画像処理装置の一例のブロック
図、第２図はその要部の一例の構成のブロック図、第３
図は３次元的処理の一例を説明するための図、第４図は
その３次元的処理のための各部の動作のフーチャート、
第５図は画像処理装置の一例のブロック図である。（20A）は入力画像メモリ、（20B）は出力画像メモリ、
（301）は第１のアドレス生成部、（302）は第２のアド
レス生成部、（301X）（301Y）（301Z）はX,Y,Zの３方
向のアドレス演算生成部である。

Claims

【特許請求の範囲】

【請求項１】入力ビデオ信号を記憶する入力画像メモリ
と、この入力画像メモリから出力されるビデオ信号を記憶す
る出力画像メモリと、上記入力画像メモリの読み出しアドレス信号と上記出力
画像メモリの書き込みアドレス信号を生成するアドレス
生成部とを有し、上記アドレス生成部は、第１の２次元のアドレス信号
（Ｙ、Ｙ）を生成する第１のアドレス生成手段と、上記第１の２次元アドレス信号（Ｘ、Ｙ）に応じた値の
Ｚ信号を出力するＺメモリ手段と、上記第１の２次元のアドレス信号（Ｘ、Ｙ）と上記Ｚ信
号とに基づいて演算式Ｘ′＝Ｘ＋Zsinθ（θは所望の回
転角度）及び、Ｙ′＝Ｙにより第２の２次元アドレス信
号（Ｘ′、Ｙ′）を生成する第２のアドレス生成手段と
を備え、上記第１の２次元アドレス信号（Ｘ、Ｙ）及び上記第２
の２次元アドレス信号（Ｘ′、Ｙ′）が夫々上記読み出
しアドレス信号及び上記書き込みアドレス信号として夫
々上記入力画像メモリ及び出力画像メモリに供給され、
上記入力ビデオ信号にて示される２次元入力画像が、３
次元空間内で上記回転角度θだけ回転移動された２次元
出力画像として上記出力画像メモリに記憶されることを
特徴とする画像処理装置。