JPH063609B2 - 画像処理方式 - Google Patents

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は対象となる画像を画像区域ごとに順次切出しな
がら処理を進める画像処理方式に関するものである。

〔発明の背景〕

撮像された画像の中から目的とする部品を探し出し、そ
の大きさと位置等を計測し、それらのデータをその部品
を扱う工業用ロボット等の制御に役立てることは既知で
ある。その画像には目的とする部品、その他の部品、背
景中の微小な部品が含まれ、またノイズとか傷あるいは
染みなどの要素も含まれる。このため、背景が複雑でノ
イズ等が多い場合は、その分だけ画像中に認識される見
かけ上の部品点数が増大する結果となり、画像処理用記
憶手段の容量を予め大きく設定する必要が生ずる。

またノイズによる見かけ上の部品点数増大により、処理
時間が多くなってくるので、上記目的のために使用され
る図形処理装置においては、処理時間が短いことが重要
となる。

画像処理用記憶手段を使って画像を切出し、ノイズを除
去する従来例として特開昭５８−２０７１８１号、特開
昭４９−１４９６３３号に示されたような方法がある
が、画面処理途上においてメモリ容量が不足してしま
い、次の画像区域の切出し工程を継続することができな
くなってしまうということに対しては、考慮が払われて
いなかった。

〔発明の目的〕

本発明は画像処理の途上で生ずる記憶手段の容量不足を
有効に回避するとともに、処理時間を短縮することにあ
る。

〔発明の概要〕

本発明においては処理対象となる画像区域を順次切出す
手段と切出された画像区域に関するデータ、たとえば分
析データを格納する記憶手段を備える。また、すでに切
出された画像区域の中に含まれる各部品領域の切出し終
了を判定する手段をもつ。部品領域というのは画像中に
あらわれるあるひとつの部品が占める画面上の広がりの
ことである。もしも、その部品領域がその後に切出され
る画像区域にまつたく及んでいないのであれば、かりに
画像区域の切出しが未完であつても、その部品領域に関
する切出しは終了していることとなる。一方、切出しの
終了した部品領域に関するデータの要否を判定する手段
を有する。たとえばその部品領域の面積が予め定めた基
準値を下回わるのであれば、その領域をノイズ等と判断
し、不要なデータと判定する。この不要なデータの中に
はその部品領域の存在を示すデータたとえば部品領域番
号も含まれる。さらに、本発明においては前記手段によ
って判定された不要データを前記記憶手段の中から消去
する手段も備えている。このため、画像区域の切出しが
未完な状況で記憶手段の容量が不足した場合であつて
も、その中から不要のデータを消去することによつて、
次の画像区域の切出し工程を継続することができる。

〔発明の実施例〕

以下、本発明の実施例を図面により説明する。第１図に
画像処理回路を示す。この図は主としてデータの流れを
示したものであつて、処理に必要なＣＰＵないしはその
プログラム記憶手段の図示は省いた。１は撮像装置であ
り、認識対象物の撮像を行なう。２は画像データ入力装
置であり、１の撮像装置が送信するアナログ信号を受信
し、このアナログ信号をデジタルの多値画像データに変
換し、３に示す多値画像メモリ上に格納する。４は多値
画像メモリ３に格納された画像データを２値化する機能
を有するコンパレータを示す。このコンパレータ４によ
り２値化した画像データを５に示す変化点検出装置によ
り変化点データに変換し、６に示す変化点メモリ上に格
納する。第２図は変化点メモリ６上に構成される変化点
テーブルを示す。この変化点テーブルは第３図に示すよ
うに、画像のラスタ上を左から右へ走査したときに画像
区域（この場合は画素）のビツトが「１」から「０」ま
たは「０」から「１」に変化した時の変化値と変化点の
走査方向のアドレスからなる。これも画像区域に関する
一種の分析データである。７はレジスタを示し、変化点
メモリ６上の変化点データを処理する機能を持つ。８は
部品領域データメモリを示す。このメモリは画像中に含
まれる各部品に関する部品領域特徴が格納される。すな
わち、上記変化点データをレジスタ７を介して分析し、
これによって 出された部品領域特徴が格納される。９
は部品領域番号メモリを示す。この部品領域番号メモリ
９は、ラスタ上の変化点がどの部品領域に属するかとい
う情報を持ち、後に説明する部品領域番号付け処理に利
用される。

ここで、本明細書記載上の用語について説明する。画像
中に含まれる部品とはその一画面の中にあらわれるたと
えばＡ部品，Ｂ部品………といつたごく普通の意味で用
いるが、部品の単一性に関する区別は厳格でない。たと
えば単一の実際の部品の一方の端面と他方の端面を示す
それぞれの図形が少なくとも当初は２部品として把握さ
れることもあり得るためである。また、区域，領域，地
域に関しては、画像処理のために、画像の中から画素単
位あるいはラスタ単位で切出されるものが区域であり、
画像中に含まれる部品の画面上の広がりが領域であり、
その領域のある一部分が地域である。

以下、部品領域番号付けアルゴリズムについて説明す
る。第２図の変化点テーブルにおける変化値、アドレス
データの比較を、画像から切出された上下２つのラスタ
（区域）間で行ない、第４図に示す継続，発生，合流の
各パターンに分類する。以下、これらの各パターンにつ
いて説明する。なお、第４図，第８図は上下２つ以上の
ラスタをその順に並べたものであつて、図中の数字は部
品領域番号をあらわしている。

(1) 継続パターン（第５図） 隣接するラスタにおける上ラスタのたとえば部品領域１
０に属する地域と下ラスタの地域ａが連結している場
合、部品領域１０に対して付けてある領域番号すなわち
１０を、部品領域番号メモリ９よりアクセスし、地域ａ
に対応する領域番号メモリ上の番地に格納する。上記の
部品領域１０は「０」ビツトすなわち、背景ないしは抜
けの領域であるが「１」ビツト同志の場合もまつたく同
様である。

(2) 発生パターン（第６図） 上ラスタの部品領域１２に属する地域と連結していない
地域に対して新しいたとえば１３という部品領域番号を
付ける。

(3) 合流パターン（第７図） 上ラスタ左側の部品領域１４に属する地域と上ラスタ右
側の部品領域１５に属する地域とが下ラスタ地域ｂで互
いに合流する場合は上ラスタ左側の方の部品領域番号１
４を下ラスタの地域ｂに対して付け、上ラスタ右側の部
品領域１５に付いている領域番号１５を上ラスタ左側の
方の部品領域番号１４に変更する。

以上のように継続あるいは合流の各パターンでは上のラ
スタに対応する部品領域番号と同じ番号を以下のラスタ
の各地域に対して付ける。このため、たとえば１行目の
ラスタに部品領域番号を付けると、それが以下のラスタ
に次々と伝播性を利用すると、画像区域の切出し処理中
に、ある部品領域に関する切出しがすでに終了している
のかどうかを判定することができる。以下、この点のア
ルゴリズムについて述べる。第８図の部品領域２の切出
し終了部分は同図中の２つの合流パターンｃ，ｄのう
ち、ｄのように同じ番号の部品領域１に属する二つの離
れた地域が最新に切出された画像区域（ラスタＤ）
の中でひとつに合流するところと判定される。この場
合、切出しが終了するのは部品領域１ではなく、前記の
二つの離れた地域によつてはさまれた地域を含む部
品領域２の方である。ラスタＤの切出し以前に生じたも
うひとつの合流パターンＣは部品領域２の切出し終了の
サインとはならない。この合流パターンＣは少なくとも
合流が生ずる以前の段階では互いに異なる部品領域と見
られていた部品領域との合流であつて、同一部品領
域に属する二地域の合流ではない。以上のような部品領
域に関する切出し終了を検出することにより、第９図に
示すように、画像区域の切出し途上（第９図において最
新に切出された画像区域はラスタＥである）においても
切出し終了の部品領域２０〜２８と切出し中の部品領域
３０〜３４を区別することが可能となる。

部品領域の切出し終了が判定し難い特殊な例として、第
１０図に示すように撮像した画面の外枠に接した部品領
域４１，４２，４３，４４がある場合が考えられる。こ
のように画面外枠に接した部品領域４１〜４４に対して
上記切出し終了の判定方式が適用しにくい原因は、画面
外枠で上記の部品領域番号の伝播性が切れてしまう点に
ある。そこで、マスク処理によつて第１０図のように撮
像した画面の変化点データのうち画面外枠１００と点線
２００との間における変化点データ（たとえば４１１）
を、第１１図に示される画面外枠と接触のない画像デー
タ（たとえば４１２）に変換することで、画面外枠付近
における部品領域番号の伝播性を生じさせれば、前記終
了判定の考え方をそのまま適用することができる。

第１２図は第１図８に示す部品領域データメモリ８のメ
モリテーブルをあらわしたものである。各部品領域に関
するデータはその部品領域番号たとえば１〜５の順に格
納されている。この領域データメモリ８は切出された画
像区域に関するデータを格納する一種の記憶手段に該当
する。このため、それら全体のデータ量は画像の切出し
が進むにしたがつて増加する。また、第９図のように切
出された画像区域のその画像（２１〜２８，３０〜３
４）が複雑であれば必然的に増加することとなる。部品
領域データメモリ８として予め用意された容量がかりに
部品３０個分であれば、パターン発生によつて第３１番
目の部品領域が出現したときに容量が不足した状況とな
る。この状況のもとでは第３１番目の部品領域に関する
データが格納できなくなる。話は第１２図のメモリテー
ブルの中身が戻るが、ここでの部品領域に関する面積と
はその領域に属する画素ビツトの数を計数したものであ
つて画素ビツト単位であらわされている。また、上位領
域番号とは当該部品領域を包む他の部品領域の番号を示
すものである。たとえば第９図では部品領域２３の上位
領域番号とは部品領域３０の部品領域番号に該当する。
第１２図の統合先番号とはそこにたとえば零以外の数が
書き込まれているときは、当該部品領域に関するデータ
は不要であつて、必要に応じて統合先番号に相当する部
品領域のデータへ統合してもよいことを示している。こ
の統合先番号は上位領域番号と一致することが多いが、
それと異なる場合もある。たとえば第９図の切出し途上
の部品領域３３についてみると、その上位領域は３０で
あるが、その後の切出しによつて部品領域３３と３２が
合流するのであれば、その合流したときに部品領域３３
の統合先として部品領域３２の番号が書込まれることと
なる。

前記したように、第１２図の部品領域２，３に関するデ
ータは不要であつて、これを消去することが可能である
が、現に消去した場合は第１２図のメモリテーブルが第
１３図のように変更される。第１２図における部品領域
番号２，３のデータはその面積「１０」「１７」をその
統合先番号「１」に相当する部品領域１の面積に加算す
る処理を行つた上で完全に消去される。消去後に部品領
域番号２，３のところが空白となるので、それ以下の部
品領域４，５………のデータを若い番号の方へ詰め、領
域データテーブルを第１３図のように再配置する。この
結果、部品領域データメモリ８に部品領域２個分のゆと
りが生ずる。部品領域データメモリ８の容量不足は、予
めそのサイズに応じたたとえば３０という数を基準値と
して記憶しておき、その数を越えた第３１番目の部品領
域の発生によつて判断されることになるが、その不足の
状況のもとで、以上のような消去によつて部品領域２個
分のゆとりをつくれば、その第３１番目のデータを部品
領域番号２９のところへ格納することが可能となる。も
つとも、領域データテーブルを第１３図のように再配置
する工程を省略し、第３１番目のデータを第１３図の部
品領域番号２の列に書込み、もつてそれ以前のデータを
消去するようにしてもかまわない。

第１４図は第１図９の部品領域番号メモリに関するデー
タテーブルを示したものである。ここにはラスタの上位
から下位の順番ごとに、かつ同一ラスタ内にあらわれる
変化点の順位ごとに、その地域の属する部品領域の番号
が格納されている。第１４図の左上のものほど前記順番
ないしは順位が若い。この部品領域番号メモリ９も切出
された画像区域に関するデータを格納する一種の記憶手
段である。第１２図，第１３図のところで指適した不要
データの消去がなされるのであれば、それにともなつ
て、たとえば第１４図の部品番号２のところがすべて空
白となり、その分だけメモリ容量上のゆとりが生ずるこ
ととなる。前記したように、部品領域の面積は画素ビツ
トの単位で測られるが、これはたとえば第１４図のメモ
リテーブル中の部品領域番号４を書込むときに、そのラ
スタにおけるその地域の属する画素ビツトの数を第３図
のアドレス差から求め、その数をたとえば第３図中の部
品領域４の面積「４３６」に足し込めばよい。

次に、すでに切出しの終了した部品領域に関するデータ
が必要なものかあるいは不要なものかを判定するアルゴ
リズムについて説明する。ひとつの有効な手段はその切
出しの終了した部品領域の面積が予め設定した基準面積
に満たないときに不要と判定するものである。かりに、
この基準面積を２０画素ビツトと定めておけば、たとえ
ば第１２図の部品領域２，３に関するデータは不要と判
定され、その統合先番号１，１が記録される。別の手段
は切出しの終了した各部品領域のうち面積が最小のもの
を不要と判定する方式である。以上の二つの手段は微小
面積の部品領域は画面背景の遠くに位置する目的外の部
品であつたり、あるいはノイズとか傷、染みである公算
が高いという経験則を基礎としたものである。以上の二
つの手段を併用することも可能である。たとえば、はじ
めは前者の手段を採用し、基準面積以下に該当する部品
領域がまつたく見当らない状況（該当部品領域のデータ
をすでに消去した場合を含む）のもとで記憶手段の容量
が不足した場合に、後者の手段に切換える方式とする。

部品領域に関するデータの消去についてはすでに説明し
た。その面積に関するデータを統合先のそれに加算した
後で消去することについてもすでに指摘したが、その消
去のタイミングは記憶手段の容量に不足が生じたときと
することが得策である。それは消去処理ないしはその後
のメモリテーブル再配置処理に要する時間を節約するた
めである。また、かりに容量不足が生せず、そのために
不要データが残つたとしても、より画像処理の進んだ後
の段階でデータの要否を判定した方が、その要否判定の
確度が高くなるためである。

第１図の変化点メモリ６も切出された画像区域に関する
データを格納する一種の記憶手段である。その切出しの
対象となる画像は多値画像メモリ３のそれであつて、こ
の場合は切出された画像ビツトごとのデータが２値化さ
れ、変化点が検出され、変化点メモリ６に記憶される。
この変化点メモリ６に容量不足が生じた場合にも、その
後の画像区域の切出しができなくなる。この場合は、以
上の画像区域の切出し処理と並行して、あるいは変化点
メモリ６が容量不足となつたときに、すでに切出された
変化点メモリ６に格納されたデータを分析して部品領域
データメモリ８あるいは部品領域番号メモリ９にデータ
を生成し、不要データを判定すれば、容量不足の生じた
変化点メモリ６の中からも不要データを消去することが
可能となる。たとえば第２図のアドレス７の地域が不要
と判定された部品領域に属するのであれば、アドレス７
とその次の８に対する変化値１と０を消去することが可
能となり、それを消去して容量不足を解消すれば、その
後の切出しを再開することができる。

第１５図は第１図のレジスタ７等のデータを扱うＣＰＵ
のプログラム概要をあらわしたフローチャートである。
以下、これについて説明するが、図中のブロツク番号を
〔 〕でくくつてその該当ブロツクを示すこととし、そ
れに引続いてそのブロツクに関する説明を加えるきまり
とする。

〔501〕＝変化点メモリ６の中から第１行目のラスタに
関するデータをレジスタ７に呼び出す 〔502〕＝第１行目のラスタにおける各地域（部品領域
の一部）に割り振られる部品領域番号を部品領域番号メ
モリ９に登録する。またその面積、上位領域番号、統合
先番号を部品領域データメモリ８に格納する。上位領域
番号は最先の地域のそれを０とし、それ以外の地域のそ
れはその左側の地域の部品領域番号とする。統合先番号
はすべて０である。

〔503〕＝第２行目相当の切出し対象となつたラスタに
関する変化点メモリ６のデータをレジスタ７に呼び出
す。

〔504〕＝レジスタ７の２行相当分の変化点テーブルを
参照し、パターン分類の処理を行う。

〔505〕＝パターンの形態に応じてプログラムの飛び先
を変更する、 〔506〕＝部品領域データメモリ８ないしは部品領域番
号メモリ９が不足していないかどうかを判断する。もし
も不足しているのであれば新たに発生した部品領域に関
するデータが格納できない状況となる。

〔507〕＝部品領域データメモリ８における統合先番号
（ただし０以外）の付与された部品領域に関するデータ
を消去する。それに先立ち、その面積に関するデータに
ついては統合先の部品領域データに加算する。最後に部
品領域データメモリ８のメモリテーブルを再配置する。

〔508〕＝新たに発生した部品領域番号を部品領域番号
メモリ９に登録する。

〔509〕＝新たに発生した部品領域に関するデータを部
品領域データメモリ８に登録する。この場合の統合先番
号は０であり、また上位領域番号はその地域の左側の地
域の属する部品領域の番号である。

〔511〕＝レジスタ７における上下２ラスタ相当分の変
化テーブル上の参照位置右側方向へ移動させる。

〔512〕＝上下一対のラスタの最終画素ビツトのアドレ
スのところまですでに参照位置が進んでおればその上下
ラスタに関する比較は終了である。

〔513〕＝一対のラスタのうちの下位のものが最終行目
に当るときは終了となる。

〔515〕＝まだ切出されていない最も上位のラスタに関
するデータを切出す。

〔521〕＝部品領域番号メモリ９の該当番地に所要の部
品領域番号を書込む。また、その該当地域の面積を部品
領域データメモリ８中の所要の面積に足し込む。

〔531〕＝同一部品領域の合流かどうかを判定する。こ
れは合流される２地域の部品領域番号を比較することに
よつてなされる。

〔532〕＝同番号部品領域（地域）の合流によつて確認
された切出し終了ずみの部品領域の面積が微小なものか
どうかを調べるために、予め設定した基準面積と比較す
る。

〔533〕＝切出し終了ずみ部品領域に関し、それを包む
上位部品領域の番号を統合先番号のところに書込む。ま
た、合流した地域に関し、部品領域データメモリ８内の
面積加算処理および部品領域番号メモリ９への書込み処
理も行われる。

〔541〕＝異なる番号の合流の場合は、合流する二つの
地域のうち右側のものが属する部品領域すなわち統合の
対象となる部品領域に関し、その統合先番号のところに
残りの左側の地域が属する部品領域の番号を書込む。こ
の場合の統合先番号と上位領域番号は互いに異なつたも
のとなる。〔507〕のところでは触れなかつたが、統合
先と上位領域の各番号が相違する部品領域の統合消去は
同番号のそれに優先して行うのがよい。その消去が形式
的なものであつて部品領域の実際の消去には該当しない
ためである。

〔542〕＝これも異なる番号の合流に特有な処理であ
る。合流する二つの地域のうちの右側のものが属する部
品領域の番号の書換え処理がこれに該当する。前記番号
のひとつあるいは二つ以上が部品領域番号メモリ９にす
でに記入されているので、そのすべてをその統合先番号
に書換えるのである。

以上で第１５図のフローチヤートの説明を終えるが、な
お補足すると、〔501〕〔503〕〔515〕は処理対象とな
る画像区域を順々に切出すためのものであり、〔505〕
〔531〕はすでに切出された画像区域の中に含まれる各
部品領域の切出し終了を判定する手段に該当し、〔53
2〕は切出しの終了した部品領域に関するデータの要否
を判定する手段であり、〔507〕は不要データを記憶手
段の中から消去する手段に該当する。

〔発明の効果〕

発明は画像区域の切出し途上において、切出された画像
区域に関するデータを格納する記憶手段の中から、所要
の不要データを消去し、もつて前記記憶手段の容量不足
を解消するものであり、しかも画面のラスタ走査を最終
行まで処理した時点で全処理が終了するものである。こ
れによれば予め用意する記憶手段の容量が小さなもので
よいため、処理コストの低減に役立つ。とともに、さら
に画像切出し処理時間が大幅に短縮できる効果がある

【図面の簡単な説明】

図はいずれも本発明に関するものである。第１図は画像
処理の回路、第２図は変化点メモリのメモリテーブル、
第３図は変化点データに関する説明図、第４図は部品領
域に関するパターンの説明図、第５図は継続パターンの
説明図、第６図は発生パターンの説明図、第７図は合流
パターンの説明図、第８図は合流パターンのさらに詳し
い説明図、第９図は切出し途上の画像を示す平面図、第
１０図はマスク処理前の画像を示す平面図、第１１図は
マスク処理後の画像を示す平面図、第１２図は不要デー
タ消去前における部品領域データメモリのメモリテーブ
ル、第１３図はその不要データ消去後のメモリテーブ
ル、第１４図は部品領域番号メモリのメモリテーブル、
第１５図は処理方式の要部を示すフローチヤートであ
る。 ５０１，５０３，５１５…切出し手段、６，８，９…記
憶手段、５０５，５３１…部品領域の切出し終了を判定
する手段、５３２…データの要否を判定する手段、５０
７…消去手段

フロントページの続き (72)発明者 志村 安規 千葉県習志野市東習志野７丁目１番１号 日立京葉エンジニアリング株式会社内 (72)発明者 辻 征郎 千葉県習志野市東習志野７丁目１番１号 株式会社日立製作所習志野工場内 (56)参考文献 特開 昭58−207181（ＪＰ，Ａ) 特開 昭57−13581（ＪＰ，Ａ) 特開 昭53−118945（ＪＰ，Ａ) 実開 昭49−149633（ＪＰ，Ｕ)

Claims (5)

【特許請求の範囲】
1. 【請求項１】処理対象となる画像区域を順次切出す手段
   と、 切出された前記画像区域に関するデータを格納する記憶
   手段と、 前記記憶手段に基づいて、上下２つの隣接する前記画像
   区域間で、画像地域の相互関連付けを行い、継続パター
   ン、発生パターン、合流パターンに分類するパターン分
   類手段と、 前記パターン分類にしたがって、前記画像地域に部品領
   域番号を付けて前記記憶手段に記憶する手段と、 最新に切り出された画像区域に含まれる画像地域に同番
   号の画像地域の合流パターンがあるとき、前記同番号画
   像地域によって挟まれた部品領域の切出しが終了したと
   判定する部品領域終了判定手段と、 前記記憶手段の容量不足が生じる以前の所定のタイミン
   グで、切出しの終了した部品領域に関するデータの要否
   を判定する部品領域要否判定手段と、前記部品領域要否
   判定手段によって不要と判定されたデータを、前記記憶
   手段の容量不足が生じる以前の所定のタイミングで、前
   記記憶手段の中から消去するデータ消去手段 を備えたことを特徴とする画像処理方式。
2. 【請求項２】切出し終了した部品領域の面積が予め設定
   した基準面積に満たないときにその部品領域に関するデ
   ータを不要と判定する部品領域要否判定手段をもった特
   許請求の範囲第１項記載の画像処理方式。
3. 【請求項３】記憶手段の容量が不足したときに、すでに
   切出しの終了した各部品領域のうち最小面積の部品領域
   に関するデータを不要と判定する部品領域要否判定手段
   をもった特許請求の範囲第１項記載の画像処理方式。
4. 【請求項４】記憶手段の容量が不足したときに、切出し
   の終了した部品領域に関するデータの要否を判定し、不
   要と判定されたデータを前記記憶手段の中から消去する
   ことを特徴とする特許請求の範囲第１項記載の画像処理
   方式。
5. 【請求項５】不要な部品領域の面積に関するデータがこ
   の部品領域を包む上位の部品領域面積に加算されるのを
   待って、前記の不要な部品領域に関するデータを記憶手
   段の中から消去するデータ消去手段をもった特許請求の
   範囲第１項記載の画像処理方式。