JPH0241789B2 - - Google Patents

Description

【発明の詳細な説明】 (a) 発明の技術分野 本発明は、物体を構成する面上にスリツト光を
照射して得られたスリツト光像情報に基づいて、
前記面の３次元空間上における傾きと座標を算出
する画像処理装置に関するものである。

(b) 技術の背景 例えば、ロボツトの移動、あるいはロボツトに
作業を行なわせようとする場合、ロボツトの作業
領域内の物体の３次元的な位置・姿勢・形状を知
ることが必要となる。すなわち３次元物体認識が
必要で、特にロボツトから対象物までの距離と対
象物の面の傾き情報を得ることが重要な課題とな
つている。

(c) 従来技術と問題点 従来、３次元空間内の物体を撮影して得られた
画像情報から前記物体の面情報を抽出するセグメ
ンテーシヨンの方法として距離情報を利用したも
のがある。

例えば、スリツト光を３次元空間上に照射する
と共に、走査させ、このスリツト光像をTVカメ
ラ等により受光し、その位置情報から距離情報を
求めることが行なわれている。

しかしながら、この方法は、TVカメラの撮影
画面内の全ての点の距離を計測する必要があり、
物体までの距離を求めるのに非常に長い時間を必
要とするという欠点を有する。

すなわち、距離情報を得てから平面領域の抽
出、面の傾き、さらに領域の統合といつたセグメ
ンテーシヨンまでの処理を実行するには、より一
層多くの計算時間が必要となり、ロボツトを実時
間制御することができないという欠点があつた。

(d) 発明の目的 本発明の目的は、前述した従来の欠点に鑑み、
３次元空間内の物体の面の傾きと座標情報を短時
間に算出することのできる画像処理装置を提供す
ることにある。

(e) 発明の構成 そして、この目的は、３次元空間上の物体を撮
影する撮影手段と、前記撮影手段により得られた
画像情報に基づいて前記物体を構成する面を抽出
する面抽出部と、前記面抽出部により得られた面
情報に基づいて所望の面上のみにスリツト光を照
射する照射部と、前記所望の面上のみに照射され
るスリツト光像を撮影して得られたスリツト光像
情報に基づいて前記面の傾きと３次元空間座標を
算出する面情報算出部と含んで成る画像処理装置
を提供すること により達成される。

(f) 発明の実施例 以下、本発明に係かる画像処理装置の実施例を
図面を用いて詳細に説明する。

第１図は、本発明に係かる画像処理装置の実施
例を説明するための図である。

図において、１はTVカメラ、２はＡ／Ｄ変換
器、３は濃淡画像処理部、４は直線抽出部、５は
領域抽出部、６は面傾度・距離計測部、８はスキ
ヤニング機構制御部である。

また、SW，SW，SWはそれぞれ切換ス
イツチであつて、例えば中央処理装置CPU２１
からの制御信号により切換えられる。

第１図に示される画像処理装置の動作について
説明する。

その動作は、次の３つの処理に分れる。

(1) TVカメラ１により３次元空間を撮影して得
られた画像情報中から計測すべき物体を構成す
る面を抽出する (2) 得られた面内に十字スリツト光を照射する (3) 面の傾き及び座標を算出するために、面上に
照射されたスリツト光の傾き、十字スリツト光
のクロス点を検出する である。

まず、(1)のTVカメラ１により３次元空間を撮
影して得られた画像情報中から計測すべき物体を
構成する面を抽出する処理について説明する。

まず、切換スイツチSWを“１”側とした状
態で、TVカメラ１により３次元空間を撮影し、
得られたアナログ画像信号をＡ／Ｄ変換器２によ
りデイジタル画像信号に変換した後に、濃淡画像
処理部３に入力する。

濃淡画像処理部３の動作について以下に説明す
る。

第２図は、濃淡画像処理部３を説明するための
図である。

その基本構成は、第１空間フイルタ演算部１
２、第２空間フイルタ演算部１３、極点抽出部１
４、閾値処理部１５、雑音除去部１６であり、第
１空間フイルタ演算部１２と第２空間フイルタ演
算部１３は切換スイツチ部１７により直列または
並列に接続され、並列接続状態の場合には絶対値
演算部１８が挿入される。

第１空間フイルタ演算部１２及び第２空間フイ
ルタ演算部１３は同一構成であり、その詳細は第
１空間フイルタ演算部１２により、フイルタサイ
ズが３×３の場合について代表的に説明する。

空間フイルタ演算部では、次式(1)で与えられる
演算を行なうものである。

Ym、ｎ＝₁ 〓^i=-1 ₁ 〓^j=-1 Xm＋１、ｎ＋１ ・fi、ｊ／Ｈ …(1) ここで、Xm、ｎ、Ym、ｎは、第３図に示す
如く、各々画面上ｍ行ｎ列の画素の濃淡レベル値
のフイルタリング前後の値を示し、fi、ｊは荷重
係数、Ｈは正規化係数である。このフイルタは
Ym、ｎの値を注目画素Xm、ｎとその周囲８画
素Xm＋１、ｎ＋１（ｉ＝１、０、−１、ｊ＝１、
０、−１ただしｉ＝ｊ＝０を除く）との重み（fi、
ｊ）付け演算によつて決定するものであり、第４
図に示す如く、fi、ｊの値の選び方によつてフイ
ルタの特性を様々に変えることができる。

したがつて、荷重係数fi、ｊを第３図ロの如く
定め、正規化係数ＨをＨ＝16と定めるとき、
Ym、ｎは次式(2)により求められる。

Ym、ｎ＝１／16（X_n-1,o-1×１＋X_n,n-1×２＋X_n+1,o
-1×１ ＋X_n-1,o×２＋X_n,o×４＋X_n+1,o×２＋X_n-1,o+1×１
＋X_n,o+1×２＋X_n+1,o+1×１）…(2) 第２図において、第１空間フイルタ演算部１２
と第２空間フイルタ演算部１３が切換スイツチ部
１７により直列接続されている場合について説明
する。このとき、１段目の第１空間フイルタ演算
部１２を平滑化フイルタ用に、２段目の第２空間
フイルタ演算部１３を画像強調フイルタ（ハイパ
ス、ラプラシアン）用に用い、TVカメラの走査
信号と同期させることによつて、リアルタイムで
画像雑音の低減と対象の輪郭線抽出を行なうこと
ができる。

さて、前記(1)式の演算を実現するためのハード
構成について説明する。この空間フイルタ演算部
は第５図に示す如く、データシフト回路３０、乗
算回路３１、加算回路３２、割算回路３３の４つ
の部分から構成される。

データシフト回路３０は１画面分の画像データ
に対して３×３の空間フイルタリング処理を実行
するために、第６図に示す如く、２行＋３画素の
データをシフトレジスタを用いて記憶格納し、次
段の乗算回路３１にXm＋１、ｎ＋ｊ（ｉ＝１、
０、−１、ｊ＝１、０、−１）の９画素を送出する
機能を持つている。

第６図において、１行ｐ画素、2^q濃淡レベルの
画面データの場合について説明する。第１図の
Ａ／Ｄ変換器２により１画素ｑビツトで表示され
たデータを、１段目は３画素分、２段目及び３段
目はｐ画素分のシフトレジスタを用いて保持す
る。

そして各段の最後の３画素については、次段の
乗算回路３１へ同時に各画素のデータを送出でき
るようにラツチまたはフリツプフロツプＲ１〜Ｒ
９を縦続接続するかシリアル・イン−パラレル・
アウトのシフトレジスタを使用することにより９
画素の送出が実現できる。そして２段目及び３段
目は（ｐ−３）画素分のシフトレジスタ３４，３
５を使用して送出分以外の画素のデータを保持す
る。そしてこのデータシフト回路３０は、TVカ
メラ１の走査信号により１画素ずつシフトする。

乗算回路３１は、第７図に示す如く、データシ
フト回路３０から送出された９画素の各々に対し
てあらかじめ設定した荷重係数f_i,j（ｉ＝−１、０、
１、ｊ＝−１、０、１）を乗じて次式(3)を求める
機能を有する。

W_n+i,o+j＝X_n+i,o+j×f_i,j …(3) （ｉ＝−１、０、１、ｊ＝−１、０、１） そのために、第７図に示す如く、第１乗算器３
６〜第９乗算器４４の９個の乗算器を用い、第１
乗算器３６には荷重係数f_-1,1が設定されておりデ
ータシフト回路３０より送出された画素X_n-1,o-1
との乗算が行なわれる。そして第２乗算器３７に
は荷重係数f_-1,0が設定されておりデータシフト回
路３０より送出された画素X_n-1,oとの乗算が行な
われる。このようにして第７図に示す乗算回路３
６〜４４により前記(3)式における乗算を行なうこ
とができる。

加算回路３２は、前記乗算回路３１で演算され
た９個の値W_n+i,o+j（ｉ＝−１、０、１、ｊ＝−
１、０、１）から、これらの和である次式(4)を求
める加算機能を有する。

Z_n,o＝₁ 〓^i=-1 ₁ 〓^i=-1 W_n+i,o+j …(4) （ｉ＝−１、０、１、ｊ＝−１、０、１） そのために第８図に示す如く、第１加算器４５
〜第８加算器５２を使用している。

さらに割算回路３３は、前記乗算回路３１及び
加算回路３２における乗算演算、加算演算により
増加した濃淡レベルZ_n,oを、第２図の画像メモリ
１９及びモニタ用TV（図示しない）の濃淡レベ
ルの範囲に収まるように、正規化係数Ｈで割り、 Ｙ＝Z_n,o／Ｈ（＝(1)式） …(5) を求めるものである。ここで正規化係数Ｈは、実
現し易さから₁ 〓^i=-1 ₁ 〓^j=-1 f_i,jに近くそれより大きな
２（ｋ＝０、１、２…）の値に選ぶ。この割算回
路３３は第９図に示す如く、第１データセレクタ
５３〜第８データセレクタ６０により構成されて
おり、前記(5)式の演算を行なうことにより前記(1)
式の最終演算結果のY_n,oが得られるものである。
この第９図は、８ビツトの濃淡画素を前記の如く
乗算演算及び加算演算により16ビツトの濃淡レベ
ルのデータZ_n,oになつたものを８ビツトデータ
Y_n,oに減らすときの例であつて、第１データセレ
クタ５３には16ビツトデータZ_n,oのうち２〜９ビ
ツトを入力し、第２データセレクタ５４には16ビ
ツトデータZ_n,oのうち３〜10ビツトを入力し、以
下同様にして第３データセレクタ５５には４〜11
ビツトを入力し、第４データセレクタ５６には５
〜12ビツトを、第５データセレクタ５７には６〜
13ビツトを、第６データセレクタ５８には７〜14
ビツトを、第７データセレクタ５９には８〜15ビ
ツトを、第８データセレクタ６０には９〜16ビツ
トをそれぞれ入力する。そしてセレクタライン
SLより伝達された３ビツトの選択信号に応じて
各データセレクタ５３〜６０は、前記８ビツト入
力のうち第１番目〜第８番目のいずれか１つのビ
ツトを選択出力する。例えば2⁷でZ_n,oを商する場
合にはそれぞれのデータセレクタ５３〜６０より
第１番目のビツトを出力するように各データセレ
クタ５３〜６０が制御されるので、第１データセ
レクタ５３からは２〜９ビツトのうちの第１番目
のビツトすなわち16ビツトのうちの２ビツト目が
出力され、第２データセレクタ５４からは３〜10
ビツトのうちの３ビツト目が出力され、第３デー
タセレクタ５５からは４〜11ビツトのうちの第１
番目のビツトすなわち16ビツトのうちの４ビツト
目が出力され、以下同様にして第８データセレク
タ６０からは９〜16ビツトのうちの９ビツト目が
出力されることになり、この結果各データセレク
タ５３〜６０より16ビツトのZ_n,oを2⁷で商した値
である２〜９ビツトを出力することになる。

同様にしてZ_n,oを2⁷で商する場合には各データ
セレクタ５３〜６０から第２番目のビツト、すな
わち16ビツトのデータよりその３〜10ビツトを出
力すればよく、2⁵で商する場合には各データセレ
クタ５３〜６０より第３番目のビツトを出力させ
て16ビツトのデータよりその４〜11ビツトを出力
させればよい。このようにしてＮ番目のデータセ
レクタには16ビツトデータのうち2^15-N〜2^8-Nビ
ツト目を入力し、割る数2^Kに対応してセレクタラ
インにｋの値をセツトすることにより割算を高速
に実現することができる。

このように、データセレクタを用いることによ
り割算の高速化をはかることができる。

第２図における第１空間フイルタ演算部１２と
第２空間フイルタ演算部１３の荷重係数を適当に
選ぶことにより画像上のランダムな雑音の低減の
明るさの急変部の強調を行なうことができる。

この荷重係数は、例えば荷重係数保持部２２の
荷重係数テーブルによりCPU２１によつて取り
出すことができる。

例えば第１０図ａの原画に対して平滑化＋ラプ
ラシアン処理を施した後の様子を同図ｂに示す。

第１０図ａ−１は光が右斜め上方から円柱の物
体７４に当ている場合であり、同図ａ−２はそれ
を真上から見たときの図、同図ａ−３は、同図ａ
−２中の。Ｘ−Ｙで示す１次元方向の明るさの変
化を示したものである。

また第１０図ｂ−１は平滑化＋ラプラシアン演
算後の濃淡レベルの３次元表示であり、同図ｂ−
２はそれを真上から眺めたときの等明線を示して
いる。さらに同図ｂ−３は、同図ｂ−２のＸ−Ｙ
で示す１次元方向の断面を示している。

ここで閾値処理によつて第５図ｂ−１から対象
の輪郭線を抽出することについて説明する。

スライスレベルとして、Ａ、Ｂ、Ｃの３レベル
を選び、２値化すると、第１１図ａ〜ｃに示すよ
うに各々異なつた輪郭線が得られる。第１１図ａ
ではレベルが高過ぎて輪郭に途切れが生じるし、
同図ｃではレベルが低過ぎて太くなつてしまう。

そのため得られた輪郭線に対して改めて途切れ
の修復あるいは細線化処理が必要になる。これら
の処理はアルゴリズムが複雑で時間のかかるもの
であるため、リアルタイム処理には適さない。

また、丁度よいスライスレベルが設定できれば
第１１図ｂに示すようにきれいに２値化すること
ができるが、原画の濃淡レベルは対象物体の表面
状態・色・形、照明条件、レンズの明るさ、絞り
等で毎回異なるため、適当なスライスレベルを見
つけることは困難である。結局閾値処理だけで対
象を一連の線画として抽出し、Ｓ／Ｎ比のよい画
像を得ることは困難である。

そこで、まず極点抽出処理により輪郭候補点の
抽出を行なう。

この極点抽出動作原理を第１２図を用いて説明
する。尚、説明の簡略化のため、第１２図ａの原
画像Ｐが図示状態の１次元方向の濃度分布を有す
る場合について、その極点Ｒを求める例について
説明する。

原画像Ｐを左に一画素Δだけシフトし左シフト
画像をP_L（同図ｃ）とし、右に一画素Δだけシフ
トした右シフト画像をP_R（同図ｅ）とする。そし
て原画像Ｐと左シフト画像P_Lを比較して原画像
の方が濃度が大きいか等しい（以下これをＰ≧
P_Lとする）部分Q_L（同図ｄ）を抽出し、また原画
像Ｐと右シフト画像P_Rを比較して原画像の方が
濃度が大きいか等しい（以下これをＰ≧P_Rとす
る）部分Q_R（同図ｆ）を抽出する。

このとき求める極点（極大点）Ｒは少なくとも
両隣りの画素より大きいか等しいレベルであると
考えられるので、第１２図ｈのように部分Q_Lで
かつQ_Rのところを抽出することにより極点Ｒを
求めることができる。ただし、Ｐ＝P_L＝P_Rのと
きは除外する。

ところで、第１２図ｇのＬに示す如きパターン
で極点が存在するとき、Ｘ方向の走査のみではパ
ターンＬの極点辺１₁，１₃は抽出できるものの、
極点辺１₂，１₄は抽出することができないので、
これをＹ方向にも走査することにより極点辺１₂，
１₄を抽出することができる。

したがつて、例えば第１２図ｉに示す如き画素
Ａ〜Ｉを有する抽出ウインドウW′を使用すれば
Ｄ、Ｅ、Ｆにより２次元の濃淡画像のＸ方向の極
点を、Ｃ、Ｅ、Ｇにより45゜の斜方向の極点を、
Ａ、Ｅ、Ｉにより135゜の斜方向の極点をそれぞれ
抽出できる。

いま、第１２図ｊに示す１フレームを第２図の
走査信号発生部２０により出力された同期信号に
応じて走査線h₀，h₁，h₂…により順次走査し、各
画素を前記の如く比較処理することにより水平、
垂直、45゜、135゜方向の極点を順次抽出すること
ができる。

以上説明した処理を行なう第２図に示される極
点抽出部１４は、第１３図に示す如く、データシ
フト回路６２とデータ比較回路６３から構成され
ている。

データシフト回路６２は、第１４図に詳記する
ように、２行＋３画素のデータをシフトレジスタ
を用いて順次保持し、次段のデータ比較回路６３
に対して画素Ａ〜Ｉの９画素を送出する機能を有
し、第６図に示すデータシフト回路と同様に構成
されている。第１空間フイルタ演算部１２及び第
２空間フイルタ演算部１３よりなる空間フイルタ
６１の出力は、レジスタｒ１〜ｒ９、Ｐ−３ビツ
ト長のシフトレジスタ回路６２に入力され、これ
により各レジスタｒ１〜ｒ９より画素Ａ〜Ｉが出
力され、データ比較回路６３に入力されることに
なる。

このデータ比較回路６３は、第１５図に示す如
く、比較Ｃ−１〜Ｃ−８、オア回路OR−１〜
OR−９、アンド回路AN−１〜AN−４、ナンド
回路NAN−１〜NAN−４、ピーク・レジスタ
PR等により構成されている。そして比較器Ｃ−
１により空間フイルタ処理データであるレジスタ
ｒ４，ｒ５の画素ＤとＥが比較され、比較器Ｃ−
２により同じく画素ＦとＥが比較される。

したがつて画素Ｅが水平方向（Ｘ方向）の極点
の場合にはＥ＞Ｄ、Ｅ＞Ｆ、Ｄ≠Ｅ≠Ｆであるの
でOR−２，OR−３及びNAN−１よりいずれも
「１」が出力され、OR−１より「１」が出力さ
れるので、ピークレジスタPRに水平方向のピー
ク値としての画素Ｅが保持され、これが極点とし
て出力されることになる。

また比較器Ｃ−３では画素ＢとＥが比較され、
比較器Ｃ−４では画素ＥとＨが比較されるので、
画素Ｅが垂直方向の極点の場合には、AN−２よ
り「１」が出力され、OR−１より「１」が出力
されるのでピークレジスタPRに画素Ｅが保持さ
れることになる。同様に比較Ｃ−５，Ｃ−６によ
り45゜対角方向の画素Ｃ、Ｅ、Ｇが比較され画素
Ｅが極点の場合にはAN−３から「１」が出力さ
れ、比較器Ｃ−７，Ｃ−８により135゜対角方向の
画素Ａ、Ｅ、Ｉが比較され、画素Ｅがこの135゜対
角方向での極点の場合にはAN−４から「１」が
出力されることになる。

したがつて、画素Ｅが水平、垂直、45゜、135゜
対角方向のいずれか１つの方向での極点の場合に
はOR−１は「１」を出力する。このとき切替回
路２００が上位装置からの切替信号によりOR−
１からの信号を出力するように切替られているの
で、ピークレジスタPRに画素Ｅが保持され、極
点として出力されることになる。このようにして
注目画素Ｅが極点の場合、これを抽出することが
できる。

閾値処理部１５は、第１６図に示す如く、デー
タシフト回路と閾値回路からなり、データシフト
回路６２は極点抽出処理部のそれと同じ回路を用
いる。後者は比較器６６、アンド回路６７、レジ
スタ６８を有し、比較器６６にてあらかじめ設定
したスライスレベルと注目画素（例えばＥ）との
比較を行ない、注目画素がスライスレベルより大
きな濃度のときに比較器６６は「１」を出力し、
アンド回路６７をオン状態にする。この信号によ
り注目画素Ｅのレベルを制御することによつてあ
るレベル以上で水平、垂直、45゜，135゜の各方向
に極点になつている画素だけを抽出することがで
きる。従つて、第１７図に示すような円形の物体
と三角形の物体が重なつている場合を撮影して得
られた画像に対して、輪郭抽出処理を施した場合
に生じる途切れN0がなくなる。

このようにして、極点抽出部１４により輪郭候
補点の抽出を行ない、閾値処理部１５により閾値
処理を行なう。

すなわち、輪郭抽出対象物体の輪郭は、原画上
で明るさの急変している部分に対応していると考
えられる。したがつて、ラプラシアン・フイルタ
（２次微分）またはグラジエント・フイルタ（１
次微分、境界線抽出）適用後のデータでは、対象
の輪郭に対応している部分は、他の部分よりもレ
ベルが高い。

そこで、フイルタリング後のデータに対して、
水平、垂直、45゜対角及び135゜対角方向の極点処
理を行ない、原画上で明るさの急変している輪郭
候補点の抽出をする。尚、前記４方向でなく、２
方向でもよい。

これだけであると、外的要因による背景ノイズ
が沢山抽出されてしまう。

しかし背景ノイズのレベルは、通常、対象の輪
郭点より低いレベルであるので、閾値処理によつ
て除去することができる。

すなわち、そのスライスレベルは、極点抽出処
理によつて抽出された輪郭候補点列が途切れない
程度で、背景ノイズが除去できる位でよい。

また、この閾値処理は極点抽出処理と並行して
行なえるため、極点抽出部１４と閾値処理部１５
を並列配置することによつて高速化できる。

この結果、水平、垂直、45゜対角及び135゜対角
方向の極点で、かつ一定のスライスレベル以上の
点が２値画像として輪郭候補点として抽出でき
る。

ところで、閾値処理部１５における閾値処理に
おいてスライスレベルを輪郭候補点列が途切れな
いように設定したので、第１８図に示す如く、多
少のひげ状のノイズＮ１や数画素以下の孤立ノイ
ズＮ２が残つてしまう。

そこで、２値画像として抽出された輪郭候補点
列が少なくとも８連結のつながりで閉ループを構
成していると仮定し、３×３の局所ウインドウ内
の論理演算によつて、ひげ状のノイズや孤立ノイ
ズの除去を行なう。これらの各ノイズの除去は雑
音除去部１６により行なう。

雑音除去部１６の詳細構造を説明するに先立ち
その動作原理について説明する。

第１９図〜に示す如く、３×３のウインド
ウＷの中心における注目画素Ｅが雑音でない場合
には必ず閉ループ画像である。そして閉ループ画
像は連続的であることから、この閉ループ画像は
ウインドウＷを必ず横切ることになり、ウインド
ウＷ内の周辺画素のうち少なくとも２つは閉ルー
プがそを上の画素でなければならないといえる。
そして前記前提条件を加味すると、前記閉ループ
画像上の２つの周辺画素は相隣接しない一関係に
なつていなければならないといえる。

これらのことから、注目画素Ｅが閉ループ画像
上の画素であるためには、注目画素Ｅが状態１で
ある場合において少なくとも相隣接しない２つの
周辺画素が状態１であることが必要になる。この
条件に該当するものは16通りあり、各場合をウイ
ンドウＷによつて表したものが第１９図に示され
ている。

この場合において、説明を単純化するために、
閉ループ画像が角部を備えているものについては
前記角部に対応した画素は閉ループ画像上の画素
でないものとして扱うことを前提とする。

この後、第１９図に示すウインドウＷ内の基本
パターンが生じないパターンを調べ、数画素程度
の雑音やひげ状の雑音を除去するための雑音除去
条件として設定する。

この場合、第一の雑音除去条件としては、第２
０図ａのウインドウＷにおいて、同図ｂの〜
に示すように、注目画素Ｅが状態１である場合に
おいて、少なくともウインドウＷの相隣接する二
辺に沿う周辺画素が状態０であること、すなわ
ち、ウインドウＷの上辺１₁及び左辺１₂に沿う周
辺画素Ａ、Ｂ、Ｃ、Ｄ、Ｇが状態０、ウインドウ
Ｗの左辺１₂及び下辺１₃に沿う周辺画素Ａ、Ｄ、
Ｇ、Ｈ、Ｉが状態０、ウインドウＷの下辺１₃及
び右辺１₄に沿う周辺画素Ｇ、Ｈ、Ｉ、Ｆ、Ｃが
状態０、ウインドウＷの右辺１₄及び上辺１₁に沿
う周辺画素Ｉ、Ｆ、Ｃ、Ｂ、Ａが状態０のいずれ
かであることが挙げられる。

第二の条件としては、第２０図ｃ〜に示す
ように、注目画素が状態１である場合において、
少なくともウインドウＷの一辺に沿う周辺画素と
これに隣接する周辺画素とが状態０であり且つ前
記ウインドウＷの対向辺中央に位置する周辺画素
が状態１であること、例えば、ウインドウＷの上
辺１₁に沿う周辺画素Ａ、Ｂ、Ｃ及びこれに隣接
する周辺画素Ｄ、Ｆが状態０であり且つウインド
ウＷの下辺１₃中央に位置する周辺画素Ｈが状態
１であること等が挙げられる。

尚、第２０図において×印を付した画素は状態
１若しくは状態０のいずれでもよいことを示して
いる。

したがつて、２値画像を移動するウインドウＷ
内のパターンが前記第一及び第二の雑音除去条件
のいずれかに合致したとすれば、注目画素Ｅが状
態１であるとしても、当該注目画素Ｅは閉ループ
画像の画素ではなく、雑音として検出されること
になり、これを「０」とすることによりこの雑音
は有効に除去されるとになる。

例えば、第１８図に示すように、４画素以下の
画素がかたまつた雑音Ｎ２が存在する場合には、
第一の雑音除去条件で取り除かれ、閉ループ画像
からのびるひげ状の雑音Ｎ１が存在する場合に
は、第二の雑音除去条件で取り除かれることにな
る。

前述したような雑音除去方法を実施するための
回路の一例を第２１図に示し、以下においてこれ
を説明する。

この雑音除去部１６は、第２１図に示す如く、
空間フイルタ・閾値処理部６９からの２値画像が
入力されるデータシフト回路７０と論理演算回路
７１から構成されている。

第１空間フイルタ演算部１２、第２空間フイル
タ演算部１３、極点抽出部１４、閾値処理部１５
等よりなる空間フイルタ・閾値処理部６９の出力
は、第２２図に示す如く、レジスタＲ１′〜Ｒ
９′、Ｎ−３ビツト長のシフトレジスタ７２，７
３により構成されるデータシフト回路７０に入力
され、これにより各レジスタＲ１′〜Ｒ９′に画素
Ａ〜Ｉが出力され、論理演算回路７１に入力され
る。

ここで、論理演算回路７１は、第２３図に示す
如く構成され、第２０図ｂ，ｃの第一の雑音除去
条件若しくは第二の雑音除去条件を満足したとき
に注目画素Ｅのレベルを状態０として出力し、そ
れ以外のときには注目画素Ｅのレベルを状態１の
ま出力するものであり、論理演算回路７１からは
雑音除去した２値画像データが順次得られること
になる。

そして、前記論理演算回路７１は、具体的には
以下の論理式(a)乃至(d)を満足するように構成され
ている。

E^₁ ｛（Ａ∪Ｂ∪Ｃ∪Ｄ∪Ｇ）∩（Ａ∪Ｄ∪Ｇ∪Ｈ∪Ｉ）
∩（Ｇ∪Ｈ∪Ｉ∪Ｆ∪Ｃ）∩（Ａ∪Ｂ∪Ｃ∪Ｆ∪
Ｉ）｝∩Ｅ ＝｛（Ａ∪Ｂ∪Ｃ∪Ｄ∪Ｇ）∩（Ａ∪Ｄ∪Ｇ∪Ｇ∪Ｈ
∪Ｉ）∩ （Ｇ∪Ｈ∪Ｉ∪Ｃ∪Ｆ∪Ｉ）∩（Ａ∪Ｂ∪Ｃ∪Ｃ∪
Ｆ∪Ｉ）｝∩Ｅ ＝｛（X₁∪X₂）∩（X₂∪X₃）∩（X₃∪X₄）∩（X₄∪X₁
）｝∩Ｅ…(a) E^₂＝〔｛（Ａ∪Ｂ∪Ｃ∪Ｄ∪Ｆ）∪｝∩｛（Ａ∪Ｄ
∪Ｇ∪Ｂ∪Ｈ）∪｝∩ ｛（Ｄ∪Ｆ∪Ｇ∪Ｈ∪Ｉ）∪｝∩｛（Ｃ∪Ｆ∪Ｉ∪
Ｂ∪Ｈ）∪）〕∩Ｅ ＝〔｛（X₁∪Ｄ∪Ｆ）∪｝∩｛（X₂∪Ｂ∪Ｈ）∪
｝∩ ｛（X₃∪Ｄ∪Ｆ）∪｝∩｛（X₄∪Ｂ∪Ｈ）∪｝
〕∩Ｅ…(b) E^＝E^₁∩E^₂ …(c) X₁＝Ａ∪Ｂ∪Ｃ、X₂＝Ａ∪Ｄ∪Ｇ、X₃＝Ｇ∪Ｈ∪Ｉ、X₄
＝Ｃ∪Ｆ∪Ｉ…(d) (a)乃至(d)式において、Ａ乃至Ｉは画素Ａ乃至Ｉ
のデータを示し、、、、は画素Ｂ、Ｄ、
Ｆ、Ｈの反転データを示し、E^₁及びE^₂はそれぞ
れ第一の雑音除去条件及び第二の雑音除去条件を
満足するか否かを示す指標値、E^は注目レベルＥ
が雑音であるか否かを示す指標値である。

この論理式を満足する論理演算回路７１の具体
構成を第２３図に示す。第２３図において、OR
−１′乃至OR−１４′はオア回路、AN−１′乃至
AN−３′はアンド回路、NT−１′乃至NT−
４′はノツト回路である。

例えば、注目画素Ｅと他の画素が、第２０図ｂ
に示す条件の場合には、OR−１′，OR−２′
からそれぞれ「０」が出力されるので、OR−
７′も「０」を出力し、この結果AN−１′，AN
−３′が「０」を出力し、それ故注目画素Ｅは
「０」となつて出力される。

また、第２０図ｃに示す条件の場合には、
OR−１′，OR−５′がそれぞれ「０」を出力し、
ノツト回路NT−１′も「０」を出力するのでオ
ア回路OR−１１′が「０」を出力する。この結
果、AN−２′，AN−３′が「０」を出力するの
で、注目画素Ｅは「０」となつて出力されること
になる。このような制御は、前記他の回路と同様
に、第２図の走査信号発生部２０より出力される
水平同期信号に同期して順次行なわれることにな
る。

このようにして論理演算回路７１により、第２
０図ｂ，ｃに示す条件、すなわちウインドウＷの
上辺と右辺、右辺と下辺、下辺と左辺あるいは左
辺と上辺に画素が存在しない場合（雑音除去条件
１）、また上辺と左右に画素がなく下にある、左
辺と上下になくて右にある、下辺と左右になくて
左にある場合（雑音除去条件２）に注目画素を雑
音とみなしてこれを除去することができる。

このようにして雑音の除去された対象の輪郭点
を抽出し、TVカメラ上でのその抽出された輪郭
点の座標を求めることができる。

尚、このようにして得られた輪郭点の座標情報
（Xi、Yi）は、濃度レベル情報と共に、画像メモ
リ１９内に格納される。

尚、濃淡画像処理部３で求められた輪郭点座標
（Xi、Yi）は、アドレスジエネレータ７によつ
て、直線抽出部４に対して輪郭アドレスのみが出
力される。

次に、切換スイツチSWを“１”側にセツト
する。そしてこれにより直線抽出部４は前述の濃
淡画像処理部３で得られた輪郭点座標に対応して
Hough平面θ−ρにθをパラメータとして写像
し、ヒストグラムを作成する。

この処理について説明する。

第１図において、７５はFirst In First Out
（FIFO）式のデータバツフアであつて、濃淡画像
処理部３より出力された輪郭アドレスが順次格納
される。７６はρ計算部であつて、データバツフ
ア７５に格納された各輪格アドレス（Xi、Yi）
を読出して、次式の演算を行なう。

ρn＝Xicosθn＋Yisinθn θn＝nπ／512、ｎ＝０〜511 ７７はFirst In First Out（FIFO）式のデータ
バツフアであつて、ρ計算部７６により求められ
たρnとθnが格納される。７８はヒストグラム作
成部であつて、データバツフア７６に格納された
ρnとθnをアドレスとしてヒストグラムメモリ７
９を読出し、“１”を加算して再度同じアドレス
に加算した結果を書き込む処理を行なう。

第２４図にρ計算部７６の詳細回路図を示す。

図において、８０はクロツクパルスにより順次
後述するcosθテーブル８１及びsinθテーブル８２
のアドレスθnを発生するアドレスカウンタ、８
１はcosθテーブルであつて、nπを512等分した値
が格納されている。８２はsinθテーブルであつ
て、nπを512等分した値が格されている。８３は
データバツフア７５からの輪郭アドレスのうちの
Xiアドレスが格納されるレジスタ、８４はデー
タバツフア７５からの輪郭アドレスのうちのYi
アドレスが格納されるレジスタ、８５はcosθテー
ブルからの値が格納されるレジスタ、８６はsinθ
テーブルからの値が格納されるレジスタ、８７は
レジスタ８３とレジスタ８４に格納された値とを
乗算する乗算器、８８はレジスタ８５とレジスタ
８６に格納された値とを乗算する乗算器、８９は
乗算器８７の乗算結果を格納するレジスタ、９０
は乗算器８８の乗算結果を格納するレジスタ、９
１はレジスタ８９とレジスタ９０に格納された値
とを加算する加算器、９２は加算器９１の加算結
果を格納するレジスタ、９３はアドレスカウンタ
８０の出力するアドレスθnを遅延する遅延器９
３であつて、レジスタ９２に格納された内容を同
期をとつてデータバツフア７６に格納するための
ものである。

以上説明した構成とすることにより、クロツク
パルスの入力と共に、輪郭アドレスに対してｎ個
（512個）のθ−ρ平面上の座標を求めることがで
きる。そしてこれを各輪郭アドレス毎に繰り返し
て実行することにより濃淡画像処理部３で得れた
輪郭点座標に対するハフ変換画像が得られる。

そして、このようにして得られたハフ変換画像
を前述したように、ヒストグラム作成部７８によ
りヒストグラムメモリ７９上に格納する。

以上の処理を行なうことによりヒストグラムメ
モリ７９上に各輪郭点に対応するハフ変換画像の
ヒストグラムが格納される。

このヒストグラムメモリ７９上のヒストグラム
の個数の高い点が物体の面を構成する線分に対応
するが、ノイズの多い画面では、物体の面を構成
する１本の線分に対応して複数個のヒストグラム
の個数の高い点が表れる。

そこで、各線分に対応するピーク点のみを抽出
する必要である。

以下にこのピーク点の抽出処理について説明す
る。

まず、第１図において、直線抽出部４にさらに
ヒストグラムメモリ７９の内容を読出すためのメ
モリ読出部９３を設け、この出力を切換スイツチ
SWの入力“２”側に接続する。

したがつて、ピーク点抽出処理を行なう際には
切換スイツチSWを“２”側に切換える。

そして、ヒストグラムメモリ７９内に格納され
ているハフ変換画像を濃淡画像処理部３に入力せ
しめ、このハフ変換画像に対して前述した濃淡画
像処理部３の処理を行なうことによりピーク候補
点を抽出する。但し、極点抽出処理において、第
１５図の切替回路２００をアンド回路AN−５を
出力するように切替えておくことにより、４方向
とも極大となるピークを出力する。

そして、得られたピーク候補点に基づいてピー
ク点の統合処理を行なうために切換スイツチを
“２”側に切換え、直線抽出部４に設けられたピ
ーク点統合演算部９４に入力する。

ピーク点統合演算部９４では入力されてくるピ
ーク候補点のうち近接するピーク候補点を統合し
輪郭線に対応するピーク点のみを抽出する。

このピーク点を抽出処理について説明する。

第２５図はピーク点の抽出処理を説明するため
の図である。図において、閾値演算部９５は第２
図中の閾値処理部１５に対応し、画像メモリ９６
は同図中の画像メモリ１９に対応する。尚、第２
５図において、第２図中に図示の雑音除去部１６
については図示しない。

閾値演算部９５は、所定の閾値レベル以上のピ
ーク候補点Xi（ｉ＝１〜Ｎ）を抽出する。抽出さ
れたピーク候補点Xiは、その座標情報X^x _i、X^y _i及
び濃度レベルX^L _iと共に、画像メモリ９６に格納
される。

ピーク点統合演算部９４は、クラスタリング演
算部９７、最大値演算部９８、メモリ９９，１０
０とから構成される。

クラスタリング演算部９７は、閾値演算部９５
が抽出したＮ個のピーク候補点について、クラス
分類を行なうものである。すなわち、Hough変
換によつて得られるヒストグラムは、第２６図図
示ab平面の如く、ノイズ等のために１つの山の
ピーク近傍に他のピークが現れることが多く、複
数のピークが１本の直線に対応する場合が少なく
ない。そのため、ピーク候補点Xiについて、そ
れぞれ同じ山に属するものであるかどうかを分類
することができれば、直線に１対１に対応する正
しいピークが抽出することができる。尚、分類結
果のクラスタ数Ncは、クラスタリング演算部９
７の起動時には、未知である。

クラスタリング演算部９７は、例えば第２７図
図示の如く、順序付け演算部１０１と、クラス分
類演算部１０２と、評価基準演算部１０３と閾値
更新部１０４とからなる。第５図中の画像メモリ
１９及びメモリ９９は第２５図に対応する。

画像メモリメモリ１９、メモリ１０５、メモリ
９９は同じメモリでもよい。

順序付け演算部１０１は画像メモリ１９を参照
し、各点Ｘ１，Ｘ２，…，Xnの濃度レベルX^L _iの
大小を比較して、各点を濃度レベルの大きい純に
並べ換え、結果を画像メモリ１９に格納する。

クラス分類演算部１０２は、順序付け演算部１
０１によつて順序付けされた点Ｙ１，Ｙ２，…，
Ynについて、先頭から順番に他の点とのユーク
リツド距離を演算し、その距離と閾値とを比較す
ることによつて、閾値以下の距離のものにラベル
付けを行ない、クラス分類するものである。

評価基準演算部１０３は、クラス分類演算部１
０２によつて分類された各クラス内の分散を平均
的に最小にする評価基準を導入して、その評価基
準を演算するものである。

閾値処理部１０４は、評価基準が、より小さな
値になるようにクラス分類に用いる閾値の更新を
行なうものである。閾値を変化させることによつ
て、クラス分類演算部１０２による異なる分類結
果を得ることができるようになる。

第２８図乃至第３１図を参照して、順序付け演
算部１０１、クラス分類演算部１０２、評価基準
演算部１０３および閾値更新部１０４の処理内容
について説明する。

順序付け演算部１０１は、例えば第２８図図示
の如く処理する。すなわち、ループカウンタｊを
１からＮ−１まで、またループカウンタｉを１か
らＮ−ｊまで変化させつつ、隣接するXi、Xi＋
１の濃度レベルX^L _iとX^L _i+1との大小を比較する。

濃度レベルX^L _i+1が濃度レベルX^L _iよりも大きい
場合には、点Xiと点X_i+1の位置を交換する。こ
の繰り返し処理によつて、画像メモリ１９の内容
は、メモリ１０５のように濃度レベルの昇順に並
べられることになる。もちろん、他の各種ソーテ
イング手段を用いてもよい。

クラス分類演算部１０２は、例えば第２９図図
示の如く処理する。まず、濃度レベルが最大の
Y1を第１のクラスの中心C1とする。そして、Ｃ
１とその他のピーク点Yj（ｊ＝２、３、…Ｎ）と
のユークリツド距離Dj1、 Dj1＝｜Yj−C1｜ ＝√（^x _j−^x ₁）²＋（^y _j−^y ₁）²） を求める。この距離Dj1が閾値Tmより小さいと
き、YjはY1と同じ第１のクラスに属するものと
する。

次に、第（ｋ−１）のクラスまで分類できたと
して、第１のクラスから第（ｋ−１）までのクラ
スに属さない点の中で、濃度レベルが最大の点
Yiを第ｋクラスの中心Ckとする。そして、Ckと
その他の点Yj（ｊ＝１＋１〜Ｎ）とのユークリツ
ド距離Djkを求める。

Djk＝｜Yj−Ck｜ ＝√（^x _j−^x _k）²＋（^y _j−^x _k）²） この結果、距離Djkが閾値Tmより小さいとき、
Yjは第ｋクラスに属するものとする。

ｋ＝ｋ＋１として、同様に処理を繰り返し、す
べてのYjがいずれかのクラスに属したならば、
クラス分類を終了する。すなわち、未分数の点の
中で、濃度レベルの最大のものを、新たなクラス
の中心として、順番に分類を行なつていく。

評価基準演算部１０３は、例えば第３０図図示
の如く処理する。すなわち、各クラス内の分散が
平均的に最も小さくなるようにクラスタリングが
良いクラスタリングであるとして、次式で表わす
ような評価基準Jmを導入する。

Jm＝〓〓｜Yj−mk｜² mk＝１／N_k〓〓Yj ここで、Ncはクラスの数、N_kは第ｋクラスの
ピーク点数、〓ｋは第ｋクラスのサンプル集合で
ある。この評価基準Jmの演算を実行し、結果を
閾値更新部１０４へ伝達する。

閾値更新部１０４は、例えば第３１図図示の如
く処理する。すなわち、評価基準Jmが、ある所
定値ε_J以下、あるいは前回のJ_n=1との差分djがあ
る所定値εd_J以下になるまで、閾値Tmを徐々に
変化させ、再度クラス分類演算部１０２を起動す
る。

評価基準Jmまたは前回との差分djが十分に小
さな値となつたとき、良いクラスタリングが実行
できたとして、すべてのクラスタリング処理を終
了する。

Hough変換等の２次元ヒストグラムにおける
点をクラスタリングするような場合、各点はクラ
ス内の最大値を中心に分布している。そこで、前
記のように、すべての対象点を予め大きさの順に
並べ換かえておくことによつて、クラスタリング
時のクラスの中心を最初から最大値に選ぶことが
でき、例えばヒストグラム空間における座標の順
番に中心点を想定した場合等に比べて、良いクラ
スタリングを得ることができる。したがつて、最
終的に満足できるクラスタリングを得るまでの閾
値の更新回数を大幅に減少させることができる。

最大値演算部９８は、クラスタリング演算部９
７が出力したメモリ９９のクラスタリング結果を
参照し、各クラスの最大値Zi（ｉ＝１〜Nc）を求
めるものである。クラスタリング演算部９７が第
２７図図示の如く構成される場合、メモリ９９上
のピーク候補点Yiは、濃度レベルの昇順に並ん
でいる。

したがつて、ｉ＝１の方向からサーチすること
によつて、容易に各クラスの最大値Ziが求められ
る。

すなわち、例えば第３２図図示の如く、クラス
番号ｋを１からNcまで変化させ、各クラス対応
に最初に現れたピーク候補点を抽出する。

このようにして、メモリ１００に得られた各ク
ラスの最大値Ziが、Hough変換のヒストグラム
等の場合、直線に１対１に対応するピーク点とな
る。

以上の処理を行なうことにより各線分に対応す
るピーク点のみを抽出することができる。

このようにして得られたピーク点（θi、ρi）に
基づいて、直線方程式を計算する。

この計算は、第２図の直線抽出部４内の直線方
程式計算部１０６により行なう。

この直線方程式の算出処理のためのフローチヤ
ートを第３３図に示す。

図に示されるように、得られたピーク点（θi、
ρi、ｉ＝１〜Ｍ）について直線方程式 Ｙ＝aiX＋bi に基づいて、 ai＝−cosθi／sinθi bi＝ρi／sinθi を算出する。

尚、cosθi＝０の場合は、 Ｙ＝ρi／sinθi＝ci また、sinθi＝０の場合は、 Ｘ＝ρi／cosθi＝di を算出する。

そしてこの直線方程式計算部１０６により得ら
れたai、bi、ci、diは、領域抽出部５へ出力され
る。

領域抽出部５は入力された前記各値に基づいて
領域の抽出を行なう。

この領域抽出の処理について説明する。

第２図において、１０７は線分抽出部、１０８
は閉ループ抽出部、１０９は投影点計算部であ
る。

まず、線分抽出部１０７の動作を第３４図に示
すフローチヤートを用いて説明する。

線分抽出部１０７には、直線方程式計算部１０
６により得られた傾き、切片情報および濃淡画像
処理部３内の画像メモリ１９内に格納された輪郭
点座標が入力される。

そして、第３５図に示すように、入力された輪
郭点座標をXY平面上に展開すると共に、傾きと
切片に基づいた直線をXY平面上に擬似的に発生
せしめる。

そして、この直線上に沿つてＫ×Ｌマトリツク
スからなるウインドウを走査させる。

このウインドウ内に存在する輪郭点の数を、ウ
インドウ内の例えば左上端から順次走査してウイ
ンドウ内の各座標に対応する画像メモリ１９内に
輪郭点が格納されているか否かを調べる。

そして、輪郭点であつた場合には、カウンタ
CONTを“１”づつ加算し、輪郭点ではない場
合には、次のウインドウ内の座標位置に移動す
る。

そしてこの処理を順次繰り返し、ウインドウ演
算回路内の右下端まで実行する。そして処理終了
後のカウンタCONTの値が所定値Ｔ以上ならば、
その座標を直線上の注目点座標（xi、yi）として
メモリ内に記憶する。このウインドウ処理を実行
する回路がウインドウ演算回路である。

この処理を直線のXY平面上での終了位置まで
行ない、そして次の直線をXY平面上に擬似的に
発生させ、同様の処理を順次繰り返して行なうこ
とにより、メモリ内に線分座標を格納する。

そして、各線分座標に基づいて、各線分の端点
Ａと端点Ｂ及びその線分の長さＬを抽出し、第３
６図に示す線分表を作成する。

次に、閉ループ抽出部１０８の動作について第
３７図に示すフローチヤートを用いて説明する。

まず、各線分の端点Ａ、Ｂ、長さＬを前記線分
表から抽出し、長さＬが長い順番に並べ換かえる
と共に、長い順番に番号を付与する。

そして、この長さが最大の線分の一方の端点Ａ
を基準として、半径Ｒ以内に端点を有する線分を
捜す。端点が存在しない場合は、半径Ｒを少し大
きくし、同様に線分を捜す。半径Ｒが所定値以上
（Rmax）大きくしても、線分が発見できない場
合は、この線分は除外（例えば無効フラグ“１”
を付与）する。半径Ｒ以内に他の線分の端点を見
付けることができた場合は、この線分に連続する
線分No.を付与し、そして見付けられた線分の他方
の端点を基準として同様の操作を繰り返して実行
する。

そして、最初の線分に戻つたとき、この操作を
終了し、一つの閉ループが抽出される。この閉ル
ープは、第３８図に示されるように、各閉ループ
毎に、線分No.を格納する。

これを繰り返すことにより、３次元空間内の閉
ループをすべて抽出することができる。

投影点計算部１０９は、閉ループ抽出部１０８
により得られた各閉ループ領域の重心を計算を行
なう。

以上説明したようにして、投影面の抽出処理を
行なうことができる。

次に、(2)の得られた面内に十字スリツト光を照
射する処理について説明する。

尚、スリツト光の投影の処理を第３９図のフロ
ーチヤートに示す。

ここでは、便宜上投影面内の重心座標へ十字ス
リツト光のクロス点を照射させるものとする。

第２図において、スキヤニング機構制御部７は
スキヤニングコントローラ１１０と、赤外域の波
長の十字スリツト光を照射する十字スリツト光プ
ロジエクタ１１２を駆動するモータ１１１とを含
んで構成される。

まず、スキヤニングコントローラ１１０は、十
字スリツト光のクロス点が領域抽出部７の投影点
計算部１０９で求められた所望の閉ループ領域の
重心座標となるようにモータ１１１を駆動制御し
て、十字スリツト光プロジエクタ１１２を移動さ
せる。

また、これと同時に、十字スリツト光像のＳ／
Ｎ比を向上させ、スリツト像検出を容易にするた
めにTVカメラ１の前面に可視光カツトフイルタ
を装着する。尚、これは光学的に分離できるもの
であれば何でもよい。これは、第２図に示す分離
機構１１３により行なう。また分離機構１１３は
図示しない上位の中央処理装置からの信号に基づ
いて動作する。さらに、切換スイツチを“１”
側に、切換スイツチを“１”側にセツトし、面
傾度・距離計測部６の回路構成を十字スリツト光
のラフなクロス点を求める回路構成に切換える。

この状態で、TVカメラ１により３次元空間を
撮影し、スリツト像を得る。そして前述したよう
に、濃淡画像処理部３により、このスリツト像の
骨格線座標（輪郭点座標に対応）を抽出する。

濃淡画像処理部３により得られた骨格線座標に
基づいて、面傾度・距離計測部６内のラフなクロ
ス点計算部１１４により、十字スリツト光のおお
まかなクロス点座標を算出する。

この処理を第４０図を用いて説明する。

まず、抽出されたスリツト光の骨格線座標の中
からＸ座標の最小値Xmin、最大値Xman及びＹ
座標の最小値Ymin、最大値Ymaxを求める。

そしてラフなクロス点（Xc、Yc）として、 Xc＝（Xmin＋Xmax）／２ Yc＝（Ymin＋Ymax）／２ を算出する。

そして、ラフなクロス点計算部１１４により得
られたラフなクロス点（Xc、Yc）に基づいて、
スキヤニングコントローラ１１０がモータ１１１
を駆動制御して、ラフなクロス点が投影面内の重
心座標の近傍に十字スリツト光プロジエクタ１１
２を移動させる。

次に、このラフなクロス点が重心座標の近傍の
所定領域内に入つたら、切換スイツチSWを
“１”側へ、切換スイツチSWを“２”側へ切
換える。

ここで、ラフなクロス点が重心座標の近傍の所
定領域内へ入つたことの検出は、例えば、重心座
標に所定値を加算して得られた小領域の座標と、
ラフなクロス点計算部１１４により得られたクロ
ス点（Xc、Yc）とを比較することにより簡単に
行なうことができる。この処理は、例えば、前述
したような分離機構１１３、切換スイツチSW
、SW、SWを切換制御する図示しない上
位の中央処理装置により行なう。

次に、切換スイツチSWを“１”側へ切換え
ることにより、濃淡画像処理部３により得られた
スリツト光像の骨格線座標が直線抽出部４に入力
される。

直線抽出部４は、前述の処理と同様にして、入
力された骨格線座標に基づいて、ハフ変換による
骨格線座標のハフ平面への写像を行なつて、ヒス
トグラムを作成する。

このようにして得られたヒストグラムに基づい
て、スリツト光の傾きを検出し、正確なスリツト
光のクロス点を算出する。

第２図のスリツト光傾き検出部１１５は、スリ
ツト光の傾きを検出するものである。

以下に、スリツト光の傾きの検出処理について
説明する。

このスリツト光の傾きの検出の手法は、第４１
図に示すように、所定の座標系（同図ａ）におけ
る直線Ｙ＝a₀・Ｘ＋b₀上の各点 P1：（X1、Y1） P2：（X2、Y2） P3：（X3、Y3） P4：（X4、Y4） についてハフ変換を施して新たな座標系（同図
ｂ）に展開すると、当該座標系において、前記各
点に対応して、 ｂ＝−X1・ａ＋Y1 ｂ＝−X2・ａ＋Y2 ｂ＝−X3・ａ＋Y3 ｂ＝−X4・ａ＋Y4 が得られ、前記各直線が当該座標系において、点
（a₀、b₀）で交わるようになることを利用したも
のである。

第４２図は、スリツト傾き検出部１１５の詳細
回路図である。

このスリツト傾き検出部１１５は、直線抽出部
４のヒストグラムメモリ７９内の頻度データを検
索し、当該頻度データが最大となる点座標データ 〔θ（max）、ρ（max）〕 を求めるものであるが、本実施例では、対象とな
る線画像が十字スリツト光に対応して２つ存在す
ることから、それぞれの線画像に対して前記点座
標データ 〔θ1（max）、ρ1（max）〕 〔θ2（max）、ρ2（max）〕 を求めることになる。そして当該十字スリツトに
対応した線画像から得られる前記２つの頻度のピ
ーク点は、一般にθに関して離れたものであり、
十字スリツト光を投影する十字スリツト光プロジ
エクタ１１２と当該スリツト光を撮影するTVカ
メラ１の相対的な位置関係を調整して、前記θ1
（max）とθ2（max）との関係を常に、 ０＜θ1（max）＜π／２≦θ2（max）≦π …(6) ｜tanθ1（max）｜＜１≦｜tanθ2（max）｜ …(7) となる条件に設定することが可能である。

そこで、第４２図に示すスリツト傾き検出部１
１５は、特に前記(6)の条件を満足するように、十
字スリツト光プロジエクタ１１２とTVカメラ１
を配置した場合のものである。

第４２図において、１１６は前記新たな極座標
系での点座標データρj、θjを順次出力するアドレ
スジエネレータであり、このアドレスジエネレー
タ１１６からのρjはレジスタ１１７ａに、同θjは
レジスタ１１７ｂにそれぞれ順次図示しないクロ
ツクジエネレータからのクロツクパルスに同期し
て格納されるようになつている。

また、アドレスジエネレータ１１６からの点座
標データθj、ρjは、ヒストグラムメモリ７９に伝
送され、このヒストグラムメモリ７９から当該点
座標（θj、ρj）に対応した頻度データｆ（θj、ρj）
が読み出されると共に、当該頻度データが前記ク
ロツクパルスに同期してレジスタ１１７ｃに格納
されるようになつている。１１８はレジスタ１１
７ｂに格納したθjと所定値θt＝（π／２）とを比
較して θj＜θt＝（π／２） となる時にＨレベル信号を出力する比較器であ
る。

また、１１９は第１の最大値検出回路、１２０
は第２の最大値検出回路であり、各最大値検出回
路１１９，１２０は、それぞれレジスタ１１７ｃ
に格納した頻度データを再び格納するレジスタ１
１９ｂ、同１２０ｂと、この各レジスタ１１９
ｂ，１２０ｂの頻度データと前記レジスタ１１７
ｃからの頻度データとを比較する比較器１１９
ａ、同１２０ａを有しており、各比較器１１９
ａ，１２０ａはレジスタ１１７ｃの頻度データが
レジスタ１１９ｂ，１２０ｂの頻度データを上回
る時にＨレベル信号を出力するようになつてお
り、前記レジスタ１１９ｂは比較器１１８，１１
９ａの出力信号及びクロツクパルスのアンドゲー
トＧ２２によるアンド信号に同期して作動するよ
うになると共に、前記レジスタ１２０ｂは比較器
１１８のインバータＧ２４による反転信号、比較
器１２０ａからの出力信号及びクロツクパルスの
アンドゲーＧ２３によるアンド信号に同期して作
動するようになつている。１２１ａ，１２１ｂは
レジスタ１１９ｂと同様にアンドゲートＧ２３の
出力信号に同期して作動するレジスタであり、レ
ジスタ１２１ａ，１２２ａはそれぞれタイミング
でレジスタ１１７ａ内のρjを格納し、レジスタ１
２１ｂ，１２２ｂはそれぞれのタイミングでレジ
スタ１１７ｂ内のθjを格納するようになつてい
る。

そして、１２３ａ，１２３ｂはそれぞれレジス
タ１２１ａ，１２１ｂとレジスタ１２２ａと１２
２ｂに格納したθj、ρjを ａ＝−（cosθj／sinθj） ｂ＝ρjsinθj に従つてａ、ｂに変換する変換器であり、極座標
データ（θj、ρj）を直交座標デー（ａ、ｂ）に変
換するものである。

以上説明した構成において、その動作を説明す
る。

すなわち、アドレスジエネレータ１１６は、順
次θj、ρjを出力し、（θj、ρj）で指定されるヒスト
グラムメモリ７９内の頻度データｆ（θj、ρj）を、
θj＜π／２の領域ではレジスタ１１７ｃを介して
レジスタ１１９ｂに格納し、さらにレジスタ１１
９ｂの頻度データを順次大きな値のものに更新し
ていく。

また、π／２≦θj＜πの領域では、当該頻度デ
ータｆ（θj、ρj）がレジスタ１１７ｃを介してレ
ジスタ１２０ｂに格納され、さらにレジスタ１２
０ｂの頻度データは前記同様に順次大きな値もの
ものに更新されていく。この時、レジスタ１１９
ｂの更新のタイミングで当該ρj、θjがそれぞれレ
ジスタ１１７ａ，１１７ｂを介してレジスタ１２
１ａ，１２１ｂに格納され、また、レジスタ１２
０ｂの更新のタイミングで当該ρj、θjが前記と同
様にレジスタ１１７ａ，１１７ｂを介してレジス
タ１２２ａ，１２２ｂに格納される。前記のよう
な処理がすべての（θj、ρj）（ｊ＝１〜Ｎ）につ
いて行なわれると、最終的にレジスタ１１７ｂに
格納されている頻度データはθj＜π／２の領域に
おける最大値となり、レジスタ１２０ｂに格納さ
れている頻度データは、π／２＜θj≦πの領域に
おける最大値となる。

それに伴ない、レジスタ１２１ａ，１２１ｂの
内容がθj＜π／２の領域において頻度が最大とな
るρ（max1）θ（max1）となると共に、レジス
タ１２２ａ，１２２ｂの内容がπ／２≦θj＜πの
領域において頻度が最大となるρ（max2）、θ
（max2）となり、その時の変換器１２３ａの変
換出力ａ（max1）、ｂ（max1）が、十字スリツト
光に対応した一方の骨格線を示す直線方程式 Ｙ＝a₀・Ｘ＋b₀ における各a₀、b₀となると同時に、その時の変換
器１２３ｂの変換出力ａ（max2）、ｂ（max2）
が、十字スリツト光に対応した一方の骨格線を示
す直線方程式 Ｙ＝a₀′・Ｘ＋b₀′ における各a₀′、b₀′になる。

したがつて、前記ａ（max1）、ａ（max2）が、
求める十字スリツト光に対応した各線画像の傾き
となる。

このようにして得られた２つの直線方程式に基
づいて連立方程式をたて、これの解であるＸ、Ｙ
を十字スリツト光のクロス点として算出する。

この連立方程式をたて、これの解を求める処理
は、面傾度・距離計測部６のクロス点計算部１２
４で行なう。

そして、このクロス点計算部１２４により得ら
れたクロス点（Ｘ、Ｙ）に基づいて、スキヤニン
グコントローラ１１０がモータ１１１を駆動制御
して、クロス点（Ｘ、Ｙ）が投影面内の重心座標
となるように十字スリツト光プロジエクタ１１２
を移動させる。

尚、前述の説明にあつては、十字スリツト光の
クロス点を閉ループ領域の重心座標に位置付ける
場合について説明しているが、本発明はこれに限
定されるものでなく、閉ループ領域内のどの場所
であつてもよい。

ただし、閉ループ領域の重心とした場合には、
十字スリツト光を照射した際に、十字スリツト光
が閉ループ領域内からはみ出す可能性も少なく、
また、十字スリツト光のクロス点を照射する位置
を決定する場合に、重心座標が最も計算し易いた
めにこれを利用しているに過ぎない。

以上説明した処理を実行することにより、閉ル
ープ画像の領域内にスリツト光を照射することが
できる。

次に、(3)の面の傾き及び座標を算出するため
に、面上に照射されたスリツト光の傾き、十字ス
リツト光のクロス点を検出する処理を説明する。

第４３図は十字スリツト光プロジエクタ１１２
とTVカメラ１の空間配置関係を示す斜視図であ
り、第４４図は、第４３図の空間配置におけるキ
ヤリブレーシヨン時の座標関係を示し、第４５図
は、第４３図の空間配置におけるTVカメラ１の
撮影面上の像の座標を示し、第４６図は、３次元
物体が任意の傾きを有するときの座標関係を示す
図である。

このような構成において、十字スリツト光プロ
ジエクタ１１２の座標系Op−XpYpZpについて
光軸をZpとし、これに直交するようにXp、Yp軸
を定める。一方TVカメラ１の座標系Oc−
XcYcZcについて撮像面の横軸をXc、縦軸をYc
に選び、Zcをこれらに直交するように定める
（第４４図参照）。

そして座標系Op−XpYpZpが座標系Oc−
XcYcZcに対して、Zc軸回りにα、Yc軸回りに
β、Xc軸回りにγ回転しているとする。

この関係は、基準点において予めキヤリブレー
シヨンしておくことにより既知であるとする。

そしてその関係は、以下の式で表現される。

Xp Yp Zp＝H〓（α、β、γ）Xc Yc Zc …(8) H〓＝cosα cosβ、 −sinα cosγ＋cosα sinβ sinγ、 sinα sinγ＋cosα sinβ cosγ、 sinα cosβ、 cosα cosγ＋sinα sinβ sinγ、 −cosα sinγ＋sinα sinβ cosγ、 −sinβ cosβ sinγ cosβ cosγ …(9) 次に、任意の傾きをもつ物体面π1に、十字ス
リツト光プロジエクタ１１２とTVカメラ１を、
それぞれ基準面からオイラー角α_p、β_p、γ_p、α_c、
β_c、γ_cだけ回転させてS〓、T〓のスリツト光を投影
したときのe〓とf〓の導出を第４６図を参照しつつ行
なう。

ここで、解析を容易にするために第４４図に示
すように、Xp軸上にｓのスリツトをYp軸上にｔ
のスリツトを考える。

まず、十字スリツト光プロジエクタ１１２と
TVカメラの回転後の座標系をそれぞれOp−
XpYpZpとOc−XcYcZcとする。

Op′−Xp′Yp′Zp′はOp−XpYpZpに対して、 Xp′ Yp′ Zp′＝H〓（α_p、β_p、γ_p）Xp Yp Zp …(10) また、Oc′−Xc′Yc′Zc′はOc−XcYcZcに対し
て Xc′ Yc′ Zc′＝H〓（α_c、β_c、γ_c）Xc Yc Zc …(11) であり、この式は、 Xc Yc Zc＝H〓′（α_c、β_c、γ_c）Xc′ Yc′ Zc′ …(12) と書き替えられる。ここでH〓′のダツシユ“′”は
H〓の転置行列を示す。従つて、Op′−
Xp′Yp′Zp′はOc′−Xc′Yc′Zc′に対して、 Xp′ Yp′ Yp′ Zp′＝H〓（α_p、β_p、γ_p）・H〓（α、β、γ）・H〓
′（α_c、β_c、γ_c）X_c′ Y_c′ Z_c′ …（13） ここで、 H〓₀＝H〓（α_p、β_p、γ_p） ・H〓（α、β、γ）・H〓′（α_c、β_c、γ_c） ＝ h11 h12 h13 h21 h22 h23 h31 h32 h33 …（14） であると仮定する。

一方、物体面上の投影像e〓はOp′−Xp′Yp′Zp′系
のXp′Zp′平面上にあるので、 e〓⊥jp′（e〓・jp′）＝０ …（15） 但し、 e〓＝Xeic′＋Yejc′＋Zekc′ jp′＝h21ic′＋h22jc′＋h23Kc′ …（16） 式（16）を式（15）に代入すると、 Xeh21＋Yeh22＋Zeh23＝０ …（17） 測定できないZeは、 ∴Ze＝−Xeh₂₁＋Yeh₂₂／h₂₃ …（18） 但し、h23≠０とする。また、物体面上の投影
像f〓は、Op′−Xp′Yp′Zp′系のYp′Zp′平面内にあ
る
ので、 f〓⊥ip′（f〓・ip′）＝０ …（18） 但し、 f〓＝Xfic′＋Yfjc′＋Zfkc′ ip′＝h11ic′＋h12jc′＋h13Kc′ …（20） を上式に代入すると、 Xfh11＋Yfh12＋Zfh13＝０ （21） 測定できないZfは、 ∴Zf＝−Xfh₁₁＋Yfh₁₂／h₁₃ …（22） 但し、h13≠０とする。

最後に、π1の面ベクトルの導出を行なうと面
ベクトルπ〓はe〓とf〓との外積で与えられる。

従つて、 π〓＝e〓×f〓 ＝ ic jc Kc Xe Ye Ze Xf Yf Zf …（23） ＝（YeZf−YfZe）ic＋（XfZe−XeZf）jc ＋（XeYf−XfYe）Kc …（24） ＝uic＋vjc＋wKc …（25） 従つて、π1のOc′−Xc′Yc′Zc′系に対する方向
余弦は、 である。

以上説明した面の傾き及び座標を算出するため
に、面上に照射されたスリツト光の傾き、十字ス
リツト光のクロス点を検出する処理を行なう位置
姿勢制御部１２５と面傾度・距離計測部１２６の
動作を第４７図、第４８図に示すフローチヤート
を参照しつつ、説明する。

図において、キヤリブレーシヨン時には、基準
点に設置された十字スリツト光プロジエクタ１１
２とTVカメラ１の各座標系のキヤリブレーシヨ
ンを行なう。

ここでは、解析上簡単化のため、直交する２本
のスリツト光を基準面π₀に投影する。

そして、スリツト傾き検出部１２５により得ら
れた各線画像の傾きである前記ａ（max1）、ａ
（max2）が、e〓、f〓の傾きに対応するので、これか
らＸ、Ｙ成分すなわち、Xe、Ye、Xf、Yfを求
めることができる。予め、TVカメラと十字スリ
ツト光プロジエクタの相対的位置関係をキヤリブ
レーシヨンによつて校正しておけば、その位置関
係を変更しない限り、キヤリブレーシヨンを再度
行なう必要はない。

次に任意の面の傾きを導出する場合について説
明する。十字スリツト光プロジエクタ１１２と
TVカメラ１を制御して向きを目標点に向ける。

これは、前述した動作と同様である。また、ク
ロス点計算部１２４により十字スリツト光のクロ
ス点が求められているので、このクロス点より十
字スリツト光プロジエクタ１１２の基準点からの
回転角度を読取ることができる。また、TVカメ
ラの回転角度も図示しない中央処理装置からの制
御信号によりTVカメラを回転駆動するとすれ
ば、容易に読取り可能である。

面傾度・距離計測部１２６では、α、β、γ、
αp、βp、γp、αc、βc、γcからH₀を求める。次
に、スリツト傾き検出部１２５からのe〓、f〓に基づ
いてＸ、Ｙ成分の長さを算出する。

さらに、式（18）、（22）を用いてZe、Zfを導
出して、式（24）、（25）からｕ、ｖ、ｗを求め、
式（26）からπ1の方向余弦を導出する。

また、得られたクロス点座標より距離を求める
ことができる。

以下にTVカメラ系Oc−XcYcZcと十字スリツ
ト光プロジエクタ系Op−XpYpZpの相対的位置
関係が予め分つているとき、投影された十字スリ
ツト像の中心点を計算することによつて、距離を
求める方法について第４９図を用いて説明する。

説明を簡略化するため、３次元空間をTVカメ
ラ座標のXcZc平面及びYcZc平面で説明する。

第４９図ａはXcZc平面、第４９図ｂはYcZc平
面を示す。

ここで、計測点、つまり十字スリツト光の投影
像のクロス点をＰ（X0、Y0、Z0）、十字スリツト
光プロジエクタ１１２の位置をＱ（Xq、Yq、
Zq）、TVカメラ１の焦点距離をＦとする。また、
XcZc平面上で十字スリツト光プロジエクタの光
軸ZpとXcのなす角をθ、YcZc平面上で十字スリ
ツト光プロジエクタの光軸ZpとYcのなす角をψ
とする。

さらに、撮像面上におけるＰの像をＲとし、そ
の座標を（Xs、Ys、−Ｆ）とする。

このとき、XcZc平面上で直線PQ、PRは次の
ように表現できる。

PQ：Z0＝（X0−Xq）tanθ＋Zq …（26） PR：Z0＝（−Ｆ／Xs）X0 …（27） 式（26）と（27）より、ＰのＸ、Ｚ座標は、 X0＝−Zq−Xqtanθ／F₀＋X_stanθXs …（28） Z0＝−Ｆ／X_sX0 …（29） また、YcZc平面上で直線PQ、PRは次のよう
に表現できる。

PQ：Z0＝（Y0−Yq）tanψ＋Zq …（30） PR：Z0＝−Ｆ／YsY0 …（31） 式（30）と（31）より、ＰのＹ、Ｚ座標は、 Y0＝−Zq−Yqtanψ／F₀＋YstanψYs …（32） Z0＝−Ｆ／YsY0 …（33） そして、スリツト傾き検出部で求められた撮像
面上での十字スリツト光のクロス点座標（Xc、
Yc）をTVカメラ系座標に変換した（Xs、Ys）
を求め、TVカメラと十字スリツト光プロジエク
タの位置関係からθ、ψ、Xq、YqおよびTVカ
メラのレンズの焦点距離Ｆを知り、この値を式
（28）、（32）、（29）、（33）に代入することにより
、
物体までの距離を求めることができる。

Z0については、式（29）と（33）のいずれを
用いてもよい。

(g) 発明の効果 以上説明したように、本発明によれば、３次元
空間上の物体を撮影して得られた閉ループ領域毎
にその面の傾き及び座標を求めるので、３次元物
体認識に必要なセグメンテーシヨンが高速に行な
え、ロボツトの眼として有効なツールとなる。

【図面の簡単な説明】

第１図は本発明に係かる画像処理装置の実施例
説明図、第２図は濃淡画像処理部の説明図、第３
図、第４図は荷重係数の説明図、第５図は空間フ
イルタ演算部の説明図、第６図はデータシフト回
路の説明図、第７図は乗算回路の説明図、第８図
は加算回路の説明図、第９図は割算回路の説明
図、第１０図は物体及びその輪郭抽出状態説明
図、第１１図はスライスレベルを変えたときの出
力説明図、第１２図は輪郭抽出動作原理の説明
図、第１３図は極点抽出部の説明図、第１４図は
データシフト回路の説明図、第１５図はデータ比
較回路の説明図、第１６図は閾値処理部の説明
図、第１７図、第１８図は輪郭抽出処理を施した
場合の効果の説明図、第１９図は輪郭部データ説
明図、第２０図は雑音除去条件説明図、第２１図
は雑音除去部の説明図、第２２図はデータシフト
回路の説明図、第２３図は論理演算回路の説明
図、第２４図はρ計算部の説明図、第２５図はピ
ーク点抽出処理の説明図、第２６図はHough変
換により得られるヒストグラムム、第２７図はク
ラスタリング演算部、第２８図は順序付け演算部
の説明図、第２９図はクラス分類演算部の説明
図、第３０図は評価基準演算部の説明図、第３１
図は閾値更新部の説明図、第３２図は最大値演算
部の処理説明図、第３３図は直線方程式算出処理
のフローチヤート、第３４図は線分抽出部の説明
図、第３５図は線分抽出部の処理説明図、第３６
図、第３８図は線分表、第３７図は閉ループ処理
部の動作フローチヤート、第３９図はスリツト光
の投影処理説明図、第４０図はラフなクロス点計
算部の処理説明図、第４１図はスリツト光の傾き
検出の手法説明図、第４２図はスリツト傾き検出
部の説明図、第４３図は十字スリツト光プロジエ
クタとTVカメラの空間配置関係を示す斜視図、
第４４図はキヤリブレーシヨン時の座標関係を示
す図、第４５図は第４３図の空間配置における
TVカメラの撮影面上の像の座標を示す図、第４
６図は３次元物体が任意の傾きを有するときの座
標関係を示す図、第４７図、第４８図は面の傾き
及び座標を算出するための処理を説明する動作フ
ローチヤート、第４９図は十字スリツト光のクロ
ス点座標から物体までの距離を求める方法の説明
図である。 図において、１はTVカメラ、２はＡ／Ｄ変換
器、３は濃淡画像処理部、４は直線抽出部、５は
領域抽出部、６は面傾度・距離計測部、８はスキ
ヤニング機構制御部、１１２は十字スリツト光プ
ロジエクタ、１１３は分離機構、SW，SW，
SWは切換スイツチである。

Claims (1)

【特許請求の範囲】
1. １ ３次元空間上の物体を撮影する撮影手段と、
   前記撮影手段により得られた画像情報に基づいて
   前記物体を構成する面を抽出する面抽出部と、前
   記面抽出部により得られた面情報に基づいて所望
   の面上のみにスリツト光を照射する照射部と、前
   記所望の面上のみに照射されるスリツト光像を撮
   影して得られたスリツト光像情報に基づいて前記
   面の傾きと３次元空間座標を算出する面情報算出
   部と含んで成る画像処理装置。