Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP2834153B2 - Adaptive learning type general purpose image measurement device - Google Patents
[go: Go Back, main page]

JP2834153B2 - Adaptive learning type general purpose image measurement device - Google Patents

Adaptive learning type general purpose image measurement device

Info

Publication number
JP2834153B2
JP2834153B2 JP63255679A JP25567988A JP2834153B2 JP 2834153 B2 JP2834153 B2 JP 2834153B2 JP 63255679 A JP63255679 A JP 63255679A JP 25567988 A JP25567988 A JP 25567988A JP 2834153 B2 JP2834153 B2 JP 2834153B2
Authority
JP
Japan
Prior art keywords
image
measurement
autocorrelation
value
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP63255679A
Other languages
Japanese (ja)
Other versions
JPH02101591A (en
Inventor
展之 大津
茂純 桑島
多喜夫 栗田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
Agency of Industrial Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agency of Industrial Science and Technology filed Critical Agency of Industrial Science and Technology
Priority to JP63255679A priority Critical patent/JP2834153B2/en
Priority to DE68928895T priority patent/DE68928895T2/en
Priority to EP89118529A priority patent/EP0363828B1/en
Publication of JPH02101591A publication Critical patent/JPH02101591A/en
Priority to US08/080,976 priority patent/US5442716A/en
Priority to US08/353,323 priority patent/US5619589A/en
Application granted granted Critical
Publication of JP2834153B2 publication Critical patent/JP2834153B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Description

【発明の詳細な説明】 発明の目的; (産業上の利用分野) この発明は、例えば生産ラインにおける部品のセンサ
や同定、材料や医用分野における画像計測(計数)など
の様々な分野において、特に2値画像として捕えられる
対象の形状や個数に関わる種々の画像計測(計数および
識別を含む)の装置に関し、特に学習により、対象とす
る用途に応じて2次元パターンを高速で識別又は2次元
パターンよりパターンの幾何学的特徴量(個数,周長な
ど)を高速で計数,計量する汎用画像計測装置に関す
る。
DETAILED DESCRIPTION OF THE INVENTION Object of the Invention; (Industrial Application Field) The present invention is particularly applicable to various fields such as sensor and identification of parts in a production line, image measurement (counting) in materials and medical fields, and the like. A device for various image measurement (including counting and identification) relating to the shape and number of objects captured as a binary image. In particular, by learning, two-dimensional patterns can be identified or two-dimensional patterns at high speed according to the target application. More particularly, the present invention relates to a general-purpose image measurement device for counting and weighing geometric feature amounts (number, perimeter, etc.) of a pattern at high speed.

(従来の技術) 従来この種の画像計測装置としては、所定の目的に対
して所望結果を得るために必要と思われる画像処理手法
を、第24図に示す如く逐次的に直列に組み合せて実現す
るのが普通である(逐次的・手続的方式)。例えば、半
径の異なった2種類の大きさの粒子を多数含む2値画像
において、各粒子の数を計測する場合には、まず画面
(白地)上の全ての粒子(黒い円)を見付け出し、各粒
子にラベル(番号)を付けて区別し、各粒子の直径や面
積等を計測し、どちらの種類の粒子であるかを判定し、
その判定回数を積算して最終的に2種類の粒子の個数を
求める。
(Prior art) Conventionally, as this type of image measuring device, image processing methods considered to be necessary to obtain a desired result for a predetermined purpose are realized by sequentially serially combining as shown in FIG. (Sequential and procedural). For example, in a binary image including many particles of two different sizes with different radii, when counting the number of each particle, first find all the particles (black circles) on the screen (white background), Label each particle with a label (number) to distinguish, measure the diameter and area of each particle, determine which type of particle,
The number of determinations is integrated to finally determine the number of the two types of particles.

このような従来装置では、いくつもの複雑な画像処理
手法を次々と組み合せて実現しているため、その処理の
ための計測時間は多大であり、どうしても装置が大掛か
りとなり、高速処理には不向きである。しかも、上記計
測装置の決定的な問題点は、対応画像の複雑さ(上記の
例では粒子の個数)が増加するに従って、一般にそれに
比例して処理時間が増加することである。他の問題点
は、それら一連の処理が所定の目的のために考えられた
特別の処理であるため、そのような装置は上記所定の目
的のためのみの単用的な装置となってしまい、用途毎に
処理手法を変更する必要があることである。更に、何を
どのような手順で計測すればよいかが明確に分った問題
にしか適用することができない問題点もある。
In such a conventional apparatus, since a number of complicated image processing methods are realized in combination one after another, the measurement time for the processing is enormous, the apparatus is inevitably large, and is not suitable for high-speed processing. . Moreover, a decisive problem of the measuring device is that as the complexity of the corresponding image (the number of particles in the above example) increases, the processing time generally increases in proportion thereto. Another problem is that since such a series of processes is a special process considered for a predetermined purpose, such a device becomes a single-purpose device only for the predetermined purpose, That is, it is necessary to change the processing method for each application. Furthermore, there is a problem that can be applied only to a problem in which what and what procedure should be measured is clearly understood.

(発明が解決しようとする課題) 上述のような直列的な計測方式に対して、パターン認
識におけるパーセプトロンやニューラルネットのモデル
のような並列的・適応的な方式が考えられている。第25
図はニューラルネットの構成を示しており、これは脳の
情報処理をモデルとするものであり、神経細胞の特性を
モデル化した素子を並列に多数並べた層(入力層,中間
層,出力層)を多段に結合し、それらの結合係数を可変
な重み(パラメータ)としておいて、入力に対して望ま
しい出力(計測結果)が出るように、学習のための多数
のデータを次々と入力し、その都度出力の誤り方に基づ
いて結合係数を逐次修正して行くという学習方式に基づ
いている。
(Problem to be Solved by the Invention) In contrast to the above-described serial measurement method, a parallel / adaptive method such as a perceptron or a neural network model in pattern recognition has been considered. 25th
The figure shows the structure of the neural network, which is based on the information processing of the brain, and is a layer (input layer, intermediate layer, output layer) in which many elements that model the characteristics of neurons are arranged in parallel. ) Are connected in multiple stages, their coupling coefficients are set as variable weights (parameters), and a large number of data for learning are sequentially input so that a desired output (measurement result) is obtained with respect to the input. It is based on a learning method in which the coupling coefficient is successively corrected based on the error of the output each time.

しかしながら、この計測方式は処理時間は並列処理の
ために速いが、学習の収束速度は非常に遅くて手間が掛
かる上、時々局所最適解に基因して良い結果が得られな
い。この計測方式は適応的方式となっているために汎用
性を有しているが、問題に対して何個の素子をどのよう
に結合すべきか、また入力に何をとるべきかは分ってい
ないため、試行錯誤とならざるを得ない欠点がある。さ
らに、このニューラルネットによる計測方式に用いる素
子は、神経細胞のモデルとして入力および出力信号の値
を“0",“1"の2値、もしくはその間の値に制限されて
いる。そのため、多数の入力信号は重みを掛けて加算さ
れ、非線形の変換を受けて一つの出力となる。
However, in this measurement method, although the processing time is fast due to the parallel processing, the convergence speed of the learning is very slow, it takes time, and sometimes a good result cannot be obtained due to the local optimal solution. This measurement method is versatile because it is an adaptive method, but it is clear how many elements and how to connect to the problem and what to take at the input. However, there is a drawback that must be done by trial and error. Further, in the element used for the measurement method using the neural network, the values of input and output signals are limited to two values of “0” and “1” or a value between them as a model of a nerve cell. Therefore, a large number of input signals are multiplied by weights, added, and subjected to non-linear conversion to become one output.

第26図はかかる計測方式を示しており、重み付き和及
び非線形変換のニューロン素子10及び11で構成されてい
る。しかし、このような計測方式における情報の表現形
式は、神経情報処理のモデルとしては意味があるが実際
の応用にとっては余り重要ではなく、むしろ限定であっ
て非効率でもある。従って、上記各計測方式の実際的な
画像計測装置としての応用は殆どなされていないのが実
情である。
FIG. 26 shows such a measurement method, which is composed of weighted sum and nonlinear conversion neuron elements 10 and 11. However, the expression form of information in such a measurement method is meaningful as a model of neural information processing, but is not so important for practical application, and is rather limited and inefficient. Therefore, the actual situation is that the above-mentioned measuring methods are hardly applied as practical image measuring devices.

一方、2次元パターンを高速で識別したり、パターン
の幾何学的特徴量を高速で計測するようなシステムとし
て、特公昭58−47064号公報で示されるものがあるが、
この方式は予め他の機械によって文字識別に必要な演算
をさせておき、その結果を得ておく必要があるため用途
が限定されるものであった。しかも、文字読取りに用途
を限定し、文字の切出し不要の特徴を持つことを主眼と
しており、かつ対象のパターンの大きさ,形状などへの
対応もしずらい構成となっているため、使用者が現場の
対象に合せた用途に使用するには適応性及び汎用性共に
乏しいものであった。さらに、個々の使用現場での環境
(外乱、例えばかすれ,画質など)等を予め予測するこ
とは困難なため、個々の状況に合せた最適で適応的な方
法は採れなかった。
On the other hand, there is a system disclosed in Japanese Patent Publication No. 58-47064 as a system for identifying a two-dimensional pattern at a high speed or measuring a geometric feature of the pattern at a high speed.
In this method, the operation required for character identification is performed in advance by another machine, and the result must be obtained. In addition, the main purpose is to limit the application to character reading and to have the feature that character extraction is not necessary, and it is difficult to handle the size and shape of the target pattern. Both adaptability and versatility were poor for use in applications tailored to field targets. Furthermore, it is difficult to predict in advance the environment (disturbance, for example, fading, image quality, etc.) at each use site, so that an optimal and adaptive method suitable for each situation cannot be taken.

この発明は上述のような事情よりなされたものであ
り、この発明の目的は、画像計測の基本的な条件の原理
的な考察に基づいて比較的簡単な構造を有する2段階の
特徴抽出を行ない、更に高速な学習によって任意の対象
又は環境に合せた用途に対して、適応的に画像計測を行
ない得るようにした適応学習型汎用画像計測装置を提供
することにある。
The present invention has been made in view of the above circumstances, and an object of the present invention is to perform a two-stage feature extraction having a relatively simple structure based on a theoretical consideration of basic conditions of image measurement. Another object of the present invention is to provide an adaptive learning-type general-purpose image measurement device capable of adaptively performing image measurement for use that is adapted to an arbitrary object or environment by faster learning.

発明の構成; (課題を解決するための手段) この発明は適応学習型汎用画像計測装置に関し、この
発明の上記目的は、計測対象を2次元的に撮像する撮像
手段と、計測範囲を指示する窓信号を前記撮像手段の映
像信号の出力と同期させて発生する窓信号発生手段と、
N次自己相関を取るための大きさの異なる複数組の自己
相関マスクパターンを持ち、選択された前記自己相関マ
スクパターンの大きさに応じて切出し画像サイズを切替
え、前記撮像手段により出力される映像信号の中から前
記窓信号の範囲内で複数組の局所的画像を時系列的に切
出す画像切出手段と、前記画像切出手段からの局所的画
像及び前記選択された自己相関マスクパターンに基づい
てN次自己相関係数値を演算する相関演算手段と、学習
モードの場合に、クラスを教示する教示手段により設定
された教示データとともに前記相関演算手段により演算
されたN次自己相関係数値を前記窓信号の発生毎に記憶
する記憶手段と、前記記憶手段に記憶された複数のN次
自己相関係数値及び教示データを重回帰分析により解析
して前記計測対象のクラスを認識するための統計的特徴
値を演算すると共に、前記N次自己相関係数値を線形統
合して前記統計的特徴値を得る際の係数を演算する統計
的特徴演算手段と、計測モードの場合に、未知の計測対
象に対して前記相関演算手段により演算されたN次自己
相関係数値を前記係数を用いて線形統合した特徴値と前
記統計的特徴値とから、前記未知の計測対象のクラスを
自動的に認識する認識手段とを具備することによって達
成される。
(Means for Solving the Problems) The present invention relates to an adaptive learning-type general-purpose image measuring apparatus, and an object of the present invention is to specify an image pickup means for two-dimensionally picking up an object to be measured and a measuring range. Window signal generating means for generating a window signal in synchronization with the output of the video signal of the imaging means,
A plurality of sets of autocorrelation mask patterns having different sizes for taking the Nth order autocorrelation, switching a cutout image size according to the size of the selected autocorrelation mask pattern, and outputting an image output by the imaging means An image extracting means for extracting a plurality of sets of local images in a time-series manner within the range of the window signal from among the signals; and a local image from the image extracting means and the selected autocorrelation mask pattern. A correlation calculating means for calculating an Nth order autocorrelation coefficient value based on the Nth order autocorrelation coefficient value calculated by the correlation calculating means together with the teaching data set by the teaching means for teaching a class in a learning mode. Storage means for storing each time the window signal is generated; and a plurality of N-order autocorrelation coefficient values and teaching data stored in the storage means, which are analyzed by multiple regression analysis to obtain the measurement object. A statistical feature calculating means for calculating a statistical feature value for recognizing the class, and calculating a coefficient for obtaining the statistical feature value by linearly integrating the Nth order autocorrelation coefficient value; In this case, the Nth-order autocorrelation coefficient value calculated for the unknown measurement target by the correlation calculation means is linearly integrated using the coefficient and the statistical characteristic value, and the unknown measurement target is And recognition means for automatically recognizing the class.

(作用) 実際的な画像計測の多くの問題としては、画像枠内
(画面上)に捕えられた一つの対象の面積や周囲長を計
ったり、穴の数を数えたり、あるいは画面上の多数の同
一対象の個数を計数する問題が考えられる。また、計測
によって対象が何であるを判定する認識の問題も、ここ
では広い意味での計測(形状計測)の問題と考える。こ
のような多様な画像計測の問題に対する計測結果は一般
に計測値(数値)で与えられ、従って画像計測とは画像
からの特徴抽出の問題と考えることができる。その基本
的な条件としては、次の三項目が重要である。
(Operation) Many problems in practical image measurement include measuring the area and perimeter of a single object captured in an image frame (on the screen), counting the number of holes, and measuring the number of holes on the screen. The problem of counting the number of the same objects can be considered. Also, the problem of recognition for determining what an object is by measurement is considered to be a problem of measurement (shape measurement) in a broad sense here. Measurement results for such various image measurement problems are generally given as measurement values (numerical values), and therefore, image measurement can be considered as a problem of feature extraction from an image. The following three items are important as the basic conditions.

1)平行移動に関する不変性 2)画面に関する加法性 3)適応的な学習可能性 条件1)は、対象が画像枠内のどこにあっても計測値
(例えば面積)は同じ値で変わらないことを意味してい
る。また、条件2)は、例えば画面上の粒子の計数の場
合を考えてみても明らかなように、全画面を複数部分に
分割したとき、全画面上の計測値は分割画面上の計測値
の和となることを意味している。さらに、条件3)は、
この発明の目的である汎用性のための条件として重要で
ある。
1) Invariance related to translation 2) Additivity regarding screen 3) Adaptive learning possibility Condition 1) is that the measurement value (for example, area) does not change at the same value regardless of where the object is in the image frame. Means. Condition 2) is, for example, that, when the entire screen is divided into a plurality of parts, the measured value on the entire screen is equal to the measured value on the divided screen, as is clear from the case of counting particles on the screen. Means sum. Furthermore, condition 3) is
This is important as a condition for versatility that is the object of the present invention.

上記基本的な条件1)〜3)を満たすために、次のF1
及びF2の2段階で成る特徴抽出を考える。
To satisfy the above basic conditions 1) to 3), the following F1
And F2 feature extraction in two stages.

F1:全画面に対して、条件1)及び2)を満たす一般的
で基本的な特徴を初期特徴として多数抽出する(幾何学
的特徴抽出)。
F1: A large number of general basic features satisfying the conditions 1) and 2) are extracted as initial features for all the screens (geometric feature extraction).

F2:上記初期特徴を線形結合することによって、様々な
用途に対して最適な特徴を学習によって適応的に抽出す
る(統計的特徴抽出)。
F2: The optimal features for various applications are adaptively extracted by learning by linearly combining the initial features (statistical feature extraction).

例えば、F1の幾何学的特徴抽出としては、N次自己相
関の考えに基づく局所自己相関マスクによる特徴抽出
(特公昭58−47064号参照)を利用することができる。
また、F2の統計的特徴抽出は、多変量解析における線形
回帰分析等の手法を用いて実現することができる。統計
的特徴抽出F2における線形結合は、前記条件2)を保持
するために必要である。
For example, as the geometric feature extraction of F1, feature extraction using a local autocorrelation mask based on the concept of N-order autocorrelation (see Japanese Patent Publication No. 58-47064) can be used.
Further, the statistical feature extraction of F2 can be realized using a method such as linear regression analysis in multivariate analysis. The linear combination in the statistical feature extraction F2 is necessary to maintain the condition 2).

前記F1及びF2の2段階の特徴抽出に基づく第2図に示
すようなこの発明の計測概念は、画像計測の上記基本条
件1)〜3)を満たし、構造が簡単で装置化の容易な並
列的・適応的な計測方式となり、種々の用途に対して高
速な学習によって適応的に画像計測が可能となる。
The measurement concept of the present invention as shown in FIG. 2 based on the two-stage feature extraction of F1 and F2 satisfies the above-mentioned basic conditions 1) to 3) of image measurement, and has a simple structure and is easy to implement as a parallel device. It becomes a dynamic and adaptive measurement method, and image measurement can be adaptively performed by high-speed learning for various applications.

この発明の計測装置は上記作用に基づいて、2次元パ
ターンの画像計測を汎用的にかつ高速実時間で行なうも
のである。
The measuring apparatus of the present invention performs image measurement of a two-dimensional pattern in a general-purpose and high-speed real-time manner based on the above-described operation.

(実施例) 先ずこの発明の計測原理について図面を参照して説明
する。
Embodiment First, the measurement principle of the present invention will be described with reference to the drawings.

第3図に示すように計測対象は、TVカメラ(たとえば
CCD)1を通して画像枠内の濃淡(多値)画像として捕
えられる。この計測方式は濃淡画像(信号SG1)に対し
てもそのまま適用可能であるが、実際の画像計測では主
に計測対象の形に関して2値画像を取扱うことが多いこ
とを考慮して、ここでは特に2値化回路2で2値化され
た2値画像で考える。この場合、濃淡画像は2値化回路
2で所定の閾値を境に対象領域(値1:黒地)と背景領域
(値0:白地)に2値化され、画像メモリ(M×M画素)
3に入力される。
As shown in FIG. 3, the measurement object is a TV camera (for example,
The image is captured as a grayscale (multi-valued) image in the image frame through the CCD 1. This measurement method can be applied to gray-scale images (signal SG1) as it is. However, in actual image measurement, binary images are mainly handled mainly for the shape of the measurement target. Consider a binary image binarized by the binarization circuit 2. In this case, the grayscale image is binarized by a binarization circuit 2 into a target area (value 1: black background) and a background area (value 0: white background) at a predetermined threshold, and an image memory (M × M pixels)
3 is input.

画像枠内(画像メモリ3上、以下簡単に画面上ともい
う)に捕えられた画像f()(ここに、=(i,j)
は画面上の位置を表わす2次元ベクトル)に対して、初
期特徴の抽出を幾何学的特徴抽出部4で行なう。抽出さ
れる特徴は具体的には次に示すN次自己相関関数(工業
技術院電子技術総合研究所 昭和56年7月発行 電子技
術総合研究所研究報告 第818号参照)である。なお、
以下アンダーラインはベクトルを示している。
An image f ( r ) (here, r = (i, j)) captured in an image frame (in the image memory 3, hereinafter simply referred to as a screen)
Is extracted by the geometric feature extraction unit 4 for the two-dimensional vector representing the position on the screen. Specifically, the extracted feature is an N-order autocorrelation function (see the Electronic Technology Research Institute, Research Report No. 818, issued in July 1981). In addition,
Hereinafter, the underline indicates a vector.

初期特徴の抽出は上記(1)式の考えに基づくもので
あり、位置不変、つまり対象の画像枠内の任意の平行移
動f()→f()に関して不変な特徴を示して
いる。ただし、変位方向( 1,… )の取り方は無数
に考えられるが、実際的な観点から例えばNを2次まで
に、また前記条件2)を満たすために変位方向に参照点
周りの局所3×3方向にすれば良い。第4図は局所変
位方向の例を示している。この場合、(1)式のN次自
己相関関数は、全画面を3×3の局所枠(中心)で一
度走査することによって計算される。2値画像の場合、
これは明らかにf()f( )…f(
)=1となる回数、つまり3×3の局所枠上のある
関数にある(N+1)画素が全て“1"となる局所パター
ンが全画面に幾つ存在するかを計数していることにな
る。そのような(N+1)画素点の局所パターンは、単
純に考えると3×3=9通りから(N+1)点を選ぶ組
み合せの数(2次までの場合、N=0,1,2)だけ存在す
るが、走査を考えると局所枠内で互いに平行移動で移り
合うパターンは同値であり、結局2次までの独立なパタ
ーンは第5図に示す25通りとなる。第5図のパターンに
おいて、「1」は調べるべき画素を、「*」は無視する
画素を表わしており、これらのパターンを局所自己相関
マスクとよぶ。これらのマスクMj(j=1〜25)を用い
て全画面を一度走査し、それぞれの積和を求めることに
より、Mjに対応する25通りの局所自己相関係数xjが初期
特徴として得られるが、その計算の手順を第6図のステ
ップS1〜S3に示す。また、計算回路方式についての詳細
は特公昭58−47064号公報に述べられている。
The extraction of the initial feature is based on the idea of the above equation (1), and shows a position invariant, that is, a feature that is invariant with respect to any translation f ( r ) → f ( r + b ) within the target image frame. I have. However, the displacement direction (a 1, ... a N) how to take are countless idea, a practical point of view, for example, from N to up to the second order, and the reference point in the displacement direction in order to satisfy the condition 2)
What is necessary is just to set it to the local 3x3 direction around r . FIG. 4 shows an example of the local displacement direction. In this case, the Nth-order autocorrelation function of the equation (1) is calculated by scanning the entire screen once with a 3 × 3 local frame (center r 1 ). For binary images,
This apparently is f (r) f (r + a 1) ... f (r +
a N ) = 1, that is, counting the number of local patterns in the entire screen where all (N + 1) pixels in a certain function on a 3 × 3 local frame are “1”. Become. Such a local pattern of (N + 1) pixel points exists in the number of combinations for selecting (N + 1) points from 3 × 3 = 9 ways (N = 0, 1, 2 for up to second order) when simply considered. However, in consideration of scanning, patterns that move by parallel movement within the local frame have the same value, and after all, there are 25 independent patterns up to the second order shown in FIG. In the pattern of FIG. 5, "1" indicates a pixel to be examined, and "*" indicates a pixel to be ignored. These patterns are called local autocorrelation masks. Once scanning the entire screen by using these mask M j (j = 1~25), by obtaining the respective product-sum, local autocorrelation coefficients x j of the 25 types corresponding to M j as the initial feature The procedure of the calculation is shown in steps S1 to S3 in FIG. The details of the calculation circuit system are described in JP-B-58-47064.

幾何学的特徴抽出部4からの初期特徴xjは統計的特徴
抽出部5に入力されるが、次にここでの適応的特徴抽出
としての統計的特徴抽出(F2)について説明する。
The initial feature x j from the geometric feature extraction unit 4 is input to the statistical feature extraction unit 5, and next, the statistical feature extraction (F2) as the adaptive feature extraction will be described.

上記のように得られた初期特徴xjは、計測課題に依存
しない一般的で基本的な特徴となっている。しかし、計
測課題に必要な対象画像の情報は全体として抽出してい
る。従って、これらの線形結合は、第7図に示すような
構成で によって、計測課題に有効な新しい特徴(計測値そのも
のあるいは予測近似値)としてのyiを求める。ここで、
Mは同時に計測する計測値の個数を表わしている。初期
特徴xj及び新特徴yiをそれぞれ縦ベクトル=(x1,…x
25)′及び=(y1,…yn)′にまとめて、係数行列A
=[aij]′を用いると、上記(2)式は、 =A′ ………(2′) と簡単に表わされる(ここに、「′」は転置を表わして
いる)。ここに、係数Aは問題によっては自明に求めら
れることがある。例えば、2値画像で捕えられた計測対
象の面積は0次の自己相関係数(マスクM1)が“1"の画
素数を計数していることから、明らかにy1=x1で求ま
る。さらに、論理的な考察によってその他の計測値も線
形結合で表わされることがある。しかし、このような人
為的方法は大変であり一般的ではない。そこで、この発
明では、汎用的な方式として学習によって自動的に最適
な係数Aを求めることを考え、そのために第8図に示す
ような多変量解析手法を用いている。
The initial features x j obtained as described above are general and basic features that do not depend on the measurement task. However, information on the target image necessary for the measurement task is extracted as a whole. Therefore, these linear combinations are constructed in a configuration as shown in FIG. Thus, y i as a new feature (measured value itself or predicted approximate value) effective for the measurement task is obtained. here,
M represents the number of measurement values measured simultaneously. The initial feature x j and the new feature y i are respectively represented by a vertical vector x = (x 1 ,.
25 ) ′ and y = (y 1 ,..., Y n ) ′.
= [A ij ] ′, the above equation (2) can be simply expressed as y = A ′ x (2 ′) (where “′” indicates transposition). Here, the coefficient A may be found trivially depending on the problem. For example, the area of the measurement object captured in the binary image is clearly obtained as y 1 = x 1 because the zero-order autocorrelation coefficient (mask M 1 ) counts the number of pixels of “1”. . In addition, other measurements may be represented by linear combinations due to logical considerations. However, such artificial methods are difficult and uncommon. Therefore, in the present invention, it is considered that the optimum coefficient A is automatically obtained by learning as a general-purpose method, and for this purpose, a multivariate analysis method as shown in FIG. 8 is used.

多変量解析手法の1つである重回帰分析、特に計測課
題に有効で直接的な手法である。いま、学習に用いる計
測対象画像の集合をG=fi(r),(ただし、i=1〜
L)として、画像f1に対する正しい計測ベクトルを
とすると共に、ステップS10で計算された初期特徴ベク
トルを (従って、出力は =A′ )とする。
このとき、重回帰分析により最適な係数Aは次の平均2
乗誤差によって を最小にするようにステップS12で求められ、最適解は
次式(4)で陽に与えられる。
This is an effective and direct method for multiple regression analysis, one of the multivariate analysis methods, especially for measurement tasks. Now, a set of measurement target images used for learning is represented by G = f i (r), where i = 1 to
As L), a correct measured vector for the image f 1 z i
And the initial feature vector calculated in step S10 is x i (the output is y i = A ′ x 1 ).
At this time, the optimum coefficient A is obtained by the following average 2 by multiple regression analysis.
By the squared error Is minimized in step S12, and the optimal solution is explicitly given by the following equation (4).

A=Rxx -1Rxz ………(4) ここに、 は、それぞれ初期特徴 の自己相関行列,入力データ
の相互相関行列である。また、−1乗は逆行
列を表わしている。
A = R xx -1 R xz (4) where Are the autocorrelation matrix of the initial feature x i and the input data, respectively.
a cross-correlation matrix of x i and z i. The -1 power indicates an inverse matrix.

このように学習によってステップS11及びS12で得られ
た係数Aを用いて、以後第3図のシステムは(2′)式
により、入力画像f()に対して計測ベクトルの良い
推定を行なうことができる。もし正しい計測ベクトル
が前記(2)式の形で書ける場合には、学習によって
正しい係数Aが自動的に求まることになる。
Using the coefficient A obtained in steps S11 and S12 by the learning as described above, the system shown in FIG. 3 performs a good estimation of the measurement vector with respect to the input image f ( r ) according to the equation (2 '). Can be. If the correct measurement vector z
If i can be written in the form of the above equation (2), the correct coefficient A is automatically obtained by learning.

計測対象の認識も同様に可能である。重回帰分析の場
合には、計測ベクトル( 及び)を認識対象のクラ
スを区別するコードと考えて、同様な学習を行なえばよ
い。例えば2クラスからなる対象の認識の場合、学習モ
ードではクラス1に対して=(1,0)′、クラス2に
対して=(0,1)′として係数Aを学習する。そし
て、認識モードでは、認識部6は入力対象画像に対して
得られた=(y1,y2)′について特徴y1とy2の値を比
較し(ステップS22)、特徴yiが大きいならばクラス
1、逆ならばクラス2と識別することによって認識を行
なう。多(K)クラスの場合も同様である。このよう
に、認識の場合には特徴yiの最大値検出などの識別処理
が必要になる。
The recognition of the measurement object is also possible. When the multiple regression analysis, consider distinguishing code of the recognition target class measurement vector (z i and y), may be performed similar learning. For example, in the case of recognizing an object composed of two classes, in the learning mode, the coefficient A is learned with z = (1, 0) 'for class 1 and z = (0, 1)' for class 2. Then, in the recognition mode, the recognition unit 6 compares the value of the feature y 1 and y 2 for obtained for the input target image y = (y 1, y 2 ) '( step S22), and is characterized y i Recognition is performed by discriminating class 1 if it is large, and class 2 if it is not. The same applies to the case of the many (K) class. As described above, in the case of recognition, identification processing such as detection of the maximum value of the feature y i is required.

また、認識のための係数Aの学習として、判別分析を
用いることもできる。この場合には、ベクトルが空間
としてKクラスを最適に分離するように、係数Aは次の
固有値問題の解(固有ベクトル)として求まる。
Also, discriminant analysis can be used as learning of the coefficient A for recognition. In this case, the coefficient A is obtained as a solution (eigenvector) of the next eigenvalue problem so that the vector y optimally separates the K class as a space.

XBA=XWAΛ ………(6) (A′XWA=I) ここに、Λは固有値対角行列,Iは単位行列である。ま
た、XW,XBはそれぞれ初期特徴ベクトルのクラス内、
クラス間共分散行列であり、次式で定義される。
To X B A = X W AΛ ......... (6) (A'X W A = I) where, lambda is the eigenvalue diagonal matrix, I is the identity matrix. X W and X B are in the class of the initial feature vector x , respectively.
This is an inter-class covariance matrix and is defined by the following equation.

ここに、ωj, j,Xjはそれぞれクラスjの生起確率,
平均ベクトル,共分散行列,また は全平均ベクトル
である。この判別分析の場合の識別方式としては、例え
ば入力()から各クラスの平均ベクトル( =A′
)への距離を計算して、最小距離を与えるクラスに
入力を識別する方式が考えられる。
 Where ωj, j, XjAre the occurrence probabilities of class j, respectively.
Mean vector, covariance matrix, TIs the overall mean vector
It is. As an identification method in the case of this discriminant analysis, for example,
Input (y) To the average vector of each class ( j= A '
j) To calculate the distance to the class that gives the minimum distance
A method for identifying the input is conceivable.

上記計測原理は、モデルによって位相数学におけるオ
イラーの公式がほとんど近似できることを示している。
重要なことは、オイラーの公式を(プログラムとして)
教えたのではなくて、本方式によるシステムが学習例か
ら自動的に学んだことである。
The above measurement principle shows that Euler's formula in topological mathematics can be almost approximated by the model.
Importantly, Euler's formula (as a program)
Rather than teaching, this system automatically learned from the learning examples.

この発明の画像計測装置は上述した計測原理に基づい
ており、その一実施例を第1図に示して説明する。
An image measuring apparatus according to the present invention is based on the above-described measuring principle, and one embodiment thereof will be described with reference to FIG.

工業用テレビカメラ101は計測対象100を撮像し、2次
元画像ISを時系列的に逐次出力して、サンプリング回路
102及び出力画合成切換回路154に送る。サンプリング回
路102は、タイミング発生回路103からのクロックCLKに
従って逐次映像画像ISをディジタル値(ここでは2値)
に変換する。クロックCLKは、全画面を水平320画素、垂
直240画素とした場合、約6MHzである。サンプリング回
路102からの2値画像BPは、出力画合成切換回路154及び
第9図に詳細を示すような部分画像切出回路110に入力
され、部分画像切出回路110では画像の1水平ライン分
ずつの遅延を行なうシフトレジスタ111〜114に入力され
ることにより、時系列的な2値画像BPは5×5=25画素
の並列画像データa11〜a55に変換される。これら並列画
像データa11〜a55から9画素が選択されるが、この選択
は出力の9画素を第10図のP1〜P9とすると次の表1のよ
うにすることにより、第11図(A)に示すような3×3
の正方形の9画素又は同図(B)に示すような5×5の
正方形の9画素が出力される。このように、マスクパタ
ーンと対象画像の大きさの関係を相似形のまま変更する
ことができる。さらに7×7,9×9と大きくすることも
回路を追加することにより容易に実現できる。また、マ
スクパターンを複数組用意することで、並列的に同時処
理も可能である。これらの機能により対象パターンの大
きさに対応して撮像系の倍率を変更することなく適切な
大きさのマスクパターンにより特徴を抽出することがで
きる。
The industrial television camera 101 captures an image of the measurement target 100 and sequentially outputs a two-dimensional image IS in a time-series manner.
102 and the output image synthesis switching circuit 154. The sampling circuit 102 sequentially converts the video image IS into digital values (here, binary values) according to the clock CLK from the timing generation circuit 103.
Convert to The clock CLK is about 6 MHz when the entire screen is made up of 320 horizontal pixels and 240 vertical pixels. The binary image BP from the sampling circuit 102 is input to an output image synthesizing switching circuit 154 and a partial image extracting circuit 110 as shown in detail in FIG. 9, and the partial image extracting circuit 110 outputs one horizontal line of the image. The time-sequential binary image BP is converted into parallel image data a 11 to a 55 of 5 × 5 = 25 pixels by being input to the shift registers 111 to 114 that perform the delay by each time. Nine pixels are selected from the parallel image data a 11 to a 55. This selection is made by setting the output nine pixels to P 1 to P 9 in FIG. 3 × 3 as shown in FIG.
9 or 9 pixels of a 5 × 5 square as shown in FIG. In this way, the relationship between the mask pattern and the size of the target image can be changed while maintaining a similar shape. Further, it can be easily increased to 7 × 7, 9 × 9 by adding a circuit. Further, by preparing a plurality of sets of mask patterns, simultaneous processing can be performed in parallel. With these functions, it is possible to extract features using a mask pattern of an appropriate size without changing the magnification of the imaging system in accordance with the size of the target pattern.

画素の選択はCPU150等で成る制御部からの選択信号SL
によって、たとえば第12図に示すマルチプレクサ115で
行なわれる。たとえば画素a11又はa22のいずれかが選択
されて出力される。
Selection of a pixel is performed by a selection signal SL from a control unit including the CPU 150 and the like.
, For example, by the multiplexer 115 shown in FIG. For example one of the pixels a 11 or a 22 is selected and output.

上述の如くして切出された映像DPは相関回路160内の
マッチング回路120に入力され、平行移動不変の意味で
の自己相関マスクとの相関をとる。マッチング回路120
は窓信号発生回路140で発生された窓信号WSの範囲でマ
ッチングをとるので、先ず窓信号発生回路140について
説明する。窓信号発生回路140の構成は第13図に示すよ
うになっており、ここでは簡単のため映像信号のうち第
14図の斜線部分(窓)のみの処理をするための回路を構
成した例を説明する。タイミング発生回路103より水平
同期信号HD,垂直同期信号VD及びクロックCLKを入力し、
カウンタ141及び145でX座標XS及びY座標YSを生成す
る。すなわち、カウンタ141は水平同期信号HDをクリア
信号としてクロックCLKを計数し、カウンタ145は垂直同
期信号VDをクリア信号として水平同期信号HDを計数す
る。カウンタ141の出力XS及びカウンタ145の出力YSはそ
れぞれデジタルコンパレータ142,143及び146,147で制御
部に設定されている第14図に示す座標値X1,X2及びY1,Y2
と比較された後、アンド回路144,148及び149でX1≦X座
標XS≦X2,Y1≦Y座標YS≦Y2の場合のみ窓信号WSがアン
ド回路149から出力される。すなわち、カウンタ141の出
力XSが設定値X1及びX2の間にあるときにアンド回路144
の出力AN1は“1"となり、カウンタ145の出力YSが設定値
Y1及びY2の間にあるときにアンド回路148の出力AN2は
“1"となり、出力AN1及びAN2が共に“1"のときにアンド
回路149の出力は“1"となる窓信号WSを出力する。した
がって、第14図の斜線部分にあるとき窓信号WSは“1"と
なる。窓信号WSはマッチング回路120に入力されて、マ
ッチングをとる範囲を指定する。窓信号WSが1(または
0のときも可)のときのみ相関ヒストグラムが計数さ
れ、この窓信号WSの終了が計数終了の合図となる。窓信
号WSは対象のみを処理したり、対象の大きさに合せて切
出したり、画面内を次々と任意の間隔で走査したりする
ために使用できるので有効である。
The image DP cut out as described above is input to the matching circuit 120 in the correlation circuit 160, and takes a correlation with an autocorrelation mask in a translation invariant sense. Matching circuit 120
Is matched in the range of the window signal WS generated by the window signal generation circuit 140, so that the window signal generation circuit 140 will be described first. The configuration of the window signal generation circuit 140 is as shown in FIG.
An example in which a circuit for processing only the hatched portion (window) of FIG. 14 is described. The horizontal synchronization signal HD, the vertical synchronization signal VD and the clock CLK are input from the timing generation circuit 103,
The counters 141 and 145 generate an X coordinate XS and a Y coordinate YS. That is, the counter 141 counts the clock CLK using the horizontal synchronization signal HD as a clear signal, and the counter 145 counts the horizontal synchronization signal HD using the vertical synchronization signal VD as a clear signal. The output XS of the counter 141 and the output YS of the counter 145 are coordinate values X 1 , X 2 and Y 1 , Y 2 shown in FIG. 14 which are set in the control unit by digital comparators 142, 143 and 146, 147, respectively.
After being compared, if an AND circuit 144, 148 and 149 of the X 1 ≦ X coordinate XS ≦ X 2, Y 1 ≦ Y coordinate YS ≦ Y 2 only window signal WS is outputted from the AND circuit 149. That is, the AND circuit 144 when the output XS of the counter 141 exists between the set values X 1 and X 2
Output AN1 becomes “1” and the output YS of the counter 145 becomes the set value.
Output AN2 becomes "1" of the AND circuit 148 when it is between Y 1 and Y 2, the window signal WS output from the AND circuit 149 becomes "1" when the output AN1 and AN2 are "1" Output. Therefore, the window signal WS becomes "1" when it is in the shaded portion in FIG. The window signal WS is input to the matching circuit 120, and designates a range for matching. The correlation histogram is counted only when the window signal WS is 1 (or when 0), and the end of the window signal WS is a signal to end the counting. The window signal WS is effective because it can be used to process only the target, cut out according to the size of the target, or scan the screen one after another at arbitrary intervals.

マッチング回路120ではたとえば第5図で示すような
自己相関マスクとのマッチングを、同図における“1"の
部分の論理積をとることによって行なう。これは画像が
多値の場合は、“1"の部分の和でも良い。マスクパター
ンは第5図に示すような3×3の正方形だけでなく、第
15図(A)又は(B)に示すような6角形状パターンで
も構成できる。6角形状パターンによる相関の効果は、
真中の画素を中心に正方形パターンに比べて画素間距離
のバラツキが小さいことと、平行移動不変の意味で独立
なパターンの数が15と少なくでき、第5図の場合に比べ
て効率が上ることなどである。実際の構成としては、走
査線毎にクロックの位相を180度ずらすなどの方法が考
えられる。第16図は、6角形状パターンの平行移動不変
の意味において独立な自己相関マスクの例(No.1〜No.1
5)を示している。パターン中の“1"及び“*”は第5
図の場合と同様である。
In the matching circuit 120, for example, matching with the autocorrelation mask as shown in FIG. 5 is performed by taking the logical product of the "1" portion in FIG. This may be the sum of “1” parts when the image is multi-valued. The mask pattern is not limited to a 3 × 3 square as shown in FIG.
15 A hexagonal pattern as shown in FIG. The effect of the correlation by the hexagonal pattern is
Smaller variations in the pixel-to-pixel distance compared to the square pattern with the center pixel in the center, and the number of independent patterns can be reduced to 15 in the sense of invariant translation, which increases the efficiency compared to the case of Fig. 5. And so on. As an actual configuration, a method of shifting the clock phase by 180 degrees for each scanning line can be considered. FIG. 16 shows examples of independent autocorrelation masks (No. 1 to No. 1) in the sense of invariant translation of a hexagonal pattern.
5) is shown. “1” and “*” in the pattern are the fifth
This is the same as in the case of FIG.

マッチング回路120でマッチングをとられた相関デー
タCLは計数回路130に入力され、自己相関マスクの数だ
けの出力を複数のカウンタで逐次計数され、この計数デ
ータはRAM152に記憶される。RAM152からはいつでも読出
すことができ、データ記憶後に計数回路130のデータは
タイミング信号発生回路103からの水平垂直同期信号に
よって初期化される。
The correlation data CL that has been matched by the matching circuit 120 is input to the counting circuit 130, and the outputs corresponding to the number of the autocorrelation masks are sequentially counted by a plurality of counters. The counted data is stored in the RAM 152. The data can be read from the RAM 152 at any time. After the data is stored, the data of the counting circuit 130 is initialized by the horizontal / vertical synchronization signal from the timing signal generation circuit 103.

また、出力画合成切換回路154はテレビカメラ101から
の映像画像IS及び2値画像BPをCPU150からの切換信号PS
によって切換えて表示すると共に、窓信号WSを必要に応
じて表示できるようになっている。CPU150はROM151に格
納されたプログラムによって、サンプリング回路102,部
分画像切出回路110及び計数回路130の必要な設定を行な
うと共に、学習,演算を行ない、更には計測,出力を行
なう。CPU150にはインタフェイス153を介してキーボー
ド等の入力装置が接続されており、教示データの入力,
学習サンプリングの指示,結果の出力,各種設定の指示
入力が行なわれるようになっている。例えば、切出し画
像サイズ(5×5,3×3)の設定は、マスクパターンNo.
1が対象パターンの面積(大きさ)を表わすので、この
値がある値より大きい場合は5×5を使用し、ある値以
下ならば3×3を使用するというように制限される。
The output image synthesis switching circuit 154 outputs the video image IS and the binary image BP from the television camera 101 to the switching signal PS from the CPU 150.
And the window signal WS can be displayed as needed. The CPU 150 performs necessary settings of the sampling circuit 102, the partial image cutout circuit 110, and the counting circuit 130, performs learning and calculation, and further performs measurement and output by a program stored in the ROM 151. An input device such as a keyboard is connected to the CPU 150 via an interface 153, and input of teaching data,
Instructions for learning sampling, output of results, and instructions for various settings are input. For example, the setting of the cut-out image size (5 × 5, 3 × 3) corresponds to the mask pattern No.
Since 1 represents the area (size) of the target pattern, if this value is larger than a certain value, 5 × 5 is used, and if it is smaller than a certain value, 3 × 3 is used.

このような構成において、テレビカメラ101で撮像さ
れた対象100は、マスクパターンによるマッチングヒス
トグラム(計数値)として25次元のベクトル、つまり初
期特徴xjとして特徴抽出される。窓内のみが計測対象と
なり、窓信号WSの終了毎に初期特徴xjが抽出される。学
習過程では、初期特徴xjが複数個指示に従って教示され
た情報とともにRAM152に記憶される。演算解析過程では
そのメモリ内の複数個のデータが多変量解析の手法で処
理され、以降の計測のためのパラメータが決定される。
計測過程ではそのパラメータによって、未知の対象から
抽出された初期特徴xjに対して判定がされ、計測結果が
出力される。第17図は学習過程のフローを示し、第18図
は演算のフローを示している。また、計測及び出力の工
程は第19図に示すようになっている。
In such a configuration, the object 100 captured by the television camera 101 is 25-dimensional vector as a matching histogram by the mask pattern (count value), is the feature extraction that is, as an initial characteristic x j. Only the inside of the window is to be measured, and the initial feature xj is extracted each time the window signal WS ends. In the learning process, a plurality of initial features x j are stored in the RAM 152 together with information taught according to a plurality of instructions. In the operation analysis process, a plurality of data in the memory are processed by a multivariate analysis technique, and parameters for subsequent measurement are determined.
By the parameter is measured course, been determined for the initial features x j extracted from an unknown object, the measurement result is output. FIG. 17 shows a flow of the learning process, and FIG. 18 shows a flow of the calculation. The steps of measurement and output are as shown in FIG.

次に上述した画像計測装置の実際の適用例を説明する
と、たとえば第20図に示すような「メガネをかけている
顔」と第21図に示すような「メガネをかけていない顔」
を識別させるシステムに適用できる。まず、第20図のメ
ガネをかけた顔」を提示しながらそれぞれが窓内に1コ
だけ入るように窓を設定して、クラス(メガネをかけて
いるかいないか)を教示しながらサンプリングして行
く。サンプリングデータは、25次元のベクトルとクラス
(“1"又は“2")により構成される。次に、これらの顔
をそれぞれ若干の外乱が入るように(例えば微少な角度
変位を与えながら10回ずつ)入力する。第21図の「メガ
ネをかけていない顔」についても同様に、上記動作を行
なう。これで90個の初期特徴xがRAM152に記憶され、学
習過程は終了する。CPU150は、続いて演算過程で判別分
析を行ない、この分析によりメガネをかけている顔/か
けていない顔を判別するのに最適な統計的特徴が抽出さ
れる。第22図では各顔のデータがそれぞれ1つのかたま
りとなって、バラバラにクラス1とクラス2がちらばっ
ているが、第23図(判断分析後)ではクラス1とクラス
2がきれいに分離されていることが分る。これでメガネ
をかけている顔/かけていない顔の判別ができる統計的
特徴が抽出され、未知の顔にも適用できるシステムとな
る。なお、第22図は横軸に第1主成分,縦軸に第2主成
分をとって、主成分分析の結果を表示したものであり、
第23図は横軸に第1射影軸,縦軸に第2射影軸をとっ
て、判別分析の結果を表示したものである。計測(識
別)過程では、未知の顔データについて、Y=A
後、判別空間で各クラスの平均値と識別ルールによりク
ラス(メガネをかけている顔/かけていない顔)の判定
を行なう。結果は、例えばクラス1であれば「メガネを
かけている顔」というテキストを出力する形で行なわれ
る。
Next, an actual application example of the above-described image measuring device will be described. For example, a “face wearing glasses” as shown in FIG. 20 and a “face wearing no glasses” as shown in FIG.
Can be applied to a system that identifies First, while presenting the "face with glasses shown in Fig. 20", set the windows so that each one fits into the window, and sample while teaching the class (whether or not you wear glasses). go. The sampling data is composed of a 25-dimensional vector and a class (“1” or “2”). Next, each of these faces is input so that a slight disturbance enters (for example, 10 times while giving a slight angular displacement). The same operation is performed for the "face without glasses" in FIG. Thus, the 90 initial features x are stored in the RAM 152, and the learning process ends. Subsequently, the CPU 150 performs a discriminant analysis in a calculation process, and a statistical feature optimal for discriminating between a face wearing glasses and a face not wearing is extracted by this analysis. In FIG. 22, the data of each face is one lump, and the class 1 and the class 2 are scattered separately. However, in FIG. 23 (after the judgment analysis), the class 1 and the class 2 are clearly separated. I understand. As a result, a statistical feature capable of discriminating between a face wearing glasses and a face not wearing glasses is extracted, and the system can be applied to an unknown face. FIG. 22 shows the results of principal component analysis with the first principal component on the horizontal axis and the second principal component on the vertical axis.
FIG. 23 shows the results of discriminant analysis, with the horizontal axis representing the first projection axis and the vertical axis representing the second projection axis. Measurement (identification) in the process, for the unknown face data x, after Y = A X, the determination of the class the average value and the identification rules for each class in the discriminant space (the face that does not face / over wearing glasses) Do. The result is, for example, output in the form of a text “face wearing glasses” in the case of class 1.

発明の効果; 以上のようにこの発明の計測装置によれば、装置の使
用者が実際の対象に合せて学習させることにより、装置
自らが自動的にその状況での最適な計測方法を選択して
高速に計測することができるため、どのような手段で識
別すれば良いか判断に迷うようなむずかしい用途にも適
用でき、しかも現場の環境も含めて学習できるため、現
場での外乱要因に強い計測が可能となる。また、窓機
能,マスクの大きさの切替機能等により、効果的で対象
に適応的な特徴抽出能力を提供できるため、適応性だけ
でなく使いやすい装置となっている。さらに、対象が窓
内のどこに存在しても良く、並列計算のため高速実時間
処理が可能であり、適応学習であるため、同じ装置を様
々な用途に適用可能(汎用性)で、どのように計測する
かのアルゴリズムを与える必要がなく、単に例となる画
像とそれに対する答え(求めるべき計測値)を装置に例
示すればよい。
Effect of the Invention As described above, according to the measuring device of the present invention, the user of the device learns according to the actual object, and the device itself automatically selects the most appropriate measuring method in that situation. Measurement can be performed at high speed, so it can be applied to difficult applications where it is difficult to judge what kind of identification should be used, and because it can learn including the environment of the site, it is resistant to disturbance factors at the site Measurement becomes possible. In addition, a window function, a mask size switching function, and the like can provide an effective and adaptive feature extraction capability to a target, so that the device is not only adaptive but also easy to use. Furthermore, the object may exist anywhere in the window, high-speed real-time processing is possible due to parallel computation, and adaptive learning means that the same device can be applied to various uses (versatility). It is not necessary to give an algorithm of whether to perform measurement, and an image as an example and an answer to the image (measured value to be obtained) may be shown to the apparatus.

【図面の簡単な説明】[Brief description of the drawings]

第1図はこの発明の一実施例を示すブロック構成図、第
2図はこの発明の計測基本方式を示す概念図、第3図は
この発明の計測原理を示す構成図、第4図は局所変位方
向を示す図、第5図は2次までの局所自己相関マスクを
示す図、第6図は初期特徴抽出の動作例を示すフローチ
ャート、第7図は統計的特徴抽出の線形結合を示す図、
第8図はそのフロー図、第9図は部分画像切出回路の詳
細図、第10図及び第11図(A),(B)はその出力例を
示す図、第12図は出力部の構成図、第13図は窓信号発生
回路の一例を示す構成図、第14図は窓の座標を説明する
ための図、第15図(A),(B)及び第16図は形状が6
角形の場合の局所自己相関マスクを示す図、第17図は学
習過程を示すフローチャート、第18図は演算を示すフロ
ーチャート、第19図は計測及び出力を示すフローチャー
ト、第20図〜第23図はこの発明装置の適用例を説明する
ための図、第24図は従来の計測方式を示す概念図、第25
図及び第26図は並列的・適応的方式を示す図である。 1,101……テレビカメラ、2……2値化回路、3……画
像メモリ、4……幾何学的特徴抽出部、5……統計的特
徴抽出部、6……識別部、100……計測対象、102……サ
ンプリング回路、103……タイミング発生回路、110……
計数回路、140……窓信号発生回路、150……CPU、151…
…ROM、152……RAM。
FIG. 1 is a block diagram showing an embodiment of the present invention, FIG. 2 is a conceptual diagram showing a basic measuring method of the present invention, FIG. 3 is a structural diagram showing a measuring principle of the present invention, and FIG. FIG. 5 is a diagram showing a displacement direction, FIG. 5 is a diagram showing a local autocorrelation mask up to the second order, FIG. 6 is a flowchart showing an operation example of initial feature extraction, and FIG. 7 is a diagram showing a linear combination of statistical feature extraction. ,
FIG. 8 is a flowchart of the operation, FIG. 9 is a detailed view of the partial image extracting circuit, FIGS. 10 and 11 (A) and (B) are views showing examples of the output, and FIG. FIG. 13 is a block diagram showing an example of a window signal generating circuit. FIG. 14 is a diagram for explaining the coordinates of the window. FIGS. 15 (A), (B) and FIG.
FIG. 17 is a diagram showing a local autocorrelation mask in the case of a square, FIG. 17 is a flowchart showing a learning process, FIG. 18 is a flowchart showing computation, FIG. 19 is a flowchart showing measurement and output, FIG. 20 to FIG. FIG. 24 is a diagram for explaining an application example of the apparatus of the present invention, FIG. 24 is a conceptual diagram showing a conventional measurement method, and FIG.
FIG. 26 and FIG. 26 are diagrams showing a parallel / adaptive method. 1,101 TV camera, 2 binarization circuit, 3 image memory, 4 geometric feature extraction unit, 5 statistical feature extraction unit, 6 identification unit, 100 measurement object , 102 ... sampling circuit, 103 ... timing generation circuit, 110 ...
Counting circuit, 140 ... Window signal generation circuit, 150 ... CPU, 151 ...
... ROM, 152 ... RAM.

───────────────────────────────────────────────────── フロントページの続き 審査官 石井 茂和 (56)参考文献 特開 昭59−34108(JP,A) 特公 昭58−47064(JP,B2) (58)調査した分野(Int.Cl.6,DB名) G06T 7/60 JICST科学技術文献データベース──────────────────────────────────────────────────続 き Continued on the front page Examiner Shigekazu Ishii (56) References JP-A-59-34108 (JP, A) JP-B-58-47064 (JP, B2) (58) Fields investigated (Int. Cl. 6 , DB name) G06T 7/60 JICST Science and Technology Literature Database

Claims (4)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】計測対象を2次元的に撮像する撮像手段
と、計測範囲を指示する窓信号を前記撮像手段の映像信
号の出力と同期させて発生する窓信号発生手段と、N次
自己相関を取るための大きさの異なる複数組の自己相関
マスクパターンを持ち、前記撮像手段により出力される
映像信号の中から前記窓信号の範囲内で複数組の局所的
画像を時系列的に切出す画像切出手段と、前記画像切出
手段からの局所的画像及び前記選択された自己相関マス
クパターンに基づいてN次自己相関係数値を演算する相
関演算手段と、学習モードの場合に、クラスを教示する
教示手段により設定された教示データとともに前記相関
演算手段により演算されたN次自己相関係数値を前記窓
信号の発生毎に記憶する記憶手段と、前記記憶手段に記
憶された複数のN次自己相関係数値及び教示データを重
回帰分析により解析して前記計測対象のクラスを認識す
るための統計的特徴値を演算すると共に、前記N次自己
相関係数値を線形統合して前記統計的特徴値を得る際の
係数を演算する統計的特徴演算手段と、計測モードの場
合に、未知の計測対象に対して前記相関演算手段により
演算されたN次自己相関係数値を前記係数を用いて線形
統合した特徴値と前記統計的特徴値とから、前記未知の
計測対象のクラスを自動的に認識する認識手段とを具備
したことを特徴とする適応学習型汎用画像計測装置。
1. An image pickup means for two-dimensionally picking up an image of a measurement object, a window signal generation means for generating a window signal indicating a measurement range in synchronization with an output of a video signal of the image pickup means, and an N-order autocorrelation. And has a plurality of sets of autocorrelation mask patterns of different sizes for extracting the local image from the video signal output by the imaging means in time series within the range of the window signal. Image extracting means, correlation calculating means for calculating an Nth-order autocorrelation coefficient value based on the local image from the image extracting means and the selected autocorrelation mask pattern, and a class for learning mode. Storage means for storing the Nth autocorrelation coefficient value calculated by the correlation calculation means together with the teaching data set by the teaching means to be taught each time the window signal is generated; and a plurality of Nth autocorrelation values stored in the storage means. The self-correlation coefficient value and the teaching data are analyzed by multiple regression analysis to calculate a statistical feature value for recognizing the class to be measured, and the Nth autocorrelation coefficient value is linearly integrated to obtain the statistical feature value. A statistical feature calculating means for calculating a coefficient for obtaining a value, and in the case of a measurement mode, an N-order autocorrelation coefficient value calculated by the correlation calculating means for an unknown measurement object is linearly calculated using the coefficient. An adaptive learning type general-purpose image measurement apparatus, comprising: a recognition unit for automatically recognizing the unknown measurement target class from the integrated characteristic value and the statistical characteristic value.
【請求項2】前記統計的特徴演算手段が、前記重回帰分
析の代わりに判別分析を用いるようになっている請求項
1に記載の適応学習型汎用画像計測装置。
2. The adaptive learning type general-purpose image measuring apparatus according to claim 1, wherein said statistical feature calculating means uses discriminant analysis instead of said multiple regression analysis.
【請求項3】前記映像信号をサンプリングして2値化す
る手段と、前記撮像した画像、前記2値化された画像及
び/又は前記窓信号を表示する手段とを具備した請求項
1に記載の適応学習型汎用画像計測装置。
3. The apparatus according to claim 1, further comprising: means for sampling and binarizing the video signal; and means for displaying the captured image, the binarized image and / or the window signal. Adaptive learning type general-purpose image measurement device.
【請求項4】前記自己相関マスクパターンが6角形状で
ある請求項1に記載の適応学習型汎用画像計測装置。
4. The adaptive learning type general-purpose image measuring apparatus according to claim 1, wherein said autocorrelation mask pattern has a hexagonal shape.
JP63255679A 1988-10-11 1988-10-11 Adaptive learning type general purpose image measurement device Expired - Fee Related JP2834153B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP63255679A JP2834153B2 (en) 1988-10-11 1988-10-11 Adaptive learning type general purpose image measurement device
DE68928895T DE68928895T2 (en) 1988-10-11 1989-10-05 Method and device for universal adaptive learning image measurement and recognition
EP89118529A EP0363828B1 (en) 1988-10-11 1989-10-05 Method and apparatus for adaptive learning type general purpose image measurement and recognition
US08/080,976 US5442716A (en) 1988-10-11 1993-06-24 Method and apparatus for adaptive learning type general purpose image measurement and recognition
US08/353,323 US5619589A (en) 1988-10-11 1994-12-05 Method for adaptive learning type general purpose image measurement and recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP63255679A JP2834153B2 (en) 1988-10-11 1988-10-11 Adaptive learning type general purpose image measurement device

Publications (2)

Publication Number Publication Date
JPH02101591A JPH02101591A (en) 1990-04-13
JP2834153B2 true JP2834153B2 (en) 1998-12-09

Family

ID=17282119

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63255679A Expired - Fee Related JP2834153B2 (en) 1988-10-11 1988-10-11 Adaptive learning type general purpose image measurement device

Country Status (1)

Country Link
JP (1) JP2834153B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5842194A (en) * 1995-07-28 1998-11-24 Mitsubishi Denki Kabushiki Kaisha Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions
JP3970877B2 (en) 2004-12-02 2007-09-05 独立行政法人産業技術総合研究所 Tracking device and tracking method
JP4215781B2 (en) 2006-06-16 2009-01-28 独立行政法人産業技術総合研究所 Abnormal operation detection device and abnormal operation detection method
JP4868530B2 (en) * 2007-09-28 2012-02-01 Kddi株式会社 Image recognition device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5847064A (en) * 1981-09-14 1983-03-18 Dainippon Toryo Co Ltd Epoxy resin powder paint composition
JPS5934108A (en) * 1982-08-20 1984-02-24 Wacoal Corp Form analyzing device

Also Published As

Publication number Publication date
JPH02101591A (en) 1990-04-13

Similar Documents

Publication Publication Date Title
US5619589A (en) Method for adaptive learning type general purpose image measurement and recognition
CN118865042A (en) An efficient robot vision system based on deep learning and multimodal fusion
JP4215781B2 (en) Abnormal operation detection device and abnormal operation detection method
Kuzmanic et al. Hand shape classification using DTW and LCSS as similarity measures for vision-based gesture recognition system
CN105160310A (en) 3D (three-dimensional) convolutional neural network based human body behavior recognition method
JP4603512B2 (en) Abnormal region detection apparatus and abnormal region detection method
CN108573499A (en) A kind of visual target tracking method based on dimension self-adaption and occlusion detection
CN106373146A (en) Target tracking method based on fuzzy learning
KR20210055881A (en) System and method for diagnosing small bowel preparation scale
CN106097381A (en) A kind of method for tracking target differentiating Non-negative Matrix Factorization based on manifold
CN108256462A (en) A kind of demographic method in market monitor video
Satybaldina et al. Deep learning based static hand gesture recognition
JP2982814B2 (en) Adaptive learning type general-purpose image measurement method
JP2834153B2 (en) Adaptive learning type general purpose image measurement device
CN117253059A (en) A part identification method based on improved template matching method
Singh et al. Wavelet based histogram of oriented gradients feature descriptors for classification of partially occluded objects
CN116704241A (en) A hyperspectral remote sensing image classification method with full-channel 3D convolutional neural network
Kumar et al. Human action recognition from depth sensor via skeletal joint and shape trajectories with a time-series graph matching
Singh et al. AI-driven plant disease detection: leveraging deep learning for accurate plant disease detection from leaf images
CN115170456A (en) Detection method and related equipment
Ahmad Effendi et al. Image Processing for Paddy Disease Detection Using K-Means Clustering and GLCM Algorithm.
CN114283296A (en) Target identification self-evaluation method based on structural similarity
CN115272195A (en) Neural network-based rotary kiln atmosphere definition detection method and system
Patel et al. Robust Facial Emotion Detection in Low-Light Conditions: A Novel Approach Using Real-Time WebSocket Data Transfer
Chek et al. 3D Geometric Shape Recognition System using YOLO v8 Implemented on Raspberry Pi

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071002

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081002

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081002

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081002

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081002

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees