JPS629957B2 - - Google Patents
Info
- Publication number
- JPS629957B2 JPS629957B2 JP54004960A JP496079A JPS629957B2 JP S629957 B2 JPS629957 B2 JP S629957B2 JP 54004960 A JP54004960 A JP 54004960A JP 496079 A JP496079 A JP 496079A JP S629957 B2 JPS629957 B2 JP S629957B2
- Authority
- JP
- Japan
- Prior art keywords
- labeling
- histogram
- memory
- label
- subspace
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired
Links
- 238000002372 labelling Methods 0.000 claims description 67
- 238000000034 method Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 35
- 239000000284 extract Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 241001208007 Procas Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000012192 staining solution Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は染色された微小物体の顕微鏡像のデイ
ジタル化マルチスペクトル画像を色彩により識別
する方式に関するものである。
微小物体を人間の目で識別しやすいように染色
し、その顕微鏡像を計数することが行われている
が、染色された微小物体の色彩を用いて、自動的
に識別し、さらに形状や大きさで分類することに
より、種類別に計数することも試みられている。
第1図はプロカ染色液によつて赤と青に染色さ
れた顕微鏡像の例である。微小物体の染色画像に
おいては、色の濃度が一様な群、中心部が濃く、
周辺部が淡い群ができる。
第1図でいえば斜線部が色の濃い部分で11,
12,14,15は中心部が濃く周辺部分が淡く
染色された群、13が全体的に淡く染色された群
であり、各群の色は表1に示す通りである。
The present invention relates to a method for identifying digitized multispectral images of microscopic stained microscopic objects by color. Microscopic objects are dyed so that they can be easily identified by the human eye, and their microscopic images are counted. Attempts have also been made to count each type by classifying them by size. Figure 1 is an example of a microscopic image stained red and blue with Proca staining solution. In stained images of minute objects, the color density is uniform, the center is dark,
A cluster with pale peripheral areas is formed. In Figure 1, the shaded area is the dark colored area 11,
Groups 12, 14, and 15 are dyed darkly in the center and lightly dyed in the periphery, group 13 is dyed lightly overall, and the colors of each group are as shown in Table 1.
【表】
第1図を人間の目で識別すると、赤く染色され
ている群、青く染色されている群、うす赤で染色
されている群をそれぞれ(イ)、(ロ)、(ハ)でクラス分け
し第4図の結果を得ることができる。第4図の群
は表2で示す通りに識別されている。自動的に識
別された結果も第4図と同様であることが望まれ
る。[Table] When identifying Figure 1 with the human eye, the groups stained red, those stained blue, and the groups stained pale red are labeled (A), (B), and (C), respectively. The results shown in Figure 4 can be obtained by classifying the results. The groups in FIG. 4 are identified as shown in Table 2. It is desired that the automatically identified result is also similar to that shown in FIG.
【表】
従来、これを行うために用いられている方式の
一例を以下に述べる。
第1図の顕微鏡像を充分細かい二次元格子に分
割し、各格子点(画素)における明度の原色成分
(例えば、赤、緑、青の三原色成分)をデイジタ
ル化しマルチスペクトル画像データとする。次に
各画素の明度及び色度値を式(1)により計算する。
(R,G,Bは三原色成分、a1,a2,a3は適当
な定数、lは明度、r,gは色度である。)
各画素の色はl,r,gを座標軸とするユーク
リツド空間中の1点として表わされる。(以下の
文中ではこれを色空間と呼ぶ。)
前記マルチスペクトル画像データの色の分布状
況はその点に対応する色をもつた画素数を色空間
中の各点にもつ三次元ヒストグラムで表わすこと
ができる。
第2図は第1図の画像に対する色空間と同様に
l,r,gを座標軸とする三次元ヒストグラムの
模式図である。
具体的には群11等の赤く染色された中心部分
の画素は第2図・3の付近、青く染色された群1
2の中心部分の画素が4の付近に群11,12等
の周辺部及び群13の画素は5の付近に分布して
いる。
従来技術において第1図の顕微鏡像を識別する
には、第2図の三次元ヒストグラムを考慮しなが
ら領域分けを行い、各領域内に存在する画素をク
ラス分けする。第3図の例では21,22,2
3,24がそれぞれ赤、青、うす赤、うす青を識
別するために設定された領域でそれぞれクラスを
(イ)、(ロ)、(ハ)、(ニ)とする。最初に領域21でクラ
ス
分けすると第5図a―111,114,115が
得られ、領域22でクラス分けすると第5図b―
112が得られる。次に領域23でクラス分けす
ると第5図c―113と中心部分のぬけた群11
11,1114が得られ、領域24でクラス分け
すると第5図d1112が得られる。識別結果は
第5図a,b,c,dを重ね合わせ第5図eとな
り表3に示す通りに識別される。[Table] An example of a method conventionally used to do this is described below. The microscopic image in FIG. 1 is divided into sufficiently fine two-dimensional grids, and the primary color components of brightness (for example, the three primary color components of red, green, and blue) at each grid point (pixel) are digitized to produce multispectral image data. Next, the brightness and chromaticity values of each pixel are calculated using equation (1). (R, G, B are the three primary color components, a 1 , a 2 , a 3 are appropriate constants, l is the brightness, and r, g are the chromaticity.) The color of each pixel is determined using l, r, and g as the coordinate axes. is expressed as a point in Euclidean space. (In the following text, this will be referred to as a color space.) The color distribution of the multispectral image data is represented by a three-dimensional histogram in which each point in the color space has the number of pixels that have the color corresponding to that point. I can do it. FIG. 2 is a schematic diagram of a three-dimensional histogram with coordinate axes of l, r, and g, similar to the color space for the image in FIG. 1. Specifically, the pixels in the central part dyed red in group 11, etc. are near Figure 2 and 3, and in group 1 dyed blue.
The pixels in the central part of 2 are distributed around 4, and the peripheral parts of groups 11, 12, etc., and the pixels of group 13 are distributed around 5. In order to identify the microscopic image shown in FIG. 1 in the prior art, regions are divided while taking into account the three-dimensional histogram shown in FIG. 2, and pixels existing in each region are classified into classes. In the example in Figure 3, 21, 22, 2
3 and 24 are areas set to identify red, blue, light red, and light blue, respectively, and the classes are respectively
(a), (b), (c), and (d). First, if we classify by region 21, we get Figure 5a-111, 114, 115, and if we classify by region 22, we get Figure 5b-
112 is obtained. Next, when classifying by area 23, Fig. 5 c-113 and group 11 with the central part missing.
11, 1114 is obtained, and when classified by region 24, d1112 in FIG. 5 is obtained. The identification result is shown in Table 3, which is shown in FIG. 5e by superimposing FIGS.
【表】
この結果と第4図を比較して第1図11,1
2,14,15のように中心部と周辺部とで色の
濃度差がある場合、その濃度境界の内側と外側で
クラスが分かれてしまう点と14,15のように
接触している群について、1個の群と認識する点
の2つの欠点がみつけられる。前者の欠点の解消
を試みて第3図の21,23を含む大きな領域つ
まり赤とうす赤とが抽出できる領域と22,24
を含む領域、つまり青とうす青とが同時に抽出で
きるような領域とを設定し識別を行つたとしても
結果は第6図のようになり確かに濃度差によりク
ラスが分かれる点は表4に示されるように解消さ
れたが、第1図13の物体のクラスは第4図とは
異なる。[Table] Comparing this result with Figure 4, Figure 11, 1
When there is a difference in color density between the center and the periphery, as shown in numbers 2, 14, and 15, the classes are separated between the inside and outside of the density boundary, and the groups that touch, as shown in numbers 14 and 15, , two drawbacks can be found in the recognition of one group. In an attempt to eliminate the former drawback, a large area including 21 and 23 in FIG. 3, that is, an area where red and light red can be extracted, and 22, 24
Even if an area containing blue and light blue is set and identified at the same time, the result will be as shown in Figure 6. Table 4 clearly shows that the classes are divided based on density differences. However, the object class in FIG. 13 is different from that in FIG. 4.
【表】
結局、色空間の分割によつて識別を行うことに
より識別を行うことは、例え領域の大きさ、位置
を色空間上で様々に変化させても先にも述べた群
の周辺部を抽出しないことと接触している群の分
離ができないことの両者の欠点によつて人間の目
による識別結果第4図と同等の結果を得ることは
できない。
本発明の目的はこのような従来の欠点を除去
し、染色画像においても、その色彩と位置関係を
用いて人間の目による識別結果とかわりない識別
結果を得る方式を提供することにある。
本発明は三次元ヒストグラムにおける処理部分
空間を選択し、指定されたスレシヨールド値より
も大きな値のヒストグラム部分(領域)を抽出し
レーベリングを行い直前の前記処理部分空間にお
ける領域との隣接を検出する抽出制御処理、前記
領域に対応する画像の画素を抽出し、レーベリン
グを行う抽出・レーベリング処理、前記抽出・レ
ーベリング処理結果に対して膨脹を行う膨脹処理
から構成され、前記抽出制御処理、抽出・レーベ
リング処理の処理部分空間を順次明度の高い部分
空間へと移動しながら、抽出結果を重ね合せ抽出
制御処理で検出された隣接する部分空間における
領域間の隣接状況を用いて前記の重ね合せた結果
に対して膨脹処理を行い物体の形状の抽出及びク
ラスの識別を行う色彩画像識別方式が得られる。
本発明の原理を以下に説明する。
染色画像は明るい背景の上に色素を吸収した微
小物体が見られる微生物のようなものの場合、色
素の吸収の程度は中心部分で大きく周辺部分では
小さい。そのため各微小物体は人間が顕微鏡で観
察する場合には微小物体が周辺部で接触している
場合にも中心部分は分離しているために区別する
ことができる。
本発明はこの特徴を利用している。即ち第1図
の例の場合、色空間の三次元ヒストグラムは第2
図のように分布しているが例えば4の部分は明度
が低く色の青い部分であつて第1図の青い微小物
体12の中心部分の画素に対応している。同じく
3の部分は明度が低く色の青い部分であつて第1
図の赤い微小物体11,14,15の中心部分の
画素に対応している。これに対して5の部分は淡
い色の部分であり青い微小物体12、及び赤い微
小物体11,14,15の周辺部及び淡い微小物
体13の全体に対応しており色情報だけではクラ
ス分けのできない部分である。そのためにこの淡
い色の部分のクラス分けにはデイジタル化画像に
おける位置関係を利用しなければならない。即ち
赤い微小物体の周辺に存在する部分はクラス(イ)の
一部であり、青い微小物体の周辺に存在する部分
はクラス(ロ)の一部でありどちらでもなく独立して
存在する部分はクラス(ハ)の一部である。
このような認識を行うためにはまず物体の中心
部分を抽出し、それを周囲に伝播させることによ
り初めて物体の正しい形を求めるような処理を実
行すればよい。更に先に述べたように物体の中心
部分は濃く染色され明度が低いことがわかつてい
るから中心部分の抽出は明度の低い画素を検出
し、分類して行くことによつて実現することがで
きる。これは具体的には第2図の三次元ヒストグ
ラムを第7図のように明度の異なる層に分割し低
明度の層から値を持つ部分を追跡することによつ
て行われる。これを詳しく説明するため三次元ヒ
ストグラムを3つの明度の異なる層に分割して示
したのが第7図であり、わかりやすいように各層
を離して図示したのが第8図であり、各層におけ
る識別結果が第9図である。
まず初めに第8図31の層に対して処理を行う
がこの層のヒストグラム値の高い部分は41,4
2の部分でこれは各々赤い画素、青い画素に対応
する色度領域を示している。
31のように低明度の層において色度領域4
1,42に対応する画素とは染色色素が集中して
いる顕微鏡像の中心部分の画素である。
41,42の領域にクラス(イ)、(ロ)を割りあて対
応する顕微鏡像の画素を抽出し、クラス分けした
結果が第9図aと表5に示される。[Table] In the end, identification by dividing the color space means that even if the size and position of the region are varied in the color space, the peripheral part of the group mentioned earlier Due to both the disadvantages of not extracting the image and not being able to separate groups that are in contact, it is not possible to obtain a result equivalent to the discrimination result obtained by the human eye in FIG. 4. An object of the present invention is to eliminate such conventional drawbacks and to provide a method for obtaining identification results similar to those obtained by the human eye using the colors and positional relationships of stained images. The present invention selects a processing subspace in a three-dimensional histogram, extracts a histogram part (region) with a value larger than a specified threshold value, performs labeling, and detects adjacency with the region in the immediately preceding processing subspace. The extraction control process includes an extraction control process, an extraction/labeling process that extracts pixels of an image corresponding to the area and performs labeling, and an expansion process that expands the result of the extraction/labeling process. While sequentially moving the processing subspace of the extraction/labeling process to subspaces with higher brightness, the extraction results are superimposed and the above overlap is performed using the adjacency status between regions in adjacent subspaces detected by the extraction control process. A color image classification method is obtained that performs expansion processing on the combined results to extract the shape of the object and identify the class. The principle of the present invention will be explained below. In the case of a stained image of something like a microorganism in which minute objects that have absorbed dye can be seen on a bright background, the degree of dye absorption is large in the center and small in the periphery. Therefore, when each microscopic object is observed by a human using a microscope, even if the microscopic objects are in contact at the periphery, the central portions are separated and can be distinguished. The present invention takes advantage of this feature. In other words, in the example shown in Figure 1, the three-dimensional histogram of the color space is
Although the distribution is as shown in the figure, for example, part 4 is a blue part with low brightness and corresponds to the central pixel of the blue minute object 12 in FIG. Similarly, the part 3 is the blue part with low brightness and is the first
This corresponds to the pixels at the center of the red minute objects 11, 14, and 15 in the figure. On the other hand, the part 5 is a light colored part and corresponds to the blue minute object 12, the peripheral parts of the red minute objects 11, 14, and 15, and the entire pale minute object 13, and it is difficult to classify it using color information alone. This is the part that cannot be done. Therefore, the positional relationship in the digitized image must be used to classify the light-colored portions. In other words, the part that exists around the red minute object is part of class (a), the part that exists around the blue minute object is part of class (b), and the part that exists independently without either is part of class (a). It is part of class (c). In order to perform such recognition, it is sufficient to first extract the central part of the object, and then perform processing to determine the correct shape of the object by propagating it to the surroundings. Furthermore, as mentioned earlier, it is known that the central part of an object is dyed darkly and has low brightness, so extraction of the central part can be achieved by detecting and classifying pixels with low brightness. . Specifically, this is done by dividing the three-dimensional histogram of FIG. 2 into layers of different brightness as shown in FIG. 7, and tracing the portions having values from the low brightness layer. To explain this in detail, Figure 7 shows a three-dimensional histogram divided into three layers with different brightness, and Figure 8 shows each layer separated for easy understanding. The results are shown in Figure 9. First, we will process the layer shown in Figure 8, 31, and the high histogram values of this layer are 41, 4.
Part 2 shows the chromaticity regions corresponding to red pixels and blue pixels, respectively. Chromaticity region 4 in a low brightness layer like 31
The pixels corresponding to 1 and 42 are pixels in the center of the microscope image where the dye is concentrated. Classes (a) and (b) are assigned to regions 41 and 42, the corresponding pixels of the microscope image are extracted, and the results of classification are shown in FIG. 9a and Table 5.
【表】
次に32の層に対して処理を行う。層32の三
次元ヒストグラムにおける領域、43,44に対
応する画素を抽出すると第9図bになる。領域4
3に対しては群131,134,135、領域4
4に対しては群132が対応している。
43,44の領域にクラス(ハ)、(ニ)を割りあてる
と第9図bは表6のようにクラス分けされる。[Table] Next, 32 layers are processed. When pixels corresponding to areas 43 and 44 in the three-dimensional histogram of layer 32 are extracted, the result is shown in FIG. 9b. Area 4
3, groups 131, 134, 135, area 4
Group 132 corresponds to number 4. When classes (c) and (d) are assigned to areas 43 and 44, FIG. 9b is divided into classes as shown in Table 6.
【表】
ここで画像における位置関係を検出するために
層31での識別結果第9図aと層32での識別結
果を重ね合せる。第9図bがその結果である。
また同時にヒストグラムにおいて抽出された領
域43,44が隣接する31の層における領域4
1,42に隣接していることも検出される。
続いて33の層に対して処理を行う。
三次元ヒストグラムの領域45にクラス(ホ)を与
え対応する画素を抽出すると第9図cとなり、第
9図dと重ね合せ第9図eを得る。また領域45
は離接する。層32の43,44に隣接している
ことも検出される。
第9図eは層31から33までで得られた結果
であり、各々の層での領域に与えられたクラスで
表7に示す通りに識別されている。[Table] Here, in order to detect the positional relationship in the image, the identification result in layer 31 (FIG. 9a) and the identification result in layer 32 are superimposed. Figure 9b shows the result. At the same time, regions 43 and 44 extracted in the histogram are adjacent to region 4 in layer 31.
1 and 42 are also detected. Subsequently, 33 layers are processed. When a class (e) is given to the region 45 of the three-dimensional histogram and the corresponding pixels are extracted, the result is FIG. 9c, which is superimposed with FIG. 9d to obtain FIG. 9e. Also area 45
are dissociated. Adjacent to layers 43 and 44 of layer 32 is also detected. FIG. 9e shows the results obtained in layers 31 to 33, which are identified as shown in Table 7 by the classes given to the regions in each layer.
【表】
ここで画像の位置関係と隣接する層のヒストグ
ラムにおいて抽出された領域の位置関係を用いて
膨脹処理を行う。
例えば群141はクラス(イ)、(ハ)、(ホ)で識別され
ているが、これらの三次元ヒストグラムにおける
領域41,43,45の隣接状況を検出する。
45と43の領域が隣接し、43と41の領域
も隣接していることから中心の画素に対してのク
ラス(イ)を周囲に膨脹させる。群142,144,
145についても同様に膨脹させ、群143につ
いては以前の層において対応する色度領域がない
ところから膨脹はなくそのままクラス(ホ)で識別さ
れる。
結果は第9図fで各群は表8に示す通りに識別
される。[Table] Here, expansion processing is performed using the positional relationship of the image and the positional relationship of the areas extracted in the histogram of the adjacent layer. For example, the group 141 is identified by classes (A), (C), and (E), and the adjacency of regions 41, 43, and 45 in these three-dimensional histograms is detected. Since the areas 45 and 43 are adjacent, and the areas 43 and 41 are also adjacent, the class (A) for the central pixel is expanded to the periphery. Groups 142, 144,
Group 145 is expanded in the same way, and group 143 is not expanded since there is no corresponding chromaticity region in the previous layer, and is identified by class (e) as it is. The results are shown in Figure 9f and each group is identified as shown in Table 8.
【表】
このように三次元ヒストグラムにおいて抽出さ
れた領域の位置関係及び抽出された群の位置関係
を用い明度の低い層から高い層へと処理を行つて
いくことで、色情報だけではクラス分けできない
部分においてクラス分けを行うことができ中心部
と周辺部で色の濃度の異なる染色された画像につ
いて周辺部まで抽出できる。また周辺部で接触し
ている場合には分離することができるものであ
る。
本発明の色彩画像識別方式を用いた一実施例を
示しそれについて説明する。
第10図は第7図と同様に三次元ヒストグラム
を61〜66の層に分割した図で各層を以後部分
空間と呼ぶ。本発明方式を用いた色彩画像識別装
置の動作を構成図第11図a〜cと、各部分空間
のヒストグラムおよび各部分空間での識別結果等
の概念図第12図〜第21図を参照しながら説明
する。尚、第11図a,b,c中の1100―1
から1100―23は一般的なオア回路、110
1―1および1101―2は一般的アンド回路で
あり衆知であるので文中では特に説明しない。第
11図aの制御部999は装置全体の制御を行
う。この制御部からはそれぞれ明度、色度、ヒス
トグラム演算モード、抽出制御モード、抽出、レ
ーベリングモード、膨脹処理モードを示す信号
s1,s2,s3,s4、アドレスを指定するp1,p2,
p3、明度を指定するp4および補助信号s20,s21,
s22,s23,s30,s31,s32,s40が出される。最初に
は入力画像について各画素毎の明度、色度、およ
び同一明度、色度をもつ画素の数を計数すること
より三次元ヒストグラムを作成する明度、色度、
ヒストグラム演算モードが実行される。第11図
aのA/D変換器1000に画素のR,G,B成
分のアナログ信号499が入力されるとそれぞれ
デイジタル化され信号500として明度・色度演
算器1001に送られ明度・色度演算器1001
は式(1)に従つて演算された明度l、色度r,gか
ら成る信号501を画像に対して横方向にX軸、
縦方向にY軸をとり各画素を二次元座標で表わし
たときの画素の座標値(X,Y)によるアドレス
498により明度、色度画像メモリー1002に
記憶する。また同時に前記明度、色度信号501
をアドレスとしてヒストグラムメモリー1003
を読み出し、加算器1004でその結果に“1”
を加え、その値を前記同一アドレスで新たにヒス
トグラムメモリー1003に記憶することでヒス
トグラムが作成されていく。このようにして得ら
れた結果は一例として第10図のような概念図に
示されるように分布してヒストグラムメモリー1
003に記憶されることになる。曲線で囲まれた
部分は累積値の大きい部分を示す。ヒストグラム
メモリー1003に記憶された第10図のような
ヒストグラムから抽出制御モードs2に従つてアド
レス信号p2と選択された部分空間の明度幅で変化
する明度信号p3に従つて得られる色度と明度によ
つて、それに対応する部分空間の格子のヒストグ
ラム値が読み出される。読み出される各部分空間
第10図61〜65のヒストグラム値は一例とし
て第12図a〜eのような概念図として示され
る。
抽出制御モードは第11図bの図をもつて説明
する。まず第10図の部分空間61が指定され、
第12図aに示される部分空間61に対応するヒ
ストグラム値が読み出される。比較器1008は
スレシヨールド値T(ここでは一例として10)以
上であれば“1”を、未満であれば“0”を出力
する。部分空間61のヒストグラム値第12図a
には10以上のヒストグラム値はなく従つてそれに
対応する画素はないところから制御部999は次
の部分空間62にヒストグラムの読み出しを行う
ように抽出制御モード信号s2とアドレス信号p2,
p3を送る。部分空間62のヒストグラム第12図
bが比較器1008に読み出され、スレシヨール
ド値“10”と比較される。前記比較結果“0”又
は“1”の二値パターンは信号p2として与えられ
る色度信号(r,g)をアドレスとしてヒストグ
ラム二値メモリー1009に記憶される。このよ
うにして得られた、指定された部分空間における
ヒストグラム二値パターンは抽出制御モード信号
s2における読み出し信号s20とレーベリング処理
器1010より順次発生される対象点とその周囲
の点のアドレス信号に従つて読み出される。読み
出された二値パターン信号503は“1”の連結
部を認識するためにレーベリング処理(レーベリ
ング処理の方式に関しては1976年アカデミツクプ
レス発行デイジタルピクチヤープロセツシング
9,1,3に詳細に示されている)を行う。以下
レーベリング処理について説明する。
レーベリング処理は第13図aで70をその対
象点とした時、図のように対象点が“1”であれ
ばその周囲71を参照し、すべて“0”であるな
ら“0”あるいは“1”以外のレーベルであつて
以前に用いられたレーベル以外のレーベルを付け
る。ここでは例えば“102”を70の点につけ
る。
従つてその結果は第13図bとなる。対象点を
右にずらし、72とするとその周囲73を参照
し、図のように対象点が“1”で周囲に“0”あ
るいは“1”以外のレーベルがあればそのレーベ
ルをつける。対象点が“0”であれば何もせずに
対象点の位置を1つずらす。さらに進み、対象点
として新たな“1”がありかつ前記のような周囲
に“0”,“1”以外のレーベルがなければ次のレ
ーベルとしてここでは“103”をつける。(本装置
では1例として102以上の昇順数でレーベルを与
えていくことにする。)全体についてレーベリン
グ処理を行つた時、結果は第13図cとなる。こ
のレーベリングされた部分はある色についての色
度領域であり、レーベル“102”,“103”はそれに
対して与えられたクラスである。レーベリング処
理器1010では対象点とその周囲の点のr,g
座標によるアドレス信号p21が順次発生されレー
ベリング処理が行われる。
結果は第一ヒストグラムレーベリング結果メモ
リー1011にレーベリング処理器1010より
のアドレス信号p21によつて記憶される。レーベ
リングが終了すると、読み出し信号s21により第
一ヒストグラムレーベリング結果メモリー101
1からアドレス信号p2に従つてレーベリング結果
が読み出され、クラステーブルが第一グラスレー
ベルメモリ1012に作成される。
表9は第1クラスレーベルメモリー1012の
内容例でありクラスレーベルをアドレスとし、そ
れが分布しはじめた明度lとその色度平面上の座
標(r,g)が記憶されている。同時に直前に処
理された部分空間においてクラスレーベルがつけ
られた部分と、現在処理中の部分空間におけるそ
れとの隣接状態が判定され、隣接している場合に
は直前の部分空間におけるクラスのレーベルが、
隣接がない場合には“0”が記憶される。[Table] In this way, by using the positional relationship of the extracted areas and the positional relationship of the extracted groups in the three-dimensional histogram and processing from the lowest to highest brightness layer, it is possible to classify the color information alone. Classification can be performed in areas that cannot be detected, and it is possible to extract even the periphery of a dyed image with different color densities in the center and periphery. Also, if they are in contact at the periphery, they can be separated. An embodiment using the color image identification method of the present invention will be shown and explained. Similar to FIG. 7, FIG. 10 is a diagram in which the three-dimensional histogram is divided into 61 to 66 layers, and each layer is hereinafter referred to as a subspace. The operation of the color image classification device using the method of the present invention is explained with reference to the block diagram of FIGS. 11a to 11c and the conceptual diagrams of the histograms of each subspace and the classification results in each subspace, etc., to FIGS. 12 to 21. I will explain. In addition, 1100-1 in Figure 11 a, b, c
1100-23 is a general OR circuit, 110
1-1 and 1101-2 are general AND circuits and are well known, so they will not be particularly explained in the text. A control section 999 in FIG. 11a controls the entire apparatus. This control unit outputs signals indicating brightness, chromaticity, histogram calculation mode, extraction control mode, extraction, labeling mode, and expansion processing mode, respectively.
s 1 , s 2 , s 3 , s 4 , specifying the address p 1 , p 2 ,
p 3 , p 4 specifying brightness and auxiliary signals s 20 , s 21 ,
s 22 , s 23 , s 30 , s 31 , s 32 , s 40 are issued. First, a three-dimensional histogram is created by counting the brightness, chromaticity, and number of pixels with the same brightness and chromaticity for each pixel of the input image.
Histogram calculation mode is executed. When the analog signal 499 of R, G, and B components of a pixel is input to the A/D converter 1000 in FIG. Arithmetic unit 1001
is a signal 501 consisting of brightness l, chromaticity r, and g calculated according to equation (1) on the X axis in the horizontal direction with respect to the image.
The image is stored in the brightness/chromaticity image memory 1002 at an address 498 based on the coordinate values (X, Y) of each pixel when the Y axis is taken in the vertical direction and each pixel is expressed in two-dimensional coordinates. At the same time, the brightness and chromaticity signals 501
Histogram memory 1003 as address
The adder 1004 adds “1” to the result.
A histogram is created by adding the value to the histogram memory 1003 at the same address. The results obtained in this way are distributed as shown in the conceptual diagram shown in FIG.
It will be stored in 003. The area surrounded by the curve indicates the area where the cumulative value is large. Chromaticity obtained from the histogram as shown in FIG. 10 stored in the histogram memory 1003 according to the address signal p 2 and the brightness signal p 3 that changes with the brightness width of the selected subspace according to the control mode s 2 The histogram value of the lattice of the subspace corresponding to the brightness is read out. The histogram values of the respective subspaces 61 to 65 in FIG. 10 that are read out are shown as conceptual diagrams as shown in FIGS. 12 a to 12, for example. The extraction control mode will be explained using the diagram in FIG. 11b. First, subspace 61 in Fig. 10 is specified,
The histogram values corresponding to the subspace 61 shown in FIG. 12a are read out. The comparator 1008 outputs "1" if the threshold value T (10 as an example) is greater than or equal to the threshold value T, and outputs "0" if it is less than the threshold value T (here, 10 as an example). Histogram value of subspace 61 Fig. 12a
Since there is no histogram value of 10 or more and therefore no corresponding pixel, the control unit 999 uses the extraction control mode signal s 2 and the address signal p 2 , to read out the histogram in the next subspace 62.
Send p 3 . The histogram of the subspace 62 in FIG. 12b is read out to the comparator 1008 and compared with the threshold value "10". The binary pattern of the comparison result "0" or "1" is stored in the histogram binary memory 1009 using the chromaticity signal (r, g) given as the signal p2 as an address. The histogram binary pattern in the specified subspace obtained in this way is the extraction control mode signal
It is read out according to the readout signal s20 at s2 and the address signals of the target point and its surrounding points sequentially generated by the labeling processor 1010. The read binary pattern signal 503 is subjected to labeling processing in order to recognize the concatenated portion of "1" (the method of labeling processing is described in Digital Picture Processing 9, 1, 3, published by Academic Press, 1976). (as shown in detail). The labeling process will be explained below. In the labeling process, when 70 is the target point in Figure 13a, if the target point is "1" as shown in the figure, its surroundings 71 are referred to, and if all are "0", it is set to "0" or " Attach a label other than 1” and other than the previously used label. Here, for example, "102" is assigned to the 70th point. Therefore, the result is shown in FIG. 13b. If the target point is shifted to the right and set to 72, its surroundings 73 are referred to, and if the target point is "1" and there is a label other than "0" or "1" around it as shown in the figure, that label is attached. If the target point is "0", do nothing and shift the position of the target point by one. Proceeding further, if there is a new "1" as the target point and there are no labels other than "0" and "1" around it as described above, "103" is added here as the next label. (In this device, as an example, labels are given in ascending numbers of 102 or more.) When the labeling process is performed on the whole, the result is as shown in FIG. 13c. This labeled part is the chromaticity region of a certain color, and the labels "102" and "103" are the classes given to it. The labeling processor 1010 calculates r and g of the target point and its surrounding points.
Address signals p21 based on coordinates are sequentially generated and labeling processing is performed. The result is stored in the first histogram labeling result memory 1011 by the address signal p21 from the labeling processor 1010. When the labeling is completed, the first histogram labeling result memory 101 is read out by the readout signal s21 .
The labeling results are read from 1 to 1 in accordance with the address signal p2, and a class table is created in the first glass label memory 1012. Table 9 is an example of the contents of the first class label memory 1012, in which the class label is used as an address, and the lightness l at which it begins to be distributed and its coordinates (r, g) on the chromaticity plane are stored. At the same time, the adjacency state between the part to which a class label was attached in the subspace processed immediately before and the part in the subspace currently being processed is determined, and if they are adjacent, the class label in the subspace immediately before is determined.
If there is no adjacency, "0" is stored.
【表】
表9に示す例は部分空間62におけるクラスレ
ーベルについて作成したものであり、まず第1ヒ
ストグラムレーベリング結果メモリー1011か
ら読み出し信号s21によりアドレス信号p2に従つ
てレーベリング結果が読み出される。領域値設定
回路1013では、はじめて送られてきたレーベ
ルであれば、そのレーベルをアドレス信号として
色度値r,gを示す信号p2と部分空間の明度を示
す信号p3とが第一クラスレーベルメモリー101
2に記憶される。次に、クラスレーベルの隣接状
態のチエツクを開始する信号s22により、アドレ
ス信号p2に従つて第一ヒストグラムレーベリング
結果メモリー1011と直前の処理部分空間のヒ
ストグラムにおけるレーベリング結果が記憶され
ている第二ヒストグラムレーベリング結果メモリ
ー1014を順次読み出し比較器1015で比較
し、同アドレスで異なるクラスレーベルがついて
いる場合、現在処理中の部分空間におけるクラス
レーベルをアドレスとして直前の処理部分空間の
隣接するクラスレーベルを書き加えることで第一
クラスレーベルメモリー1012の内容が作成さ
れていく。但し本例では1個のクラスに対して隣
接するクラスの数は3個以内としている。
部分空間62では直前に処理された部分空間に
おけるレーベリング結果はレーベリングすべき
“1”の連結預域はなかつたことからすべて
“0”のレーベルであるから隣接状態のチエツク
では隣接を示すレーベルとして“0”を書き込み
隣接がなかつたことを示し第一クラスレーベルメ
モリー1012には表9の内容が記憶されること
になる。
第一クラスレベルメモリー1012の内容は後
で膨脹処理を行う場合に必要となる。
ヒストグラムレーベリング結果を比較し終つた
ら読み出し信号s23により第一ヒストグラムレー
ベリング結果メモリー、1011の内容を第二ヒ
ストグラムレーベリング結果メモリー、1014
に移送し、第二ヒストグラムレーベリング結果メ
モリー1014の内容を更新しておく。この動作
は読み出し信号s23とアドレス信号p2により行わ
れる。またレーベリング処理器1010は抽出制
御モード実行中に用いられたレーベルの個数と最
大値を記憶しておく。以上が抽出制御モードs2の
動作である。抽出制御モードs2が終了すると抽
出・レーベリングモードs3が選択され前記のヒス
トグラムにおいてクラスレーベルがつけられてい
る色度領域に対応する画素を抽出しレーベリング
処理を行う。但し、抽出は一色度領域毎に行い、
レーベリング処理器1010で記憶されたクラス
レーベルの数だけ抽出、レーベリングモードs3と
くり返すことになる。例としてクラスレーベルの
“102”に対応する画素を抽出しようとすると第1
1図aの明度ヒストグラム画像メモリー1002
から読み出し信号s3によりアドレス信号p1に従つ
て順次画素の明度505色度504が読み出されてく
る。まず比較器1016が明度505と部分空間504
が読み出されてくの明度域p4とを比較し、部分空
間62に分布している画素のみを抽出しその色度
をアドレスとして第1ヒストグラムレーベリング
結果メモリー1011の内容が読み出される。比
較器1017ではレーベリング処理器1010か
ら出されるレーベル値を示す信号508、ここで
は“102”と比較され第一ヒストグラムレーベリ
ング結果メモリーの内容が“102”であれば
“1”が、“0”または異なるレーベルであれば
“0”が出力され、二値画像メモリー1018に
明度、色度画像メモリー1002の読み出しと同
一アドレスp1に従つて記憶される。
明度、色度画像メモリー1002の全画素を読
み出した時点でクラスレーベル“102”に対応す
る画素は第14図aのように抽出される。次に前
記二値画像メモリー1018の内容について、そ
の“1”の連結部分を認識するために抽出制御モ
ードs2でのヒストグラム二値メモリーの内容につ
いてのレーベリング処理と同様にレーベリング処
理器1019で同処理を行うがこの場合アドレス
信号としてレーベリング処理器1019より発生
される信号p11は画像に対する座標値を示すもの
である。またレーベルはクラスレーベルと混合し
ないよう“2”以上の昇順数でつけていき、やは
り最大レーベルの値をレーベリング処理器101
9で管理しておく。第14図aにおいてs30のレ
ーベリングのための読み出し信号によつてレーベ
リング処理器1019で処理を行い結果がレーベ
リング結果画像メモリー1020に記憶される。
第14図aの抽出された各群とそのレーベルが表
10に示される。レーベリングが終了したところで
本処理に用いられたレーベルとクラスレーベルの
対応を示すテーブルを作成するため読み出し信号
s31によりレーベリング結果メモリー1020か
らアドレス信号p1に従つてレーベル509が読み
出される。テーブル作成器1021で表11に示す
ようなテーブルが作成され、レーベル509をア
ドレスとしてクラスレーベル信号506、すなわ
ち“102”が第二クラスレーベルメモリー、10
22に記憶される。[Table] The example shown in Table 9 was created for the class label in the subspace 62. First, the labeling result is read out from the first histogram labeling result memory 1011 using the readout signal s21 according to the address signal p2 . . In the area value setting circuit 1013, if the label is sent for the first time, the signal p2 indicating the chromaticity values r and g and the signal p3 indicating the brightness of the subspace are set as the first class label using the label as an address signal. memory 101
2 is stored. Next, in accordance with the address signal p2 , the labeling result in the histogram of the immediately preceding processing subspace is stored in the first histogram labeling result memory 1011 by the signal s22 that starts checking the adjacent state of the class label. The second histogram labeling result memory 1014 is sequentially read and compared by the comparator 1015, and if different class labels are attached at the same address, the class label in the subspace currently being processed is used as the address for the adjacent class in the immediately previous processing subspace. By adding labels, the contents of the first class label memory 1012 are created. However, in this example, the number of adjacent classes to one class is 3 or less. In the subspace 62, the labeling result in the subspace processed immediately before is a label of all "0" because there is no connected deposit area of "1" to be labeled, so when checking the adjacency state, it is a label indicating adjacency. "0" is written as "0" to indicate that there is no adjacency, and the contents of Table 9 are stored in the first class label memory 1012. The contents of the first class level memory 1012 will be required for later expansion processing. After comparing the histogram labeling results, a readout signal s23 sends the contents of the first histogram labeling result memory 1011 to the second histogram labeling result memory 1014.
The contents of the second histogram labeling result memory 1014 are updated. This operation is performed by the read signal s23 and address signal p2 . The labeling processor 1010 also stores the number and maximum value of labels used during execution of the extraction control mode. The above is the operation of extraction control mode s2 . When the extraction control mode s2 is completed, the extraction/labeling mode s3 is selected, and pixels corresponding to the chromaticity regions to which class labels are attached in the histogram are extracted and labeling processing is performed. However, extraction is performed for each chromaticity region,
The labeling processor 1010 extracts the number of class labels stored in the labeling processor 1010, and repeats the labeling mode s3 . For example, if you try to extract the pixel corresponding to the class label "102", the first
Brightness histogram image memory 1002 in Figure 1a
The lightness 505 and chromaticity 504 of the pixel are sequentially read out in accordance with the address signal p1 by the readout signal s3 . First, the comparator 1016 calculates the brightness 505 and the subspace 504.
is read out and compared with the brightness range p4 , only the pixels distributed in the subspace 62 are extracted, and the contents of the first histogram labeling result memory 1011 are read out using the chromaticity as an address. The comparator 1017 compares the signal 508 indicating the label value output from the labeling processor 1010, here "102", and if the content of the first histogram labeling result memory is "102", "1" becomes "0". ” or if it is a different label, “0” is output, and stored in the binary image memory 1018 according to the same address p 1 as read from the brightness and chromaticity image memory 1002. When all the pixels in the brightness/chromaticity image memory 1002 are read out, the pixels corresponding to the class label "102" are extracted as shown in FIG. 14a. Next, regarding the contents of the binary image memory 1018, a labeling processor 1019 is applied in the same way as the labeling process for the contents of the histogram binary memory in the extraction control mode s2 in order to recognize the connected portion of "1". The same processing is performed in , but in this case, the signal p11 generated by the labeling processor 1019 as an address signal indicates the coordinate value for the image. In addition, labels are assigned in ascending order of numbers greater than or equal to "2" so as not to be mixed with class labels, and the value of the maximum label is assigned to the labeling processor 101.
Manage it with 9. In FIG. 14a, a labeling processor 1019 performs processing according to the readout signal for labeling at s 30 and the result is stored in a labeling result image memory 1020.
Each extracted group and its label in Figure 14a are displayed.
10. When labeling is completed, a readout signal is sent to create a table showing the correspondence between the labels used in this process and the class labels.
At s31 , the label 509 is read out from the labeling result memory 1020 in accordance with the address signal p1 . A table as shown in Table 11 is created by the table creator 1021, and the class label signal 506, that is, "102" is assigned to the second class label memory, 10 with the label 509 as the address.
22.
【表】【table】
【表】
テーブルが作成されたら読み出し信号s32によ
りアドレス信号p1に従つてレーベリング結果画像
メモリー1020からレーベル示す信号509が
順次読み出される。第11図cの第一出力画像メ
モリー1024から同一アドレスのレーベル51
0が読み出され、加算器1023で前記のレーベ
ル信号509と510とを加算し、第一出力画像
メモリー1024に前記アドレスに従つて記憶さ
れる。次にクラスレーベル“103”に対して同様
に対応する画素を抽出するため同様に処理を行
う。
第14図bがその抽出結果でこれに対し、レー
ベリング処理が行われると表12のように各群に対
してレーベリングされ、さらに第二クラスレーベ
ルメモリー1022の内容は表13に示すように書
き加えられる。[Table] Once the table is created, the signal 509 indicating the label is sequentially read out from the labeling result image memory 1020 in accordance with the address signal p1 using the readout signal s32 . Label 51 at the same address from the first output image memory 1024 in FIG. 11c
0 is read out, the adder 1023 adds the label signals 509 and 510, and the result is stored in the first output image memory 1024 according to the address. Next, similar processing is performed to extract pixels corresponding to the class label "103". FIG. 14b shows the extraction results. On the other hand, when labeling processing is performed, each group is labeled as shown in Table 12, and the contents of the second class label memory 1022 are as shown in Table 13. Can be added.
【表】
また読み出し信号s32により順次第14図bに
示される結果が同様に加算器1023で加算さ
れ、第一出力画像メモリー、1024は第15図
のように更新される。
以上で部分空間62についての処理は終了し、
次に抽出制御モードにもどり部分空間63につい
て同様の処理を行う。部分空間63におけるヒス
トグラムは第12図cでスレシヨールド“10”と
比較され、50,51の領域が抽出される。
50,51の領域は各々クラスレーベル
“104”,“105”でレーベリングされ、第一クラス
レーベルメモリー1012の内容は表14のように
更新される。また部分空間62におけるヒストグ
ラムのレーベリング結果、すなわち第二ヒストグ
ラムレーベリングメモリー1014の内容と比較
し、部分空間62のヒストグラム第12図bのレ
ーベリングされた部分48,49との隣接が明ら
かになるので隣接するクラスレーベル“102”,
“103”も第一クラスレーベルメモリー1012に
書き加えられる。[Table] Further, the results shown in FIG. 14b are sequentially added by the adder 1023 in response to the readout signal s 32 , and the first output image memory 1024 is updated as shown in FIG. 15. This completes the processing for the subspace 62,
Next, the process returns to the extraction control mode and performs similar processing for the partial space 63. The histogram in subspace 63 is compared with the threshold "10" in FIG. 12c, and regions 50 and 51 are extracted. Areas 50 and 51 are labeled with class labels "104" and "105", respectively, and the contents of the first class label memory 1012 are updated as shown in Table 14. Furthermore, by comparing the labeling result of the histogram in the subspace 62, that is, the contents of the second histogram labeling memory 1014, it becomes clear that the subspace 62 is adjacent to the labeled portions 48 and 49 of the histogram in FIG. 12b. Therefore, the adjacent class label “102”,
“103” is also written to the first class label memory 1012.
【表】
その後抽出・レーベリング処理モードが実行さ
れる。ヒストグラム第12図cの50に対応する
画素が第16図aのように抽出され、レーベリン
グされる。同じくヒストグラム51に対応する画
素第16図bも抽出され、レーベリングされる。
これらは第一出力画像メモリー1024に書き加
えられ、第一出力画像メモリー1024の内容は
第17図のように更新され、各群は表15に示され
るレーベルがつけられる。[Table] After that, the extraction/labeling processing mode is executed. The pixel corresponding to 50 in the histogram of FIG. 12c is extracted and labeled as shown in FIG. 16a. Similarly, the pixel 16b corresponding to the histogram 51 is also extracted and labeled.
These are added to the first output image memory 1024, the contents of the first output image memory 1024 are updated as shown in FIG. 17, and each group is labeled as shown in Table 15.
【表】
この時第二クラスレーベルメモリー1022の
内容も表16のように更新される。[Table] At this time, the contents of the second class label memory 1022 are also updated as shown in Table 16.
【表】
次に部分空間64についてそのヒストグラム第
12図dにより同様に抽出制御モード、抽出・レ
ーベリングモードを実行すると第一出力画像メモ
リー1024は第18図に示す通りで各々の群に
は表17に示すレーベルがつけられる。[Table] Next, when the extraction control mode and the extraction/labeling mode are similarly executed for the subspace 64 using its histogram in FIG. 12d, the first output image memory 1024 is as shown in FIG. The label shown in 17 is attached.
【表】
また第一クラスレーベルメモリー1012、第
二クラスレーベルメモリー1022の内容は表
18,表19のように更新される。[Table] The contents of the first class label memory 1012 and second class label memory 1022 are shown in the table.
18, updated as shown in Table 19.
【表】【table】
【表】
次に部分空間64が選択され、抽出制御モード
において、ヒストグラム第12図eからスレシヨ
ールド値“10”以上の領域54が抽出され、
“108”のレーベルによりレーベリングされる。
直前に処理された部分空間63のヒストグラム
第12図dの52,53の部分と54とが比較さ
れ、それらが隣接しているので第一クラスレーベ
ルメモリー1012は表20のように更新される。[Table] Next, the subspace 64 is selected, and in the extraction control mode, the region 54 having a threshold value of "10" or more is extracted from the histogram (e) in FIG.
Labeled by “108” label. Portions 52 and 53 in the histogram of the subspace 63 that was processed immediately before in FIG. 12d are compared with 54, and since they are adjacent, the first class label memory 1012 is updated as shown in Table 20.
【表】
次に抽出・レベリングモードの実行に入り第1
2図eの54に対応する画素が抽出されると第1
9図の二値パターンが得られこれに対しレーベリ
ング処理が行われ、第一出力画像メモリー102
4に書き加えられる。第一出力画像メモリー10
24は第20図に示す通りになる。表21に各群に
おけるレーベル、表22に各レーベルに対応するク
ラスレーベル、すなわち第二クラスレーベルメモ
リー1022の内容を示す。[Table] Next, the extraction/leveling mode starts.
When the pixel corresponding to 54 in Figure 2 e is extracted, the first
The binary pattern shown in FIG. 9 is obtained, labeling processing is performed on it, and the first output image memory 102
It will be added to 4. First output image memory 10
24 is as shown in FIG. Table 21 shows the labels in each group, and Table 22 shows the class labels corresponding to each label, that is, the contents of the second class label memory 1022.
【表】【table】
【表】
次に抽出制御モードにもどり部分空間66が選
択されるが、この部分空間66の明度は背景であ
ることがあらかじめわかつているので処理する必
要はない。
このように三次元ヒストグラムにおける背景以
外の画素の分布する部分空間について対応する画
素の抽出・レーベリング処理が終了すると、膨脹
処理モードs4の実行に移る。第11図c膨脹処理
器1025では第一出力画像メモリー1024か
ら読み出し信号s40により第21図aの100のよう
な3×3のマスクが走査され、9個の画素のアド
レス信号が発生される。順次読み出されてくる画
素のレーベルのうち、マスクの中心の画素のレー
ベルが“0”以外の時で、その周囲の8画素のレ
ーベルに“0”あるいは中心の画素と同レーベル
以外のレーベルがある場合にのみ、中心の画素の
レーベル信号515続いて周囲の画素のレーベル
の最大値を示す信号516が読み出される。第二
クラスレーベルメモリー1022から前記のレー
ベル信号515をアドレスとして、中心の画素に
対するクラスレーベル信号512が読み出され、
前記のクラスレーベル信号512をアドレスとし
て第一クラスレーベルメモリー1012から隣接
するクラスレーベルを示す信号513を読み出
す。続いてレーベル信号516をアドレスとして
第二クラスレーベルメモリー1022からクラス
レーベル信号512が読み出され比較器1026
で比較される。比較器1026では前記のクラス
レーベル信号512,513が一致した時には信
号518、一致しなかつた時には信号517が発
生される。
カウンター1027はモード信号s4でクリアさ
れ信号518が発生されるたびにカウントアツプ
される。
比較器1026において一致信号518が発生
するとレーベル信号516が、また信号517が
発生されるとレーベル信号515が膨脹処理器よ
り発生された中心の画素の画像上の座標を示すア
ドレス信号p12に従つて第二出力画像メモリー1
028に記憶される。
マスクが全画素を走査し終つたらカウンター1
027の値を参照する。
カウンター1027が“1”以上の時は、すな
わち膨脹が行われた画素があつたことを示してい
るので読み出し信号s41でカウンター1027を
クリアしてから第二出力画像メモリー1028の
内容をアドレス信号p1に従つて第一出力画像メモ
リー1024に移送する。移送が終了すると再び
膨脹処理器1025が動作し前記と同様な膨脹処
理が行われる。
この膨脹処理はカウンター1027がマスクが
全画素を走査し終つた時に値“0”を保持してい
るようになるまでくり返し行われる。
前記の膨脹処理を第21図a,b,c,dを用
いて説明する。第21図aのようにマスク100
が走査され、中心の画素のレーベル“14”とその
周囲で“0”,“14”以外のレーベルの最大値
“10”が読み出される。第21図bは第二クラス
レーベルメモリー1022の内容例、第21図c
は第一クラスレーベルメモリー1012の内容例
である。最初に第二クラスレーベルメモリー10
22から“14”のクラスレーベル“108”が読み
出され、第一クラスレーベルメモリー1012か
らクラスレーベル“108”の隣接クラスレーベル
“106”,“107”が読み出される。次にレーベル
“10”のクラスレーベル“106”が第二クラスレー
ベルメモリー1022から読み出される。クラス
レーベル“106”が一致するので、マスクの中心
のレーベル“14”の画素はその周囲のレーベル
“10”の画素と画像上の位置で隣接しており、ま
た色度領域も隣接していることから第21図dに
示すようにレーベル“10”が中心の画素に膨脹さ
れる。
この膨脹処理は内側の画素のレーベルを1皮ず
つ外側に広げる方式である。例えば第20図の群
2064,2065のように外側のレーベル
“17”で接続していても、この場合、中心のレー
ベル“3”,“4”がそれぞれ膨脹し境界ではそれ
以上膨脹が行われないので群2064,2065
は分離でき、最終的には第22図の抽出結果と表
23に示すクラス分けの結果が得られる。[Table] Next, the extraction control mode is returned to and the subspace 66 is selected, but the brightness of this subspace 66 is known in advance to be the background, so there is no need to process it. When the extraction and labeling processing of pixels corresponding to the subspace in which pixels other than the background in the three-dimensional histogram are distributed is completed in this way, the process moves to execution of the expansion processing mode s4 . In the expansion processor 1025 shown in FIG. 11c , a 3×3 mask such as 100 shown in FIG. . Among the labels of pixels read out sequentially, when the label of the pixel at the center of the mask is other than "0", the labels of the surrounding 8 pixels are "0" or labels other than the same label as the center pixel. Only in certain cases is the label signal 515 of the center pixel followed by the signal 516 indicating the maximum value of the labels of the surrounding pixels being read out. The class label signal 512 for the center pixel is read out from the second class label memory 1022 using the label signal 515 as an address,
A signal 513 indicating an adjacent class label is read from the first class label memory 1012 using the class label signal 512 as an address. Next, the class label signal 512 is read out from the second class label memory 1022 using the label signal 516 as an address, and the comparator 1026
are compared. The comparator 1026 generates a signal 518 when the class label signals 512 and 513 match, and a signal 517 when they do not match. Counter 1027 is cleared by mode signal s4 and counts up each time signal 518 is generated. When the matching signal 518 is generated in the comparator 1026, the label signal 516 is generated, and when the signal 517 is generated, the label signal 515 is generated according to the address signal p12 indicating the coordinates of the center pixel on the image generated by the expansion processor. 2nd output image memory 1
028. When the mask has scanned all pixels, counter 1
Refer to the value of 027. When the counter 1027 is "1" or more, that is, it indicates that a pixel has been expanded, so the counter 1027 is cleared with the readout signal s41 , and then the contents of the second output image memory 1028 are sent to the address signal. p 1 to the first output image memory 1024. When the transfer is completed, the expansion processor 1025 operates again and the same expansion process as described above is performed. This expansion process is repeated until the counter 1027 holds the value "0" when the mask has scanned all pixels. The above expansion process will be explained using FIGS. 21a, b, c, and d. Mask 100 as shown in FIG. 21a
is scanned, and the label "14" of the center pixel and the maximum value "10" of the labels other than "0" and "14" around it are read out. Figure 21b is an example of the contents of the second class label memory 1022, Figure 21c
is an example of the contents of the first class label memory 1012. First second class label memory 10
The class label “108” of “14” is read from the first class label memory 1012, and the adjacent class labels “106” and “107” of the class label “108” are read from the first class label memory 1012. Next, class label “106” of label “10” is read from second class label memory 1022. Since the class labels "106" match, the pixel with the label "14" in the center of the mask is adjacent to the surrounding pixels with the label "10" on the image, and the chromaticity areas are also adjacent. Therefore, the label "10" is expanded to the center pixel as shown in FIG. 21d. This expansion process is a method of expanding the labels of the inner pixels outward one by one. For example, even if the groups 2064 and 2065 in Figure 20 are connected by the outer label "17", in this case, the center labels "3" and "4" will expand, respectively, and no further expansion will occur at the boundary. Since there is no group 2064, 2065
can be separated, and finally the extraction results and table in Figure 22 are obtained.
The classification results shown in 23 are obtained.
【表】
実施例では第二出力画像メモリー1028と第
二クラスレーベルメモリー1022から前記の結
果が得られると同時に、各々のクラスの色度、明
度に関する情報、例えば中心の画素に対応する色
度、明度が第一クラスレーベルメモリー1012
から得られる。また実施例は比較的簡単な回路で
構成できる。
尚実施例説明の文中の処理部分空間の明度幅は
任意である。
但し明度幅を大きくとつた場合二次元の連結部
分の認識を行うためのレーベリング処理に加え
て、明度方向に対しての連結も判定しなければな
らない。つまり三次元のレーベリング処理が必要
となる。
これは二次元のレーベリング処理と同様であ
る。
また三次元ヒストグラムに対して指定するスレ
シヨールド値は画像の特性から適当に決定され
る。また処理部分空間毎に変化させることもでき
る。[Table] In the embodiment, the above results are obtained from the second output image memory 1028 and the second class label memory 1022, and at the same time, information regarding the chromaticity and brightness of each class, for example, the chromaticity corresponding to the center pixel, Brightness is the first class label memory 1012
obtained from. Further, the embodiment can be constructed with a relatively simple circuit. Note that the brightness range of the processing subspace in the description of the embodiment is arbitrary. However, when the brightness range is increased, in addition to labeling processing for recognizing two-dimensional connected parts, connections in the brightness direction must also be determined. In other words, three-dimensional labeling processing is required. This is similar to two-dimensional labeling processing. Further, the threshold value specified for the three-dimensional histogram is appropriately determined based on the characteristics of the image. Moreover, it can also be changed for each processing subspace.
第1図は染色された微小物体の顕微鏡像の一例
を示す図、第2図は第1図に対する三次元ヒスト
グラム、第4図は人間の目による識別結果を説明
するための図、第3図、第5図、第6図は従来技
術での識別処理について説明するための図、第7
図から第9図は三次元ヒストグラムとクラス分け
の過程を図示したもの、第11図a,b,cは本
発明の色彩画像識別方式を実現した1実施例を示
すブロツク図、第10図、第12図から第22図
は実施例による第1図に対する識別処理の処理部
分空間を図示したものおよび処理の途中結果と識
別結果である。
図において、999は制御部、1000はA/
D変換器、1001は明度色度演算器、1002
は明度色度画像メモリー、1003はヒストグラ
ムメモリー、1004は加算器、1008は比較
器、1009はヒストグラムニ値メモリー、10
10はレーベリング処理器、1011は第一ヒス
トグラムレーベリング結果メモリー、1012は
第一クラスレーベルメモリー、1013は領域値
設定回路、1014は第二ヒストグラムレーベリ
ング結果メモリー、1015は比較器、1016
は比較器、1017は比較器、1018は二値画
像メモリー、1019はレーベリング処理器、1
020はレーベリング結果画像メモリー、102
1はテーブル作成器、1022は第二クラスレー
ベルメモリー、1023は加算器、1024は第
一出力画像メモリー、1025は膨脹処理器、1
026は比較器、1027はカウンター、102
8は第二出力画像メモリー、をそれぞれ示す。
Figure 1 is a diagram showing an example of a microscopic image of a stained minute object, Figure 2 is a three-dimensional histogram for Figure 1, Figure 4 is a diagram to explain the identification results by the human eye, and Figure 3. , FIGS. 5 and 6 are diagrams for explaining identification processing in the conventional technology, and FIG.
9 shows a three-dimensional histogram and the process of classification, FIGS. 11a, b, and c are block diagrams showing an embodiment of the color image classification method of the present invention, and FIGS. FIGS. 12 to 22 illustrate the processing subspace of the identification process for FIG. 1 according to the embodiment, as well as intermediate results of the process and identification results. In the figure, 999 is the control unit, 1000 is the A/
D converter, 1001, brightness chromaticity calculator, 1002
1003 is a brightness/chromaticity image memory, 1003 is a histogram memory, 1004 is an adder, 1008 is a comparator, 1009 is a histogram value memory, 10
10 is a labeling processor, 1011 is a first histogram labeling result memory, 1012 is a first class label memory, 1013 is a region value setting circuit, 1014 is a second histogram labeling result memory, 1015 is a comparator, 1016
is a comparator, 1017 is a comparator, 1018 is a binary image memory, 1019 is a labeling processor, 1
020 is a labeling result image memory, 102
1 is a table creator, 1022 is a second class label memory, 1023 is an adder, 1024 is a first output image memory, 1025 is an expansion processor, 1
026 is a comparator, 1027 is a counter, 102
8 indicates a second output image memory.
Claims (1)
ヒストグラムにおける処理部分空間を選択し、指
定されたスレシヨールド値よりも大きな値のヒス
トグラム部分(領域)を抽出し、レーベリングを
行い直前の前記処理部分空間における領域との隣
接を検出する抽出制御処理、 前記領域に対応する画像の画素を抽出し、レー
ベリングを行う抽出・レーベリング処理、前記抽
出・レーベリング処理結果に対して膨脹を行う膨
脹処理から構成され、前記抽出制御処理、抽出・
レーベリング処理の処理部分空間を順次明度の高
い部分空間へと移動しながら、抽出結果を重ね合
せ抽出制御処理で検出された隣接する部分空間に
おける領域間の隣接状況を用いて前記の重ね合せ
た結果に対して膨脹処理を行い、物体の形状の抽
出及びクラスの識別を行うことを特徴とする色彩
画像識別方式。[Claims] 1. Select a processing subspace in a multidimensional histogram using the color of an image of a stained object, extract a histogram portion (region) with a value larger than a specified threshold value, and perform labeling. an extraction control process that detects adjacency with a region in the immediately preceding processing subspace; an extraction/labeling process that extracts pixels of an image corresponding to the region and performs labeling; It consists of an expansion process that expands the extraction control process, extraction and
While sequentially moving the processing subspace of the labeling process to subspaces with higher brightness, the extraction results are superimposed and the above superposition is performed using the adjacency situation between regions in adjacent subspaces detected by the extraction control process. A color image identification method characterized by performing expansion processing on the result to extract the shape of an object and identify its class.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP496079A JPS5597670A (en) | 1979-01-18 | 1979-01-18 | Identification system for colored picture |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP496079A JPS5597670A (en) | 1979-01-18 | 1979-01-18 | Identification system for colored picture |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS5597670A JPS5597670A (en) | 1980-07-25 |
| JPS629957B2 true JPS629957B2 (en) | 1987-03-03 |
Family
ID=11598141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP496079A Granted JPS5597670A (en) | 1979-01-18 | 1979-01-18 | Identification system for colored picture |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS5597670A (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59149451A (en) * | 1983-02-15 | 1984-08-27 | Matsushita Electric Ind Co Ltd | Automatic dividing method of polychromatic pattern |
| JPS59212088A (en) * | 1983-05-18 | 1984-11-30 | Agency Of Ind Science & Technol | Identification system for partial area in cell picture |
| JPS59225481A (en) * | 1983-06-06 | 1984-12-18 | Yokogawa Hokushin Electric Corp | Picture processing method |
-
1979
- 1979-01-18 JP JP496079A patent/JPS5597670A/en active Granted
Also Published As
| Publication number | Publication date |
|---|---|
| JPS5597670A (en) | 1980-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jabri et al. | Detection and location of people in video images using adaptive fusion of color and edge information | |
| US7742650B2 (en) | Object detection in images | |
| CN102567727B (en) | Method and device for replacing background target | |
| KR101640998B1 (en) | Image processing apparatus and image processing method | |
| CN110543877A (en) | Identification recognition method, training method and device of model thereof and electronic system | |
| JP6779688B2 (en) | Image processing equipment, image processing method, computer program | |
| CN111462164A (en) | Foreground segmentation method and data enhancement method based on image synthesis | |
| EP0831421A2 (en) | Apparatus and method for retouching a digital representation of a color image | |
| CN111199159A (en) | Character translation and display method and device based on augmented reality and electronic equipment | |
| CN118397520B (en) | A target object identification and processing method in industrial inspection process | |
| Matas | Colour-based object recognition | |
| CN121330699B (en) | Panel detection and identification method, device, equipment and computer readable storage medium | |
| JPS629957B2 (en) | ||
| JP7709153B2 (en) | Method and system for image classification for object recognition - Patents.com | |
| CN111402185A (en) | Image detection method and device | |
| CN114677392A (en) | Matting method, image pickup apparatus, device, conference system, electronic apparatus, and medium | |
| CN118247702A (en) | A method and system for selecting uniform viewing angle frame sequence in equipment inspection video | |
| CN114119754B (en) | Pixel-level fire smoke root node detection method based on connected particles | |
| Serrano-Cuerda et al. | Robust human detection and tracking in intelligent environments by information fusion of color and infrared video | |
| CN111667509A (en) | Method and system for automatically tracking moving target under condition that target is similar to background color | |
| EP3038059A1 (en) | Methods and systems for color processing of digital images | |
| CN114140792B (en) | Micro target detection method and device based on dynamic sliding window | |
| CN119477840B (en) | Visual feature detection matching method and system based on directional rotation | |
| Achanccaray et al. | On the assessment of instance segmentation for the automatic detection of specific constructions from very high resolution airborne imagery | |
| CN119313993B (en) | Target attribute identification method, device and storage medium |