JP5513038B2 - 3D cell image analyzer - Google Patents
3D cell image analyzer Download PDFInfo
- Publication number
- JP5513038B2 JP5513038B2 JP2009192049A JP2009192049A JP5513038B2 JP 5513038 B2 JP5513038 B2 JP 5513038B2 JP 2009192049 A JP2009192049 A JP 2009192049A JP 2009192049 A JP2009192049 A JP 2009192049A JP 5513038 B2 JP5513038 B2 JP 5513038B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate
- dimensional
- cell image
- projection data
- luminance value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004027 cell Anatomy 0.000 claims description 526
- 238000010191 image analysis Methods 0.000 claims description 86
- 210000003463 organelle Anatomy 0.000 claims description 58
- 238000001514 detection method Methods 0.000 claims description 57
- 239000000284 extract Substances 0.000 claims description 7
- 235000019557 luminance Nutrition 0.000 description 230
- 210000000056 organ Anatomy 0.000 description 146
- 238000000034 method Methods 0.000 description 59
- 238000012545 processing Methods 0.000 description 45
- 238000010586 diagram Methods 0.000 description 31
- 238000004458 analytical method Methods 0.000 description 22
- 230000003834 intracellular effect Effects 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 15
- 238000010276 construction Methods 0.000 description 14
- 210000000170 cell membrane Anatomy 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 210000004940 nucleus Anatomy 0.000 description 6
- 210000003855 cell nucleus Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 210000000805 cytoplasm Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 102000034287 fluorescent proteins Human genes 0.000 description 1
- 108091006047 fluorescent proteins Proteins 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、三次元の細胞画像を解析するための三次元細胞画像解析装置に関する。 The present invention relates to a three-dimensional cell image analyzer for analyzing a three-dimensional cell image.
従来、三次元の細胞画像を解析するための装置としては、次の非特許文献１に記載の細胞画像解析装置がある。 Conventionally, as a device for analyzing a three-dimensional cell image, there is a cell image analysis device described in Non-Patent Document 1 below.
三次元細胞画像の解析、さらにはこれらの時間変化の解析においては、解析に用いる細胞画像のデータ量が膨大になることから、効率よく、解析対象領域を特定することが求められる。つまり、データ量を極力少なくして、高速に、解析対象領域を特定する解析処理方法が望まれる。 In the analysis of a three-dimensional cell image, and further in the analysis of these temporal changes, the amount of data of the cell image used for the analysis becomes enormous, and therefore it is required to efficiently specify the analysis target region. That is, an analysis processing method that specifies the analysis target region at a high speed while reducing the data amount as much as possible is desired.
しかし、従来の三次元細胞画像解析装置は、一般的に、三次元細胞画像データ中の解析対象領域を特定するには、三次元細胞画像データにおける全てのＸＹＺ座標領域に対し、輝度値の精査を行う必要がある。このため、解析対象領域の特定に際し、データ量が膨大化し、処理速度が遅くなっていた。 However, the conventional three-dimensional cell image analysis apparatus generally examines luminance values for all XYZ coordinate regions in the three-dimensional cell image data in order to specify the analysis target region in the three-dimensional cell image data. Need to do. For this reason, when specifying the analysis target area, the amount of data is enormous and the processing speed is slow.
本発明は、このような従来の問題点に鑑みてなされたものであり、細胞質、細胞核あるいは、細胞小器官などが存在する解析対象領域の特定を、データ量を極力少なくして、高速に、実現することが可能な三次元細胞画像解析装置を提供することを目的としている。 The present invention has been made in view of such conventional problems, and the analysis target region where the cytoplasm, cell nucleus, or organelle is present can be identified at a high speed by reducing the amount of data as much as possible. An object of the present invention is to provide a three-dimensional cell image analyzer that can be realized.
上記目的を達成するため、本発明による三次元細胞画像解析装置は、三次元細胞画像解析システムにおいて、コンフォーカル蛍光顕微鏡で構成された三次元細胞画像撮像装置とともに備えられ、該三次元細胞画像撮像装置を用いて、試料に対する合焦位置をＺ方向に所定ピッチで連続的に変えて、各合焦位置における試料の像を撮像することにより、試料の合焦位置がＺ方向に所定ピッチで連続的に異なった状態でＺ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる三次元の細胞画像を解析する、コンピュータを備えた三次元細胞画像解析装置であって、前記コンピュータを、前記三次元の細胞画像をなす、前記Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体を用いて、各ＸＹ座標に対して所定の輝度値を持つＺ座標の集合体を示す二次元射影データを作成する二次元射影データ作成手段、前記二次元射影データ作成手段が作成した二次元射影データにおけるＺ座標の集合体において、Ｚ座標の値が互いにＸＹ方向に不連続となる領域を特定する不連続領域特定手段、前記不連続領域特定手段が特定した個々の領域のＸＹ方向への広がりを検出するサイズ検出手段、前記不連続領域特定手段が特定した個々の領域のＺ座標の平均値を算出するＺ座標平均値算出手段、として機能させる画像解析ソフトウェアを有し、前記二次元射影データ作成手段が作成した二次元射影データを用いて、前記不連続領域特定手段が前記個々の領域を特定し、前記サイズ検出手段及び前記Ｚ座標平均値算出手段が前記個々の領域のＸＹ方向への広がりとＺ座標の平均値を算出することにより、細胞自体あるいは、核、小器官などの三次元の細胞器官の領域を構築することを特徴としている。 In order to achieve the above object, a three-dimensional cell image analysis apparatus according to the present invention is provided in a three-dimensional cell image analysis system together with a three-dimensional cell image pickup apparatus constituted by a confocal fluorescence microscope. Using the device, the in-focus position on the sample is continuously changed in the Z direction at a predetermined pitch, and the image of the sample at each in-focus position is taken, so that the in-focus position of the sample continues at the predetermined pitch in the Z direction. A three-dimensional cell image analysis apparatus comprising a computer for analyzing a three-dimensional cell image composed of an assembly of a plurality of two-dimensional cell images accumulated sequentially in the Z direction in different states, the computer forms the three-dimensional cell image, using said collection of Z direction of the plurality stored in the order two-dimensional cell image, having a predetermined luminance value for each XY coordinate Z Two-dimensional projection data generating means for generating indicate to the two-dimensional projection data set of targets, in a collection of Z-coordinate in the two-dimensional projection data, wherein the two-dimensional projection data producing means, the value of the Z coordinate with each other discontinuous area specifying means for specifying a region to be a discontinuous in the XY directions, the size detecting means for said discrete area specifying means for detecting the extent of the XY direction of the individual realm identified, said discontinuous region specifying means and an image analysis software to function as a, Z coordinate average value calculating means for calculating an average value of the Z coordinate of each realm identified by using a two-dimensional projection data in which the two-dimensional projection data producing means, It said discontinuous region specifying means specifies the individual realm, calculate the average value of the breadth and Z coordinates of the size detection means and the Z-coordinate average value calculating means in the XY direction of the individual realm By, cells themselves or nucleus, is characterized by constructing a region of three-dimensional organelles such as organelles.
また、本発明の三次元細胞画像解析装置においては、前記二次元射影データ作成手段は、前記Ｚ方向に順に蓄積された全ての二次元の細胞画像の輝度値を検出し、検出した輝度値を用いて、各ＸＹ座標に対して前記所定の輝度値として最大の輝度値を持つＺ座標を抽出し、抽出したＺ座標を用いて、各ＸＹの点に対して最大の輝度値を持つＺ座標の集合体を示す二次元射影データを作成するのが好ましい。 Further, in the three-dimensional cell image analysis apparatus of the present invention, the two-dimensional projection data creation means detects the luminance values of all the two-dimensional cell images accumulated in order in the Z direction, and the detected luminance values are detected. used, maximum extracts Z coordinates having luminance value as the predetermined luminance value for each XY coordinate, using the extracted Z-coordinate, Z-coordinate having the largest luminance value for the point of the XY preferably, to create a collection of shows to two-dimensional projection data.
また、本発明の三次元細胞画像解析装置においては、前記二次元射影データ作成手段は、前記Ｚ方向に順に蓄積された全ての二次元の細胞画像の輝度値を検出し、検出した輝度値を用いて、各ＸＹ座標に対して前記所定の輝度値として任意の輝度値に最も近い輝度値を持つＺ座標を抽出し、抽出したＺ座標を用いて、各ＸＹ座標に対して任意の輝度値に最も近い輝度値を持つＺ座標の集合体を示す二次元射影データを作成するのが好ましい。 Further, in the three-dimensional cell image analysis apparatus of the present invention, the two-dimensional projection data creation means detects the luminance values of all the two-dimensional cell images accumulated in order in the Z direction, and the detected luminance values are detected. used, the Z coordinate is extracted with closest luminance value to an arbitrary luminance value as the predetermined luminance value for each XY coordinate, using the extracted Z coordinates, arbitrary luminance value for each XY coordinate preferably create indicates to the two-dimensional projection data set of Z-coordinate having the closest luminance value to.
また、本発明の三次元細胞画像解析装置においては、前記二次元射影データ作成手段は、前記Ｚ方向に順に蓄積された全ての二次元の細胞画像の輝度値を検出し、検出した輝度値を用いて、各ＸＹ座標に対して前記所定の輝度値として任意の輝度値以上の輝度値を持つ少なくとも一つのＺ座標群を取得し、各ＸＹ座標に対して取得した各Ｚ座標群のうちの中心となるＺ座標を抽出し、抽出した中心となるＺ座標を用いて、各ＸＹ座標に対して任意の輝度値以上の輝度値を持つ各Ｚ座標群のうちの中心となるＺ座標の集合体を示す二次元射影データを作成するのが好ましい。 Further, in the three-dimensional cell image analysis apparatus of the present invention, the two-dimensional projection data creation means detects the luminance values of all the two-dimensional cell images accumulated in order in the Z direction, and the detected luminance values are detected. It used to obtain at least one Z group of coordinates having an arbitrary luminance value or the luminance value as the predetermined luminance value for each XY coordinates, of each Z coordinate group acquired for each XY coordinate extract the Z coordinate for the center, using the extracted center to become Z-coordinate, the set of Z coordinate for the center of each Z coordinate group having a luminance value equal to or larger than any brightness value for each XY coordinate preferably, to create a body of shows to two-dimensional projection data.
また、本発明の三次元細胞画像解析装置においては、前記二次元射影データ作成手段は、前記各ＸＹ座標に対して任意の輝度値以上の輝度値を持つ各Ｚ座標群のうちの中心となるＺ座標の集合体の個数を、前記各ＸＹ座標に対して任意の輝度値以上の輝度値を持つ各Ｚ座標群のうちの中心となるＺ座標の集合体を示す二次元射影データに付加するのが好ましい。 In the three-dimensional cell image analysis apparatus of the present invention, the two-dimensional projection data creation means is the center of each Z coordinate group having a luminance value greater than or equal to an arbitrary luminance value with respect to each XY coordinate. adding the number of the aggregate of the Z coordinate, a collection of Z coordinate for the center of each Z coordinate group having an arbitrary brightness value or luminance value in the shown to the two-dimensional projection data to the respective XY coordinate It is preferable to do this.
また、本発明の三次元細胞画像解析装置においては、前記二次元射影データ作成手段は、前記Ｚ方向に順に蓄積された全ての二次元の細胞画像の輝度値を検出し、前記所定の輝度値として任意の輝度値以上の輝度値を持つ少なくとも一つのＺ座標を取得し、取得したＺ座標の範囲において各ＸＹ座標に対してＺ方向に対する輝度値の変化量を算出し、算出した輝度値の変化量が極小又は極大となるＺ座標を抽出し、抽出したＺ座標を用いて、各ＸＹ座標に対して輝度値の変化量が極小又は極大となるＺ座標の集合体を示す二次元射影データを作成するのが好ましい。 Further, in the three-dimensional cell image analysis apparatus of the present invention, the two-dimensional projection data creation means detects the luminance values of all the two-dimensional cell images accumulated in order in the Z direction, and the predetermined luminance value As a result, at least one Z coordinate having a luminance value equal to or greater than an arbitrary luminance value is acquired, and the amount of change in the luminance value with respect to the Z direction is calculated for each XY coordinate within the acquired Z coordinate range. extract the Z coordinate change amount is minimum or maximum, using the extracted Z coordinates, aggregate the shown to two-dimensional projection of a Z coordinate of change luminance value becomes minimum or maximum for each XY coordinate It is preferable to create data.
また、本発明の三次元細胞画像解析装置においては、前記二次元射影データ作成手段は、前記各ＸＹ座標に対して輝度値の変化量が極小又は極大となるＺ座標の集合体の個数を、前記各ＸＹ座標に対して輝度値の変化量が極小又は極大となるＺ座標の集合体を示す二次元射影データに付加するのが好ましい。 Further, in the three-dimensional cell image analysis apparatus of the present invention, the two-dimensional projection data creation means calculates the number of Z coordinate aggregates in which the amount of change in luminance value is minimized or maximized with respect to each XY coordinate, wherein preferably the amount of change in luminance value is added to a collection of Z coordinate for the minimum or maximum in shown to the two-dimensional projection data for each XY coordinate.
本発明によれば、細胞質、細胞核あるいは、細胞小器官などが存在する位置情報を検出して、輝度値の精査を行う領域をあらかじめ絞り込むようにしたので、三次元細胞画像データを解析する際には、三次元細胞画像データにおける全てのＸＹＺ座標領域に対して、輝度データの精査を行うことなく、細胞小器官などが存在する解析対象領域を特定できる。このため、本発明によれば、細胞質、細胞核あるいは、細胞小器官などが存在する解析対象領域の特定を、データ量を極力少なくして、高速に、実現することが可能な三次元細胞画像解析装置が得られる。その結果、効率よく、三次元の細胞画像の解析、さらにはそれらの三次元の細胞画像の経時的な解析をすることが可能になる。 According to the present invention, since the position information where the cytoplasm, cell nucleus, organelle, etc. exist is detected and the region for examining the luminance value is narrowed down in advance, when analyzing the three-dimensional cell image data Can specify an analysis target region where a cell organelle or the like exists without examining luminance data for all XYZ coordinate regions in the three-dimensional cell image data. For this reason, according to the present invention, the three-dimensional cell image analysis can be realized at high speed by specifying the analysis target region where the cytoplasm, cell nucleus, organelle, etc. are present, with as little data as possible. A device is obtained. As a result, it is possible to efficiently analyze a three-dimensional cell image and further to analyze those three-dimensional cell images over time.
図１は本発明の三次元細胞画像解析装置を用いた三次元細胞画像解析システムの全体構成の一例を示すブロック図、図２は図１の三次元細胞画像解析システムにおける処理手順を示す図で、(a)は全体の処理の流れを概略的に示すフローチャート、(b)は図１の三次元細胞画像装置による解析及び出力処理の流れを示すフローチャートである。
図１の三次元細胞画像解析システムは、三次元細胞画像撮像装置１と第一実施形態の三次元細胞画像解析装置２を有する。
三次元細胞画像撮像装置１は、例えば、コンフォーカル顕微鏡で構成されており、観察光学系１ａと、撮像素子１ｂを有する。
観察光学系１ａは、光源、照明レンズ、複数種類の励起フィルタをターレット等に備えた励起光切換手段、対物レンズ、吸収フィルタ、結像レンズ、ピンホール等、一般的なコンフォーカル蛍光顕微鏡における照明光学系及び観察光学系（図示省略）で構成され、蛍光たんぱく質又は蛍光分子で標識された特定のたんぱく質の細胞内挙動を蛍光観察可能であるとともに、試料に対する合焦位置をＺ方向に所定ピッチで連続的に変えて、各合焦位置における試料の像を撮像素子１ｂの撮像面に結像する。
撮像素子１ｂは、観察光学系１ａを介して結像された細胞像を撮像する。
このように構成された三次元細胞画像撮像装置１を用いて、試料に対する合焦位置をＺ方向に所定ピッチで連続的に変えて、各合焦位置における試料の像を撮像することにより、試料の合焦位置がＺ方向に所定ピッチで連続的に異なった状態でＺ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる三次元の細胞画像が得られる。
FIG. 1 is a block diagram showing an example of the overall configuration of a three-dimensional cell image analysis system using the three-dimensional cell image analysis apparatus of the present invention, and FIG. 2 is a diagram showing a processing procedure in the three-dimensional cell image analysis system of FIG. (A) is a flowchart which shows the flow of the whole process roughly, (b) is a flowchart which shows the flow of the analysis and output process by the three-dimensional cell image apparatus of FIG.
The three-dimensional cell image analysis system of FIG. 1 includes a three-dimensional cell image imaging device 1 and the three-dimensional cell image analysis device 2 of the first embodiment.
The three-dimensional cell image capturing apparatus 1 is composed of, for example, a confocal microscope, and includes an observation optical system 1a and an image sensor 1b.
The observation optical system 1a is an illumination in a general confocal fluorescence microscope, such as a light source, an illumination lens, excitation light switching means including a plurality of types of excitation filters in a turret, an objective lens, an absorption filter, an imaging lens, a pinhole, etc. It consists of an optical system and an observation optical system (not shown), and can observe the intracellular behavior of a specific protein labeled with a fluorescent protein or fluorescent molecule, and the focal position with respect to the sample at a predetermined pitch in the Z direction. By changing continuously, the image of the sample at each in-focus position is formed on the imaging surface of the imaging device 1b.
The imaging device 1b captures a cell image formed through the observation optical system 1a.
By using the three-dimensional cell image capturing apparatus 1 configured as described above, the focus position with respect to the sample is continuously changed at a predetermined pitch in the Z direction, and images of the sample at the respective focus positions are captured. A three-dimensional cell image composed of a collection of a plurality of two-dimensional cell images is obtained in which the in-focus positions are successively accumulated in the Z direction in a state where the in-focus positions are continuously different at a predetermined pitch in the Z direction.
三次元細胞画像解析装置２は、コンピュータと、画像解析ソフトウェアを備えて構成されている。
画像解析ソフトウェアは、コンピュータを、位置情報検出手段２ａ、三次元領域構築手段２ｂとして機能させるように構成されている。
位置情報検出手段２ａは、三次元の細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体に対して、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域の所定の位置情報を検出する。
三次元領域構築手段２ｂは、三次元の細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体に対して、位置情報検出手段２ａが検出した夫々の細胞器官の領域の所定の位置情報を用いて、三次元の細胞器官の領域を構築する。
The three-dimensional cell image analysis apparatus 2 includes a computer and image analysis software.
The image analysis software is configured to cause the computer to function as the position information detection unit 2a and the three-dimensional region construction unit 2b.
The position information detection means 2a makes a three-dimensional cell image, and collects a plurality of two-dimensional cell images accumulated in order in the Z direction . Predetermined position information of the cell organ region is detected.
The three-dimensional region constructing means 2b forms a three-dimensional cell image, and collects a plurality of two-dimensional cell images accumulated in order in the Z direction, for each cell organ detected by the position information detecting means 2a. A region of a three-dimensional organelle is constructed using predetermined position information of the region.
また、図１の三次元画像解析装置では、画像解析ソフトウェアは、コンピュータを、さらに、特徴量抽出手段２ｃ、領域分類手段２ｄ、定量・出力手段２ｅとしても機能させるように構成されている。
特徴量抽出手段２ｃは、三次元領域構築手段２ｂを介して特定された三次元座標上での各細胞内領域に対して、各蛍光の輝度の総和、輝度の平均などの蛍光情報や、大きさ、位置、丸み度などの形態情報を、三次元座標上での各細胞内領域の特徴量として抽出する。
領域分類手段２ｄは、特徴量抽出手段２ｃを介して抽出された三次元座標上での各細胞内領域の特徴量に基づき、三次元座標上での各細胞内領域を細胞膜、核、小器官などに分類する。
定量・出力手段２ｅは、領域分類手段２ｄを介して分類された細胞内器官等の各細胞内領域における蛍光量を定量し、結果の出力を行う。
In the three-dimensional image analysis apparatus of FIG. 1, the image analysis software is configured to cause the computer to further function as a feature amount extraction unit 2c, a region classification unit 2d, and a quantitative / output unit 2e.
The feature amount extraction unit 2c is configured to obtain fluorescence information such as the sum of the luminance of each fluorescence, the average of the luminance, and the size of each intracellular region on the three-dimensional coordinate specified through the three-dimensional region construction unit 2b. Then, morphological information such as position, roundness, etc. is extracted as a feature quantity of each intracellular region on the three-dimensional coordinates.
The area classifying means 2d determines the intracellular areas on the three-dimensional coordinates as cell membranes, nuclei, organelles based on the characteristic quantities of the intracellular areas on the three-dimensional coordinates extracted via the feature quantity extracting means 2c. And so on.
The quantification / output unit 2e quantifies the amount of fluorescence in each intracellular region such as an intracellular organ classified through the region classification unit 2d, and outputs the result.
次に、このように構成された図１の三次元細胞画像解析システムを用いた細胞の撮像から画像解析までの全体の処理手順について説明する。
全体の処理は、図２(a)に示すように、三次元細胞画像撮像装置１による細胞像の撮像（ステップＳ１）、三次元細胞画像解析装置２による細胞画像の解析（ステップＳ２）、解析結果の出力（ステップＳ３）の順で行われる。
Next, an overall processing procedure from cell imaging to image analysis using the three-dimensional cell image analysis system of FIG. 1 configured as described above will be described.
As shown in FIG. 2 (a), the entire process is performed by capturing a cell image by the three-dimensional cell image capturing apparatus 1 (step S1), analyzing a cell image by the three-dimensional cell image analyzing apparatus 2 (step S2), and analyzing The results are output in the order (step S3).
撮像処理段階（ステップＳ１）
撮像処理段階では、コンフォーカル顕微鏡で構成された三次元細胞画像撮像装置１の観察光学系１ａが、各チャネルの蛍光ごとに、試料に対する合焦位置をＺ方向に所定ピッチで連続的に変えて、各合焦位置における試料の像を結像し、撮像素子１ｂが観察光学系１ａを介して結像された細胞像を撮像する。
Imaging process stage (step S1)
At the imaging processing stage, the observation optical system 1a of the three-dimensional cell image capturing apparatus 1 configured with a confocal microscope continuously changes the focus position with respect to the sample at a predetermined pitch in the Z direction for each fluorescence of each channel. Then, an image of the sample at each in-focus position is formed, and the image sensor 1b picks up a cell image formed through the observation optical system 1a.
解析処理段階（ステップＳ２）
細胞器官の領域の位置情報の検出（ステップＳ２ 1 ）
解析処理段階では、まず、位置情報検出手段２ａが、三次元の細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体に対して、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域の所定の位置情報を検出する。
Analysis processing stage (step S2)
Detection of position information of cell organ region (step S2 1 )
In the analysis processing stage, first, the position information detecting means 2a forms a three- dimensional cell image on a set of a plurality of two-dimensional cell images accumulated in order in the Z direction. Predetermined position information is detected for different types of cell organ regions such as organs.
三次元の細胞器官の領域の構築（ステップＳ２ 2 ）
次いで、三次元領域構築手段２ｂが、三次元の細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体に対して、位置情報検出手段２ａを介して検出された夫々の細胞器官の領域の所定の位置情報を用いて、三次元座標上での細胞器官の領域を構築する。
Construction of three-dimensional organelle region (step S2 2 )
Next, the three-dimensional region construction unit 2b detects the aggregate of a plurality of two-dimensional cell images accumulated in order in the Z direction, which form a three-dimensional cell image, via the position information detection unit 2a. Using predetermined position information of each cell organ region, a cell organ region on a three-dimensional coordinate is constructed.
三次元細胞内領域の特徴量抽出（ステップＳ２ 3 ）
次いで、特徴量抽出手段２ｃが、三次元領域構築手段２ｂを介して特定された三次元座標上での各細胞内領域に対して、各蛍光の輝度の総和、輝度の平均などの蛍光情報や、大きさ、位置、丸み度などの形態的な情報を、三次元座標上での各細胞内領域の特徴量として抽出する。
Feature extraction of 3D intracellular region (step S2 3 )
Next, the feature amount extraction unit 2c applies the fluorescence information such as the sum of the luminance of each fluorescence, the average of the luminance, etc. to each intracellular region on the three-dimensional coordinate specified through the three-dimensional region construction unit 2b. Morphological information such as size, position, and roundness is extracted as a feature quantity of each intracellular region on three-dimensional coordinates.
三次元細胞内領域の分類（ステップＳ２ 4 ）
次いで、領域分類手段２ｄが、あらかじめ操作者が設定した値に基づき、三次元座標上での各細胞内領域を、細胞膜、核、小器官などの細胞内器官等に分類する。あるいは、特徴量抽出手段を介して抽出された特徴量の統計的な分布を取得し、三次元座標上での各細胞内領域の特徴量に基づき、三次元座標上での各細胞内領域を、細胞膜、核、小器官などの細胞内器官等に分類する。
Classification of three-dimensional intracellular region (step S2 4 )
Next, the region classification means 2d classifies each intracellular region on the three-dimensional coordinates into an intracellular organ such as a cell membrane, nucleus, or organ based on the value set in advance by the operator. Alternatively, a statistical distribution of feature amounts extracted via the feature amount extraction means is obtained, and each intracellular region on the three-dimensional coordinate is obtained based on the feature amount of each intracellular region on the three-dimensional coordinate. It is classified into intracellular organs such as cell membrane, nucleus, and organelle.
蛍光量の定量・出力（ステップＳ２ 5 、ステップＳ３）
次いで、定量・出力手段２ｅが、領域分類手段２ｄにより分類された細胞内器官等の各細胞内領域における蛍光量を定量する（ステップＳ２5）。蛍光量の定量は、領域の総蛍光量、平均蛍光量、最大蛍光量、最小蛍光量や、あるいは、ドット（極小領域）として認識できる蛍光の数など、を測定することによって行う。
次いで、細胞内器官等に分類された個々の細胞内領域における蛍光情報、あるいは細胞内器官等に分類された細胞内領域ごとの特徴量の統計量（例えば、複数細胞膜の蛍光量の平均値）、さらにこれらの時間変化などを出力する（ステップＳ３）。
Quantitative and output of the fluorescence amount (Step S2 5, Step S3)
Next, the quantification / output unit 2e quantifies the amount of fluorescence in each intracellular region such as an intracellular organ classified by the region classification unit 2d (step S2 5 ). Quantification of the fluorescence amount is performed by measuring the total fluorescence amount, the average fluorescence amount, the maximum fluorescence amount, the minimum fluorescence amount, or the number of fluorescences that can be recognized as dots (minimal regions).
Next, the fluorescence information in each intracellular region classified into intracellular organs, etc., or the statistical amount of the feature amount for each intracellular region classified into intracellular organs (for example, the average value of the fluorescence amount of multiple cell membranes) Further, these time changes and the like are output (step S3).
ここで、本発明の三次元細胞画像解析装置では、位置情報検出手段２ａが、三次元の細胞画像における夫々の細胞器官の位置情報を検出しておき、三次元領域構築手段２ｂが、位置情報検出手段２ａを介して検出された夫々の細胞器官の領域の所定の位置情報を用いて、三次元の細胞器官の領域を構築するので、三次元の細胞画像を解析する際、三次元の細胞画像における全てのＸＹＺ座標に対して輝度値の精査を行わずに済む。その結果、データ量を膨大化させることなく効率的に、少ない計算量で高速に、三次元の細胞器官の領域を特定することができる。 Here, in the three-dimensional cell image analysis apparatus of the present invention, the position information detection unit 2a detects the position information of each cell organ in the three-dimensional cell image, and the three-dimensional region construction unit 2b detects the position information. Since a three-dimensional cell organ region is constructed using predetermined position information of each cell organ region detected via the detection means 2a, a three-dimensional cell is analyzed when analyzing a three-dimensional cell image. It is not necessary to examine the luminance values for all XYZ coordinates in the image. As a result, it is possible to specify a three-dimensional organelle region efficiently and with a small amount of calculation without enlarging the amount of data.
以下、本発明の三次元細胞画像解析装置における要部の構成及び効果を示す具体的な実施形態について、図面を用いて説明する。
第一実施形態
図３は本発明の参考例としての第一実施形態にかかる三次元細胞画像解析装置を用いた三次元細胞画像解析システムの全体構成を示すブロック図、図４は第一実施形態の三次元細胞画像解析装置における三次元の細胞器官の領域の構築までの処理手順を示すフローチャートである。図５は第一実施形態の三次元細胞画像解析装置における三次元の細胞器官の領域の構築までの処理を模式的に示す説明図で、(a)は三次元の細胞画像におけるＺ方向に添う断面図、(b)は(a)の細胞画像を種類の異なる夫々の細胞器官の領域に分割した状態を示す図、(c)は(b)の状態から夫々の細胞器官の領域の中心部を検出した状態を示す図、(e)は(c)の状態から夫々の細胞器官の領域の境界部を検出した状態を示す図である。なお、第一実施形態の三次元細胞画像解析装置を用いた三次元細胞画像解析システムにおける要部以外の構成であって図１に示した三次元細胞画像解析システムと同じ構成については同じ符号を付し、説明は省略する。
Hereinafter, specific embodiments showing the configuration and effects of the main parts of the three-dimensional cell image analysis apparatus of the present invention will be described with reference to the drawings.
First Embodiment FIG. 3 is a block diagram showing the overall configuration of a three-dimensional cell image analysis system using a three-dimensional cell image analyzer according to the first embodiment as a reference example of the present invention, and FIG. 4 is a first embodiment. 5 is a flowchart showing a processing procedure up to construction of a region of a three-dimensional cell organ in the three-dimensional cell image analysis apparatus. FIG. 5 is an explanatory diagram schematically showing processing up to the construction of a three-dimensional cell organ region in the three-dimensional cell image analysis apparatus of the first embodiment, and (a) follows the Z direction in the three-dimensional cell image. Cross-sectional view, (b) is a diagram showing a state in which the cell image of (a) is divided into different types of cell organ regions, (c) is the center of each cell organ region from the state of (b) (E) is a diagram showing a state in which the boundary part of each cell organ region is detected from the state of (c). In addition, it is the structure other than the principal part in the three-dimensional cell image analysis system using the three-dimensional cell image analysis apparatus of the first embodiment, and the same reference numerals are given to the same structures as the three-dimensional cell image analysis system shown in FIG. The description is omitted.
三次元細胞画像解析システムは、三次元細胞画像撮像装置１と第一実施形態の三次元細胞画像解析装置２を有する。
三次元細胞画像撮像装置１は、図１に示したものと同様に構成されている。
三次元細胞画像解析装置２は、コンピュータと、画像解析ソフトウェアを備えて構成されている。
画像解析ソフトウェアは、コンピュータを、位置情報検出手段としての中心部検出手段２ａ１、三次元領域構築手段としての境界部検出手段２ｂ１として機能させるように構成されている。
中心部検出手段２ａ１は、三次元の細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体に対して、第１の輝度の閾値を用いて、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域に分割するとともに、分割した夫々の細胞器官の領域の中心部を検出するように構成されている。
境界部検出手段２ｂ１は、三次元の細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体に対して、中心部検出手段２ａ１が検出した夫々の細胞器官の領域の中心部からその周囲に向けて、第２の輝度の閾値を用いて、該夫々の細胞器官の領域の境界部を検出するように構成されている。
そして、第一実施形態の三次元細胞画像解析装置２では、図４に示すように、図２(b)に示した細胞器官の領域の位置情報を検出するステップ（ステップＳ２1）において、中心部検出手段２ａ１が、三次元細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体データを用いて個々の細胞器官の領域の中心部を検出（ステップＳ２10）する。また、図２(b)に示した三次元の細胞器官の領域を構築するステップ（ステップＳ２2）において、境界部検出手段２ｂ１が、中心部検出手段２ａ１が検出した夫々の細胞器官の領域の中心部のデータを用いて、夫々の細胞器官の領域の境界部を検出する（ステップＳ２21）。これにより、細胞自体あるいは、核、小器官などの三次元の細胞器官の領域が構築される。
The three-dimensional cell image analysis system includes a three-dimensional cell image imaging device 1 and the three-dimensional cell image analysis device 2 of the first embodiment.
The three-dimensional cell image capturing apparatus 1 is configured in the same manner as that shown in FIG.
The three-dimensional cell image analysis apparatus 2 includes a computer and image analysis software.
The image analysis software is configured to cause the computer to function as a center part detection unit 2a1 as a position information detection unit and a boundary part detection unit 2b1 as a three-dimensional region construction unit.
The center detection unit 2a1 uses a first luminance threshold value for a set of a plurality of two-dimensional cell images accumulated in order in the Z direction to form a three-dimensional cell image. The cell is divided into regions of different types of cell organs, such as nuclei and organelles, and the center of each divided cell organ region is detected.
The boundary detection means 2b1 is a region of each cell organ detected by the center detection means 2a1 with respect to an aggregate of a plurality of two-dimensional cell images accumulated in the Z direction in order to form a three-dimensional cell image. From the center of the cell to the periphery thereof, a boundary portion of each cell organ region is detected using a second luminance threshold value.
Then, in the three-dimensional cell image analysis apparatus 2 of the first embodiment, as shown in FIG. 4, in the step (step S2 1 ) of detecting the position information of the cell organ region shown in FIG. The part detecting means 2a1 detects the central part of the region of each cell organ using the aggregate data of a plurality of two-dimensional cell images accumulated in the Z direction in order to form a three-dimensional cell image (step S2 10 ). To do. Further, in the step (step S2 2 ) of constructing the three-dimensional organelle region shown in FIG. 2 (b), the boundary detection means 2b1 uses the respective organelle regions detected by the center detection means 2a1. Using the data of the central part, the boundary part of each cell organ region is detected (step S2 21 ). As a result, a region of the cell itself or a three-dimensional organelle such as a nucleus or an organelle is constructed.
ここで、中心部検出手段２ａ１、境界部検出手段２ｂ１の機能について、より詳しく説明する。
中心部検出手段２ａ１は、三次元の細胞画像（図５(a)）を構成している、Ｚ方向に順に蓄積された夫々の二次元の細胞画像に対して、第１の輝度の閾値以上であり、且つ、Ｘ，Ｙ，Ｚのいずれかの方向に近接する領域同士を同じ種類の細胞器官の領域として検出するとともに、第１の輝度の閾値以上であり、且つ、Ｘ，Ｙ，Ｚのいずれの方向にも近接しない領域同士を異なる種類の細胞器官の領域として検出する。そして、これらの処理をＺ方向に順に蓄積されたすべての二次元の細胞画像に対して行い、Ｚ方向に順に蓄積された夫々の二次元の細胞画像において同じ種類の細胞器官として検出した領域の座標の集合体（図５(b)）を用いて、三次元の細胞画像における個々の細胞器官の領域の中心部（図５(c)）を検出する。
Here, the functions of the center detection means 2a1 and the boundary detection means 2b1 will be described in more detail.
The center part detection means 2a1 is equal to or greater than a first luminance threshold value for each two-dimensional cell image that is sequentially accumulated in the Z direction and that constitutes a three-dimensional cell image (FIG. 5 (a)). And regions close to each other in any of X, Y, and Z directions are detected as regions of the same type of organelle, and are equal to or higher than the first luminance threshold, and X, Y, Z Regions that are not close to each other are detected as regions of different types of cell organs. Then, these processes are performed on all the two-dimensional cell images accumulated in order in the Z direction, and the regions detected as the same type of organ in each two-dimensional cell image accumulated in the Z direction in sequence. Using the set of coordinates (FIG. 5 (b)), the central part (FIG. 5 (c)) of the area of each cell organ in the three-dimensional cell image is detected.
例えば、中心部検出手段２ａ１は、三次元細胞画像データを構成する夫々の二次元の細胞画像における、各ＸＹ座標上の輝度値が第１の輝度の閾値以上となっている領域を“１”、それ以外の領域を“０”として出力する。次いで、その二次元の細胞画像において、“１”が出力される領域であって、ＸＹ方向に近接する領域同士、及び、隣接する二次元の細胞画像同士において、“１”が出力される領域であって、Ｚ方向に近接する領域同士を同じ種類の細胞器官の領域として検出する。また、これにより、その二次元の細胞画像において、“１”が出力される領域であって、Ｘ，Ｙ，Ｚのいずれの方向にも近接しない領域同士が異なる種類の細胞器官の領域として検出される。そして、これらの処理をＺ方向に順に蓄積されたすべての二次元の細胞画像に対して行う。
これにより、三次元細胞画像データから個々の細胞器官の領域が絞り込まれる。
For example, the center detection unit 2a1 sets “1” to an area where the luminance value on each XY coordinate is greater than or equal to the first luminance threshold in each two-dimensional cell image constituting the three-dimensional cell image data. Other areas are output as “0”. Next, in the two-dimensional cell image, a region where “1” is output, and a region where “1” is output between regions close to each other in the XY direction and between adjacent two-dimensional cell images. And the area | regions adjacent to a Z direction are detected as an area | region of the same kind of organelle. In addition, as a result, in the two-dimensional cell image, a region where “1” is output and a region not adjacent to any of the X, Y, and Z directions is detected as a region of different types of cell organs. Is done. And these processes are performed with respect to all the two-dimensional cell images accumulated in order in the Z direction.
Thereby, the area | region of each cell organ is narrowed down from three-dimensional cell image data.
次いで、中心部検出手段２ａは、Ｚ方向に順に蓄積された夫々の二次元の細胞画像において同じ種類の細胞器官として検出した領域の座標の集合体における重心座標を、三次元の細胞画像における個々の細胞器官の領域の中心部として検出する。
これにより、三次元の細胞画像に対して、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域の所定の位置情報として、三次元の細胞画像における個々の細胞器官の領域の中心部が抽出される。
Next, the center detection means 2a determines the barycentric coordinates in the set of coordinates of the regions detected as the same type of cell organ in each two-dimensional cell image accumulated in the Z direction in order in the three-dimensional cell image. Detect as the central part of the organelle area.
As a result, with respect to the three-dimensional cell image, as the predetermined position information of the cell itself or the regions of different types of cell organs such as nuclei and organelles, the region of each cell organ in the three-dimensional cell image can be obtained. The center is extracted.
図６は第一実施形態の三次元細胞画像解析装置における中心部検出手段２ａ１の具体的な処理手順の一例を示すフローチャートである。
図６の例では、中心部検出手段２ａ１は、三次元細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体データからＺ方向に蓄積されている二次元細胞画像データを抽出する（ステップＳ１２）。次いで、抽出画像があるか否かをチェックする（ステップＳ１３）。抽出画像がある場合、抽出した二次元細胞画像における各ＸＹ座標の輝度値を第１の輝度の閾値と比較し、第１の輝度の閾値以上のＸＹ座標を抽出する（ステップＳ１４）。次いで、抽出したＸＹ座標のうち、互いに近接するＸＹ座標同士を同じ種類の細胞器官の領域として検出する（ステップＳ１５）。次いで、現在抽出している二次元細胞画像が２番目以降の画像であるか否かをチェックする（ステップＳ１６）。２番目以降の画像である場合、その一つ前の二次元細胞画像において夫々の種類の細胞器官の領域として検出したＸＹ座標と、現在抽出している二次元細胞画像において夫々の種類の細胞器官の領域として検出したＸＹ座標とで、Ｚ方向に互いに近接する座標同士を同じ種類の細胞器官の領域として検出する（ステップＳ１７）。そして、これらの処理をＺ方向に順に蓄積されたすべての二次元の細胞画像に対して行う（ステップＳ１１〜ステップＳ１８）。次いで、検出した夫々の種類の細胞器官の領域の座標の集合体の重心座標を、三次元細胞画像における個々の細胞器官の領域の中心部として検出する（ステップＳ１９）。
FIG. 6 is a flowchart showing an example of a specific processing procedure of the center part detection means 2a1 in the three-dimensional cell image analysis apparatus of the first embodiment.
In the example of FIG. 6, the center detection means 2a1 is a two-dimensional cell image accumulated in the Z direction from aggregate data of a plurality of two-dimensional cell images accumulated in the Z direction in order to form a three-dimensional cell image. Data is extracted (step S12). Next, it is checked whether or not there is an extracted image (step S13). If there is an extracted image, the luminance value of each XY coordinate in the extracted two-dimensional cell image is compared with a first luminance threshold value, and XY coordinates that are equal to or higher than the first luminance threshold value are extracted (step S14). Next, among the extracted XY coordinates, XY coordinates close to each other are detected as regions of the same type of organelle (step S15). Next, it is checked whether or not the currently extracted two-dimensional cell image is the second and subsequent images (step S16). In the case of the second and subsequent images, the XY coordinates detected as regions of the respective types of cell organs in the previous two-dimensional cell image and the respective types of cell organs in the currently extracted two-dimensional cell image The coordinates adjacent to each other in the Z direction are detected as the regions of the same type of organelle with the XY coordinates detected as the region (step S17). And these processes are performed with respect to all the two-dimensional cell images accumulated in order in the Z direction (steps S11 to S18). Next, the center-of-gravity coordinates of the set of coordinates of the detected areas of the respective types of cell organs are detected as the center of each cell organ area in the three-dimensional cell image (step S19).
ところで、一般に、観察対象となる細胞領域は、一定の輝度値を持つとは限らない。通常は、実験条件や撮像条件等により、或いは時間の経過によって、輝度値が変化する。このため、上述のように、第１の輝度の閾値により“１”と“０”の領域に分けて、個々の細胞器官の領域を認識させるようにする構成においては、実験条件や撮像条件、或いは時間の経過によって、細胞器官の領域の輝度が大きく変化した場合、細胞器官の領域の大きさや形状を誤認識してしまうという問題がある。 By the way, generally, a cell region to be observed does not always have a constant luminance value. Normally, the luminance value changes depending on experimental conditions, imaging conditions, etc., or over time. Therefore, as described above, in the configuration in which the area of each cell organ is recognized by dividing the area into “1” and “0” according to the first luminance threshold, Or when the brightness | luminance of the area | region of a cell organ changes greatly with progress of time, there exists a problem that the magnitude | size and shape of the area | region of a cell organ will be misrecognized.
また、この構成においては、輝度の染色ムラなどの、局所的に輝度が高くなったり、低くなったりするという現象に対応できず、単一の領域を複数の領域と誤認識してしまう問題もある。 In addition, in this configuration, it is not possible to cope with a phenomenon in which brightness is locally increased or decreased, such as uneven staining of brightness, and there is a problem that a single area is erroneously recognized as a plurality of areas. is there.
そこで、このような誤認識の問題を除去するために、中心部検出手段２ａ１は、例えば、図７のフローチャートに示すように、三次元の細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体に対して第１の輝度の閾値を用いて複数の領域に分割する際に、三次元の細胞画像の輝度値を二次元又は三次元の所定の局所領域ごとに平均化するように構成するのが好ましい。 Therefore, in order to eliminate such a problem of misrecognition, the center detection unit 2a1 has a plurality of pieces accumulated in order in the Z direction , for example, as shown in the flowchart of FIG. When a two-dimensional cell image aggregate is divided into a plurality of regions using a first luminance threshold, the luminance value of the three-dimensional cell image is determined for each two-dimensional or three-dimensional predetermined local region. It is preferable to configure to average.
図７は第一実施形態の三次元細胞画像解析装置における中心部検出手段２ａ１の具体的な処理手順の他の例を示すフローチャートである。
図７の例では、中心部検出手段２ａ１は、三次元細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体データからＺ方向に蓄積されている二次元細胞画像データを抽出する（ステップＳ１２'）。次いで、抽出画像があるか否かをチェックする（ステップＳ１３'）。抽出画像がある場合、抽出した二次元細胞画像における各ＸＹ座標の輝度値を所定の局所領域ごとに平均化する（ステップＳ１４'）。次いで、抽出した二次元細胞画像における各ＸＹ座標の平均化した輝度値を第１の輝度の閾値と比較し、第１の輝度の閾値以上のＸＹ座標を抽出する（ステップＳ１５'）。
次いで、抽出したＸＹ座標のうち、互いに近接するＸＹ座標同士を同じ種類の細胞器官の領域として検出する（ステップＳ１６'）。次いで、現在抽出している二次元細胞画像が２番目以降の画像であるか否かをチェックする（ステップＳ１７'）。２番目以降の画像である場合、その一つ前の二次元細胞画像において夫々の種類の細胞器官の領域として検出したＸＹ座標と、現在抽出している二次元細胞画像において夫々の種類の細胞器官の領域として検出したＸＹ座標とで、Ｚ方向に互いに近接する座標同士を同じ種類の細胞器官の領域として検出する（ステップＳ１８'）。そして、これらの処理をＺ方向に順に蓄積されたすべての二次元の細胞画像に対して行う（ステップＳ１１'〜ステップＳ１９'）。次いで、検出した夫々の種類の細胞器官の領域の座標の集合体の重心座標を、三次元細胞画像における個々の細胞器官の領域の中心部として検出する（ステップＳ２０'）。
FIG. 7 is a flowchart showing another example of a specific processing procedure of the center part detection means 2a1 in the three-dimensional cell image analysis apparatus of the first embodiment.
In the example of FIG. 7, the center detection means 2a1 is a two-dimensional cell image accumulated in the Z direction from aggregate data of a plurality of two-dimensional cell images accumulated in order in the Z direction. Data is extracted (step S12 ′). Next, it is checked whether or not there is an extracted image (step S13 ′). When there is an extracted image, the luminance value of each XY coordinate in the extracted two-dimensional cell image is averaged for each predetermined local region (step S14 ′). Next, the averaged luminance value of each XY coordinate in the extracted two-dimensional cell image is compared with a first luminance threshold value, and an XY coordinate equal to or higher than the first luminance threshold value is extracted (step S15 ′).
Next, among the extracted XY coordinates, XY coordinates close to each other are detected as regions of the same type of organelle (step S16 ′). Next, it is checked whether or not the currently extracted two-dimensional cell image is the second and subsequent images (step S17 ′). In the case of the second and subsequent images, the XY coordinates detected as regions of the respective types of cell organs in the previous two-dimensional cell image and the respective types of cell organs in the currently extracted two-dimensional cell image The coordinates adjacent to each other in the Z direction are detected as the regions of the same type of organelle with the XY coordinates detected as the region (step S18 ′). And these processes are performed with respect to all the two-dimensional cell images accumulated in order in the Z direction (Step S11 ′ to Step S19 ′). Next, the center-of-gravity coordinates of the set of coordinates of the detected areas of the respective types of cell organs are detected as the center of each cell organ area in the three-dimensional cell image (step S20 ′).
図７の例のように、中心部検出手段２ａ１を、三次元の細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体に対して第１の輝度の閾値を用いて複数の領域に分割する際に、三次元の細胞画像の輝度値を二次元又は三次元の所定の局所領域ごとに平均化するように構成すれば、細胞画像の全体にわたって輝度の変化が小さくなり、同一の細胞器官の領域内において偶発的に輝度が大きく変化する画素領域が除かれる。このため、単一の細胞器官の領域を複数の細胞器官の領域として誤認識するおそれを除去することができる。 As in the example of FIG. 7, the center detection means 2 a 1 sets the first luminance threshold value for a set of a plurality of two-dimensional cell images accumulated in order in the Z direction, which forms a three-dimensional cell image. When it is configured to average the luminance value of a three-dimensional cell image for each predetermined two-dimensional or three-dimensional local area when dividing into a plurality of regions, the luminance change over the entire cell image Pixel areas that become smaller and accidentally change greatly in brightness within the same organelle area are excluded. For this reason, the possibility of erroneously recognizing a single cell organ region as a plurality of cell organ regions can be eliminated.
また、実験条件や撮像条件、時間変化などによって、輝度の絶対値は変化しても、個々の細胞器官の領域及びその背景の領域の相対的な輝度変化特性はそれほど変化しない。
このため、中心部検出手段２ａ１は、例えば、図８のフローチャートに示すように、三次元の細胞画像に対して所定の局所領域ごとに平均化した輝度値の変化量又は輝度値が極大又は極小となる座標又は座標領域を、三次元の細胞画像における個々の細胞器官の領域の中心部として検出するように構成するのが好ましい。
Further, even if the absolute value of the luminance changes due to experimental conditions, imaging conditions, temporal changes, etc., the relative luminance change characteristics of the individual organelle regions and the background regions thereof do not change so much.
For this reason, for example, as shown in the flowchart of FIG. 8, the center detection unit 2a1 has a maximum or minimum luminance value variation or luminance value averaged for each predetermined local region with respect to a three-dimensional cell image. It is preferable that the coordinates or the coordinate area to be detected is detected as the center of the area of each cell organ in the three-dimensional cell image.
図８は第一実施形態の三次元細胞画像解析装置における中心部検出手段２ａ１の具体的なの処理手順のさらに他の例を示すフローチャートである。
図８の例では、中心部検出手段２ａ１は、三次元細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体データからＺ方向に蓄積されている二次元細胞画像データを抽出する（ステップＳ１２"）。次いで、抽出画像があるか否かをチェックする（ステップＳ１３"）。抽出画像がある場合、抽出した二次元細胞画像における各ＸＹ座標の輝度値を所定の局所領域ごとに平均化する（ステップＳ１４"）。次いで、抽出した二次元細胞画像における各ＸＹ座標の平均化した輝度値を第１の輝度の閾値と比較し、第１の輝度の閾値以上のＸＹ座標を抽出する（ステップＳ１５"）。次いで、抽出したＸＹ座標のうち、互いに近接するＸＹ座標同士を同じ種類の細胞器官の領域として検出する（ステップＳ１６"）。次いで、現在抽出している二次元細胞画像が２番目以降の画像であるか否かをチェックする（ステップＳ１７"）。２番目以降の画像である場合、その一つ前の二次元細胞画像において夫々の種類の細胞器官の領域として検出したＸＹ座標と、現在抽出している二次元細胞画像において夫々の種類の細胞器官の領域として検出したＸＹ座標とで、Ｚ方向に互いに近接する座標同士を同じ種類の細胞器官の領域として検出する（ステップＳ１８"）。そして、これらの処理をＺ方向に順に蓄積されたすべての二次元の細胞画像に対して行う（ステップＳ１１"〜ステップＳ１９"）。次いで、検出した夫々の種類の細胞器官の領域の座標の集合体に対して所定の局所領域ごとに平均化した輝度値の変化量又は輝度値が極大又は極小となる座標又は座標の集合体を、三次元細胞画像における個々の細胞器官の領域の中心部として検出する（ステップＳ２０"）。
FIG. 8 is a flowchart showing still another example of a specific processing procedure of the central portion detection means 2a1 in the three-dimensional cell image analysis apparatus of the first embodiment.
In the example of FIG. 8, the center part detection means 2a1 is a two-dimensional cell image accumulated in the Z direction from aggregate data of a plurality of two-dimensional cell images accumulated in order in the Z direction. Data is extracted (step S12 "). Then, it is checked whether there is an extracted image (step S13"). When there is an extracted image, the luminance value of each XY coordinate in the extracted two-dimensional cell image is averaged for each predetermined local area (step S14 "). Next, the average of each XY coordinate in the extracted two-dimensional cell image is averaged The obtained luminance value is compared with a first luminance threshold value, and XY coordinates equal to or higher than the first luminance threshold value are extracted (step S15 "). Next, among the extracted XY coordinates, XY coordinates that are close to each other are detected as regions of the same type of organelle (step S16 "). Next, the currently extracted two-dimensional cell image is the second and subsequent images. It is checked whether or not there is (step S17 "). In the case of the second and subsequent images, the XY coordinates detected as regions of the respective types of cell organs in the previous two-dimensional cell image and the respective types of cell organs in the currently extracted two-dimensional cell image The coordinates adjacent to each other in the Z direction are detected as regions of the same type of organelle (step S18 "). These processes are sequentially stored in the Z direction. This is performed on the two-dimensional cell image (steps S11 "to S19"). Next, the luminance value averaged for each predetermined local region with respect to the set of coordinates of the regions of the detected organ organ regions. A coordinate or a set of coordinates at which the amount of change or the luminance value is maximized or minimized is detected as the center of each cell organ region in the three-dimensional cell image (step S20 ").
図８の例のようにすれば、細胞器官の領域の大きさや形状を誤認識するおそれを除去することができる。 If the example of FIG. 8 is used, the possibility of misrecognizing the size and shape of the cell organ region can be eliminated.
また、経時的な解析を行う場合は、直前あるいは直後のすでに解析されたデータをもとに、それらの個々の細胞器官の領域の中心部を、現時点の解析における個々の細胞器官の領域の中心部として用いるようにしてもよい。
即ち、中心部検出手段２ａ１は、同一の試料を対象として経時的に得られる三次元の細胞画像を解析する場合において、異なる時間に得られた三次元の細胞画像における個々の細胞器官の領域の中心部を既に検出済みであるときに、既に検出済みのいずれかの三次元の細胞画像における個々の細胞器官の領域の中心部を、現在解析対象となっている三次元の細胞画像における個々の細胞器官の領域の中心部として検出するように構成してもよい。
このように構成すれば、時間変化によって、輝度の絶対値は変化しても、細胞器官の領域の大きさや形状を誤認識するおそれを除去することができる。また、細胞器官の領域の中心部の検出は、最初の１回（に要する時間）だけとなるので、全体の処理がさらに高速化する。
When performing analysis over time, based on the data already analyzed immediately before or immediately after, the center of each individual organelle area is changed to the center of each individual organelle area in the current analysis. You may make it use as a part.
That is, when analyzing the three-dimensional cell image obtained over time for the same sample as the object, the center detection means 2a1 is used for the region of each cell organ in the three-dimensional cell image obtained at different times. When the central part has already been detected, the central part of the area of each cell organ in any of the three-dimensional cell images that have already been detected is changed to the individual part in the three-dimensional cell image currently being analyzed. You may comprise so that it may detect as a center part of the area | region of a cell organ.
With this configuration, even if the absolute value of the luminance changes with time, it is possible to eliminate the possibility of erroneously recognizing the size and shape of the cell organ region. In addition, since the central portion of the cell organ region is detected only once (time required), the entire processing is further accelerated.
境界部検出手段２ｂ１は、例えば、図９のフローチャートに示すように、Ｚ方向に順に蓄積された二次元の細胞画像の集合体に対して、中心部検出手段２ａ１が検出した個々の細胞器官の領域の中心部からその周囲に向けて、第２の輝度の閾値以上であり、且つ、Ｘ，Ｙ，Ｚのいずれかの方向に連続する領域と、第２の輝度の閾値を下回る領域との境界を、三次元の細胞画像における個々の細胞器官の領域の境界部（図５(d)）として検出する。
第２の輝度の閾値としては、例えば、第１の輝度の閾値と同じ値を用いることができる。
For example, as shown in the flowchart of FIG. 9, the boundary detection unit 2b1 is configured to detect individual cell organs detected by the center detection unit 2a1 with respect to a collection of two-dimensional cell images sequentially accumulated in the Z direction. A region that is equal to or greater than the second luminance threshold value from the center of the region toward the periphery thereof, and a region that continues in any of X, Y, and Z directions, and a region that is less than the second luminance threshold value The boundary is detected as a boundary (FIG. 5 (d)) of the area of each organelle in the three-dimensional cell image.
As the second luminance threshold value, for example, the same value as the first luminance threshold value can be used.
図９は第一実施形態の三次元細胞画像解析装置における境界部検出手段２ｂ１の具体的な処理手順の一例を示すフローチャートである。
図９の例では、境界部検出手段２ｂ１は、Ｚ方向に順に蓄積された二次元細胞画像の集合体において、中心部検出手段２ａ１が検出した個々の細胞器官の領域の中心部のうちの一つの細胞器官の領域の中心部に、Ｚ座標が位置する二次元細胞画像データを抽出する（ステップＳ１１”’）。次いで、抽出した二次元細胞画像における当該細胞器官の領域の中心部からその周囲に向けて順にＸＹ座標の輝度を第２の輝度の閾値と比較し、第２の輝度の閾値以上であり、且つ、ＸＹ方向に連続する座標の領域と、第２の輝度の閾値を下回る座標の領域との境界を二次元細胞画像における当該細胞器官の領域の境界部として検出する（ステップＳ１２”’）。次いで、Ｚ方向に順に蓄積された二次元細胞画像の集合体において、現在、抽出している二次元細胞画像データに前後して蓄積された二次元細胞画像データを抽出する（ステップＳ１３”’）。次いで、抽出画像があるか否かをチェックする（ステップＳ１４”’）。抽出画像がある場合、現在抽出している二次元細胞画像において、該二次元細胞画像の直前に検出した二次元細胞画像における当該細胞器官の境界部内のＸＹ座標に対応するＸＹ座標の領域からその周囲に向けて順にＸＹ座標の輝度を第２の輝度の閾値と比較し、第２の輝度の閾値以上であり、且つ、ＸＹ方向に連続するとともに、その一部が現在抽出している二次元細胞画像の直前に検出した二次元細胞画像における当該細胞器官の境界部とＺ方向に連続する座標の領域と、現在及び直前に抽出した二次元細胞画像における第２の輝度の閾値を下回る座標の領域との境界を現在抽出している二次元細胞画像における当該細胞器官の領域の境界部として検出する（ステップＳ１５”’）。次いで、全ての細胞器官の領域の境界部を検出したか否かをチェックする（ステップＳ１６”’）。境界部が未検出の細胞器官の領域が存在する場合、Ｚ方向に順に蓄積された二次元細胞画像の集合体において、中心部検出手段が検出した個々の細胞器官の領域の中心部のうちの次の細胞器官の領域の中心部に、Ｚ座標が位置する二次元細胞画像データを抽出する（ステップＳ１７”’）。以下、全ての細胞器官の領域の境界部を検出するまで、ステップＳ１２”’〜ステップＳ１７”’の処理を繰り返す。
FIG. 9 is a flowchart showing an example of a specific processing procedure of the boundary detection means 2b1 in the three-dimensional cell image analysis apparatus of the first embodiment.
In the example of FIG. 9, the boundary detection means 2b1 is one of the central parts of the regions of the individual organelles detected by the center detection means 2a1 in the aggregate of two-dimensional cell images accumulated in order in the Z direction. Two-dimensional cell image data in which the Z coordinate is located at the center of one cell organ region is extracted (step S11 ″ ′). Next, from the center of the cell organ region in the extracted two-dimensional cell image to its surroundings The luminances of the XY coordinates are sequentially compared with the second luminance threshold value toward, and the coordinate area is equal to or greater than the second luminance threshold value and is continuous in the XY direction and below the second luminance threshold value. The boundary with the region is detected as the boundary of the region of the cell organ in the two-dimensional cell image (step S12 ″ ′). Next, in the aggregate of two-dimensional cell images accumulated in order in the Z direction, the two-dimensional cell image data accumulated before and after the currently extracted two-dimensional cell image data is extracted (step S13 ″ ′). Next, it is checked whether or not there is an extracted image (step S14 ″ ′). If there is an extracted image, in the currently extracted two-dimensional cell image, the XY coordinate region corresponding to the XY coordinate in the boundary of the cell organ in the two-dimensional cell image detected immediately before the two-dimensional cell image Compare the luminance of the XY coordinates sequentially with the second luminance threshold value toward the surroundings, and the two-dimensionality that is equal to or higher than the second luminance threshold value and is continuous in the XY direction, and a part of which is currently extracted The boundary of the organelle in the two-dimensional cell image detected immediately before the cell image and the coordinate region continuous in the Z direction, and the coordinates below the second luminance threshold in the two-dimensional cell image extracted now and immediately before A boundary with the region is detected as a boundary portion of the cell organ region in the currently extracted two-dimensional cell image (step S15 ″ ′). Next, whether or not the boundary portions of all the cell organ regions have been detected. Is checked (step S16 "'). When there is a region of an organ organ whose boundary is not detected, in a set of two-dimensional cell images accumulated in order in the Z direction, of the center portions of the individual organ organ regions detected by the center portion detecting means Two-dimensional cell image data in which the Z coordinate is located at the center of the next organelle region is extracted (step S17 ″ ′). Hereinafter, step S12 ″ is performed until the boundary portions of all the organelle regions are detected. The process of “˜step S17” ”is repeated.
あるいは、「細胞画像における細胞器官の領域の境界は、輝度変化が大きい」という特性を用いて、境界部検出手段２ｂ１は、例えば、図１０のフローチャートに示すように、第２の輝度の閾値として、輝度値の変化量の最大値を用い、Ｚ方向に順に蓄積された二次元の細胞画像の集合体を用いて、中心部検出手段２ａ１が検出した個々の細胞器官の領域の中心部からその周囲に向けて、１画素ずつ輝度値の変化量を計算し、計算した輝度値の変化量が第２の輝度の閾値を下回り、且つ、Ｘ，Ｙ，Ｚのいずれかの方向に連続する領域と、第２の輝度の閾値以上の領域との境界を、三次元の細胞画像における個々の細胞器官の領域の境界部として検出するようにしてもよい。 Alternatively, using the characteristic that “the boundary of the cell organ region in the cell image has a large luminance change”, the boundary detection unit 2b1 uses, for example, a second luminance threshold as shown in the flowchart of FIG. , Using the maximum value of the change amount of the luminance value and using the aggregate of the two-dimensional cell images accumulated in the Z direction in order from the central part of the area of each cell organ detected by the central part detecting means 2a1 A region in which the amount of change in luminance value is calculated pixel by pixel toward the periphery, and the amount of change in the calculated luminance value is below the second luminance threshold, and continues in any of X, Y, and Z directions And a boundary between the second luminance threshold and a region that is equal to or higher than the second luminance threshold may be detected as a boundary between individual cell organ regions in the three-dimensional cell image.
図１０は第一実施形態の三次元細胞画像解析装置における境界部検出手段２ｂ１の具体的な処理手順の他の例を示すフローチャートである。
図１０の例では、境界部検出手段２ｂ１は、Ｚ方向に順に蓄積された二次元細胞画像の集合体において、中心部検出手段２ａ１が検出した個々の細胞器官の領域の中心部のうちの一つの細胞器官の領域の中心部に、Ｚ座標が位置する二次元細胞画像データを抽出する（ステップＳ１１””）。次いで、抽出した二次元細胞画像における当該細胞器官の領域の中心部からその周囲に向けて、１画素ずつ輝度値の変化量を計算し、計算した輝度値の変化量を第２の輝度の閾値としての輝度値の変化量の最大値と比較し、計算した輝度値の変化量が第２の輝度の閾値を下回り、且つ、ＸＹ方向に連続する座標の領域と、第２の輝度の閾値以上の座標の領域との境界を、二次元細胞画像における当該細胞器官の領域の境界部として検出する（ステップＳ１２””）。次いで、Ｚ方向に順に蓄積された二次元細胞画像の集合体において、現在、抽出している二次元細胞画像データに前後して蓄積された二次元細胞画像データを抽出する（ステップＳ１３””）。次いで、抽出画像があるか否かをチェックする（ステップＳ１４””）。抽出画像がある場合、現在抽出している二次元細胞画像において、該二次元細胞画像の直前に検出した二次元細胞画像における当該細胞器官の境界部内のＸＹ座標に対応するＸＹ座標の領域からその周囲に向けて、１画素ずつ輝度値の変化量を計算し、計算した輝度値の変化量を第２の輝度の閾値としての輝度値の変化量の最大値と比較し、計算した輝度値の変化量が第２の輝度の閾値を下回り、且つ、ＸＹ方向に連続するとともに、その一部が現在抽出している二次元細胞画像の直前に検出した二次元細胞画像における当該細胞器官の境界部とＺ方向に連続する座標の領域と、現在及び直前に抽出した二次元細胞画像における第２の輝度の閾値を下回る座標の領域との境界を、現在抽出している二次元細胞画像における当該細胞器官の領域の境界部として検出する（ステップＳ１５””）。次いで、全ての細胞器官の領域の境界部を検出したか否かをチェックする（ステップＳ１６””）。境界部が未検出の細胞器官の領域が存在する場合、Ｚ方向に順に蓄積された二次元細胞画像の集合体において、中心部検出手段が検出した個々の細胞器官の領域の中心部のうちの次の細胞器官の領域の中心部に、Ｚ座標が位置する二次元細胞画像データを抽出する（ステップＳ１７””）。以下、全ての細胞器官の領域の境界部を検出するまで、ステップＳ１２””〜ステップＳ１７””の処理を繰り返す。
FIG. 10 is a flowchart showing another example of a specific processing procedure of the boundary detection means 2b1 in the three-dimensional cell image analysis apparatus of the first embodiment.
In the example of FIG. 10, the boundary detection means 2b1 is one of the central parts of the regions of individual cell organs detected by the center detection means 2a1 in the aggregate of two-dimensional cell images accumulated in order in the Z direction. Two-dimensional cell image data in which the Z coordinate is located at the center of one cell organ region is extracted (step S11 ""). Next, the amount of change in luminance value is calculated pixel by pixel from the center of the cell organ region in the extracted two-dimensional cell image to the periphery thereof, and the calculated amount of change in luminance value is set as a second luminance threshold value. As compared with the maximum value of the change amount of the luminance value, the calculated change amount of the luminance value is less than the second luminance threshold value, and the coordinate area continuous in the XY direction and the second luminance threshold value or more The boundary with the coordinate area is detected as the boundary of the cell organ area in the two-dimensional cell image (step S12 ""). Next, in the aggregate of the two-dimensional cell images accumulated in order in the Z direction, the two-dimensional cell image data accumulated before and after the currently extracted two-dimensional cell image data is extracted (step S13 ″ ″). . Next, it is checked whether or not there is an extracted image (step S14 ""). If there is an extracted image, in the currently extracted two-dimensional cell image, the XY coordinate region corresponding to the XY coordinate in the boundary of the cell organ in the two-dimensional cell image detected immediately before the two-dimensional cell image The amount of change in luminance value is calculated pixel by pixel toward the surroundings, and the calculated amount of change in luminance value is compared with the maximum amount of change in luminance value as the second luminance threshold value. The amount of change is less than the second luminance threshold value and is continuous in the XY direction, and a part of the boundary of the cell organ in the two-dimensional cell image detected immediately before the two-dimensional cell image currently extracted And the region of the coordinate region continuous in the Z direction and the region of the coordinate region below the second luminance threshold in the current and immediately preceding extracted two-dimensional cell image, the cell in the currently extracted two-dimensional cell image Organ area Detecting a boundary (step S15 ""). Next, it is checked whether or not the boundary between all the cell organ regions has been detected (step S16 ""). When there is a region of an organ organ whose boundary is not detected, in a set of two-dimensional cell images accumulated in order in the Z direction, of the center portions of the individual organ organ regions detected by the center portion detecting means Two-dimensional cell image data in which the Z coordinate is located at the center of the next organelle region is extracted (step S17 ""). Thereafter, the processing from step S12 "" to step S17 "" is repeated until the boundary between all the cell organ regions is detected.
この構成は、特に、細胞領域内の輝度値が一定しないような場合に有効である。輝度の絶対値自体は変化が大きいが、細胞器官の領域の境界は、一般にある程度の輝度差を持って認識できるものであるから、この構成を用いれば、ほとんどの細胞器官の領域に対してその境界を抽出することが可能となる。 This configuration is particularly effective when the luminance value in the cell region is not constant. Although the absolute value of the brightness itself varies greatly, the boundary of the organelle region is generally one that can be recognized with a certain brightness difference. It is possible to extract the boundary.
また、第一実施形態の細胞画像解析装置においては、画像解析ソフトウェアが、コンピュータを、さらに、境界部補正手段２ｂ２として機能させるとより好ましい。
図１１は第一実施形態の変形例にかかる三次元細胞画像解析装置を備えた三次元細胞画像解析システムの全体構成を示すブロック図である。なお、本変形例の三次元細胞画像解析装置を用いた三次元細胞画像解析システムにおける要部以外の構成であって図３に示した三次元細胞画像解析システムと同じ構成については同じ符号を付し、説明は省略する。
Moreover, in the cell image analysis apparatus of the first embodiment, it is more preferable that the image analysis software further causes the computer to function as the boundary correction unit 2b2.
FIG. 11 is a block diagram showing an overall configuration of a three-dimensional cell image analysis system including a three-dimensional cell image analysis apparatus according to a modification of the first embodiment. It should be noted that the same components as those in the three-dimensional cell image analysis system shown in FIG. 3 are denoted by the same reference numerals in the three-dimensional cell image analysis system using the three-dimensional cell image analyzer of the present modification. The description is omitted.
境界部補正手段２ｂ２は、境界部検出手段２ｂ１が検出した境界部の内側領域に、中心部検出手段２ａ１が検出した個々の細胞器官の領域の中心部が複数存在する場合に、これらの中心部同士の間における輝度値の変化量が最大となる領域を、三次元の細胞画像における個々の細胞器官の領域の境界部として補正する。 The boundary correction unit 2b2 is configured such that when there are a plurality of central portions of the individual cell organ regions detected by the center detection unit 2a1 in the inner region of the boundary detected by the boundary detection unit 2b1, A region where the amount of change in luminance value between them is maximized is corrected as a boundary between regions of individual cell organs in the three-dimensional cell image.
図３〜図１１に示した第一実施形態の三次元細胞画像解析装置によれば、三次元の細胞画像においてあらかじめ特徴的な構造を持つ領域の中心部を特定するようにしたので、三次元の細胞画像の解析において個々の三次元の細胞器官の領域を特定する際には、三次元の細胞画像における中心部の領域周辺の精査のみ行えば済む。そのため、従来の三次元細胞画像解析装置における三次元領域すべてを精査する一般的な方法に比べて、効率のよい画像解析処理が可能となる。
特に経時的な解析を行う場合、以前検出した細胞器官の領域の重心を中心部とするなどの方法により、効率よく個々の細胞器官の領域に対する経時的な解析を行うことができる。
According to the three-dimensional cell image analysis apparatus of the first embodiment shown in FIGS. 3 to 11, the center part of the region having a characteristic structure is specified in advance in the three-dimensional cell image. When the region of each three-dimensional cell organ is specified in the analysis of the cell image, only the area around the central region in the three-dimensional cell image needs to be scrutinized. Therefore, it is possible to perform an efficient image analysis process as compared with a general method for examining all three-dimensional regions in a conventional three-dimensional cell image analysis apparatus.
In particular, when performing analysis over time, it is possible to efficiently perform analysis over time for individual cell organ regions by a method such as using the center of gravity of the previously detected cell organ region as the center.
また、個々の細胞器官の領域が近接している場合には、個々の細胞器官の領域の境界部が不明確な場合が多く、特に、複数の細胞器官の領域を単一の細胞器官の領域として誤認識することは、解析結果に与える悪影響が大きいため避けなくてはならない。
細胞画像内に境界部が存在するか否か？（即ち、細胞画像において領域を分割すべきか否か？）という判断は一般的に難しい。これに対し、存在するとわかっている境界部であれば、その領域内において最も輝度差が大きい画素領域等というように境界部を相対的に定義することが可能であるので、比較的容易にその境界部を探し出すことができる。
しかるに、第一実施形態の三次元細胞画像解析装置によれば、あらかじめ個々の細胞器官の領域の中心部を特定するようにしたので、個々の細胞器官の領域が近接している場合におけるこれらの細胞器官の領域の境界部を誤認識するおそれを除去することが可能となる。
In addition, when the areas of individual cell organs are close to each other, the boundary between the areas of the individual cell organs is often unclear. It is necessary to avoid misrecognizing as “A” because it has a bad influence on the analysis result.
Is there a boundary in the cell image? In general, it is difficult to determine whether or not a region should be divided in a cell image. On the other hand, if the boundary is known to exist, the boundary can be relatively defined, such as a pixel region having the largest luminance difference in the region. You can find the boundary.
However, according to the three-dimensional cell image analysis apparatus of the first embodiment, since the center part of the area of each cell organ is specified in advance, these areas in the case where the areas of the individual cell organs are close to each other. It is possible to eliminate the possibility of erroneously recognizing the boundary between cell organ regions.
第二実施形態
図１２は本発明の第二実施形態にかかる三次元細胞画像解析装置を用いた三次元細胞画像解析システムの全体構成を示すブロック図、図１３は第二実施形態の三次元細胞画像装置における三次元の細胞器官の領域を構築するまでの処理手順を示すフローチャートである。
図１４は第二実施形態の三次元細胞画像解析装置において作成する二次元射影データを概念的に示す説明図で、(a)は三次元の細胞画像におけるＺ方向に添う断面図、図(b)は本実施形態の二次元射影データ作成手段を用いて、各ＸＹ座標に対して最大の輝度値を持つＺ座標の集合体を示す射影図である。なお、第二実施形態の三次元細胞画像解析装置を用いた三次元細胞画像解析システムにおける要部以外の構成であって図１に示した三次元細胞画像解析システムと同じ構成については同じ符号を付し、説明は省略する。
Block diagram illustrating the overall configuration of the second embodiment Figure 12 is a three-dimensional cell image analysis system using a three-dimensional cell image analysis apparatus according to a second embodiment of the present invention, FIG 13 is a three-dimensional cells of the second embodiment It is a flowchart which shows the process sequence until the area | region of the three-dimensional organelle in an imaging device is constructed | assembled.
FIG. 14 is an explanatory diagram conceptually showing two-dimensional projection data created by the three-dimensional cell image analyzer of the second embodiment. FIG. 14A is a cross-sectional view along the Z direction in the three-dimensional cell image, and FIG. ) Is a projection diagram showing a set of Z coordinates having the maximum luminance value for each XY coordinate using the two-dimensional projection data creating means of the present embodiment. In addition, it is the structure other than the principal part in the three-dimensional cell image analysis system using the three-dimensional cell image analysis apparatus of the second embodiment, and the same reference numerals are given to the same structures as the three-dimensional cell image analysis system shown in FIG. The description is omitted.
三次元細胞画像解析システムは、三次元細胞画像撮像装置１と第二実施形態の三次元細胞画像解析装置２’を有する。
三次元細胞画像撮像装置１は、図１に示したものと同様に構成されている。
三次元細胞画像解析装置２’は、コンピュータと、画像解析ソフトウェアを備えて構成されている。
画像解析ソフトウェアは、コンピュータを、位置情報検出手段としての二次元射影データ作成手段２ａ１’、三次元領域構築手段としての不連続領域特定手段２ｂ１’、 サイズ検出手段２ｂ２’、Ｚ座標平均値算出手段２ｂ３’として機能させるように構成されている。
二次元射影データ作成手段２ａ１’は、三次元の細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体を用いて各ＸＹ座標に対して所定の輝度値を持つＺ座標の集合体を示す二次元射影データを作成する。
不連続領域特定手段２ｂ１’は、二次元射影データ作成手段２ａ１’が作成した二次元射影データにおけるＺ座標の集合体において、Ｚ座標の値が互いにＸＹ方向に不連続となる領域を特定する。
サイズ検出手段２ｂ２’は、不連続領域特定手段２ｂ１’が特定した個々の領域のＸＹ方向への広がりを検出する。
Ｚ座標平均値算出手段２ｂ３’は、不連続領域特定手段２ｂ１が特定した個々の領域のＺ座標の平均値を算出する。
そして、第二実施形態の三次元細胞画像解析装置２’では、図１３に示すように、図２(b)に示した細胞器官の領域の位置情報を検出するステップ（ステップＳ２1）において、二次元射影データ作成手段２ａ１’が、三次元細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体データを用いて二次元射影データを作成する（ステップＳ２11’）。また、図２(b)に示した三次元の細胞器官の領域を構築するステップ（ステップＳ２2）において、不連続領域特定手段２ｂ１’が、二次元射影データ作成手段２ａ１’が作成した二次元射影データを用いて、個々の領域を特定（ステップＳ２21’）し、次いで、サイズ検出手段２ｂ２’が、個々の領域のＸＹ方向への広がりを検出し（ステップＳ２22’）、次いで、座標平均値算出手段２ｂ３’が、個々の領域のＺ座標の平均値を算出する（ステップＳ２23’）。これにより、細胞自体あるいは、核、小器官などの三次元の細胞器官の領域が構築される。
The three-dimensional cell image analysis system includes a three-dimensional cell image imaging device 1 and the three-dimensional cell image analysis device 2 ′ of the second embodiment.
The three-dimensional cell image capturing apparatus 1 is configured in the same manner as that shown in FIG.
The three-dimensional cell image analysis apparatus 2 ′ is configured by including a computer and image analysis software.
The image analysis software uses a computer as a two-dimensional projection data creation unit 2a1 ′ as a position information detection unit, a discontinuous region specification unit 2b1 ′ as a three-dimensional region construction unit, a size detection unit 2b2 ′, and a Z coordinate average value calculation unit. It is configured to function as 2b3 ′.
The two-dimensional projection data creation means 2a1 ′ has a predetermined luminance value for each XY coordinate by using a set of a plurality of two-dimensional cell images accumulated in order in the Z direction to form a three-dimensional cell image. the collection of Z-coordinate to create a indicates to the two-dimensional projection data.
The discontinuous area specifying unit 2b1 ′ specifies an area in which the values of the Z coordinates are discontinuous in the XY directions in the set of Z coordinates in the two- dimensional projection data generated by the two -dimensional projection data generating unit 2a1 ′. .
Size detection means 2b2 'is discontinuous area specifying unit 2b1' detects the spread of the XY direction of the individual realm identified.
Z-coordinate average value calculating means 2b3 'are discontinuous area specifying unit 2b1 calculates the average value of Z coordinates of each realm identified.
Then, in the three-dimensional cell image analyzer 2 ′ of the second embodiment, as shown in FIG. 13, in the step of detecting the position information of the cell organ region shown in FIG. 2B (step S2 1 ), The two-dimensional projection data creation means 2a1 ′ creates two-dimensional projection data using aggregate data of a plurality of two-dimensional cell images accumulated in the Z direction in order to form a three-dimensional cell image (step S2 11 ′). ). Further, in the step of constructing the three-dimensional organelle region shown in FIG. 2 (b) (step S2 2 ), the discontinuous region specifying means 2b1 ′ uses the two-dimensional projection data creating means 2a1 ′. by using the projection data, identify individual realm (step S2 21 '), and then, the size detecting unit 2b2' detects the spread of the XY direction of the individual realm (step S2 22 '), then coordinate average value calculating means 2b3 'calculates the average value of the Z coordinate of each realm (step S2 23'). As a result, a region of the cell itself or a three-dimensional organelle such as a nucleus or an organelle is constructed.
ここで、二次元射影データ作成手段２ａ１’、不連続領域特定手段２ｂ１’、サイズ検出手段２ｂ２’、Ｚ座標平均値算出手段２ｂ３’の機能について、より詳しく説明する。
二次元射影データ作成手段２ａ１’は、Ｚ方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、検出した輝度値を用いて各ＸＹ座標に対して所定の輝度値として最大の輝度値を持つＺ座標を抽出し、抽出したＺ座標を用いて、各ＸＹの点に対して最大の輝度値を持つＺ座標の集合体を示す二次元射影データを作成する。
Here, the functions of the two-dimensional projection data creation means 2a1 ′, the discontinuous area specifying means 2b1 ′, the size detection means 2b2 ′, and the Z coordinate average value calculation means 2b3 ′ will be described in more detail.
The two-dimensional projection data creation means 2a1 ′ detects the luminance value in all the two-dimensional cell images accumulated in order in the Z direction, and uses the detected luminance value as the maximum predetermined luminance value for each XY coordinate. of extracting the Z-coordinate having luminance values, using the extracted Z coordinates, to create a maximum indicates to the two-dimensional projection data set of Z-coordinate having luminance values for the points in each XY.
三次元の細胞画像は、上述したように、試料の合焦位置がＺ方向に所定ピッチで連続的に異なった状態でＺ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる。図１４(a)はこの二次元の細胞画像の集合体におけるＺ方向に沿う断面を示したものである。ここで、図１４(a)においてＸＹ座標に対して輝度値が最大となるＺ座標の集合体をＸＹ面上に示したものが図１４(b)である。なお、図１４(b)では、便宜上、輝度値が最大となるＺ座標（Ｚn1，Ｚn2，Ｚn3）を各Ｚ座標の集合体ａ，ｂ，ｃに引出し線を付けて示し、また、輝度値が最大となるＺ座標を、図１４(a)における細胞器官の領域Ａ，Ｂ，Ｃのそれぞれにおける代表的な高さに位置する一つのＺ座標で示してある。実際の二次元射影データには、各Ｚ座標の集合体ａ，ｂ，ｃ内の各ＸＹ座標上に複数のＺ座標が示される。 As described above, the three-dimensional cell image is obtained from a collection of a plurality of two-dimensional cell images that are sequentially accumulated in the Z direction with the in-focus positions of the sample being continuously different at a predetermined pitch in the Z direction. Become. FIG. 14A shows a cross section along the Z direction in the aggregate of the two-dimensional cell images. Here, in FIG. 14A, FIG. 14B shows a set of Z coordinates on the XY plane that has the maximum luminance value with respect to the XY coordinates. In FIG. 14B, for the sake of convenience, the Z coordinates (Z n1 , Z n2 , Z n3 ) at which the luminance value is maximum are shown with a leader line attached to each set of Z coordinates a, b, c. The Z coordinate having the maximum luminance value is indicated by one Z coordinate positioned at a representative height in each of the cell organ regions A, B, and C in FIG. In the actual two-dimensional projection data, a plurality of Z coordinates are shown on each XY coordinate in the aggregates a, b, and c of each Z coordinate.
この点に関し、図１５を用いてさらに詳しく説明する。
図１５は三次元細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体から二次元射影データを作成する原理を概念的に示す説明図で、(a)は図１４(a)の細胞器官の領域Ａの一部の局所領域（領域Ｏ）における、Ｙ座標がＹ5であるときのＺＸ面上での細胞画像の輝度値の一例を示す図、(b)は(a)におけるＹ座標がＹ5であるときのＺＸ面上での細胞画像の輝度値の最大値をＸＹ面上に示す図、(c)は(a)におけるＹ座標がＹ5であるときのＺＸ面上での細胞画像の輝度値が最大値となるＺ座標をＸＹ面上に示す図である。なお、図１５(a)における座標上に示される輝度値は、細胞器官Ａの領域の外側の輝度値を１として相対的に示してある。また、ここでは便宜上、図１５(a)に示されるＺ座標に輝度の最大値が存在し、図１５(a)に示されていないＺ座標には輝度の最大値が存在しないものとする。
This point will be described in more detail with reference to FIG.
FIG. 15 is an explanatory diagram conceptually showing the principle of creating two-dimensional projection data from an aggregate of a plurality of two-dimensional cell images accumulated in the Z direction in order to form a three-dimensional cell image. Figure of partial region a of the organelles in the local area (area O), shows an example of the luminance values of the cell image on ZX plane when the Y coordinate is Y 5 of 14 (a), (b) (A) is the figure which shows on the XY plane the maximum value of the luminance value of the cell image on the ZX plane when the Y coordinate in Y is Y 5 , and (c) is the Y coordinate in (a) Y 5 It is a figure which shows the Z coordinate from which the luminance value of the cell image on the ZX plane at the time becomes the maximum value on the XY plane. Note that the luminance values shown on the coordinates in FIG. 15A are relatively shown with the luminance value outside the area of the cell organ A as 1. Here, for convenience, it is assumed that there is a maximum luminance value at the Z coordinate shown in FIG. 15A, and no maximum luminance value exists at the Z coordinate not shown in FIG. 15A.
図１５(a)に示す各Ｚ座標（Ｚ1〜Ｚ9）は、それぞれの二次元細胞画像に撮像されている試料（細胞）の合焦位置を示している。また、図１５(a)に示すＺＸ座標上の数値は、このようにＺ位置の異なる二次元細胞画像を蓄積してなる三次元細胞画像の領域Ｏに対し、Ｙ座標がＹ５であるときのＺＸ面の輝度値を示している。
図１５(a)の例の場合、同一のＸＹ座標上における輝度の最大値は、座標（Ｘ1，Ｙ5）においては“１”、座標（Ｘ2，Ｙ5）においては“９”、座標（Ｘ3，Ｙ5）においては“１０”、座標（Ｘ4，Ｙ5）においては“１０”、座標（Ｘ5，Ｙ5）においては“１１”、座標（Ｘ6，Ｙ5）においては“１１”、座標（Ｘ7，Ｙ5）においては“１１”、座標（Ｘ8，Ｙ5）においては“１１”、座標（Ｘ9，Ｙ5）においては“１１”、座標（Ｘ10，Ｙ5）においては“１１”となっている。
そこで、二次元射影データ作成手段２ａ１’は、まず、この三次元細胞画像における各ＸＹ座標上における輝度の最大値を検出する。
検出した輝度の最大値をＸＹ平面上に示すと図１５(b)のようになる。
Each Z coordinate (Z 1 to Z 9 ) shown in FIG. 15A indicates the in-focus position of the sample (cell) captured in each two-dimensional cell image. Further, the numerical values on the ZX coordinates shown in FIG. 15 (a) are obtained when the Y coordinate is Y5 with respect to the region O of the three-dimensional cell image obtained by accumulating the two-dimensional cell images having different Z positions. The luminance value of the ZX plane is shown.
For example in FIG. 15 (a), the maximum value of the luminance on the same XY coordinates, coordinates in the (X 1, Y 5) " 1", in the coordinate (X 2, Y 5) " 9", The coordinates (X 3 , Y 5 ) are “10”, the coordinates (X 4 , Y 5 ) are “10”, the coordinates (X 5 , Y 5 ) are “11”, and the coordinates (X 6 , Y 5 ). Is “11”, coordinates (X 7 , Y 5 ) is “11”, coordinates (X 8 , Y 5 ) is “11”, coordinates (X 9 , Y 5 ) is “11”, coordinates ( X 10 , Y 5 ) is “11”.
Therefore, the two-dimensional projection data creation means 2a1 ′ first detects the maximum value of luminance on each XY coordinate in this three-dimensional cell image.
The maximum value of the detected luminance is shown on the XY plane as shown in FIG.
また、図１５(a)の例の場合、夫々のＸＹ座標上において輝度値が最大となるＺ座標は、座標（Ｘ1，Ｙ5）においては不特定、座標（Ｘ2，Ｙ5）においては“Ｚ4”，“Ｚ5”、座標（Ｘ3，Ｙ5）においては“Ｚ4”，“Ｚ5”、座標（Ｘ4，Ｙ5）においては“Ｚ4”〜“Ｚ6”、座標（Ｘ5，Ｙ5）においては“Ｚ5”、座標（Ｘ6，Ｙ5）においては“Ｚ4”，“Ｚ5”、座標（Ｘ7，Ｙ5）においては“Ｚ4”〜“Ｚ6”、座標（Ｘ8，Ｙ5）においては“Ｚ3”〜“Ｚ6”、座標（Ｘ9，Ｙ5）においては“Ｚ3”〜“Ｚ7”、座標（Ｘ10，Ｙ5）においては“Ｚ3”〜“Ｚ7”となっている。
そこで、二次元射影データ作成手段２ａ１’は、次いで、この三次元細胞画像における各ＸＹ座標上において輝度値が最大となるＺ座標を検出する。
検出した輝度値が最大となるＺ座標をＸＹ平面上に示すと図１５(c)のようになる。
二次元射影データ作成手段は、このようなＺ座標の作成を三次元細胞画像における全てのＸＹ座標に対して行う。これにより、各ＸＹの点に対して最大の輝度値を持つＺ座標の
集合体を示す二次元射影データが作成される。
In the case of the example of FIG. 15A, the Z coordinate having the maximum luminance value on each XY coordinate is not specified in the coordinates (X 1 , Y 5 ), and is not specified in the coordinates (X 2 , Y 5 ). the "Z 4", "Z 5 ", the coordinates (X 3, Y 5) in the "Z 4", "Z 5 ", the coordinates in the (X 4, Y 5) " Z 4" ~ "Z 6" The coordinates (X 5 , Y 5 ) are “Z 5 ”, the coordinates (X 6 , Y 5 ) are “Z 4 ”, “Z 5 ”, and the coordinates (X 7 , Y 5 ) are “Z 4 ”. To “Z 6 ”, the coordinates (X 8 , Y 5 ) are “Z 3 ” to “Z 6 ”, the coordinates (X 9 , Y 5 ) are “Z 3 ” to “Z 7 ”, the coordinates (X 10 , Y 5 ) are “Z 3 ” to “Z 7 ”.
Therefore, the two-dimensional projection data creation means 2a1 ′ then detects the Z coordinate having the maximum luminance value on each XY coordinate in the three-dimensional cell image.
FIG. 15C shows the Z coordinate at which the detected luminance value is maximum on the XY plane.
The two-dimensional projection data creation means creates such Z coordinates for all XY coordinates in the three-dimensional cell image. Thus, the maximum aggregate the shown to two-dimensional projection data of the Z-coordinate having luminance values is created for the point of the XY.
図１６は第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段２ａ１'の具体的な処理手順の一例を示すフローチャートである。
図１６の例では、二次元射影データ作成手段２ａ１'は、三次元細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体データからＺ方向に蓄積されている二次元細胞画像データを抽出する（ステップＳ２２）。次いで、抽出画像があるか否かをチェックする（ステップＳ２３）。抽出画像がある場合、現在抽出している二次元細胞画像が２番目以降の画像であるか否かをチェックする（ステップＳ２４）。現在抽出している二次元細胞画像が１番目の画像である場合、二次元細胞画像における各ＸＹ座標の輝度値及びＺ座標を、射影データ候補領域において対応するＸＹ座標の輝度値及びＺ座標の格納領域にセットし（ステップＳ２６）、次の二次元細胞画像データを対象として（ステップＳ２７）、ステップＳ２２〜ステップＳ２４の処理を繰り返す。現在抽出している二次元細胞画像が２番目以降の画像である場合、現在抽出している二次元細胞画像における各ＸＹ座標の輝度値と、現時点で射影データ候補領域にセットされている、各ＸＹ座標における輝度値とを比較する。そして、現在抽出している二次元細胞画像における各ＸＹ座標の輝度値の方が大きい場合、そのＸＹ座標の輝度値及びＺ座標を射影データ候補領域において対応するＸＹ座標の輝度値及びＺ座標の格納領域にセットする（ステップＳ２５）。そして、これらの処理をＺ方向に順に蓄積されたすべての二次元の細胞画像に対して行う（ステップＳ２１〜ステップＳ２７）。次いで、射影データ候補領域にセットされている各ＸＹ座標上でのＺ座標を用いて、各ＸＹ座標上に最大の輝度値を持つＺ座標の集合体を示す二次元射影データを作成する（ステップＳ２８）。
FIG. 16 is a flowchart showing an example of a specific processing procedure of the two-dimensional projection data creation means 2a1 ′ in the three-dimensional cell image analysis apparatus of the second embodiment.
In the example of FIG. 16, the two-dimensional projection data creating means 2a1 ′ forms a three-dimensional cell image, and is stored in the Z direction from aggregate data of a plurality of two-dimensional cell images accumulated in the Z direction. Dimensional cell image data is extracted (step S22). Next, it is checked whether or not there is an extracted image (step S23). If there is an extracted image, it is checked whether or not the currently extracted two-dimensional cell image is the second or subsequent image (step S24). When the currently extracted two-dimensional cell image is the first image, the luminance value and Z coordinate of each XY coordinate in the two-dimensional cell image are converted into the luminance value and Z coordinate of the corresponding XY coordinate in the projection data candidate area. The process is set in the storage area (step S26), the next two-dimensional cell image data is targeted (step S27), and the processes of steps S22 to S24 are repeated. When the currently extracted two-dimensional cell image is the second and subsequent images, the luminance value of each XY coordinate in the currently extracted two-dimensional cell image and the currently set projection data candidate area, The luminance value in the XY coordinates is compared. When the brightness value of each XY coordinate in the currently extracted two-dimensional cell image is larger, the brightness value of the XY coordinate and the Z coordinate of the corresponding XY coordinate brightness value and Z coordinate of the projection data candidate area are used. Set in the storage area (step S25). And these processes are performed with respect to all the two-dimensional cell images accumulated in order in the Z direction (steps S21 to S27). Next, using the Z coordinate on each XY coordinate set in the projection data candidate region, two-dimensional projection data indicating a set of Z coordinates having the maximum luminance value on each XY coordinate is created (step S28).
次に、不連続領域特定手段２ｂ１’について説明する。
上述したように、図１４は、細胞のＺ方向の断面図（図１４(a)）と、各ＸＹ座標にお
いてＺ方向に最大の輝度値を持つＺ座標の位置をＸＹ面上に射影した図（図１４(b)）を示している。
ここで、図１４(b)に示す射影画像上のａ，ｂ，ｃの領域は、図１４(a)に示すＺ方向の断面図の特定領域Ａ，Ｂ，Ｃにおける最大の輝度値を持つＺ座標を射影したものである。また、図１４(b)は、これらａ，ｂ，ｃの領域を取り囲むように細胞膜の領域ｄを示している。
Next, the discontinuous area specifying unit 2b1 ′ will be described.
As described above, FIG. 14 is a cross-sectional view of a cell in the Z direction (FIG. 14A) and a diagram in which the position of the Z coordinate having the maximum luminance value in the Z direction is projected onto the XY plane in each XY coordinate. (FIG. 14B) is shown.
Here, the areas a, b, and c on the projected image shown in FIG. 14B have the maximum luminance values in the specific areas A, B, and C in the sectional view in the Z direction shown in FIG. This is a projection of the Z coordinate. FIG. 14B shows a cell membrane region d so as to surround these regions a, b, and c.
ここで、細胞膜Ｄに対応した領域ｄは、最大の輝度値を持つＺ座標の値が細胞膜の構造に応じて、図１４(b)のＸＹ面上において連続的に変化する。 Here, in the region d corresponding to the cell membrane D, the value of the Z coordinate having the maximum luminance value continuously changes on the XY plane of FIG. 14B according to the structure of the cell membrane.
これに対して、細胞内の特定小器官Ａ，Ｂ，Ｃに対応した領域ａ，ｂ，ｃは、最大の輝度値を持つＺ座標の値を、それぞれ代表的な高さ付近のＺ座標の値として持ち、それらの領域の境界ではＺ座標の値はＸＹ方向に不連続となっている。 On the other hand, the regions a, b, and c corresponding to the specific organelles A, B, and C in the cell respectively have the Z coordinate value having the maximum luminance value, and the Z coordinates near the representative height. As values, the value of the Z coordinate is discontinuous in the XY directions at the boundaries of these regions.
そこで、不連続領域特定手段２ｂ１’が、二次元射影データにおけるＺ座標の集合体において、Ｚ座標の値が互いにＸＹ方向に不連続となる領域を特定する。これにより、二次元射影データの領域が個々の細胞器官の領域に分割されることになる。 Therefore, the discontinuous area specifying unit 2b1 ′ specifies areas in which the Z coordinate values are discontinuous in the XY directions in the Z coordinate aggregate in the two- dimensional projection data. As a result , the area of the two- dimensional projection data is divided into areas of individual cell organs.
不連続領域特定手段２ｂ１’により、これら不連続面で分割した個々の細胞器官の領域ａ，ｂ，ｃに対し、サイズ検出手段２ｂ２’が、ＸＹ射影面上での広がりを検出する。 The size detecting means 2b2 'detects the spread on the XY projection plane for the individual cell organ areas a, b, c divided by these discontinuous surfaces by the discontinuous area specifying means 2b1'.
また、座標平均値算出手段２ｂ３’が、個々の細胞器官の領域ａ，ｂ，ｃにおけるＺ座標の平均値を算出する。
これにより、個々の細胞器官のおおよその高さ位置を知ることができる。
Further, the coordinate average value calculating means 2b3 ′ calculates the average value of the Z coordinates in the regions a, b, and c of the individual cell organs.
Thereby, the approximate height position of each cell organ can be known.
これらの情報をもとに、個々の細胞器官の領域（領域ａ，ｂ，ｃ）周辺近傍の三次元細胞画像データを詳細に解析することによって、正確な三次元の細胞器官の領域の構築が可能となる。
すなわち、ＸＹ平面上に射影されたＺ座標値を解析することで、特定小器官の存在する
おおよその領域を特定することが可能となり、この情報をもとに各領域の三次元領域の特定が可能となる。
Based on these pieces of information, by analyzing in detail the 3D cell image data in the vicinity of each cell organ region (regions a, b, c), an accurate 3D cell organ region can be constructed. It becomes possible.
In other words, by analyzing the Z coordinate value projected on the XY plane, it is possible to specify the approximate region where the specific organelle exists, and based on this information, the three-dimensional region of each region can be specified. It becomes possible.
第一実施形態の細胞画像解析装置のように、中心部検出手段２ａ１を用いて個々の細胞器官の領域の中心部を検出し、境界部検出手段２ｂ１が中心部から個々の細胞器官の境界部を検出することで、三次元の細胞領域を構築する構成の場合、例えば、隣接する領域の輝度値の変化が小さいときに、細胞領域を実際の大きさよりも大きく特定してしまうおそれが内在する。
これに対し、第二実施形態の細胞画像解析装置によれば、二次元射影データにおいて、あらかじめ細胞器官の領域のＸＹ方向の範囲がほぼ特定できるので、このＸＹ領域を参照
することによって細胞器官の領域を正確な大きさに特定した状態で、三次元の細胞器官の領域の構築が可能となる。
As in the cell image analysis apparatus of the first embodiment, the center part of each cell organ region is detected using the center part detection unit 2a1, and the boundary part detection unit 2b1 detects the boundary part of each cell organ from the center part. In the case of a configuration in which a three-dimensional cell region is constructed by detecting, for example, when the change in luminance value of an adjacent region is small, there is a possibility that the cell region may be specified to be larger than the actual size. .
On the other hand, according to the cell image analysis apparatus of the second embodiment, in the two-dimensional projection data, the range in the XY direction of the region of the cell organ can be almost specified in advance. It is possible to construct a three-dimensional organelle region in a state where the region is specified to an accurate size.
なお、図１６の例では、二次元射影データ作成手段２ａ１’は、最大輝度を持つＺ座標を二次元射影データを作成するように構成されているが、射影データとしては、次の変形例に示すものを用いてもよい。
例えば、二次元射影データ作成手段２ａ１’は、図１７のフローチャートに示すように、Ｚ方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、各ＸＹ座標に対して前記所定の輝度値として任意の輝度値に最も近い輝度値を持つＺ座標の集合体を示す二次元射影データを作成するようにしてもよい。
In the example of FIG. 16, the two-dimensional projection data creation means 2a1 ′ is configured to create the two- dimensional projection data with the Z coordinate having the maximum luminance, but the projection data is as follows. You may use what is shown.
For example, as shown in the flowchart of FIG. 17, the two-dimensional projection data creation unit 2a1 ′ detects the luminance values in all the two-dimensional cell images accumulated in the Z direction in order, and the predetermined value for each XY coordinate. Z coordinate collection of having closest luminance value to an arbitrary luminance value as the luminance value of a may be created a indicates to the two-dimensional projection data.
図１７は第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段２ａ１'の具体的な処理手順の他の例を示すフローチャートである。
図１７の例では、二次元射影データ作成手段２ａ１'は、三次元細胞画像データをなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体からＺ方向に蓄積されている二次元細胞画像データを抽出する（ステップＳ２２'）。次いで、抽出画像があるか否かをチェックする（ステップＳ２３'）。抽出画像がある場合、現在抽出している二次元細胞画像が２番目以降の画像であるか否かをチェックする（ステップＳ２４'）。現在抽出している二次元細胞画像が１番目の画像である場合、二次元細胞画像における各ＸＹ座標の輝度値及びＺ座標を、射影データ候補領域において対応するＸＹ座標の輝度値及びＺ座標の格納領域にセットし（ステップＳ２６'）、次の二次元細胞画像データを対象として（ステップＳ２７'）、ステップＳ２２'〜ステップＳ２４'の処理を繰り返す。現在抽出している二次元細胞画像が２番目以降の画像である場合、現在抽出している二次元細胞画像における各ＸＹ座標の輝度値と、現時点で射影データ候補領域にセットされている、各ＸＹ座標における輝度値とを、予め設定された任意の輝度値との近さの点で比較する。そして、現在抽出している二次元細胞画像における各ＸＹ座標の輝度値の方がこの任意の輝度値に近い場合、そのＸＹ座標の輝度値及びＺ座標を射影データ候補領域において対応するＸＹ座標の輝度値及びＺ座標の格納領域にセットする（ステップＳ２５'）。そして、これらの処理をＺ方向に順に蓄積されたすべての二次元の細胞画像に対して行う（ステップＳ２１'〜ステップＳ２７'）。次いで、射影データ候補領域にセットされている各ＸＹ座標上でのＺ座標を用いて、各ＸＹ座標上に任意の輝度値に最も近い輝度値を持つＺ座標の集合体を示す二次元射影データを作成する（ステップＳ２８'）。
FIG. 17 is a flowchart showing another example of a specific processing procedure of the two-dimensional projection data creation means 2a1 ′ in the three-dimensional cell image analysis apparatus of the second embodiment.
In the example of FIG. 17, the two-dimensional projection data creation means 2a1 ′ is stored in the Z direction from an aggregate of a plurality of two-dimensional cell images accumulated in order in the Z direction, which forms the three-dimensional cell image data. Dimensional cell image data is extracted (step S22 ′). Next, it is checked whether or not there is an extracted image (step S23 ′). If there is an extracted image, it is checked whether or not the currently extracted two-dimensional cell image is the second and subsequent images (step S24 ′). When the currently extracted two-dimensional cell image is the first image, the luminance value and Z coordinate of each XY coordinate in the two-dimensional cell image are converted into the luminance value and Z coordinate of the corresponding XY coordinate in the projection data candidate area. The storage area is set (step S26 ′), and the next two-dimensional cell image data is targeted (step S27 ′), and the processing of steps S22 ′ to S24 ′ is repeated. When the currently extracted two-dimensional cell image is the second and subsequent images, the luminance value of each XY coordinate in the currently extracted two-dimensional cell image and the currently set projection data candidate area, The brightness value in the XY coordinates is compared with a point close to an arbitrary brightness value set in advance. If the luminance value of each XY coordinate in the currently extracted two-dimensional cell image is closer to this arbitrary luminance value, the luminance value of the XY coordinate and the Z coordinate of the corresponding XY coordinate in the projection data candidate area are used. The brightness value and the Z coordinate storage area are set (step S25 ′). And these processes are performed with respect to all the two-dimensional cell images accumulated in order in the Z direction (Step S21 ′ to Step S27 ′). Next, two-dimensional projection data indicating a set of Z coordinates having a luminance value closest to an arbitrary luminance value on each XY coordinate by using the Z coordinate on each XY coordinate set in the projection data candidate area. Is created (step S28 ').
また、例えば、二次元射影データ作成手段２ａ１’は、図１８のフローチャートに示すように、Ｚ方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、各ＸＹ座標に対して前記所定の輝度値として任意の輝度値以上の輝度値を持つ複数のＺ座標の集合体を取得し、取得したＺ座標の集合体のうちの一つのＺ座標の集合体を抽出し、抽出したＺ座標の集合体を示す二次元射影データを作成するようにしてもよい。 Further, for example, as shown in the flowchart of FIG. 18, the two-dimensional projection data creation unit 2a1 ′ detects the luminance values in all the two-dimensional cell images accumulated in the Z direction in order, and for each XY coordinate. A set of a plurality of Z coordinates having a luminance value equal to or greater than an arbitrary luminance value is acquired as the predetermined luminance value, and one Z coordinate set is extracted from the acquired Z coordinate set and extracted. the collection of Z coordinate may be created a indicates to the two-dimensional projection data.
図１８は第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段２ａ１’の具体的な処理手順のさらに他の例を示すフローチャートである。
図１８の例では、二次元射影データ作成手段２ａ１’は、三次元細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体データからＺ方向に蓄積されている二次元細胞画像データを抽出する（ステップＳ２２”）。次いで、抽出画像があるか否かをチェックする（ステップＳ２３”）。抽出画像がある場合、現在抽出している二次元細胞画像における各ＸＹ座標の輝度値を、予め設定された任意の輝度値と比較する。そして、任意の輝度値以上の輝度値を持つＸＹ座標の輝度値及びＺ座標を、射影データ候補領域において対応するＸＹ座標の輝度値及びＺ座標の格納領域にセットする（ステップＳ２４”）。そして、これらの処理をＺ方向に順に蓄積されたすべての二次元の細胞画像に対して行うことで、少なくとも一つのＺ座標群を取得する（ステップＳ２１”〜ステップＳ２５”）。次いで、射影データ候補領域にセットされている各ＸＹ座標上での各Ｚ座標群のうちの中心となる（代表的な）Ｚ座標を抽出し、抽出したＺ座標を用いて、各ＸＹ座標上に任意の輝度値以上の輝度値を持つ各Ｚ座標群のうちの中心となる（代表的な）Ｚ座標の集合体を示す二次元射影データを作成する（ステップＳ２６”）。
FIG. 18 is a flowchart showing yet another example of a specific processing procedure of the two-dimensional projection data creation means 2a1 ′ in the three-dimensional cell image analysis apparatus of the second embodiment.
In the example of FIG. 18, the two-dimensional projection data creation means 2a1 ′ is a two-dimensional cell image that is accumulated in the Z direction from aggregate data of a plurality of two-dimensional cell images accumulated in the Z direction. Dimensional cell image data is extracted (step S22 ″). Next, it is checked whether or not there is an extracted image (step S23 ″). When there is an extracted image, the luminance value of each XY coordinate in the currently extracted two-dimensional cell image is compared with an arbitrary luminance value set in advance. Then, the XY coordinate luminance value and the Z coordinate having a luminance value equal to or greater than an arbitrary luminance value are set in the corresponding XY coordinate luminance value and Z coordinate storage area in the projection data candidate area (step S24 ″). These processes are performed on all the two-dimensional cell images accumulated in order in the Z direction to obtain at least one Z coordinate group (step S21 ″ to step S25 ″). A central (representative) Z coordinate in each Z coordinate group on each XY coordinate set in the region is extracted, and an arbitrary luminance value is obtained on each XY coordinate using the extracted Z coordinate. Two-dimensional projection data indicating a collection of (representative) Z coordinates serving as the center of each of the Z coordinate groups having the above luminance values is created (step S26 ″).
また、例えば、二次元射影データ作成手段２ａ１’は、図１９のフローチャートに示すように、各ＸＹ座標に対して任意の輝度値以上の輝度値を持つ各Ｚ座標群のうちの中心となるＺ座標の集合体の個数を、各ＸＹ座標に対して任意の輝度値以上の輝度値を持つ各Ｚ座標群のうちの中心となるＺ座標の集合体を示す二次元射影データに付加するようにするのが好ましい。 Further, for example, as shown in the flowchart of FIG. 19, the two-dimensional projection data creation unit 2a1 ′ is the center of each Z coordinate group having a luminance value greater than or equal to an arbitrary luminance value with respect to each XY coordinate. as for adding the number of the collection of coordinates, a set of Z coordinate for the center of each Z coordinate group having an arbitrary brightness value or luminance value in the shown to the two-dimensional projection data for each XY coordinate Is preferable.
図１９は第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段２ａ１’の具体的な処理手順のさらに他の例を示すフローチャートである。
図１９の例では、二次元射影データ作成手段２ａ１’は、図１８の例におけるステップＳ２１”〜ステップＳ２６”と同様の処理（ステップＳ２１”’〜ステップＳ２６”’）を行い二次元射影データを作成し、次いで、Ｚ座標の集合体の個数を二次元射影データに付加する（ステップＳ２７”’）。
FIG. 19 is a flowchart showing still another example of a specific processing procedure of the two-dimensional projection data creation means 2a1 ′ in the three-dimensional cell image analysis apparatus of the second embodiment.
In the example of FIG. 19, the two-dimensional projection data creating means 2a1 ′ performs the same processing (step S21 ″ ′ to step S26 ″ ′) as the steps S21 ″ to S26 ″ in the example of FIG. Then, the number of Z coordinate aggregates is added to the two-dimensional projection data (step S27 ″ ′).
図１９の例の二次元射影データ作成手段２ａ１’は、例えば、図２０に示すような、細胞器官の領域がＺ方向に複数重なった場合に有効である。図１９の例の二次元射影データ作成手段２ａ１’を用いれば、上下に重なった複数の細胞器官の領域を夫々別領域として特定することができる。
図２０は図１９の例の二次元射影データ作成手段２ａ１’の処理を模式的に示す説明図で、(a)は三次元細胞画像においてＺ方向に２つの細胞器官の領域が重なった状態を示すＺ方向に沿う断面図、(b)は(a)の三次元細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体からＺ座標の集合体を示す二次元射影データを作成した状態を示す説明図、(c)は(a)の三次元細胞画像における重なった２つの細胞器官の領域に対し同一の所定のＸＹ座標を示す図、(d)は(c)に示すＸＹ座標上で一定の輝度値以上の輝度値が得られたＺ座標群を抽出した状態を示す図、(e)は(d)に示す各Ｚ座標群のうちの中心となるＺ座標の集合体の個数を示す二次元射影データを示す図である。
The two-dimensional projection data creating means 2a1 ′ in the example of FIG. 19 is effective when, for example, a plurality of cell organ regions overlap in the Z direction as shown in FIG. If the two-dimensional projection data creation means 2a1 ′ in the example of FIG. 19 is used, it is possible to specify a plurality of cell organ regions overlapping each other as separate regions.
FIG. 20 is an explanatory view schematically showing the processing of the two-dimensional projection data creation means 2a1 ′ in the example of FIG. 19, and (a) shows a state in which two cell organ regions overlap in the Z direction in a three-dimensional cell image. 2B is a cross-sectional view taken along the Z direction, and FIG. 2B is a two-dimensional view showing a set of Z coordinates from a collection of a plurality of two-dimensional cell images accumulated in the Z direction in order to form the three-dimensional cell image of FIG. An explanatory diagram showing a state in which projection data is created, (c) is a diagram showing the same predetermined XY coordinates for two overlapping organ regions in the three-dimensional cell image of (a), and (d) is (c) The figure which shows the state which extracted the Z coordinate group from which the luminance value more than a fixed luminance value was obtained on XY coordinate shown in ()), (e) is Z which becomes the center of each Z coordinate group shown in (d) It is a figure which shows the two-dimensional projection data which show the number of the aggregate | assembly of a coordinate.
この点に関し、さらに補足説明する。
二次元射影データを用いて細胞器官の領域を構築する構成においては、細胞画像中の細胞器官の領域がＺ方向に重なった場合の処理が問題となる。
This point will be further explained.
In the configuration in which the cell organ region is constructed using the two-dimensional projection data, processing when the cell organ region in the cell image overlaps in the Z direction becomes a problem.
図２１は図１６の例の二次元射影データ作成手段２ａ１'のように輝度値が最大となるＺ座標の値を射影データとして、三次元の細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体から二次元射影データを作成したときの射影データの説明図で、(a)は三次元細胞画像において大きさ又はＸＹ座標の位置が一部で異なる２つの細胞器官の領域がＺ方向に重なった状態を示すＺ方向に沿う断面図、(b)は(a)の三次元細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体からＺ座標の集合体を示す二次元射影データを作成した状態の一例を示す説明図、(c)は(a)の三次元細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体からＺ座標の集合体を示す二次元射影データを作成した状態の一例を示す説明図、(d)は三次元細胞画像において大きさ及びＸＹ座標の位置が同じ２つの細胞器官の領域がＺ方向に重なった状態を示すＺ方向に沿う断面図、(e)は(d)は(a)の三次元細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体からＺ座標の集合体を示す二次元射影データを作成した状態の一例を示す説明図である。 FIG. 21 shows a plurality of Z-coordinate images that are stored in order in the Z direction as a projection data with the Z coordinate value having the maximum luminance value as in the two-dimensional projection data creation means 2a1 ′ in the example of FIG. FIG. 4 is an explanatory diagram of projection data when two-dimensional projection data is created from a set of two-dimensional cell images of (a), and (a) shows two cells that are partially different in size or XY coordinate position in a three-dimensional cell image. Sectional view along the Z direction showing the state where the organ region overlaps in the Z direction, (b) is a set of a plurality of two-dimensional cell images accumulated in order in the Z direction, forming the three-dimensional cell image of (a). Explanatory drawing which shows an example of the state which created the two-dimensional projection data which show the aggregate | assembly of Z coordinate from a body , (c) makes the three-dimensional cell image of (a), several two-dimensionally accumulate | stored in order in the Z direction The two-dimensional projection data showing the Z coordinate set is created from the set of cell images of An explanatory view showing an example, (d) is a cross-sectional view along the Z direction showing a state in which two cell organ regions having the same size and XY coordinate position in the three-dimensional cell image overlap in the Z direction, and (e) is a cross-sectional view along the Z direction. (d) is an example of a state in which two-dimensional projection data representing a set of Z coordinates is created from a set of a plurality of two-dimensional cell images accumulated in order in the Z direction, forming the three-dimensional cell image of (a). It is explanatory drawing which shows.
図２１(c)の例（例１）は、細胞器官の領域Ａ，細胞器官の領域Ｂよりも大きさが小さく、かつ、ＸＹ座標上で細胞器官の領域Ａが細胞器官の領域Ｂの内部に位置する場合において、輝度値が最大となるＺ座標の集合体ａ，ｂを射影データとして作成したときの状態を示している。
また、図２１(d)の例（例２）は、細胞器官の領域Ａ，細胞器官の領域Ｂよりも大きさが小さく、かつ、ＸＹ座標上で細胞器官の領域Ａの一部が細胞器官の領域Ｂの外部に位置する場合において、輝度値が最大となるＺ座標の集合体ａ，ｂを射影データとして作成したときの状態を示している。
図２１における例１はあるいは例２の場合は、作成された二次元射影データを用いて三次元の細胞器官を解析可能である。これらの例１，例２では、領域ａと領域ｂとではＺ座標の値が大きく異なるため、不連続領域特定手段２ｂ１’を介して二次元射影データにおける個々の領域を検出することが可能である。これにより、これらの二次元射影データから、三次元の個々の細胞器官の領域Ａ，Ｂの構築を行うことができる。
The example (example 1) in FIG. 21C is smaller than the cell organ region A and the cell organ region B, and the cell organ region A is inside the cell organ region B on the XY coordinates. FIG. 6 shows a state where the Z coordinate aggregates a and b having the maximum luminance value are created as projection data.
In the example (example 2) of FIG. 21D, the size is smaller than the cell organ region A and the cell organ region B, and a part of the cell organ region A is a cell organ on the XY coordinates. In the case of being located outside the region B, a state in which the Z coordinate aggregates a and b having the maximum luminance value are created as projection data is shown.
In the case of Example 1 in FIG. 21 or Example 2, it is possible to analyze a three-dimensional organ by using the created two-dimensional projection data. These examples 1, Example 2, the value of the Z coordinate are significantly different between the region a and the region b, it is possible to detect individual realm in the two-dimensional projection data via the discontinuous area specifying unit 2b1 ' It is. Thereby, it is possible to construct regions A and B of three-dimensional individual cell organs from these two-dimensional projection data.
これに対し、図２１(e)の例（例３）の場合は、２つの領域Ａ，Ａ’が同じＸＹ座標上に位置しＺ方向に完全に領域が重なっているような状態にある。このような場合、輝度値が最大となるＺ座標の値を用いて二次元射影データを作成すると、輝度が相対的に低い上部の細胞器官の領域Ａ’の存在を検出することができない。 On the other hand, in the case of the example (example 3) in FIG. 21 (e), the two areas A and A 'are located on the same XY coordinates and the areas are completely overlapped in the Z direction. In such a case, if the two-dimensional projection data is created using the value of the Z coordinate having the maximum luminance value, the presence of the upper cell organ region A ′ having a relatively low luminance cannot be detected.
このような場合に、上述した図１９の例の二次元射影データ作成手段２ａ１’を用いて作成した図２０(e)に示す二次元射影データを用いれば、輝度が相対的に低い上部の細胞器官の領域Ａ’の存在を検出することが可能となる。 In such a case, if the two-dimensional projection data shown in FIG. 20 (e) created using the two-dimensional projection data creation means 2a1 ′ in the example of FIG. The presence of the organ region A ′ can be detected.
図２０(e)に示す二次元射影データは、図２０(b)や図２１(e)に示す二次元射影データとは別の射影データであり、例えば、一定の輝度値以上の輝度を持つ各Ｚ座標群のうちの中心となるＺ座標の集合体の個数を示すように作成してある。図２０の例では重なっている細胞器官の領域の個数が２つであり、図２０(e)において作成される射影データは「２」の値を持つ（即ち、細胞器官の領域が２つ存在することを意味する）。なお、この射影データの値が「１」であるときは、そのＸＹ座標上に存在している細胞器官の領域の個数は１である。 The two-dimensional projection data shown in FIG. 20 (e) is projection data different from the two-dimensional projection data shown in FIG. 20 (b) and FIG. 21 (e), and has, for example, a luminance equal to or higher than a certain luminance value. It is created to indicate the number of Z coordinate aggregates that are the center of each Z coordinate group . In the example of FIG. 20, the number of overlapping cell organ regions is two, and the projection data created in FIG. 20 (e) has a value of “2” (that is, there are two cell organ regions). Means to do). When the value of the projection data is “1”, the number of cell organ regions existing on the XY coordinates is 1.
このようにして作成した射影データを用いた三次元細胞器官の領域の構築は次のようにして行う。
まず、図１９に示す例の二次元射影データ作成手段２ａ１’を用いて作成した二次元射影データのうち、図２０(b)に示すような、所定の輝度値以上の値を持つＺ座標の集合体のうちの１つの集合体ａを示す二次元射影データを用いて、不連続領域特定手段２ｂ１’、サイズ検出手段２ｂ２’、Ｚ座標平均値算出手段２ｂ３’を介して、図２０(a)に示す２つの細胞器官の領域Ａ，Ａ’のうち、一方（例えば、図２０(a)の下側）の細胞器官の領域Ａを構築する。
また、図２０の例においては、図１９の例の二次元射影データ作成手段２ａ１’は、Ｚ座標の集合体の個数として２を示す、別の射影データを作成している。Ｚ座標の集合体の個数が２であるということは、図２０(b)に二次元射影データで示される細胞器官の領域Ａの上方（又は下方）に別の細胞器官の領域Ａ’が存在していることになる。そこで、不連続領域特定手段２ｂ１’、サイズ検出手段２ｂ２’、Ｚ座標平均値算出手段２ｂ３’は、例えば、既に三次元の細胞器官の領域Ａとして構築した領域のＺ座標の上限（又は下限）よりも上方（又は下方）の三次元の細胞画像の領域を範囲として、ＸＹ座標に対して、例えば、輝度の最大値となるＺ座標の集合体を射影データとして検出する。検出したＺ座標の集合体を用いることで、上方（又は下方）の三次元の細胞器官の領域Ａ’も構築することができる。
The construction of the three-dimensional organelle region using the projection data created in this way is performed as follows.
First, among the two-dimensional projection data created using the two-dimensional projection data creation means 2a1 ′ of the example shown in FIG. 19, the Z coordinate having a value equal to or higher than a predetermined luminance value as shown in FIG. Using the two-dimensional projection data indicating one aggregate a among the aggregates, the discontinuous region specifying means 2b1 ′, the size detecting means 2b2 ′, and the Z-coordinate average value calculating means 2b3 ′ are used as shown in FIG. The cell organ region A on one side (for example, the lower side of FIG. 20A) is constructed among the two cell organ regions A and A ′ shown in FIG.
In the example of FIG. 20, the two-dimensional projection data creation means 2a1 ′ in the example of FIG. 19 creates another projection data indicating 2 as the number of Z coordinate aggregates. The fact that the number of Z coordinate assemblies is two means that another organelle region A ′ exists above (or below) the organelle region A shown in the two-dimensional projection data in FIG. Will be. Therefore, the discontinuous region specifying unit 2b1 ′, the size detecting unit 2b2 ′, and the Z coordinate average value calculating unit 2b3 ′ are, for example, the upper limit (or lower limit) of the Z coordinate of the region that has already been constructed as the region A of the three-dimensional organelle. With respect to the XY coordinates, for example, a set of Z coordinates having the maximum luminance is detected as projection data with the upper (or lower) three-dimensional cell image area as a range. By using the aggregate of detected Z coordinates, an upper (or lower) three-dimensional organelle region A ′ can also be constructed.
また、例えば、二次元射影データ作成手段２ａ１’は、図２２、図２３のフローチャートに示すように、Ｚ方向に順に蓄積された全ての二次元の細胞画像の輝度値を検出し、所定の輝度値として任意の輝度値以上の輝度値を持つ少なくとも一つのＺ座標を取得し、取得したＺ座標の範囲において各ＸＹ座標に対してＺ方向に対する輝度値の変化量を算出し、算出した輝度値の変化量が極小又は極大となるＺ座標を抽出し、抽出したＺ座標を用いて、各ＸＹ座標に対して輝度値の変化量が極小又は極大となるＺ座標の集合体を示す二次元射影データを作成するようにしてもよい。 Further, for example, as shown in the flowcharts of FIGS. 22 and 23, the two-dimensional projection data creation unit 2a1 ′ detects the luminance values of all the two-dimensional cell images accumulated in order in the Z direction, and has a predetermined luminance. Obtain at least one Z coordinate having a luminance value greater than or equal to an arbitrary luminance value as a value, calculate the amount of change in the luminance value with respect to the Z direction for each XY coordinate in the range of the acquired Z coordinate, and calculate the calculated luminance value the amount extracts Z coordinate for the minimum or maximum change, using the extracted Z coordinates, indicate to the two-dimensional aggregates of Z coordinates of the change luminance value becomes minimum or maximum for each XY coordinate Projection data may be created.
図２２は第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段２ａ１’の具体的な処理手順のさらに他の例における一部の処理手順を示すフローチャート、図２３は図２２に示した処理に続く処理手順を示すフローチャートである。
本例では、二次元射影データ作成手段２ａ１’は、まず、図２２に示すように、三次元細胞画像データからＺ方向に蓄積されている二次元細胞画像データを抽出する（ステップＳ２２””）。次いで、抽出画像があるか否かをチェックする（ステップＳ２３””）。抽出画像がある場合、現在抽出している二次元細胞画像における各ＸＹ座標の輝度値を、予め設定された任意の輝度値と比較する。そして、任意の輝度値以上の輝度値を持つＺ座標を、ＸＹ座標ごとに設けられているＺ座標の格納領域における当該ＸＹ座標に対応する領域にセットする（ステップＳ２４””）。そして、これらの処理をＺ方向に順に蓄積されたすべての二次元の細胞画像に対して行う（ステップＳ２１””〜ステップＳ２５””）。
FIG. 22 is a flowchart showing a part of the processing procedure in still another example of the specific processing procedure of the two-dimensional projection data creation means 2a1 ′ in the three-dimensional cell image analysis apparatus of the second embodiment, and FIG. It is a flowchart which shows the process sequence following the process shown.
In this example, the two-dimensional projection data creating means 2a1 ′ first extracts the two-dimensional cell image data accumulated in the Z direction from the three-dimensional cell image data as shown in FIG. 22 (step S22 ″ ″). . Next, it is checked whether or not there is an extracted image (step S23 ""). When there is an extracted image, the luminance value of each XY coordinate in the currently extracted two-dimensional cell image is compared with an arbitrary luminance value set in advance. Then, a Z coordinate having a luminance value equal to or greater than an arbitrary luminance value is set in an area corresponding to the XY coordinate in the Z coordinate storage area provided for each XY coordinate (step S24 ″ ″). Then, these processes are performed on all the two-dimensional cell images accumulated in order in the Z direction (step S21 "" to step S25 "").
次いで、二次元射影データ作成手段２ａ１'は、図２３に示すように、二次元細胞画像に存在する１番目のＸＹ座標を処理対象とし、変化量格納領域に初期値（最大値又はゼロ）をセットの後、当該ＸＹ座標に対応するＺ座標の格納領域にセットされているＺ座標のうち、１番目にセットされているＺ座標に対応する二次元細胞画像データを三次元細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体データから抽出する（ステップＳ２６""〜ステップＳ２９""）。次いで、抽出画像があるか否かをチェックする（ステップＳ３０""）。１番目の抽出画像がある場合、二次元細胞画像データにおける当該ＸＹ座標に対応するＺ座標を、ＸＹ座標ごとに設けられている射影データ候補領域における当該ＸＹ座標に対応する領域にセットする（ステップＳ３１""）。次いで、当該ＸＹ座標に対応するＺ座標の格納領域にセットされている次の二次元細胞画像データを三次元細胞画像をなす、Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体データから抽出する（ステップＳ３２""，３３""）。次いで、抽出画像があるか否かをチェックする（ステップＳ３４""）。当該抽出画像がある場合、抽出した当該Ｚ座標に対応する二次元細胞画像データと、当該Ｚ座標の一つ前のＺ座標に対応する二次元細胞画像データとの輝度の変化量（差）を算出し（ステップＳ３５""）、次いで、算出した変化量と、変化量格納領域に格納されている変化量とを比較する（ステップＳ３６""）。なお、算出した変化量が、変化量格納領域に格納されている変化量よりも小さい（又は大きい）場合、算出した変化量及び当該Ｚ座標を、現在セットされている変化量及び当該Ｚ座標に差し替えて変化量格納領域にセットする（ステップＳ３７""）とともに、当該座標を射影データ候補領域における当該ＸＹ座標に対応する領域にセットする（ステップＳ３８""）。そして、これらの処理を当該ＸＹ座標に対応するＺ座標の格納領域にセットされている全てのＺ座標に対応する二次元細胞画像データに対して行う（ステップＳ３２""〜ステップＳ３８""）。 Next, as shown in FIG. 23, the two-dimensional projection data creating unit 2a1 ′ sets the first XY coordinate existing in the two-dimensional cell image as a processing target, and sets an initial value (maximum value or zero) in the change amount storage area. After the setting, among the Z coordinates set in the Z coordinate storage area corresponding to the XY coordinates, the two-dimensional cell image data corresponding to the first set Z coordinate is made into a three-dimensional cell image . Extraction is performed from aggregate data of a plurality of two-dimensional cell images accumulated in order in the Z direction (step S26 "" to step S29 ""). Next, it is checked whether or not there is an extracted image (step S30 ""). If there is a first extracted image, the Z coordinate corresponding to the XY coordinate in the two-dimensional cell image data is set to the region corresponding to the XY coordinate in the projection data candidate region provided for each XY coordinate (step S31 ""). Next, the next two-dimensional cell image data set in the storage area of the Z coordinate corresponding to the XY coordinate forms a three-dimensional cell image, and an aggregate of a plurality of two-dimensional cell images sequentially accumulated in the Z direction Extract from the data (steps S32 "", 33 ""). Next, it is checked whether or not there is an extracted image (step S34 ""). When there is the extracted image, the luminance change amount (difference) between the extracted two-dimensional cell image data corresponding to the Z coordinate and the two-dimensional cell image data corresponding to the Z coordinate immediately before the Z coordinate is calculated. Then, the calculated change amount is compared with the change amount stored in the change amount storage area (step S36 ""). When the calculated change amount is smaller (or larger) than the change amount stored in the change amount storage area, the calculated change amount and the Z coordinate are changed to the currently set change amount and the Z coordinate. It is replaced and set in the change amount storage area (step S37 ""), and the coordinates are set in the area corresponding to the XY coordinates in the projection data candidate area (step S38 ""). Then, these processes are performed on the two-dimensional cell image data corresponding to all the Z coordinates set in the Z coordinate storage area corresponding to the XY coordinates (steps S32 "" to S38 "").
当該ＸＹ座標に対応するＺ座標の格納領域にセットされている全てのＺ座標に対応する二次元細胞画像データに対する処理が終了したときには、次のＸＹ座標を処理対象とし（ステップＳ３９””）、ステップＳ２７””〜ステップＳ３８””の処理を、全てのＸＹ座標を処理対象としたステップＳ２７””〜ステップＳ３８””の処理が終了するまで繰り返す（ステップＳ２７””〜ステップＳ４０””）。全てのＸＹ座標を処理対象としたステップＳ２７””〜ステップＳ３８””の処理が終了したとき、射影データ候補領域にセットされている各ＸＹ座標に対応するＺ座標を用いて、各ＸＹ座標上に対して輝度の変化量が極小（又は極大）となるＺ座標の集合体を示す二次元射影データを作成する（ステップＳ４１””）。 When the processing for the two-dimensional cell image data corresponding to all the Z coordinates set in the Z coordinate storage area corresponding to the XY coordinates is completed, the next XY coordinates are set as the processing target (step S39 ""), The processing from step S27 "" to step S38 "" is repeated until the processing from step S27 "" to step S38 "" for all XY coordinates is completed (step S27 "" to step S40 ""). When the processing from step S27 "" to step S38 "" for all XY coordinates is completed, the Z coordinate corresponding to each XY coordinate set in the projection data candidate area is used to 2D projection data indicating a set of Z coordinates where the amount of change in luminance is minimal (or maximal) is created (step S41 "").
図２２及び図２３の例の二次元射影データ作成手段２ａ１’は、例えば、図２４に示すような、細胞器官の領域の中心部の輝度値が低く（又は高く）なっているような場合に有効である。図２３の例の二次元射影データ作成手段２ａ１’を用いれば、例えば、領域の中心部の輝度が極大でなく、周辺の輝度のほうが高くなっているような細胞器官の領域に対して、その輝度が低い中心部を効率よく検出することができる。 The two-dimensional projection data creation means 2a1 ′ in the examples of FIGS. 22 and 23, for example, when the luminance value at the center of the cell organ region is low (or high) as shown in FIG. It is valid. If the two-dimensional projection data creation means 2a1 ′ in the example of FIG. 23 is used, for example, for a region of a cell organ in which the luminance at the center of the region is not maximal and the luminance at the periphery is higher, A center portion with low luminance can be detected efficiently.
図２４は図２２及び図２３の例の二次元射影データ作成手段２ａ１’の処理を含む射影データの作成処理の模式的に示す説明図で、(a)は三次元細胞画像において中心部の輝度が低くなっている細胞器官の領域を示すＺ方向に沿う断面図、(b)は(a)の三次元細胞画像から所定の輝度値以上の輝度値を持つＺ座標の集合体を示す二次元射影データを作成した状態を示す説明図、(c)は(a)の三次元細胞画像におけるＺ方向の輝度断面を示す図、(d)は(c)の輝度断面を用いて(a)の三次元細胞画像における細胞器官の領域の輝度値（又は輝度値の変化量）が極小となるＺ座標を抽出した状態を示す図、(e)は(d)に示す細胞器官の領域の輝度値（又は輝度値の変化量）が極小となるＺ座標を示す二次元射影データを示す図である。 FIG. 24 is an explanatory view schematically showing projection data creation processing including the processing of the two-dimensional projection data creation means 2a1 ′ in the examples of FIGS. 22 and 23. FIG. 24 (a) shows the luminance at the center of the three-dimensional cell image. Sectional view along the Z direction showing the area of the organelle where the height is low, (b) is a two-dimensional view showing a set of Z coordinates having a luminance value greater than or equal to a predetermined luminance value from the three-dimensional cell image of (a) (C) is a diagram showing a luminance cross section in the Z direction in the three-dimensional cell image of (a), (d) is a diagram of the luminance cross section of (a) using the luminance cross section of (c). The figure which shows the state which extracted the Z coordinate from which the brightness | luminance value (or variation | change_quantity of a brightness | luminance value) of the organelle area in a three-dimensional cell image becomes the minimum, (e) is the brightness | luminance value of the organelle area | region shown in (d) It is a figure which shows the two-dimensional projection data which show the Z coordinate from which (or the variation | change_quantity of a luminance value) becomes the minimum.
なお、図２４の例では、図２４(b)に示すように、図２２の処理によりＺ座標の格納領域に格納された任意の輝度値以上の輝度値を持つＺ座標の集合体に対してもＸＹ方向の二次元射影データを作成している。また、便宜上、図２４(e)に示すように、図２３の処理により作成される細胞器官の領域の輝度値（又は輝度値の変化量）が極小となるＺ座標の集合体のうちの１つのＺ座標のみを星印で示してある。 In the example of FIG. 24, as shown in FIG. 24 (b), for a set of Z coordinates having a luminance value equal to or higher than an arbitrary luminance value stored in the Z coordinate storage area by the processing of FIG. Also creates two-dimensional projection data in the XY directions. For convenience, as shown in FIG. 24 (e), one of the Z coordinate aggregates in which the luminance value (or the amount of change in luminance value) of the organelle region created by the processing of FIG. 23 is minimized. Only one Z coordinate is shown with an asterisk.
また、例えば、二次元射影データ作成手段２ａ１’は、図２２のフローチャートに示す処理の後に、図２５のフローチャートに示すように、各ＸＹ座標に対して輝度値の変化量が極小又は極大となるＺ座標の集合体の個数を、各ＸＹ座標に対して輝度値の変化量が極小又は極大となるＺ座標の集合体を示す二次元射影データに付加するようにするのが好ましい。 Further, for example, after the processing shown in the flowchart of FIG. 22, the two-dimensional projection data creation unit 2 a 1 ′ has a minimum or maximum change in luminance value for each XY coordinate, as shown in the flowchart of FIG. 25. the number of aggregates of Z coordinates, preferably the amount of change in luminance value to be added to a collection of Z coordinate for the minimum or maximum in shown to the two-dimensional projection data for each XY coordinate.
図２５は第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段２ａ１’の具体的な処理手順のさらに他の例における、図２２に示した処理に続く処理手順を示すフローチャートである。
図２５の例では、二次元射影データ作成手段は、図２３の例におけるステップＳ２６””〜ステップＳ４１””と同様の処理（ステップＳ２６””’〜ステップＳ４１””’）を行い、行い二次元射影データを作成し、次いで、Ｚ座標の集合体の個数を二次元射影データに付加する（ステップＳ４２””’）。
FIG. 25 is a flowchart showing a processing procedure following the processing shown in FIG. 22 in still another example of the specific processing procedure of the two-dimensional projection data creation means 2a1 ′ in the three-dimensional cell image analysis apparatus of the second embodiment. is there.
In the example of FIG. 25, the two-dimensional projection data creation means performs the same processing (step S26 ″ ″ ′ to step S41 ″ ″ ′) as in steps S26 ″ ″ to step S41 ″ ″ in the example of FIG. Dimensional projection data is created, and then the number of Z coordinate aggregates is added to the two-dimensional projection data (step S42 ""').
本発明の三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置は、大量の細胞画像データを用いて、細胞内小器官や細胞膜など特定の細胞部位の蛍光量を正確に精度良く定量することが求められる細胞画像の自動解析分野に有用である。 The three-dimensional cell image analysis system of the present invention and the three-dimensional cell image analysis apparatus used therefor accurately and accurately quantify the amount of fluorescence of a specific cell site such as an organelle or cell membrane using a large amount of cell image data. It is useful in the field of automatic analysis of cell images that is required.
１ 三次元細胞画像撮像装置
１ａ 観察光学系
１ｂ 撮像素子
２ 三次元細胞画像解析装置
２ａ 位置情報検出手段
２ａ１ 中心部検出手段
２ａ１’ 二次元射影データ作成手段
２ｂ 三次元領域構築手段
２ｂ１ 境界部検出手段
２ｂ１’ 不連続領域特定手段
２ｂ２’ サイズ検出手段
２ｂ３’ Ｚ座標平均値算出手段
２ｃ 特徴量抽出手段
２ｄ 領域分類手段
２ｅ 定量・出力手段
DESCRIPTION OF SYMBOLS 1 Three-dimensional cell image imaging device 1a Observation optical system 1b Imaging element 2 Three-dimensional cell image analyzer 2a Position information detection means 2a1 Center part detection means 2a1 'Two-dimensional projection data creation means 2b Three-dimensional area construction means 2b1 Boundary part detection means 2b1 ′ discontinuous area specifying means 2b2 ′ size detecting means 2b3 ′ Z coordinate average value calculating means 2c feature quantity extracting means 2d area classifying means 2e quantitative / output means
Claims (7)
前記コンピュータを、
前記三次元の細胞画像をなす、前記Ｚ方向に順に蓄積された複数の二次元の細胞画像の集合体を用いて、各ＸＹ座標に対して所定の輝度値を持つＺ座標の集合体を示す二次元射影データを作成する二次元射影データ作成手段、
前記二次元射影データ作成手段が作成した二次元射影データにおけるＺ座標の集合体において、Ｚ座標の値が互いにＸＹ方向に不連続となる領域を特定する不連続領域特定手段、
前記不連続領域特定手段が特定した個々の領域のＸＹ方向への広がりを検出するサイズ検出手段、
前記不連続領域特定手段が特定した個々の領域のＺ座標の平均値を算出するＺ座標平均値算出手段、
として機能させる画像解析ソフトウェアを有し、
前記二次元射影データ作成手段が作成した二次元射影データを用いて、前記不連続領域特定手段が前記個々の領域を特定し、前記サイズ検出手段及び前記Ｚ座標平均値算出手段が前記個々の領域のＸＹ方向への広がりとＺ座標の平均値を算出することにより、細胞自体あるいは、核、小器官などの三次元の細胞器官の領域を構築することを特徴とする三次元細胞画像解析装置。 In a three-dimensional cell image analysis system, it is provided with a three-dimensional cell image pickup device composed of a confocal fluorescence microscope, and using this three-dimensional cell image pickup device, the in-focus positions with respect to a sample are continuously arranged at a predetermined pitch in the Z direction In other words, by taking an image of the sample at each in-focus position, a plurality of two-dimensional images are sequentially accumulated in the Z direction with the in-focus position of the sample being continuously different at a predetermined pitch in the Z direction. A three-dimensional cell image analysis apparatus equipped with a computer for analyzing a three-dimensional cell image comprising a collection of cell images of
The computer,
Wherein forming the three-dimensional cell image, by using the assembly of the Z direction of the plurality stored in the order two-dimensional cell image, a collection of Z-coordinate having a predetermined luminance value for each XY coordinate shown two-dimensional projection data creation means for creating a be two-dimensional projection data,
Discontinuous area specifying means for specifying areas where the values of the Z coordinates are discontinuous in the XY directions in the Z coordinate aggregate in the two- dimensional projection data created by the two -dimensional projection data creating means;
Size detection means for detecting the extent of the XY direction of the individual realm where the discontinuous area specifying means specified,
Z-coordinate average value calculating means for calculating an average value of the Z coordinate of each realm where the discontinuous area specifying means specified,
Has image analysis software to function as
Using a two-dimensional projection data, wherein the two-dimensional projection data producing means, the discontinuous region specifying means specifies the individual realm, the size detection means and the Z-coordinate average value calculating means of said individual by calculating the average value of the breadth and Z coordinates of the XY direction of realm, the cells themselves or nucleus, the three-dimensional cell image analysis, characterized by constructing the region of the three-dimensional organelles such as organelles apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009192049A JP5513038B2 (en) | 2009-08-21 | 2009-08-21 | 3D cell image analyzer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009192049A JP5513038B2 (en) | 2009-08-21 | 2009-08-21 | 3D cell image analyzer |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011044016A JP2011044016A (en) | 2011-03-03 |
| JP5513038B2 true JP5513038B2 (en) | 2014-06-04 |
Family
ID=43831403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009192049A Active JP5513038B2 (en) | 2009-08-21 | 2009-08-21 | 3D cell image analyzer |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5513038B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6362311B2 (en) * | 2012-09-06 | 2018-07-25 | オリンパス株式会社 | Image analysis method for cells in laminated structure, and evaluation method for laminated structure for corneal transplantation |
| JP2016146752A (en) * | 2015-01-23 | 2016-08-18 | 株式会社イッコーズ | High content analysis and generation method of three-dimensional cell cultivation model under high respiration environment for screening |
| JP6622007B2 (en) * | 2015-05-29 | 2019-12-18 | オリンパス株式会社 | Cell evaluation method |
| JP6971758B2 (en) * | 2017-10-10 | 2021-11-24 | オリンパス株式会社 | Observation system |
| JP7085909B2 (en) * | 2018-06-14 | 2022-06-17 | オリンパス株式会社 | Image processing device, cell recognition device, cell recognition method and cell recognition program |
| JP7420346B2 (en) * | 2019-01-09 | 2024-01-23 | 国立大学法人九州大学 | 3D shape information generation device, cell determination system |
| CN115969144B (en) * | 2023-01-09 | 2024-09-13 | 东莞市智睿智能科技有限公司 | Sole glue spraying track generation method, system, equipment and storage medium |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06261894A (en) * | 1993-01-18 | 1994-09-20 | Hitachi Ltd | Bone salt quantitative determination method |
| DE69429952T2 (en) * | 1993-07-22 | 2002-10-24 | Koninklijke Philips Electronics N.V., Eindhoven | Image processing method and device for carrying out this method |
| JPH08272993A (en) * | 1995-03-31 | 1996-10-18 | Hitachi Electron Service Co Ltd | Depth control method and depth display method for graphics object |
| EP1339017A4 (en) * | 2000-12-01 | 2007-08-29 | Japan Science & Tech Corp | METHOD FOR DETERMINING NUCLEAR ZONES AND METHOD FOR ESTABLISHING NUCLEAR GENEALOGY |
| JP3990147B2 (en) * | 2001-12-17 | 2007-10-10 | 富士通株式会社 | Projection control processing apparatus and computer program |
| JP4982091B2 (en) * | 2006-02-28 | 2012-07-25 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | Radiation tomography equipment |
| JP4997255B2 (en) * | 2009-01-05 | 2012-08-08 | オリンパス株式会社 | Cell image analyzer |
-
2009
- 2009-08-21 JP JP2009192049A patent/JP5513038B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011044016A (en) | 2011-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5513038B2 (en) | 3D cell image analyzer | |
| US8350905B2 (en) | Microscope system, image generating method, and program for practicing the same | |
| JP6594294B2 (en) | Image quality evaluation of microscopic images | |
| CN114868010A (en) | System and method for acquiring and processing multiple fluorescence in-situ hybridization images | |
| JP6160187B2 (en) | Analysis device, analysis program, and analysis system | |
| JP5549345B2 (en) | Sky detection apparatus and method used in image acquisition apparatus | |
| US20120249770A1 (en) | Method for automatically focusing a microscope on a predetermined object and microscope for automatic focusing | |
| US10921252B2 (en) | Image processing apparatus and method of operating image processing apparatus | |
| CN111462075A (en) | Rapid refocusing method and system for full-slice digital pathological image fuzzy area | |
| JP2014098575A (en) | Image acquisition device and image acquisition method | |
| CN115060367A (en) | Full-glass data cube acquisition method based on microscopic hyperspectral imaging platform | |
| CN120411056B (en) | A multimodal fusion learning system for alloy fracture surfaces | |
| JP5530126B2 (en) | Three-dimensional cell image analysis system and three-dimensional cell image analyzer used therefor | |
| Shuvo et al. | Multi-focus image fusion for confocal microscopy using u-net regression map | |
| EP4361941A1 (en) | Method, processor unit and system for processing of images | |
| JP2014063019A (en) | Image capturing and analyzing device, method of controlling the same, and program for the same | |
| JP4663602B2 (en) | Automatic focusing device, microscope and automatic focusing method | |
| US12548353B2 (en) | Image processing apparatus supporting observation of object using microscope, control method therefor, and storage medium storing control program therefor | |
| JP2006208339A (en) | Region-extracting device, microscope system and region-extracting program | |
| CN120275407A (en) | Film laminating quality detection system and detection method based on visual detection | |
| CN116736511B (en) | Natural image automatic focusing method based on deep learning | |
| JP2014157158A (en) | Cell observation method, three-dimensional cell image analysis system, and three-dimensional cell image analyzer used therefor | |
| EP4198892B1 (en) | Method for determining boundaries of a z-stack of images of an object, corresponding optical instrument and computer program therefore | |
| JP2014142213A (en) | Photographing parameter determination device and control method of the same | |
| CN112069735A (en) | Full-slice digital imaging high-precision automatic focusing method based on asymmetric aberration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120806 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130604 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130731 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130731 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130910 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131204 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20131212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140318 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140327 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |