Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7571582B2 - PARTICLE IMAGE ANALYSIS APPARATUS, PARTICLE IMAGE ANALYSIS METHOD, AND PARTICLE IMAGE ANALYSIS PROGRAM - Google Patents
[go: Go Back, main page]

JP7571582B2 - PARTICLE IMAGE ANALYSIS APPARATUS, PARTICLE IMAGE ANALYSIS METHOD, AND PARTICLE IMAGE ANALYSIS PROGRAM - Google Patents

PARTICLE IMAGE ANALYSIS APPARATUS, PARTICLE IMAGE ANALYSIS METHOD, AND PARTICLE IMAGE ANALYSIS PROGRAM Download PDF

Info

Publication number
JP7571582B2
JP7571582B2 JP2021014343A JP2021014343A JP7571582B2 JP 7571582 B2 JP7571582 B2 JP 7571582B2 JP 2021014343 A JP2021014343 A JP 2021014343A JP 2021014343 A JP2021014343 A JP 2021014343A JP 7571582 B2 JP7571582 B2 JP 7571582B2
Authority
JP
Japan
Prior art keywords
image
sample
particle
images
particles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021014343A
Other languages
Japanese (ja)
Other versions
JP2022117707A (en
Inventor
裕貴 前田
貴弘 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2021014343A priority Critical patent/JP7571582B2/en
Publication of JP2022117707A publication Critical patent/JP2022117707A/en
Application granted granted Critical
Publication of JP7571582B2 publication Critical patent/JP7571582B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Description

本発明は、粒子画像解析装置、粒子画像解析方法、及び粒子画像解析プログラムに関する。 The present invention relates to a particle image analysis device, a particle image analysis method, and a particle image analysis program.

粒子画像解析装置において、粒子画像を抽出する種々の技術が知られている。なお、粒子画像解析装置では、粒子を分散させた液体試料を所定速度で流路内を流動させ、液体試料を所定周期で撮影することによって得られた試料画像に含まれる粒子の画像を解析する。 Various techniques are known for extracting particle images in particle image analysis devices. In particle image analysis devices, a liquid sample containing dispersed particles is caused to flow through a flow path at a predetermined speed, and the liquid sample is photographed at a predetermined interval to obtain a sample image, which is then analyzed.

例えば、特許文献1に記載の粒子画像解析装置では、粒子画像特定処理部が、試料画像の各画素の輝度を所定値と比較することにより、試料画像中に含まれる粒子の画像を特定する。また、周辺画像抽出処理部は、粒子画像特定処理部によって特定された1つの粒子の画像を含む粒子の周辺画像を試料画像から抽出する。更に、粒子領域特定処理部は、周辺画像抽出処理部によって抽出された周辺画像の各画素の輝度を第2閾値と比較することにより、周辺画像中の粒子領域を特定する。なお、第2閾値は、周辺画像の各画素のうち輝度が最も低い画素、又は最も高い画素の輝度と、周辺画像の粒子以外の領域における各画素の輝度の基準値とに基づいて算出される。 For example, in the particle image analysis device described in Patent Document 1, the particle image identification processing unit identifies the image of a particle contained in the sample image by comparing the brightness of each pixel of the sample image with a predetermined value. In addition, the surrounding image extraction processing unit extracts a surrounding image of the particle, including an image of one particle identified by the particle image identification processing unit, from the sample image. Furthermore, the particle region identification processing unit identifies a particle region in the surrounding image by comparing the brightness of each pixel of the surrounding image extracted by the surrounding image extraction processing unit with a second threshold value. Note that the second threshold value is calculated based on the brightness of the pixel with the lowest or highest brightness among the pixels of the surrounding image and a reference value of the brightness of each pixel in the surrounding image other than the particles.

特開2019-158352号公報JP 2019-158352 A

しかしながら、特許文献1に記載の粒子画像解析装置では、コンタミ粒子等の異物が流路の壁面に付着する場合には、異物の画像を粒子の画像と誤認識する可能性がある。コンタミ粒子とは、解析対象の粒子とは相違する粒子であって、液体試料に混入した粒子を示す。
また、試料画像を撮影している期間内に、コンタミ粒子等の異物が流路の壁面に付着する場合には、異物の画像を含まない試料画像と、異物の画像を含む試料画像と、が生成される。したがって、異物の画像と粒子の画像とを識別することが更に困難になる。
However, in the particle image analysis device described in Patent Document 1, when foreign matter such as contaminant particles adhere to the wall surface of the flow path, the image of the foreign matter may be erroneously recognized as an image of the particle. The contaminant particles are particles different from the particles to be analyzed and are mixed into the liquid sample.
Furthermore, if foreign matter such as contaminant particles adhere to the wall surface of the flow path during the period in which the sample image is captured, a sample image that does not include an image of the foreign matter and a sample image that includes an image of the foreign matter are generated, making it even more difficult to distinguish between the image of the foreign matter and the image of the particle.

本発明は、流路に付着したコンタミ粒子等の異物の画像を、粒子の画像と誤認識することを抑制することの可能な粒子画像解析装置、粒子画像解析方法、及び粒子画像解析プログラムを提供することを目的とする。 The present invention aims to provide a particle image analysis device, a particle image analysis method, and a particle image analysis program that can prevent images of foreign matter, such as contaminant particles attached to a flow path, from being mistakenly recognized as images of particles.

本発明の第1態様に係る粒子画像解析装置は、粒子を分散させた液体試料を所定速度で流路内を流動させ、前記液体試料を所定周期で撮影することによって得られた試料画像に含まれる前記粒子の画像を解析する粒子画像解析装置であって、複数の前記試料画像に基づいて、ブランク画像を生成する生成部と、前記ブランク画像に基づいて、前記試料画像を補正する補正部と、を備える。 The particle image analysis device according to the first aspect of the present invention is a particle image analysis device that analyzes images of particles contained in a sample image obtained by flowing a liquid sample in which particles are dispersed through a flow path at a predetermined speed and photographing the liquid sample at a predetermined cycle, and includes a generation unit that generates a blank image based on a plurality of the sample images, and a correction unit that corrects the sample image based on the blank image.

本発明の第2態様に係る粒子画像解析方法は、粒子を分散させた液体試料を所定速度で流路内を流動させ、前記液体試料を所定周期で撮影することによって得られた試料画像に含まれる前記粒子の画像を解析する粒子画像解析装置の粒子画像解析方法であって、複数の前記試料画像に基づいて、ブランク画像を生成する生成ステップと、前記ブランク画像に基づいて、前記試料画像を補正する補正ステップと、を含む。 The particle image analysis method according to the second aspect of the present invention is a particle image analysis method for a particle image analyzer that analyzes images of particles contained in a sample image obtained by flowing a liquid sample in which particles are dispersed through a flow path at a predetermined speed and photographing the liquid sample at a predetermined cycle, and includes a generating step of generating a blank image based on a plurality of the sample images, and a correcting step of correcting the sample image based on the blank image.

本発明の第3態様に係る粒子画像解析プログラムは、粒子を分散させた液体試料を所定速度で流路内を流動させ、前記液体試料を所定周期で撮影することによって得られた試料画像に含まれる前記粒子の画像を解析する粒子画像解析プログラムであって、コンピュータを、複数の前記試料画像に基づいて、ブランク画像を生成する生成部、及び、前記ブランク画像に基づいて、前記試料画像を補正する補正部、として機能させる。 The particle image analysis program according to the third aspect of the present invention is a particle image analysis program that analyzes images of particles contained in a sample image obtained by flowing a liquid sample having particles dispersed therein through a flow path at a predetermined speed and photographing the liquid sample at a predetermined cycle, and causes a computer to function as a generating unit that generates a blank image based on a plurality of the sample images, and a correcting unit that corrects the sample image based on the blank image.

本発明の第1態様に係る粒子画像解析装置、本発明の第2態様に係る粒子画像解析方法、及び本発明の第3態様に係る粒子画像解析プログラムによれば、複数の試料画像に基づいて、ブランク画像を生成し、ブランク画像に基づいて、試料画像を補正するため、流路に付着した異物の画像を、粒子の画像と誤認識することを抑制できる。 The particle image analysis device according to the first aspect of the present invention, the particle image analysis method according to the second aspect of the present invention, and the particle image analysis program according to the third aspect of the present invention generate blank images based on a plurality of sample images, and correct the sample images based on the blank images, thereby preventing an image of a foreign object attached to a flow path from being mistakenly recognized as an image of a particle.

本発明の実施形態に係る粒子画像解析装置の構成の一例を示す図である。1 is a diagram illustrating an example of a configuration of a particle image analyzer according to an embodiment of the present invention. 異物が混入しない場合のブランク画像の一例を示す図である。FIG. 13 is a diagram showing an example of a blank image when no foreign matter is mixed in; 異物が混入した場合のブランク画像の一例を示す図である。FIG. 13 is a diagram showing an example of a blank image when a foreign object is mixed in; 従来のブランク画像で補正した場合の補正画像の一例を示す図である。FIG. 13 is a diagram showing an example of a corrected image when correction is performed using a conventional blank image. 本発明のブランク画像で補正した場合の補正画像の一例を示す図である。FIG. 13 is a diagram showing an example of a corrected image when corrected with a blank image of the present invention. コンタミ粒子付着前の試料画像をコンタミ粒子付着後のブランク画像で補正した場合の補正画像の一例を示す図である。FIG. 13 is a diagram showing an example of a corrected image obtained by correcting a sample image before contaminant particles adhere to it with a blank image after contaminant particles adhere to it. コンタミ粒子付着後の試料画像をコンタミ粒子付着前のブランク画像で補正した場合の補正画像の一例を示す図である。FIG. 13 is a diagram showing an example of a corrected image obtained by correcting a sample image after contamination particles have adhered thereto using a blank image before contamination particles have adhered thereto. コンタミ粒子付着後の試料画像をコンタミ粒子付着後のブランク画像で補正した場合の補正画像の一例を示す図である。FIG. 13 is a diagram showing an example of a corrected image obtained by correcting a sample image after contamination particles have adhered thereto with a blank image after contamination particles have adhered thereto. 制御部の処理の一例を示すフローチャートである。10 is a flowchart illustrating an example of a process of a control unit. 制御部の固定粒子検出処理の一例を示すフローチャートである。10 is a flowchart showing an example of a fixed particle detection process by a control unit.

以下、図面を参照して本実施形態について説明する。 This embodiment will be described below with reference to the drawings.

[1.粒子画像解析装置の構成]
図1は、本実施形態に係る粒子画像解析装置1の構成の一例を示す図である。
粒子画像解析装置1は、粉体試料SPの粒子PTを分散させた液体試料SLを所定速度VAで流路内を流動させ、液体試料SLを所定周期TAで撮影することによって得られた試料画像PSに含まれる粉体試料SPの粒子PTの画像を解析する。また、粒子画像解析装置1は、画像解析の結果に基づいて、粉体試料SPの粒子PTの粒子性状を解析する。
[1. Configuration of particle image analyzer]
FIG. 1 is a diagram showing an example of the configuration of a particle image analyzer 1 according to the present embodiment.
The particle image analyzer 1 analyzes images of the particles PT of the powder sample SP contained in a sample image PS obtained by flowing a liquid sample SL, in which particles PT of a powder sample SP are dispersed, through a flow path at a predetermined speed VA and photographing the liquid sample SL at a predetermined period TA. The particle image analyzer 1 also analyzes the particle properties of the particles PT of the powder sample SP based on the results of the image analysis.

粉体試料SPは、例えば、顔料、化粧品用パウダー、トナー、粒子状触媒、研磨材、粉末状医薬、合成樹脂製粉末、ファインセラミック粒子、金属粒子等の工業製品の粉体である。また、粒子性状は、代表的には粒子形状であり、円相当径や円形度、アスペクト比などが含まれる。
粒子画像解析装置1は、JIS Z8827-2で規定される動的画像解析法によって、粉体試料SPの粒子PTの画像を解析する。
また、粉体試料SPの粒子PTの大きさは、例えば、5μm~100μmである。
The powder sample SP is, for example, a powder of an industrial product such as a pigment, a cosmetic powder, a toner, a particulate catalyst, an abrasive, a powdered medicine, a synthetic resin powder, fine ceramic particles, a metal particle, etc. The particle property is typically a particle shape, and includes a circle equivalent diameter, a circularity, an aspect ratio, etc.
The particle image analyzer 1 analyzes images of particles PT of a powder sample SP by the dynamic image analysis method defined in JIS Z8827-2.
The size of the particles PT of the powder sample SP is, for example, 5 μm to 100 μm.

図1に示すように、粒子画像解析装置1は、フローセル2と、液体試料供給機構4と、照明部6と、カメラ8と、フォーカス機構10と、制御部12と、を備える。
フローセル2は、光学的に略透明な測定容器であり、略矩形の板状に形成される。フローセル2の上端面2Aには、液体試料SLを導入する導入口14Aが形成され、フローセル2の下端面2Bには、液体試料SLを排出する排出口14Bが形成され、導入口14Aから排出口14Bに至る流路16が直線状に形成される。
本実施形態のフローセル2には、焦点合わせ用の図略の焦点ターゲットが設けられており、制御部12が焦点ターゲットに基づいてカメラ8の焦点を合わせるように構成される。
As shown in FIG. 1, the particle image analyzer 1 includes a flow cell 2 , a liquid sample supplying mechanism 4 , an illumination unit 6 , a camera 8 , a focus mechanism 10 , and a control unit 12 .
The flow cell 2 is an optically nearly transparent measurement container formed in a nearly rectangular plate shape. An inlet 14A for introducing a liquid sample SL is formed on an upper end surface 2A of the flow cell 2, and an outlet 14B for discharging the liquid sample SL is formed on a lower end surface 2B of the flow cell 2. A flow path 16 is formed linearly from the inlet 14A to the outlet 14B.
The flow cell 2 of this embodiment is provided with a focus target (not shown) for focusing, and the control unit 12 is configured to adjust the focus of the camera 8 based on the focus target.

液体試料供給機構4は、フローセル2に液体試料SLを単位時間に所定量ずつ送り込む機構であり、送液ポンプ22を備える。換言すれば、送液ポンプ22は、液体試料SLを所定速度VAで流路16内を流動させる。所定速度VAは、例えば、14.5mm/秒である。
本実施形態では、液体試料SLを貯留する液体試料貯留容器24から延びる導入管26がフローセル2の導入口14Aに接続される。また排出口14Bには排出管28の一方端が接続され、排出管28の他方端に送液ポンプ22の吸込側が接続される。
送液ポンプ22が作動することによって、液体試料貯留容器24の液体試料SLが、導入口14Aからフローセル2の流路16に流れ込み、流路16を経由して、排出口14Bから排出される。
送液ポンプ22の排出側には、廃液管30が接続されており、送液ポンプ22が排出した液体試料は、廃液管30を通じて廃液タンク32に回収される。なお、送液ポンプ22を導入管26の側に設けてもよい。
The liquid sample supply mechanism 4 is a mechanism for feeding a predetermined amount of the liquid sample SL into the flow cell 2 per unit time, and includes a liquid feed pump 22. In other words, the liquid feed pump 22 causes the liquid sample SL to flow through the flow channel 16 at a predetermined speed VA. The predetermined speed VA is, for example, 14.5 mm/sec.
In this embodiment, an inlet pipe 26 extending from a liquid sample storage container 24 that stores a liquid sample SL is connected to the inlet 14A of the flow cell 2. One end of a discharge pipe 28 is connected to the outlet 14B, and the other end of the discharge pipe 28 is connected to the suction side of the liquid delivery pump 22.
By operating the liquid feed pump 22, the liquid sample SL in the liquid sample storage container 24 flows from the inlet 14A into the flow path 16 of the flow cell 2, passes through the flow path 16, and is discharged from the outlet 14B.
A waste liquid pipe 30 is connected to the discharge side of the liquid delivery pump 22, and the liquid sample discharged by the liquid delivery pump 22 is collected in a waste liquid tank 32 through the waste liquid pipe 30. The liquid delivery pump 22 may be provided on the side of the introduction pipe 26.

照明部6は、フローセル2に測定光34を照射する光源装置6Aを備える。本実施形態の光源装置6Aは、略平行光の測定光34を、フローセル2の流路16に対して略直交する方向から照射する。光源装置6Aは、LED(Light Emitting Diode)光源やレーザ光源などの発光素子を有する光源と、光源が出射する光を平行光化するコリメート光学系と、を備える。なお、光源装置6Aが、光源として、COB(Chip On Board)型LEDのように、面状に光を出射する面状光源を備えてもよい。 The illumination unit 6 includes a light source device 6A that irradiates the flow cell 2 with measurement light 34. The light source device 6A of this embodiment irradiates the measurement light 34, which is substantially parallel light, from a direction substantially perpendicular to the flow path 16 of the flow cell 2. The light source device 6A includes a light source having a light-emitting element such as an LED (Light Emitting Diode) light source or a laser light source, and a collimating optical system that converts the light emitted by the light source into parallel light. The light source device 6A may include a planar light source that emits light in a planar manner, such as a COB (Chip On Board) type LED, as the light source.

カメラ8は、フローセル2を挟んで照明部6と対向する位置に配置され、フローセル2における測定光34の照射箇所を、制御部12の指示に従って、所定周期TAで撮影する。本実施形態のカメラ8は、イメージングセンサである撮像素子36と、テレセントリック顕微鏡38とを備える。撮像素子36は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等で構成される。テレセントリック顕微鏡38は、撮像素子36の撮像面36Aにフローセル2における照射箇所の像を結像するテレセントリック光学系であり、フローセル2に対向配置されるテレセントリックレンズ40を備える。 The camera 8 is disposed at a position facing the illumination unit 6 across the flow cell 2, and captures the irradiated portion of the flow cell 2 with the measurement light 34 at a predetermined period TA in accordance with instructions from the control unit 12. The camera 8 of this embodiment includes an image sensor 36 and a telecentric microscope 38. The image sensor 36 is composed of a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), etc. The telecentric microscope 38 is a telecentric optical system that forms an image of the irradiated portion of the flow cell 2 on the image plane 36A of the image sensor 36, and includes a telecentric lens 40 disposed opposite the flow cell 2.

カメラ8の撮影速度は、例えば、8FPSである。すなわち、所定周期TAは、0.125秒である。所定周期TAは、次の条件を満たすように設定される。
すなわち、所定速度VA、及び所定周期TAの各々は、流路16内を流動する粒子が、2枚の連続して撮影された試料画像PSに含まれないように設定される。
換言すれば、所定速度VA、及び所定周期TAは次の式(1)を満たすように設定される。
VA>LA/TA (1)
ここで、長さLAは、カメラ8の視野における粒子PTの流動方向の長さを示す。例えば、長さLAは、1.8mmである。この場合には、式(1)の右辺の値は、14.4(=1.8/0.125)mm/秒であり、所定速度VAが14.5mm/秒であるときには、(1)式を満たす。
The shooting speed of the camera 8 is, for example, 8 FPS. That is, the predetermined period TA is 0.125 seconds. The predetermined period TA is set so as to satisfy the following condition.
That is, the predetermined speed VA and the predetermined period TA are each set so that the particles flowing inside the flow channel 16 are not included in two successively captured images of the sample PS.
In other words, the predetermined speed VA and the predetermined period TA are set so as to satisfy the following formula (1).
VA>LA/TA (1)
Here, the length LA indicates the length of the particle PT in the flow direction in the field of view of the camera 8. For example, the length LA is 1.8 mm. In this case, the value of the right side of the formula (1) is 14.4 (= 1.8/0.125) mm/sec, which satisfies the formula (1) when the predetermined speed VA is 14.5 mm/sec.

このように、所定速度VA、及び所定周期TAの各々は、流路16内を流動する粒子PTが、2枚の連続して撮影された試料画像PSに含まれないように設定されるため、同一の粒子PTの画像を複数回撮影することを抑制できる。 In this way, the predetermined speed VA and the predetermined period TA are each set so that the particle PT flowing through the flow path 16 is not included in two consecutively captured sample images PS, thereby preventing the image of the same particle PT from being captured multiple times.

フォーカス機構10は、テレセントリック顕微鏡38の焦点を可変する機構であり、レンズ駆動機構42を備える。レンズ駆動機構42は、制御部12の制御に従って、テレセントリックレンズ40をテレセントリック光学系の光軸Aに沿って駆動することでカメラ8の焦点を可変する機構である。 The focus mechanism 10 is a mechanism for varying the focus of the telecentric microscope 38, and includes a lens driving mechanism 42. The lens driving mechanism 42 is a mechanism for varying the focus of the camera 8 by driving the telecentric lens 40 along the optical axis A of the telecentric optical system under the control of the control unit 12.

[2.制御部の構成]
制御部12は、例えばパーソナルコンピュータで構成され、粒子画像解析装置1の動作を制御する。
制御部12は、プロセッサ51と、メモリ52と、HDD(Hard Disk Drive)やSSD(Solid State Drive)などのストレージ装置と、カメラ8などを接続するためのインターフェース回路と、を備える。
プロセッサ51は、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などで構成される。
メモリ52は、ROM(Read Only Memory)やRAM(Random Access Memory)などで構成される。
制御部12は、「コンピュータ」の一例に対応する。
[2. Configuration of the control unit]
The control unit 12 is configured, for example, by a personal computer, and controls the operation of the particle image analyzer 1 .
The control unit 12 includes a processor 51, a memory 52, a storage device such as a hard disk drive (HDD) or a solid state drive (SSD), and an interface circuit for connecting the camera 8 and the like.
The processor 51 is composed of a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), and the like.
The memory 52 is composed of a ROM (Read Only Memory), a RAM (Random Access Memory), or the like.
The control unit 12 corresponds to an example of a "computer."

なお、制御部12は、パーソナルコンピュータに限らず、ICチップやLSIなどの集積回路といった1つ又は複数の適宜の回路によって構成されてもよい。また、制御部12は、例えば、タブレット端末、又はスマートフォン等で構成されてもよい。
また、制御部12は、DSP(Digital Signal Processor)やFPGA(Field Programmable Gate Array)等、プログラムされたハードウェアを備えてもよい。また、制御部12は、SoC(System-on-a-Chip)-FPGAを備えてもよい。
The control unit 12 is not limited to a personal computer, and may be configured by one or more appropriate circuits such as integrated circuits such as IC chips and LSIs. The control unit 12 may also be configured by, for example, a tablet terminal, a smartphone, or the like.
The control unit 12 may also include programmed hardware such as a digital signal processor (DSP) or a field programmable gate array (FPGA), or may also include a system-on-a-chip (SoC)-FPGA.

図1に示すように、制御部12は、撮像制御部511と、検出部512と、分類部513と、抽出部514と、生成部515と、補正部516と、画像記憶部521と、を備える。具体的には、制御部12のプロセッサ51がメモリ52に記憶された制御プログラムPGを実行することによって、撮像制御部511、検出部512、分類部513、抽出部514、生成部515、及び補正部516、として機能する。また、制御部12のプロセッサ51がメモリ52に記憶された制御プログラムPGを実行することによって、メモリ52を、画像記憶部521として機能させる。
制御プログラムPGは、「粒子画像解析プログラム」の一例に対応する。
1, the control unit 12 includes an imaging control unit 511, a detection unit 512, a classification unit 513, an extraction unit 514, a generation unit 515, a correction unit 516, and an image storage unit 521. Specifically, the processor 51 of the control unit 12 executes a control program PG stored in the memory 52 to function as the imaging control unit 511, the detection unit 512, the classification unit 513, the extraction unit 514, the generation unit 515, and the correction unit 516. The processor 51 of the control unit 12 also executes the control program PG stored in the memory 52 to cause the memory 52 to function as the image storage unit 521.
The control program PG corresponds to an example of a "particle image analysis program".

画像記憶部521は、カメラ8によって、液体試料SLを所定周期TAで撮影することによって得られた試料画像PSを記憶する。
また、画像記憶部521は、生成部515によって生成されたブランク画像BLを記憶する。
また、画像記憶部521は、補正部516によって生成された補正画像PCを記憶する。
The image storage unit 521 stores the sample images PS obtained by photographing the liquid sample SL with the camera 8 at a predetermined period TA.
In addition, the image storage unit 521 stores the blank image BL generated by the generation unit 515 .
Moreover, the image storage unit 521 stores the corrected image PC generated by the correction unit 516 .

撮像制御部511は、カメラ8のオートフォーカスの調整と、カメラ8の撮影タイミングの調整とを行う。
撮像制御部511は、カメラ8(テレセントリック顕微鏡38)の焦点を、フローセル2の焦点ターゲットの撮影画像に基づいて調整する。具体的には、撮像制御部511は、カメラ8の撮影画像を取り込み、撮影画像に写った焦点ターゲットの撮影状態に基づいて、カメラ8の焦点と焦点ターゲットとのずれを判定する。そして、撮像制御部511は、焦点のずれを解消する位置にテレセントリックレンズ40が移動するように、レンズ駆動機構42を制御する。このようにして、撮像制御部511は、カメラ8の焦点を焦点ターゲットに合わせることができる。
また、撮像制御部511は、カメラ8に所定周期TAで液体試料SLを撮影させ、試料画像PSを生成させる。また、撮像制御部511は、生成された試料画像PSを画像記憶部521に記録する。
The imaging control unit 511 adjusts the autofocus of the camera 8 and adjusts the timing of image capture by the camera 8 .
The imaging control unit 511 adjusts the focus of the camera 8 (telecentric microscope 38) based on the captured image of the focus target of the flow cell 2. Specifically, the imaging control unit 511 captures the captured image of the camera 8, and determines the deviation between the focus of the camera 8 and the focus target based on the captured state of the focus target shown in the captured image. Then, the imaging control unit 511 controls the lens driving mechanism 42 so that the telecentric lens 40 moves to a position that eliminates the deviation of the focus. In this way, the imaging control unit 511 can adjust the focus of the camera 8 to the focus target.
The imaging control unit 511 also causes the camera 8 to capture an image of the liquid sample SL at a predetermined period TA and generate a sample image PS. The imaging control unit 511 also records the generated sample image PS in the image storage unit 521.

検出部512は、流路16内を流動しない固定粒子FPを検出する。固定粒子FPは、例えば、フローセル2の流路16側の壁面に付着したコンタミ粒子等の異物である。なお、「コンタミ粒子」とは、解析対象の粒子PTとは相違する粒子であって、液体試料SLに混入した粒子を示す。
検出部512は、2枚以上の所定枚数の連続して撮影された試料画像PSにおいて、対応する位置に配置され、互いに隣接した複数画素の輝度値が第1閾値以下である場合に、固定粒子FPを検出する。
第1閾値は、「所定値」の一例に対応する。
The detection unit 512 detects fixed particles FP that do not flow through the flow path 16. The fixed particles FP are, for example, foreign matter such as contaminant particles attached to the wall surface of the flow cell 2 on the side of the flow path 16. Note that the "contaminant particles" refer to particles that are different from the particles PT to be analyzed and that are mixed into the liquid sample SL.
The detection unit 512 detects a fixed particle FP when the brightness values of multiple pixels that are arranged at corresponding positions and adjacent to each other in a predetermined number of sample images PS that are two or more sheets of sample images that have been captured consecutively are equal to or less than a first threshold value.
The first threshold corresponds to an example of a "predetermined value."

後述にて図2及び図3を参照して説明するように、流路16のサイズは、粉体試料SPの粒子PTのサイズと比較して充分に大きい。例えば、流路16のサイズは、粉体試料SPの粒子PTの最大サイズの10倍以上である。また、試料画像PSには、例えば、1個~3個程度の粉体試料SPの粒子PTの画像が含まれるように、液体試料SLに粉体試料SPの粒子PTを分散させる。したがって、粉体試料SPの粒子PTの画像が、試料画像PSの同一位置に連続して検出される確率は極めて低い。
したがって、2枚以上の所定枚数の連続して撮影された試料画像PSにおいて、対応する位置に配置され、互いに隣接した複数画素の輝度値が第1閾値以下である場合に、固定粒子FPを検出できる。
As will be described later with reference to Figures 2 and 3, the size of the flow path 16 is sufficiently larger than the size of the particles PT of the powder sample SP. For example, the size of the flow path 16 is 10 times or more the maximum size of the particles PT of the powder sample SP. Furthermore, the particles PT of the powder sample SP are dispersed in the liquid sample SL so that the sample image PS includes images of, for example, one to three particles PT of the powder sample SP. Therefore, the probability that images of the particles PT of the powder sample SP are continuously detected at the same position in the sample image PS is extremely low.
Therefore, in a predetermined number of samples PS (two or more) captured in succession, when the luminance values of a plurality of pixels that are arranged at corresponding positions and adjacent to each other are equal to or less than the first threshold value, the fixed particles FP can be detected.

所定枚数が大きい程、検出部512は固定粒子FPを正確に検出できる。所定枚数が小さい程、検出部512の処理を簡素化できる。所定枚数は、例えば、5枚である。
互いに隣接した複数画素の画素数は、試料画像PSに含まれる粉体試料SPの粒子PTの画像の画素数に応じて設定される。複数画素の画素数は、例えば、最小の粒子PTの画像の画素数よりも小さく設定される。複数画素の画素数は、例えば、最小の粒子PTの画像の画素数の1/4に設定される。
複数画素の画素数が大きい程、検出部512の処理を簡素化できる。複数画素の画素数が小さい程、小さい固定粒子FPを検出できる。
第1閾値は、試料画像PSに含まれる粉体試料SPの粒子PTの画像の輝度値に応じて設定される。第1閾値は、例えば、試料画像PSに含まれる粉体試料SPの粒子PTの画像の輝度値の最大値よりも大きく設定される。
第1閾値が小さい程、検出部512の処理を簡素化できる。第1閾値が大きい程、検出部512は固定粒子FPを正確に検出できる。
The larger the predetermined number, the more accurately the fixed particles FP can be detected by the detection unit 512. The smaller the predetermined number, the more simply the processing by the detection unit 512. The predetermined number is, for example, five.
The number of pixels in the adjacent pixels is set according to the number of pixels in the image of the particle PT of the powder sample SP included in the sample image PS. The number of pixels in the adjacent pixels is set to be smaller than the number of pixels in the image of the smallest particle PT, for example. The number of pixels in the adjacent pixels is set to be ¼ of the number of pixels in the image of the smallest particle PT, for example.
The greater the number of pixels in the plurality of pixels, the more simplified the processing of the detection unit 512. The smaller the number of pixels in the plurality of pixels, the smaller the fixed particles FP that can be detected.
The first threshold value is set according to the brightness value of the image of the particles PT of the powder sample SP included in the sample image PS. The first threshold value is set to be, for example, greater than the maximum brightness value of the image of the particles PT of the powder sample SP included in the sample image PS.
The smaller the first threshold value, the simpler the process of the detection unit 512. The larger the first threshold value, the more accurately the detection unit 512 can detect the fixed particle FP.

固定粒子FPは、第1固定粒子FP1と、第2固定粒子FP2と、を含む。
第1固定粒子FP1は、カメラ8が試料画像PSの撮影を開始した時点で、フローセル2の流路16側の壁面に付着しているコンタミ粒子等の異物を示す。
第2固定粒子FP2は、カメラ8が試料画像PSの撮影を開始した時点では、フローセル2の流路16側の壁面に付着しておらず、カメラ8が試料画像PSの撮影中に、フローセル2の流路16側の壁面に付着するコンタミ粒子等の異物を示す。
検出部512は、主に第2固定粒子FP2を検出する。第1固定粒子FP1については、生成部515によって生成されたブランク画像BLに基づいて、補正部516が試料画像PSを補正することによって、その影響を抑制できるからである。
The fixed particles FP include first fixed particles FP1 and second fixed particles FP2.
The first fixed particle FP1 indicates a foreign matter such as a contaminant particle adhering to the wall surface of the flow cell 2 on the side of the flow channel 16 at the time when the camera 8 starts capturing the sample image PS.
The second fixed particle FP2 is not attached to the wall surface of the flow cell 2 on the flow path 16 side at the time when the camera 8 starts capturing the sample image PS, and represents foreign matter such as contaminant particles that adhere to the wall surface of the flow cell 2 on the flow path 16 side while the camera 8 is capturing the sample image PS.
The detection unit 512 mainly detects the second fixed particles FP2. This is because the influence of the first fixed particles FP1 can be suppressed by the correction unit 516 correcting the sample image PS based on the blank image BL generated by the generation unit 515.

分類部513は、検出部512が第2固定粒子FP2を検出した場合に、液体試料SLを撮影することによって得られた試料画像PSを、第1試料画像群PS1と、第2試料画像群PS2と、に分類する。
第1試料画像群PS1は、検出部512が第2固定粒子FP2を検出した所定枚数の試料画像PSよりも前に撮影された画像を示す。第2試料画像群PS2は、第2固定粒子FP2を検出した所定枚数の試料画像PSよりも後に撮影された画像を示す。
なお、第2試料画像群PS2が、第2固定粒子FP2を検出した所定枚数の試料画像PSを含んでもよい。
When the detection unit 512 detects the second fixed particle FP2, the classification unit 513 classifies the sample images PS obtained by photographing the liquid sample SL into a first sample image group PS1 and a second sample image group PS2.
The first sample image group PS1 indicates images captured before the predetermined number of sample images PS at which the detection unit 512 detects the second fixed particle FP2. The second sample image group PS2 indicates images captured after the predetermined number of sample images PS at which the detection unit 512 detects the second fixed particle FP2.
The second sample image group PS2 may include a predetermined number of sample images PS in which the second fixed particles FP2 are detected.

抽出部514は、検出部512の検出結果に基づいて、液体試料SLを撮影することによって得られた試料画像PSの中から複数の試料画像PSを抽出する。
具体的には、検出部512が第2固定粒子FP2を検出した場合に、抽出部514は、以下のようにして、複数の試料画像PSを抽出する。すなわち、抽出部514は、生成部515が第1ブランク画像BL1を生成する場合には、第1試料画像群PS1に含まれる複数の試料画像PSを抽出する。第1ブランク画像BL1は、第1試料画像群PS1に含まれる試料画像PSの補正に用いるブランク画像BLを示す。また、抽出部514は、生成部515が第2ブランク画像BL2を生成する場合には、第2試料画像群PS2に含まれる複数の試料画像を抽出する。第2ブランク画像BL2は、第2試料画像群PS2に含まれる試料画像PSの補正に用いるブランク画像BLを示す。
Based on the detection result of the detection unit 512, the extraction unit 514 extracts a plurality of sample images PS from the sample images PS obtained by photographing the liquid sample SL.
Specifically, when the detection unit 512 detects the second fixed particle FP2, the extraction unit 514 extracts a plurality of sample images PS as follows. That is, when the generation unit 515 generates the first blank image BL1, the extraction unit 514 extracts a plurality of sample images PS included in the first sample image group PS1. The first blank image BL1 indicates a blank image BL used to correct the sample images PS included in the first sample image group PS1. Furthermore, when the generation unit 515 generates the second blank image BL2, the extraction unit 514 extracts a plurality of sample images included in the second sample image group PS2. The second blank image BL2 indicates a blank image BL used to correct the sample images PS included in the second sample image group PS2.

生成部515は、複数の試料画像PSに基づいて、ブランク画像BLを生成する。ブランク画像BLは、補正部516が、試料画像PSを補正する際に使用する画像を示す。生成部515は、生成したブランク画像BLを画像記憶部521に記録する。
生成部515は、例えば、複数の試料画像PSの各画素の輝度値のメディアン値を算出することによってブランク画像BLを生成する。なお、生成部515は、例えば、複数の試料画像PSの各画素の輝度値の平均値を算出することによってブランク画像BLを生成してもよい。また、生成部515は、例えば、複数の試料画像PSの各画素の輝度値の最頻値を算出することによってブランク画像BLを生成してもよい。
ブランク画像BLについては、図2及び図3を参照して説明する。
The generating unit 515 generates a blank image BL based on the multiple sample images PS. The blank image BL indicates an image used when the correcting unit 516 corrects the sample image PS. The generating unit 515 records the generated blank image BL in the image storage unit 521.
The generating unit 515 generates the blank image BL, for example, by calculating a median value of the luminance values of each pixel of the multiple sample images PS. The generating unit 515 may generate the blank image BL, for example, by calculating an average value of the luminance values of each pixel of the multiple sample images PS. The generating unit 515 may generate the blank image BL, for example, by calculating a mode value of the luminance values of each pixel of the multiple sample images PS.
The blank image BL will be described with reference to FIGS.

また、検出部512が第2固定粒子FP2を検出した場合に、生成部515は、以下のようにして、第1ブランク画像BL1及び第2ブランク画像BL2を生成する。すなわち、生成部515は、抽出部514によって抽出された複数の試料画像PSに基づいて、第1ブランク画像BL1及び第2ブランク画像BL2を生成する。具体的には、生成部515は、第1試料画像群PS1に含まれる複数の試料画像PSの各画素の輝度値のメディアン値を算出することによって第1ブランク画像BL1を生成する。また、生成部515は、第2試料画像群PS2に含まれる複数の試料画像PSの各画素の輝度値のメディアン値を算出することによって第2ブランク画像BL2を生成する。
第1ブランク画像BL1及び第2ブランク画像BL2については、図5及び図8を参照して説明する。
Furthermore, when the detection unit 512 detects the second fixed particle FP2, the generation unit 515 generates the first blank image BL1 and the second blank image BL2 as follows. That is, the generation unit 515 generates the first blank image BL1 and the second blank image BL2 based on the multiple sample images PS extracted by the extraction unit 514. Specifically, the generation unit 515 generates the first blank image BL1 by calculating the median value of the brightness values of each pixel of the multiple sample images PS included in the first sample image group PS1. Furthermore, the generation unit 515 generates the second blank image BL2 by calculating the median value of the brightness values of each pixel of the multiple sample images PS included in the second sample image group PS2.
The first blank image BL1 and the second blank image BL2 will be described with reference to FIGS.

補正部516は、ブランク画像BLに基づいて、試料画像PSを補正する。
具体的には、補正部516は、試料画像PSとブランク画像BLとの差分を算出することによって、試料画像PSを補正する。以下の説明において、補正後の試料画像PSを補正画像PCと記載する場合がある。
更に具体的には、補正部516は、試料画像PSの各画素の輝度値BSと、ブランク画像BLの各画素の輝度値BBとの差分を算出することによって、試料画像PSを補正する。補正画像PCの各画素の輝度値BCは、次の式(2)で求められる。
BC=BS+(BX-BB) (2)
ただし、平均輝度値BXは、試料画像PSの輝度値BSの平均値を示す。
補正画像PCについては、図5を参照して説明する。
The correction unit 516 corrects the sample image PS based on the blank image BL.
Specifically, the correction unit 516 corrects the sample image PS by calculating the difference between the sample image PS and the blank image BL. In the following description, the corrected sample image PS may be referred to as a corrected image PC.
More specifically, the correction unit 516 corrects the sample image PS by calculating the difference between the brightness value BS of each pixel of the sample image PS and the brightness value BB of each pixel of the blank image BL. The brightness value BC of each pixel of the corrected image PC is calculated by the following formula (2).
BC=BS+(BX-BB) (2)
Here, the average brightness value BX indicates the average value of the brightness values BS of the sample image PS.
The corrected image PC will be described with reference to FIG.

また、検出部512が第2固定粒子FP2を検出した場合に、補正部516は、第1試料画像群PS1に含まれる試料画像PSと第1ブランク画像BL1との差分を算出することによって、試料画像PSを補正する。以下の説明において、補正後の試料画像PSを第1補正画像PC1と記載する場合がある。
また、検出部512が第2固定粒子FP2を検出した場合に、補正部516は、第2試料画像群PS2に含まれる試料画像PSと第2ブランク画像BL2との差分を算出することによって、試料画像PSを補正する。以下の説明において、補正後の試料画像PSを第2補正画像PC2と記載する場合がある。
Furthermore, when the detection unit 512 detects the second fixed particle FP2, the correction unit 516 corrects the sample image PS by calculating the difference between the sample image PS included in the first sample image group PS1 and the first blank image BL1. In the following description, the corrected sample image PS may be referred to as a first corrected image PC1.
Furthermore, when the detection unit 512 detects the second fixed particle FP2, the correction unit 516 corrects the sample image PS by calculating the difference between the sample image PS included in the second sample image group PS2 and the second blank image BL2. In the following description, the corrected sample image PS may be referred to as a second corrected image PC2.

本実施形態では、粒子画像解析装置1の制御部12が、撮像制御部511、検出部512、分類部513、抽出部514、生成部515、補正部516、及び画像記憶部521を備えるが、本発明の実施形態は、これに限定されない。例えば、粒子画像解析装置1の制御部12が、撮像制御部511、及び画像記憶部521を備え、粒子画像解析装置1とは別体としてパーソナルコンピュータ等で構成された制御装置が、検出部512、分類部513、抽出部514、生成部515、及び補正部516を備えてもよい。 In this embodiment, the control unit 12 of the particle image analysis device 1 includes an imaging control unit 511, a detection unit 512, a classification unit 513, an extraction unit 514, a generation unit 515, a correction unit 516, and an image storage unit 521, but the embodiment of the present invention is not limited to this. For example, the control unit 12 of the particle image analysis device 1 may include an imaging control unit 511 and an image storage unit 521, and a control device configured as a personal computer or the like separately from the particle image analysis device 1 may include the detection unit 512, the classification unit 513, the extraction unit 514, the generation unit 515, and the correction unit 516.

[3.制御部の処理の具体例]
次に、図2~図8を参照して、制御部12の処理の具体例について説明する。
[3-1.生成部及び検出部の処理の具体例]
まず、図2及び図3を参照して、生成部515及び検出部512の処理の具体例について説明する。
図2は、流路16に異物が混入しない場合のブランク画像BLの一例を示す図である。
生成部515は、複数の試料画像PSの各画素の輝度値のメディアン値を算出することによってブランク画像BLを生成する。
図2の上段に示す試料画像P11~試料画像P1Nは、複数の試料画像PSを示す。整数Nは、複数の試料画像PSの個数を示す。すなわち、整数Nは、ブランク画像BLを生成するために用いられる試料画像PSの枚数を示す。
整数Nは、「5」以上であることが好ましい。
なお、生成部515が、複数の試料画像PSの各画素の輝度値の平均値を算出することによってブランク画像BLを生成する場合には、整数Nは、「50」以上であることが好ましい。
3. Specific examples of processing by the control unit
Next, a specific example of the process of the control unit 12 will be described with reference to FIGS.
[3-1. Specific examples of processing by the generation unit and the detection unit]
First, a specific example of the processing of the generating unit 515 and the detecting unit 512 will be described with reference to FIG. 2 and FIG.
FIG. 2 is a diagram showing an example of a blank image BL when no foreign matter is mixed into the flow path 16. As shown in FIG.
The generating unit 515 generates a blank image BL by calculating the median value of the luminance values of each pixel of a plurality of sample images PS.
2 indicate a plurality of sample images PS. The integer N indicates the number of the plurality of sample images PS. In other words, the integer N indicates the number of sample images PS used to generate the blank image BL.
The integer N is preferably 5 or greater.
When the generating unit 515 generates the blank image BL by calculating the average brightness value of each pixel of a plurality of sample images PS, the integer N is preferably equal to or greater than "50."

試料画像P11には、流路16を示す画像と、粉体試料SPの粒子PTを示す粒子画像Q1~粒子画像Q3とが含まれる。
試料画像P12には、流路16を示す画像と、粉体試料SPの粒子PTを示す粒子画像Q4及び粒子画像Q5と、が含まれる。
試料画像P1Nには、流路16を示す画像と、粉体試料SPの粒子PTを示す粒子画像Q6及び粒子画像Q7と、が含まれる。
The sample image P11 includes an image showing the flow path 16, and particle images Q1 to Q3 showing particles PT of the powder sample SP.
The sample image P12 includes an image showing the flow path 16, and a particle image Q4 and a particle image Q5 showing particles PT of the powder sample SP.
The sample image P1N includes an image showing the flow path 16, and a particle image Q6 and a particle image Q7 showing particles PT of the powder sample SP.

図1を参照して説明したように、所定速度VA、及び所定周期TAの各々は、流路16内を流動する粒子が、2枚の連続して撮影された試料画像PSに含まれないように設定される。よって、粒子画像Q1~粒子画像Q7は、互いに相違する粒子を示す。
また、図2に示すように、粒子画像Q1~粒子画像Q7の大きさと比較して、流路16のサイズは充分に大きい。
更に、試料画像PSには、例えば、1個~3個程度の粉体試料SPの粒子PTの画像が含まれるように、液体試料SLに粉体試料SPの粒子PTを分散させる。
したがって、粒子画像Q1~粒子画像Q7は、流路16において、互いに相違する位置に配置される。
1, the predetermined velocity VA and the predetermined period TA are set so that particles flowing through the flow path 16 are not included in two consecutively captured images of the sample PS. Thus, particle images Q1 to Q7 show different particles.
Furthermore, as shown in FIG. 2, the size of the flow channel 16 is sufficiently large compared to the sizes of the particle images Q1 to Q7.
Furthermore, the particles PT of the powder sample SP are dispersed in the liquid sample SL so that the sample image PS includes images of, for example, one to three particles PT of the powder sample SP.
Therefore, particle images Q1 to Q7 are disposed at different positions in flow channel 16.

図2の下段には、生成部515によって、試料画像P11~試料画像P1Nの各画素の輝度値のメディアン値を算出することによって生成されるブランク画像P1Aを示す。
ブランク画像P1Aには、粉体試料SPの粒子PT、又は異物を示す画像が含まれていない。換言すれば、ブランク画像P1Aにおける流路16の内側の各画素の輝度値Bは、概ね平均輝度値BXである。
ブランク画像P1Aにおいて、輝度値Bが平均輝度値BXである場合には、図1を参照して説明した式(2)で求められる補正画像PCの各画素の輝度値BCは、試料画像PSの各画素の輝度値BSと一致する。すなわち、後述にて図4を参照して説明するように、補正画像PCは、試料画像PSと一致する。
The lower part of FIG. 2 shows a blank image P1A generated by the generating unit 515 by calculating the median value of the luminance values of each pixel of the sample images P11 to P1N.
The blank image P1A does not include any image showing particles PT of the powder sample SP or foreign matter. In other words, the brightness value B of each pixel inside the flow path 16 in the blank image P1A is approximately the average brightness value BX.
In the blank image P1A, when the luminance value B is the average luminance value BX, the luminance value BC of each pixel of the corrected image PC calculated by the formula (2) explained with reference to Fig. 1 matches the luminance value BS of each pixel of the sample image PS. That is, as will be explained later with reference to Fig. 4, the corrected image PC matches the sample image PS.

また、試料画像P11~試料画像P1Nが連続して撮影された試料画像PSである場合には、検出部512は、試料画像P11~試料画像P1Nに基づいて固定粒子FPを検出できる。
検出部512は、試料画像P11~試料画像P1Nにおいて、対応する位置に配置され、互いに隣接した複数画素の輝度値が第1閾値以下である場合に、固定粒子FPを検出する。
上述のように、流路16に異物が混入せず、粒子画像Q1~粒子画像Q7は、流路16において、互いに相違する位置に配置される。したがって、検出部512は、固定粒子FPを検出しない。
Furthermore, in the case where the sample images P11 to P1N are sample images PS that have been captured in succession, the detection unit 512 can detect the fixed particle FP based on the sample images P11 to P1N.
The detection unit 512 detects a fixed particle FP when the luminance values of a plurality of pixels that are arranged at corresponding positions and adjacent to each other in the sample images P11 to P1N are equal to or less than a first threshold value.
As described above, no foreign matter is mixed into the flow channel 16, and the particle images Q1 to Q7 are disposed at different positions in the flow channel 16. Therefore, the detection unit 512 does not detect the fixed particle FP.

図3は、流路16に異物が混入した場合のブランク画像の一例を示す図である。
図3の上段に示す試料画像P21~試料画像P2Nは、複数の試料画像PSを示す。整数Nは、複数の試料画像PSの個数を示す。すなわち、整数Nは、ブランク画像BLを生成するために用いられる試料画像PSの枚数を示す。
FIG. 3 is a diagram showing an example of a blank image when a foreign object is mixed into the flow channel 16. As shown in FIG.
3 indicate a plurality of sample images PS. The integer N indicates the number of the plurality of sample images PS. In other words, the integer N indicates the number of sample images PS used to generate the blank image BL.

試料画像P21には、流路16を示す画像と、粉体試料SPの粒子PTを示す粒子画像Q1~粒子画像Q3と、異物を示す異物画像FMと、が含まれる。
試料画像P12には、流路16を示す画像と、粉体試料SPの粒子PTを示す粒子画像Q4及び粒子画像Q5、異物を示す異物画像FMと、が含まれる。
試料画像P1Nには、流路16を示す画像と、粉体試料SPの粒子PTを示す粒子画像Q6及び粒子画像Q7、異物を示す異物画像FMと、が含まれる。
The sample image P21 includes an image showing the flow path 16, particle images Q1 to Q3 showing particles PT of the powder sample SP, and a foreign matter image FM showing a foreign matter.
The sample image P12 includes an image showing the flow path 16, particle images Q4 and Q5 showing particles PT of the powder sample SP, and a foreign matter image FM showing a foreign matter.
The sample image P1N includes an image showing the flow path 16, particle images Q6 and Q7 showing particles PT of the powder sample SP, and a foreign matter image FM showing a foreign matter.

図2と同様に、粒子画像Q1~粒子画像Q7は、流路16において、試料画像P21~試料画像P2Nにおいて、互いに相違する位置に配置される。
一方、異物は、フローセル2の流路16側の壁面に付着しているため、試料画像P21~試料画像P2Nにおいて、同一の位置に配置される。
Similar to FIG. 2, particle images Q1 to Q7 are arranged at different positions in the flow channel 16 in sample images P21 to P2N.
On the other hand, the foreign matter is attached to the wall surface of the flow cell 2 on the side of the flow channel 16, and is therefore located at the same position in the sample images P21 to P2N.

図2の下段には、生成部515によって、試料画像P21~試料画像P2Nの各画素の輝度値のメディアン値を算出することによって生成されるブランク画像P2Aを示す。
ブランク画像P2Aには、粉体試料SPの粒子PTは含まれず、異物画像FMが含まれる。
The lower part of FIG. 2 shows a blank image P2A generated by the generation unit 515 by calculating the median value of the luminance values of each pixel of the sample images P21 to P2N.
The blank image P2A does not include any particles PT of the powder sample SP, but includes a foreign matter image FM.

また、試料画像P21~試料画像P2Nが連続して撮影された試料画像PSである場合には、検出部512は、試料画像P21~試料画像P2Nに基づいて固定粒子FPを検出できる。
検出部512は、試料画像P21~試料画像P2Nにおいて、対応する位置に配置され、互いに隣接した複数画素の輝度値が第1閾値以下である場合に、固定粒子FPを検出する。
上述のように、流路16に異物が混入する。したがって、検出部512は、固定粒子FPを検出する。異物画像FMは、固定粒子FPを示す。
Furthermore, in the case where the sample images P21 to P2N are sample images PS that have been captured in succession, the detection unit 512 can detect the fixed particles FP based on the sample images P21 to P2N.
The detection unit 512 detects a fixed particle FP when the luminance values of a plurality of pixels that are arranged at corresponding positions and adjacent to each other in the sample images P21 to P2N are equal to or less than a first threshold value.
As described above, foreign matter gets mixed into the flow channel 16. Therefore, the detection unit 512 detects the fixed particle FP. The foreign matter image FM shows the fixed particle FP.

[3-2.補正部の処理の具体例]
次に、図4~図8を参照して、補正部516の処理の具体例について説明する。
図4~図8の各々には、3つの画像が、左右方向に沿って記載される。図4~図8の各々において、左側の画像は、補正前の試料画像PSを示し、中央の画像は、ブランク画像BLを示し、右側の画像は、補正部516によって生成される補正画像PCを示す。
なお、図4~図8の各々では、粒子PTの画像を見易くするために、図1及び図2と比較して、拡大した画像を記載している。
[3-2. Specific examples of processing by the correction unit]
Next, a specific example of the process of the correction unit 516 will be described with reference to FIGS.
4 to 8, three images are depicted in the left-right direction. In each of Fig. 4 to 8, the image on the left shows the sample image PS before correction, the image in the middle shows the blank image BL, and the image on the right shows the corrected image PC generated by the correction unit 516.
In each of FIGS. 4 to 8, in order to make the image of the particle PT easier to see, an enlarged image is depicted compared to FIGS. 1 and 2.

まず、図4及び図5を参照して、従来のブランク画像と、本発明のブランク画像BLとの差異、及び、本発明の効果について説明する。
図4は、試料画像P3を従来のブランク画像P3Aで補正した場合の補正画像P3Bの一例を示す図である。
ブランク画像P3Aは、例えば、流路16に液体試料SLを流していない状態でカメラ8によって撮影された画像である。ブランク画像P3Aは、粉体試料SPの粒子PTを示す粒子画像、及び、異物を示す異物画像を含んでいない。
試料画像P3には、粉体試料SPの粒子PTを示す粒子画像Q8と、異物を示す異物画像FMとが含まれている。
補正画像P3Bには、粉体試料SPの粒子PTを示す粒子画像Q8と、異物を示す異物画像FMとが含まれている。
First, the difference between a conventional blank image and the blank image BL of the present invention, and the effects of the present invention will be described with reference to FIGS.
FIG. 4 is a diagram showing an example of a corrected image P3B obtained when the sample image P3 is corrected using a conventional blank image P3A.
The blank image P3A is, for example, an image captured by the camera 8 in a state where the liquid sample SL is not flowing through the flow path 16. The blank image P3A does not include a particle image showing a particle PT of the powder sample SP, and a foreign matter image showing a foreign matter.
The sample image P3 includes a particle image Q8 showing a particle PT of the powder sample SP, and a foreign matter image FM showing a foreign matter.
The corrected image P3B includes a particle image Q8 showing a particle PT of the powder sample SP, and a foreign matter image FM showing a foreign matter.

このように、従来は、補正画像P3Bには、異物画像FMが含まれるため、異物の画像を、粒子の画像と誤認識する可能性があった。 As such, conventionally, the corrected image P3B contained the foreign matter image FM, which could lead to the image of the foreign matter being mistaken for an image of a particle.

図5は、試料画像P4を本発明のブランク画像P4Aで補正した場合の補正画像P4Bの一例を示す図である。
ブランク画像P4Aは、生成部515によって、複数の試料画像PSの各画素の輝度値のメディアン値を算出することによって生成されるブランク画像BLを示す。ブランク画像P4Aは、図3を参照して説明したように、粉体試料SPの粒子PTを示す粒子画像を含まず、異物を示す異物画像FMを含む。
試料画像P4には、粉体試料SPの粒子PTを示す粒子画像Q8と、異物を示す異物画像FMとが含まれている。
補正画像P4Bには、粉体試料SPの粒子PTを示す粒子画像Q8が含まれ、異物を示す異物画像FMが含まれない。
FIG. 5 is a diagram showing an example of a corrected image P4B obtained when the sample image P4 is corrected using the blank image P4A of the present invention.
The blank image P4A indicates a blank image BL generated by calculating a median value of the luminance values of each pixel of the multiple sample images PS by the generation unit 515. As described with reference to FIG. 3, the blank image P4A does not include a particle image showing a particle PT of the powder sample SP, but includes a foreign matter image FM showing a foreign matter.
The sample image P4 includes a particle image Q8 showing a particle PT of the powder sample SP, and a foreign matter image FM showing a foreign matter.
The corrected image P4B includes a particle image Q8 showing a particle PT of the powder sample SP, but does not include a foreign matter image FM showing a foreign matter.

このように、本発明では、生成部515が、複数の試料画像PSの各画素の輝度値のメディアン値を算出することによってブランク画像BLを生成するため、試料画像P4が異物画像FMを含む場合に、補正部516によって異物画像FMを含まない補正画像P4Bを生成できる。したがって、流路16に付着した異物を、粒子PTと誤認識することを抑制できる。 In this way, in the present invention, the generation unit 515 generates the blank image BL by calculating the median brightness value of each pixel of the multiple sample images PS, so that when the sample image P4 includes a foreign matter image FM, the correction unit 516 can generate a corrected image P4B that does not include the foreign matter image FM. Therefore, it is possible to prevent foreign matter adhering to the flow path 16 from being erroneously recognized as a particle PT.

次に、図6~図8を参照して、第2固定粒子FP2が検出される場合の処理の一例について説明する。
なお、図6及び図7は、本実施形態の分類部513及び抽出部514の必要性を説明するための図であって、本実施形態を示す図ではない。
図1を参照して説明したように、第2固定粒子FP2が検出される場合には、第1試料画像群PS1に含まれる試料画像PSは、第1ブランク画像BL1で補正し、第2試料画像群PS2含まれる試料画像PSは、第2ブランク画像BL2で補正する必要がある。
これに対し、図6は、第1試料画像群PS1に含まれる試料画像PSを第2ブランク画像BL2で補正する場合の一例を示し、図7は、第2試料画像群PS2含まれる試料画像PSを第1ブランク画像BL1で補正する場合の一例を示す。
Next, an example of a process when the second fixed particle FP2 is detected will be described with reference to FIGS.
6 and 7 are diagrams for explaining the necessity of the classification unit 513 and the extraction unit 514 of this embodiment, and are not diagrams illustrating this embodiment.
As explained with reference to Figure 1, when the second fixed particle FP2 is detected, the sample images PS included in the first sample image group PS1 need to be corrected with the first blank image BL1, and the sample images PS included in the second sample image group PS2 need to be corrected with the second blank image BL2.
In contrast, Figure 6 shows an example of correcting a sample image PS included in the first sample image group PS1 with a second blank image BL2, and Figure 7 shows an example of correcting a sample image PS included in the second sample image group PS2 with a first blank image BL1.

図6は、コンタミ粒子付着前の試料画像P5をコンタミ粒子付着後のブランク画像P5Aで補正した場合の補正画像P5Bの一例を示す図である。
試料画像P5には、粉体試料SPの粒子PTを示す粒子画像Q8と、異物を示す異物画像FMと、が含まれている。ここで、異物は、第1固定粒子FP1の一例に対応する。
ブランク画像P5Aには、粒子画像Q8は含まれず、異物画像FMと、コンタミ粒子画像CPと、が含まれる。コンタミ粒子は、第2固定粒子FP2の一例に対応する。
ブランク画像P5Aは、生成部515によって、第2試料画像群PS2に含まれる複数の試料画像PSの各画素の輝度値のメディアン値を算出することによって生成される。ブランク画像P5Aは、第2ブランク画像BL2の一例に対応する。
補正画像P5Bには、粒子画像Q8が含まれ、異物画像FMが含まれない。また、粒子画像Q8は、コンタミ粒子画像CPの影響を受けて、粒子画像Q8の一部が白抜きされた変形部CPAを含む。
FIG. 6 is a diagram showing an example of a corrected image P5B obtained by correcting a sample image P5 before contamination particles are adhered with a blank image P5A after contamination particles are adhered.
The sample image P5 includes a particle image Q8 showing a particle PT of the powder sample SP, and a foreign matter image FM showing a foreign matter. Here, the foreign matter corresponds to an example of the first fixed particle FP1.
The blank image P5A does not include the particle image Q8, but includes a foreign matter image FM and a contaminant particle image CP. The contaminant particles correspond to an example of the second fixed particles FP2.
The blank image P5A is generated by calculating a median value of the luminance values of each pixel of the multiple sample images PS included in the second sample image group PS2 by the generation unit 515. The blank image P5A corresponds to an example of the second blank image BL2.
The corrected image P5B includes the particle image Q8, but does not include the foreign matter image FM. The particle image Q8 includes a deformed portion CPA in which a part of the particle image Q8 is whitened due to the influence of the contaminant particle image CP.

このように、コンタミ粒子付着前の試料画像P5を、コンタミ粒子付着後のブランク画像P5Aで補正した場合には、補正画像P5Bの粒子画像Q8が変形部CPAを含むため、適正な補正画像PCを生成することはできない。換言すれば、コンタミ粒子付着前の試料画像P5を、コンタミ粒子付着前のブランク画像BLで補正する必要がある。 In this way, if the sample image P5 before the contaminant particles were attached is corrected with the blank image P5A after the contaminant particles were attached, the particle image Q8 in the corrected image P5B includes the deformed portion CPA, and therefore a proper corrected image PC cannot be generated. In other words, the sample image P5 before the contaminant particles were attached needs to be corrected with the blank image BL before the contaminant particles were attached.

本実施形態では、図1を参照して説明したように、コンタミ粒子付着前の試料画像P5を、第1ブランク画像BL1によって、試料画像PSを補正する。第1ブランク画像BL1は、第1試料画像群PS1に含まれる複数の試料画像PSの各画素の輝度値のメディアン値を算出することによって生成される。したがって、適正な補正画像PCを生成できる。 In this embodiment, as described with reference to FIG. 1, the sample image P5 before the adhesion of contaminant particles is corrected by the first blank image BL1 to correct the sample image PS. The first blank image BL1 is generated by calculating the median brightness value of each pixel of the multiple sample images PS included in the first sample image group PS1. Therefore, an appropriate corrected image PC can be generated.

図7は、コンタミ粒子付着後の試料画像P6をコンタミ粒子付着前のブランク画像P6Aで補正した場合の補正画像P6Bの一例を示す図である。
試料画像P6には、粉体試料SPの粒子PTを示す粒子画像Q9と、異物を示す異物画像FMと、コンタミ粒子を示すコンタミ粒子画像CPと、が含まれている。ここで、異物は、第1固定粒子FP1の一例に対応する。コンタミ粒子は、第2固定粒子FP2の一例に対応する。
ブランク画像P6Aには、粒子画像Q9及びコンタミ粒子画像CPは含まれず、異物画像FMが含まれる。
ブランク画像P6Aは、生成部515によって、第1試料画像群PS1に含まれる複数の試料画像PSの各画素の輝度値のメディアン値を算出することによって生成される。ブランク画像P6Aは、第1ブランク画像BL1の一例に対応する。
補正画像P6Bには、粒子画像Q8及びコンタミ粒子画像CPが含まれ、異物画像FMが含まれない。
FIG. 7 is a diagram showing an example of a corrected image P6B obtained by correcting the sample image P6 after the adhesion of contaminant particles with a blank image P6A before the adhesion of contaminant particles.
The sample image P6 includes a particle image Q9 showing a particle PT of the powder sample SP, a foreign matter image FM showing a foreign matter, and a contaminant particle image CP showing a contaminant particle. Here, the foreign matter corresponds to an example of the first fixed particle FP1. The contaminant particle corresponds to an example of the second fixed particle FP2.
The blank image P6A does not include the particle image Q9 or the contaminant particle image CP, but does include the foreign matter image FM.
The blank image P6A is generated by calculating a median value of the luminance values of each pixel of the multiple sample images PS included in the first sample image group PS1 by the generation unit 515. The blank image P6A corresponds to an example of the first blank image BL1.
The corrected image P6B includes the particle image Q8 and the contaminant particle image CP, but does not include the foreign matter image FM.

このように、コンタミ粒子付着後の試料画像P6を、コンタミ粒子付着前のブランク画像P6Aで補正した場合には、補正画像P5Bにコンタミ粒子画像CPが含まれるため、適正な補正画像PCを生成することはできない。換言すれば、コンタミ粒子付着後の試料画像P5を、コンタミ粒子付着後のブランク画像BLで補正する必要がある。 In this way, if the sample image P6 after the contaminant particles have adhered is corrected using the blank image P6A before the contaminant particles have adhered, the corrected image P5B contains the contaminant particle image CP, and so a properly corrected image PC cannot be generated. In other words, the sample image P5 after the contaminant particles have adhered needs to be corrected using the blank image BL after the contaminant particles have adhered.

本実施形態では、図1を参照して説明したように、また、図8を参照して説明するように、コンタミ粒子付着後の試料画像P5を、第2ブランク画像BL2によって、試料画像PSを補正する。第2ブランク画像BL2は、第2試料画像群PS2に含まれる複数の試料画像PSの各画素の輝度値のメディアン値を算出することによって生成される。したがって、適正な補正画像PCを生成できる。 In this embodiment, as described with reference to FIG. 1 and as described with reference to FIG. 8, the sample image P5 after the adhesion of contaminant particles is corrected by the second blank image BL2. The second blank image BL2 is generated by calculating the median value of the brightness values of each pixel of the multiple sample images PS included in the second sample image group PS2. Therefore, an appropriate corrected image PC can be generated.

図8は、コンタミ粒子付着後の試料画像P7をコンタミ粒子付着後のブランク画像P7Aで補正した場合の補正画像P7Bの一例を示す図である。
試料画像P7には、粉体試料SPの粒子PTを示す粒子画像Q9と、異物を示す異物画像FMと、コンタミ粒子を示すコンタミ粒子画像CPと、が含まれている。ここで、異物は、第1固定粒子FP1の一例に対応する。コンタミ粒子は、第2固定粒子FP2の一例に対応する。
ブランク画像P7Aには、粒子画像Q9は含まれず、異物画像FMとコンタミ粒子画像CPとが含まれる。
ブランク画像P7Aは、生成部515によって、第2試料画像群PS2に含まれる複数の試料画像PSの各画素の輝度値のメディアン値を算出することによって生成される。ブランク画像P7Aは、第2ブランク画像BL2の一例に対応する。
補正画像P7Bには、粒子画像Q8が含まれ、異物画像FM及びコンタミ粒子画像CPが含まれない。
FIG. 8 is a diagram showing an example of a corrected image P7B obtained by correcting the sample image P7 after contamination particles have adhered thereto using a blank image P7A after contamination particles have adhered thereto.
The sample image P7 includes a particle image Q9 showing a particle PT of the powder sample SP, a foreign matter image FM showing a foreign matter, and a contaminant particle image CP showing a contaminant particle. Here, the foreign matter corresponds to an example of the first fixed particle FP1. The contaminant particle corresponds to an example of the second fixed particle FP2.
The blank image P7A does not include the particle image Q9, but includes a foreign matter image FM and a contaminant particle image CP.
The blank image P7A is generated by calculating a median value of the luminance values of each pixel of the multiple sample images PS included in the second sample image group PS2 by the generation unit 515. The blank image P7A corresponds to an example of the second blank image BL2.
The corrected image P7B includes the particle image Q8, but does not include the foreign matter image FM or the contaminant particle image CP.

このように、コンタミ粒子付着後の試料画像P7を、コンタミ粒子付着後のブランク画像P7Aで補正することによって、適正な補正画像P7Bを生成できる。 In this way, by correcting the sample image P7 after contamination particles have been attached with the blank image P7A after contamination particles have been attached, an appropriately corrected image P7B can be generated.

また、図5を参照して説明したように、コンタミ粒子付着前の試料画像P4を、コンタミ粒子付着前のブランク画像P4Aで補正することによって、適正な補正画像P4Bを生成できる。 As described with reference to FIG. 5, the sample image P4 before the contaminant particles are attached can be corrected with the blank image P4A before the contaminant particles are attached to generate an appropriately corrected image P4B.

第2固定粒子FP2が検出部512によって検出された場合には、以下の処理を実施することによって、適正な補正画像PCを生成できる。
すなわち、分類部513は、検出部512が第2固定粒子FP2を検出した場合に、液体試料SLを撮影することによって得られた試料画像PSを、第1試料画像群PS1と、第2試料画像群PS2と、に分類する。
生成部515は、第1試料画像群PS1に含まれる複数の試料画像PSの各画素の輝度値のメディアン値を算出することによって第1ブランク画像BL1を生成する。また、生成部515は、第2試料画像群PS2に含まれる複数の試料画像PSの各画素の輝度値のメディアン値を算出することによって第2ブランク画像BL2を生成する。
補正部516は、第1試料画像群PS1に含まれる試料画像PSと第1ブランク画像BL1との差分を算出することによって、試料画像PSを補正して、補正画像PCを生成する。補正部516は、第2試料画像群PS2に含まれる試料画像PSと第2ブランク画像BL2との差分を算出することによって、試料画像PSを補正して、補正画像PCを生成する。
When the second fixed particle FP2 is detected by the detection unit 512, the following process is carried out to generate an appropriate corrected image PC.
That is, when the detection unit 512 detects the second fixed particle FP2, the classification unit 513 classifies the sample images PS obtained by photographing the liquid sample SL into a first sample image group PS1 and a second sample image group PS2.
The generating unit 515 generates a first blank image BL1 by calculating a median value of the luminance values of each pixel of the plurality of sample images PS included in the first sample image group PS1, and generates a second blank image BL2 by calculating a median value of the luminance values of each pixel of the plurality of sample images PS included in the second sample image group PS2.
The correction unit 516 calculates the difference between the sample image PS included in the first sample image group PS1 and the first blank image BL1 to correct the sample image PS and generates a corrected image PC. The correction unit 516 calculates the difference between the sample image PS included in the second sample image group PS2 and the second blank image BL2 to correct the sample image PS and generates a corrected image PC.

[4.制御部の処理]
次に、図9及び図10を参照して、制御部12の処理について説明する。
図9は、制御部12の処理の一例を示すフローチャートである。
まず、ステップS101において、撮像制御部511は、カメラ8に所定周期TAで液体試料SLを撮影させ、試料画像PSを生成させ、生成された試料画像PSを画像記憶部521に記録する。
次に、ステップS103において、検出部512は、固定粒子検出処理を実行する。「固定粒子検出処理」は、流路16内を流動しない固定粒子FPを検出する処理を示す。なお、図9及び図10では、固定粒子FPが、第2固定粒子FP2である場合について説明する。
次に、ステップS105において、制御部12は、固定粒子FPを検出したか否かを判定する。
固定粒子FPを検出していないと制御部12が判定した場合(ステップS105;NO)には、処理がステップS121に進む。固定粒子FPを検出したと制御部12が判定した場合(ステップS105;YES)には、処理がステップS107に進む。
[4. Processing of the control unit]
Next, the processing of the control unit 12 will be described with reference to FIG. 9 and FIG.
FIG. 9 is a flowchart showing an example of the process of the control unit 12.
First, in step S<b>101 , the imaging control unit 511 causes the camera 8 to capture images of the liquid sample SL at a predetermined period TA, generates a sample image PS, and records the generated sample image PS in the image storage unit 521 .
Next, in step S103, the detection unit 512 executes a fixed particle detection process. The "fixed particle detection process" refers to a process for detecting a fixed particle FP that does not flow within the flow channel 16. Note that in Fig. 9 and Fig. 10, a case will be described in which the fixed particle FP is a second fixed particle FP2.
Next, in step S105, the control unit 12 determines whether or not fixed particles FP have been detected.
When the control unit 12 determines that the fixed particle FP has not been detected (step S105; NO), the process proceeds to step S121. When the control unit 12 determines that the fixed particle FP has been detected (step S105; YES), the process proceeds to step S107.

そして、ステップS107において、分類部513は、液体試料SLを撮影することによって得られた試料画像PSを、第1試料画像群PS1と、第2試料画像群PS2と、に分類する。
次に、ステップS109において、抽出部514は、第1試料画像群PS1から複数の試料画像PSを抽出する。
次に、ステップS111において、生成部515は、ステップS109で抽出された複数の試料画像PSの各画素の輝度値のメディアン値を算出することによって第1ブランク画像BL1を生成する。
次に、ステップS113において、補正部516は、第1試料画像群PS1に含まれる試料画像PSと第1ブランク画像BL1との差分を算出することによって、試料画像PSを補正し、第1補正画像PC1を生成する。そして、補正部516は、第1補正画像PC1を画像記憶部521に記録する。
Then, in step S107, the classification unit 513 classifies the sample images PS obtained by photographing the liquid sample SL into a first sample image group PS1 and a second sample image group PS2.
Next, in step S109, the extraction unit 514 extracts a plurality of sample images PS from the first sample image group PS1.
Next, in step S111, the generation unit 515 generates a first blank image BL1 by calculating the median value of the luminance values of each pixel of the multiple sample images PS extracted in step S109.
Next, in step S113, the correction unit 516 calculates the difference between the sample image PS included in the first sample image group PS1 and the first blank image BL1 to correct the sample image PS and generate a first corrected image PC1. Then, the correction unit 516 records the first corrected image PC1 in the image storage unit 521.

次に、ステップS115において、抽出部514は、第2試料画像群PS2から複数の試料画像PSを抽出する。
次に、ステップS117において、生成部515は、ステップS115で抽出された複数の試料画像PSの各画素の輝度値のメディアン値を算出することによって第2ブランク画像BL2を生成する。
次に、ステップS119において、補正部516は、第2試料画像群PS2に含まれる試料画像PSと第2ブランク画像BL2との差分を算出することによって、試料画像PSを補正し、第2補正画像PC2を生成する。そして、補正部516は、第2補正画像PC2を画像記憶部521に記録する。その後、処理が終了する。
Next, in step S115, the extraction unit 514 extracts a plurality of sample images PS from the second sample image group PS2.
Next, in step S117, the generation unit 515 generates a second blank image BL2 by calculating the median value of the luminance values of each pixel of the multiple sample images PS extracted in step S115.
Next, in step S119, the correction unit 516 calculates the difference between the sample image PS included in the second sample image group PS2 and the second blank image BL2 to correct the sample image PS and generate a second corrected image PC2. Then, the correction unit 516 records the second corrected image PC2 in the image storage unit 521. Then, the process ends.

固定粒子FPを検出していないと制御部12が判定した場合(ステップS105;NO)には、ステップS121において、抽出部514は、液体試料SLを撮影することによって得られた試料画像PSから複数の試料画像PSを抽出する。
次に、ステップS123において、生成部515は、ステップS121で抽出された複数の試料画像PSの各画素の輝度値のメディアン値を算出することによってブランク画像BLを生成する。
次に、ステップS125において、補正部516は、液体試料SLを撮影することによって得られた試料画像PSと、ブランク画像BLの差分を算出することによって、試料画像PSを補正し、補正画像PCを生成する。そして、補正部516は、補正画像PCを画像記憶部521に記録する。その後、処理が終了する。
If the control unit 12 determines that a fixed particle FP has not been detected (step S105; NO), in step S121, the extraction unit 514 extracts multiple sample images PS from the sample image PS obtained by photographing the liquid sample SL.
Next, in step S123, the generating unit 515 generates a blank image BL by calculating the median value of the luminance values of each pixel of the multiple sample images PS extracted in step S121.
Next, in step S125, the correction unit 516 calculates the difference between the sample image PS obtained by photographing the liquid sample SL and the blank image BL, thereby correcting the sample image PS and generating a corrected image PC. Then, the correction unit 516 records the corrected image PC in the image storage unit 521. Then, the process ends.

ステップS111、ステップS117、及びステップS123の各々は、「生成ステップ」の一例に対応する。ステップS113、ステップS119、及びステップS125の各々は、「補正ステップ」の一例に対応する。 Each of steps S111, S117, and S123 corresponds to an example of a "generation step." Each of steps S113, S119, and S125 corresponds to an example of a "correction step."

図9を参照して説明したように、第2固定粒子FP2が検出部512によって検出された場合には、生成部515は、第1試料画像群PS1に含まれる複数の試料画像PSの各画素の輝度値のメディアン値を算出することによって第1ブランク画像BL1を生成する。
そして、補正部516は、第1試料画像群PS1に含まれる試料画像PSと第1ブランク画像BL1との差分を算出することによって、試料画像PSを補正して、第1補正画像PC1を生成する。また、生成部515は、第2試料画像群PS2に含まれる複数の試料画像PSの各画素の輝度値のメディアン値を算出することによって第2ブランク画像BL2を生成する。
そして、補正部516は、第2試料画像群PS2に含まれる試料画像PSと第2ブランク画像BL2との差分を算出することによって、試料画像PSを補正して、第2補正画像PC2を生成する。
このようにして、第1試料画像群PS1に含まれる試料画像PS、及び、第2試料画像群PS2に含まれる試料画像PSの各々を適正に補正できる。
As explained with reference to Figure 9, when the second fixed particle FP2 is detected by the detection unit 512, the generation unit 515 generates a first blank image BL1 by calculating the median value of the brightness values of each pixel of the multiple sample images PS included in the first sample image group PS1.
The correction unit 516 corrects the sample images PS by calculating the difference between the sample images PS included in the first sample image group PS1 and the first blank image BL1 to generate a first corrected image PC1. The generation unit 515 calculates the median value of the luminance values of each pixel of the sample images PS included in the second sample image group PS2 to generate a second blank image BL2.
Then, the correction unit 516 calculates the difference between the sample image PS included in the second sample image group PS2 and the second blank image BL2, thereby correcting the sample image PS to generate a second corrected image PC2.
In this way, each of the sample images PS included in the first sample image group PS1 and the sample images PS included in the second sample image group PS2 can be appropriately corrected.

なお、本実施形態では、第1試料画像群PS1に含まれる試料画像PSを第1ブランク画像BL1で補正し、第2試料画像群PS2に含まれる試料画像PSを第2ブランク画像BL2で補正するが、本発明の実施形態はこれに限定されない。第1試料画像群PS1に含まれる試料画像PSを第1ブランク画像BL1で補正する処理、及び、第2試料画像群PS2に含まれる試料画像PSを第2ブランク画像BL2で補正する処理の少なくとも一方を実施すればよい。
例えば、第1試料画像群PS1に含まれる試料画像PSを第1ブランク画像BL1で補正し、第2試料画像群PS2に含まれる試料画像PSを破棄してもよい。また、例えば、第1試料画像群PS1に含まれる試料画像PSを破棄し、第2試料画像群PS2に含まれる試料画像PSを第2ブランク画像BL2で補正してもよい。これらの場合には、処理が簡素化できる。
In this embodiment, the sample images PS included in the first sample image group PS1 are corrected with the first blank image BL1, and the sample images PS included in the second sample image group PS2 are corrected with the second blank image BL2, but the embodiment of the present invention is not limited to this. At least one of a process of correcting the sample images PS included in the first sample image group PS1 with the first blank image BL1 and a process of correcting the sample images PS included in the second sample image group PS2 with the second blank image BL2 may be performed.
For example, the sample images PS included in the first sample image group PS1 may be corrected with the first blank image BL1, and the sample images PS included in the second sample image group PS2 may be discarded. Alternatively, the sample images PS included in the first sample image group PS1 may be discarded, and the sample images PS included in the second sample image group PS2 may be corrected with the second blank image BL2. In these cases, the processing can be simplified.

また、本実施形態では、固定粒子FPが、第1固定粒子FP1、及び第2固定粒子FP2を含む場合について説明するが、これに限定されない。固定粒子FPが、カメラ8が試料画像PSの撮影を開始した時点では、フローセル2の流路16側の壁面に付着しておらず、カメラ8が試料画像PSの撮影中に、フローセル2の流路16側の壁面に付着し、その後、カメラ8が試料画像PSの撮影中に、フローセル2の流路16側の壁面から剥離する固定粒子FPである形態でもよい。
この場合には、例えば、固定粒子FPがフローセル2の流路16側の壁面に付着する前の画像群と、固定粒子FPがフローセル2の流路16側の壁面から剥離した後の画像群と、の少なくとも一方について試料画像PSをブランク画像BLで補正してもよい。
In addition, in this embodiment, the fixed particles FP include the first fixed particles FP1 and the second fixed particles FP2, but are not limited thereto. The fixed particles FP may be in a form in which the fixed particles FP are not attached to the wall surface of the flow cell 2 on the flow path 16 side when the camera 8 starts to capture the sample image PS, and the fixed particles FP are attached to the wall surface of the flow cell 2 on the flow path 16 side while the camera 8 is capturing the sample image PS, and then peeled off from the wall surface of the flow cell 2 on the flow path 16 side while the camera 8 is capturing the sample image PS.
In this case, for example, the sample image PS may be corrected with the blank image BL for at least one of the image group before the fixed particle FP adheres to the wall surface on the flow path 16 side of the flow cell 2 and the image group after the fixed particle FP has detached from the wall surface on the flow path 16 side of the flow cell 2.

図10は、制御部12の固定粒子検出処理の一例を示すフローチャートである。
まず、ステップS201において、検出部512は、液体試料SLを撮影することによって得られた試料画像PSから、連続して撮影された所定枚数の試料画像PSを取得する。
次に、ステップS203において、検出部512は、所定枚数の試料画像PSの対応する位置に配置された画素の輝度値Bが第1閾値以下であるか否かを判定する。
所定枚数の試料画像PSの対応する位置に配置された画素の輝度値Bが第1閾値以下ではないと検出部512が判定した場合(ステップS203;NO)には、処理がステップS211に進む。所定枚数の試料画像PSの対応する位置に配置された画素の輝度値Bが第1閾値以下であると検出部512が判定した場合(ステップS203;YES)には、処理がステップS205に進む。
FIG. 10 is a flowchart showing an example of the fixed particle detection process of the control unit 12.
First, in step S201, the detection unit 512 acquires a predetermined number of sample images PS that have been successively captured from the sample images PS obtained by capturing images of the liquid sample SL.
Next, in step S203, the detection unit 512 determines whether or not the luminance values B of pixels arranged at corresponding positions in a predetermined number of sample images PS are equal to or less than a first threshold value.
If the detection unit 512 determines that the luminance values B of the pixels arranged at corresponding positions in the predetermined number of sample images PS are not equal to or less than the first threshold value (step S203; NO), the process proceeds to step S211. If the detection unit 512 determines that the luminance values B of the pixels arranged at corresponding positions in the predetermined number of sample images PS are equal to or less than the first threshold value (step S203; YES), the process proceeds to step S205.

そして、ステップS205において、検出部512は、輝度値Bが第1閾値以下である低輝度画素が互いに隣接して配置されているか否かを判定する。
低輝度画素が互いに隣接して配置されてはいないと検出部512が判定した場合(ステップS205;NO)には、処理がステップS211に進む。低輝度画素が互いに隣接して配置されていると検出部512が判定した場合(ステップS205;YES)には、処理がステップS207に進む。
そして、ステップS207において、検出部512は、低輝度画素の画素数が第2閾値以上であるか否かを判定する。第2閾値は、「互いに隣接した複数画素」における「複数」の個数の一例に対応する。
低輝度画素の画素数が第2閾値以上であると検出部512が判定した場合(ステップS207;YES)には、処理がステップS209に進む。
そして、ステップS209において、検出部512は、固定粒子FPを検出し、処理が図9のステップS105へリターンする。
低輝度画素の画素数が第2閾値以上ではないと検出部512が判定した場合(ステップS207;NO)には、処理がステップS211に進む。
そして、ステップS211において、検出部512は、固定粒子FPを検出せず、処理が図9のステップS105へリターンする。
Then, in step S205, the detection unit 512 determines whether or not low-luminance pixels whose luminance value B is equal to or less than the first threshold value are arranged adjacent to each other.
If the detection unit 512 determines that the low-luminance pixels are not arranged adjacent to each other (step S205; NO), the process proceeds to step S211. If the detection unit 512 determines that the low-luminance pixels are arranged adjacent to each other (step S205; YES), the process proceeds to step S207.
In step S207, the detection unit 512 determines whether the number of low-luminance pixels is equal to or greater than a second threshold value. The second threshold value corresponds to an example of the number of "multiple" in "multiple adjacent pixels."
If the detection unit 512 determines that the number of low-luminance pixels is equal to or greater than the second threshold (step S207; YES), the process proceeds to step S209.
Then, in step S209, the detection unit 512 detects the fixed particle FP, and the process returns to step S105 in FIG.
If the detection unit 512 determines that the number of low-luminance pixels is not equal to or greater than the second threshold (step S207; NO), the process proceeds to step S211.
Then, in step S211, the detection unit 512 does not detect the fixed particle FP, and the process returns to step S105 in FIG.

[6.態様と効果]
上述した本実施形態は、以下の態様の具体例であることが当業者により理解される。
[6. Aspects and Effects]
It will be understood by those skilled in the art that the above-described embodiment is a specific example of the following aspects.

(第1項)
第1態様に関わる粒子画像解析装置は、粒子を分散させた液体試料を所定速度で流路内を流動させ、前記液体試料を所定周期で撮影することによって得られた試料画像に含まれる前記粒子の画像を解析する粒子画像解析装置であって、複数の前記試料画像に基づいて、ブランク画像を生成する生成部と、前記ブランク画像に基づいて、前記試料画像を補正する補正部と、を備える。
(Section 1)
The particle image analysis device according to the first aspect is a particle image analysis device that analyzes images of the particles contained in a sample image obtained by flowing a liquid sample having particles dispersed therein through a flow path at a predetermined speed and photographing the liquid sample at a predetermined period, and is equipped with a generation unit that generates a blank image based on a plurality of the sample images, and a correction unit that corrects the sample image based on the blank image.

第1項に記載の粒子画像解析装置によれば、複数の試料画像に基づいて、ブランク画像を生成し、生成されたブランク画像に基づいて、試料画像を補正する。
よって、流路に付着したコンタミ粒子等の異物の画像をブランク画像に含めることができるため、試料画像を適正に補正できる。したがって、流路に付着したコンタミ粒子等の異物の画像を、粒子の画像と誤認識することを抑制できる。
According to the particle image analyzing device described in paragraph 1, a blank image is generated based on a plurality of sample images, and the sample image is corrected based on the generated blank image.
Therefore, since the image of the foreign matter such as the contaminant particles adhering to the flow path can be included in the blank image, the sample image can be appropriately corrected, and therefore, it is possible to prevent the image of the foreign matter such as the contaminant particles adhering to the flow path from being mistaken for the image of the particle.

(第2項)
第1項に記載の粒子画像解析装置において、前記補正部は、前記試料画像と前記ブランク画像との差分を算出することによって、前記試料画像を補正する。
(Section 2)
In the particle image analyzing device described in paragraph 1, the correction unit corrects the sample image by calculating a difference between the sample image and the blank image.

第2項に記載の粒子画像解析装置によれば、前記補正部は、前記試料画像と前記ブランク画像との差分を算出することによって、前記試料画像を補正する。
よって、試料画像を適正に補正できる。したがって、流路に付着したコンタミ粒子等の異物の画像を、粒子の画像と誤認識することを抑制できる。
According to the particle image analyzing device described in paragraph 2, the correction unit corrects the sample image by calculating the difference between the sample image and the blank image.
This allows the sample image to be appropriately corrected, thereby preventing an image of a foreign substance, such as a contaminant particle, adhering to the flow channel from being mistaken for an image of a particle.

(第3項)
第1項又は第2項に記載の粒子画像解析装置において、前記流路内を流動しない固定粒子を検出する検出部と、前記検出部の検出結果に基づいて、前記液体試料を撮影することによって得られた試料画像の中から前記複数の試料画像を抽出する抽出部と、を更に備える。
(Section 3)
The particle image analysis device described in paragraph 1 or paragraph 2 further comprises a detection unit that detects fixed particles that do not flow within the flow path, and an extraction unit that extracts the plurality of sample images from sample images obtained by photographing the liquid sample based on the detection results of the detection unit.

第3項に記載の粒子画像解析装置によれば、前記流路内を流動しない固定粒子を検出し、固定粒子の検出結果に基づいて、前記液体試料を撮影することによって得られた試料画像の中から前記複数の試料画像を抽出する。
よって、ブランク画像を生成する複数の試料画像を適正に抽出できる。したがって、適正なブランク画像を生成できる。
According to the particle image analysis device described in paragraph 3, fixed particles that do not flow within the flow path are detected, and based on the detection results of the fixed particles, the multiple sample images are extracted from among sample images obtained by photographing the liquid sample.
Therefore, a plurality of sample images for generating a blank image can be appropriately extracted, and therefore an appropriate blank image can be generated.

(第4項)
第3項に記載の粒子画像解析装置において、前記検出部は、2枚以上の所定枚数の連続して撮影された前記試料画像において、対応する位置に配置され、互いに隣接した複数画素の輝度値が所定値以下である場合に、前記固定粒子を検出する。
(Section 4)
In the particle image analysis device described in paragraph 3, the detection unit detects the fixed particle when the brightness values of multiple pixels that are arranged at corresponding positions and adjacent to each other in a predetermined number of consecutively taken images of the sample, which number is two or more, are below a predetermined value.

第4項に記載の粒子画像解析装置によれば、前記検出部は、2枚以上の所定枚数の連続して撮影された前記試料画像において、対応する位置に配置され、互いに隣接した複数画素の輝度値が所定値以下である場合に、前記固定粒子を検出する。
したがって、所定枚数、複数画素の画素数、及び、所定値を適正に設定することによって、固定粒子を適正に検出できる。
According to the particle image analysis device described in paragraph 4, the detection unit detects the fixed particle when the brightness values of multiple adjacent pixels arranged at corresponding positions in a predetermined number of consecutively taken images of the sample, which number is two or more, are below a predetermined value.
Therefore, by properly setting the predetermined number of sheets, the number of pixels in the plurality of pixels, and the predetermined value, fixed particles can be properly detected.

(第5項)
第3項又は第4項に記載の粒子画像解析装置において、前記検出部が前記固定粒子を検出した場合に、前記液体試料を撮影することによって得られた試料画像を、前記固定粒子を検出する前の第1試料画像群と、前記固定粒子を検出した後の第2試料画像群と、に分類する分類部、を更に備え、前記抽出部は、前記第1試料画像群に含まれる試料画像の補正に用いる前記ブランク画像を前記生成部が生成する場合には、前記第1試料画像群に含まれる前記複数の試料画像を抽出し、前記第2試料画像群に含まれる試料画像の補正に用いる前記ブランク画像を前記生成部が生成する場合には、前記第2試料画像群に含まれる前記複数の試料画像を抽出する。
(Section 5)
In the particle image analysis device described in paragraph 3 or 4, the device further includes a classification unit that, when the detection unit detects the fixed particle, classifies sample images obtained by photographing the liquid sample into a first sample image group before the fixed particle is detected and a second sample image group after the fixed particle is detected, and the extraction unit extracts the multiple sample images included in the first sample image group when the generation unit generates the blank image to be used for correcting the sample images included in the first sample image group, and extracts the multiple sample images included in the second sample image group when the generation unit generates the blank image to be used for correcting the sample images included in the second sample image group.

第5項に記載の粒子画像解析装置によれば、前記第1試料画像群に含まれる試料画像の補正に用いる前記ブランク画像を前記生成部が生成する場合には、前記抽出部は、前記第1試料画像群に含まれる前記複数の試料画像を抽出し、前記第2試料画像群に含まれる試料画像の補正に用いる前記ブランク画像を前記生成部が生成する場合には、前記抽出部は、前記第2試料画像群に含まれる前記複数の試料画像を抽出する。
よって、ブランク画像を生成する複数の試料画像を適正に抽出できる。したがって、適正なブランク画像を生成できる。
According to the particle image analysis device described in paragraph 5, when the generation unit generates the blank image to be used for correcting the sample images included in the first sample image group, the extraction unit extracts the multiple sample images included in the first sample image group, and when the generation unit generates the blank image to be used for correcting the sample images included in the second sample image group, the extraction unit extracts the multiple sample images included in the second sample image group.
Therefore, a plurality of sample images for generating a blank image can be appropriately extracted, and therefore an appropriate blank image can be generated.

(第6項)
第1項から第5項のいずれか1項に記載の粒子画像解析装置において、前記所定速度、及び前記所定周期の各々は、前記流路内を流動する前記粒子が、2枚の連続して撮影された前記試料画像に含まれないように設定される。
(Section 6)
In the particle image analysis device described in any one of paragraphs 1 to 5, the specified speed and the specified period are each set so that the particles flowing within the flow path are not included in two successively captured images of the sample.

第6項に記載の粒子画像解析装置によれば、前記所定速度、及び前記所定周期の各々は、前記流路内を流動する前記粒子が、2枚の連続して撮影された前記試料画像に含まれないように設定される。
したがって、同一の粒子の画像を複数回撮影することを抑制できる。
According to the particle image analysis device described in paragraph 6, each of the specified speed and the specified period is set so that the particles flowing within the flow path are not included in two successively captured images of the sample.
Therefore, it is possible to prevent the image of the same particle from being captured multiple times.

(第7項)
第1項から第6項のいずれか1項に記載の粒子画像解析装置において、前記生成部は、前記複数の試料画像の各画素の輝度値のメディアン値を算出することによって前記ブランク画像を生成する。
(Section 7)
In the particle image analysis device described in any one of paragraphs 1 to 6, the generation unit generates the blank image by calculating a median value of brightness values of each pixel of the plurality of sample images.

第7項に記載の粒子画像解析装置によれば、前記生成部は、前記複数の試料画像の各画素の輝度値のメディアン値を算出することによって前記ブランク画像を生成する。
したがって、適正なブランク画像を生成できる。
According to the particle image analyzing device described in item 7, the generating unit generates the blank image by calculating a median value of brightness values of each pixel of the plurality of sample images.
Therefore, a proper blank image can be generated.

(第8項)
第1項から第6項のいずれか1項に記載の粒子画像解析装置において、前記生成部は、前記複数の試料画像の各画素の輝度値の平均値を算出することによって前記ブランク画像を生成する。
(Section 8)
In the particle image analysis device described in any one of paragraphs 1 to 6, the generation unit generates the blank image by calculating an average value of brightness values of each pixel of the plurality of sample images.

第8項に記載の粒子画像解析装置によれば、前記生成部は、前記複数の試料画像の各画素の輝度値の平均値を算出することによって前記ブランク画像を生成する。
したがって、適正なブランク画像を生成できる。
According to the particle image analyzing device described in item 8, the generating unit generates the blank image by calculating an average value of the brightness values of each pixel of the plurality of sample images.
Therefore, a proper blank image can be generated.

(第9項)
第2態様に関わる粒子画像解析装置の粒子画像解析方法は、粒子を分散させた液体試料を所定速度で流路内を流動させ、前記液体試料を所定周期で撮影することによって得られた試料画像に含まれる前記粒子の画像を解析する粒子画像解析装置の粒子画像解析方法であって、複数の前記試料画像に基づいて、ブランク画像を生成する生成ステップと、前記ブランク画像に基づいて、前記試料画像を補正する補正ステップと、を含む。
(Section 9)
The particle image analysis method of the particle image analysis device relating to the second aspect is a particle image analysis method of a particle image analysis device that analyzes images of the particles contained in a sample image obtained by flowing a liquid sample in which particles are dispersed through a flow path at a predetermined speed and photographing the liquid sample at a predetermined period, and includes a generation step of generating a blank image based on a plurality of the sample images, and a correction step of correcting the sample image based on the blank image.

第9項に記載の粒子画像解析装置の粒子画像解析方法によれば、第1項に記載の粒子画像解析装置と同様の作用効果を奏する。 The particle image analysis method of the particle image analyzer described in paragraph 9 provides the same effects as the particle image analyzer described in paragraph 1.

(第10項)
第3態様に関わる粒子画像解析プログラムは、粒子を分散させた液体試料を所定速度で流路内を流動させ、前記液体試料を所定周期で撮影することによって得られた試料画像に含まれる前記粒子の画像を解析する粒子画像解析プログラムであって、コンピュータを、複数の前記試料画像に基づいて、ブランク画像を生成する生成部、及び、前記ブランク画像に基づいて、前記試料画像を補正する補正部、として機能させる。
(Article 10)
The particle image analysis program relating to the third aspect is a particle image analysis program that analyzes images of the particles contained in a sample image obtained by flowing a liquid sample having particles dispersed therein through a flow path at a predetermined speed and photographing the liquid sample at a predetermined period, and causes a computer to function as a generation unit that generates a blank image based on a plurality of the sample images, and a correction unit that corrects the sample image based on the blank image.

第10項に記載の粒子画像解析プログラムによれば、第1項に記載の粒子画像解析装置と同様の作用効果を奏する。 The particle image analysis program described in paragraph 10 provides the same effects as the particle image analysis device described in paragraph 1.

[7.その他の実施形態]
なお、本実施形態に係る粒子画像解析装置1は、あくまでも本発明に係る粒子画像解析装置の態様の例示であり、本発明の主旨を逸脱しない範囲において任意に変形および応用が可能である。
例えば、本実施形態では、粒子画像解析装置1の制御部12が、撮像制御部511、検出部512、分類部513、抽出部514、生成部515、補正部516、及び画像記憶部521を備えるが、本発明の実施形態は、これに限定されない。例えば、粒子画像解析装置1の制御部12が、撮像制御部511、及び画像記憶部521を備え、粒子画像解析装置1とは別体としてパーソナルコンピュータ等で構成された制御装置が、検出部512、分類部513、抽出部514、生成部515、及び補正部516を備えてもよい。
7. Other embodiments
It should be noted that the particle image analysis device 1 according to this embodiment is merely an example of an aspect of the particle image analysis device according to the present invention, and any modification and application is possible within the scope that does not deviate from the gist of the present invention.
For example, in this embodiment, the control unit 12 of the particle image analysis device 1 includes an imaging control unit 511, a detection unit 512, a classification unit 513, an extraction unit 514, a generation unit 515, a correction unit 516, and an image storage unit 521, but the embodiment of the present invention is not limited to this. For example, the control unit 12 of the particle image analysis device 1 may include the imaging control unit 511 and the image storage unit 521, and a control device configured as a personal computer or the like separately from the particle image analysis device 1 may include the detection unit 512, the classification unit 513, the extraction unit 514, the generation unit 515, and the correction unit 516.

また、図1に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。 Furthermore, each functional unit shown in FIG. 1 indicates a functional configuration, and the specific implementation form is not particularly limited. In other words, it is not necessary to implement hardware that corresponds to each functional unit individually, and it is of course possible to implement a configuration in which one processor executes a program to realize the functions of multiple functional units. Furthermore, some of the functions realized by software in the above embodiment may be realized by hardware, or some of the functions realized by hardware may be realized by software.

また、図9及び図10に示すフローチャートの処理単位は、制御部12の処理を理解容易にするために、主な処理内容に応じて分割したものである。図9及び図10のフローチャートに示す処理単位の分割の仕方や名称によって制限されることはなく、処理内容に応じて、さらに多くの処理単位に分割することもできるし、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。 The processing units in the flowcharts shown in Figures 9 and 10 are divided according to the main processing content in order to make the processing of the control unit 12 easier to understand. There is no limitation to the manner in which the processing units are divided or the names shown in the flowcharts of Figures 9 and 10, and they can be divided into even more processing units depending on the processing content, or one processing unit can be divided to include even more processes. Furthermore, the processing order of the above flowcharts is not limited to the example shown.

また、粒子画像解析装置1の制御部12は、制御部12が備えるプロセッサ51に粒子画像解析装置1の粒子画像解析方法に対応した制御プログラムPGを実行させる。また、この制御プログラムPGは、コンピュータで読み取り可能に記録した記録媒体に記録しておくことも可能である。記録媒体としては、磁気的、光学的記録媒体又は半導体メモリデバイスを用いることができる。具体的には、フレキシブルディスク、HDD、CD-ROM(Compact Disk Read Only Memory)、DVD、Blu-ray(登録商標) Disc、光磁気ディスク、フラッシュメモリ、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、制御部12が備える内部記憶装置であるRAM、ROM、HDD等の不揮発性記憶装置であってもよい。また、制御プログラムPGをサーバー装置等に記憶させておき、サーバー装置から制御部12に、制御プログラムPGをダウンロードしてもよい。 The control unit 12 of the particle image analyzer 1 causes the processor 51 included in the control unit 12 to execute a control program PG corresponding to the particle image analysis method of the particle image analyzer 1. The control program PG can also be recorded in a computer-readable recording medium. The recording medium can be a magnetic or optical recording medium or a semiconductor memory device. Specifically, portable or fixed recording media such as a flexible disk, HDD, CD-ROM (Compact Disk Read Only Memory), DVD, Blu-ray (registered trademark) Disc, magneto-optical disk, flash memory, and card-type recording media can be used. The recording medium can also be a non-volatile storage device such as a RAM, ROM, or HDD that is an internal storage device included in the control unit 12. The control program PG can also be stored in a server device or the like, and the control program PG can be downloaded from the server device to the control unit 12.

1 画像解析式粒子分析装置
2 フローセル
4 液体試料供給機構
6A 光源装置
8 カメラ
10 フォーカス機構
12 制御部(コンピュータ)
16 流路
22 送液ポンプ
24 液体試料貯留容器
32 廃液タンク
34 測定光
38 テレセントリック顕微鏡
40 テレセントリックレンズ
42 レンズ駆動機構
51 プロセッサ
511 撮像制御部
512 検出部
513 分類部
514 抽出部
515 生成部
516 補正部
52 メモリ
512 画像記憶部
BC、BS、BB 輝度値
BX 平均輝度値
BL ブランク画像
BL1 第1ブランク画像
BL2 第2ブランク画像
CP コンタミ粒子画像
FM 異物画像
FP 固定粒子
FP1 第1固定粒子
FP2 第2固定粒子
PC 補正画像
PG 制御プログラム(粒子画像解析プログラム)
PS 試料画像
PS1 第1試料画像群
PS2 第2試料画像群
PT 粒子
SL 液体試料
SP 粉体試料
TA 所定周期
VA 所定速度
REFERENCE SIGNS LIST 1 Image analysis type particle analyzer 2 Flow cell 4 Liquid sample supply mechanism 6A Light source device 8 Camera 10 Focus mechanism 12 Control unit (computer)
16 Flow path 22 Liquid delivery pump 24 Liquid sample storage container 32 Waste liquid tank 34 Measurement light 38 Telecentric microscope 40 Telecentric lens 42 Lens driving mechanism 51 Processor 511 Imaging control section 512 Detection section 513 Classification section 514 Extraction section 515 Generation section 516 Correction section 52 Memory 512 Image storage section BC, BS, BB Brightness value BX Average brightness value BL Blank image BL1 First blank image BL2 Second blank image CP Contamination particle image FM Foreign matter image FP Fixed particle FP1 First fixed particle FP2 Second fixed particle PC Correction image PG Control program (particle image analysis program)
PS Sample image PS1 First sample image group PS2 Second sample image group PT Particles SL Liquid sample SP Powder sample TA Predetermined period VA Predetermined speed

Claims (9)

粒子を分散させた液体試料を所定速度で流路内を流動させ、前記液体試料を所定周期で撮影することによって得られた試料画像に含まれる前記粒子の画像を解析する粒子画像解析装置であって、
複数の前記試料画像に基づいて、ブランク画像を生成する生成部と、
前記ブランク画像に基づいて、前記試料画像を補正する補正部と、
前記流路内を流動しない固定粒子を検出する検出部と、
前記検出部の検出結果に基づいて、前記液体試料を撮影することによって得られた試料画像の中から前記複数の試料画像を抽出する抽出部と、
を備える、粒子画像解析装置。
A particle image analyzer for analyzing images of particles contained in a sample image obtained by flowing a liquid sample having particles dispersed therein through a flow path at a predetermined speed and photographing the liquid sample at a predetermined cycle, comprising:
A generating unit that generates a blank image based on a plurality of the sample images;
a correction unit that corrects the sample image based on the blank image;
a detection unit for detecting immobile particles not flowing through the flow channel;
an extracting unit that extracts the plurality of sample images from sample images obtained by photographing the liquid sample based on a detection result of the detecting unit;
A particle image analysis device comprising:
前記補正部は、前記試料画像と前記ブランク画像との差分を算出することによって、前記試料画像を補正する、
請求項1に記載の粒子画像解析装置。
The correction unit corrects the sample image by calculating a difference between the sample image and the blank image.
The particle image analysis device according to claim 1 .
前記検出部は、2枚以上の所定枚数の連続して撮影された前記試料画像において、対応する位置に配置され、互いに隣接した複数画素の輝度値が所定値以下である場合に、前記固定粒子を検出する、
請求項に記載の粒子画像解析装置。
the detection unit detects the fixed particle when the luminance values of a plurality of pixels that are arranged at corresponding positions and adjacent to each other in a predetermined number (two or more) of the sample images that have been continuously captured are equal to or less than a predetermined value.
The particle image analysis device according to claim 1 .
前記検出部が前記固定粒子を検出した場合に、前記液体試料を撮影することによって得られた試料画像を、前記固定粒子を検出する前の第1試料画像群と、前記固定粒子を検出した後の第2試料画像群と、に分類する分類部、を更に備え、
前記抽出部は、
前記第1試料画像群に含まれる試料画像の補正に用いる前記ブランク画像を前記生成部が生成する場合には、前記第1試料画像群に含まれる前記複数の試料画像を抽出し、
前記第2試料画像群に含まれる試料画像の補正に用いる前記ブランク画像を前記生成部が生成する場合には、前記第2試料画像群に含まれる前記複数の試料画像を抽出する、
請求項又は請求項に記載の粒子画像解析装置。
a classification unit that, when the detection unit detects the fixed particles, classifies sample images obtained by photographing the liquid sample into a first sample image group before the fixed particles are detected and a second sample image group after the fixed particles are detected,
The extraction unit is
When the generating unit generates the blank image to be used for correcting the sample images included in the first sample image group, the generating unit extracts the sample images included in the first sample image group,
When the generating unit generates the blank image used for correcting the sample images included in the second sample image group, the generating unit extracts the sample images included in the second sample image group.
The particle image analyzer according to claim 1 or 3 .
前記所定速度、及び前記所定周期の各々は、前記流路内を流動する前記粒子が、2枚の連続して撮影された前記試料画像に含まれないように設定される、
請求項1から請求項のいずれか1項に記載の粒子画像解析装置。
the predetermined speed and the predetermined period are each set so that the particles flowing through the flow channel are not included in two consecutively captured images of the sample.
The particle image analyzer according to any one of claims 1 to 4 .
前記生成部は、前記複数の試料画像の各画素の輝度値のメディアン値を算出することによって前記ブランク画像を生成する、
請求項1から請求項のいずれか1項に記載の粒子画像解析装置。
the generating unit generates the blank image by calculating a median value of brightness values of each pixel of the plurality of sample images.
The particle image analyzer according to any one of claims 1 to 5 .
前記生成部は、前記複数の試料画像の各画素の輝度値の平均値を算出することによって前記ブランク画像を生成する、
請求項1から請求項のいずれか1項に記載の粒子画像解析装置。
the generating unit generates the blank image by calculating an average value of luminance values of each pixel of the plurality of sample images.
The particle image analyzer according to any one of claims 1 to 5 .
粒子を分散させた液体試料を所定速度で流路内を流動させ、前記液体試料を所定周期で撮影することによって得られた試料画像に含まれる前記粒子の画像を解析する粒子画像解析装置の粒子画像解析方法であって、
複数の前記試料画像に基づいて、ブランク画像を生成する生成ステップと、
前記ブランク画像に基づいて、前記試料画像を補正する補正ステップと、
前記流路内を流動しない固定粒子を検出する検出ステップと、
前記検出ステップでの検出結果に基づいて、前記液体試料を撮影することによって得られた試料画像の中から前記複数の試料画像を抽出する抽出ステップと、
を含む、粒子画像解析方法。
A particle image analysis method for a particle image analyzer, comprising the steps of: flowing a liquid sample having particles dispersed therein through a flow path at a predetermined speed; photographing the liquid sample at a predetermined cycle; and analyzing images of the particles contained in the sample images obtained by the photographing;
generating a blank image based on the plurality of sample images;
a correction step of correcting the sample image based on the blank image;
a detection step of detecting immobile particles not flowing within the flow channel;
an extraction step of extracting the plurality of sample images from sample images obtained by photographing the liquid sample based on a detection result in the detection step;
A particle image analysis method comprising:
粒子を分散させた液体試料を所定速度で流路内を流動させ、前記液体試料を所定周期で撮影することによって得られた試料画像に含まれる前記粒子の画像を解析する粒子画像解析プログラムであって、
コンピュータを、
複数の前記試料画像に基づいて、ブランク画像を生成する生成部、
前記ブランク画像に基づいて、前記試料画像を補正する補正部、
前記流路内を流動しない固定粒子を検出する検出部、及び、
前記検出部の検出結果に基づいて、前記液体試料を撮影することによって得られた試料画像の中から前記複数の試料画像を抽出する抽出部、
として機能させる、粒子画像解析プログラム。
A particle image analysis program for analyzing images of particles contained in a sample image obtained by flowing a liquid sample having particles dispersed therein through a flow path at a predetermined speed and photographing the liquid sample at a predetermined cycle, the program comprising:
Computer,
A generating unit that generates a blank image based on the plurality of sample images;
a correction unit that corrects the sample image based on the blank image;
A detection unit for detecting immobile particles that do not flow through the flow channel; and
an extraction unit that extracts the plurality of sample images from sample images obtained by photographing the liquid sample based on a detection result of the detection unit;
A particle image analysis program that acts as a
JP2021014343A 2021-02-01 2021-02-01 PARTICLE IMAGE ANALYSIS APPARATUS, PARTICLE IMAGE ANALYSIS METHOD, AND PARTICLE IMAGE ANALYSIS PROGRAM Active JP7571582B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021014343A JP7571582B2 (en) 2021-02-01 2021-02-01 PARTICLE IMAGE ANALYSIS APPARATUS, PARTICLE IMAGE ANALYSIS METHOD, AND PARTICLE IMAGE ANALYSIS PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021014343A JP7571582B2 (en) 2021-02-01 2021-02-01 PARTICLE IMAGE ANALYSIS APPARATUS, PARTICLE IMAGE ANALYSIS METHOD, AND PARTICLE IMAGE ANALYSIS PROGRAM

Publications (2)

Publication Number Publication Date
JP2022117707A JP2022117707A (en) 2022-08-12
JP7571582B2 true JP7571582B2 (en) 2024-10-23

Family

ID=82750668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021014343A Active JP7571582B2 (en) 2021-02-01 2021-02-01 PARTICLE IMAGE ANALYSIS APPARATUS, PARTICLE IMAGE ANALYSIS METHOD, AND PARTICLE IMAGE ANALYSIS PROGRAM

Country Status (1)

Country Link
JP (1) JP7571582B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2026028621A1 (en) * 2024-07-31 2026-02-05 株式会社堀場製作所 Particle size distribution measurement device, particle size distribution measurement method, and particle size distribution measurement program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006510006A (en) 2002-11-18 2006-03-23 インターナショナル リモート イメイジング システムズ インコーポレイテッド Particle extraction for automatic flow microscopy
JP2019100988A (en) 2017-12-08 2019-06-24 株式会社島津製作所 Particle image analysis device, and particle image analysis method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3653804B2 (en) * 1994-09-19 2005-06-02 株式会社日立製作所 Particle image region segmentation method and apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006510006A (en) 2002-11-18 2006-03-23 インターナショナル リモート イメイジング システムズ インコーポレイテッド Particle extraction for automatic flow microscopy
JP2019100988A (en) 2017-12-08 2019-06-24 株式会社島津製作所 Particle image analysis device, and particle image analysis method

Also Published As

Publication number Publication date
JP2022117707A (en) 2022-08-12

Similar Documents

Publication Publication Date Title
TWI582409B (en) Lens-free imaging system and method for detecting particles in sample deposited on image sensor
JP6465036B2 (en) Particle sorting device, particle sorting method, program, and particle sorting system
JP2020514769A5 (en)
CN110390661A (en) It checks management system, check managing device and checks management method
JP2020510222A (en) Particle classification device and delay time determination method
JP2013517460A (en) Cell characterization using multiple focal planes
JP5796509B2 (en) Flow cytometer
JP6705338B2 (en) Apparatus for inspecting abnormality of wafer and inspection method thereof
JP7571582B2 (en) PARTICLE IMAGE ANALYSIS APPARATUS, PARTICLE IMAGE ANALYSIS METHOD, AND PARTICLE IMAGE ANALYSIS PROGRAM
JP6478281B2 (en) Coarse particle measuring method and coarse particle measuring apparatus
JP5300516B2 (en) Spray particle imaging analysis system and analysis method
CN100353368C (en) Particle extraction for automatic flow microscope
CN109324350B (en) Electronic component conveying device and electronic component inspection device
EP0644416B1 (en) A method and an apparatus for flow type particle image analysis
JP2008298695A (en) Grain quality discrimination device
JP2017513012A (en) Apparatus for determining the particle size and / or particle shape of a particle mixture
US20080170772A1 (en) Apparatus for determining positions of objects contained in a sample
SE522695C2 (en) Method and apparatus for image acquisition of small particles for analysis of the quality of the particles
TWI432766B (en) Light source determining device, light source determining method and light tracking device
JP2019100988A (en) Particle image analysis device, and particle image analysis method
JP7552491B2 (en) Particle Image Analyzer
JP5149852B2 (en) Blur image determination method and blur image determination device
KR20160127571A (en) Particle visualization device
WO2008063192A1 (en) Pollen sensor
JP2006112993A (en) Color bead discrimination device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240923

R150 Certificate of patent or registration of utility model

Ref document number: 7571582

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150