Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6967232B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
[go: Go Back, main page]

JP6967232B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP6967232B2
JP6967232B2 JP2019546499A JP2019546499A JP6967232B2 JP 6967232 B2 JP6967232 B2 JP 6967232B2 JP 2019546499 A JP2019546499 A JP 2019546499A JP 2019546499 A JP2019546499 A JP 2019546499A JP 6967232 B2 JP6967232 B2 JP 6967232B2
Authority
JP
Japan
Prior art keywords
image
cells
captured
cell
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019546499A
Other languages
English (en)
Other versions
JPWO2019069446A1 (ja
Inventor
昌之 村田
ふみ 加納
誉之 野口
真美子 舛谷
健太 今井
亘 友杉
拓郎 西郷
智沙子 岩本
真史 山下
健一 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
University of Tokyo NUC
Original Assignee
Nikon Corp
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp, University of Tokyo NUC filed Critical Nikon Corp
Publication of JPWO2019069446A1 publication Critical patent/JPWO2019069446A1/ja
Application granted granted Critical
Publication of JP6967232B2 publication Critical patent/JP6967232B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biochemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dispersion Chemistry (AREA)
  • Organic Chemistry (AREA)
  • Multimedia (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Biotechnology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Medicinal Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関するものである。
生物科学や医学等において、生物の健康や疾患等の状態は、例えば、細胞や細胞内の小器官等の状態と関連性があることが知られている。そのため、これら関連性を解析することは、生物科学や医学等の諸処の課題を解決する一つの手段になる。また、細胞間、或いは細胞内で伝達される情報の伝達経路を解析することは、例えば、工業用途でのバイオセンサーや、疾病予防を目的とした製薬等の研究に役立てることができる。細胞や組織片等に関する種々の解析技術として、例えば、画像処理を用いた技術が知られている(例えば、特許文献1参照)。
米国特許第9280698号明細書
本発明の第1の態様によると、画像処理装置は、細胞を含む試料を撮像した撮像画像での、細胞の割合と細胞の分布とに基づいて、撮像画像を判定する判定部と、判定部の判定結果に基づいて、試料での細胞の解析に用いる領域を設定する領域設定部とを備える、画像処理装置である。
本発明の第2の態様によると、画像処理方法は、細胞を含む試料を撮像した撮像画像での、細胞の割合と細胞の分布とに基づいて、撮像画像を判定することと、判定することの判定結果に基づいて、試料での細胞の解析に用いる領域を設定することとを有する画像処理方法である。
本発明の第3の態様によると、画像処理プログラムは、コンピュータに、細胞を含む試料を撮像した撮像画像での、細胞の割合と細胞の分布とに基づいて、撮像画像を判定する判定ステップと、判定ステップの判定結果に基づいて、試料での細胞の解析に用いる領域を設定する領域設定ステップとを実行させるための、画像処理プログラムである。
本発明の実施形態による顕微鏡観察システムの構成の一例を示す図である。 顕微鏡観察システムの機能構成の一例を示すブロック図である。 本実施形態の領域選択部の演算手順の一例を示す流れ図である。 低倍率画像及びプレ撮像領域の一例を示す図である。 切出し画像の一例を示す図である。 本実施形態の本撮像手順の一例を示す流れ図である。 3つの細胞の輝度の違いの一例を示す図である。 判定部の演算手順の一例を示す流れ図である。 ラインプロファイルの一例を示す図である。 細胞分布算出部が算出する空間解析の結果の一例を示す図である。 細胞の構成要素の一例を示す図である。
[実施形態]
以下、図面を参照して、本発明の実施の形態について説明するが、本発明はこれに限定されない。以下の説明においては、XYZ直交座標系を設定し、このXYZ直交座標系を参照しつつ各部の位置関係について説明する。対物レンズの光軸と直交する平面をXY平面とする。対物レンズの光軸に平行な方向をZ軸方向とする。図1は、本発明の実施形態による顕微鏡観察システム1の構成の一例を示す図である。
顕微鏡観察システム1は、細胞等を撮像することにより取得される撮像画像に対して画像処理を行う。
顕微鏡観察システム1は、顕微鏡装置20と、解析装置10と、表示部30と、操作部40とを備える。
顕微鏡装置20は、電動ステージ21に載置される試料の拡大された像を観察する顕微鏡である。試料とは、具体的には、観察対象となる生体試料、ビーズなどである。生体試料とは、厚みがある蛍光染色された細胞などである。以下の説明において、細胞等を撮像することにより取得される画像を、単に細胞画像とも記載する。
ウェルプレートWPは、電動ステージ21に載置される。ウェルプレートWPは、1個ないし複数のウェルWを有する。本実施形態では、ウェルプレートWPは、図1に示すように8×12の96個のウェルWを有する。ウェルプレートWPの数はこれに限られず、4×6の24個のウェルWでも、16×24の384個のウェルWでも、32×48の1536個のウェルWでも、64×96の6144個のウェルWでも構わない。細胞は、ウェルWの中において、特定の実験条件のもと培養される。特定の実験条件とは、温度、湿度、培養期間、刺激が付与されてからの経過時間、付与される刺激の種類や強さ、濃度、量、刺激の有無、生物学的特徴の誘導等を含む。刺激とは、例えば、電気、音波、磁気、光等の物理的刺激や、物質や薬物の投与による化学的刺激等である。また、生物学的特徴とは、細胞の分化の段階や、形態、細胞数、細胞内の分子の挙動、オルガネラの形態や挙動、各形体、核内構造体の挙動、DNA分子の挙動、RNA分子の挙動及び修飾、タンパク質分子の挙動及び修飾等を示す特徴である。以下の説明では、この生物学的特徴のことを、細胞を構成する構成要素とも記載する。この一例では、顕微鏡装置20は、ウェルプレートWPが有する複数のウェルWのそれぞれに播種された細胞を観察する。
解析装置10とは、顕微鏡装置20によって撮像された撮像画像を解析するコンピュータ装置である。この一例では、解析装置10は、顕微鏡装置20によって撮像されたプレ撮像画像に基づいて、解析に適した撮像画像の視野を選択する。プレ撮像画像とは、解析に適した撮像画像の視野の選択に用いられる撮像画像である。プレ撮像画像は、例えば、撮像画像のピクセルサイズが本撮像画像よりも大きい画像や、本撮像画像の撮像倍率よりも低い倍率で撮像された画像である。本撮像画像とは、細胞の解析に用いられる撮像画像である。ここで視野とは、上述したウェルWのうちのXY平面及びZ軸方向の被撮像位置である。この一例では、被撮像位置とは、Z軸方向のある位置におけるXY平面のある面である。Z軸方向とは、本実施形態では、細胞の厚み方向である。
解析装置10は、選択した視野において撮像された本撮像画像に撮像された細胞を解析する。
表示部30は、例えば液晶ディスプレイを備えており、解析装置10が解析する撮像画像などの画像を表示する。この表示部30に表示される画像には、解析装置10が解析した解析結果に基づいて生成される画像が含まれている。
操作部40は、ユーザによって操作される。操作部40は、ユーザによって操作されると、操作信号を出力する。この操作信号は、解析装置10に供給される。解析装置10は、操作部40から供給される操作信号に基づいて、ユーザから供給された様々な情報を取得する。操作部40の一例として、キーボード40aや、マウス40bなどがある。
次に、図2を参照して、顕微鏡観察システム1の機能構成の一例について説明する。
図2は、顕微鏡観察システム1の機能構成の一例を示すブロック図である。
顕微鏡装置20は、生物顕微鏡であり、上述した電動ステージ21に加え、電動ステージ駆動部25と、撮像部22と、対物レンズ23と、対物レンズ駆動部24とを備える。
電動ステージ21は、所定の方向(例えば、水平方向の二次元平面内のある方向)に、撮像対象物の位置を任意に稼働可能である。電動ステージ21は、電動ステージ駆動部25によって駆動される。電動ステージ駆動部25は、電動ステージ21の位置を対物レンズ23の光軸と直交する方向であるX軸方向又はY軸方向に動かすモータを有している。電動ステージ駆動部25は、モータを駆動させることにより、電動ステージ21を、X軸方向又はY軸方向に動かすことができる。なお、顕微鏡装置20は、電動ステージ21を備えていなくてもよく、ステージが所定方向に稼働しないステージとしても構わない。この場合には、顕微鏡装置20を操作するユーザが、電動ステージ21に載置されたウェルプレートWPを動かし、移動後のウェルプレートWPの位置を操作部40から、解析装置10に対して供給すればよい。
撮像部22は、CCD(Charge−Coupled Device)やCMOS(Complementary MOS)などの撮像素子を備えており、電動ステージ21上の撮像対象物を撮像する。電動ステージ21に置かれた細胞の像は、対物レンズ23を介して不図示の結像レンズにより撮像部22の撮像面に結像される。
対物レンズ23は、細胞を透過した光を受光する。なお、対物レンズ23が受光する光は、細胞を透過した光に限られない。対物レンズ23は、細胞によって反射された光を受光してもよい。なお、対物レンズ23は、例えば、油浸対物レンズ、又は水浸対物レンズなど液浸対物レンズであってもよく、液浸に対応していないドライ対物レンズであってもよい。
対物レンズ駆動部24は、対物レンズ23の位置を光軸方向であるZ軸方向に動かすモータを有しており、対物レンズ23を保持する不図示のレボルバを上下動させることにより、対物レンズ23をZ軸方向に動かすことができる。
より具体的には、顕微鏡装置20は、例えば、微分干渉顕微鏡(Differential Interference Contrast microscope;DIC)や位相差顕微鏡、蛍光顕微鏡、共焦点顕微鏡、超解像顕微鏡、二光子励起蛍光顕微鏡、ライトシート顕微鏡、ライトフィールド顕微鏡、定量位相差顕微鏡、ホログラフィック顕微鏡等の機能を有する。
顕微鏡装置20は、電動ステージ21上に載置された培養容器を撮像する。この培養容器とは、例えば、ウェルプレートWPやスライドチャンバーなどがある。顕微鏡装置20は、ウェルプレートWPが有する多数のウェルWの中に培養された細胞に光を照射することで、細胞を透過した透過光を細胞の画像として撮像する。これによって、顕微鏡装置20は、細胞の透過DIC画像や、位相差画像、暗視野画像、明視野画像等の画像を取得することができる。
さらに、細胞に蛍光物質を励起する励起光を照射することで、顕微鏡装置20は、生体物質から発光される蛍光を細胞の画像として撮像する。
本実施形態においては、蛍光融合タンパク質を発現させるか、もしくは細胞を生きたままで化学試薬などで染色するなどし、細胞画像を取得する。更に別の本実施形態では、細胞を固定して染色し、細胞画像を取得する。固定された細胞は代謝が止まる。したがって、細胞に刺激を加えた後、細胞内の経時変化を固定細胞で観察する場合には、細胞を播種した複数の細胞培養容器を用意する必要がある。例えば、細胞に刺激を加え、第1時間後の細胞の変化と、第1時間とは異なる第2時間後の細胞の変化を観察したい場合がある。この場合には、細胞に刺激を加えて第1時間を経過した後に、細胞を固定して染色し、細胞画像を取得する。
一方、第1時間での観察に用いた細胞とは異なる細胞培養容器を用意し、細胞に刺激を加え第2時間を経過した後に、細胞を固定し、染色して、細胞画像を取得する。これにより、第1時間の細胞の変化と、第2時間での細胞の変化とを観察することで、細胞内の経時変化を推定することができる。また、第1時間と第2時間との細胞内の変化を観察することに用いる細胞の数は1つに限られない。したがって、第1時間と第2時間とで、それぞれ複数の細胞の画像を取得することになる。例えば、細胞内の変化を観察する細胞の数が、1000個だった場合には、第1時間と第2時間とで2000個の細胞を撮影することになる。したがって、刺激に対する細胞内の変化の詳細を取得しようとする場合には、刺激からの撮像するタイミング毎に、複数の細胞画像が必要となり、大量の細胞画像が取得される。
また、顕微鏡装置20は、生体物質内に取り込まれた発色物質そのものから発光或いは蛍光や、発色団を持つ物質が生体物質に結合することによって生じる発光或いは蛍光を、上述した細胞の画像として撮像してもよい。これにより、顕微鏡観察システム1は、蛍光画像、共焦点画像、超解像画像、二光子励起蛍光顕微鏡画像を取得することができる。
なお、細胞の画像を取得する方法は、光学顕微鏡に限られない。例えば、細胞の画像を取得する方法は、電子顕微鏡でも構わない。すなわち、細胞の画像の種類は適宜選択しても構わない。
本実施形態における細胞は、例えば、初代培養細胞や、株化培養細胞、組織切片の細胞等である。細胞を観察するために、観察される試料は、細胞の集合体や組織試料、臓器、個体(動物など)を用い観察し、細胞を含む画像を取得しても構わない。なお、細胞の状態は、特に制限されず、生きている状態であっても、或いは固定されている状態であってもよい。勿論、生きている状態の情報と、固定されている情報とを組み合わせても構わない。
また、細胞を、化学発光或いは蛍光タンパク質(例えば、導入された遺伝子(緑色蛍光タンパク質(GFP)など)から発現された化学発光或いは蛍光タンパク質)で処理し、観察しても構わない。あるいは、細胞を、免疫染色や化学試薬による染色を用いて観察しても構わない。それらを組み合わせて観察しても構わない。例えば、細胞内構造(例えば、ゴルジ体などのオルガネラ(細胞小器官))を判別する種類に応じて、用いる発光タンパク質を選択することも可能である。
また、これらの細胞を観察する手段、細胞を染色する方法などの解析するための前処理は、目的に応じて適宜選択しても構わない。例えば、細胞の動的挙動を得る場合に最適な手法により細胞の動的な情報を取得して、細胞内のシグナル伝達を得る場合には最適な手法により細胞内のシグナル伝達に関する情報を取得しても構わない。これら、目的に応じて選択される前処理が異なっていても構わない。
解析装置10は、細胞を解析する解析装置である。解析装置10は、例えば、刺激に対する細胞の応答を解析する。本実施形態では、解析装置10は、解析に用いられる撮像画像に撮像された視野を選択し、解析に適した視野において細胞が撮像された撮像画像に撮像された細胞を解析するコンピュータ装置である。
解析装置10は、演算部100と、記憶部200と、結果出力部300と、操作検出部400と、制御信号出力部500とを備える。
演算部100は、プロセッサが記憶部200に格納されたプログラムを実行することにより機能する。また、これらの演算部100の各機能部のうちの一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェアによって構成されていてもよい。演算部100は、細胞画像取得部101と、判定部102と、領域選択部105と、選択部103と、解析部104とをその機能部として備える。判定部102は、細胞数算出部121と、細胞分布算出部122とを備える。
細胞画像取得部101は、撮像画像を撮像する他の装置から、細胞画像を取得する。この一例では、細胞画像取得部101は、顕微鏡装置20が備える撮像部22が撮像した細胞画像を取得し、取得した細胞画像を領域選択部105と、判定部102と、解析部104とに対して供給する。以下の説明では、細胞画像取得部101が取得する細胞画像のことを、観察画像とも記載する。
ここで、細胞画像取得部101が取得する観察画像には、細胞の培養状態が時系列に撮像された複数の画像や、様々な実験条件下において細胞が培養された複数の画像が含まれる。
判定部102は、互いに異なる視野において細胞が撮像された細胞画像に撮像された細胞の数と細胞の分布とに基づいて、細胞画像を判定する。本実施形態では、判定部102は、細胞画像に撮像された細胞が有する細胞核の画像に基づいて細胞の数と、細胞の分布とを算出する。つまり、判定部102は、細胞核からの蛍光の輝度に基づいて、細胞が撮像されているか否かを判定する。また、判定部102は、解析に用いられる本撮像画像よりも解像度が低い画像であるプレ撮像画像に基づいて、細胞の数と、細胞の分布とを算出する。これにより、判定部102は、本撮像画像に基づいて細胞の数と細胞の分布とを算出するよりも、短時間で判定することができる。なお、判定部102が細胞の数と細胞の分布とを算出する画像は、本撮像画像に対して低い解像のプレ撮像画像に限られない。本撮像画像の解像とプレ撮像画像の解像とが異なっていても構わないし、同じでも構わない。また、プレ撮像画像の解像度が、本撮像画像の解像度よりも高くても構わない。なお、解像度とは、例えば、画像における画素の密度を示す値である。低い解像度の画像と高い解像度の画像とを比較した場合に、画像を表現する格子の細かさが異なり、例えば1インチを格子でいくつ分けるかを数字で表現する場合に、低い解像度の画像はその数字が少ない。
また、プレ撮像画像と本撮像画像とが異なる時間に撮像された画像には限られない。例えば、高解像画像を撮像し、その後、低解像画像を作って領域を設定し、設定された領域に該当する高解像画像で解析しても構わない。すなわち、細胞の数と細胞の分布とを算出するために用いる画像と、解析に用いる画像とが同じ画像でも構わない。したがって、プレ撮像画像はなくても構わない。もちろん、プレ撮像画像の解像度と本撮像画像の解像度とが同じでも構わない。
また、プレ撮像画像から算出される細胞の数と細胞の分布と、本撮像画像の解析から算出される細胞の数と細胞の分布とが異なっていても構わない。例えば、プレ撮像画像と本撮像画像とで解像度が異なり、例えば、プレ細胞画像から細胞の数を100個と算出し、設定する領域で解析したところ、設定した領域には細胞の数が110個と算出される場合がある。この場合には、プレ細胞画像の算出結果と、本撮像画像の算出結果が許容される程度の差であれば構わない。例えば、プレ細胞画像の算出結果と、本撮像画像の算出結果とが、10%、20%、30%、40%、50%、60%、70%、80%、90%、100%もしくはそれよりも大きく異なっていても構わない。また、プレ細胞画像の算出結果と、本撮像画像の算出結果とが大きく異なり、所望の細胞の数と細胞の割合の設定し、解析することができない場合には、プレ撮像画像の解像度を変えても構わない。
具体的には、判定部102は、細胞数算出部121によって、観察画像に撮像された細胞の数を算出する。判定部102は、細胞分布算出部122によって、観察画像に撮像された細胞の分布を算出する。判定部102は、細胞数算出部121によって算出された細胞の数と、細胞分布算出部122によって算出された細胞の分布とが、細胞の解析に用いるための所定の細胞の数と、所定の細胞の分布とを満たすかどうかを判定することができる。所定の数とは、例えば細胞が10個、20個、30個、40個よりも大きい数でも構わないし、例えば所定の数とは細胞が10〜20個の間など、一定の範囲内であれば所定とするとしても構わない。もちろん、細胞の数は、それ以外の数値や数値の範囲でも構わない。判定部102は、細胞数算出部121によって算出される細胞の数と、ユーザが予め決めた細胞の数とを比較して、判定に用いた観察画像が解析に適しているかどうかを判定する。同様に、判定部102は、細胞分布算出部122によって算出される細胞の分布と、予めユーザが決めた細胞の分布とを比較して、判定に用いた観察画像が解析に適しているかどうかを判定する。判定部102は、観察画像に対する細胞数分布算出部121の判定結果と、観察画像に対する細胞分布算出部122の判定結果とに基づいて、判定に用いた観察画像が解析に適しているかどうかを判定する。
本実施形態では、細胞数算出部121は、細胞核の数を算出することにより、プレ撮像画像に撮像された細胞の数を算出する。また、細胞分布算出部122は、細胞核の分布を算出することにより、プレ撮像画像に撮像された細胞の分布を算出する。
なお、所定の細胞の数及び所定の細胞の分布は、ウェルプレートWPに播種された細胞の種類や、解析内容に応じて異なる。以下の説明では、所定の細胞の数及び所定の細胞の分布の事を、解析画像を撮像するための撮像領域を選択するための撮像条件とも記載する。なお、撮像条件には、観察画像における細胞の数や細胞の分布のほかに、観察画像における細胞の面積が含まれても構わない。また、撮像条件には、観察画像における細胞の種類でも構わない。細胞の種類は、例えば細胞の癌化の程度でも構わなく、撮像条件には、観察画像における癌化した細胞が占める割合でも構わない。また、撮像条件は、解析画像を撮像するための撮像位置を選択するための選択条件と読み替えて構わない。この撮像条件は、撮像条件記憶部201に記憶される。ユーザは、任意の撮像条件を、撮像条件記憶部201に記憶された撮像条件から選択すればよい。また、ユーザは、操作部40を操作することにより、この撮像条件を、解析装置10に対して供給してもよい。
なお、撮像位置を選択するために、観察画像における細胞の数や細胞の分布を条件として記憶していた。例えば、細胞の数であれば、細胞の数が100個以上と数値で記憶していたが、これに限られない。例えば、目的とする細胞の数と細胞の分布の画像そのものを基準として、その画像と比較することで、解析に適した撮像位置がどうかを判定しても構わない。以下の説明では、撮像条件を示す撮像画像のことを、基準画像とも記載する。この場合には、基準画像は、基準画像記憶部202に記憶される。判定部102は、基準画像に基づいて、細胞画像取得部101が取得する細胞画像を判定する。
領域選択部105は、ウェルWにおけるXY平面でのプレ撮像に用いる領域を選択する。本実施形態においては、プレ撮像に用いられる領域をプレ撮像領域とする。プレ撮像領域は、本撮像される領域の候補である。領域選択部105は、細胞画像取得部101から解析画像倍率よりも低い倍率によって撮像された撮像画像である低倍率画像を取得する。この一例では、低倍率画像は、ウェルWの概ね全景が撮像された画像である。解析画像倍率とは、細胞の解析に用いる画像を撮像する倍率である。また、本実施形態では低倍率画像は、細胞画像取得部101からプレ撮像倍率よりも低い倍率によって撮像された画像である。プレ撮像倍率とは、プレ撮像の画像を撮像する倍率である。
領域選択部105は、細胞画像取得部101から取得した低倍率画像を用いた判定部102の判定結果に基づいて、プレ撮像領域の撮像位置を選択する。判定部102は、例えば、領域選択部105から供給される低倍率画像の一部が含まれる画像を用い、この画像に含まれる領域がプレ撮像に用いるプレ撮像領域として適しているか否かを算出する。したがって、判定部102は、細胞の数および細胞の分布を判定する。この場合に、判定部102の判定に用いる条件は、後述する解析に用いるための撮像条件と同じでも構わないし、異なっていても構わない。例えば、低倍率画像に一部細胞が撮像されていない領域がある場合には、細胞が含まれる領域の位置を判定部102が判定し、その結果を領域選択部105に供給しても構わない。すなわち、細胞の有無を、プレ撮像画像の撮像位置を選択するための条件としても構わない。判定部102は、領域選択部105から供給される低倍率画像を用いて、プレ撮像する際の撮像倍率での撮像位置をXY平面で変更した位置毎に細胞の数および細胞の分布を判定し、その結果と予めユーザが決めた細胞の数および細胞の分布とを比較し、予めユーザが決めた細胞の数および細胞の分布を満たすかどうかをその撮像位置を示す情報とともに領域選択部105に供給する。供給された情報を受け取った領域選択部105は、予めユーザが決めた細胞の数および細胞の分布を満たす撮像位置をプレ撮像するためのプレ撮像領域として選択する。
具体的には、領域選択部105は、細胞画像取得部101から取得した低倍率画像からプレ撮像に用いる倍率に相当する撮像範囲の画像を切り取り、判定部102に対して供給する。以下の説明では、この切り取られた画像のことを、切出し画像とも記載する。つまり、切出し画像は、XY平面におけるプレ撮像画像の視野と同じ範囲の視野が撮像された画像である。判定部102は、領域選択部105から切出し画像を取得する。判定部102は、領域選択部105から取得した切出し画像に基づいて、切出し画像に切り取られた範囲がプレ撮像画像を撮像する撮像範囲に適しているかどうかを判定する。言い換えると、判定部102は、領域選択部105から取得した切出し画像に基づいて、切出し画像に切り取られた位置がプレ撮像画像を撮像する撮像位置に適しているかどうかを判定する。プレ撮像画像に適している撮像位置が複数ある場合には、複数のプレ撮像画像を撮像しても構わない。もちろん、プレ撮像画像に適している複数の撮像位置から、ユーザが設定したプレ撮像するための条件に、より合致している撮像位置を選択し、選択された撮像位置でプレ撮像画像を撮像しても構わない。もちろん、プレ撮像画像に適している撮像位置が一つのみが選択されていても構わない。判定部102は、判定した結果を領域選択部105に対して供給する。領域選択部105は、判定部102から切出し画像の判定結果を取得する。なお、XY平面において、切出し画像の切りだし面積は、プレ撮像画像の撮像面積と同じでもよいし、異なっていても構わない。
領域選択部105は、判定部102から取得した判定結果が、ユーザが予め決めた条件を満たすことを示す場合には、顕微鏡装置20に対して、切出し画像が撮像された領域をプレ撮像させる信号を制御信号出力部500から出力させる。顕微鏡装置20は、制御信号出力部500から取得した制御信号に基づいて、領域選択部105が選択した切出し画像が撮像された領域を高倍率でプレ撮像する。
領域選択部105は、判定部102から取得した判定結果が、ユーザが予め決めた条件を満さないことを示す場合には、プレ撮像画像を撮像する撮像位置を変更した切出し画像を、判定部102に対して供給する。
判定部102は、画像取得部101からプレ撮像画像を取得する。選択部103は、判定部102からプレ撮像画像毎に判定結果を取得する。選択部103は、判定部102から取得したプレ撮像画像毎の判定結果に基づいて、細胞の解析に用いられる撮像画像である本撮像画像を撮像する撮像位置を選択する。本実施形態では、選択部103は、判定部102から取得した撮像条件の判定結果に基づいて、本撮像する撮像位置を選択する。また、この場合に、判定部102で判定した撮像画像の撮像領域の情報も合わせて選択部103に送付する。これにより選択部103は、本撮像する撮像領域を選択することができる。すなわち、選択部103は、解析に用いるための撮像領域を設定することができる。これにより、選択部103により設定された撮像領域での撮像画像は、解析のための撮像条件を満たした画像となる。したがって、選択部103は、ウェルの中で解析するための撮像条件を満たした撮像領域を設定することができる。また、判定部102から取得した撮像条件の判定結果から、予めユーザが設定した撮像条件を満たす撮像領域が複数ある場合には、複数の候補となる撮像領域すべてを解析のための撮像画像としても構わないし、複数の候補となる撮像領域の中からさらに解析のために用いる撮像領域を選択しても構わない。複数の候補から、撮像領域を選択する場合には、さらにその複数の候補と撮像条件とを比較して、より最適な撮像領域を選択しても構わない。例えば、撮像条件としての細胞の数が100個から500個の範囲である場合に、その撮像条件としての細胞の数として、望ましくは300個に近い値が望ましいとした場合には、複数の候補の中から細胞の数が300個に近い候補を選択するようにしても構わない。
選択部103は、顕微鏡装置20に対して、本撮像する視野として選択した視野において本撮像画像を撮像させる信号を、制御信号出力部500から出力させる。顕微鏡装置20は、制御信号出力部500から取得した制御信号に基づいて、選択部103が選択した視野を本撮像する。プレ撮像する際の撮像面積と本撮像する際の撮像面積とは同じでも、異なっていても構わない。
解析部104は、細胞画像取得部101から、本撮像画像を取得する。解析部104は、細胞画像取得部101から取得した本撮像画像に撮像された細胞を解析する。解析とは、例えば、本撮像画像に撮像された細胞の相関を解析することである。この相関は、本撮像画像に撮像された細胞の特徴量から算出する。この特徴量には、細胞画像の輝度、画像中の細胞面積、画像中の細胞画像の輝度の分散、形などが含まれる。すなわち、特徴量は、撮像される細胞画像から取得される情報から導出される特徴である。例えば、解析部104は、細胞画像取得部101から取得した本撮像画像における輝度分布を算出する。解析部104は、時系列もしくは、分化等の細胞状態の変化で異なる複数の画像を用い、算出される輝度分布の所定時間の変化、もしくは、算出される輝度分布の分化等の細胞状態変化に伴う変化から、他とは異なる輝度の変化を示す位置情報を求め、輝度の変化を特徴量としてもよい。
解析部104は、算出した特徴量を、マルチスケール解析することにより、本撮像画像に撮像された細胞を解析する。マルチスケール解析は、例えば、グラフィカルラッソ(Graphical Lasso)法などにより求められる。なお、本実施形態では、グラフィカルラッソ法とは、L1正則化付のガウシアンモデルから、精度行列を推定するための効率的なアルゴリズムである。例えば、JEROME FRIEDMANとTREVOR HASTIEとROBERT TIBSHIRANIによるBiostatistics (2008), 9, 3 432−441号の“Sparse inverse covariance estimation with the graphical lasso”に記載されている。
解析部104は、解析結果を、結果出力部300に対して供給する。
結果出力部300は、解析部104から解析結果を取得する。結果出力部300は、解析部104から取得した解析結果を、表示部30に表示させる。
[解析装置の動作の概要]
次に、図3から図9を参照して、解析装置10の具体的な演算手順について説明する。
[領域選択部の動作の概要]
上述した領域選択部105がプレ撮像画像を撮像する撮像位置を選択する具体的な演算手順について、図3を参照して説明する。
図3は、本実施形態の領域選択部105の演算手順の一例を示す流れ図である。なお、ここに示す演算手順は、一例であって、演算手順の省略や演算手順の追加が行われてもよい。
領域選択部105は、細胞画像取得部101から低倍率画像を取得する(ステップS10)。
ここで、図4を参照して、領域選択部105が選択する低倍率画像及びプレ撮像画像を撮像する撮像位置の一例について説明する。
図4は、低倍率画像及びプレ撮像画像を撮像する撮像位置の一例を示す図である。
領域選択部105は、細胞画像取得部101から低倍率画像LPを取得する。上述したように、この一例では、低倍率画像LPは、ウェルWの概ね全景が撮像された画像である。ウェルWには、細胞が播種された領域である播種領域CAがある。この播種領域CAは、様々な条件により均一に細胞を播種することができない。播種領域CAは、例えば、培養された後の細胞であるため、培養期間において細胞が培養により増える方向が一定ではなく、例えば特定の方向に培養することがあるため、細胞は一様に分布しないことがある。そのため、播種領域CAには、細胞の数が少ない領域や、細胞同士が重なり解析に適さない領域が含まれる。このため、領域選択部105は、播種領域CAのうちから、解析に適した領域をプレ撮像領域として選択する。
図3に戻り、領域選択部105は、細胞の密度を算出する(ステップS20)。具体的には、領域選択部105は、細胞画像取得部101から取得した低倍率画像LPから、切出し画像を生成する。この一例では、切出し画像は、例えば、図4に示すように、切出し画像領域CPA1や、切出し画像領域CPA2などの領域を、低倍率画像LPから切出した画像である。以下の説明では、切出し画像領域CPA1及び切出し画像領域CPA2を区別しない場合には、単に切出し画像領域CPAと記載する。この一例では、切出し画像領域CPAは、低倍率画像LPの縦横の長さをそれぞれ8等分した領域である。この8等分された領域の大きさは、上述した解析画像倍率で撮像した場合に撮像される範囲である。なお、切出し画像領域CPAは、この8等分された領域に限られない。つまり、切出し画像領域CPAは、播種領域CAのうちのどの領域に設定されてもよい。
領域選択部105は、切出し画像を、判定部102に対して供給する。判定部102は、領域選択部105から切出し画像を取得する。判定部102は、領域選択部105から取得した切出し画像に基づいて、細胞の密度を算出する。ここで、細胞の密度とは、上述した細胞の数や細胞の分布である。また、判定部102は、細胞の密度として、細胞同士の重なりの程度を算出してもよい。細胞画像に撮像された細胞同士の重なりが少ないほど、解析に適した画像である。判定部102は、算出した細胞の密度に基づいて、切出し画像に撮像された視野が、プレ撮像に適した視野であるか否かを判定する。判定部102は算出した細胞の密度に基づいて、切りだし画像に撮像された領域が、プレ撮像に適した領域であるか否かを判定する。判定部102は、判定結果を領域選択部105に対して供給する。
領域選択部105は、判定部102から判定結果を取得する。領域選択部105は、判定部102から取得した判定結果に基づいて、切出し画像に撮像された視野が、プレ撮像画像を撮像する視野として適切か否かを判定する(ステップS30)。
領域選択部105は、判定部102から取得した判定結果が、プレ撮像に適した視野が撮像されていないことを示す場合(ステップS30;NO)には、切出し画像領域CPAを変更した切出し画像を生成する(ステップS35)。具体的には、領域選択部105は、低倍率画像LPからXY平面方向に切出す領域を異ならせた切出し画像を生成する。領域選択部105は、ステップS20からステップS30の処理を繰り返す。
なお、領域選択部105は、既にプレ撮像領域を選択している場合には、選択済みのプレ撮像領域と重複しない領域が撮像された領域を、切出し画像領域CPAとして選択する。したがって、領域選択部105は、複数の領域をプレ撮像領域の候補として選択することができる。選択されるプレ撮像領域の候補領域のそれぞれは、ウェル内において異なる領域となるために撮像領域に含まれる細胞が異なる。したがって、プレ撮像領域の候補領域に含まれる細胞の数や細胞の分布などが異なるために、予め決められたプレ撮像領域に求められる細胞の数や細胞の分布などの条件と合致する画像を選択することが可能性を高くすることができる。したがって、プレ撮像領域として複数の箇所を選択することができることから、したがって、複数のプレ撮像領域に対して判定部102が撮像条件に適しているかどうかを判定することが可能となる。
領域選択部105は、判定部102から取得した判定結果が、プレ撮像に適した視野が撮像されていることを示す場合には、所定の数、プレ撮像領域を選択したか判定する(ステップS40)。この所定の数は、予め撮像条件記憶部201に記憶されていてもよく、ユーザによって指定された数であってもよい。例えば、領域選択部105は、図4に示すプレ撮像領域SA1や、プレ撮像領域SA2などの領域を選択する。
領域選択部105は、所定の数、プレ撮像領域を選択していないと判定する場合(ステップS40;NO)には、上述したステップS35の処理を実行する。
領域選択部105は、所定の数、プレ撮像領域を選択したと判定する場合(ステップS40;YES)には、顕微鏡装置20に対して、選択したプレ撮像領域を高倍率でプレ撮像させる。細胞画像取得部101は、撮像部22から高倍率画像であるプレ撮像画像を取得する(ステップS50)。
ここで、図5を参照して、領域選択部105が選択するプレ撮像領域の一例について説明する。
図5は、切出し画像の一例を示す図である。
図5(a)は、撮像条件を満たす領域であるX軸の位置POSX:x1及びY軸の位置POSY:y1が撮像された切出し画像である。図5(a)に示す切出し画像は、細胞の密度が適した領域が撮像された画像である。つまり、図5(a)に示す切出し画像は、細胞の数や細胞の分布が、撮像条件を満たす視野が撮像された画像である。位置POSX:x1及び位置POSY:y1は、プレ撮像領域として選択される。
図5(b)は、撮像条件を満たさない領域であるX軸の位置POSX:x2、及びY軸の位置POSY:y2が撮像された切出し画像である。図5(b)に示す切出し画像は、撮像された細胞の数及び細胞の分布が、撮像条件を満たさない場合の一例である。つまり、図5(b)に示す切出し画像は、細胞の数や細胞の分布が、撮像条件を満たさない視野が撮像された画像である。位置POSX:x2及び位置POSY:y2は、プレ撮像領域として選択されない。
図5(c)は、撮像条件を満たさない領域であるX軸の位置であるPOSX:x3、及びY軸の位置POSY:y3が撮像された切出し画像である。図5(c)に示す切出し画像は、撮像条件を満たさない場合の一例である。図5(c)に示す切出し画像に撮像された細胞は、細胞が凝集することで伸展が悪い。つまり、図5(c)に示す切出し画像に含まれる細胞の数は、撮像条件が示す細胞の数よりも多い。位置POSX:x3及び位置POSY:y3は、プレ撮像領域として選択されない。
[本撮像の動作の概要]
次に、上述したステップS50において、領域選択部105が選択したプレ撮像領域を本撮像するまでの具体的な演算手順について、図6を参照して説明する。
図6は、本実施形態の本撮像手順の一例を示す流れ図である。なお、ここに示す演算手順は、一例であって、演算手順の省略や演算手順の追加が行われてもよい。
制御信号出力部500は、対物レンズ23の焦点位置を設定する(ステップS510)。本実施形態では、記憶部200に複数の焦点位置が記憶される。ステップS510で設定される焦点位置は、記憶部200に予め記憶された複数の焦点位置のうちの一つである。例えば、記憶部200に記憶される焦点位置は、対物レンズ駆動部24が駆動可能なZ軸方向の範囲のうちの一部である。制御信号出力部500は、所定の焦点位置に対物レンズ23を移動させる制御信号を、対物レンズ駆動部24に供給する。対物レンズ駆動部24は、結果出力部300から取得した所定の焦点位置に、対物レンズ23を駆動させる。撮像部22は、この所定の焦点位置で、プレ撮像画像を撮像する。
細胞画像取得部101は、制御信号出力部500が設定した焦点位置において撮像された撮像画像を取得する(ステップS520)。具体的には、細胞画像取得部101は、撮像部22が所定の焦点位置で撮像したプレ撮像画像を取得する。
制御信号出力部500は、所定の焦点位置の全てを撮像したか否かを判定する(ステップS530)。
制御信号出力部500は、所定の焦点位置の全てを撮像していないと判定する場合(ステップS530;NO)には、ステップS510から処理を繰り返す。具体的には、解析装置10は、ステップS510からステップS530を繰り返すことにより、焦点位置を異ならせた複数のプレ撮像画像を取得する。
細胞画像取得部101は、撮像部22から取得した複数のプレ撮像画像と、このプレ撮像画像を撮像した焦点位置とを対応付けた状態で、判定部102に対して供給する。判定部102は、細胞画像取得部101から、複数のプレ撮像画像を取得する。細胞数算出部121は、細胞画像取得部101から取得したプレ撮像画像毎に細胞の数を判定する(ステップS540)。細胞分布算出部122は、細胞画像取得部101から取得したプレ撮像画像毎に細胞の分布を判定する(ステップS545)。
判定部102は、細胞数算出部121が算出した細胞の数及び細胞分布算出部122が算出した細胞の分布に基づいて、プレ撮像画像毎に撮像条件を満たすか否かを判定する(ステップS550)。
判定部102は、プレ撮像画像が撮像条件を満たさないと判定する場合(ステップS550;NO)には、上述したステップS40において選択された複数のプレ撮像領域のうちから、プレ撮像していないプレ撮像領域を選択する。判定部102は、選択したプレ撮像領域に変更して、ステップS510から処理を繰り返す(ステップS555)。
判定部102は、プレ撮像画像が撮像条件を満たすと判定する場合(ステップS550;YES)には、判定部102は、判定結果を、選択部103に対して供給する。選択部103は、判定部102から判定結果を取得する。選択部103は、判定部102から取得した判定結果が、撮像条件を満たすことを示す複数のプレ撮像画像に基づいて、本撮像の時に撮像する領域を選択する。選択部103は、複数のプレ撮像画像のうちから、例えば、総輝度がより大きなプレ撮像画像や、細胞の占める面積比が大きいプレ撮像画像を撮像した視野を、本撮像する視野として選択する。選択部103は、これにより、撮像条件を満たす視野のうちから、より解析に適した視野が撮像された視野を、本撮像する視野として選択することができる。選択部103は、制御信号出力部500を介して、選択した視野の位置に対物レンズ23を移動させる。
顕微鏡装置20は、選択部103によって選択された視野で本撮像画像を撮像する(ステップS560)。
細胞画像取得部101は、撮像部22から本撮像画像を取得する。細胞画像取得部101は、撮像部22から取得した本撮像画像を、解析部104に対して供給する。解析部104は、細胞画像取得部101から本撮像画像を取得する。解析部104は、細胞画像取得部101から取得した本撮像画像を解析する(ステップS570)。解析部104は、解析結果を結果出力部300に対して供給する。結果出力部300は、解析部104から供給された解析結果を、表示部30に表示させる(ステップS580)。
つまり、解析装置10は、領域選択部105が選択するXY軸平面の視野に加えて、ステップS50において、このXY軸平面におけるZ軸方向の視野も選択する。
ここで、図7を参照して、細胞の輝度の違いについて説明する。
図7は、3つの細胞の輝度の違いの一例を示す図である。
ピークPK1をもつ細胞は、細胞分裂中の細胞核の輝度である。ピークPK2及びピークPK3をもつ細胞はそれぞれ、細胞分裂していない細胞核の輝度である。細胞分裂中の細胞核からは、細胞分裂していない細胞核と比較して、強い蛍光が発せられる。細胞画像に撮像された蛍光の強さのみの情報に基づいて本撮像する視野を選択すると、細胞分裂中の細胞が多く撮像される場合がある。具体的には、細胞分裂していない細胞に焦点が合わないZ軸方向の位置Z4の面が撮像された細胞画像が撮像される場合がある。この場合には、解析の精度が低下する。
解析装置10は、細胞の数に基づいて、視野を選択することにより、例えば、Z軸方向の位置Z5のような、細胞分裂していない細胞にも焦点が合う面が撮像された視野を選択することができる。
[細胞の数及び細胞の分布の算出方法]
ここで、図8及び図9を参照して、判定部102が細胞の数及び細胞の分布を算出する手順の一例について説明する。なお、ここに示す演算手順は、一例であって、演算手順の省略や演算手順の追加が行われてもよい。
図8は、判定部102の演算手順の一例を示す流れ図である。
図9は、ラインプロファイルの一例を示す図である。
[ラインプロファイルによる細胞の数の算出]
判定部102は、プレ撮像画像PP1のうちの所定の位置に細胞が撮像されているか否かを判別することにより、細胞の数と、細胞の分布とを算出する。本実施形態では、所定の位置とは、プレ撮像画像PP1の水平方向に、所定の間隔で設定された複数の水平線と、プレ撮像画像PP1の垂直方向に、所定の間隔で設定された複数の垂直線とが、それぞれ交差する位置である。具体的には、判定部102は、ラインと交差する位置の画素の輝度に基づいて、プレ撮像画像PP1に撮像された細胞の数と細胞の分布とを算出する。以下の説明では、この判定方法を、ラインプロファイルとも記載する。
判定部102は、プレ撮像画像PP1に上述したラインを設定する(ステップS701)。ラインとは、プレ撮像画像PP1の縦方向及び横方向の1画素の線である。判定部102は、このラインを、所定の間隔を開けて、縦方向及び横方向に複数設定する。
具体的には、判定部102は、図9に示すように縦ラインVL1から縦ラインVLnまで、ラインをX軸方向に所定の間隔を開けて設定する。ここで、縦ラインVLnのnとは、1以上の整数である。以下の説明では、縦ラインVL1から縦ラインVLnまでを区別しない場合には、縦ラインVLとも記載する。
また、判定部102は、図9に示すように、横ラインSL1から横ラインSLmまで、ラインをY軸方向に所定の間隔を開けて設定する。横ラインSLmのmとは、1以上の整数である。以下の説明では、横ラインSL1から横ラインSLmまでを区別しない場合には、横ラインSLとも記載する。
本実施形態では、所定の間隔とは、プレ撮像画像PP1に撮像された細胞が有する細胞核の径の長さの約半分の長さである。所定の間隔の長さは予め記憶部200に記憶されていてもよいし、ユーザによって設定されてもよい。判定部102は、ラインプロファイルで設定する縦ラインVL及び横ラインSLの所定の間隔を、細胞核の径の半分の長さにすることにより、細胞の識別漏れを抑制することができ、また、高速に細胞を識別することができる。
判定部102は、ラインが交叉する位置の輝度を抽出する(ステップS702)。具体的には、細胞数算出部121は、縦ラインVL及び横ラインSL毎に交差する位置の画素の輝度を抽出する。グラフfigV9は、縦ラインVL9と交差する位置の画素の輝度を抽出したグラフである。グラフfigS4は、横ラインSL4と交差する位置の画素の輝度を抽出したグラフである。
判定部102は、細胞の数を算出する(ステップS703)。具体的には、細胞数算出部121は、抽出された画素の輝度のピークの数を算出する。例えば、判定部102は、ピークPK91と、ピークPK92と、ピークPK93とに基づいて、縦ラインVL9に位置する細胞の数が3つであると算出する。また、判定部102は、ピークPK41と、ピークPK42とに基づいて、横ラインSL4に位置する細胞の数が2つであると算出する。
なお、判定部102は、細胞核は、細胞質によってそれぞれ互いに離れていると仮定して判定してもよい。この場合には、ラインプロファイルのピークが近い点は、1つの細胞核とみなして判定する。
[ラインプロファイルによる細胞の分布の算出]
次に、判定部102は、プレ撮像画像に撮像された細胞の分布を算出する(ステップS704)。具体的には、細胞分布算出部122は、空間解析によって、細胞の分布を算出する。空間解析とは、空間的な範囲において、点が集中又は分散しているのかを定量的に解析する方法である。例えば、空間解析には、Repley’s K−Functionや、K−Functionを標準化したH−Functionなどが用いられる。これらの空間解析は、例えば、“Biophysical Journal Volume 97 August 2009 1095−1103”に記載されている。本実施形態では、細胞分布算出部122は、H−Functionによって、空間解析する。また、以下の説明では、H−Functionによって算出された空間解析のスコアのことを、H(r)とも記載する。rは所定位置からの半径を表しているので、
判定部102は、細胞分布算出部122が算出した空間解析の結果に基づいて、プレ撮像画像PPに撮像された細胞の分布を判定する(ステップS705)。
ここで、図10を参照して、細胞分布算出部122が算出する空間解析の結果の一例について説明する。
図10は、細胞分布算出部122が算出する空間解析の結果の一例を示す図である。
グラフfigA1からグラフfigA3までのそれぞれは、横軸にある点からの距離と、空間解析のスコアH(r)とをもつグラフである。また,rは、所定位置からの距離を表し、所定位置を中心とした距離の円を示す。
グラフfigA1は、プレ撮像画像PPA1が、細胞分布算出部122によって空間解析された結果である。プレ撮像画像PPA1では、細胞がいくつかの集中斑をつくっている場合である。細胞が集中斑を形成していると、ある点のすぐそばには他の点がある確率が高くなる、そのためH関数は0よりも大きな値を示す。ここで、判定部102は、グラフfigA1のスコアH(r)が0以下にプロットされる点が多いほど、細胞の分布が解析に適した分布であると判定する。この一例では、細胞分布算出部122は、プレ撮像画像PPA1を、解析に適した分布ではないと判定する。
グラフfigA2は、プレ撮像画像PPA2が、細胞分布算出部122によって空間解析された結果である。プレ撮像画像PPA2では、細胞がランダムに分布している場合である。判定部102は、グラフfigA2のスコアH(r)が0に近いプロットされる点が多いため、プレ撮像画像PPA2に撮像された細胞の分布は、解析に適した分布であると判定する。本実施形態では、figA2はH(r)が1よりもrを変えた場合において小さい値であるので、解析に適した分布であると判断できる。解析に適した分布であると判断するH(r)は1よりも小さい値に限られない。また、解析に適した分布であると判断する場合にH(r)が所定の範囲内に、例えば1から0の間入っていることを用いても構わない。
グラフfigA3は、プレ撮像画像PPA3が、細胞分布算出部122によって空間解析された結果である。プレ撮像画像PPA3では他の細胞に対して排除しあうように分布している。プレ撮像画像PPA3では、均一に細胞が分布している場合である。所定の細胞から半径2以内には、その他の細胞が配置されないようにして、細胞を分布させた場合である。したがって、距離rが2ぐらいまでの範囲ではH(r)の値が小さくなっている。判定部102は、グラフfigA3のスコアH(r)が0以下にプロットされる点が多いため、プレ撮像画像PPA3に撮像された細胞の分布は、解析に適した分布であると判定する。
また、figA2とfigA3とを比較した場合にスコアH(r)を比較した場合に、0以下をプロットされる点が多いほど適切な視野と判定するので、figA2とfigA3と0以下の値の少ないfigA3をより適した視野と、判定部102はH(r)に基づいて判定する。本実施形態では、判定部102はH(r)0以下をプロットされる点が多いほど適切な視野と判定するが、判定基準はこれに限られず、例えば、figA1とfigA2とでは正の値を少ないfigA2をより適した視野と、判定部102はH(r)に基づいて判定する。
判定部102は、細胞数算出部121が算出した細胞の数と、細胞分布算出部122が算出した細胞の分布とが撮像条件を満たすプレ撮像画像を、選択部103に対して供給する。
選択部103は、判定部102から、撮像条件を満たすプレ撮像画像を取得する。選択部103は、取得したプレ撮像画像毎に、総輝度値を算出する(ステップS706)。
選択部103は、算出した総輝度値に基づいて、視野を判定する(ステップS707)。具体的には、選択部103は、判定結果が撮像条件を満たすことを示す複数の画像のうちから、より撮像条件がよい視野が撮像された画像を選択する。選択部103は、選択した画像が撮像された視野を、本撮像する視野として選択する。
[まとめ]
以上説明したように、解析装置10は、判定部102を備える。判定部102は、プレ撮像画像に撮像された細胞の数と、細胞の分布を算出する。判定部102は、この細胞の数と細胞の分布との算出結果に基づいて、プレ撮像画像の視野を判定する。選択部103は、判定部102が判定した判定結果が撮像条件を満たすプレ撮像画像に基づいて、より本撮像に適した視野を選択する。これにより、解析装置10は、XY平面方向と、Z軸方向とが、本撮像に適した視野を選択することができる。また、解析装置10は、制御信号出力部500を備えることにより、選択した本撮像に適した視野の本撮像画像を、顕微鏡装置20に撮像させることができる。
また、解析装置10は、領域選択部105を備える。領域選択部105は、低倍率画像から、高倍率画像相当の視野の領域を切り出すことにより、細胞の数及び分布を判定する。これにより、解析装置10は、高速にXY平面におけるプレ撮像領域を選択することができる。
なお、上述した説明では、解析装置10は、領域選択部105を備える構成について説明したが、領域選択部105は必須では無い。解析装置10は、領域選択部105を備えることにより、低倍率画像から高倍率画像を撮像する領域を選択することができる。これにより、解析装置10は、領域選択部105を備えない構成と比較して、より少ない撮像回数で、解析に適した細胞の数及び細胞の分布の細胞画像を取得することができる。解析装置10は、より少ない撮像回数で、解析に適した細胞画像を取得することができるため、解析に用いる細胞画像を短時間で取得することができる。
また、解析装置10は、視野の選択に要するプレ撮像画像を撮像する回数を減らす事ができるため、蛍光染色された細胞の蛍光の輝度を維持することができる。顕微鏡装置20は、細胞画像を撮像する場合に、蛍光染色された細胞に対して励起光を照射し、この励起光によって励起された蛍光を撮像する。顕微鏡装置20が細胞を複数回撮像することにより、励起光が照射された細胞から生じる蛍光の輝度は低下する。蛍光の輝度が低下すると、細胞の解析の精度が落ちる場合がある。つまり、解析装置10は、領域選択部105を備えることにより、精度よく細胞を解析することができる。
また、上述した説明では、領域選択部105は、対物レンズ23の光軸と直交する面であるXY面の領域を選択する場合について説明したが、これに限られない。領域選択部105は、対物レンズ23の光軸と平行な方向であるZ軸方向の領域を選択してもよい。
なお、上述した説明では、細胞画像取得部101は、顕微鏡装置20から撮像画像を取得する構成について説明したが、これに限られない。細胞画像取得部101は、予め撮像された撮像画像と、この撮像画像が撮像された視野とが対応付けられた状態で記憶されるパーソナルコンピュータや、記憶装置などから、撮像画像を取得してもよい。また、顕微鏡装置20が、解析装置10を備える構成であってもよい。
なお、上述した説明では、判定部102は、ラインプロファイルによって細胞の数と細胞の分布とを算出する構成について説明したが、これに限られない。例えば、判定部102は、プレ撮像画像PP1の縦ラインVL及び横ラインSLに限られず、予め定められた位置の画素の輝度に基づいて、細胞の数と細胞の分布とを判定してもよい。
なお、上述した説明では、判定部102は、プレ撮像画像のうちの所定の位置の輝度値によって細胞の数と、細胞の分布とを判定する構成について説明したが、これに限られない。判定部102は、基準画像記憶部202に記憶される基準画像に基づいて、細胞の数と細胞の分布とを判定してもよい。この場合には、判定部102は、基準画像とプレ撮像画像PPとを画像処理することにより、撮像条件を満たすか否かを判定する。
なお、上述した説明では、判定部102は、細胞核に基づいて細胞CLを識別する構成について説明したが、これに限られない。例えば、判定部102は、図11に示すように、細胞核CP1以外の細胞の構成要素CP2や、細胞の構成要素CP3などに基づいて、細胞CLを識別してもよい。ここで、細胞の構成要素には、細胞核、リソソーム、ゴルジ体、ミトコンドリアなどの細胞小器官(オルガネラ)や、オルガネラを構成するタンパク質、タンパク質の凝集体などが含まれる。
図11は、細胞CLの構成要素の一例を示す図である。
また、上述した説明では、判定部102は、細胞核の輝度に基づいて細胞を識別する構成について説明したが、これに限られない。判定部102は、プレ撮像画像に撮像された細胞の構成要素の形状に基づいて、細胞の数と、細胞の分布とを算出することにより、撮像画像を判定してもよい。具体的には、判定部102は、細胞質、凝集体などを検出することが可能である。例えば、隣接する細胞の核間距離が短いための差細胞の核を誤認識する場合がある。その場合に判定部102が細胞の凝集体に応じて細胞を判断する場合には、解析装置10は、より精度よく細胞の数及び細胞の分布を判定することができる。また、判定部102は凝集体を検出することが可能であるので、複数ある細胞のうち、凝集体を含む細胞を抽出することができる。すなわち、撮像された細胞のうち、例えば凝集体を含む細胞を特定して、細胞を選定することが可能となり、解析装置10は選定された細胞の数および細胞の分布を判定することができる。
なお、上述した説明では、本撮像する視野を選択部103が選択する場合について説明したが、これに限られない。本撮像する視野は、ユーザによって選択されてもよい。この場合には、判定部102は、撮像条件を満たすプレ撮像画像を表示部30に表示させる。ユーザは、操作部40を操作することにより、表示部30に表示されたプレ撮像画像のうちから、所望する視野が撮像された画像を選択する。選択部103は、このユーザの所望する視野が撮像された画像を選択する操作を、操作検出部400から取得して、ユーザによって選択されたプレ撮像画像に撮像された視野を、本撮像する視野として選択すればよい。
なお、上述の実施形態では、撮像された細胞画像での細胞の数を算出していたが、細胞の数に代えて、撮像された細胞画像に占める細胞領域の割合でも構わない。細胞領域の割合とは、例えば、細胞画像中の細胞が撮像された面積と、細胞が撮像されていない面積との割合である。判定部102は、例えば、細胞が占める面積の割合が小さい細胞画像よりも、細胞が占める面積の割合が大きい細胞画像を、細胞の数が多いと判定する。
なお、上述の実施形態では、解析に用いられる画像が撮像される領域を選択する場合には、第1の撮像条件で撮像された画像から、解析の適否を検討し、視野を選択したうえで第2の撮像条件で撮像された画像を用い、解析していた。第1の撮像条件と第2の撮像条件としては、撮像する倍率があり、第1の撮像倍率が、第2の撮像倍率よりも低い。勿論、第1の撮像条件と第2の撮像条件とは同じでも構わない。この場合に限られず、第1の撮像条件で撮像された画像が解析に適当が画像である場合には、その画像を用い解析しても構わない。すなわち、解析に適した視野を選択する画像と、解析のための画像とは同じでも、異なっていても構わない。
なお、本発明の実施形態における解析装置10の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上述した種々の処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。
1…顕微鏡観察システム、10…解析装置、20…顕微鏡装置、30…表示部、101…細胞画像取得部、102…判定部、103…選択部、104…解析部、105…領域選択部、200…記憶部、300…結果出力部、400…操作検出部

Claims (17)

  1. 細胞を含む試料を撮像した撮像画像での、細胞の割合と細胞の分布とに基づいて、前記撮像画像を判定する判定部と、
    前記判定部の判定結果に基づいて、前記試料での細胞の解析に用いる領域を設定する領域設定部と
    を備える、画像処理装置。
  2. 前記判定部は、前記撮像画像に撮像された細胞が有する細胞核の画像に基づいて前記細胞の割合と、前記細胞の分布とを算出することにより、前記撮像画像を判定する
    請求項1に記載の画像処理装置。
  3. 前記判定部は、前記解析に用いられる画像よりも解像度が低い画像に基づいて、前記細胞の割合と、前記細胞の分布とを算出することにより、前記撮像画像を判定する
    請求項1又は2に記載の画像処理装置。
  4. 前記判定部は、前記撮像画像のうちの所定の位置に細胞が撮像されているか否かを判別することにより、前記細胞の割合と、前記細胞の分布とを算出することにより、前記撮像画像を判定する
    請求項1から請求項3のいずれか一項に記載の画像処理装置。
  5. 前記所定の位置とは、
    前記撮像画像の水平方向に、所定の間隔で設定された複数の水平線と、前記撮像画像の垂直方向に、前記所定の間隔で設定された複数の垂直線とが、それぞれ交差する位置である
    請求項4に記載の画像処理装置。
  6. 前記所定の間隔は、前記撮像画像に撮像された細胞が有する細胞核の径の長さの約半分の長さである
    請求項5に記載の画像処理装置。
  7. 前記判定部は、前記撮像画像に撮像された細胞の構成要素の形状に基づいて、前記細胞の割合と、前記細胞の分布とを算出することにより、前記撮像画像を判定する
    請求項1から請求項3のいずれか一項に記載の画像処理装置。
  8. 前記解析に用いる画像を撮像する倍率である解析画像倍率よりも低い倍率によって撮像された撮像画像である低倍率画像を、前記解析画像倍率による撮像範囲毎に前記細胞の割合と前記細胞の分布とを算出することにより、前記解析に用いられる画像が撮像される領域の候補を選択する被撮像領域選択部
    を更に備える請求項1から請求項7のいずれか一項に記載の画像処理装置。
  9. 前記細胞の割合は、前記細胞の数である、
    請求項1から請求項8のいずれか一項に記載の画像処理装置。
  10. 互いに異なる視野において細胞が撮像された撮像画像を複数取得する画像取得部
    を更に備える請求項1から請求項9のいずれか一項に記載の画像処理装置。
  11. 前記画像取得部は、前記撮像画像を撮像する他の装置から、前記撮像画像を取得する
    請求項10に記載の画像処理装置。
  12. 前記撮像画像は、対物レンズを介して撮像され、
    前記互いに異なる視野は、前記対物レンズの光軸に沿って異なる、
    請求項10または請求項11に記載の画像処理装置。
  13. 前記互いに異なる視野は、前記対物レンズの光軸と直交する平面に沿って異なる、
    請求項12に記載の画像処理装置。
  14. 前記撮像画像は、対物レンズを介して撮像され、
    前記互いに異なる視野は、前記対物レンズの光軸と直交する平面に沿って異なる、
    請求項10または請求項11に記載の画像処理装置。
  15. 前記判定部は、前記画像取得部が取得する前記撮像画像に撮像された細胞の数と、細胞の分布とに基づいて、前記試料の解析を行うために適しているか否かを判定する、
    請求項10から請求項14のいずれか一項に記載の画像処理装置。
  16. 細胞を含む試料を撮像した撮像画像での、細胞の割合と細胞の分布とに基づいて、前記撮像画像を判定することと、
    前記判定することの判定結果に基づいて、前記試料での細胞の解析に用いる領域を設定する領域設定することと
    を有する、画像処理方法。
  17. コンピュータに、
    細胞を含む試料を撮像した撮像画像での、細胞の割合と細胞の分布とに基づいて、前記撮像画像を判定する判定ステップと、
    前記判定ステップの判定結果に基づいて、前記試料での細胞の解析に用いる領域を設定する領域設定ステップ
    を実行させるための、画像処理プログラム。
JP2019546499A 2017-10-06 2017-10-06 画像処理装置、画像処理方法及び画像処理プログラム Active JP6967232B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/036442 WO2019069446A1 (ja) 2017-10-06 2017-10-06 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2019069446A1 JPWO2019069446A1 (ja) 2020-11-05
JP6967232B2 true JP6967232B2 (ja) 2021-11-17

Family

ID=65994447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019546499A Active JP6967232B2 (ja) 2017-10-06 2017-10-06 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (3)

Country Link
US (1) US11321836B2 (ja)
JP (1) JP6967232B2 (ja)
WO (1) WO2019069446A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11867691B2 (en) * 2017-02-03 2024-01-09 Nikon Corporation Image processing device, analysis device, image processing method, image processing program, and display device
JP7166456B2 (ja) * 2018-08-01 2022-11-07 シーディーエックス・メディカル・アイピー・インコーポレイテッド 生体試料への拡張強化された合焦深度
WO2020218393A1 (ja) * 2019-04-26 2020-10-29 株式会社ニコン 細胞トラッキング方法、画像処理装置、及びプログラム
US20210371804A1 (en) * 2020-06-01 2021-12-02 Institut De Cardiologie De Montréal Videomicroscopy of contractile cell cultures and cell culture methods using same.
FR3114650A1 (fr) * 2020-09-25 2022-04-01 Biomerieux Procédé d'analyse d'un échantillon biologique avec analyse de conformité initiale
JP7639891B2 (ja) * 2021-03-25 2025-03-05 日本電気株式会社 検査支援装置、検査支援方法、およびプログラム
US12288325B2 (en) * 2021-04-05 2025-04-29 Nec Corporation Tumor cell isolines
US20250252761A1 (en) * 2022-04-04 2025-08-07 Kyocera Communication Systems Co., Ltd. Cell detection device, cell diagnosis support device, cell detection method, and cell detection program
WO2024014489A1 (ja) * 2022-07-12 2024-01-18 国立大学法人東京工業大学 解析システム、解析装置、解析プログラム、及び解析方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999004244A1 (en) * 1997-07-17 1999-01-28 Accumed International, Inc. Inspection system with specimen preprocessing
WO2012176785A1 (ja) * 2011-06-20 2012-12-27 株式会社ニコン 画像処理装置および方法、並びにプログラム
JP6066492B2 (ja) * 2013-08-22 2017-01-25 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
JP2017164068A (ja) * 2016-03-14 2017-09-21 富士通株式会社 判定装置、分析装置、算出装置、判定方法、分析方法、算出方法、判定プログラム、分析プログラムおよび算出プログラム

Also Published As

Publication number Publication date
US20210073979A1 (en) 2021-03-11
US11321836B2 (en) 2022-05-03
JPWO2019069446A1 (ja) 2020-11-05
WO2019069446A1 (ja) 2019-04-11

Similar Documents

Publication Publication Date Title
JP6967232B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Zhao et al. Nanoscale imaging of clinical specimens using pathology-optimized expansion microscopy
JP7176697B2 (ja) 細胞評価システム及び方法、細胞評価プログラム
US7608840B2 (en) System and method employing photokinetic techniques in cell biology imaging applications
JP2019530847A5 (ja)
JP6756339B2 (ja) 画像処理装置、及び画像処理方法
JP7711596B2 (ja) 情報処理装置及び情報処理システム
JP2022105045A (ja) 解析装置
US10990798B2 (en) Analysis device, analysis method, and program
JP2013109119A (ja) 顕微鏡制御装置およびプログラム
US20200372652A1 (en) Calculation device, calculation program, and calculation method
US20200043159A1 (en) Analysis device, analysis method, and program
JP6897665B2 (ja) 画像処理装置、観察装置、及びプログラム
Matula et al. Acquiarium: free software for the acquisition and analysis of 3D images of cells in fluorescence microscopy
WO2018193612A1 (ja) 相関算出装置、相関算出方法及び相関算出プログラム
JP2006275771A (ja) 細胞画像解析装置
JP6999118B2 (ja) 画像処理装置
Hardo et al. Quantitative Microbiology with Microscopy: Effects of Projection and Diffraction
WO2018109826A1 (ja) 解析装置、解析プログラム及び解析方法
Schaber Influence of spatial resolution and single cell identification on bacteria cell cycle observations
JP2026501287A (ja) 生存細胞内ハイスループット単一分子追跡用のシステム及び方法
WO2024209965A1 (ja) 陽性判定方法、画像解析システムおよび情報処理装置
WO2018122908A1 (ja) 解析装置、解析プログラム及び解析方法
US20190073516A1 (en) Image processing device, observation device, and program
WO2020070885A1 (ja) 判定装置、判定プログラム及び判定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210625

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211013

R150 Certificate of patent or registration of utility model

Ref document number: 6967232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250