JP7707664B2 - 細胞画像解析方法 - Google Patents

Description

この発明は、細胞画像解析方法に関する。

従来、細胞画像解析方法が知られている（たとえば、特許文献１参照）。

上記特許文献１には、撮像装置によって撮像された細胞の画像を解析する細胞画像解析方法が開示されている。具体的には、上記特許文献１には、第１細胞画像と第２細胞画像とを取得し、第１細胞画像と第２細胞画像とにおける細胞の特徴量の相関値または差分を取得する。上記特許文献１に開示されている構成は、第１細胞画像と第２細胞画像とにおける細胞の特徴量の相関値または差分の時系列変化に基づいて、細胞画像を解析している。

特開２０１０－２２３１８号公報

ここで、上記特許文献１には開示されていないが、細胞画像を撮影する際の撮影条件などによっては、たとえば、細胞がボケた状態で写るなど、解析に適さない細胞画像が取得される場合がある。また、細胞画像を解析する際には、細胞を培養する容器内の複数個所を撮影するなど、複数の細胞画像を取得し、取得した複数の細胞画像をバッチ処理によりまとめて解析する場合がある。このように、複数の細胞画像を取得する場合、解析に適さない画像が含まれても、ユーザが気づきにくいという不都合がある。この場合、解析に適さない細胞画像が含まれた状態で細胞画像の解析が行われるため、解析結果の精度が低下するという問題点がある。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、解析に適さない細胞画像が含まれた状態で細胞画像の解析が行われることを抑制することにより、細胞画像の解析精度が低下することを抑制することが可能な細胞画像解析方法を提供することである。

上記目的を達成するために、この発明の一の局面による細胞画像解析方法は、細胞画像を取得するステップと、細胞画像が、細胞画像に写る細胞のボケ、細胞画像における異物の映り込み、細胞画像における迷光の映り込み、細胞を培養する際の培地に起因する細胞画像の画質の低下、細胞画像における画素値が飽和した領域、および、細胞の領域と細胞以外の領域との境界が明確でない細胞のうちの少なくとも１つを含むか否かを判定するステップと、細胞画像が、細胞のボケと、異物の映り込みと、迷光の映り込みと、培地に起因する細胞画像の画質の低下と、画素値が飽和した領域と、境界が明確でない細胞とを含まない場合に、細胞画像を適切細胞画像に分類し、細胞のボケ、異物の映り込み、迷光の映り込み、培地に起因する細胞画像の画質の低下、画素値が飽和した領域、および、境界が明確でない細胞のうちの少なくとも１つを含む場合には、細胞画像を不適切細胞画像に分類するステップと、適切細胞画像の画質を劣化させる画像処理を行うことにより、不適切細胞画像を生成するステップと、適切細胞画像と、適切細胞画像から生成された不適切細胞画像とを学習させることにより細胞画像が適切細胞画像であるか不適切細胞画像であるかを判定することを学習させた第１学習済みモデルを作成するステップと、を備え、判定するステップにおいて、第１学習済みモデルを用いて、細胞画像が適切細胞画像であるか不適切細胞画像であるかの判定を行う。

上記一の局面における細胞画像解析方法では、上記のように、細胞画像が、細胞画像に写る細胞のボケ、細胞画像における異物の映り込み、細胞画像における迷光の映り込み、細胞を培養する際の培地に起因する細胞画像の画質の低下、細胞画像における画素値が飽和した領域、および、細胞の領域と細胞以外の領域との境界が明確でない細胞のうちの少なくとも１つを含むか否かを判定するステップと、細胞画像が細胞のボケと、異物の映り込みと、迷光の映り込みと、培地に起因する細胞画像の画質の低下と、画素値が飽和した領域と、境界が明確でない細胞とを含まない場合に、細胞画像を適切細胞画像に分類し、細胞のボケ、異物の映り込み、迷光の映り込み、培地に起因する細胞画像の画質の低下、画素値が飽和した領域、および、境界が明確でない細胞のうちの少なくとも１つを含む場合には、細胞画像を不適切細胞画像に分類するステップと、適切細胞画像の画質を劣化させる画像処理を行うことにより、不適切細胞画像を生成するステップと、適切細胞画像と、適切細胞画像から生成された不適切細胞画像とを学習させることにより細胞画像が適切細胞画像であるか不適切細胞画像であるかを判定することを学習させた第１学習済みモデルを作成するステップと、を備え、判定するステップにおいて、第１学習済みモデルを用いて、細胞画像が適切細胞画像であるか不適切細胞画像であるかの判定を行う。これにより、細胞のボケ、異物の映り込み、迷光の映り込み、培地に起因する細胞画像の画質の低下、画素値が飽和した領域、および、境界が明確でない細胞を含まない適切細胞画像のみを解析に用いることができる。その結果、不適切細胞画像が含まれた細胞画像を用いて解析が行われることを抑制することが可能となるので、細胞画像の解析の精度が低下することを抑制することができる。

一実施形態による細胞画像解析装置の全体構成を示した模式図である。 適切細胞画像および不適切細胞画像を説明するための模式図（Ａ）～模式図（Ｇ）である。 一実施形態による第１学習モデルの学習方法と、第１学習済み学習モデルを用いて細胞画像を分類する方法とを説明するための模式図である。 一実施形態による第１学習済みモデルを作成する処理を説明するためのフローチャートである。 一実施形態による画像解析部が、細胞画像を解析する処理を説明するためのフローチャートである。 一実施形態による細胞画像解析装置が、細胞画像を撮影する際において細胞画像を解析する構成を説明するための模式図である。 一実施形態による細胞画像解析装置が、不適切細胞画像が撮影されたことを報知する構成を説明するための模式図である。 一実施形態における細胞画像解析装置が、細胞画像の撮影時における解析処理を説明するためのフローチャートである。 一実施形態による細胞画像解析装置が、第２学習済みモデルを生成する構成を説明するための模式図である。 一実施形態による細胞画像解析装置が、第２学習済みモデルの生成が完了したことを報知する構成を説明するための模式である。 一実施形態による細胞画像解析装置が、第２学習済みモデルを生成する処理を説明するためのフローチャートである。 一実施形態による細胞画像解析装置が、細胞画像を解析する構成を説明するための模式図である。 一実施形態による細胞画像解析装置が、細胞画像の解析が完了したことを報知する構成を説明するための模式である。 一実施形態による細胞画像解析装置が、細胞画像を解析する処理を説明するためのフローチャートである。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

図１を参照して、一実施形態による細胞画像解析装置１００の構成について説明する。

（細胞画像解析装置の構成）
細胞画像解析装置１００は、図１に示すように、画像取得部１と、プロセッサ２と、記憶部３と、表示部４と、入力受付部５と、を備える。

画像取得部１は、細胞画像１０を取得するように構成されている。細胞画像１０は、容器によって培養される培養細胞９０（図２（Ａ）参照）を撮影した画像である。本実施形態では、画像取得部１は、たとえば、撮像装置が取り付けられた顕微鏡２０などの細胞画像１０を撮影する装置から細胞画像１０を取得するように構成されている。画像取得部１は、たとえば、入出力インターフェースを含む。

プロセッサ２は、取得した細胞画像１０を解析するように構成されている。プロセッサ２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、または、画像処理用に構成されたＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを含んでいる。また、ハードウェアとしてのＣＰＵなどからなるプロセッサ２は、ソフトウェア（プログラム）の機能ブロックとして、制御部２ａと、画像判定部２ｂと、画像解析部２ｃと、学習済みモデル生成部２ｄと、不適切細胞画像生成部２ｅと、を含む。プロセッサ２は、記憶部３に記憶されたプログラムを実行することにより、制御部２ａ、画像判定部２ｂ、画像解析部２ｃ、学習済みモデル生成部２ｄ、および、不適切細胞画像生成部２ｅとして機能する。制御部２ａ、画像判定部２ｂ、画像解析部２ｃ、学習済みモデル生成部２ｄ、および、不適切細胞画像生成部２ｅは、専用のプロセッサ（処理回路）を設けてハードウェアにより個別に構成されていてもよい。

制御部２ａは、細胞画像解析装置１００の制御を行うように構成されている。また、制御部２ａは、解析結果５０を表示部４に表示させる制御を行うように構成されている。

画像判定部２ｂは、細胞画像１０の画質が、判定基準を満たしているか否かを判定するように構成されている。本実施形態では、画像判定部２ｂは、第１学習済みモデル６による判定、および、画像処理（ルールベース処理）による判定を併用することにより、細胞画像１０の画質が、判定基準を満たしているか否かを判定するように構成されている。判定基準は、細胞画像１０の解析を行うために細胞画像１０を分類する際に、細胞画像１０の画質が細胞画像１０の解析に適しているか否かの判定、および、細胞画像１０を解析するための第２学習モデル７ａ（図９参照）の学習に用いる細胞画像１０を分類する際に、細胞画像１０の画質が第２学習モデル７ａに対する解析の学習に適しているか否かの判定の少なくともいずれかのための基準である。具体的には、判定基準は、細胞９０（図２（Ａ）参照）のボケの有無、異物８０（図２（Ｃ）参照）の映り込みの有無、迷光の映り込みの有無、培地に起因する細胞画像１０の画質の低下の有無、細胞画像１０における画素値が飽和した領域８３（図２（Ｆ）参照）の有無、および、細胞９０の領域と細胞９０以外の領域９１（図２（Ｇ）参照）との境界８４が明確でない細胞９０ａ（図２（Ｇ）参照）の有無を含む。本実施形態では、画像判定部２ｂは、細胞画像１０が、細胞画像１０に写る細胞９０のボケ、細胞画像１０における異物８０の映り込み、細胞画像１０における迷光の映り込み、細胞９０を培養する際の培地に起因する細胞画像１０の画質の低下、細胞画像１０における画素値が飽和した領域８３、および、細胞９０の領域と細胞９０以外の領域９１との境界８４が明確でない細胞９０ａのうちの少なくとも１つを含むか否かを判定する。なお、本実施形態では、細胞画像１０は、分化能を有する細胞９０を撮影した画像である。たとえば、細胞９０は、ｉＰＳ細胞（ｉｎｄｕｃｅｄ Ｐｌｕｒｉｐｏｔｅｎｔ Ｓｔｅｍ Ｃｅｌｌ）、ＥＳ細胞（Ｅｍｂｒｙｏｎｉｃ Ｓｔｅｍ Ｃｅｌｌ）などを含む。

画像解析部２ｃは、細胞画像１０を解析するように構成されている。本実施形態では、画像解析部２ｃは、たとえば、細胞画像１０に写る細胞９０（図２参照）が、未分化細胞であるか、未分化逸脱細胞であるかを解析するように構成されている。なお、未分化細胞とは、分化能を有している細胞である。また、未分化逸脱細胞とは、分化能を有していない細胞である。

学習済みモデル生成部２ｄは、第１学習モデル６ａ（図５参照）を学習させることにより、第１学習済みモデル６を生成するように構成されている。また、学習済みモデル生成部２ｄは、第２学習モデル７ａ（図９参照）を学習させることにより、第２学習済みモデル７を生成するように構成されている。学習済みモデル生成部２ｄが第１学習済みモデル６および第２学習済みモデル７を生成する構成の詳細については、後述する。

不適切細胞画像生成部２ｅは、適切細胞画像１１から不適切細胞画像１２を生成するように構成されている。不適切細胞画像生成部２ｅが不適切細胞画像１２を生成する構成の詳細については、後述する。

記憶部３は、細胞画像１０、第１学習済みモデル６、および、第２学習済みモデル７を記憶するように構成されている。また、記憶部３は、プロセッサ２が実行する各種プログラムを記憶するように構成されている。記憶部３は、たとえば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、または、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置を含む。

表示部４は、画像解析部２ｃによって解析された解析結果５０などを表示するように構成されている。表示部４は、たとえば、液晶モニタなどの表示装置を含む。

入力受付部５は、操作者による操作入力を受け付け可能に構成されている。入力受付部５は、たとえば、マウス、キーボードなどの、入力デバイスを含む。

（適切細胞画像および不適切細胞画像）
図２（Ａ）～図２（Ｇ）を参照して、適切細胞画像１１および不適切細胞画像１２について説明する。

図２（Ａ）は、適切細胞画像１１の模式図である。適切細胞画像１１は、判定基準を満たしている画像である。具体的には、適切細胞画像１１は、細胞９０のボケがなく、異物８０（図２（Ｃ）参照）の映り込みがなく、迷光の映り込みがなく、培地に起因する画質の低下が生じておらず、画素値が飽和した領域８３（図２（Ｆ）参照）がなく、細胞９０の領域と細胞９０以外の領域９１（図２（Ｇ）参照）の境界８４（図２（Ｇ）参照）が鮮明でない細胞９０ａが含まれない画像である。

図２（Ｂ）は、不適切細胞画像１２ａの模式図である。図２（Ｂ）に示す不適切細胞画像１２ａは、細胞９０がボケた状態で写っている。言い換えると、不適切細胞画像１２ａは、細胞画像１０を撮影する際のピントが合っておらず、細胞９０の内部が不鮮明な画像である。すなわち、図２（Ｂ）に示す不適切細胞画像１２ａは、細胞画像１０に写る細胞９０のボケの有無の判定基準を満たしていない画像である。なお、図２（Ｂ）に示す例では、便宜上、細胞９０と背景との境界線を破線で図示することにより、細胞９０がボケた状態を表している。また、図２（Ｂ）に示す例では、便宜上、細胞９０に対して、図２（Ａ）に示す細胞９０と異なるハッチングを付すことにより、細胞９０の内部が不鮮明であることを表している。

図２（Ｃ）は、不適切細胞画像１２ｂの模式図である。図２（Ｃ）に示す不適切細胞画像１２ｂは、異物８０が映り込んだ画像である。すなわち、図２（Ｃ）に示す不適切細胞画像１２は、細胞画像１０における異物８０の映り込みの有無の判定基準を満たしていない画像である。なお、異物８０とは、細胞９０以外のものであり、外部から混入した物体、および、培地に含まれる不溶性の物質などを含む。

図２（Ｄ）は、不適切細胞画像１２ｃの模式図である。図２（Ｄ）に示す不適切細胞画像１２ｃは、迷光が映り込んだ画像である。すなわち、図２（Ｄ）に示す不適切細胞画像１２ｃは、細胞画像１０における迷光の映り込みの有無の判定基準を満たしていない画像である。なお、図２（Ｄ）に示す不適切細胞画像１２ｃは、容器などによって反射した迷光が輝線８１として映り込んだ画像である。

図２（Ｅ）は、不適切細胞画像１２ｄの模式図である。図２（Ｅ）に示す不適切細胞画像１２ｄは、細胞９０を培養する際の培地に起因して、細胞画像１０の画質が低下した画像である。すなわち、図２（Ｅ）に示す不適切細胞画像１２ｄは、培地に起因する細胞画像１０の画質の低下の有無の判定基準を満たしていない画像である。ここで、細胞９０を培養する容器の内周面と培地とが接触する位置では、表面張力により、培地の液面が屈曲する。これをメニスカスという。メニスカスが生じている部分と、メニスカスが生じていない部分とでは、顕微鏡２０の光学部材の光軸方向における培地の厚みが異なる。培地の液面が凹型となる場合のメニスカスでは、メニスカスの部分の培地の厚みが大きくなる。そのため、凹型のメニスカスが生じた場合、メニスカスの部分が暗くなる。また、培地の液面が凸型となる場合のメニスカスでは、メニスカスの部分の培地の厚みが小さくなる。そのため、凸型のメニスカスが生じた場合、メニスカスの部分が明るくなる。図２（Ｅ）に示す例は、凹型のメニスカスが生じた場合の模式図である。すなわち、細胞９０を培養する際の培地に起因する画質の低下とは、メニスカスによって細胞画像１０中において輝度値が低い領域、または、輝度値が高い領域が生じていることを意味する。

図２（Ｆ）は、不適切細胞画像１２ｅの模式図である。図２（Ｆ）に示す不適切細胞画像１２ｅは、細胞画像１０における画素値が飽和した領域８３を含む画像である。すなわち、図２（Ｆ）に示す不適切細胞画像１２ｅは、細胞画像１０における画素値が飽和した領域８３の有無の判定基準を満たしていない画像である。なお、図２（Ｆ）に示す不適切細胞画像１２ｅは、迷光などによって、細胞画像１０に画素値が飽和した領域８３が生じた画像である。

図２（Ｇ）は、不適切細胞画像１２ｆの模式図である。図２（Ｇ）に示す不適切細胞画像１２ｆは、細胞９０の領域と細胞９０以外の領域９１との境界８４が明確でない細胞９０ａを含む画像である。言い換えると、不適切細胞画像１２ｆは、細胞画像１０を撮影する際のピントはあっており、細胞９０ａの内部が鮮明に写っているが、迷光などに起因して、境界８４が不明確となった画像である。なお、細胞９０以外の領域９１は、たとえば、細胞画像１０の背景部分を含む。また、図２（Ｇ）に示す例では、便宜上、境界８４が明確でないことを、境界８４を破線で図示することにより表している。また、図２（Ｇ）に示す例では、便宜上、細胞９０ａの内部が鮮明に写っていることを、細胞９０ａに対して図２（Ａ）に示す細胞９０と同様のハッチングを付すことにより表している。

（画像解析方法）
次に、図３を参照して、本実施形態による細胞画像解析方法によって、細胞画像１０を解析する方法について説明する。なお、本実施形態では、細胞画像解析装置１００が、細胞画像１０を解析することにより、細胞画像１０を適切細胞画像１１と不適切細胞画像１２とに分類する構成について説明する。本実施形態では、細胞画像解析装置１００は、第１学習済みモデル６を用いて細胞画像１０を解析することにより、細胞画像１０が適切細胞画像１１であるか不適切細胞画像１２であるかを判定する。第１学習済みモデル６は、細胞画像１０が入力されることにより、細胞画像分類ラベル１３を出力する。細胞画像分類ラベル１３は、０と１とを含む。細胞画像分類ラベル１３が１の場合、細胞画像１０が適切細胞画像１１に分類されたことを意味する。また、細胞画像分類ラベル１３が０の場合、細胞画像１０が不適切細胞画像１２に分類されたことを意味する。

また、細胞画像解析装置１００は、第２学習済みモデル７を用いて適切細胞画像１１を解析することにより、適切細胞画像１１に写る細胞９０が未分化細胞であるか未分化逸脱細胞であるかを判定する。

図３は、本実施形態による画像処理の流れを示したブロック図である。図３に示すように、本実施形態では、細胞画像解析方法は、大きく分けて、画像解析方法１０１と、第１学習済みモデル６の生成方法１０２と、を含む。

（第１学習モデル生成）
本実施形態による第１学習済みモデル６の生成方法１０２は、教師用細胞画像３０と、教師用細胞画像分類ラベル３１と、を用いて、細胞画像１０を適切細胞画像１１と不適切細胞画像１２とに分類することを第１学習モデル６ａに学習させることにより、第１学習済みモデル６を生成する。すなわち、教師用細胞画像３０としての適切細胞画像１１を入力データとし、教師用細胞画像分類ラベル３１としての１を出力データとすることにより、入力された画像が適切細胞画像１１であることを学習させる。また、教師用細胞画像３０としての不適切細胞画像１２を入力データとし、教師用細胞画像分類ラベル３１としての０を出力データとすることにより、入力された画像が不適切細胞画像１２であることを学習させる。第１学習済みモデル６は、たとえば、図３に示す畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＣＮＮ）であるか、畳み込みニューラルネットワークを一部に含む。第１学習モデル６ａを学習させることにより生成された第１学習済みモデル６は、細胞画像解析装置１００の記憶部３（図１）に記憶される。

（画像解析方法）
本実施形態による画像解析方法１０１は、画像取得部１が顕微鏡２０などから取得した細胞画像１０を、適切細胞画像１１と不適切細胞画像１２とに分類する画像解析方法である。本実施形態による画像解析方法１０１は、細胞画像１０を取得するステップと、細胞画像１０の画質が判定基準を満たしているか否かを判定するステップと、細胞画像１０を適切細胞画像１１と不適切細胞画像１２とに分類するステップと、を含む。画像解析方法１０１の各ステップの詳細な処理については、後述する。

本実施形態では、図３に示すように、細胞画像１０を取得するステップは、画像取得部１によって行われる。画像取得部１は、顕微鏡２０などの画像撮影装置から細胞画像１０を取得する。また、画像取得部１は、画像判定部２ｂに対して取得した細胞画像１０を出力する。

また、本実施形態では、図３に示すように、細胞画像１０を分類するステップは、画像判定部２ｂによって行われる。画像判定部２ｂは、第１学習済みモデル６に細胞画像１０を入力することにより、入力された細胞画像１０に対する細胞画像分類ラベル１３を出力する。すなわち、画像判定部２ｂは、細胞画像１０を適切細胞画像１１と不適切細胞画像１２とに分類する。

（第１学習済みモデル生成処理）
次に、図４を参照して、学習済みモデル生成部２ｄが、第１学習済みモデル６を生成する処理について説明する。

ステップ２００において、画像取得部１は、細胞画像１０を取得する。

ステップ２０１において、不適切細胞画像生成部２ｅは、細胞画像１０に基づいて、不適切細胞画像１２を生成する。具体的には、不適切細胞画像生成部２ｅは、適切細胞画像１１の画質を劣化させる画像処理を行うことにより、不適切細胞画像１２を生成する。ステップ２０１において用いられる適切細胞画像１１は、操作者によって予め適切細胞画像１１であると分類された細胞画像１０である。

不適切細胞画像生成部２ｅは、適切細胞画像１１の画質を劣化させる画像処理のパラメータを変更し、適切細胞画像１１としての許容範囲に入る画像と、許容範囲に入らない画像とを作成する。本実施形態では、ステップ２０１の処理において、不適切細胞画像生成部２ｅは、適切細胞画像１１に対してフィルタ処理（たとえば、ガウシアンフィルタなどによる処理）を行うことにより、適切細胞画像１１のコントラストを低下させ、細胞９０がボケた状態で写る不適切細胞画像１２ａ（図２（Ｂ）参照）、または、細胞９０の領域と細胞９０以外の領域９１との境界８４が明確でない細胞９０ａを含む不適切細胞画像１２ｆ（図２（Ｇ）参照）を生成する。また、不適切細胞画像生成部２ｅは、適切細胞画像１１の一部の画素の画素値を閾値以下にすることにより、異物８０が映り込んだ不適切細胞画像１２ｂ（図２（Ｃ）参照）、または、培地に起因する画質の低下が生じた不適切細胞画像１２ｄ（図２（Ｅ）参照）を生成する。また、不適切細胞画像生成部２ｅは、適切細胞画像１１の一部の画素（数画素～数十画素）の画素値を閾値以上にすることにより、迷光が映り込んだ不適切細胞画像１２ｃ（図２（Ｄ）参照）、または、培地に起因する画質の低下が生じた不適切細胞画像１２を生成する。また、不適切細胞画像生成部２ｅは、適切細胞画像１１の一部の画素（数画素～数十画素）の画素値を飽和させることにより、画素値が飽和した領域８３を含む不適切細胞画像１２ｅ（図２（Ｆ）参照）を生成する。なお、許容範囲とは、操作者によって設定された画質の範囲である。

ステップ２０２において、学習済みモデル生成部２ｄは、適切細胞画像１１と不適切細胞画像１２とを学習させることにより、細胞画像１０が判定基準を満たしているか否かを判定することを学習させた第１学習済みモデル６を作成する。具体的には、学習済みモデル生成部２ｄは、第１学習済みモデル６を作成するステップにおいて、適切細胞画像１１と、適切細胞画像１１から生成された不適切細胞画像１２とに基づいて、第１学習済みモデル６を作成する。

（画像解析処理）
次に、図５を参照して、プロセッサ２が、細胞画像１０を解析する処理について説明する。本実施形態による細胞画像解析方法は、細胞画像１０を取得するステップ３００と、細胞画像１０の画質が判定基準を満たしているか否かを判定するステップ３０１と、細胞画像１０の画質が判定基準を満たしている場合に、細胞画像１０を適切細胞画像１１に分類するステップ３０２と、判定基準を満たしていない場合に、細胞画像１０を不適切細胞画像１２に分類するステップ３０３と、を備える。

ステップ３００において、画像取得部１は、細胞画像１０を取得する。

ステップ３０１において、画像判定部２ｂは、細胞画像１０が、異物８０の映り込み、迷光の映り込み、培地に起因する細胞画像１０の画質の低下、画素値が飽和した領域８３、および、境界８４が明確でない細胞９０ａのうちの少なくとも１つを含むか否かを判定する。言い換えると、画像判定部２ｂは、ステップ３０１において、細胞画像１０の解析を行うために細胞画像１０を分類する際に、細胞画像１０の画質が細胞画像１０の解析に適しているか否かの判定、および、細胞画像１０を解析するための第２学習モデル７ａの学習に用いる細胞画像１０を分類する際に、細胞画像１０の画質が第２学習モデル７ａに対する解析の学習に適しているか否かの判定の少なくともいずれかのための判定基準を満たすか否かを判定する。細胞画像１０が、異物８０の映り込み、迷光の映り込み、培地に起因する細胞画像１０の画質、画素値が飽和した領域８３、および、境界８４が明確でない細胞９０ａを含まない場合、処理は、ステップ３０２へ進む。細胞画像１０が、異物８０の映り込み、迷光の映り込み、培地に起因する細胞画像１０の画質の低下、画素値が飽和した領域８３、および、境界８４が明確でない細胞９０ａのうちの少なくとも１つを含む場合、処理は、ステップ３０３へ進む。

ステップ３０２において、画像判定部２ｂは、細胞画像１０を適切細胞画像１１に分類する。具体的には、画像判定部２ｂは、細胞画像１０が、異物８０の映り込み、迷光の映り込み、培地に起因する細胞画像１０の画質の低下、画素値が飽和した領域８３、および、境界８４が明確でない細胞９０ａを含まない場合に、細胞画像１０を適切細胞画像１１に分類する。また、画像判定部２ｂは、適切細胞画像１１を記憶部３に記憶する。その後、処理は、終了する。

また、ステップ３０１からステップ３０３へ処理が進んだ場合、ステップ３０３において、画像判定部２ｂは、細胞画像１０を不適切細胞画像１２に分類する。具体的には、画像判定部２ｂは、異物８０の映り込み、迷光の映り込み、培地に起因する細胞画像１０の画質の低下、画素値が飽和した領域８３、および、境界８４が明確でない細胞９０ａのうちの少なくとも１つを含む場合に、細胞画像１０を不適切細胞画像１２に分類する。その後、処理は、終了する。

本実施形態では、画像判定部２ｂは、ステップ３０１の処理として、細胞画像１０が、細胞画像１０に写る細胞９０のボケ、細胞画像１０における異物８０の映り込み、細胞画像１０における迷光の映り込み、細胞９０を培養する際の培地に起因する細胞画像１０の画質の低下、細胞画像１０における画素値が飽和した領域８３、および、細胞９０の領域と細胞９０以外の領域９１との境界８４が明確でない細胞９０ａのうちの少なくとも１つを含むかを判定する。具体的には、画像判定部２ｂは、ステップ３０１の処理において、第１学習済みモデル６（図１参照）を用いて、細胞画像１０が適切細胞画像１１であるか不適切細胞画像１２であるかの判定を行う。また、画像判定部２ｂは、ステップ３０１の処理において、細胞画像１０に対して画像処理を行うことにより、細胞画像１０が、異物８０の映り込み、迷光の映り込み、培地に起因する細胞画像１０の画質の低下、画素値が飽和した領域８３、および、境界８４が明確でない細胞９０ａのうちの少なくとも１つを含むか否かを判定する。すなわち、画像判定部２ｂは、学習済みモデル６による判定と、画像処理による判定とを併用する。なお、画像判定部２ｂは、ステップ３０１の処理において、画像処理によって細胞画像１０を判定する場合には、細胞画像１０のコントラストに基づいて細胞９０のボケの有無、および、境界８４が明確でない細胞９０ａの有無を判定するとともに、細胞画像１０の輝度値の分布に基づいて、異物８０の映り込みの有無、迷光の映り込みの有無、培地に起因する細胞画像１０の画質の低下の有無、および、画素値が飽和した領域８３の有無を判定する。

細胞画像１０のコントラストに基づいて判定する場合、画像判定部２ｂは、細胞画像１０における所定の画素の画素値と、所定の画素と隣接する画素の画素値との差分を求める。また、画像判定部２ｂは、細胞画像１０の横方向において各画素の画素値と隣接する画素の画素値との差分を求め、細胞画像１０の横方向において、求めた差分を積算する。また、画像判定部２ｂは、積算された横方向の画素値の差分を縦方向に積算することにより、細胞画像１０全体のコントラストを数値化する。そして、画像判定部２ｂは、数値化したコントラストが閾値以上であるか否かにより、細胞画像１０の細胞９０のボケの有無を判定する。すなわち、画像判定部２ｂは、数値化したコントラストが閾値以上の場合、細胞画像１０に写る細胞９０にボケはないとし、細胞画像１０が判定基準を満たしていると判定する。また、画像判定部２ｂは、数値化したコントラストが閾値よりも小さい場合、細胞画像１０に写る細胞９０がボケている、または、境界８４が明確でない細胞９０ａを含むとし、細胞画像１０が判定基準を満たしていないと判定する。

また、細胞画像１０の輝度値の分布に基づいて判定する場合、画像判定部２ｂは、細胞画像１０のうち、一定以下の輝度値を持つ画素が、全体に占める割合を数値化し、数値化した割合が閾値以上であるか否かにより、異物８０の映り込み、または、培地に起因する細胞画像１０の画質の低下の有無を判定する。すなわち、画像判定部２ｂは、輝度値が最小値となる画素の割合が閾値以上の場合、異物８０の映り込みがあるとし、細胞画像１０が判定基準を満たしていないと判定する。また、画像判定部２ｂは、一定以下の輝度値であり、かつ、最小値でない輝度値を持つ画素の割合が、閾値以上の場合、培地に起因する細胞画像１０の画質の低下があるとし、細胞画像１０が判定基準を満たしていないと判定する。また、画像判定部２ｂは、一定以下の輝度値を持つ画素の割合が、閾値よりも小さい場合、異物８０の映り込み、または、培地に起因する細胞画像１０の画質の低下がないとし、細胞画像１０が判定基準を満たしていると判定する。

また、画像判定部２ｂは、細胞画像１０のうち、一定以上の輝度値を持つ画素が、全体に占める割合を数値化し、数値化した割合が閾値以上であるか否かにより、迷光の映り込みの有無、培地に起因する細胞画像１０の画質の低下の有無、または、画素値が飽和した領域８３の有無を判定する。すなわち、画像判定部２ｂは、輝度値が最大値となる（輝度値が飽和する）画素の割合が、閾値以上の場合、迷光の映り込み、または、画素値が飽和した領域８３があるとし、細胞画像１０が判定基準を満たしていないと判定する。また、画像判定部２ｂは、一定以上の輝度値であり、かつ、輝度値が飽和していない画素の割合が閾値以上の場合に、培地に起因する細胞画像１０の画質の低下があるとし、細胞画像１０が判定基準を満たしていないと判定する。また、画像判定部２ｂは、一定以上の輝度値を持つ画素の割合が、閾値よりも小さい場合、迷光の映り込み、培地に起因する細胞画像１０の画質の低下、または、画素値が飽和した領域８３がないとし、細胞画像１０が判定基準を満たしていると判定する。

本実施形態では、画像判定部２ｂは、第１学習済みモデル６による解析結果５０と、画像処理による解析結果５０が異なる場合には、後述する確認ダイアログ４４（図７参照）を表示部４に表示させるか、または、不適切細胞画像１２に分類する。

なお、第１学習済みモデル６を用いた細胞画像１０の解析は、主に、細胞画像１０の撮影時、第２学習済みモデル７の生成時、および、第２学習済みモデル７を用いた細胞画像１０の解析時に行われる。

（細胞画像撮影時における解析処理）
次に、図６および図７を参照して、細胞画像解析装置１００が、細胞画像１０を撮影する際における細胞画像１０の解析を行う構成について説明する。

図６は、細胞画像１０を撮影する際における表示部４に表示される画面を示している。図６に示すように、細胞画像１０を撮影する際における表示部４に表示される画面には、第１表示領域４０において、顕微鏡２０（図１参照）で観察している細胞９０の画像が表示される。この状態において、操作者が、撮影ボタン４１を押下した場合、細胞画像１０の撮影が開始される。すなわち、撮影ボタン４１が押下された場合、予め設定された撮影位置において、複数の細胞画像１０が撮影される。なお、図６に示すように、画像品質の自動チェック欄４２にチェックが入っている場合に、画像判定部２ｂは、細胞画像１０の解析を行う。画像品質の自動チェック欄４２にチェックが入っていない場合、画像判定部２ｂによる細胞画像１０の解析は行われない。なお、図６に示すように、表示部４には、第２表示領域４３において、撮影された細胞画像１０のイメージが表示される。

撮影された細胞画像１０に、判定基準を満たしていない画像が含まれる場合、図７に示すように、判定基準を満たしていない画像とともに、細胞画像１０を登録するか否かの確認ダイアログ４４が表示部４に表示される。確認ダイアログ４４には、破棄ボタン４５と、登録ボタン４６とが表示されている。破棄ボタン４５が押下された場合、制御部２ａは、表示された細胞画像１０を破棄する。登録ボタン４６が押下された場合、制御部２ａは、細胞画像１０を登録する。すなわち、細胞画像１０が不適切細胞画像１２と判定された場合でも、操作者が登録ボタン４６を押下した場合には、不適切細胞画像１２と判定された細胞画像１０を適切細胞画像１１として記憶部３に記憶する。

次に、図８を参照して、細胞画像１０の撮影時における画像解析処理について説明する。

ステップ４００において、画像取得部１は、細胞画像１０を取得する。

ステップ４０１において、画像判定部２ｂは、細胞画像１０の画質が判定基準を満たしているか否かを判定する。細胞画像１０の画質が判定基準を満たしている場合、処理は、ステップ４０２へ進む。細胞画像１０の画質が判定基準を満たしていない場合、処理は、ステップ４０４へ進む。なお、ステップ４０１の処理は、ステップ３０１の処理と同様の処理であるため、詳細な説明は省略する。

ステップ４０２において、画像判定部２ｂは、細胞画像１０を適切細胞画像１１に分類する。

ステップ４０３において、画像判定部２ｂは、適切細胞画像１１を記憶部３に記憶する。その後、処理は、終了する。

ステップ４０１からステップ４０４へ処理が進んだ場合、ステップ４０４において、制御部２ａは、細胞画像１０が判定基準を満たしていない旨を報知する。具体的には、細胞画像１０が不適切細胞画像１２に分類された場合に、制御部２ａは、図７に示すように、確認ダイアログ４４を表示部４に表示することにより、細胞画像１０の解析を行う際に、細胞画像１０が解析に適していない旨、または、細胞画像１０を解析するための第２学習モデル７ａを学習させる際に、第２学習モデル７ａに対する解析の学習に適していない旨を報知する。

ステップ４０５において、画像判定部２ｂは、不適切細胞画像１２に分類された細胞画像１０を記憶する操作入力を受け付けたか否かを判定する。不適切細胞画像１２に分類された細胞画像１０を記憶する操作入力を受け付けた場合、処理は、ステップ４０２へ進む。不適切細胞画像１２に分類された細胞画像１０を記憶する操作入力を受け付けていない場合、処理は、ステップ４０６へ進む。

ステップ４０６において、画像判定部２ｂは、細胞画像１０を破棄する操作入力があったか否かを判定する。細胞画像１０を破棄する操作入力があった場合、処理は、ステップ４０７へ進む。細胞画像１０を破棄する操作入力がない場合、処理は、ステップ４０５へ戻る。

ステップ４０７において、画像判定部２ｂは、細胞画像１０を不適切細胞画像１２に分類する。その後、処理は、終了する。

（第２学習済みモデル生成時における解析処理）
次に、図９および図１０を参照して、細胞画像解析装置１００が、第２学習モデル７ａを学習させることにより、第２学習済みモデル７を生成する際における、細胞画像１０の解析を行う構成について説明する。なお、第２学習モデル７ａは、たとえば、畳み込みニューラルネットワークであるか、畳み込みニューラルネットワークを一部に含む。

図９に示すように、本実施形態による学習済みモデル生成部２ｄは、第２学習モデル７ａに対して、細胞画像１０を解析させ、解析結果５０を出力することを学習させることにより、第２学習済みモデル７を生成するように構成されている。具体的には、画像取得部１は、細胞画像１０を取得し、取得した細胞画像１０を画像判定部２ｂへ出力する。解析結果５０は、細胞画像１０に写る細胞９０がどのような細胞であるかのラベルを含む。すなわち、第２学習済みモデル７は、細胞画像１０を入力データとし、入力された細胞画像１０に写る細胞９０が未分化細胞であるか未分化逸脱細胞であるかのラベルを出力データとして学習される。

細胞画像１０が入力された画像判定部２ｂは、細胞画像１０が適切細胞画像１１であるか、不適切細胞画像１２であるかの判定を行う。本実施形態では、画像判定部２ｂは、第１学習済みモデル６、または、画像処理により、細胞画像１０の分類を行う。

学習済みモデル生成部２ｄは、画像判定部２ｂによって分類された適切細胞画像１１を用いて、第２学習モデル７ａに対して解析結果５０を出力させることを学習させる。本実施形態では、学習済みモデル生成部２ｄは、適切細胞画像１１に写る細胞９０が、未分化細胞であるか未分化逸脱細胞であるかを、解析結果５０として出力させることを第２学習モデル７ａに学習させる。また、生成された第２学習済みモデル７は、記憶部３に記憶される。

図１０は、第２学習モデル７ａの学習が完了し、第２学習済みモデル７の生成が完了した際に表示部４に表示される画面の模式図である。

制御部２ａは、第２学習済みモデル７の生成が完了した旨のメッセージ５１を、表示部４に表示させる。また、制御部２ａは、学習結果一覧５２を表示部４に表示させる。

本実施形態では、制御部２ａは、学習結果一覧５２として、学習結果の性能５２ａ、学習対象画像の一覧５２ｂ、および、学習から除外した画像の一覧５２ｃを表示部４に表示させる。なお、図１０に示す例では、制御部２ａは、Ａｃｃｕｒａｃｙ（正確さ）、Ｐｒｅｃｉｓｉｏｎ（精度）、Ｒｅｃａｌｌ（再現率）、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を学習結果の性能５２ａとして表示させている。

次に、図１１を参照して、第２学習済みモデル７の生成処理について説明する。

ステップ５００において、画像判定部２ｂは、学習対象の候補となる細胞画像１０を取得する。

ステップ５０１において、画像判定部２ｂは、細胞画像１０の画質が判定基準を満たしているか否かを判定する。細胞画像１０の画質が判定基準を満たしている場合、処理は、ステップ５０２へ進む。細胞画像１０の画質が判定基準を満たしていない場合、処理は、ステップ５０３へ進む。なお、ステップ５０１の処理を行う際に、細胞画像１０に対して細胞画像分類ラベル１３が付されている場合には、細胞画像分類ラベル１３を優先して細胞画像１０の判定を行う。すなわち、予め細胞画像分類ラベル１３の０が付されている場合には、判定基準を満たしていないとしても、適切細胞画像１１に分類する。

ステップ５０２において、画像判定部２ｂは、細胞画像１０を適切細胞画像１１に分類する。

ステップ５０１からステップ５０３へ処理が進んだ場合、ステップ５０３において、画像判定部２ｂは、細胞画像１０を不適切細胞画像１２に分類する。

ステップ５０４において、画像判定部２ｂは、不適切細胞画像１２を学習から除外する。すなわち、画像判定部２ｂは、細胞画像１０が不適切細胞画像１２に分類された場合に、細胞画像１０を、第２学習モデル７ａに対する細胞画像１０の解析の学習から除外する。

ステップ５０５において、画像判定部２ｂは、学習対象の候補となる全ての画像が判定基準を満たしているか否かを確認したかを判定する。画像判定部２ｂが学習対象の候補となる全ての画像が判定基準を満たしているか否かを確認した場合、処理は、ステップ５０６へ進む。画像判定部２ｂが学習対象の候補となる全ての画像が判定基準を満たしているか否かを確認していない場合、処理は、ステップ５００へ進む。

ステップ５０６において、学習済みモデル生成部２ｄは。第２学習モデル７ａを学習させる。本実施形態では、学習済みモデル生成部２ｄは、適切細胞画像１１に分類された細胞画像１０を用いて、第２学習モデル７ａに解析を学習させることにより、第２学習済みモデル７を生成する。

ステップ５０７において、制御部２ａは、学習対象画像の一覧５２ｂおよび学習から除外した画像の一覧５２ｃを表示部４に表示させる。なお、本実施形態では、制御部２ａは、第２学習済みモデル７の生成が完了した旨のメッセージ５１、および、学習結果の性能５２ａも、表示部４に表示させる。その後、処理は、終了する。

（細胞画像の解析処理）
次に、図１２および図１３を参照して、画像解析部２ｃが、細胞画像１０を解析する構成について説明する。

図１２に示すように、本実施形態による画像解析部２ｃは、細胞画像１０を解析することにより、解析結果５０を出力するように構成されている。具体的には、画像取得部１は、細胞画像１０を取得し、取得した細胞画像１０を画像判定部２ｂへ出力する。

画像判定部２ｂは、細胞画像１０が適切細胞画像１１であるか不適切細胞画像１２であるかの判定を行う。本実施形態では、画像判定部２ｂは、第１学習済みモデル６、および、画像処理により、細胞画像１０の分類を行う。

画像解析部２ｃは、適切細胞画像１１を用いて、画像の解析を行う。画像解析部２ｃは、適切細胞画像１１を解析した解析結果５０を出力する。本実施形態では、制御部２ａは、解析結果５０を表示部４に表示させる。

図１３は、細胞画像１０の解析が完了し、解析結果５０を表示部４に表示させた際の模式図である。

制御部２ａは、細胞画像１０の解析が完了した旨のメッセージ６０を、表示部４に表示させる。また、制御部２ａは、解析結果５０の一覧を表示部４に表示させる。

本実施形態では、制御部２ａは、解析結果５０の一覧として、解析項目５０ａ、解析対象画像の一覧５０ｂ、および、解析から除外した画像の一覧５０ｃを表示部４に表示させる。なお、図１３に示す例では、制御部２ａは、細胞画像１０に写る細胞がどのような細胞であるかのラベルを解析項目５０ａとして表示させている。すなわち、制御部２ａは、解析項目５０ａとして、細胞画像１０に写る細胞９０が、Ａである確率と、Ｂである確率と、Ｃである確率とを表示させる。

次に、図１４を参照して、細胞画像１０の解析処理について説明する。

ステップ６００において、画像判定部２ｂは、解析対象の候補となる細胞画像１０を取得する。

ステップ６０１において、画像判定部２ｂは、細胞画像１０の画質が判定基準を満たしているか否かを判定する。細胞画像１０の画質が判定基準を満たしている場合、処理は、ステップ６０２へ進む。細胞画像１０の画質が判定基準を満たしていない場合、処理は、ステップ６０３へ進む。なお、ステップ６０１の処理を行う際に、細胞画像１０に対して細胞画像分類ラベル１３が付されている場合には、細胞画像分類ラベル１３を優先して細胞画像１０の判定を行う。すなわち、予め細胞画像分類ラベル１３の０が付されている場合には、判定基準を満たしていないとしても、適切細胞画像１１に分類する。

ステップ６０２において、画像判定部２ｂは、細胞画像１０を適切細胞画像１１に分類する。

ステップ６０１からステップ６０３へ処理が進んだ場合、ステップ６０３において、画像判定部２ｂは、細胞画像１０を不適切細胞画像１２に分類する。

ステップ６０４において、画像判定部２ｂは、不適切細胞画像１２を解析から除外する。すなわち、画像判定部２ｂは、細胞画像１０が不適切細胞画像１２であると分類された場合に、細胞画像１０を解析から除外する。

ステップ６０５において、画像判定部２ｂは、解析対象の候補となる全ての画像が判定基準を満たしているか否かを確認したかを判定する。画像判定部２ｂが解析対象の候補となる全ての細胞画像１０が判定基準を満たしているか否かを確認した場合、処理は、ステップ６０６へ進む。画像判定部２ｂが解析対象の候補となる全ての細胞画像１０が判定基準を満たしているか否かを確認していない場合、処理は、ステップ６００へ進む。

ステップ６０６において、画像解析部２ｃは、細胞画像１０の解析を行う。本実施形態では、画像解析部２ｃは、適切細胞画像１１に分類された細胞画像１０を用いて解析を行う。

ステップ６０７において、制御部２ａは、解析対処画像の一覧６１ｂおよび解析から除外した画像の一覧５０ｃを表示部４に表示させる。なお、本実施形態では、制御部２ａは、細胞画像１０の解析が完了した旨のメッセージ６０、および、解析項目５０ａも、表示部４に表示させる。その後、処理は、終了する。

（本実施形態の効果）
本実施形態では、以下のような効果を得ることができる。

本実施形態では、上記のように、細胞画像解析方法は、細胞画像１０を取得するステップと、細胞画像１０が、細胞画像１０に写る細胞９０のボケ、細胞画像１０における異物８０の映り込み、細胞画像１０における迷光の映り込み、細胞９０を培養する際の培地に起因する細胞画像１０の画質の低下、細胞画像１０における画素値が飽和した領域８３、および、細胞９０の領域と細胞９０以外の領域９１との境界８４が明確でない細胞９０ａのうちの少なくとも１つを含むかを判定するステップと、細胞画像１０が、細胞９０のボケ、異物８０の映り込み、迷光の映り込み、培地に起因する細胞画像１０の画質の低下、画素値が飽和した領域８３、および、境界８４が明確でない細胞９０ａを含まない場合に、細胞画像１０を適切細胞画像１１に分類し、細胞９０のボケ、異物８０の映り込み、迷光の映り込み、培地に起因する細胞画像１０の画質の低下、画素値が飽和した領域８３、および、境界８４が明確でない細胞９０ａのうちの少なくとも１つを含む場合には、細胞画像１０を不適切細胞画像１２に分類するステップと、を備える。これにより、細胞９０のボケ、異物８０の映り込み、迷光の映り込み、培地に起因する細胞画像１０の画質の低下、画素値が飽和した領域８３、および、境界８４が明確でない細胞９０ａを含まない適切細胞画像１１のみを解析に用いることができる。その結果、不適切細胞画像１２が含まれた細胞画像１０を用いて解析が行われることを抑制することが可能となるので、細胞画像１０の解析の精度が低下することを抑制することができる。

また、上記実施形態では、以下のように構成したことによって、下記のような更なる効果が得られる。

すなわち、本実施形態では、上記のように、細胞画像１０は、容器によって培養される培養細胞９０を撮影した画像であり、判定するステップは、細胞画像１０の解析を行うために細胞画像１０を分類する際に、細胞画像１０の画質が細胞画像１０の解析に適しているか否かの判定、および、細胞画像１０を解析するための第２学習モデル７ａの学習に用いる細胞画像１０を分類する際に、細胞画像１０の画質が第２学習モデル７ａに対する解析の学習に適しているか否かの判定の少なくともいずれかのための判定基準を満たしているか否かを判定する。これにより、上記判定基準によって細胞画像１０を判定することにより、細胞画像１０の解析に適する画像であるか否か、および、第２学習モデル７ａに対する解析の学習に適しているか否かを容易に判定することができる。

また、本実施形態では、上記のように、判定基準は、細胞９０のボケの有無、異物８０の映り込みの有無、迷光の映り込みの有無、培地に起因する細胞画像１０の画質の低下の有無、画素値が飽和した領域８３の有無、および、境界８４が明確でない細胞９０ａの有無を含む。これにより、細胞９０がボケた状態で写る細胞画像１０、異物８０が映り込む細胞画像１０、迷光が映り込む細胞画像１０、培地に起因して画質が低下した細胞画像１０、画素値が飽和した領域８３を含む細胞画像１０、および、境界８４が明確でない細胞９０ａを含む細胞画像１０を不適切細胞画像１２に分類することができる。その結果、細胞９０がボケた状態で写る細胞画像１０、異物８０が映り込む細胞画像１０、迷光が映り込む細胞画像１０、培地に起因して画質が低下した細胞画像１０、画素値が飽和した領域８３を含む細胞画像１０、および、境界８４が明確でない細胞９０ａを含む細胞画像１０に起因して、細胞画像１０の解析、または、第２学習モデル７ａの学習の精度が低下することを抑制することができる。

また、本実施形態では、上記のように、適切細胞画像１１と不適切細胞画像１２とを学習させることにより、細胞画像１０が判定基準を満たしているか否かを判定することを学習させた第１学習済みモデル６を作成するステップをさらに備え、判定するステップにおいて、第１学習済みモデル６を用いて、細胞画像１０が適切細胞画像１１であるか不適切細胞画像１２であるかの判定を行う。これにより、画像処理によって判定することが困難な場合でも、細胞画像１０が適切細胞画像１１であるか不適切細胞画像１２であるかを判定することができる。

また、本実施形態では、上記のように、適切細胞画像１１の画質を劣化させる画像処理を行うことにより、不適切細胞画像１２を生成するステップをさらに備え、第１学習済みモデル６を作成するステップにおいて、適切細胞画像１１と、適切細胞画像１１から生成された不適切細胞画像１２とに基づいて、第１学習済みモデル６を作成する。これにより、第１学習済みモデル６を作成する際に、充分な数の不適切細胞画像１２を撮影などにより取得することで困難な場合でも、適切細胞画像１１から不適切細胞画像１２を生成することにより、充分な数の不適切細胞画像１２を取得することができる。その結果、第１学習済みモデル６を生成する際に充分な数の適切細胞画像１１および不適切細胞画像１２を用いることが可能となるので、第１学習済みモデル６の学習精度を向上させることができる。

また、本実施形態では、上記のように、不適切細胞画像１２を生成するステップにおいて、適切細胞画像１１の画質を劣化させる画像処理のパラメータを変更し、適切細胞画像１１としての許容範囲に入る画像と、許容範囲に入らない画像とを作成する。これにより、適切細胞画像１１から不適切細胞画像１２を生成する際に、適切細胞画像１１の許容範囲に入る画像を生成することにより、不適切細胞画像１２のみならず、適切細胞画像１１の数を増加させることができる。その結果、第１学習済みモデル６の生成に用いる画像の数をさらに増加させることが可能となるので、第１学習済みモデル６の学習精度をさらに向上させることができる。

また、本実施形態では、上記のように、判定するステップにおいて、細胞画像１０に対して画像処理を行うことにより、細胞画像１０が、細胞９０のボケ、異物８０の映り込み、迷光の映り込み、培地に起因する細胞画像１０の画質の低下、画素値が飽和した領域８３、および、境界８４が明確でない細胞９０ａのうちの少なくとも１つを含むか否かを判定する。これにより、異物８０の映り込みなど、画像処理によって容易に判定することが可能な場合に、学習済みモデルを用いることなく、細胞画像１０が適切細胞画像１１であるか不適切細胞画像１２であるかを判定することができる。

また、本実施形態では、上記のように、判定するステップにおいて、細胞画像１０のコントラストに基づいて細胞９０のボケの有無を判定するとともに、細胞画像１０の輝度値の分布に基づいて、異物８０の映り込みの有無、迷光の映り込みの有無、培地に起因する細胞画像１０の画質の低下の有無、画素値が飽和した領域８３の有無、および、境界８４が明確でない細胞９０ａの有無を判定する。これにより、細胞画像１０のコントラスト、および、輝度値の分布を取得することにより、細胞画像１０が適切細胞画像１１であるか不適切細胞画像１２であるかを容易に判定することができる。

また、本実施形態では、上記のように、細胞画像１０が不適切細胞画像１２であると分類された場合に、細胞画像１０を解析から除外するステップと、適切細胞画像１１に分類された細胞画像１０を用いて解析を行うステップと、をさらに備える。これにより、細胞画像１０の解析に不適切細胞画像１２が含まれることを抑制することができる。その結果、細胞画像１０の解析の精度を向上させることができる。

また、本実施形態では、上記のように、細胞画像１０が不適切細胞画像１２に分類された場合に、細胞画像１０の解析を行う際に細胞画像１０が解析に適していない旨、または、細胞画像１０を解析するための第２学習モデル７ａを学習させる際に、第２学習モデル７ａに対する解析の学習に適していない旨を報知するステップ、をさらに備える。これにより、たとえば、細胞画像１０を撮影する際に、撮影した画像が適切細胞画像１１であるか不適切細胞画像１２であるかをユーザに把握させることができる。その結果、ユーザの利便性を向上させることができる。また、不適切細胞画像１２が含まれていることを、細胞画像１０の撮影時にユーザに把握させることが可能となるので、細胞画像１０を再撮影することを抑制することができる。その結果、再撮影を行うことによる操作者の負担を軽減することができる。

また、本実施形態では、上記のように、細胞画像１０が不適切細胞画像１２に分類された場合に、細胞画像１０を、第２学習モデル７ａに対する細胞画像１０の解析の学習から除外するステップと、適切細胞画像１１に分類された細胞画像１０を用いて、第２学習モデル７ａに解析を学習させるステップ、をさらに備える。これにより、第２学習モデル７ａに対して細胞画像１０を解析させることを学習させる際に、不適切細胞画像１２を用いて学習させることを抑制することができる。その結果、第２学習モデル７ａの学習精度を向上させることが可能となるので、第２学習済みモデル７の解析制度を向上させることができる。

［変形例］
今回開示された実施形態は、全ての点で例示であり制限的なものではないと考えられるべきである。本発明の範囲は上記実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内での全ての変更（変形例）が含まれる。

たとえば、上記実施形態では、画像判定部２ｂが、第１学習済みモデル６、および、画像処理を併用することにより、細胞画像１０が適切細胞画像１１であるか不適切細胞画像１２であるかを判定する構成の例を示したが、本発明がこれに限られない。たとえば、画像判定部２ｂは、第１学習済みモデル６、または、画像処理のいずれかにより、細胞画像１０を分類するように構成されていてもよい。

また、上記実施形態では、画像判定部２ｂが、操作者の操作入力に基づいて、不適切細胞画像１２を適切細胞画像１１に分類する構成の例を示したが、本発明はこれに限られない。たとえば、画像判定部２ｂが不適切細胞画像１２に分類した場合には、操作者の操作入力によらず、適切細胞画像１１に分類しないように構成されていてもよい。すなわち、画像判定部２ｂが一旦不適切細胞画像１２に分類した場合、その後に適切細胞画像１１に分類しないように構成されていてもよい。

また、上記実施形態では、学習済みモデル生成部２ｄが、第１学習済みモデル６、および、第２学習済みモデル７を生成する構成の例を示したが、本発明はこれに限られない。たとえば、第１学習済みモデル６、および、第２学習モデル７ａは、細胞画像解析装置１００とは異なる装置によって生成されてもよい。

また、上記実施形態では、不適切細胞画像生成部２ｅが、適切細胞画像１１に対して画像処理を行うことにより、不適切細胞画像１２を生成する構成の例を示したが、本発明はこれに限られない。たとえば、細胞画像解析装置１００は、細胞画像解析装置１００とは異なる装置によって生成された不適切細胞画像１２を取得するように構成されていてもよい。

また、上記実施形態では、不適切細胞画像生成部２ｅが、適切細胞画像１１の許容範囲に入る画像を生成する構成の例を示したが、本発明はこれに限られない。たとえば、不適切細胞画像生成部２ｅは、不適切細胞画像１２のみを生成するように構成されていてもよい。

また、上記実施形態では、細胞画像解析装置１００が、細胞画像１０の撮影時、第１学習済みモデル６の生成時、および、細胞画像１０の解析時にいずれにも用いられる構成の例を示したが、本発明はこれに限られない。たとえば、細胞画像解析装置１００は、細胞画像１０の撮影時、第１学習済みモデル６の生成時、および、細胞画像１０の解析時のうちのいずれか１つにおいて用いられてもよい。また、細胞画像解析装置１００は、細胞画像１０の撮影時、第１学習済みモデル６の生成時、および、細胞画像１０の解析時のうちのいずれか２つにおいて用いられてもよい。

［態様］
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。

（項目１）
細胞画像を取得するステップと、
前記細胞画像が、前記細胞画像に写る細胞のボケ、前記細胞画像における異物の映り込み、前記細胞画像における迷光の映り込み、前記細胞を培養する際の培地に起因する前記細胞画像の画質の低下、前記細胞画像における画素値が飽和した領域、および、前記細胞と前記細胞以外の領域との境界が明確でない前記細胞のうちの少なくとも１つを含むか否かを判定するステップと、
前記細胞画像が、前記細胞のボケ、前記異物の映り込み、前記迷光の映り込み、前記培地に起因する前記細胞画像の画質の低下、前記画素値が飽和した領域、および、前記境界が明確でない前記細胞を含まない場合に、前記細胞画像を適切細胞画像に分類し、前記細胞のボケ、前記異物の映り込み、前記迷光の映り込み、前記培地に起因する前記細胞画像の画質の低下、前記画素値が飽和した領域、および、前記境界が明確でない前記細胞のうちの少なくとも１つを含む場合には、前記細胞画像を不適切細胞画像に分類するステップと、を備える、細胞画像解析方法。

（項目２）
前記細胞画像は、容器によって培養される培養細胞を撮影した画像であり、
前記判定するステップにおいて、前記細胞画像の解析を行うために前記細胞画像を分類する際に、前記細胞画像の画質が前記細胞画像の前記解析に適しているか否かの判定、および、前記細胞画像を解析するための学習モデルの学習に用いる前記細胞画像を分類する際に、前記細胞画像の画質が前記学習モデルに対する前記解析の学習に適しているか否かの判定の少なくともいずれかのための判定基準を満たしている否かを判定する、項目１に記載の細胞画像解析方法。

（項目３）
前記判定基準は、前記細胞のボケの有無、前記異物の映り込みの有無、前記迷光の映り込みの有無、前記培地に起因する前記細胞画像の画質の低下の有無、前記画素値が飽和した領域の有無、および、前記境界が明確でない前記細胞の有無を含む、項目２に記載の細胞画像解析方法。

（項目４）
前記適切細胞画像と前記不適切細胞画像とを学習させることにより、前記細胞画像が前記判定基準を満たしているか否かを判定することを学習させた第１学習済みモデルを作成するステップをさらに備え、
前記判定するステップにおいて、前記第１学習済みモデルを用いて、前記細胞画像が前記適切細胞画像であるか前記不適切細胞画像であるかの判定を行う、項目２または３に記載の細胞画像解析方法。

（項目５）
前記適切細胞画像の画質を劣化させる画像処理を行うことにより、前記不適切細胞画像を生成するステップをさらに備え、
前記第１学習済みモデルを作成するステップにおいて、前記適切細胞画像と、前記適切細胞画像から生成された前記不適切細胞画像とに基づいて、前記第１学習済みモデルを作成する、項目４に記載の細胞画像解析方法。

（項目６）
前記不適切細胞画像を生成するステップにおいて、前記適切細胞画像の画質を劣化させる画像処理のパラメータを変更し、前記適切細胞画像としての許容範囲に入る画像と、前記許容範囲に入らない画像とを作成する、項目５に記載の細胞画像解析方法。

（項目７）
前記判定するステップにおいて、前記細胞画像に対して画像処理を行うことにより、前記細胞画像が、前記細胞のボケ、前記異物の映り込み、前記迷光の映り込み、前記培地に起因する前記細胞画像の画質の低下、前記画素値が飽和した領域、および、前記境界が明確でない前記細胞のうちの少なくとも１つを含むか否かを判定する、項目１～６のいずれか１項に記載の細胞画像解析方法。

（項目８）
前記判定するステップにおいて、前記細胞画像のコントラストに基づいて前記細胞のボケの有無を判定するとともに、前記細胞画像の輝度値の分布に基づいて、前記異物の映り込みの有無、前記迷光の映り込みの有無、前記培地に起因する前記細胞画像の画質の低下の有無、前記画素値が飽和した領域の有無、および前記境界が明確でない前記細胞の有無を判定する、項目７に記載の細胞画像解析方法。

（項目９）
前記細胞画像が前記不適切細胞画像であると分類された場合に、前記細胞画像を解析から除外するステップと、
前記適切細胞画像に分類された前記細胞画像を用いて前記解析を行うステップと、をさらに備える、項目１～８のいずれか１項に記載の細胞画像解析方法。

（項目１０）
前記細胞画像が前記不適切細胞画像に分類された場合に、前記細胞画像の前記解析を行う際に、前記細胞画像が解析に適していない旨、または、前記細胞画像を解析するための前記学習モデルを学習させる際に、前記学習モデルに対する前記解析の学習に適していない旨を報知するステップ、をさらに備える、項目１～８のいずれか１項に記載の細胞画像解析方法。

（項目１１）
前記細胞画像が前記不適切細胞画像に分類された場合に、前記細胞画像を、学習モデルに対する前記細胞画像の解析の学習から除外するステップと、
前記適切細胞画像に分類された前記細胞画像を用いて、前記学習モデルに前記解析を学習させるステップ、をさらに備える、項目１～８のいずれか１項に記載の細胞画像解析方法。

６ 第１学習済みモデル
７ 第２学習済みモデル
７ａ 第２学習モデル（学習モデル）
１０ 細胞画像
１１ 適切細胞画像
１２、１２ａ、１２ｂ、１２ｃ、１２ｄ 不適切細胞画像
８０ 異物
８３ 画素値が飽和した領域
８４ 境界（細胞の領域と細胞以外の領域との境界）
９０ 細胞（培養細胞）
９０ａ 細胞（境界が明確でない細胞）

Claims (10)

1. 細胞画像を取得するステップと、
   前記細胞画像が、前記細胞画像に写る細胞のボケ、前記細胞画像における異物の映り込み、前記細胞画像における迷光の映り込み、前記細胞を培養する際の培地に起因する前記細胞画像の画質の低下、前記細胞画像における画素値が飽和した領域、および、前記細胞と前記細胞以外の領域との境界が明確でない前記細胞のうちの少なくとも１つを含むか否かを判定するステップと、
   前記細胞画像が、前記細胞のボケと、前記異物の映り込みと、前記迷光の映り込みと、前記培地に起因する前記細胞画像の画質の低下と、前記画素値が飽和した領域と、前記境界が明確でない前記細胞とを含まない場合に、前記細胞画像を適切細胞画像に分類し、前記細胞のボケ、前記異物の映り込み、前記迷光の映り込み、前記培地に起因する前記細胞画像の画質の低下、前記画素値が飽和した領域、および、前記境界が明確でない前記細胞のうちの少なくとも１つを含む場合には、前記細胞画像を不適切細胞画像に分類するステップと、
   前記適切細胞画像の画質を劣化させる画像処理を行うことにより、前記不適切細胞画像を生成するステップと、
   前記適切細胞画像と、前記適切細胞画像から生成された前記不適切細胞画像とを学習させることにより前記細胞画像が前記適切細胞画像であるか前記不適切細胞画像であるかを判定することを学習させた第１学習済みモデルを作成するステップと、を備え、
   前記判定するステップにおいて、前記第１学習済みモデルを用いて、前記細胞画像が前記適切細胞画像であるか前記不適切細胞画像であるかの判定を行う、細胞画像解析方法。
2. 前記細胞画像は、容器によって培養される培養細胞を撮影した画像であり、
   前記判定するステップにおいて、前記細胞画像の解析を行うために前記細胞画像を分類する際に、前記細胞画像の画質が前記細胞画像の前記解析に適しているか否かの判定、および、前記細胞画像を解析するための学習モデルの学習に用いる前記細胞画像を分類する際に、前記細胞画像の画質が前記学習モデルに対する前記解析の学習に適しているか否かの判定の少なくともいずれかのための判定基準を満たしている否かを判定する、請求項１に記載の細胞画像解析方法。
3. 前記判定基準は、前記細胞のボケの有無、前記異物の映り込みの有無、前記迷光の映り込みの有無、前記培地に起因する前記細胞画像の画質の低下の有無、前記画素値が飽和した領域の有無、および、前記境界が明確でない前記細胞の有無を含む、請求項２に記載の細胞画像解析方法。
4. 前記第１学習済みモデルを作成するステップにおいて、前記適切細胞画像と前記不適切細胞画像とを学習させることにより、前記細胞画像が前記判定基準を満たしているか否かを判定する前記第１学習済みモデルを作成する、請求項２または３に記載の細胞画像解析方法。
5. 前記不適切細胞画像を生成するステップにおいて、前記適切細胞画像の画質を劣化させる画像処理のパラメータを変更し、前記適切細胞画像としての許容範囲に入る画像と、前記許容範囲に入らない画像とを作成する、請求項１に記載の細胞画像解析方法。
6. 前記判定するステップにおいて、前記細胞画像に対して画像処理を行うことにより、前記細胞画像が、前記細胞のボケ、前記異物の映り込み、前記迷光の映り込み、前記培地に起因する前記細胞画像の画質の低下、前記画素値が飽和した領域、および、前記境界が明確でない前記細胞のうちの少なくとも１つを含むか否かを判定する、請求項１～５のいずれか１項に記載の細胞画像解析方法。
7. 前記判定するステップにおいて、前記細胞画像のコントラストに基づいて前記細胞のボケの有無を判定するとともに、前記細胞画像の輝度値の分布に基づいて、前記異物の映り込みの有無、前記迷光の映り込みの有無、前記培地に起因する前記細胞画像の画質の低下の有無、前記画素値が飽和した領域の有無、および前記境界が明確でない前記細胞の有無を判定する、請求項６に記載の細胞画像解析方法。
8. 前記細胞画像が前記不適切細胞画像であると分類された場合に、前記細胞画像を解析から除外するステップと、
   前記適切細胞画像に分類された前記細胞画像を用いて前記解析を行うステップと、をさらに備える、請求項１～７のいずれか１項に記載の細胞画像解析方法。
9. 前記細胞画像が前記不適切細胞画像に分類された場合に、前記細胞画像の前記解析を行う際に、前記細胞画像が解析に適していない旨、または、前記細胞画像を解析するための学習モデルを学習させる際に、前記学習モデルに対する前記解析の学習に適していない旨を報知するステップ、をさらに備える、請求項１～７のいずれか１項に記載の細胞画像解析方法。
10. 前記細胞画像が前記不適切細胞画像に分類された場合に、前記細胞画像を、学習モデルに対する前記細胞画像の解析の学習から除外するステップと、
    前記適切細胞画像に分類された前記細胞画像を用いて、前記学習モデルに前記解析を学習させるステップ、をさらに備える、請求項１～７のいずれか１項に記載の細胞画像解析方法。