JP7463512B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。

近年、抗体医薬品が注目されている。抗体医薬品は、従来の低分子医薬品と違って複雑なタンパク質等によるものであるので、人工的に合成することは難しい。そのため、抗体医薬品は、ＣＨＯ（Chinese Hamster Ovary）細胞等の細胞に所望のタンパク質に対応する遺伝子を挿入し、細胞の機能によって所望のタンパク質を産生させた後、タンパク質を抽出及び精製することにより製造される。

また、ウェルプレートの各ウェル（培養容器）に、遺伝子が挿入された細胞を１つずつ播種して培養することにより、単一細胞に由来する細胞集団を生成するシングルセルクローニング技術が知られている。シングルセルクローニング技術によれば、抗体を生産する細胞の均一性が向上し、これにより生産される抗体医薬品の品質が向上する。

しかし、ウェルに細胞を播種する際に、誤って複数の細胞が播種される場合がある。このような場合には、ウェル内で培養された細胞集団（コロニー）は、複数の細胞に由来することとなり、細胞の単一性（いわゆるモノクローナリティ）が得られない。ウェル内で培養された細胞集団について、細胞の単一性を保証するためには、ウェルに播種された直後の細胞が単一細胞であったことを確認する必要がある。

単一細胞の播種は、遺伝子が挿入された細胞及び培地を含む液体を、ウェルに分注することにより行われる。特開２０１９－２０１６６６号公報には、複数のウェルに分注を行った後、各ウェルに存在する細胞の数を、細胞標識を用いて決定することが提案されている。

しかしながら、特開２０１９－２０１６６６号公報に記載の技術では、播種時点での細胞の単一性を保証することは難しいことから、画像による細胞の単一性の判定が併用して行われているのが実情である。

細胞が播種されたウェルには、真の細胞のほかに、ゴミ等の非細胞が存在する可能性がある。非細胞には、形状が細胞に類似するものがあるため、画像処理により細胞を検出するには、真の細胞のみを検出するように検出精度を高めることが考えられる。一方で、検出精度を高めると、細胞を非細胞と判定してしまい、感度が低下する恐れがある。このように、細胞の検出精度が高い場合には、ウェルに複数の細胞が播種された場合であっても、播種された複数のうちのいくつかの細胞を非細胞と判定してしまうことがある。この結果、細胞の単一性の保証精度が低下する。

本開示の技術は、細胞の単一性の保証精度を高めること、すなわち、第一に感度の高い細胞検出、第二にその上で精度とできる限り両立させる細胞検出を可能とする情報処理装置、情報処理方法、及びプログラムを提供する。

上記目的を達成するために、本開示の情報処理装置は、細胞が播種された容器を撮像した容器画像から細胞の単一性を判定するための細胞候補領域を検出する情報処理装置であって、少なくとも１つのプロセッサを備え、プロセッサは、容器画像を取得する取得処理を行い、取得した容器画像から、細胞を含む細胞領域と、細胞に類似する物体を含む細胞類似領域とを、細胞候補領域として検出する検出処理を行い、検出した細胞候補領域を表す情報を出力する出力処理を行う。

プロセッサは、検出処理において、教師データを用いて学習モデルを学習させることにより作成された検出用学習済みモデルを用いて細胞候補領域を検出することが好ましい。

教師データは、細胞であることを表すラベルが付与された細胞サンプル画像と、非細胞であることを表すラベルが付与された非細胞サンプル画像とをそれぞれ複数含むデータセットであり、プロセッサは、非細胞サンプル画像のうち細胞サンプル画像に類似するものを細胞類似サンプル画像として分類する分類処理を行い、細胞サンプル画像及び細胞類似サンプル画像を細胞候補領域として検出する検出用学習済みモデルを作成する学習処理を行うことが好ましい。

非細胞サンプル画像にはサブラベルが付与されており、プロセッサは、分類処理において、サブラベルに基づき、外観上の特徴が細胞と類似する非細胞サンプル画像を、細胞類似サンプル画像として分類することが好ましい。

プロセッサは、分類処理において、細胞サンプル画像と非細胞サンプル画像とを特徴量に基づいて特徴量空間にマッピングし、特徴量空間において非細胞サンプル画像のうち細胞サンプル画像に類似するものを、細胞類似サンプル画像として分類することが好ましい。

プロセッサは、分類処理において、細胞サンプル画像と非細胞サンプル画像とのうち、細胞サンプル画像のみを細胞候補領域として分類する分類用学習済みモデルを用いて、細胞候補領域として誤分類された非細胞サンプル画像を細胞類似サンプル画像として分類することが好ましい。

プロセッサは、分類処理を行った後、検出用学習済みモデルを作成するための学習処理を行い、学習途中の学習モデルを分類用学習済みモデルに置き換える置換処理を行うことが好ましい。

プロセッサは、複数の非細胞サンプル画像に対して、規定回数、又は、細胞候補領域として誤分類される非細胞サンプル画像がなくなるまで分類処理、学習処理、及び置換処理を繰り返すことが好ましい。

プロセッサは、学習処理において、深層学習により学習モデルを学習させることが好ましい。

プロセッサは、出力処理において、細胞候補領域を、容器画像とは区別してディスプレイに表示させる表示処理を行うことが好ましい。

プロセッサは、表示処理において、ディスプレイに表示された細胞候補領域に対して、細胞である確度を表示することが好ましい。

プロセッサは、ディスプレイに表示された細胞候補領域に対して、細胞であるか否かの判定結果をユーザが付与する操作を受け付ける受付処理を行うことが好ましい。

プロセッサは、受付処理により受け付けた判定結果を、細胞候補領域に対して付与する付与処理を行うことが好ましい。

プロセッサは、取得処理により取得した容器画像が複数存在する場合に、検出処理による細胞候補領域の検出結果、又は、付与処理により付与した判定結果を、容器画像ごとに集計し、集計結果を出力することが好ましい。

集計結果には、容器画像ごとの細胞の単一性、又は、細胞の個数が含まれることが好ましい。

本開示の情報処理方法は、細胞が播種された容器を撮像した容器画像から細胞の単一性を判定するための細胞候補領域を検出する処理を行う情報処理方法であって、容器画像を取得する取得処理と、取得した容器画像から、細胞を含む細胞領域と、細胞に類似する物体を含む細胞類似領域とを、細胞候補領域として検出する検出処理と、検出した細胞候補領域を表す情報を出力する出力処理とを行う。

細胞が播種された容器を撮像した容器画像から細胞の単一性を判定するための細胞候補領域を検出する処理をコンピュータに実行させるプログラムであって、容器画像を取得する取得処理と、取得した容器画像から、細胞を含む細胞領域と、細胞に類似する物体を含む細胞類似領域とを、細胞候補領域として検出する検出処理と、検出した細胞候補領域を表す情報を出力する出力処理と、をコンピュータに実行させる。

本開示の技術によれば、細胞の単一性の保証精度を高めること、すなわち、第一に感度の高い細胞検出、第二にその上で精度とできる限り両立させる細胞検出を可能とする情報処理装置、情報処理方法、及びプログラムを提供することができる。

判定支援システムの概略図である。 容器画像の一例を示す模式図である。 情報処理装置のハードウェア構成を示すブロック図である。 情報処理装置の運用フェーズにおける機能構成を示すブロック図である。 検出処理を説明する図である。 細胞候補領域の表示例を示す図である。 判定結果を入力するための入力インタフェースの一例を示す図である。 集計結果の表示例を示す図である。 判定支援システムの一連の処理の流れを示すフローチャートである。 情報処理装置の学習フェーズにおける機能構成を示すブロック図である。 分類処理の一例を示す図である。 学習処理の一例を示す図である。 第１変形例に係る分類処理を説明する図である。 第２変形例に係る分類処理を説明する図である。 第３変形例に係る分類処理を説明する図である。 第３変形例に係る学習処理を説明する図である。 第３変形例に係る置換処理を説明する図である。 置換処理後に行われる分類処理の例を示す図である。 繰り返し処理の一例を示すフローチャートである。 細胞候補領域の表示形態の変形例を示す図である。 細胞候補領域の表示形態の他の変形例を示す図である。 細胞候補領域に細胞である確度を表示する例を示す図である。 本開示の検出用学習済みモデルによる真の細胞の分類結果を示す図である。 従来の学習済みモデルによる真の細胞の分類結果を示す図である。

図１は、判定支援システム２を概略的に示す。判定支援システム２は、培養容器としてのウェルに細胞が播種された時点において、ウェルに１つの細胞のみが播種されたか否か、すなわち細胞の単一性の判定を支援するシステムである。最終的な細胞の単一性の判定は、細胞が播種された時点におけるウェルの画像に基づいて、ユーザにより行われる。判定支援システム２は、ウェルの画像において、ユーザが判定すべき領域である細胞候補領域を提示することにより細胞の単一性の判定を支援する。

判定支援システム２は、撮像装置３と、情報処理装置４とを含む。情報処理装置４は、コンピュータにより構成される。情報処理装置４には、ディスプレイ５、キーボード６、及びマウス７などが接続されている。キーボード６及びマウス７は、ユーザが情報を入力するための入力操作部８を構成する。入力操作部８には、タッチパネル等も含まれる。

撮像装置３は、例えば位相差顕微鏡であり、細胞が播種されて培養されるウェルプレート１０を撮像対象として光学的に撮像する。図１では、撮像対象を照明するための光源等は、図示を省略している。ウェルプレート１０には、複数のウェル１１が形成されている。ウェルプレート１０として、例えば、９６個のウェル１１が形成された「９６ウェルプレート」が用いられる。各ウェル１１は、１つの細胞が播種される培養容器である。本実施形態では、図示の簡略化のため、ウェルプレート１０として、２４個のウェル１１が形成された「２４ウェルプレート」を示している。

細胞の播種は、細胞を含む培地溶液が入ったリザーバから、ピペット１２等を用いて各ウェル１１に液滴１３を分注することにより行われる。液滴１３には、細胞２０が含まれている。細胞２０は、例えば、抗体の生産を行うＣＨＯ細胞である。細胞２０には、例えば、所望のヒトタンパク質に対応する遺伝子が挿入されている。

撮像装置３は、ウェルプレート１０の各ウェル１１を撮像対象として撮像を行う。撮像装置３は、各ウェル１１に液滴１３が分注された直後に撮像を行う。撮像装置３が撮像したウェル１１の画像（以下、容器画像という。）ＷＰは、それぞれ情報処理装置４に送信される。容器画像ＷＰには、播種された細胞２０が撮像されている。詳しくは、後述するが、情報処理装置４は、容器画像ＷＰ内から、細胞２０を含む細胞領域と、細胞２０に類似する物体を含む細胞類似領域とを、細胞候補領域として検出する。

図２は、容器画像ＷＰの一例を模式的に示す。図２に示すように、容器画像ＷＰには、細胞２０のほか、細胞ではない非細胞構造物２１が撮像される可能性がある。非細胞構造物２１には、ゴミ、デブリ、細胞又は非細胞構造物の影、ウェルのキズ等が含まれる。また、非細胞構造物２１は、外観上の形状に基づいて、細胞に類似する構造物である細胞類似構造物２２と、細胞に類似しない構造物である細胞非類似構造物２３とに分けられる。

細胞２０は、例えば形状に注目して、その形状を端的に単純化して表現することにより、「円形の構造物」であると定義する。細胞類似構造物２２は、外観の形状が細胞２０に近く（すなわち、形状が円形に近く）、細胞である可能性がある構造物である。細胞非類似構造物２３は、外観の形状が細胞２０とは大きく異なり、細胞である可能性がない構造物である。ここで、「細胞の可能性がある」とは、「可能性が一定値以上である」ことを意味する。これに対して、「細胞である可能性がない」とは、「可能性が一定値未満である」ことを意味する。なお、細胞２０は、形状以外の特徴に基づいて定義されてもよい。

情報処理装置４は、容器画像ＷＰに基づき、細胞２０を含む細胞領域、及び細胞類似構造物２２を含む細胞類似領域を、細胞候補領域として検出する。情報処理装置４は、細胞２０を含む領域に加えて、細胞類似構造物２２を検出対象とする。これにより、真の細胞を含む領域を細胞候補領域と検出する割合である感度が向上する。上述の一定値は、感度の目標設定値（例えば９０％、９５％、９９％等）に対応する。

図３は、情報処理装置４のハードウェア構成を示す。図３に示すように、情報処理装置４は、ＣＰＵ（Central Processing Unit）３０、記憶装置３１、及び通信部３２を備え、これらはバスライン３３を介して相互接続されている。また、バスライン３３には、前述のディスプレイ５及び入力操作部８が接続されている。

ＣＰＵ３０は、記憶装置３１に格納されたプログラム３１Ａ及び各種データ（図示せず）を読み出して処理を実行することにより、各種機能を実現する演算装置である。ＣＰＵ３０は、本開示の技術に係るプロセッサの一例である。

記憶装置３１は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、又はストレージ装置等を含む。ＲＡＭは、例えば、ワークエリア等として用いられる揮発性メモリである。ＲＯＭは、例えば、プログラム３１Ａ及び各種データを保持するフラッシュメモリ等の不揮発性メモリである。ストレージ装置は、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）である。ストレージは、ＯＳ（Operating System）、アプリケーションプログラム、画像データ、及び各種データ等を記憶する。

通信部３２は、ＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）等のネットワークを介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ５は、各種画面を表示する。情報処理装置４は、各種画面を通じて、入力操作部８からの操作指示の入力を受け付ける。

図４は、情報処理装置４の運用フェーズにおける機能構成を示す。情報処理装置４の機能は、プログラム３１Ａに基づいてＣＰＵ３０が処理を実行することにより実現される。情報処理装置４は、上述の細胞候補領域の検出処理を、機械学習により生成された学習済みモデルを用いて行う。図４に示す機能構成は、学習済みモデルが運用される「運用フェーズ」において実現される構成である。

運用フェーズでは、ＣＰＵ３０には、リードライト制御部（以下、ＲＷ制御部という。）４０、取得部４１、検出部４２、表示制御部４３、受付部４４、付与部４５、及び集計部４６が構成される。

ＲＷ制御部４０は、記憶装置３１からの各種データの読み出し、及び記憶装置３１への各種データの書き込みを制御する。ＲＷ制御部４０は、撮像装置３から受信した容器画像ＷＰを記憶装置３１に書き込む。

取得部４１は、ＲＷ制御部４０を介して記憶装置３１から容器画像ＷＰを取得する取得処理を行う。取得部４１は、取得した容器画像ＷＰを検出部４２に入力する。また、取得部４１は、取得した容器画像ＷＰを表示制御部４３に入力する。

検出部４２は、学習モデルＭ（図１２参照）を、教師データを用いて学習させた検出用学習済みモデルＬＭＤを用いて、細胞候補領域の検出処理を行う。検出用学習済みモデルＬＭＤは、例えば、深層学習により学習が行われた畳み込みニューラルネットワークによって構成されている。検出用学習済みモデルＬＭＤは、記憶装置３１に記憶されている。検出部４２は、ＣＰＵ３０が検出用学習済みモデルＬＭＤを用いて処理を行うことにより実現される機能部である。

図５は、検出部４２による検出処理を説明する。図５に示すように、検出部４２には、取得部４１から入力された容器画像ＷＰが、入力画像として入力される。検出部４２は、検出用学習済みモデルＬＭＤを用いて、入力された容器画像ＷＰに基づいて物体検出を行うことにより、何らかの構造物である物体を含む物体領域Ｒを検出する。そして、検出部４２は、検出した各物体領域Ｒを、物体領域Ｒ内の構造物の特徴量に基づいて複数のクラスに分類する。なお、物体領域は、バウンディングボックスとも称される。

検出部４２は、例えば、物体領域Ｒを、細胞クラスＣ１、細胞類似クラスＣ２Ａ、及び細胞非類似クラスＣ２Ｂの３つのクラスに分類する。細胞クラスＣ１は、細胞２０を含む物体領域Ｒ（以下、細胞領域Ｒ１という。）が分類されるクラスである。細胞類似クラスＣ２Ａは、細胞類似構造物２２を含む物体領域Ｒ（以下、細胞類似領域Ｒ２Ａという。）が分類されるクラスである。細胞非類似クラスＣ２Ｂは、細胞非類似構造物２３を含む物体領域Ｒ（以下、細胞非類似領域Ｒ２Ｂという。）が分類されるクラスである。

検出部４２は、物体領域Ｒのうち、細胞領域Ｒ１又は細胞類似領域Ｒ２Ａに分類される領域を、それぞれ細胞候補領域ＰＲとして検出する。

なお、検出部４２は、物体領域Ｒを３クラスに分類するものには限られない。例えば、検出部４２は、物体領域Ｒを細胞候補クラスと非細胞候補クラスとの２クラスに分類するものであってもよい。

図４に戻り、検出部４２は、細胞候補領域ＰＲの検出結果を表示制御部４３に供給する。また、検出部４２は、細胞候補領域ＰＲの検出結果を、ＲＷ制御部４０を介して記憶装置３１に書き込む。

表示制御部４３は、取得部４１から供給された容器画像ＷＰと、検出部４２から供給された細胞候補領域ＰＲの検出結果とに基づき、細胞候補領域ＰＲを容器画像ＷＰとは区別してディスプレイ５に表示させる表示処理を行う。具体的には、表示制御部４３は、ディスプレイ５に容器画像ＷＰを表示させ、かつ容器画像ＷＰ内に細胞候補領域ＰＲを表す情報を表示させる。表示制御部４３は、本開示の技術に係る出力処理を行う出力部の一例である。

受付部４４は、ディスプレイ５に表示された細胞候補領域ＰＲに対して、細胞であるか否かの判定結果ＣＲをユーザが付与する操作を受け付ける受付処理を行う。ユーザは、ディスプレイ５に表示された細胞候補領域ＰＲ内の構造物が細胞であるか否かを判定し、入力操作部８を用いて、ユーザの目視による判定結果ＣＲを入力することができる。受付部４４は、入力操作部８を用いて入力される判定結果ＣＲを受け付け、受け付けた判定結果ＣＲを付与部４５に供給する。

付与部４５は、受付部４４が受け付けた判定結果ＣＲを、細胞候補領域ＰＲに対して付与する付与処理を行う。具体的には、付与部４５は、受付部４４から判定結果ＣＲが供給されると、ＲＷ制御部４０を介して記憶装置３１に書き込む。判定結果ＣＲは、対応する細胞候補領域ＰＲと対応付けられて、記憶装置３１に記憶される。なお、記憶装置３１には、容器画像ＷＰごとに検出される複数の細胞候補領域ＰＲの各々に対して判定結果ＣＲが付与されて記憶される。

なお、記憶装置３１に記憶された複数の細胞候補領域ＰＲに対する判定結果ＣＲを、後述する学習モデルＭの教師データとして用いてもよい。

集計部４６は、例えば、１つの容器画像ＷＰから検出された複数の細胞候補領域ＰＲのすべてに対して判定結果ＣＲの付与が行われたことを条件として、集計処理を開始する。集計部４６は、検出部４２による細胞候補領域ＰＲの検出結果、又は、付与部４５により付与した判定結果ＣＲを、容器画像ＷＰごとに集計し、集計結果ＡＲを出力する集計処理を行う。本実施形態では、集計部４６は、細胞候補領域ＰＲの各々に対して付与された判定結果ＣＲを容器画像ＷＰごとに集計して、集計結果ＡＲを出力する。

集計部４６が出力した集計結果ＡＲは、表示制御部４３に供給される。表示制御部４３は、集計結果ＡＲ（図８参照）をディスプレイ５に表示させる。ユーザは、ディスプレイ５に表示された集計結果ＡＲに基づいて、各ウェル１１に播種された細胞が単一であったか否かを視覚的に容易に判定することができる。

図６は、表示制御部４３による細胞候補領域ＰＲの表示例を示す。図６に示すように、例えば、表示制御部４３は、容器画像ＷＰ内に細胞候補領域ＰＲを表示させるとともに、容器画像ＷＰ外に、細胞候補領域ＰＲの各々の拡大画像を表示させる。ユーザは、拡大画像を観察することにより、細胞であるか否かの判定をより正確に行うことができる。なお、複数の拡大画像は、一部が重なるように表示されてもよい。また、細胞候補領域ＰＲの形状は、矩形に限られず、円形等の他の形状であってもよい。さらに、表示制御部４３は、細胞候補領域ＰＲを、着色等により強調表示してもよい。

図７は、細胞であるか否かの判定結果ＣＲを入力するための入力インタフェースの一例を示す。図７に示すように、例えば、表示制御部４３は、ユーザにより選択された細胞候補領域ＰＲの拡大画像に加えて、ＧＵＩ（Graphical User Interface）としての選択ボックス４７をディスプレイ５に表示させる。ユーザは、選択ボックス４７に基づき、入力操作部８を用いて、細胞と非細胞とのいずれであるかを選択し、選択を確定することができる。入力操作部８を用いて選択が確定されると、細胞であるか否かの判定結果ＣＲが前述の受付部４４に入力される。

また、入力操作部８を用いて入力された判定結果ＣＲを、図６に示す細胞候補領域ＰＲの表示に反映させることも好ましい。例えば、表示制御部４３は、ユーザによって細胞であると判定された細胞候補領域ＰＲと、細胞でないと判定された細胞候補領域ＰＲとを異なる色で表示させる。

また、記憶装置３１に記憶された判定結果ＣＲ及び細胞候補領域ＰＲを、入力操作部８の操作に応じて、ディスプレイ５に表示させることも好ましい。これにより、ユーザは、過去に入力した判定結果ＣＲを確認することができる。また、複数のユーザが判定を行う場合に、他のユーザにより入力された判定結果ＣＲを確認することができる。

図８は、表示制御部４３による集計結果ＡＲの表示例を示す。図８に示すように、集計結果ＡＲに基づき、ウェルプレート１０の各ウェル１１が、「単一細胞」、「２細胞以上」、又は「細胞なし」のいずれであるかが表示される。図８に示す表示態様は、いわゆるヒートマップと呼ばれるものであり、ユーザは、単一細胞が播種されたウェル１１の数及び位置を視覚的に把握することができる。なお、集計結果ＡＲは、ヒートマップに限定されず、ウェル１１ごとに、細胞の単一性、又は、細胞の個数が表形式でリスト化されたものであってもよい。

次に、判定支援システム２の一連の処理の流れを、図９に示すフローチャートを用いて説明する。まず、取得部４１は、撮像装置３により撮像されて記憶装置３１に記憶された容器画像ＷＰを取得する（ステップＳ１０）。ステップＳ１０において、取得部４１は、取得した容器画像ＷＰを、検出部４２及び表示制御部４３に供給する。

検出部４２は、取得部４１から入力された容器画像ＷＰから、細胞領域Ｒ１及び細胞類似領域Ｒ２Ａ（図５参照）を細胞候補領域ＰＲとして検出する（ステップＳ１１）。ステップＳ１１において、検出部４２は、細胞候補領域ＰＲの検出結果を表示制御部４３に供給するとともに、記憶装置３１に書き込む。

表示制御部４３は、検出部４２から供給された細胞候補領域ＰＲを、例えば図６に示すようにディスプレイ５に表示させる（ステップＳ１２）。ユーザは、ディスプレイ５に表示された細胞候補領域ＰＲ内の構造物が細胞であるか否かを判定し、例えば図７に示すように、入力操作部８を用いて判定結果ＣＲを入力する（ステップＳ１３）。

受付部４４は、入力操作部８を用いて判定結果ＣＲが入力されると（ステップＳ１３：ＹＥＳ）、判定結果ＣＲを受け付け、受け付けた判定結果ＣＲを付与部４５に供給する（ステップＳ１４）。付与部４５は、受付部４４から供給された判定結果ＣＲを、細胞候補領域ＰＲに対して付与する（ステップＳ１５）。

次に、ユーザが１つの容器画像ＷＰから検出された複数の細胞候補領域ＰＲのすべてに対して判定結果ＣＲが入力されることにより、入力操作が終了したか否かが判定される（ステップＳ１６）。入力操作が終了していない場合には（ステップＳ１６：ＮＯ）、処理がステップＳ１３に戻される。一方、入力操作が終了した場合には（ステップＳ１６：ＹＥＳ）、集計部４６が集計処理を行う（ステップＳ１７）。ステップＳ１７において、集計部４６は、集計結果ＡＲを出力し、表示制御部４３に供給する。

表示制御部４３は、例えば図８に示すように、集計結果ＡＲをディスプレイ５に表示させる（ステップＳ１７）。以上により、判定支援システム２の一連の処理が終了する。

なお、ステップＳ１６では、ユーザが１つの容器画像ＷＰから検出された複数の細胞候補領域ＰＲのすべてに対して判定結果ＣＲが入力したことを、入力操作の終了条件としている。これに代えて、１つの容器画像ＷＰに対して、２つの細胞候補領域ＰＲが真の細胞と判定された（すなわち、細胞が単一でないと判定された）時点で、当該容器画像ＷＰに対する入力操作を終了させてもよい。

本実施形態の判定支援システム２によれば、容器画像ＷＰから、細胞を含む細胞領域Ｒ１に加えて、細胞に類似する物体を含む細胞類似領域Ｒ２Ａを、細胞候補領域として検出してユーザに提示するので、真の細胞を含む領域を細胞候補領域ＰＲと検出する割合である感度が向上する。これにより、細胞の単一性の保証精度を高めること、すなわち、第一に感度の高い細胞検出、第二にその上で精度とできる限り両立させる細胞検出が可能となる。ここで精度とは、細胞候補領域ＰＲとして検出する検出数（細胞を含む細胞領域Ｒ１の検出数と、細胞に類似する物体を含む細胞類似領域Ｒ２Ａの検出数とを合わせた数）に対して、真の細胞を含む領域を細胞候補領域ＰＲとして検出する検出数の割合である。従来のように純粋な真分類に従って細胞及び非細胞の特徴量を捉えることにより感度を調整する方法に対して、できる限りの高感度を維持するという前提のもとで、精度を調整することが可能となる。さらに、未知のサンプルで、既知の非細胞サンプルに類似する特徴をもつ細胞が出現した場合に、後述の各実施形態により、その感度を維持することができる。

次に、図１０は、情報処理装置４の学習フェーズにおける機能構成を示す。図１０に示す機能構成は、教師データを用いて学習モデルＭを学習させることにより検出用学習済みモデルＬＭＤを作成するための「学習フェーズ」において実現される構成である。

学習フェーズでは、ＣＰＵ３０には、ＲＷ制御部５０、取得部５１、分類部５２、及び学習部５３が構成される。ＲＷ制御部５０及び取得部５１は、運用フェーズにおけるＲＷ制御部４０及び取得部４１と同様の機能部である。

学習フェーズでは、ＲＷ制御部５０は、サンプル画像ＳＰを記憶装置３１に書き込む。サンプル画像ＳＰは、細胞サンプル画像ＳＰ１と非細胞サンプル画像ＳＰ２とをそれぞれ複数含むデータセットであり、学習モデルＭを学習させるための教師データとして用いられる。細胞サンプル画像ＳＰ１は、細胞であることを表すラベルが付与されている。非細胞サンプル画像ＳＰ２は、非細胞であることを表すラベルが付与されている。

取得部５１は、ＲＷ制御部５０を介して記憶装置３１からサンプル画像ＳＰを取得し、ラベルに基づいて細胞サンプル画像ＳＰ１と非細胞サンプル画像ＳＰ２とを識別する。また、取得部５１は、取得したサンプル画像ＳＰに含まれる細胞サンプル画像ＳＰ１と非細胞サンプル画像ＳＰ２とのうち、非細胞サンプル画像ＳＰ２を分類部５２に入力する。また、取得部５１は、細胞サンプル画像ＳＰ１と非細胞サンプル画像ＳＰ２とのうち、細胞サンプル画像ＳＰ１を、学習部５３に入力する。

分類部５２は、後述するサブラベルに基づいて、取得部５１から入力された非細胞サンプル画像ＳＰ２のうち、細胞サンプル画像ＳＰ１に類似するものを細胞類似サンプル画像ＳＰ２Ａとして分類し、細胞サンプル画像ＳＰ１に類似しないものを細胞非類似サンプル画像ＳＰ２Ｂとして分類する。分類部５２は、分類した細胞類似サンプル画像ＳＰ２Ａ及び細胞非類似サンプル画像ＳＰ２Ｂを、分類結果とともに学習部５３に入力する。

なお、取得部５１がサンプル画像ＳＰをすべて分類部５２に入力し、分類部５２が、サンプル画像ＳＰを、細胞サンプル画像ＳＰ１、細胞類似サンプル画像ＳＰ２Ａ、及び細胞非類似サンプル画像ＳＰ２Ｂに分類してもよい。この場合、分類部５２から学習部５３に、細胞サンプル画像ＳＰ１、細胞類似サンプル画像ＳＰ２Ａ、及び細胞非類似サンプル画像ＳＰ２Ｂが入力される。

記憶装置３１には、学習モデルＭが記憶されている。詳しくは後述するが、学習部５３は、細胞サンプル画像ＳＰ１及び細胞類似サンプル画像ＳＰ２Ａを、前述の細胞候補領域ＰＲとして検出するように学習モデルＭを学習させることにより、検出用学習済みモデルＬＭＤを作成する。

図１１は、分類部５２による分類処理の一例を示す。図１１に示すように、例えば、サンプル画像ＳＰには、細胞であるか否かを表すラベルが付与されている。さらに、非細胞サンプル画像ＳＰ２は、ラベルが細分化されており、細胞であるか否かを表すラベルに加えて、サブラベルが付与されている。サブラベルは、非細胞サンプル画像ＳＰ２の構造物の特徴を表す。例えば、非細胞サンプル画像ＳＰ２には、「円形の埃」、「細胞の影」、「捻じれた死細胞」、「気泡」、「ウェルの傷」といったサブラベルが付与されている。

分類部５２は、非細胞サンプル画像ＳＰ２に付与されたサブラベルに基づき、外観上の特徴が細胞と類似するものを、細胞類似サンプル画像ＳＰ２Ａとして分類する。例えば、分類部５２は、「円形の埃」又は「細胞の影」といったサブラベルが付与された非細胞サンプル画像ＳＰ２を細胞類似サンプル画像ＳＰ２Ａとして分類する。一方、分類部５２は、細胞とは明らかに異なる「捻じれた死細胞」、「気泡」、又は「ウェルの傷」といったサブラベルが付与された非細胞サンプル画像ＳＰ２を、細胞非類似サンプル画像ＳＰ２Ｂとして分類する。

なお、細胞類似サンプル画像ＳＰ２Ａとして分類する分類対象のサブラベルは、予め設定される。例えば、各種のサブラベルを視覚的類似性に基づいて並べ、目的とする細胞の感度又は検出数に基づいて、細胞類似サンプル画像ＳＰ２Ａとして分類する分類対象のサブラベルを設定すればよい。

図１２は、学習部５３による学習処理の一例を示す。図１２に示すように、学習部５３には、学習モデルＭの重み及びバイアスを調整する調整部５３Ａが設けられている。学習モデルＭは、入力層Ｌ１、中間層Ｌ２、及び出力層Ｌ３を有するニューラルネットワークである。学習モデルＭは、例えば、深層学習ネットワークの一種である畳み込みニューラルネットワークにより構成されている。

学習モデルＭは、入力層Ｌ１に入力された入力画像に対するクラスを求め、出力層Ｌ３からクラスを出力する。以下、出力層Ｌ３から出力されるクラスを出力クラスＣＯという。学習モデルＭは、細胞クラスＣ１、細胞類似クラスＣ２Ａ、及び細胞非類似クラスＣ２Ｂのうち、いずれかのクラスを出力クラスＣＯとして出力する。

学習部５３は、細胞サンプル画像ＳＰ１、細胞類似サンプル画像ＳＰ２Ａ、及び細胞非類似サンプル画像ＳＰ２Ｂを、入力画像として学習モデルＭに入力する。調整部５３Ａには、各サンプル画像に対応する正解クラスＣＡが入力される。学習モデルＭに細胞サンプル画像ＳＰ１が入力される場合には、正解クラスＣＡは細胞クラスＣ１である。学習モデルＭに細胞類似サンプル画像ＳＰ２Ａが入力される場合には、正解クラスＣＡは細胞類似クラスＣ２Ａである。学習モデルＭに細胞非類似サンプル画像ＳＰ２Ｂが入力される場合には、正解クラスＣＡは細胞非類似クラスＣ２Ｂである。

調整部５３Ａは、例えば、二乗和誤差を求める損失関数を用いる。調整部５３Ａは、出力クラスＣＯと正解クラスＣＡとの二乗和誤差を求め、二乗和誤差の総和が最小になるように、学習モデルＭの重み及びバイアスとを調整する。

学習部５３は、調整後の最終的な重み及びバイアスが設定された学習モデルＭを、検出用学習済みモデルＬＭＤとして生成する。検出用学習済みモデルＬＭＤは、細胞クラスＣ１及び細胞類似クラスＣ２Ａに分類された物体領域Ｒを細胞候補領域ＰＲとして検出する（図５参照）。

なお、検出用学習済みモデルＬＭＤは、上記構成に限られず、容器画像ＷＰから、細胞サンプル画像ＳＰ１を含む領域、及び細胞類似サンプル画像ＳＰ２Ａを含む領域をそれぞれ細胞候補領域ＰＲとして検出するように構成されたものであればよい。

また、検出用学習済みモデルＬＭＤは、深層学習に限られず、サンプル画像ＳＰに含まれる構造物の特徴量を定量化した上で、サポートベクターマシンを用いることにより構築された分類器を有するものであってもよい。この場合、特徴量として、構造物の外周長、又は円形度等が用いられる。また、特徴量として、局所的なコントラスト、明度、彩度、又はこれらの微分値を用いることができる。さらに、特徴量として、種々の周波数スペクトル成分を用いることができる。

また、検出用学習済みモデルＬＭＤは、サポートベクターマシンに限られず、ランダムフォレスト、又はロジスティック回帰等の機械学習により構築された分類器を有するものであってもよい。

以下に、分類部５２による分類処理について各種の変形例を示す。

［第１変形例］
上記実施形態では、分類部５２は、非細胞サンプル画像ＳＰ２に付与されたサブラベルに基づいて細胞類似サンプル画像ＳＰ２Ａと細胞非類似サンプル画像ＳＰ２Ｂとに分類しているが、本変形例では、分類部５２は、非細胞サンプル画像ＳＰ２を、特徴量に基づいて細胞類似サンプル画像ＳＰ２Ａと細胞非類似サンプル画像ＳＰ２Ｂとに分類する。

図１３は、第１変形例に係る分類処理を説明する。本変形例では、分類部５２は、細胞サンプル画像ＳＰ１と非細胞サンプル画像ＳＰ２とを共通の特徴量に基づいて、クラスタリング、ＰＣＡ（Principal Component Analysis）、又はそれらに類する方法で特徴量空間にマッピングする。

そして、分類部５２は、特徴量空間において、非細胞サンプル画像ＳＰ２のうち細胞サンプル画像ＳＰ１に類似するものを、細胞類似サンプル画像ＳＰ２Ａとして分類する。具体的には、分類部５２は、特徴量空間において、細胞サンプル画像ＳＰ１の全部又は大多数を含む領域を細胞クラスＣ１と定義し、細胞クラスに含まれる非細胞サンプル画像ＳＰ２を細胞類似サンプル画像ＳＰ２Ａとして分類する。また、分類部５２は、特徴量空間において、非細胞サンプル画像ＳＰ２の大部分を含む領域を非細胞クラスＣ２と定義し、非細胞クラスＣ２に含まれる非細胞サンプル画像ＳＰ２を細胞非類似サンプル画像ＳＰ２Ｂと分類する。

なお、分類部５２は、特徴量空間におけるサンプル画像間の距離を「類似度」として定量化し、この類似度に基づき、細胞サンプル画像ＳＰ１との類似度が高い非細胞サンプル画像ＳＰ２を、細胞類似サンプル画像ＳＰ２Ａとして分類してもよい。

なお、特徴量には、上述した構造物の外周長、又は円形度等が用いられる。細胞類似サンプル画像ＳＰ２Ａの分類のために、より単純化した、又は複雑化した特徴量を用いてもよい。また、図１３では、第１特徴量及び第２特徴量の２つの特徴量で表される特徴量空間を用いているが、３以上の特徴量で表される特徴量空間を用いてもよい。

［第２変形例］
第２変形例では、分類部５２は、細胞サンプル画像ＳＰ１と非細胞サンプル画像ＳＰ２のうち、細胞サンプル画像ＳＰ１のみを細胞候補領域ＰＲとして分類する分類用学習済みモデルＬＭＣを用いて、細胞類似サンプル画像ＳＰ２Ａと細胞非類似サンプル画像ＳＰ２Ｂとの分類を行う。

第２変形例に係る分類部５２の構成を説明する。分類用学習済みモデルＬＭＣは、上述の検出用学習済みモデルＬＭＤとは異なり、細胞サンプル画像ＳＰ１と非細胞サンプル画像ＳＰ２とを、それぞれ細胞クラスＣ１と非細胞クラスＣ２とに分類するように学習させている。すなわち、分類用学習済みモデルＬＭＣは、細胞クラスＣ１に分類される細胞サンプル画像ＳＰ１のみを細胞候補領域ＰＲとして分類するように構成されている。分類用学習済みモデルＬＭＣは、例えば、検出用学習済みモデルＬＭＤと同様に、畳み込みニューラルネットワーク等により構成される。

図１４は、第２変形例に係る分類処理を説明する。本変形例では、分類部５２は、種々の非細胞サンプル画像ＳＰ２を入力画像として分類用学習済みモデルＬＭＣに入力する。分類用学習済みモデルＬＭＣは、基本的に、非細胞サンプル画像ＳＰ２を非細胞クラスＣ２に分類する。分類用学習済みモデルＬＭＣにより、誤って細胞クラスＣ１に分類された非細胞サンプル画像ＳＰ２は、細胞サンプル画像ＳＰ１との類似度が高いと考えることができる。このように、分類用学習済みモデルＬＭＣが、細胞サンプル画像ＳＰ１との類似度が高い非細胞サンプル画像ＳＰ２を細胞クラスＣ１に分類してしまう場合、本来は細胞である細胞サンプル画像ＳＰ１のうち、非細胞サンプル画像ＳＰ２と類似したものについても、非細胞クラスＣ２として誤分類してしまう可能性がある。これは、分類部５２が、細胞クラスＣ１に属する非細胞サンプル画像ＳＰ２を非細胞として分類したしたままでは、細胞サンプル画像ＳＰ１のうち、細胞クラスＣ１に属する非細胞サンプル画像ＳＰ２に類似するものを、誤って非細胞と誤分類してしまうこと、つまり、細胞クラスＣ１に属する非細胞サンプル画像ＳＰ２に類似してはいるが、本来は細胞である細胞サンプル画像ＳＰ１を誤って非細胞と誤分類してしまうこと、すなわち、感度が低下することに対応する。

分類部５２は、分類用学習済みモデルＬＭＣに入力した非細胞サンプル画像ＳＰ２のうち、細胞クラスＣ１に分類されたもの（細胞候補領域ＰＲとして誤分類されたもの）を細胞類似サンプル画像ＳＰ２Ａとして分類する。また、分類部５２は、分類用学習済みモデルＬＭＣに入力した非細胞サンプル画像ＳＰ２のうち、非細胞クラスＣ２に分類されたものを細胞非類似サンプル画像ＳＰ２Ｂとして分類する。このように、分類部５２は、細胞クラスＣ１に分類された画像サンプルの全体を、細胞サンプル画像ＳＰ１及び細胞類似サンプル画像ＳＰ２Ａとして学習する。

仮に、分類部５２が多数の非細胞サンプル画像ＳＰ２を細胞類似サンプル画像ＳＰ２Ａとして分類すれば、感度が向上する一方で、細胞を検出する精度が低下する。本変形例では、分類部５２は、細胞クラスＣ１に誤分類した非細胞サンプル画像ＳＰ２のみを細胞類似サンプル画像ＳＰ２Ａとして分類することで、感度と精度とを両立させている。

［第３変形例］
第３変形例では、第２変形例の分類用学習済みモデルＬＭＣ（図１４参照）を検出用学習済みモデルＬＭＤ（図５参照）と同様の構成とする。本変形例では、分類部５２により分類した細胞類似サンプル画像ＳＰ２Ａ及び細胞非類似サンプル画像ＳＰ２Ｂを用いて学習モデルＭを学習させ、学習途中の学習モデルＭで分類用学習済みモデルＬＭＣを置き換える置換処理を行う。

第３変形例に係る分類部５２の構成を説明する。本変形例では、分類用学習済みモデルＬＭＣは、検出用学習済みモデルＬＭＤと同様に、サンプル画像を、細胞クラスＣ１、細胞類似クラスＣ２Ａ、及び細胞非類似クラスＣ２Ｂの３つのクラスに分類する。分類用学習済みモデルＬＭＣは、初期の設計上、細胞サンプル画像ＳＰ１と非細胞サンプル画像ＳＰ２とを、それぞれ細胞クラスＣ１と細胞非類似クラスＣ２Ｂとに分類するように構成されている。すなわち、分類用学習済みモデルＬＭＣは、細胞クラスＣ１に分類される細胞サンプル画像ＳＰ１のみを細胞候補領域ＰＲとして分類するように構成されている。

図１５は、第３変形例に係る分類処理を説明する。本変形例では、分類用学習済みモデルＬＭＣは、基本的に、非細胞サンプル画像ＳＰ２を、細胞類似クラスＣ２Ａ又は細胞非類似クラスＣ２Ｂに分類する。分類用学習済みモデルＬＭＣにより、誤って細胞クラスＣ１に分類された非細胞サンプル画像ＳＰ２は、細胞サンプル画像ＳＰ１との類似度が高いと考えることができる。このように、分類用学習済みモデルＬＭＣが、細胞サンプル画像ＳＰ１との類似度が高い非細胞サンプル画像ＳＰ２を細胞クラスＣ１に分類してしまう場合、分類用学習済みモデルＬＭＣは、本来は細胞である細胞サンプル画像ＳＰ１のうち、非細胞サンプル画像ＳＰ２と類似したものについても、非細胞クラスＣ２として誤分類してしまう可能性がある。これは、分類部５２が、細胞クラスＣ１に属する非細胞サンプル画像ＳＰ２を非細胞として学習したままでは、細胞サンプル画像ＳＰ１のうち、細胞クラスＣ１に属する非細胞サンプル画像ＳＰ２に類似するものを、誤って非細胞と誤分類してしまうこと、つまり、細胞クラスＣ１に属する非細胞サンプル画像ＳＰ２に類似してはいるが、本来は細胞である細胞サンプル画像ＳＰ１を誤って非細胞と誤分類してしまうこと、すなわち、感度が低下することに対応する。

分類部５２は、分類用学習済みモデルＬＭＣに入力した非細胞サンプル画像ＳＰ２のうち、誤って細胞クラスＣ１に分類されたもの（細胞候補領域ＰＲとして誤分類されたもの）を細胞類似サンプル画像ＳＰ２Ａとして分類する。また、分類用学習済みモデルＬＭＣに入力した非細胞サンプル画像ＳＰ２のうち、細胞非類似クラスＣ２Ｂに分類されたものを細胞非類似サンプル画像ＳＰ２Ｂとして分類する。このように、分類部５２は、細胞クラスＣ１に分類された画像サンプルの全体を、細胞サンプル画像ＳＰ１及び細胞類似サンプル画像ＳＰ２Ａとして学習する。

仮に、分類部５２が多数の非細胞サンプル画像ＳＰ２を細胞類似サンプル画像ＳＰ２Ａとして分類すれば、感度が向上する一方で、細胞を検出する精度が低下する。本変形例では、分類部５２は、細胞クラスＣ１に誤分類した非細胞サンプル画像ＳＰ２のみを細胞類似サンプル画像ＳＰ２Ａとして分類することで、感度と精度とを両立させている。

図１６は、第３変形例に係る学習処理を説明する。本変形例では、学習部５３は、分類部５２が分類した細胞類似サンプル画像ＳＰ２Ａと細胞非類似サンプル画像ＳＰ２Ｂとを用いて学習モデルＭを学習させる。具体的には、分類部５２により分類された細胞類似サンプル画像ＳＰ２Ａと細胞非類似サンプル画像ＳＰ２Ｂとを、それぞれ細胞類似クラスＣ２Ａと細胞非類似クラスＣ２Ｂとに分類するように学習モデルＭを学習させる。なお、学習部５３は、さらに細胞サンプル画像ＳＰ１を用いて学習モデルＭを学習させてもよい。

例えば、学習部５３は、一定数の非細胞サンプル画像ＳＰ２が分類用学習済みモデルＬＭＣに入力されて分類処理が行われるたびに、学習処理を行う。

図１７は、第３変形例に係る学習処理を説明する。学習部５３は、上述のように学習モデルＭを学習させた後、学習モデルＭで分類用学習済みモデルＬＭＣを置き換える置換処理を行う。例えば、学習部５３は、一定数の細胞類似サンプル画像ＳＰ２Ａ及び細胞非類似サンプル画像ＳＰ２Ｂで学習モデルＭを学習させるたびに、置換処理を行う。分類部５２は、置換処理が行われた後、再度、分類用学習済みモデルＬＭＣを用いて分類処理を行う。

図１８は、置換処理後に行われる分類処理の例を示す。分類部５２は、以前の分類処理において細胞クラスＣ１に分類した非細胞サンプル画像ＳＰ２（例えば、サブラベルが「細胞の影」の非細胞サンプル画像ＳＰ２）が入力されると、当該非細胞サンプル画像ＳＰ２を細胞類似クラスＣ２Ａに分類する。また、分類部５２は、新たに細胞サンプル画像ＳＰ１に類似する非細胞サンプル画像ＳＰ２（例えば、サブラベルが「円形の埃」の非細胞サンプル画像ＳＰ２）が入力されると、当該非細胞サンプル画像ＳＰ２を細胞クラスＣ１に分類する。

このように、分類部５２は、置換処理が行われ、新たに細胞サンプル画像ＳＰ１に類似する非細胞サンプル画像ＳＰ２が入力されると、当該非細胞サンプル画像ＳＰ２を細胞類似サンプル画像ＳＰ２Ａに分類して、学習部５３に供給する。したがって、分類処理、学習処理、及び置換処理を繰り返し実行する繰り返し処理が行われることにより、学習モデルＭの感度が次第に向上する。学習部５３は、繰り返し処理が終了した時点における学習モデルＭを、検出用学習済みモデルＬＭＤとする。

なお、運用フェーズでは、検出用学習済みモデルＬＭＤは、上記実施形態と同様に、細胞クラスＣ１に分類される細胞領域Ｒ１と、細胞非類似クラスＣ２Ｂに分類される細胞類似領域Ｒ２Ａとを、それぞれ細胞候補領域ＰＲとして検出する（図５参照）。

図１９は、繰り返し処理の一例を示すフローチャートである。まず、複数の非細胞サンプル画像ＳＰ２のうち、一定数の非細胞サンプル画像ＳＰ２が分類部５２に入力される（ステップＳ２０）。分類部５２により分類用学習済みモデルＬＭＣを用いた分類処理が行われることにより、図１５に示すように、非細胞サンプル画像ＳＰ２が、細胞類似サンプル画像ＳＰ２Ａと細胞非類似サンプル画像ＳＰ２Ｂとに分類される（ステップＳ２１）。図１６に示すように、分類部５２による分類結果に基づき、学習部５３により学習モデルＭを学習させる学習処理が行われる（ステップＳ２２）。

次に、分類処理及び学習処理が規定回数終了したか否かが判定される（ステップＳ２３）。分類処理及び学習処理が規定回数終了していない場合には（ステップＳ２３：ＮＯ）、図１７に示すように、学習処理で学習された学習モデルＭで分類用学習済みモデルＬＭＣを置換する置換処理が行われる（ステップＳ２４）。この後、処理がステップＳ２０に戻される。一方、分類処理及び学習処理が規定回数終了した場合には（ステップＳ２３：ＹＥＳ）、処理が終了する。処理が終了した時点における学習モデルＭが、運用フェーズで用いられる検出用学習済みモデルＬＭＤとなる。

なお、図１９に示すフローチャートでは、繰り返し処理の終了条件を、分類処理及び学習処理が規定回数終了したことを繰り返し処理の終了条件としている。これに代えて、分類処理において、細胞クラスＣ１に分類される非細胞サンプル画像ＳＰ２がなくなること、すなわち、細胞候補領域ＰＲとして誤分類される非細胞サンプル画像ＳＰ２がなくなることを繰り返し処理の終了条件としてもよい。例えば、分類処理において、非細胞サンプル画像ＳＰ２が細胞類似クラスＣ２Ａ又は細胞非類似クラスＣ２Ｂに分類される回数が一定回数続いた場合に、繰り返し処理を終了させる。

［その他の変形例］
次に、細胞候補領域ＰＲの表示形態の変形例を示す。上記実施形態では、図６に示すように、表示制御部４３は、細胞候補領域ＰＲを拡大表示している。図２０に示すように、本変形例では、表示制御部４３は、容器画像ＷＰから検出された複数の細胞候補領域ＰＲのサムネイル画像を列挙して表示させる。これにより、ユーザは、複数の細胞候補領域ＰＲを一目で確認することができる。

図２１は、細胞候補領域ＰＲの表示形態の他の変形例を示す。図２１に示すように、本変形例では、表示制御部４３は、容器画像ＷＰから検出された複数の細胞候補領域ＰＲのサムネイル画像を表示させ、さらに一部のサムネイル画像をさらに拡大して表示させる。さらに拡大表示させるサムネイル画像は、ユーザが入力操作部８を用いて操作することにより選択可能とすることが好ましい。これにより、ユーザは、細胞であるか否かの判定をより正確に行うことができる。

また、表示制御部４３は、細胞候補領域ＰＲに対して、細胞である確度を表示してもよい。細胞である確度は、検出用学習済みモデルＬＭＤに判別器を設け、細胞候補領域ＰＲを検出した後、検出した細胞候補領域ＰＲ内の構造物が細胞であることの確度を、判別器で求めればよい。例えば、図２２に示すように、表示制御部４３は、細胞候補領域ＰＲの各々の拡大画像に、細胞である確度をパーセント表示する。ユーザは、細胞候補領域ＰＲに対して表示される確度を参考にして、細胞であるか否かの判定を行うことができる。

なお、２値化されていない確度を２値化する２値化処理を行うことにより、単一細胞であるか否かのみの情報を表示してもよい。なお、確度は、数値に限られず、色又は濃度等により表してもよい。

上記実施形態では、検出用学習済みモデルＬＭＤは、物体領域Ｒを、細胞クラスＣ１、細胞類似クラスＣ２Ａ、及び細胞非類似クラスＣ２Ｂの３つのクラスに分類している。これに代えて、検出用学習済みモデルＬＭＤを、細胞クラスＣ１と細胞類似クラスＣ２Ａとを統合したクラスと、細胞非類似クラスＣ２Ｂとの２つのクラスに物体領域Ｒを分類するように構成してもよい。この場合、表示制御部４３は、２値化処理を行うことなく、検出用学習済みモデルＬＭＤによる２クラスの分類の結果を確度に対応させることで、確度を２値表示することができる。

［実施例］
次に、本開示の方法により細胞の単一性の判定を行った例を示す。本実施例では、１４０個のウェル１１にＣＨＯ細胞を播種した直後に各ウェル１１を撮像装置３で撮像することにより、１４０枚の容器画像ＷＰを取得した。そして、すべての容器画像ＷＰを対象として、容器画像ＷＰ内のすべての構造物を、人が目視で、細胞クラスＣ１、細胞類似クラスＣ２Ａ、及び細胞非類似クラスＣ２Ｂに分類することにより、各構造物の正解クラスＣＡを作成した。

次に、学習フェーズにおいて、１４０枚の容器画像ＷＰのうち、７０枚の容器画像ＷＰを教師データとして学習モデルＭを学習させることにより、検出用学習済みモデルＬＭＤを作成した。そして、運用フェーズにおいて、残りの７０枚の容器画像ＷＰをテスト用画像として検出用学習済みモデルＬＭＤに入力することにより、検出用学習済みモデルＬＭＤによる細胞候補領域ＰＲの検出結果を確認した。

なお、テスト用画像としての７０枚の容器画像ＷＰからは、人が目視で判定することにより、２３０個の構造物が確認され、このうち、９０個の構造物が真の細胞である（すなわち、細胞クラスＣ１に分類される）ことが確認されている。

また、従来の方法に従って細胞のみを検出するように作成した学習済みモデル、すなわち、細胞と非細胞に分類する学習済みモデルに、上記のテスト用画像を入力することにより、従来の学習済みモデルによる細胞候補領域ＰＲの検出結果を確認した。

図２３は、本開示の検出用学習済みモデルＬＭＤによる真の細胞の分類結果を示す。図２３に示すように、本開示の検出用学習済みモデルＬＭＤによれば、真の細胞のうちの９５％が、細胞クラスＣ１又は細胞類似クラスＣ２Ａに分類された結果、細胞候補領域ＰＲとして検出された。すなわち、本開示の検出用学習済みモデルＬＭＤの感度は、９５％であった。

図２４は、従来の学習済みモデルによる真の細胞の分類結果を示す。図２４に示すように、従来の学習済みモデルによれば、真の細胞のうちの７６％が、細胞クラスＣ１に分類された結果、細胞候補領域ＰＲとして検出された。すなわち、従来の学習済みモデルの感度は、７６％であった。

このように、従来の技術では、感度が７６％であるのに対して、本開示の技術では、感度が９５％に向上した。すなわち、本開示の技術によれば、細胞の単一性の保証精度が向上することが確認された。

また、本開示の検出用学習済みモデルＬＭＤに、細胞類似クラスＣ２Ａに分類された３０２２個の非細胞サンプル画像ＳＰ２を入力した結果、１３３５個の非細胞サンプル画像ＳＰ２が細胞類似クラスＣ２Ａに再分類され、１６８７個の非細胞サンプル画像ＳＰ２が細胞非類似クラスＣ２Ａに再分類された。これは、非細胞を細胞として検出する過剰検出が約５５％削減される可能性を示唆している。すなわち、感度と精度の両立を示唆している。

また、感度に目標値を設定した上で、サンプル画像を用いた学習を多段階に実施することで、目標値に向けて漸進的に検出用学習済みモデルＬＭＤの性能を向上させることも好ましい。

以上のように、本開示の技術によれば、高い感度を前提としながら、必要に応じて過剰な検出を抑止できる。すなわち、本開示の技術によれば、未知のサンプルで、既知の非細胞サンプルに類似する特徴をもつ細胞が出現した場合に、その感度を維持することができる。

情報処理装置４を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、情報処理装置４を、処理能力および信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。

上記実施形態において、例えば、ＲＷ制御部４０、取得部４１、検出部４２、表示制御部４３、受付部４４、付与部４５、集計部４６、ＲＷ制御部５０、取得部５１、分類部５２、及び学習部５３といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（プログラム３１Ａ）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ３０に加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device: PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、及び／又は、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip: SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (12)

1. 細胞が播種された容器を撮像した容器画像から細胞の単一性を判定するための細胞候補領域を検出する情報処理装置であって、
   少なくとも１つのプロセッサを備え、
   前記プロセッサは、
   前記容器画像を取得する取得処理を行い、
   細胞であることを表すラベルが付与された細胞サンプル画像と、非細胞であることを表すラベルが付与された非細胞サンプル画像とをそれぞれ複数含むデータセットである教師データを用いて学習モデルを学習させることにより作成された検出用学習済みモデルを用いて、前記取得処理で取得した前記容器画像から、細胞を含む細胞領域と、細胞に類似する物体を含む細胞類似領域とを、前記細胞候補領域として検出する検出処理を行い、
   検出した前記細胞候補領域を表す情報を出力する出力処理を行い、
   前記非細胞サンプル画像のうち前記細胞サンプル画像に類似するものを細胞類似サンプル画像として分類する分類処理を行い、
   前記細胞サンプル画像及び前記細胞類似サンプル画像を前記細胞候補領域として検出する前記検出用学習済みモデルを作成する学習処理を行い、
   前記分類処理において、前記細胞サンプル画像と前記非細胞サンプル画像とのうち、前記細胞サンプル画像のみを前記細胞候補領域として分類する分類用学習済みモデルを用いて、前記細胞候補領域として誤分類された前記非細胞サンプル画像を前記細胞類似サンプル画像として分類する、
   情報処理装置。
2. 前記プロセッサは、
   前記分類処理を行った後、前記検出用学習済みモデルを作成するための前記学習処理を行い、学習途中の前記学習モデルを前記分類用学習済みモデルに置き換える置換処理を行う、
   請求項１に記載の情報処理装置。
3. 前記プロセッサは、
   複数の前記非細胞サンプル画像に対して、規定回数、又は、前記細胞候補領域として誤分類される前記非細胞サンプル画像がなくなるまで前記分類処理、前記学習処理、及び前記置換処理を繰り返す、
   請求項２に記載の情報処理装置。
4. 前記プロセッサは、
   前記学習処理において、深層学習により前記学習モデルを学習させる、
   請求項１から請求項３のうちいずれか１項に記載の情報処理装置。
5. 前記プロセッサは、
   前記出力処理において、前記細胞候補領域を、前記容器画像とは区別してディスプレイに表示させる表示処理を行う、
   請求項１から請求項４のうちいずれか１項に記載の情報処理装置。
6. 前記プロセッサは、
   前記表示処理において、前記ディスプレイに表示された前記細胞候補領域に対して、細胞である確度を表示する、
   請求項５に記載の情報処理装置。
7. 前記プロセッサは、
   前記ディスプレイに表示された前記細胞候補領域に対して、細胞であるか否かの判定結果をユーザが付与する操作を受け付ける受付処理を行う、
   請求項５又は請求項６に記載の情報処理装置。
8. 前記プロセッサは、
   前記受付処理により受け付けた前記判定結果を、前記細胞候補領域に対して付与する付与処理を行う、
   請求項７に記載の情報処理装置。
9. 前記プロセッサは、
   前記取得処理により取得した前記容器画像が複数存在する場合に、
   前記検出処理による前記細胞候補領域の検出結果、又は、前記付与処理により付与した前記判定結果を、前記容器画像ごとに集計し、集計結果を出力する、
   請求項８に記載の情報処理装置。
10. 前記集計結果には、前記容器画像ごとの細胞の単一性、又は、細胞の個数が含まれる、
    請求項９に記載の情報処理装置。
11. 細胞が播種された容器を撮像した容器画像から細胞の単一性を判定するための細胞候補領域を検出する処理を行う情報処理方法であって、
    前記容器画像を取得する取得処理と、
    細胞であることを表すラベルが付与された細胞サンプル画像と、非細胞であることを表すラベルが付与された非細胞サンプル画像とをそれぞれ複数含むデータセットである教師データを用いて学習モデルを学習させることにより作成された検出用学習済みモデルを用いて、前記取得処理で取得した前記容器画像から、細胞を含む細胞領域と、細胞に類似する物体を含む細胞類似領域とを、前記細胞候補領域として検出する検出処理と、
    検出した前記細胞候補領域を表す情報を出力する出力処理と、
    前記非細胞サンプル画像のうち前記細胞サンプル画像に類似するものを細胞類似サンプル画像として分類する分類処理と、
    前記細胞サンプル画像及び前記細胞類似サンプル画像を前記細胞候補領域として検出する前記検出用学習済みモデルを作成する学習処理と、
    前記分類処理において、前記細胞サンプル画像と前記非細胞サンプル画像とのうち、前記細胞サンプル画像のみを前記細胞候補領域として分類する分類用学習済みモデルを用いて、前記細胞候補領域として誤分類された前記非細胞サンプル画像を前記細胞類似サンプル画像として分類することと、
    を含む情報処理方法。
12. 細胞が播種された容器を撮像した容器画像から細胞の単一性を判定するための細胞候補領域を検出する処理をコンピュータに実行させるプログラムであって、
    前記容器画像を取得する取得処理と、
    細胞であることを表すラベルが付与された細胞サンプル画像と、非細胞であることを表すラベルが付与された非細胞サンプル画像とをそれぞれ複数含むデータセットである教師データを用いて学習モデルを学習させることにより作成された検出用学習済みモデルを用いて、前記取得処理で取得した前記容器画像から、細胞を含む細胞領域と、細胞に類似する物体を含む細胞類似領域とを、前記細胞候補領域として検出する検出処理と、
    検出した前記細胞候補領域を表す情報を出力する出力処理と、
    前記非細胞サンプル画像のうち前記細胞サンプル画像に類似するものを細胞類似サンプル画像として分類する分類処理と、
    前記細胞サンプル画像及び前記細胞類似サンプル画像を前記細胞候補領域として検出する前記検出用学習済みモデルを作成する学習処理と、
    前記分類処理において、前記細胞サンプル画像と前記非細胞サンプル画像とのうち、前記細胞サンプル画像のみを前記細胞候補領域として分類する分類用学習済みモデルを用いて、前記細胞候補領域として誤分類された前記非細胞サンプル画像を前記細胞類似サンプル画像として分類することと、
    をコンピュータに実行させるプログラム。