JP7620403B2 - 菌種同定支援方法、マルチコロニー学習モデルの生成方法、菌種同定支援装置及びコンピュータプログラム - Google Patents

Description

本発明は、菌種同定支援方法、マルチコロニー学習モデルの生成方法、シングルコロニー学習モデルの生成方法、菌種同定支援装置及びコンピュータプログラムに関する。

感染症は、細菌等が身体に侵入することにより引き起こされる。感染した細菌を同定することにより、感染症が特定され、治療又は感染拡大の防止等の対処が可能となる。病院等の医療施設では、患者の診察を行い、感染症の疑いがある場合は、患者から検体を採取し、検査機関に検査の依頼をする。検査機関では、検体に含まれる細菌を同定する検査を行う。細菌の同定検査では、多くの同定キットが開発されているが、同定キットに使用できる検体は、純分離株だけである。そのため、細菌の同定検査では、まず細菌を分離培養することが必要となる。また分離培養後に、どの同定キットを使用するのが適切か、おおよその推定が可能である。具体的には、分離株の培養時の発育性や培養条件、コロニーの性状（色、臭い、溶血性、自己融解、培地への食い込み、遊走、滑走、等）やグラム染色所見、等を検査技師が観察することにより、菌種のおおよその推定が可能である。細菌同定検査では、正確性、簡便性、迅速性、経済効率が求められることから、このような分離株の菌種推定結果に従い、その株の判定に適した同定キットを推定し、その推定が正しかった場合だけ適切に細菌の同定ができる。しかし推定が正しくない場合は細菌を同定することができず、再度推定が必要となる。菌種の推定は、推定回数に合わせて、１次判読（１次読影）、２次判読（２次読影）、等と呼ばれる。このような検査手順は一般的な細菌同定法である。一方、近年、ゲノム塩基配列を同定するシーケンサーや質量分析装置により、細菌の同定が可能になったが、正確な菌種同定に分離培養が必要な点は変わらない。
なお細菌は１つの細胞が２分裂することで増殖し、１細胞は肉眼で見えないが、例えば１千万個以上に増殖すれば、平板培地（寒天培地）上で集落（コロニー）を形成し、肉眼で確認できる。そして１つのコロニーは１細胞に由来することから、コロニー数を数えることで、培養前における検体中の菌量（菌数）を特定できる。

特許文献１には、培地に形成された細菌のコロニーに対して可視光が照射された状態でコロニーを撮影した画像である可視光照射画像を取得する可視光照射画像取得部と、コロニーに対して非可視光が照射された状態でコロニーを撮影した画像である非可視光照射画像を取得する非可視光照射画像取得部と、可視光照射画像と非可視光照射画像とに基づいて、コロニーを形成している細菌を識別するコロニー識別部と、を備えるコロニー識別システムが開示されている。

特許文献２には、光学的に透明な容器に収納された培地上に培養した細菌コロニーを照明する照明手段と、照明光を光学的に透明な容器と培地を透過させて該細菌コロニーを照明する透過照明手段と、各照明手段で照明された細菌コロニーを撮像する撮像手段と、複数の細菌種について複数の培養時間における細菌コロニーの画像及びスペクトルデータを格納したデータベースと、撮像手段で撮像された該細菌コロニーの撮像画像をデータベースに格納された情報と比較して、該細菌コロニーの種類を識別する信号処理部と、を備える細菌コロニーの同定装置が開示されている。

特開２０１２－１３５２４０号公報 特開２０２０－１８２４９号公報

本発明の目的は、マルチコロニーに含まれる複数の菌種を特定することができる菌種同定支援方法、マルチコロニー学習モデルの生成方法、シングルコロニー学習モデルの生成方法、菌種同定支援装置及びコンピュータプログラムを提供することにある。

本態様に係る菌種同定支援方法は、培養された複数種類の細菌によって形成された複数のコロニーが集まってなるマルチコロニーを含む培地の画像を取得し、マルチコロニーを含む画像が入力された場合、画像認識を行い、該マルチコロニーを形成する細菌の種類を示す情報を出力するマルチコロニー学習モデルに、取得した画像を入力することによって、マルチコロニーに含まれる複数の菌種を特定する。

本態様に係るマルチコロニー学習モデルの生成方法は、培養された複数種類の細菌によって形成された複数のコロニーが集まってなるマルチコロニーを含む培地の画像が入力された場合、該マルチコロニーを形成する細菌の種類を示す情報を出力するマルチコロニー学習モデルの生成方法であって、培養された複数の細菌によって形成されたマルチコロニーを含む画像を取得し、取得した画像に、前記複数の細菌の菌種を示す教師データを付与することによって学習用データを作成し、マルチコロニーを含む培地の画像が入力された場合、該画像の教師データが示す複数の菌種が出力されるように、学習モデルを機械学習させる。

本態様に係るシングルコロニー学習モデルの生成方法は、培養された細菌によって形成されたシングルコロニーを含む培地の画像が入力された場合、該シングルコロニーの位置及び該シングルコロニーを形成する菌種を示す情報を出力するシングルコロニー学習モデルの生成方法であって、培養された第１菌種の細菌によって形成されたシングルコロニーを含む第１画像と、培養された第２菌種の細菌によって形成されたシングルコロニーを含む第２画像とを取得し、取得した第１画像及び第２画像を一つのシングルコロニーが含まれる小画像に分割し、第１画像及び第２画像の小画像それぞれに第１菌種を示す教師データ及び第２菌種を示す教師データを付与することによって学習用データを作成し、第１画像の小画像が入力された場合、教師データが示す第１菌種を示す情報を出力し、第２画像の小画像が入力された場合、教師データが示す第２菌種を示す情報を出力するように、学習モデルを機械学習させる。

本態様に係る菌種同定支援装置は、培養された複数種類の細菌によって形成された複数のコロニーが集まってなるマルチコロニーを含む培地の画像を取得する取得部と、マルチコロニーを含む画像が入力された場合、画像認識を行い、該マルチコロニーを形成する細菌の種類を示す情報を出力するマルチコロニー学習モデルとを備え、前記取得部が取得した画像を入力することによって、マルチコロニーに含まれる複数の菌種を特定する。

本態様に係るコンピュータプログラムは、培養された複数種類の細菌によって形成された複数のコロニーが集まってなるマルチコロニーを含む培地の画像を取得し、マルチコロニーを含む画像が入力された場合、画像認識を行い、該マルチコロニーを形成する細菌の種類を示す情報を出力するマルチコロニー学習モデルに、取得した画像を入力することによって、マルチコロニーに含まれる複数の菌種を特定する処理をコンピュータに実行させる。

上記によれば、マルチコロニーに含まれる複数の菌種を特定することができる。

実施形態１に係る菌種同定支援装置の構成例を示すブロック図である。 実施形態１に係る菌種同定支援方法を示す概念図である。 マルチコロニー学習モデルの構成例を示す概念図である。 シングルコロニー学習モデルの構成例を示すブロック図である。 シングルコロニー学習モデルの生成処理手順を示すフローチャートである。 シングルコロニー学習モデル用の学習用データの作成方法を示す概念図である。 マルチコロニー学習モデルの生成処理手順を示すフローチャートである。 マルチコロニー学習モデル用の学習用データの作成方法を示す概念図である。 菌種、その菌種を含む確信度、その菌量の同定の工程概要を示すフローチャートである。 実施形態１に係る菌種同定支援方法に係る画像診断の処理手順を示すフローチャートである。 実施形態１に係る表示処理手順を示すフローチャートである。 結果表示画面の一例を示す模式図である。 所属確率等表示画面の一例を示す模式図である。 マーカ及びマスクの一例を示す模式図である。 実施形態２に係る学習用データの作成方法を示すフローチャートである。 実施形態３に係る菌種同定支援装置の構成例を示すブロック図である。 実施形態３に係る菌種同定支援方法に係る画像診断の処理手順を示すフローチャートである。

本発明の実施形態に係る菌種同定支援方法、マルチコロニー学習モデルの生成方法、シングルコロニー学習モデルの生成方法、菌種同定支援装置及びコンピュータプログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。

（実施形態１）
図１は、実施形態１に係る菌種同定支援装置１の構成例を示すブロック図である。菌種同定支援装置１は、医療機関等で患者から採取された検体に含まれる菌種の同定処理を支援する装置である。検査機関では、検体に含まれる細菌の分離培養が行われる。培養後の培地には、一又は複数の細菌によってシングルコロニー及びマルチコロニーが形成される。シングルコロニーは、培養された一の細菌によって形成される略円形又は棒状のコロニーである。マルチコロニーは、培養された一又は複数種類の細菌によって形成された複数のコロニーが集まってなるコロニーである。本実施形態１に係る菌種同定支援装置１は、少なくともマルチコロニーを含む培地の画像（以下、「培地画像」と呼ぶ。）から、培地上の細菌を精度良く同定するものである。

＜菌種同定支援装置１の構成＞
菌種同定支援装置１は、パーソナルコンピュータ又はサーバ装置等のコンピュータである。菌種同定支援装置１は、演算部１１と、メモリ１２と、記憶部１３と、操作部１４と、表示部１５とを備える。なお、菌種同定支援装置１は、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また。サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、細菌同定支援装置が１台のコンピュータであるものとして説明する。

演算部１１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理装置である。なお、演算部１１は、量子コンピュータを用いて構成してもよい。演算部１１は、記憶部１３に記憶されたコンピュータプログラム１３１を読み出して実行することにより、マルチコロニーに含まれる菌種、その菌種を含む確信度、所属確率、その菌量を特定する等、本実施形態１に係る菌種同定方法を実施する。

メモリ１２は、例えばＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）等の揮発性メモリであり、演算部１１の演算処理を実行する際に記憶部１３から読み出されたコンピュータプログラム１３１、又は演算部１１の演算処理によって生ずる各種データを一時記憶する。

記憶部１３は、例えば、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶装置である。記憶部１３は、演算部１１が実行する各種のプログラム、及び、演算部１１の処理に必要な各種のデータを記憶する。本実施形態１において記憶部１３は、演算部１１が実行するコンピュータプログラム１３１と、培養画像から検体に含まれる細菌の同定を支援するためのシングルコロニー学習モデル２と、マルチコロニー学習モデル３とを記憶する。

コンピュータプログラム１３１は、例えば記録媒体１０にコンピュータ読み取り可能に記録されている。記憶部１３は、図示しない読出装置によって記録媒体１０から読み出されたコンピュータプログラム１３１を記憶する。記録媒体１０はフラッシュメモリ等の半導体メモリ、光ディスク、磁気ディスク、磁気光ディスク等である。また、コンピュータプログラム１３１は、菌種同定支援装置１の製造段階において記憶部１３が記憶する態様でもよい。更に、通信網に接続されている図示しない外部サーバから本実施形態１に係るコンピュータプログラム１３１をダウンロードし、記憶部１３に記憶させる態様であってもよい。

シングルコロニー学習モデル２は、物体検出モデルであり、シングルコロニーを含む培地画像が入力された場合、当該シングルコロニーの位置及び当該シングルコロニーを形成する菌種グループを示す情報を出力する学習済みのモデルである。
マルチコロニー学習モデル３は、画像認識モデルであり、マルチコロニーを含む培地画像が入力された場合、当該マルチコロニーを形成する一又は複数の細菌グループを示す情報を出力する学習済みのモデルである。マルチコロニー学習モデル３は、菌種グループの種類を認識するのみで、マルチコロニーを構成する各コロニーの位置を検出しない。シングルコロニー学習モデル２及びマルチコロニー学習モデル３、並びに菌種グループの詳細は後述する。

操作部１４は、技師等の作業者からの操作を受け付ける入力装置である。入力装置は、例えばキーボード又はポインティングデバイスである。

表示部１５は、培養画像、細菌の同定結果等の情報を出力する出力装置である。出力装置は、例えば液晶ディスプレイ又はＥＬディスプレイである。

＜菌種同定支援方法の概要と学習モデル＞
図２は、実施形態１に係る菌種同定支援方法を示す概念図である。図２中、分割処理部１ａ、形態分類部１ｂ、シングルコロニー学習モデル２、及びマルチコロニー学習モデル３、第１菌量算出部２ａ、第２菌量算出部３ａ、表示処理部４及び修正処理部５は、演算部１１がコンピュータプログラム１３１を実行することによって実現される。

画像処理対象である培地画像は、シングルコロニー及びマルチコロニーが形成された培地の画像であるものとして説明する。

分割処理部１ａは、培地画像を複数の小画像に分割する。分割処理部１ａは、例えば、培地画像を縦横４×４＝１６枚の小画像に分割する。小画像のサイズはＧＰＵのメモリサイズ等の計算機の処理能力の範囲内であれば特に限定されるものでは無いが、１～３個のシングルコロニーが含まれ得るようなサイズが望ましい。各小画像は、例えば矩形の培地画像を格子状に分割したものである。複数の小画像は後段のシングルコロニー学習モデル２及びマルチコロニー学習モデル３に入力可能なサイズの画像である。つまり、小画像のサイズは、小画像を更に縮小処理すること無く、各学習モデルに入力可能な大きさである。各小画像のサイズは異なっていてもよいが、同サイズである方が解析は容易である。

形態分類部１ｂは、複数の小画像を、シングルコロニーを含む小画像と、マルチコロニーを含む小画像とに分類する機能部である。例えば、形態分類部１ｂは、小画像に対して、二値化処理及びエッジ検出及びモルフォロジー処理及びハフ変換等による円検出等の画像処理を施すことによってコロニー部分を抽出し、コロニーに該当する領域の画素数が所定サイズ以上のコロニーが抽出された場合、マルチコロニーを含む小画像に分類し、所定サイズ未満のコロニーのみが抽出された場合、シングルコロニーを含む小画像に分類する。なお、画像処理によるルールベースの形態分類は一例であり、コロニー部分を抽出するように学習されたＵ－Ｎｅｔ、Ｆａｓｔｅｒ ＲＣＮＮ（Regions with Convolutional Neural Network）、ＳＳＤ（Single Shot Multibox Detector）、ＹＯＬＯ（You Only Look Once）等の学習モデル等を用いて、コロニーを検出し、小画像を分類してもよい。形態分類部１ｂでは、菌種を特定する必要は無く、コロニーの検出精度も高精度である必要はない。
分類されたシングルコロニーを含む小画像は、シングルコロニー学習モデル２に入力される。分類されたマルチコロニーを含む小画像は、マルチコロニー学習モデル３に入力される。

シングルコロニー学習モデル２は、シングルコロニーの位置、菌種グループ及び確信度を出力する。第１菌量算出部２ａは、シングルコロニーの菌量を算出する。マルチコロニー学習モデル３は、マルチコロニーに含まれる菌種グループ及び確信度を出力する。第２菌量算出部３ａは、マルチコロニーの菌量を算出する。各学習モデル及び菌量の算出方法の詳細は後述する。

表示処理部４は、培地画像と共に特定された菌種、確信度、菌量等を表示部１５に表示する処理を実行する。修正処理部５は、特定された菌種の修正を受け付ける処理を実行する。

図３は、マルチコロニー学習モデル３の構成例を示す概念図である。マルチコロニー学習モデル３は、マルチコロニーを形成している一又は複数の菌種グループを認識する画像認識モデルであり、コロニーの位置は認識しない。

本実施形態１においてマルチコロニー学習モデル３は、例えば、画像の入力を受け付ける入力層３１と、画像の特徴量を抽出する中間層３２と、小画像に含まれるコロニーを形成する菌種が属する菌種グループを出力する出力層３３とを有するニューラルネットワークである。本実施形態１のマルチコロニー学習モデル３は、ＲｅｓＮｅｔ、ＤｅｎｓｅＮｅｔ等のＣＮＮ（Convolution Neural Network）である。菌種特定支援装置は、ＣＮＮのモデルに対して、マルチコロニーの画像と、菌種グループとの関係を学習するディープラーニングを行うことで、マルチコロニー学習モデル３を生成する。
菌種グループは、本実施形態１に係る菌種同定支援処理の後に行われる生理・生化学的試験等による同定対象と同一の菌グループ名の分類、又は菌種の系統分類における分類が同一となる菌種名の分類である。前者（生理・生化学的試験等による菌グループ）の例は、市販されている細菌同定キットによる同定対象である、グラム陰性菌、グラム陽性球菌、グラム陽性桿菌、嫌気性菌、酵母様真菌、腸内細菌科、ブドウ球菌属、ヘモフィルス属及びナイセリア属及びその類縁菌、のような分類である。後者（系統分類による菌グループ）の例は、属（Genus）や種（Species）のような複数の菌種をまとめた菌グループ名の分類である。例えば、一般的に大腸菌と呼ばれる細菌の属はEscherichiaであり、種はEscherichia coliであり、最小単位は、Escherichia coli O157株のような株（strain）である。
前者は後者よりも多くの菌種を含むことから、菌種同定支援装置１が画像特徴量を学習することが一般的に困難である（すなわち、多くの学習用の画像が必要となる）。一方、後者は、特に属よりも種、種よりも株、を限定することで画像特徴量も限定され、菌種同定支援装置１が画像特徴量を学習することは容易となる（すなわち、学習用の画像は前者よりも少なくなる傾向がある）。従って、複数の菌種を分離できていなければ前者の学習方法で学習し、分類できていれば後者の方法で学習する方が学習効率は良くなる。

ニューラルネットワークの入力層３１は、小画像に係る各画素の画素値の入力を受け付ける複数のノードを有し、入力された画素値を中間層３２に受け渡す。中間層３２は、画像の特徴量を抽出する複数のノードを有し、抽出した特徴量を出力層３３に受け渡す。例えばマルチコロニー学習モデル３がＣＮＮである場合、中間層３２は、入力層３１から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが複数連結された構成を有し、画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。出力層３３は、マルチコロニーに含まれる菌種が属する一又は複数の菌種グループを出力する一又は複数のノードを有する。例えば、出力層３３は、複数の菌種グループそれぞれに対応するノード等を備え、各ノードは、マルチコロニーを形成する菌種が各菌種グループに属する菌種である可能性を示した値（以下、確信度と呼ぶ）を出力する。

なお本実施形態１においては、マルチコロニー学習モデル３がＤｅｎｓｅＮｅｔ等のＣＮＮであるものとするが、モデルの構成はＣＮＮに限るものではない。マルチコロニー学習モデル３は、例えばＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、又は、ＸＧＢｏｏｓｔ等の決定木、等の構成のマルチコロニー学習モデル３であってよい。

なおマルチコロニー学習モデル３から出力される確信度は、マルチコロニー学習モデル３が行う分類タスクにおいて分類指標となる数値であり、０から１までの範囲の実数であるが、マルチコロニーに当該菌種グループに属する菌種が含まれる実際の所属確率とは必ずしも一致していない。そこで、菌種同定支援装置１は、予め記憶する変換関数を用いて確信度を、所属確率に変換するとよい。つまり、確信度を所属確率にキャリブレーションする。
変換関数の作成方法は以下の通りである。まず、複数のマルチコロニーについて、当該マルチコロニーに含まれる菌種が特定の菌種グループに属する確信度の集合から、確信度の度数分布を作成する。例えば、０．１刻みの区間で確信度の度数分布を作成する。一方、上記複数のマルチコロニーについて、当該マルチコロニーに含まれる菌種が特定の菌種グループに属する実際の所属確率、つまり、検査技師の判断に基づく所属確率又は他の検査による確定結果に基づく所属確率を算出する。そして、上記確信度と、所属確率とを関連付ける変換関数を決定する。変換関数は、ロジスティック回帰関数やｉｓｏｔｏｎｉｃ回帰関数等を使用する。このようにして作成された変換関数を用いることによって、確信度の値から所属確率を算出することができる。
後述するシングルコロニー学習モデル２についても、同様にして確信度を所属確率に変換することができる。
なお、特許請求の範囲に記載された確率は、上記確信度及び所属確率の双方を含む概念である。

図４は、シングルコロニー学習モデル２の構成例を示すブロック図である。シングルコロニー学習モデル２は、位置検出部２１と、コロニー領域切り出し部２２、菌種分類部２３とを備える。
位置検出部２１は、小画像に含まれるコロニー画像を検出するＹＯＬＯｖ３、Ｕ－Ｎｅｔ、Ｆａｓｔｅｒ ＲＣＮＮ、ＳＳＤ等の物体検出モデルである。物体検出モデルによって、小画像に含まれる全てのシングルコロニー画像の位置及び範囲が認識され、物体検出モデルは少なくともシングルコロニー画像の位置及び範囲を示す情報を出力する。物体検出モデルはコロニーの菌種を認識する必要は無い。菌種を認識するモデルであっても、その判別精度は特に求められない。物体検出モデルによって検出されたコロニー画像の位置及び範囲は、例えば円形のバウンディングサークル又は矩形のバウンディングボックス（以下、バウンドと呼ぶ）によって囲まれた画像部分として表現される。コロニー形状は通常円形であることから、矩形のバウンディングボックスを用いるよりも、円形のバウンディングサークルを用いた方が、コロニー領域の検出がより正確になりやすい。すなわち、バウンディングサークルではコロニー領域とバウンド領域の重なり割合の指標であるＩＯＵ（Intersection of Union）がより正確な値になるため、物体検出モデルにおける損失関数にＩＯＵを含めることで、コロニーの検出精度を向上させることができる。なお損失関数にＩＯＵを含めた場合、学習工程における損失関数の収束が不良になることが多いが、Ｄｉｓｔａｎｃｅ ＩＯＵ等のような付加項を損失関数に付与することで、確実に、かつ効率的に収束が可能になる。物体検出モデルによって検出されたコロニー画像の位置及び範囲は、コロニー領域切り出し部２２に入力される。

コロニー領域切り出し部２２は、位置検出部２１で検出されたコロニーの中心座標を中心としたバウンディングサークル又はバウンディングボックスで囲まれた画像部分を、小画像から切り出す。切り出す際には、バウンディングサークルの半径又はバウンディングボックスの横幅、縦幅について、検出されたコロニーの大きさよりも、数％より大きな半径又はより大きな横幅、縦幅で切り出してもよい。切り出された画像は矩形の画像形式で保存することが一般的であることから、円形で切り出した場合は、円と内接する正方形の画像として保存する。その際の円の外側の画素値はゼロ（ゼロパディング）や周辺画素値の平均値に設定する。コロニーの大きさがコロニー毎に異なる一方で、後続の菌種分類部２３での処理を効率化するには同じ画像サイズにそろえることが好ましいことから、切り出されたコロニー画像の中で最大の画像サイズ、又は更にそれよりも大きな画像サイズになるように拡大し、すべて同一の画像サイズに統一することで画像特徴量の消失を防ぐと共に、効率的に後続の解析が可能になる。こうして得られたコロニー画像は、菌種分類部２３に入力される。

菌種分類部２３は、シングルコロニーを１つ含み、画像サイズが統一されたコロニー画像が入力された場合、コロニー画像に対する画像認識処理を行い、コロニー画像を形成する菌種を特定するＶＧＧ、ＲｅｓＮｅｔ、ＤｅｎｓｅＮｅｔ等の画像認識モデルである。菌種分類部２３によってコロニーを形成する菌種に係る菌種グループが認識され、少なくともコロニーを形成する菌種グループ、及びこの菌種グループが当該コロニーを形成していることの確信度を示す情報を出力する。菌種分類モデルは、コロニーの菌種が属する菌種グループを認識し、位置は検出しない。

このように構成されたシングルコロニー学習モデル２は、位置検出部２１によって検出されたシングルコロニーの位置と、菌種分類部が認識した菌種グループとを出力する。シングルコロニーの位置は、例えばコロニーの画像部分を囲む円形又は矩形のバウンドとして表現される。物体検出モデルである位置検出部２１と、画像認識モデルである菌種分類部２３とを別に構成することによって、コロニーの位置及び菌種グループを精度良く認識することが可能になる。

なお、上記例では、培地画像を所定サイズの小画像に分割して、シングルコロニー学習モデル２に入力する例を説明したが、位置検出部２１と同様の物体検出モデルを用いて培地画像の含まれるシングルコロニーを検出し、検出された単一のシングルコロニーを含む小画像に分割し、分割された小画像をシングルコロニー学習モデル２に入力するように構成してもよい。この場合、物体検出モデルによってシングルコロニーの位置は特定されているため、シングルコロニー学習モデル２は、シングルコロニーを形成している菌種を認識する処理を実行する。シングルコロニー学習モデル２は、位置検出部２１及びコロニー領域切り出し部２２を備える必要は無い。なお、小画像は、バウンディングサークルで囲まれる円形の画像部分を含む画像であっても良いし、バウンディングボックスで囲まれた矩形の画像部分を含む画像であってもよい。

＜シングルコロニー学習モデル２の生成方法＞
図５は、シングルコロニー学習モデル２の生成処理手順を示すフローチャート、図６は、シングルコロニー学習モデル２用の学習用データの作成方法を示す概念図である。以下の説明では、菌種同定支援装置１がシングルコロニー学習モデル２を機械学習させる例を説明するが、外部の他のコンピュータ又はサーバでシングルコロニー学習モデル２を生成してもよい。

まず、第１菌種グループに属する菌種を培養し、当該菌種が形成したシングルコロニーを含む培地画像（第１画像）を取得する（ステップＳ１１）。第１菌種グループは、例えばグラム陽性球菌である。同様に、第２菌種グループに属する菌種を培養し、当該菌種が形成したシングルコロニーを含む培地画像（第２画像）を取得する（ステップＳ１２）。第２菌種グループは、例えばグラム陰性球菌である。

次いで、図６に示すように、ステップＳ１１及びステップＳ１２で取得した培地画像それぞれを小画像に分割する（ステップＳ１３）。そして、第１菌種グループに属する菌種のシングルコロニーを含む小画像に、コロニーの位置及び第１菌種グループであることを示す教師データを付加し、第２菌種グループに属する菌種のシングルコロニーを含む小画像に、コロニーの位置及び第２菌種グループであることを示す教師データを付加することによって、学習用データを作成する（ステップＳ１４）。具体的な教師データの付加方法は、ステップＳ１３で分割された小画像を大津の手法による画像の二値化及びエッジ検出及び円検出等により、一定サイズの円形領域をコロニーとして機械的にコロニーを認識した上で、各菌種グループの菌種名を付与する機械的な方法と、ステップＳ１３で分割された小画像を検査技師がコロニーを目視確認し、その画像上のコロニー座標及びコロニー直径を各菌種グループの菌種名と共に記録するマニュアルな方法の、大きく２種類ある。機械的な方法を行った上で、マニュアルな方法を実行することで、見逃しや誤りを修正する手順が一般的に効率的である。またマニュアルな方法では、ステップＳ１３で分割された小画像を画面表示した上で、その画面上でコロニーの位置と直径をマウス操作により、マーキングするソフトウェアを作成し、使用することで効率的に教師データを付与できる。なお一度学習用データを作成し、シングルコロニー学習モデル２を生成できれば、それを他の菌種においても応用し（この場合、多くの間違いや見逃しが含まれる）、上記のマニュアルな方法で修正することにより、効率的に教師データを作成することができる。

次いで、ステップＳ１４で作成した学習用データを用いて、物体検出モデル（学習前のシングルコロニー学習モデル２）を機械学習させることによって、シングルコロニー学習モデル２を生成する（ステップＳ１５）。

具体的には、学習用データの小画像が入力された場合、物体検出モデルの出力層３３から出力されるコロニーの位置及び菌種グループと、当該小画像に付された教師データが示すコロニーの位置及び菌種グループとを比較し、出力結果が正解値に近づくように、物体検出モデルのパラメータを最適化する。当該パラメータは、例えば各ノード間の重み（結合係数）などである。パラメータの最適化の方法は特に限定されないが、例えば最急降下法等を用いて各種パラメータの最適化を行う。

以上の処理によって、シングルコロニーを含む小画像が入力された場合に、当該小画像に含まれるシングルコロニーの位置及び菌種グループ及びその菌種グループを含む確信度を特定することが可能なシングルコロニー学習モデル２を生成することができる。シングルコロニー学習モデル２は、マルチコロニーを構成する一又は複数の菌種それぞれが形成するコロニーの位置及び菌種グループは検出できないが、シングルコロニーの位置及び菌種グループを精度良く特定することができる。
通常、機械学習モデルを構築するには、テストデータと同様の訓練データを準備する必要がある。すなわちテストデータとなる患者検体には、複数の菌種が含まれていることから、訓練データとして複数の菌種が混合した検体を培養した培地について、検査技師が菌種を判別するか、他の検査を行うことで菌種を判別した結果が必要となる。これらを準備するには費用と時間がかかることが課題となる。そこで、１つの菌種もしくは１つの菌種グループの細菌を予め分離した上で、その菌を培養することで１つの菌種もしくは１つの菌種グループから構成される複数のシングルコロニーを生成でき、菌種もしくは菌種グループが明白な学習データを容易に大量に生成することができる。
つまり複数の菌種グループから構成される複数のシングルコロニーが含まれる小画像の学習用データでは無く、一つの菌種グループのシングルコロニーが含まれる小画像の学習用データを用いてシングルコロニー学習モデル２を機械学習させることによって、シングルコロニーを効率的に機械学習させることができる。また、シングルコロニー学習モデル２は培地画像をコロニー単位に分割した小画像が入力される構成であるため、上記学習方法が好適であり、シングルコロニー学習モデル２による菌種グループの検出精度を向上させることができる。

本実施形態１に係る菌種同定支援装置１が特定するのは、正確な菌名分類では無く、特定の菌種グループである。後述するように、菌種同定支援装置１の画像処理によって菌種グループを特定した後、生理・生化学的試験、遺伝学的試験、ＭＳ解析等によって、特定された菌種グループの検証及び確定診断が行われる。例えば、同一の生理・生化学的試験等の対象となる菌種Ａ及び菌種Ｂがある場合に、画像診断で菌種Ａ及び菌種Ｂが判別されなくても、後続工程の生理・生化学的試験等で菌種Ａ及び菌種Ｂの確定診断が行われるため、検査結果に全く影響しない。従って、菌種同定支援装置１に求められる分類内容は、正確な菌名分類ではなく、後続の生理・生化学的試験等が同一となる菌種グループ名の分類である。学習用データを正確な菌名ではなく菌種グループ名とすることによって、菌種の分類精度を菌種グループの分類粒度に応じて段階的に向上させることができ、効率的にシングルコロニー学習モデル２を構築することができる。

なお、上記例では、説明を簡単にするために、グラム陽性球菌及びグラム陰性球菌の２種類の菌種グループを機械学習する例を説明したが、言うまでも無く、グラム陽性桿菌、グラム陰性桿菌、その他の菌種グループの培地画像を用いて、シングルコロニー学習モデル２を機械学習させることによって、他の菌種グループを認識するように構成することができる。

また、上記説明では菌種同定支援装置１がシングルコロニー学習モデル２を生成する例を説明したが、外部サーバでシングルコロニー学習モデル２を生成し、シングルコロニー学習モデル２を構成するために必要な各種パラメータを菌種同定支援装置１へ配信するように構成してもよい。菌種同定支援装置１は、外部サーバから配信された各種パラメータをダウンロードし、当該パラメータに基づいてシングルコロニー学習モデル２を構成する。

＜マルチコロニー学習モデル３の生成方法＞
図７は、マルチコロニー学習モデル３の生成処理手順を示すフローチャート、図８は、マルチコロニー学習モデル３用の学習用データの作成方法を示す概念図である。以下の説明では、学習済みのシングルコロニー学習モデル２を用いて、マルチコロニー学習モデル３用の学習用データを作成し、機械学習させる例を説明する。

まず、菌種同定支援装置１は、シングルコロニー及びマルチコロニーを含む培地画像を取得し（ステップＳ３１）、取得した培地画像を小画像に分割する（ステップＳ３２）。

次いで、菌種同定支援装置１は、形態分類部１ｂによって、複数の小画像を、シングルコロニーを含む小画像と、マルチコロニーを含む小画像とに分類する（ステップＳ３３）。そして、菌種同定支援装置１は、図８に示すように、シングルコロニーを含む小画像を、学習済みのシングルコロニー学習モデル２に入力することによって、培地画像に含まれる菌種グループ及びその菌種グループを含む確信度を特定する（ステップＳ３４）。シングルコロニーを形成している菌種は、マルチコロニーも形成していると推定されるため、シングルコロニー学習モデル２によって特定された菌種グループの細菌は、マルチコロニーを構成している菌種の菌種グループと考えられる。

菌種同定支援装置１は、マルチコロニーを含む小画像に、ステップＳ３４で特定された一又は複数の菌種グループを示す教師データを付加することによって、学習用データを作成する（ステップＳ３５）。

次いで、ステップＳ３５で作成した学習用データを用いて、画像認識モデル（学習前のマルチコロニー学習モデル３）を機械学習させることによって、マルチコロニー学習モデル３を生成する（ステップＳ３６）。
具体的には、学習用データの小画像が入力された場合、画像認識モデルの出力層３３から出力される一又は複数の菌種グループと、当該小画像に付された教師データが示す一又は複数の菌種グループとを比較し、出力結果が正解値に近づくように、画像認識モデルのパラメータを最適化する。当該パラメータは、例えばノード間の重み（結合係数）などである。パラメータの最適化の方法は特に限定されないが、例えば最急降下法等を用いて各種パラメータの最適化を行う。

以上の処理によって、マルチコロニーを含む小画像が入力された場合に、当該小画像に含まれるマルチコロニーの菌種グループ及びその菌種グループを含む確信度を特定することが可能なマルチコロニー学習モデル３を生成することができる。マルチコロニー学習モデル３は、マルチコロニーを構成する一又は複数の菌種それぞれが形成するコロニーの位置は検出できないが、マルチコロニーを形成する一又は複数の菌種グループを精度良く認識することができるモデルである。

なお、上記説明では菌種同定支援装置１がマルチコロニー学習モデル３を生成する例を説明したが、外部サーバでマルチコロニー学習モデル３を生成し、マルチコロニー学習モデル３を構成するために必要な各種パラメータを菌種同定支援装置１へ配信するように構成してもよい。菌種同定支援装置１は、外部サーバから配信された各種パラメータをダウンロードし、当該パラメータに基づいてマルチコロニー学習モデル３を構成する。

＜菌種同定支援方法＞
図９は、菌種、その菌種を含む確信度、その菌量の同定の工程概要を示すフローチャートである。検査技師は、医療機関等で患者から採取された検体に含まれる菌種を同定するために、菌種を培養する（ステップＳ５１）。そして、検査技師は、菌種の培養によってコロニーが形成された培地を撮像し（ステップＳ５２）、撮像して得た培地画像を菌種同定支援装置１に入力することによって、菌種グループを特定する画像診断処理を実行させる（ステップＳ５３）。培地画像には、シングルコロニー及びマルチコロニーが含まれているものとする。菌種同定支援装置１の画像診断処理によって、シングルコロニーの位置と、当該シングルコロニーを形成する菌種グループと、その菌種グループを含む確信度及び所属確率と、その菌量が特定される。また、マルチコロニーを形成する一又は複数の菌種グループと、その菌種グループを含む確信度及び所属確率と、その菌量が特定される。

検査技師は、画像診断処理の結果、分離培養の要否を判断する（ステップＳ５４）。例えば、シングルコロニーを形成しておらず、マルチコロニーに含まれていると判定された菌種グループがある場合、検査技師は分離培養が必要と判断する。

分離培養が必要と判断した場合（ステップＳ５４：ＹＥＳ）、検査技師は、マルチコロニーから釣菌して分離培養を行い（ステップＳ５５）、ステップＳ５２の撮像工程に戻る。

分離培養が不要と判定した場合（ステップＳ５４：ＮＯ）、検査技師は、シングルコロニーを釣菌した上で、生理・生化学的試験、遺伝学的試験、ＭＳ解析等によって、画像診断処理結果の検証及び確定診断が行われ、菌種を同定する（ステップＳ５７）。

図１０は、実施形態１に係る菌種同定支援方法に係る画像診断の処理手順を示すフローチャートである。ステップＳ５３において菌種同定支援装置１は、以下の処理を実行する。菌種同定支援装置１は、ステップＳ５２で撮像された培地画像を取得し（ステップＳ７１）、取得した培地画像に対して、ノイズ除去、トリミング等の前処理を実行する（ステップＳ７２）。

次いで、菌種同定支援装置１は、培地画像を小画像に分割し（ステップＳ７３）、分割された複数の小画像を、シングルコロニーを含む小画像と、マルチコロニーを含む小画像とに分類する（ステップＳ７４）。

菌種同定支援装置１は、シングルコロニーを含む小画像をシングルコロニー学習モデル２に入力することによって、シングルコロニーの位置、菌種グループ及びその菌種グループを含む確信度を特定する（ステップＳ７５）。

次いで、菌種同定支援装置１は、上記変換関数を用いて、ステップＳ７５で算出された確信度から所属確率を算出する（ステップＳ７６）。

次いで、菌種同定支援装置１は、培地に含まれる一又は複数のシングルコロニーを形成する菌種の菌量を算出する（ステップＳ７７）。例えば、菌種同定支援装置は、培地画像を分割してなる複数の小画像についてシングルコロニー学習モデルから出力される情報に基づいて、複数の菌種グループ毎にシングルコロニーの数を計数することによって、菌量を算出することができる。一の菌種グループについて、各小画像に含まれるシングルコロニーの数を計数する。そして、各小画像に含まれるシングルコロニーの数を合算することによって、培地画像に含まれる一の菌種グループに属する菌種が形成するシングルコロニーの数を求めることができる。このようにして算出されたシングルコロニーの数は、一の菌種グループに属する菌種の菌量に相当する。一又は複数の他の菌種グループについても同様にして、菌量を求めることができる。

また、菌種同定支援装置１は、マルチコロニーを含む小画像をマルチコロニー学習モデル３に入力することによって、マルチコロニーを形成する一又は複数の菌種グループ及びその菌種グループを含む確信度を特定する（ステップＳ７８）。

次いで、菌種同定支援装置１は、上記変換関数を用いて、ステップＳ７８で算出された確信度から所属確率を算出する（ステップＳ７９）。

次いで、菌種同定支援装置１は、培地に含まれる一又は複数のマルチコロニーを形成する菌種の菌量を算出する（ステップＳ８０）。

例えば、菌種同定支援装置１は、培地画像に含まれるマルチコロニーの面積に基づいて、マルチコロニーを形成する菌種の菌量を推定する。具体的には、菌種同定支援装置１は、マルチコロニーの面積と、菌量とを対応付けた対応表又は関数を記憶しており、菌種同定支援装置１は、当該対応表又は関数を用いて、マルチコロニーの面積から当該マルチコロニーに含まれる菌種の菌量を算出する。マルチコロニーに複数の菌種が含まれている場合、当該複数の菌種が形成するシングルコロニーの割合から、マルチコロニーを形成する各菌種の菌量の総数をその割合に応じて菌種ごとに案分した近似菌量を算出すればよい。
マルチコロニーの面積を用いる方法では、予め菌液濃度を調整した菌液を培地に塗布し、一定の培養時間後においてコロニーが培地表面をカバーする面積を複数測定した上で、菌液濃度と面積の対応表を作成するか、もしくは面積を説明変数とし、菌液濃度を目的変数とする線形回帰式を算出することで、面積から菌液濃度を算出することができる。なお、菌液濃度に検体量を乗算することによって菌量を算出することができる。

また、他の方法として、菌種同定支援装置１は、培地画像におけるシングルコロニーの分布密度に基づいて、マルチコロニーを形成する菌種の菌量を推定する。具体的には、菌種同定支援装置１は、特定の菌種で形成されるシングルコロニーの分布密度と、マルチコロニーを形成する当該菌種の菌量とを対応付けた対応表又は関数を記憶しており、菌種同定支援装置１は、当該対応表又は関数を用いて、シングルコロニーに分布密度から当該マルチコロニーに含まれる菌種の菌量を算出する。
分布密度を用いる方法は、予め菌液濃度を調整した菌液を、白金耳や磁気ビーズ等で培地上に塗布する際に、塗布する経路を毎回同じになるように設定した上で、一定の培養時間後において検出可能なシングルコロニーの数を計数することで、シングルコロニー数と菌液濃度の対応関係（対応表もしくは線形回帰式）を求める方法である。なお、菌液濃度に検体量を乗算することによって菌量を算出することができる。

次いで、菌種同定支援装置１は、菌種又は菌種グループ毎に、ステップＳ７７で算出した菌量と、ステップＳ８０で算出した菌量とを加算することによって、各菌種及び菌種グループの菌量を算出する（ステップＳ８１）。

次いで、菌種同定支援装置１は、常在菌を特定する等の後処理を実行する（ステップＳ８２）。菌種同定支援装置１は、分析対象の検体の種類を受け付ける。菌種同定支援装置１は、検体の種類と、常在菌の種類及び濃度とを対応付けた対応表を記憶している。菌種同定支援装置１は、受け付けた検体の種類をキーにして対応表から、常在菌を特定する。

次いで、菌種同定支援装置１は、画像処理結果を表示部１５に表示する表示処理を実行し（ステップＳ８３）、処理を終える。

図１１は、実施形態１に係る表示処理手順を示すフローチャートである。菌種同定支援装置１は、結果表示画面６を表示部１５に表示する（ステップＳ９１）。

図１２は、結果表示画面６の一例を示す模式図、図１３は、菌種所属確率等表示部６２の一例を示す模式図である。結果表示画面６は、培地画像を表示する培地画像表示部６１と、特定された菌種グループ、所属確率及び菌量等を表示する菌種所属確率等表示部６２、特定された菌種を修正するための修正操作部６３を含む。

菌種所属確率等表示部６２は、図１３に示すように、シングルコロニー又はマルチコロニーを形成する複数の菌種グループの菌種名を一覧で表示する。各菌種名には、当該菌種グループの所属確率表示部、菌量、菌量の割合を対応付けて表示する。
所属確率表示部は、０～１の値を示すスケールバーを含む。スケールバーには、当該菌種グループの所属確率の最大値を示す画像、例えば上矢印画像が表示される。また、スケールバーには、マーク又はマスクするシングルコロニーの対象を指定するための指定確率を示す下矢印画像が表示される。ユーザは、下矢印画像を左右にスライドさせることによって、指定確率を変更することができる。更に、スケールバーには、培地画像に含まれるコロニーを形成する各菌種グループの所属確率の度数分布が表示される。

また、菌種所属確率等表示部６２は、各菌種名に対応付けて、在来菌であるか否かを示すチェックボックを表示する。ステップＳ８２で在来菌であると特定された菌種についてはチェックボックにチェック画像が表示される。ユーザは、手動操作で、在来菌であるか否かを示すチェックボックにチェックを付加したり、チェックを外したりし、チェック内容を記録することができる。

更に、菌種所属確率等表示部６２は、各菌種名に対応付けて、特定のシングルコロニーにマーク画像６１ａ又はマスク画像６１ｂ，６１ｃを表示するための「表示（低確率）」で表される第１チェックボックと、「表示（高確率）」で表される第２チェックボックとを表示する。第１チェックボタンにチェックが付された場合、指定確率以下の所属確率を有する菌種グループの菌種で形成されたシングルコロニーにマーク画像６１ａ等が表示される。第２チェックボタンにチェックが付された場合、指定確率以上の所属確率を有する菌種グループの菌種で形成されたシングルコロニーにマーク画像６１ａ等が表示される。第１及び第２チェックボックスのチェックが外された場合、マーク画像６１ａ等が表示されなくなる。

更にまた、菌種所属確率等表示部６２は、各菌種名に対応付けて、第１チェックボックス又は第２チェックボックスをチェックした際に表示されるマーク又はマスク等の表示態様を指定するための、「ハイライト」、「マスク（他）」、「マスク（標的）」で表される複数のチェックボックスを表示する。

図１４は、マーカ及びマスクの一例を示す模式図である。「ハイライト」のチェックボタンがチェックされた場合、菌種同定支援装置１は、図１４Ａに示すように、指定確率以上又は指定確率未満の所属確率を有するシングルコロニーを囲むマーク画像６１ａが培地画像に表示する。「マスク（他）」のチェックボタンがチェックされた場合、菌種同定支援装置１は、図１４Ｂに示すように、指定確率以上又は指定確率未満の所属確率を有するシングルコロニー以外の画像部分をマスクするマスク画像６１ｂが表示する。「マスク（標的）」のチェックボタンがチェックされた場合、菌種同定支援装置１は、図１４Ｃに示すように、指定確率以上又は指定確率未満の所属確率を有するシングルコロニーをマスクするマスク画像６１ｃを表示する。

図１１に戻り、ステップＳ９１の処理を終えた菌種同定支援装置１は、上記の通り、菌種所属確率等表示部６２に、シングルコロニー及びマルチコロニーを形成する菌種が属する菌種グループの菌種名、所属確率、菌量等を表示する（ステップＳ９２）。

菌種同定支援装置１は、枠画像で表示している菌種グループの菌種名について、その菌量もしくは全菌量における菌量の割合を降順又は昇順でリスト表示することで、検査技師は検体に含まれる菌種グループの割合を容易に把握することができる。特にシングルコロニーとマルチコロニーを形成する菌種グループを把握することで、ステップＳ５４における分離培養の必要性の判断が容易になり、菌種判定の間違いの防止にも役立つ。

患者が感染している細菌を特定する解析を行う上で、常在菌の存在が妨げとなる場合があることから、必要に応じて一定数の菌量以下の常在菌は表示しない設定とする。常在菌は、例えば、喀痰検体におけるα―Ｓｔｒｅｐｔｏｃｏｃｃｕｓや、鼻汁におけるコアグラーゼ陰性ブドウ球菌等、複数が知られている。菌量が多い場合には常在菌と判断しない場合があるため、検体材料、菌量、菌種の組み合わせにより、常在菌かどうか判断し（ステップＳ８２において特定）、常在菌については上記の枠画像の色等を他の菌種グループとは異なる設定とすることで、解析の妨げにならないような表示設定とする。

ステップＳ９２の処理を終えた菌種同定支援装置１は、菌種所属確率等表示部６２のスケールバーに表示する下矢印画像で、指定確率を受け付ける（ステップＳ９３）。また、菌種同定支援装置１は、「ハイライト」、「マスク（他）」、「マスク（標的）」のチェックボックスで、表示態様を受け付ける（ステップＳ９４）。そして、菌種同定支援装置１は、受け付けた指定確率及び表示対応に応じたマーク画像６１ａ又はマスク画像６１ｂ，６１ｃを培地画像に重畳して表示する（ステップＳ９５）。

菌種同定支援装置１は、ステップＳ７５の処理によって特定されたシングルコロニーの位置を、小画像分割前の培地画像における位置に変換する処理を実行する。

そして、菌種同定支援装置１は、培地画像に、ステップＳ７５等の処理結果を示す画像を重畳し、又は並べて表示する。例えば、菌種同定支援装置１は、シングルコロニーの位置及び大きさ及び菌種グループを示す円形又は矩形のバウンドを、培地画像に重畳して表示する。バウンドは、シングルコロニーの画像部分を囲む円形又は矩形の枠画像と、菌種グループを示す文字又は記号又は枠画像の色又は枠画像の内側の領域について菌種グループを示す透過色とを含む。また、菌種同定支援装置１は、マルチコロニーの画像部分又はその近傍に、マルチコロニーを形成する一又は複数の菌種グループを示す文字又は記号又は枠画像の色又は枠画像の内側の領域について菌種グループを示す透過色を表示する。菌種グループを示す枠画像の色又は透過色は、ステップＳ７５及びステップＳ７６の処理で出力された、各コロニーの菌種グループの確信度や所属確率に応じて色の濃淡や青から赤へのグラデーション等を設定すると共に、設定した閾値よりも大きいもしくは小さい確信度や所属確率についてトグルボタンによって枠画像の色又は透過色の表示の有無を切り替え可能な設定とする。

また、菌種同定支援装置１は、修正操作部６３にて特定された菌種の修正を受け付ける（ステップＳ９６）。

例えば、菌種同定支援装置１は、培地画像上の特定のシングルコロニー画像の選択を受け付ける。例えば、マウスポインタによるダブルクリックによって、ユーザは特定のシングルコロニー画像を選択することができる。特定のシングルコロニー画像が選択された場合、図１２に示すように菌種同定支援装置１は、修正操作部６３を表示する。

修正操作部６３は、確認チェックボックスと、選択されたシングルコロニーを形成し得る複数の菌種グループの菌種名と、各菌種グループがシングルコロニーを形成している確信度又は所属確率とを表示する。また、修正操作部６３は、リスト表示された菌種名以外の菌種菌種グループの名称を入力さるための菌種名入力部を表示する。

菌種同定支援装置１による菌種の推定を１次読影とした場合、その結果を確認する検査技師は２次読影に相当するが、２次読影を行う検査技師は修正操作部６３で、候補となる菌種名、確信度又は所属確率を確認することができる。検査技師は、コロニー画像と菌種名との対応関係が正しいことを確認し、確認チェックボタンを操作することによって、検査技師による確認履歴を記憶させることができる。検査技師は、シングルコロニー学習モデル２によって特定された確信度が最も高い菌種名と異なる菌種名の確認チェックボタンがチェックすることによって、菌種名の修正を指示することができる。また、検査技師は、修正操作部６３にリスト表示されていない菌種名を菌種名入力部に入力することができる。菌種名入力部は、例えばプルダウンリストであり、検査技師はプルダウンリストに一覧表示された菌種のなかから適当な菌種を選択することができる。

また菌種名入力部に対応付けて確認チェックボタンを表示してもよい。他の検査技師が３次読影を行う際、菌種名入力部が正しいと判断した場合に当該チェックボタンにチェックを入れることができる。

菌種同定支援装置１は、ステップＳ９６で受け付けた２次読影の確認結果、菌種同定支援装置は特定された菌種の変更内容を記憶する（ステップＳ９７）。

このように構成された菌種同定支援装置１等によれば、マルチコロニーに含まれる複数の菌種グループ、その菌種グループを含む確信度及び所属確率、並びに菌量を特定することができる。また、シングルコロニーを形成する菌種グループ、その菌種グループを含む確信度及び所属確率、並びに菌量を特定することができる。

一般的に撮像装置により高解像度の画像を取得できる一方で、画像検出や分類に必要な計算機のメモリやＧＰＵ等の処理能力は、相対的に低く、計算機処理のボトルネックになりやすい。そこで、一般的には培地画像を縮小することで計算機処理を可能にしているが、この場合、菌種同定上の重要な画像特徴量が失われる場合がある。そのため本実施形態１では、培地画像を縮小することなく、複数の小画像に分割し、当該小画像をシングルコロニー学習モデル２及びマルチコロニー学習モデル３に入力することによって、検出精度を向上させることができる。

シングルコロニー学習モデル２は、主にコロニーの位置検出を行う位置検出部２１と、画像認識によりコロニーを形成する菌種グループ及びその菌種グループを含む確確信を特定する菌種分類部２３とを備え、検出処理と分類処理とを独立させることによって、菌種グループの特定精度を向上させることができる。

また、シングルコロニー学習モデル２及びマルチコロニー学習モデル３は、正確な菌名分類では無く、菌種グループを特定するように構成することにより、菌種の分類精度を向上させることができる。

更に、本実施形態１では、図６に示すように複数の菌種グループを個別に培養して学習用データを作成し、シングルコロニー学習モデル２を学習させる。従って、シングルコロニー学習モデル２用の学習用データを容易に作成することができる。また、シングルコロニー学習モデル２には、シングルコロニーを含む小画像を入力するように構成することにより、上記の学習用データを用いて生成されたシングルコロニー学習モデル２は、高精度でシングルコロニーの位置及び菌種グループ、その菌種グループを含む確信度を特定することができる。精度良く特定された確信度により、高精度の所属確率を算出することができる。また、精度良く特定されたシングルコロニーの位置及び菌種グループ、その菌種グループを含む確信度により、その菌量も精度良く算出することができる。

更にまた、本実施形態１では、図８に示すように、シングルコロニー学習モデル２を利用することによって、マルチコロニー学習モデル３用の学習用データを容易に作成することができる。
なお、実施形態１では、菌種グループを同定する例を説明したが、菌種を特定するように構成してもよい。

（実施形態２）
実施形態２に係る菌種同定支援装置１は、学習用データの作成方法が実施形態１と異なる。菌種同定支援装置１のその他の構成は、実施形態１に係る菌種同定支援装置１と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

図１５は、実施形態２に係る学習用データの作成方法を示すフローチャートである。実施形態２では、検査技師は、学習用データを作成するために、複数種類の菌種グループの単独培養を開始し（ステップＳ２１１）、第１時点で培地画像を撮像する（ステップＳ２１２）。第１時点は、シングルコロニーが形成される初期段階に相当する時点である。この時点では、培地画像におけるシングルコロニーの中心位置を精度良く検出することができるが、菌種グループの特定は難しい。

菌種同定支援装置１は第１時点で撮像された培地画像を取得し（ステップＳ２１３）し、取得した培地画像に基づいてシングルコロニーの中心位置を検出する（ステップＳ２１４）。

次いで、検査技師は、第２時点で培地画像を撮像する（ステップＳ２１５）。第２時点は、シングルコロニーが十分な大きさになり、菌種グループが特定可能になる時点である。第２時点では、マルチコロニーは形成されていない。

菌種同定支援装置１は第２時点で撮像された培地画像を取得し（ステップＳ２１６）、シングルコロニーの菌種グループ及び所属確率を特定する（ステップＳ２１７）。

次いで、検査技師は、第３時点で培地画像を撮像する（ステップＳ２１８）。第３時点は、マルチコロニーが形成される。

菌種同定支援装置１は第３時点で撮像された培地画像を取得し（ステップＳ２１９）、マルチコロニーの画像部分を特定し、当該画像部分を小画像に分割することによって、マルチコロニーの小画像を作成する（ステップＳ２２０）。

菌種同定支援装置１は、マルチコロニーを含む小画像に、ステップＳ２１７で特定された一又は複数の菌種グループを示す教師データを付加することによって、学習用データを作成する（ステップＳ２２１）。

なお、第３時点で、菌種グループを特定できるサイズのシングルコロニーに成長する可能性もある。そこで、ステップＳ２１７で特定した菌種グループに、第３時点の培地画像に基づいて特定される菌種グループを加えたものを教師データとして、マルチコロニーの小画像に付加するようにしてもよい。
ここでシングルコロニーの菌種グループの特定に使用できる培地画像は、第１時点、第２時点、第３時点の３種類あるため、いずれにおいてもシングルコロニーの位置及び菌種グループを推定し、推定された菌種グループの所属確率を複数の時点で比較することで、最も高い所属確率をもつ菌種グループ名をその位置のシングルコロニーの菌種グループ名として採用してもよい。

次いで、ステップＳ２２１で作成した学習用データを用いて、画像認識モデル（学習前のマルチコロニー学習モデル３）を機械学習させることによって、マルチコロニー学習モデル３を生成する（ステップＳ２２２）。

実施形態２に係る菌種同定支援装置１によれば、マルチコロニー学習モデル３用の教師データの精度、即ち菌種グループの正確性を向上させることができる。従って、マルチコロニー学習モデル３の認識精度を向上させることができ、菌種同定支援装置１は、マルチコロニーに含まれる一又は複数の菌種グループをより精度良く特定することができる。また、第３時点のマルチコロニーに含まれるシングルコロニー（第１時点）の数が計数され、第３時点のマルチコロニーを形成する菌種が特定（第２時点）されることから、第３時点のマルチコロニーを形成したシングルコロニーを菌種ごとに計数できる。更にこの数に対して、第３時点でマルチコロニーを形成していないシングルコロニーについて、菌種ごとに計数したものを加えることで、培地に塗布された時点における、検体中の、菌種ごとの菌量（菌数）を特定することができる。なお検体を培地に塗布する前に、検体を希釈した場合には、その希釈率の逆数を乗算することで、検体中の菌種毎の菌量の濃度を特定することができる。

なお、ここではマルチコロニー学習モデル３の生成方法を説明したが、ステップＳ２１４及びステップＳ２１７で検出及び特定されたシングルコロニーの位置及び菌種グループを教師データとして用いて、シングルコロニー学習モデル２を機械学習させてもよい。

（実施形態３）
実施形態３に係る菌種同定支援装置３０１は、マルチコロニー学習モデル３の構成が実施形態１と異なる。菌種同定支援装置３０１のその他の構成は、実施形態１に係る菌種同定支援装置１と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

図１６は、実施形態３に係る菌種同定支援装置３０１の構成例を示すブロック図である。実施形態３に係る菌種同定支援装置３０１の記憶部１３は、第１マルチコロニー学習モデル３０３ａと、第２マルチコロニー学習モデル３０３ｂとを備える。

第１マルチコロニー学習モデル３０３ａは、実施形態１のマルチコロニー学習モデル３と同様の画像認識モデルであり、マルチコロニーに含まれる一又は複数の菌種グループ及びその確信度を精度良く特定するものである。

第２マルチコロニー学習モデル３０３ｂは、ＹＯＬＯｖ３、Ｕ－Ｎｅｔ、Ｆａｓｔｅｒ ＲＣＮＮ、ＳＳＤ等の物体検出モデル又は画像セグメンテーションモデルであり、マルチコロニーを形成する複数のコロニー領域を検出し、各コロニーを形成している菌種グループとその確信度とを算出するものである。第２マルチコロニー学習モデル３０３ｂによって検出されたコロニー画像の位置及び領域は、例えば円形又は矩形のバウンド、又は不定形の境界線によって囲まれた画像部分として表現される。但し、第２マルチコロニー学習モデル３０３ｂの領域検出精度、菌種グループの特定精度は、シングルコロニー学習モデル２又は第１マルチコロニー学習モデル３０３ａに比べて、学習すべき画像特徴量が複雑になりやすいため、低くなりやすい。

第２マルチコロニー学習モデル３０３ｂの生成方法は以下の通りである。マルチコロニーを含む培地画像を小画像に分割する。そして、小画像に含まれるコロニーの領域及び菌種グループを示す教師データを小画像に付加することによって、学習用データを作成する。教師データは、培地画像及び小画像を確認してマニュアルで作成される。次いで、作成した学習用データを用いて、物体検出モデル（学習前の第２マルチコロニー学習モデル３０３ｂ）を機械学習させることによって、第２マルチコロニー学習モデル３０３ｂを生成する。

図１７は、実施形態３に係る菌種同定支援方法に係る画像診断の処理手順を示すフローチャートである。実施形態３に係る菌種同定支援装置３０１は、実施形態１のステップＳ７１～ステップＳ７７と同様の処理をステップＳ３７１～ステップＳ３７５で実行する。ただし、図１７においては、所属確率及び菌量の算出処理の図示を省略している。

次いで、菌種同定支援装置３０１は、マルチコロニーを含む小画像を第１マルチコロニー学習モデル３０３ａに入力することによって、マルチコロニーを形成する一又は複数の菌種グループ及びその菌種グループを含む確信度を特定する（ステップＳ３７６）。また、図１７では省略しているが、実施形態１同様、所属確率及び菌量を算出する。

そして、菌種同定支援装置３０１は、ステップＳ３７５及びステップＳ３７６の特定結果に基づいて、シングルコロニーに含まれず、マルチコロニーに含まれる菌種グループの有無を判定する（ステップＳ３７７）。次いで、菌種同定支援装置３０１は、マルチコロニーを含む小画像を第２マルチコロニー学習モデル３０３ｂに入力することによって、マルチコロニーを形成する各コロニーの位置及び菌種グループ及びその確信度又は所属確率を特定する（ステップＳ３７８）。ステップＳ３７８の処理は、シングルコロニーに含まれず、マルチコロニーに含まれる菌種グループが存在する場合にのみ実行してもよい。なおステップＳ３７７で得られた、シングルコロニーに含まれず、マルチコロニーに含まれる菌種グループが真に存在するかどうかは、その候補となる菌種グループを別途に分離培養し、シングルコロニーとして単離した後、実施形態１の方法によって、そのシングルコロニーの菌種グループを特定することによって確定できる。ステップＳ３７７における出力データをこの確定した菌種グループに入れ替えることで、第２マルチコロニー学習モデル３０３ｂの判別精度を高めることができる。

菌種同定支援装置３０１は、常在菌を特定する等の後処理を実行し（ステップＳ３７９）、画像処理結果を表示部１５に表示し（ステップＳ３８０）、処理を終える。

例えば、菌種同定支援装置３０１は、ステップＳ３７７の判定結果と共に、ステップＳ３７８で特定された、マルチコロニーを形成するコロニーの位置及び菌種グループの情報を表示部１５に表示するとよい。具体的には、菌種同定支援装置３０１は、マルチコロニーの画像部分又はその近傍に、第１マルチコロニー学習モデル３０３ａによる認識結果として、マルチコロニーを形成する一又は複数の菌種グループを示す文字、記号、枠画像の色又は枠画像の内側の領域について、その菌種グループを示す透過色を表示すると共に、第２マルチコロニー学習モデル３０３ｂによる認識結果として、マルチコロニーを形成する複数のコロニーを囲む不定形の領域（以下、不定形のバウンドと呼ぶ）を表示するとよい。当該領域は、マルチコロニーを形成する各コロニーの画像部分を囲む枠画像と、菌種グループを示す文字又は記号又は枠画像の色又は枠画像の内側の領域について、菌種グループを示す透過色とを含む。なお、全てのコロニーを不定形のバウンドで囲む必要は無く、一部のコロニーについて不定形のバウンドを表示すればよい。また、菌種同定支援装置３０１は、シングルコロニーに含まれず、マルチコロニーに含まれる菌種グループを示す不定形のバウンドを選択的に培地画像に重畳させて表示させてもよい。

検査技師は、菌種同定支援装置３０１の出力結果を参考にして、マルチコロニーに埋もれ十分に分離及び同定されていない菌種グループについて、マルチコロニーから釣菌して分離培養を行うことができる。具体的には、ステップＳ３７７の判定結果により、検査技師は、シングルコロニーに含まれず、マルチコロニーに埋もれている菌種グループが存在する可能性を確認することができる。また、ステップＳ３７８の特定結果により、このような菌種グループの存在位置を推定することができる。

上記説明に加え、更に以下の項を付記する。
（付記１）
培養された複数種類の細菌によって形成された複数のコロニーが集まってなるマルチコロニーを含む培地の画像を取得し、
マルチコロニーを含む画像が入力された場合、画像認識を行い、該マルチコロニーを形成する細菌の種類を示す情報を出力するマルチコロニー学習モデルに、取得した画像を入力することによって、マルチコロニーに含まれる複数の菌種を特定する
菌種同定支援方法。

（付記２）
培養された細菌によって形成されたシングルコロニーと、培養された複数種類の細菌によって形成された複数のコロニーが集まってなるマルチコロニーとを含む培地の画像を取得し、
シングルコロニーを含む画像が入力された場合、該シングルコロニーの位置及び該シングルコロニーを形成する菌種を示す情報を出力するシングルコロニー学習モデルに、取得した画像を入力することによって、シングルコロニーの位置及び菌種を特定し、
前記マルチコロニー学習モデルに、取得した画像を入力することによって、マルチコロニーに含まれる複数の菌種を特定する
付記１に記載の菌種同定支援方法。

（付記３）
前記マルチコロニー学習モデルは、マルチコロニーを構成する複数の菌種のコロニーの位置を認識せず、マルチコロニーに含まれる複数の菌種を示す情報を出力する
付記２に記載の菌種同定支援方法。

（付記４）
取得した培地の画像を複数の小画像に分割し、
分割された小画像を前記シングルコロニー学習モデルに入力することによって、シングルコロニーの位置及び菌種を特定する
付記２又は付記３に記載の菌種同定支援方法。

（付記５）
前記シングルコロニー学習モデルは、
物体検出モデルを用いてシングルコロニーの位置及び大きさを検出し、
単一のシングルコロニーを含む画像を切り出し、
切り出された画像を画像認識モデルに入力することによって、シングルコロニーの菌種を特定する
付記２から付記４のいずれか一つに記載の菌種同定支援方法。

（付記６）
取得した培地の画像を単一のシングルコロニーを含む複数の小画像に分割し、
分割された小画像を前記シングルコロニー学習モデルに入力することによって、シングルコロニーの位置及び菌種を特定する
付記２又は付記３に記載の菌種同定支援方法。

（付記７）
特定されたシングルコロニーよりも大きなコロニーをマルチコロニーとして特定し、
特定されたマルチコロニーの画像を前記マルチコロニー学習モデルに入力することによって、マルチコロニーに含まれる複数の菌種を特定する
付記６に記載の菌種同定支援方法。

（付記８）
前記シングルコロニー学習モデルが出力する菌種を示す情報は、特定の菌種のグループを示す情報である
付記２から付記７のいずれか一つに記載の菌種同定支援方法。

（付記９）
シングルコロニーを形成するものとして特定された菌種が、該シングルコロニーを形成している確率を特定する
付記２から付記８のいずれか一つに記載の菌種同定支援方法。

（付記１０）
特定された菌種及び前記確率を表示する
付記９に記載の菌種同定支援方法。

（付記１１）
指定確率を受け付け、
培地の画像と共に、受け付けた指定確率以上若しくは指定確率以下の前記確率を有するシングルコロニーをマークする画像、指定確率以上若しくは指定確率以下の前記確率を有するシングルコロニー以外の画像をマスクする画像、又は指定確率以上若しくは指定確率以下の前記確率を有するシングルコロニーをマスクする画像を表示する
付記１０に記載の菌種同定支援方法。

（付記１２）
培地に含まれる一又は複数のシングルコロニーを形成する菌種の菌量を算出する
付記２から付記１１のいずれか一つに記載の菌種同定支援方法。

（付記１３）
マルチコロニーを形成するものとして特定された前記複数の菌種が、該マルチコロニーを形成している確率を算出する
付記１から付記１２のいずれか一つに記載の菌種同定支援方法。

（付記１４）
培地に含まれる一又は複数のマルチコロニーを形成する菌種の菌量を算出する
付記１から付記８のいずれか一つに記載の菌種同定支援方法。

（付記１５）
特定された菌種の種類の修正を受け付け、
修正を受け付けた場合、特定された菌種の種類を変更する
付記１から付記１４のいずれか一つに記載の菌種同定支援方法。

（付記９）
培養された細菌によって形成されたシングルコロニーを含む培地の画像が入力された場合、該シングルコロニーの位置及び該シングルコロニーを形成する菌種を示す情報を出力するシングルコロニー学習モデルの生成方法であって、
培養された第１菌種の細菌によって形成されたシングルコロニーを含む第１画像と、培養された第２菌種の細菌によって形成されたシングルコロニーを含む第２画像とを取得し、
取得した第１画像及び第２画像を一つのシングルコロニーが含まれる小画像に分割し、
第１画像及び第２画像の小画像それぞれに第１菌種を示す教師データ及び第２菌種を示す教師データを付与することによって学習用データを作成し、
第１画像の小画像が入力された場合、教師データが示す第１菌種を示す情報を出力し、第２画像の小画像が入力された場合、教師データが示す第２菌種を示す情報を出力するように、学習モデルを機械学習させる
シングルコロニー学習モデルの生成方法。

１ 菌種同定支援装置
１ａ 分割処理部
１ｂ 形態分類部
２ シングルコロニー学習モデル
２ａ 第１菌量算出部
３ マルチコロニー学習モデル
３ａ 第２菌量算出部
４ 表示処理部
５ 修正処理部
６ 結果表示画面
１０ 記録媒体
１１ 演算部
１２ メモリ
１３ 記憶部
１４ 操作部
１５ 表示部
２１ 位置検出部
２２ 菌種分類部
６１ 培地画像表示部
６２ 菌種所属確率等表示部
６３ 修正操作部
１３１ コンピュータプログラム
３０３ａ 第１マルチコロニー学習モデル
３０３ｂ 第２マルチコロニー学習モデル

Claims (11)

1. 培養された細菌によって形成されたシングルコロニーと、培養された複数種類の細菌によって形成された複数のコロニーが集まってなるマルチコロニーとを含む培地の画像を取得し、
   取得した培地の画像をシングルコロニーを含む複数の小画像に分割し、
   シングルコロニーを含む画像が入力された場合、該シングルコロニーの位置及び該シングルコロニーを形成する菌種を示す情報を出力するシングルコロニー学習モデルに、分割された小画像を入力することによって、シングルコロニーの位置及び菌種を特定し、
   特定されたシングルコロニーよりも大きなコロニーをマルチコロニーとして特定し、
   マルチコロニーを含む画像が入力された場合、画像認識を行い、マルチコロニーを構成する複数の菌種のコロニーの位置を認識せずに、マルチコロニーに含まれる複数の菌種を示す情報を出力するマルチコロニー学習モデルに、特定されたマルチコロニーの画像を入力することによって、マルチコロニーに含まれる複数の菌種を特定する
   菌種同定支援方法。
2. 取得した培地の画像を複数の小画像に分割し、
   分割された小画像を前記シングルコロニー学習モデルに入力することによって、シングルコロニーの位置及び菌種を特定する
   請求項１に記載の菌種同定支援方法。
3. 前記シングルコロニー学習モデルは、
   物体検出モデルを用いてシングルコロニーの位置及び大きさを検出し、
   単一のシングルコロニーを含む画像を切り出し、
   切り出された画像を画像認識モデルに入力することによって、シングルコロニーの菌種を特定する
   請求項１又は請求項２に記載の菌種同定支援方法。
4. 前記シングルコロニー学習モデルが出力する菌種を示す情報は、特定の菌種のグループを示す情報である
   請求項１から請求項３のいずれか１項に記載の菌種同定支援方法。
5. シングルコロニーを形成するものとして特定された菌種が、該シングルコロニーを形成している確率を特定する
   請求項１から請求項４のいずれか１項に記載の菌種同定支援方法。
6. 特定された菌種及び前記確率を表示する
   請求項５に記載の菌種同定支援方法。
7. 指定確率を受け付け、
   培地の画像と共に、受け付けた指定確率以上若しくは指定確率以下の前記確率を有するシングルコロニーをマークする画像、指定確率以上若しくは指定確率以下の前記確率を有するシングルコロニー以外の画像をマスクする画像、又は指定確率以上若しくは指定確率以下の前記確率を有するシングルコロニーをマスクする画像を表示する
   請求項６に記載の菌種同定支援方法。
8. マルチコロニーを形成するものとして特定された前記複数の菌種が、該マルチコロニーを形成している確率を算出する
   請求項１から請求項７のいずれか１項に記載の菌種同定支援方法。
9. 特定された菌種の種類の修正を受け付け、
   修正を受け付けた場合、特定された菌種の種類を変更する
   請求項１から請求項８のいずれか１項に記載の菌種同定支援方法。
10. 培養された細菌によって形成されたシングルコロニーと、培養された複数種類の細菌によって形成された複数のコロニーが集まってなるマルチコロニーとを含む培地の画像を取得する取得部と、
    シングルコロニーを含む画像が入力された場合、該シングルコロニーの位置及び該シングルコロニーを形成する菌種を示す情報を出力するシングルコロニー学習モデルと、
    マルチコロニーを含む画像が入力された場合、画像認識を行い、マルチコロニーを構成する複数の菌種のコロニーの位置を認識せずに、マルチコロニーに含まれる複数の菌種を示す情報を出力するマルチコロニー学習モデルと、
    演算部と
    を備え、
    前記演算部は、
    前記取得部が取得した培地の画像をシングルコロニーを含む複数の小画像に分割し、
    前記シングルコロニー学習モデルに、分割された小画像を入力することによって、シングルコロニーの位置及び菌種を特定し、
    特定されたシングルコロニーよりも大きなコロニーをマルチコロニーとして特定し、
    前記マルチコロニー学習モデルに、特定されたマルチコロニーの画像を入力することによって、マルチコロニーに含まれる複数の菌種を特定する
    菌種同定支援装置。
11. 培養された細菌によって形成されたシングルコロニーと、培養された複数種類の細菌によって形成された複数のコロニーが集まってなるマルチコロニーとを含む培地の画像を取得し、
    取得した培地の画像をシングルコロニーを含む複数の小画像に分割し、
    シングルコロニーを含む画像が入力された場合、該シングルコロニーの位置及び該シングルコロニーを形成する菌種を示す情報を出力するシングルコロニー学習モデルに、分割された小画像を入力することによって、シングルコロニーの位置及び菌種を特定し、
    特定されたシングルコロニーよりも大きなコロニーをマルチコロニーとして特定し、
    マルチコロニーを含む画像が入力された場合、画像認識を行い、マルチコロニーを構成する複数の菌種のコロニーの位置を認識せずに、マルチコロニーに含まれる複数の菌種を示す情報を出力するマルチコロニー学習モデルに、特定されたマルチコロニーの画像を入力することによって、マルチコロニーに含まれる複数の菌種を特定する
    処理をコンピュータに実行させるためのコンピュータプログラム。

Images