JP7247352B2

JP7247352B2 - 医療用途における機械学習位置特定モデルの対話式陰性説明のためのシステム、ユーザインターフェース、および方法

Info

Publication number: JP7247352B2
Application number: JP2021540194A
Authority: JP
Inventors: マルチン・シエニエク
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2019-01-11
Filing date: 2019-10-10
Publication date: 2023-03-28
Anticipated expiration: 2039-10-10
Also published as: CN113272915A; US11934634B2; CN113272915B; US20220121330A1; JP2022516805A; US20200225811A1; AU2019420099A1; EP3909059B1; EP3909059A1; US10936160B2; WO2020146024A1

Description

優先権
本出願は、2019年1月11日に出願された米国特許出願第16/246,156号の優先権の利益を主張する。

本開示は、機械学習位置特定モデルによって生成された陰性予測を対話式に評価するためのシステム、ユーザインターフェース、および方法に関する。本開示の教示は、顕微鏡スライド検査、マンモグラムでの乳癌や他の放射線モダリティ(例えばX線、CT、MRI)での他のタイプの癌の診断、写真画像(皮膚科学)、さらに他のものなどの機械学習医療用途を含む、さまざまな分野に応用される。本教示は、冶金、部品検査、半導体製造、およびその他など、他の分野にも用途を有し、その場合、機械学習位置特定モデルは、入力画像データセットに基づいて予測を行うことになり、予測が陰性であり、ユーザはモデルにさらに問合せしようと試みる。

いくつかの医療用途への機械学習モデルの使用については、特許文献および技術文献に記載されている。一例では、そのようなモデルは、病理医が患者のまたは患者から得られた標本の2Dまたは3Dボリューム画像中の疾患の存在を特定するのを支援するために開発されている。例えば、病理医は、例えば生体組織検査から取得されたリンパ節組織、乳癌組織または前立腺癌組織などの組織の拡大デジタル画像中に腫瘍細胞(すなわち癌)が存在するかどうかを判定しようと試みていることがある。別の例として、機械学習モデルは、放射線科医がマンモグラムまたは胸部X線画像中の癌性細胞を検出するのを支援することが可能である。機械学習モデルは、典型的には畳み込みニューラルネットワークまたは当技術分野で知られる他の分類法を使用して、トレーニングデータセット(画像セット)から癌性の細胞または組織を認識するようにトレーニングされる。

「モデル説明」問題に対処するさまざまな技法およびツールが知られている。モデル説明は、人間が読み取れる様式で、機械学習モデルがある特定の推奨をした(例えば患者を癌と診断した)理由を正当化するプロセスである。深層学習モデル予測は、説明が困難であることがよく知られている。これは、YouTube（登録商標）ビデオランキングなどの使用事例では許容できるが、医学などの影響力の強い用途における使用事例にとっては完全に容認できない。病理医および他の医療専門家は、予測を信頼するために、モデル予測がどんなものであるかのみならず、モデル予測がなぜそうなっているのかについても知りたいと思う。

本譲受人に関わる研究者らは、モデル予測について説明するためのいくつかの基本的な方法を開発してきた。例えば、サンプルまたは画像が「陽性」(例えば癌がある、または癌の可能性が高い)と診断された場合、次の方法が使用されてきた。(1)検出モデルによってもたらされ、後に分類モデルによって分類された、疑わしい病変の周りのバウンディングボックスが、ユーザに提示される。例を図1Aに示す、(2)典型的には特定の領域または画素が癌性である可能性の信頼度を示すカラーコーディングを施した、「ヒートマップ」が提示される。例を図1Bに示す。https://ai.googleblog.com/2017/03/assisting-pathologists-in-detecting.htmlを参照されたい、(3)アテンションマスクがユーザに提示される。その例を図1Cに示す。

これらの進歩にもかかわらず、所見の欠如(例えば癌がないこと)について説明するオプションは限られており、というのも、陰性を証明することは困難なためである。大多数のコンピュータ支援検出システムでは、ある特定の関心領域に疾患の疑いがあると考える医療専門家/病理医/放射線科医は、陰性予測をもたらすモデルがその領域を見落としたのか、それともモデルはその領域を検査して、それを正常/良性と分類したのかを知るすべがない。限られた計算リソースのため、この分野における機械学習のいくつかの実装形態では、疑わしい癌性組織を見いだすために検出モデルが最初に使用され、検出モデルによって見いだされた領域のみが、後に分類モデルを用いて分類される。したがって、潜在的に癌性のエリアを検出モデルが見落としていた可能性があり、そのため「陰性」という全体結果予測が正しくない可能性があるという、いくらかのリスクがある。

「陰性」予測という文脈におけるこのモデル説明問題により、市場に存在する多くのコンピュータ支援検出/診断(CAD)システムは、改善された結果をもたらすことができていなかった。例えば、マンモグラフィCADシステムは、特異度を下げることが示されており、というのも、一部には、そのようなシステムが、放射線科医に多数の所見をもって注意喚起する一方で、放射線科医がそれら自体を疑わしいと特定した所見が機械学習モデルでは良性であると見なされたことを放射線科医に確信させることのできないユーザインターフェースを用いているためである。本開示は、この満たされていない必要性に対処するものである。

米国特許第10,013,781号米国特許出願第14/839,452号米国特許出願第15/395,530号

https://ai.googleblog.com/2017/03/assisting-pathologists-in-detecting.html C. Szegedyら、Going Deeper with Convolutions、arXiv:1409.4842 [cs.CV] (2014年9月) C. Szegedyら、Rethinking the Inception Architecture for Computer Vision、arXiv:1512.00567 [cs.CV] (2015年12月) C. Szegedyら、Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning、arXiv:1602.0761 [cs.CV] (2016年2月) D. Bahdanauら、Neural Machine Translation by Jointly Learning to Align and Translate、2014年1月(arXiv:1409.0473[cs.CL] Choiら、GRAM: Graph-based attention model for Healthcare Representation Learning、arXiv:1611.07012v3 [cs.LG] 2017年4月 Choiら、RETAIN: an Interpretable Predictive Model for Healthcare using Reverse Time Attention Mechanism、arXiv:1608.05745v3[cs.GL] 2017年2月 M. Sundararajanら、Axiomatic Attribution for Deep Networks、arXiv:1703.01365 [cs.LG] (2017年7月) Xiaojie Huangら、Lung Nodule Detection in CT Using 3D Convolutional Neural Networks、The 2017 IEEE International Symposium on Biomedical Imaging、2017年4月 Francesco Ciompiら、Towards automatic pulmonary nodule management in lung cancer screening with deep learning、Scientific Reports 7巻、記事番号46479、2017年4月17日 Wenqing Sunら、Computer Aided lung cancer diagnosis with deep learning、Medical Imaging 2016、Proc. of SPIE 9785巻(2016年3月) Albert Chonら、Deep Convolutional Neural Networks for Lung Cancer Detection、Stanford University Reports (2017)、www.cs231n.stanford.edu/reports/2017/pdfs/518.pdf Wafaa Alakwaaら、Lung Cancer Detection and Classification with 3D Convolutional Neural Network (3D-CNN)、International Journal of Advanced Computer Science and Applications、8巻、8号、409～417頁(2017)

一態様では、患者の病状(disease state)に関してその患者のまたはその患者から取得されたサンプルの2Dまたは3Dイメージ、例えばX線、CTスキャン、病理標本から予測を行う機械学習モデルを評価するための方法が開示される。機械学習モデルは、2Dイメージまたは3Dイメージ、例えば癌性、良性、石灰化、病変などから予測を行うようにトレーニングされる。本方法は、a)予測に関連するリスクスコアまたは分類とともに画像を提示するステップであって、画像が、機械学習モデルによってもたらされる予測に影響を及ぼした、画像中の1つまたは複数の領域を示す強調表示でさらに拡張されている、ステップと、b)画像の1つまたは複数の領域を強調表示するためのユーザインターフェースツールを提供するステップと、c)画像の1つまたは複数の領域を強調表示したユーザ入力を受領するステップと、d)強調表示された1つまたは複数の領域を、機械学習モデルによる推論にかけるステップと、e)その1つまたは複数の領域に対する推論の結果を、ディスプレイを介してユーザに提示するステップとを含む。

別の態様では、2Dイメージまたは3Dイメージから患者の予測を行う機械学習モデルを評価するように構成されたワークステーションについて説明する。ワークステーションは、a)患者のまたは患者から取得されたサンプルの画像を、予測に関連するリスクスコアまたは分類とともに表示するためのディスプレイであって、画像が、機械学習モデルによってもたらされる予測に影響を及ぼした、画像中の1つまたは複数の領域を示す強調表示でさらに拡張されている、ディスプレイと、b)ユーザが、病状の疑いがあるとユーザが見なす、画像の1つまたは複数の領域を、ディスプレイ上で強調表示することのできるユーザインターフェースツールであって、ユーザがツールを起動し、それにより、1つまたは複数の領域を強調表示する、ユーザインターフェースツールとを備える。ディスプレイは、ユーザによって強調表示された1つまたは複数の領域に対して機械学習モデルによって実施された推論の結果を提示するようにさらに構成されている。

検出モデルによってもたらされ、後に分類モデルによって分類された疑わしい病変の周りにバウンディングボックスを設けたマンモグラムである。癌の可能性の高いエリアを示す「ヒートマップ」を形成する色付きエリアに対応するハッチングをかけたCTスキャン画像である。アテンションマスク(実線で強調表示されたエリア)を設けた網膜の写真であり、アテンションマスクが、この網膜の写真の、特定の眼疾患のモデル予測に寄与した部分を示す、網膜の写真である。リスクスコア(この例では、癌スコア=0.6%、おそらく良性(likely benign))と、機械学習モデルの診断予測に影響を及ぼした領域を識別する矩形の形をとるオーバーレイとの両方を含むマンモグラムである。図2のマンモグラムの図であり、ただし、ユーザがマンモグラム上に、ユーザが疑わしいと気付き、追加の所見を要求する、新たな領域を描いた図である。この領域は、カーソルを使って描くことができ、または、マンモグラムがタッチセンシティブディスプレイ上に提示されている場合は指もしくはペンを使って描くことができ、領域が特定される様式は特に重要ではない。図3のマンモグラムの図であり、図3においてユーザによって強調表示された領域に対して機械学習モデルが推論を実施した後の図である。ディスプレイには、ユーザにより特定された領域についての分類が、局所領域リスクスコア、この場合には癌スコア0.02%とともに示されている。推論の結果は、局所領域スコア、分類特性、回帰値、および領域の解釈に有用な他の特徴を含み得る。そのような結果は、ユーザに対して、任意選択で、症例全体についての更新されたリスクスコアとともに提示される。図3のようにユーザが新たな領域を特定および強調表示し、図4のように推論を実施し、結果を提示するプロセスは、ユーザによって必要に応じて継続することができる。リスクスコアと、機械学習モデルの診断予測に影響を及ぼした細胞集塊を識別する矩形の形をとるオーバーレイとの両方を含む、組織画像の図である。図5Aの組織画像の図であり、ただし、ユーザが組織画像上に、ユーザが疑わしいと見なし、追加の所見を要求する、新たな領域を描いた図である。ユーザによって描かれた領域に対して実施された推論の結果は、ディスプレイ上に提示される。図5Aの組織画像の図であり、ユーザが画像上に、疑わしいと見なした別の新たな領域を描いた図である。この新たな領域に対して実施された推論の結果は、ディスプレイ上に提示される。本開示の方法を実践することのできるコンピューティング環境の一例の図である。図6のコンピューティング環境において実施される、本方法を実施するための処理の一実施形態を示すフローチャートである。

一態様では、患者の病状に関してその患者のまたはその患者から取得されたサンプルの2Dまたは3D画像から予測を行う機械学習モデルを評価する、すなわちその機械学習モデルの人間による理解を容易にするための方法が開示される。2D画像の例は、胸部X線画像やマンモグラムなどの放射線画像、または病理標本の拡大デジタル画像である。3Dボリューム画像は、CTスキャン画像、核磁気共鳴スキャン画像、またはその他の形をとることができる。一態様では、本開示は、機械学習モデルが、2Dまたは3D画像中に癌細胞が存在する状態で、画像から病状の陰性予測、例えば「良性」または「低信頼度」という予測をもたらす状況下での、モデル解釈性に関する。予測が「陰性」であると見なされるときのしきい値は特に重要ではなく、しきい値は、モデルの感度またはユーザの嗜好のような事柄に応じて変わることがある。以下の議論では、癌スコアまたは局所領域スコアの数値は、仮定的なものであり、本開示の核となる概念を示すために例として提供されているにすぎず、所与の患者サンプルおよび機械学習モデルの実際のスコアリング方式(scoring regime)を反映していることも、していないこともある。

本方法は、ワークステーションのディスプレイ上に、患者のまたは患者から取得されたサンプルの画像(例えばマンモグラム、または拡大組織画像)を、予測に関連するリスクスコアまたは分類とともに提示する第1のステップを含む。画像はさらに、画像中の、機械学習モデルによってもたらされる予測に影響を及ぼした、細胞集塊などの1つまたは複数の領域を示す強調表示で拡張されている。この例が図2に、限定としてではなく例示として提供されており、図2は、リスクスコア12(この例では癌スコア=0.6%、おそらく良性)と、機械学習モデルの診断予測に影響を及ぼした領域を識別する矩形14の形をとるオーバーレイとの両方を含む、患者のマンモグラム10である。この特定の例では、機械学習モデルは、おそらく癌である候補(likely cancer candidate)を検出するようにトレーニングされた検出モデルを含み、バウンディングボックスまたは矩形14が候補を取り囲む。機械学習モデルは、検出モデルによって検出された集塊または細胞に対して推論を実施しており、これらは、「低レベル」かつおそらく癌性ではないとスコアリングされており、したがって、このサンプルについての全体評価は、この例では0.65パーセントというスコアが示す「陰性」となっている。

本方法は、画像の、例えば病状の疑いがあるとユーザが見なす、または機械学習モデルにユーザが問合せしたいと思う、1つまたは複数の領域をユーザがそれによって強調表示することのできるユーザインターフェースツールを提供し、1つまたは複数の領域を強調表示した入力を受領するステップを含む。ツールは単に、ディスプレイに関連付けられたマウスから構成され得る。別法として、ディスプレイがタッチセンシティブであり、ツールが、既知のグラフィックス処理ソフトウェアの形をとり、そのグラフィックス処理ソフトウェアが、ディスプレイ上の、ユーザによって(例えばペンを用いて直接的または間接的に)接触された場所を記録し、そのような場所を画像中の位置に変換する。ユーザが1つまたは複数の領域を強調表示する様式は特に重要ではなく、変わることがある。このステップの例が図3に示されており、図3は、図2のマンモグラムの図であり、ただし、ユーザがマウスを用いてマンモグラム上に、ユーザが疑わしいと気付き、追加の所見を要求する、領域20を描いた図である。この領域は、カーソルを使って描くこともでき、あるいはマンモグラムがタッチセンシティブディスプレイ上に提示されている場合は指を使って描くこともでき、領域が特定される様式は特に重要ではない。関心エリアの周りにバウンディングボックスを描くための可能な一方法が、本発明の譲受人に譲渡された、Christopher Gammageらの米国特許第10,013,781号に記載されている。

本方法は、強調表示された1つまたは複数の領域(図3の20)を、機械学習モデルによる推論にかけるステップを続ける。このステップでは、機械学習モデルが、ユーザによって強調表示された領域内の画素データを処理し、出力、典型的には、モデルがどのように構成されているかに応じて分類結果、または予測、またはスコアを生成する。この例では、機械学習モデルは、新たな(これまでに見たことのない)例を正しく分類またはスコアリングするために数千の健康なマンモグラムおよび癌性のマンモグラムからトレーニングされた畳み込みニューラルネットワークの形をとってよい。本明細書において説明するタイプの深層畳み込みニューラルネットワークパターン認識器は、パターン認識およびマシンビジョンの技術分野で広く知られており、したがって、その詳細な説明は、簡単のため省略する。可能な一実装形態であるInception-v3深層畳み込みニューラルネットワークアーキテクチャについては、科学文献に記載されている。その内容が参照により本明細書に組み込まれている、次の参照文献を参照されたい。C. Szegedyら、Going Deeper with Convolutions、arXiv:1409.4842 [cs.CV] (2014年9月)、C. Szegedyら、Rethinking the Inception Architecture for Computer Vision、arXiv:1512.00567 [cs.CV] (2015年12月)。2015年8月28日出願のC. Szegedyらの「Processing Images Using Deep Neural Networks」という米国特許出願第14/839,452号も参照されたい。Inception-v4として知られる第4世代は、代替アーキテクチャと見なされる。C. Szegedyら、Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning、arXiv:1602.0761 [cs.CV] (2016年2月)を参照されたい。2016年12月30日出願のC. Vanhouckeの「Image Classification Neural Networks」という米国特許出願第15/395,530号も参照されたい。これらの論文および特許出願における畳み込みニューラルネットワークについての記載は、参照により本明細書に組み込まれている。「アテンション」モデル、および勾配積分法(integrated gradients)などの関連技法の使用については、科学文献および特許文献に記載されている。D. Bahdanauら、Neural Machine Translation by Jointly Learning to Align and Translate、2014年1月(arXiv:1409.0473[cs.CL])。Choiら、GRAM: Graph-based attention model for Healthcare Representation Learning、arXiv:1611.07012v3 [cs.LG] 2017年4月、Choiら、RETAIN: an Interpretable Predictive Model for Healthcare using Reverse Time Attention Mechanism、arXiv:1608.05745v3[cs.GL] 2017年2月。M. Sundararajanら、Axiomatic Attribution for Deep Networks、arXiv:1703.01365 [cs.LG] (2017年7月)。いくつかの論文は、深層学習を用いてCTスキャン画像から肺小結節を検出および診断することを対象としており、これらの論文には次のものが含まれる。Xiaojie Huangら、Lung Nodule Detection in CT Using 3D Convolutional Neural Networks、The 2017 IEEE International Symposium on Biomedical Imaging、2017年4月、Francesco Ciompiら、Towards automatic pulmonary nodule management in lung cancer screening with deep learning、Scientific Reports 7巻、記事番号46479、2017年4月17日、Wenqing Sunら、Computer Aided lung cancer diagnosis with deep learning、Medical Imaging 2016、Proc. of SPIE 9785巻(2016年3月)、Albert Chonら、Deep Convolutional Neural Networks for Lung Cancer Detection、Stanford University Reports (2017)、www.cs231n.stanford.edu/reports/2017/pdfs/518.pdf、およびWafaa Alakwaaら、Lung Cancer Detection and Classification with 3D Convolutional Neural Network (3D-CNN)、International Journal of Advanced Computer Science and Applications、8巻、8号、409～417頁(2017)。

本方法は、その1つまたは複数の領域(図3の20)に対する推論の結果を、ディスプレイを介してユーザに提示するステップを続ける。この例が図4に示されており、図4は、図3のマンモグラムの図であり、ユーザによって強調表示された図3の領域20に対して機械学習モデルが推論を実施した後の図である。ディスプレイには、推論の結果が22に、ユーザにより特定された領域20についての分類(「良性の石灰化」)に局所領域リスクスコア、この場合には癌スコア0.02%を加えた形をとるものとして示されている。推論の結果は、局所領域スコア、分類特性、回帰値、および/または領域20の解釈に有用な他の特徴を含んでよく、それらがユーザに提示される。任意選択で、結果22は、24に示す症例全体についての更新されたリスクスコアとともに提示される。この特定の例では、症例全体リスクスコアは、0.65%から0.67%に上昇した。

注意:この例では、症例レベル確率が、非ゼロリスクの病変が見いだされるたびに上がり、エリアが検査されるたびに下がる(本発明者らは、既知の未知については、より低いペナルティを適用することができる)。これらの影響のどちらがより強いかは、どれだけ広いエリアが検査されたか、またどれだけ深刻な病変が発見されたかに応じて決まる。図3および図4に代わる数値例は、以下の通りである。
- モデルが、1つの病変、癌スコア0.6%、(綿密に検査されていなかった領域内の不確実性を見込んだ)症例全体スコア1.1%を見いだした、
- オペレータが別の病変について懸念し、それを強調表示し、それに対して推論を実施するようにモデルに求める、
- モデルがその病変を、癌スコアが0.2%の良性と分類し、その領域が先には考慮されていなかったため、本症例の癌スコアを1.2%に上昇させるものの、本症例は引き続き良性と考えられる。症例スコアの上昇は、直感的に分かるように、検査された領域の量に伴って減少する必要があることに留意されたく、というのも、そうでない場合、たくさんの領域が検査されると、どの症例も最終的には「陽性」になってしまうためである。

図3のようにユーザが新たな領域を特定し、図4のように推論を実施し、結果を提示するプロセスは、ユーザによる必要に応じて継続することができる。

先に述べたように、本開示の方法は、組織病理サンプル、例えば前立腺組織の拡大デジタル画像の形をとる画像データとともに使用するのに適している。その方法についてこの文脈の中で図5A～図5Cに関連して説明する。具体的には、図5Aは、リスクスコア(この例では癌スコア0.40%、良性)と、機械学習モデルの診断予測に影響を及ぼした細胞集塊を識別する矩形30の形をとるオーバーレイとの両方を含む、拡大組織画像の図である。この例では、標本全体が機械学習モデルによってリスクスコア0.40%の良性と予測された。このリスクスコアおよびバウンディングボックス30は、図示のように、ワークステーションのディスプレイ上でユーザに提示される。

病理用ワークステーションのディスプレイ上でスライドの拡大デジタル画像を観察している病理医が、スライド内に、バウンディングボックス30内にはない他の潜在的関心エリアがあると判定し、したがって、そのような他のエリアが潜在的に癌性であるかどうかを知りたいと思うことがある。したがって、図5Bに示すように、ユーザはユーザインターフェースツール(例えばマウスおよびグラフィックス処理ソフトウェア)を用いて組織画像上に、ユーザが疑わしいと見なし、機械学習モデルに追加の所見を要求する、新たな領域40を描いている。領域40に関連する画素データが入力として機械学習モデルに提供される。ユーザによって描かれた領域40に対して実施された推論の結果は、42に示すようにディスプレイ上に提示される。これらの結果は、局所領域スコア(0.20%)、分類結果(陰性)、および任意選択で回帰値または他の情報を含む。このサンプルについての更新された全体癌スコアが生成および表示され、この例では0.42%である。この例では、ボックス40内の追加の細胞集塊を分類したことにより、全体癌スコアが0.40パーセントから0.42パーセントに上昇している。

この例では、ユーザは、組織標本のさらに別のエリアを、機械学習モデルによるさらなるスコアリング/推論を得るために、強調表示することを選択している。この例では、図5Cに示すように、ユーザは画像上に、疑わしいと見なした別の新たな領域50を描いている。この新たな領域に対して実施された推論の結果は、52に示すようにディスプレイ上に提示される。

この例では、所与の組織画像中での新たな位置へのズームやパンなどの中間ステップがある可能性があるものの、上で図5A～図5Cにおいて説明したプロセスは本質的には変わらないことに留意されたい。図5Cに示す新たなエリアのユーザ選択は、言うまでもなく、ユーザがその組織標本についての陰性モデル予測に満足するまで継続することができる。

次に図6を参照すると、本開示の方法は、患者の病状に関してその患者のまたはその患者から取得されたサンプルの2Dまたは3D画像から予測を行う機械学習モデルの人間による理解を容易にするように構成されたワークステーション100内に実装することができる。機械学習モデルは画像から、例えばユーザに提示される分類結果またはスコアとして、病状の陰性予測をもたらす。ワークステーションは、a)患者のまたは患者から取得されたサンプルの画像を、予測に関連するリスクスコアまたは分類とともに表示するためのディスプレイ102を含む。画像はさらに、画像中の、機械学習モデルによってもたらされる陰性予測に影響を及ぼした1つまたは複数の領域を示す強調表示で拡張されている(図3および図5Bを参照されたい)。ワークステーションは、画像の、疾患の疑いがあるとユーザが見なす1つまたは複数の領域をユーザがそれによってディスプレイ上で強調表示することのできるユーザインターフェースツール、例えばマウス104またはタッチセンシティブディスプレイを含む。ユーザはツール、例えばマウスを起動し、それにより、1つまたは複数の領域を強調表示する。ディスプレイはさらに、先に説明したように、ユーザによって強調表示された1つまたは複数の領域に対して機械学習モデルによって実施された推論の結果を提示するように構成されている。ユーザが、例えばマウス104を使用して関心領域を強調表示すると、ユーザは、ディスプレイ上の「モデル適用」アイコンをクリックすることによって、またはキーボード106を使用して適切なコマンドを入力することによってなど、ディスプレイ上の適切なメニューを介してコマンドを入力することによって、機械学習モデルを起動することができる。

機械学習モデル110は、ワークステーション100内に常駐していてもよく、あるいはより典型的には、それをコンピュータネットワーク108上のコンピューティングリソース106によって実装することもできる。可能な一構成では、いくつかの機械学習モデルが利用可能である。組織病理学の状況においては、ユーザは標本を比較的高倍率、例えば40×で観察し、その倍率で新たな領域を指定し(例えば図5Bの領域40)、その倍率で癌細胞を識別するようにトレーニングされた特定の機械学習モデルを起動してよいが、ユーザは、低倍率、例えば10×で標本を観察し、細胞の領域を強調表示してもよく(例えば図5Cの領域50)、その推論タスクには低倍率(10×)機械学習モデルが使用される。

図7は、図6のコンピューティング環境において実施される、本方法を実施するための処理の一実施形態を示すフローチャートである。機械学習モデルは、患者のまたは患者から取得されたサンプルの2Dまたは3D画像データセットに対して推論を実施する。モデルは、患者の病状に関して予測を行い、一例では、病状の陰性予測を行う。200に示す方法は、以下のステップを含む。

ステップ202:ワークステーションのディスプレイ上に、患者のまたは患者から取得されたサンプルの画像を、予測に関連するリスクスコアまたは分類とともに提示する。画像はさらに、画像中の、機械学習モデルによってもたらされる予測に影響を及ぼした1つまたは複数の領域を示す強調表示で拡張されている。

ステップ204:画像の、病状の疑いがあるとユーザが見なす1つまたは複数の領域をユーザがそれによって強調表示することのできるツールを提供する。ユーザはツールを起動し、それにより、1つまたは複数の領域を強調表示し、そのような入力がワークステーションによって受領される。

ステップ206:強調表示された1つまたは複数の領域に対して、機械学習モデルを用いて推論を実施する。

ステップ208:その1つまたは複数の領域に対する推論の結果を、ディスプレイを介してユーザに提示する。

任意選択のステップ210:2D画像/3Dボリューム全体についての更新されたリスクスコアを提示する。

このプロセスは、ステップ214に示すようにループバックすることができ、ステップ204、206、および208、ならびに210は、反復することができる。このループは、図5A～図5Cで説明した、ユーザが追加の領域を指定した状況に該当する。

図2～図6から明らかなように、患者の病状に関してその患者のまたはその患者から取得されたサンプルの2Dまたは3D画像から予測を行う機械学習モデルの人間による理解を容易にするように構成されたワークステーション用のインターフェースについて説明されたことが明らかであろう。機械学習モデルは画像から病状の予測、例えば「良性」などの陰性予測をもたらす。インターフェースは、患者のまたは患者から取得されたサンプルの画像を、予測に関連するリスクスコアまたは分類とともに表示するためのディスプレイ(102、図6)を含む。画像はさらに、画像中の、機械学習モデルによってもたらされる予測に影響を及ぼした1つまたは複数の領域を示す強調表示で拡張されている。インターフェースは、画像の1つまたは複数の領域、例えば病状の疑いがあるとユーザが見なす領域をユーザがそれによってディスプレイ上で強調表示することのできるツール(例えばマウス104)であって、図3、図4、および図5A～図5Cに関連して説明したように、ユーザがツールを起動し、それにより、1つまたは複数の領域を強調表示する、ツールを含む。

さらなる考慮事項
本方法を使用して、機械学習モデルがすでに標本を陽性と分類した後であっても画像をさらに検査することができる。オペレータは、(より深刻なまたはそれほど深刻でない)報告する価値のある別の病変があるのではないかと疑って、モデルにそれを明示的に検査して欲しいと思うことがある。したがって、本方法は、追加の領域を強調表示するステップと、モデルの推論を開始するステップと、次いで推論の結果を生成し、それをワークステーションディスプレイ上に提示するステップとを続ける。

上の説明は、分類+位置特定問題に焦点を当てているが、同じ方法を別様に、例えばセグメンテーション問題および回帰問題において使用することもできる。

A.セグメンテーション
例えば、超音波画像がワークステーション上に提示され、機械学習モデルが使用されて、超音波画像上で前立腺が識別される。画像を観察しているオペレータが、前立腺を取り囲むセグメンテーションマスク輪郭を見て、マスク内にマークされていなかった何らかの組織も前立腺に属していたのではないかと疑うことがある。ユーザは、この追加のエリアを強調表示し、キーボードまたはマウス操作でモデル推論を開始する。次いで、モデルはこの領域が実際に、例えば尿道であることを説明するか、またはモデルはその領域をセグメンテーションマスクに追加することに「同意」する。

B.回帰問題
例えば、機械学習モデルは、「x線で撮像した患者の骨年齢はいくつか」などの回帰問題に回答するように構成されてよい。骨のX線は、モデルの予測とともに、ワークステーションディスプレイ上に提示される。オペレータは、ある特定の領域がより高い年齢を示しているのではないかと疑い、その領域を強調表示し、推論を開始し、モデルがそれに応じてその予測を更新する。この一般的な手順は、言うまでもなく、他のタイプの回帰問題にも適用することができ、骨年齢の例は、限定としてではなく例示として提供されたものである。

本教示は、冶金、部品検査、半導体製造、およびその他など、他の分野にも応用され、その場合、機械学習位置特定モデルは、入力画像データセットに基づいて物体に関して予測を行うことになる。例えば、予測が陰性であり(例えば、冶金サンプル(metallurgical sample)中に欠陥がない、または望ましくない不純物がない)、ユーザはモデルにさらに問合せしようと試みる。本方法は、上述したのと同じ基本的手法、すなわち、
a)ワークステーションのディスプレイ上に、物体の画像を、予測に関連するスコアまたは分類とともに提示する。画像はさらに、画像中の、機械学習モデルによってもたらされる予測に影響を及ぼした1つまたは複数の領域を示す強調表示で拡張されている、
b)画像の、予測に対してさらに関心のあるものとユーザが見なす1つまたは複数の追加の領域(例えば潜在的な欠陥、不純物など)をユーザがそれによって強調表示することのできるツールであって、ユーザがツールを起動し、それにより、1つまたは複数の領域を強調表示する、ツールを提供する、
c)強調表示された1つまたは複数の領域を、機械学習モデルによる推論にかける、
d)その1つまたは複数の領域に対する推論の結果を、ディスプレイを介してユーザに提示する、
に従う。

添付の特許請求の範囲は、開示した方法、ワークステーション、およびユーザインターフェースについてのさらなる説明として提供されている。

10 マンモグラム
12 リスクスコア
14 バウンディングボックスまたは矩形
20 領域
22 推論の結果
30 矩形、バウンディングボックス
40 領域、ボックス
50 領域
100 ワークステーション
102 ディスプレイ
104 マウス
106 キーボード、コンピューティングリソース
108 コンピュータネットワーク
110 機械学習モデル

Claims

患者の病状に関して2Dイメージまたは3Dイメージから予測を行う機械学習モデルを評価するためのコンピュータが実行する方法であって、
a)前記予測に関連するリスクスコアまたは分類とともに画像を提示するステップであって、前記画像が、前記機械学習モデルによってもたらされる前記予測に影響を及ぼした、前記画像中の1つまたは複数の領域を示す強調表示でさらに拡張されている、ステップと、
b)前記画像の1つまたは複数の領域を強調表示するためのユーザインターフェースツールを提供するステップと、
c)前記画像の1つまたは複数の領域を強調表示したユーザ入力を受領するステップと、
d)前記強調表示された1つまたは複数の領域を、前記機械学習モデルによる推論にかけるステップと、
e)前記1つまたは複数の領域に対する前記推論の結果を、ディスプレイを介してユーザに提示するステップと
を含む、方法。
前記画像のさらに別の領域を強調表示したユーザ入力を受領するステップと、そのようなさらに別の領域についてステップd)およびステップe)を実施するステップとをさらに含む、請求項1に記載の方法。
前記予測が、リスクスコアに関連付けられ、ステップe)が、新たなリスクスコアを生成するステップを含む、請求項1または請求項2に記載の方法。
前記機械学習モデルが、前記画像中の癌細胞の存在を認識するようにトレーニングされた畳み込みニューラルネットワークを含む、請求項1または請求項2に記載の方法。
前記画像が、組織画像を含む、請求項1または請求項2に記載の方法。
前記画像が、2D放射線画像を含む、請求項1または請求項2に記載の方法。
前記画像が、マンモグラムおよび胸部X線画像からなる画像群から選択される、請求項6に記載の方法。
前記画像が、核磁気共鳴(NMR)またはコンピュータ断層撮影(CT)から取得された3D放射線画像を含む、請求項1または請求項2に記載の方法。
前記ツールが、ディスプレイに関連付けられたマウスを含む、請求項1または請求項2に記載の方法。
前記ディスプレイが、タッチセンシティブであり、前記ツールが、グラフィックス処理ソフトウェアを含み、前記グラフィックス処理ソフトウェアが、前記ユーザによって直接的または間接的に接触された前記ディスプレイ上の場所を記録し、そのような場所を前記画像中の位置に変換する、請求項1または請求項2に記載の方法。
患者の病状に関して前記患者のまたは前記患者から取得されたサンプルの2D画像または3D画像から予測を行う機械学習モデルを評価するように構成されたワークステーションであって、前記機械学習モデルが、前記画像から前記病状の予測をもたらし、前記ワークステーションが、
a)前記患者のまたは前記患者から取得されたサンプルの前記画像を、前記予測に関連するリスクスコアまたは分類とともに表示するためのディスプレイであって、前記画像が、前記機械学習モデルによってもたらされる前記予測に影響を及ぼした、前記画像中の1つまたは複数の領域を示す強調表示でさらに拡張されている、ディスプレイと、
b)ユーザが前記画像の1つまたは複数の領域を前記ディスプレイ上で強調表示することのできるユーザインターフェースツールであって、前記ユーザが前記ツールを起動し、それにより、前記1つまたは複数の領域を強調表示する、ユーザインターフェースツールと
を備え、
前記ディスプレイが、前記ユーザによって強調表示された前記1つまたは複数の領域に対して前記機械学習モデルによって実施された推論の結果を提示するようにさらに構成されている、
ワークステーション。
前記ワークステーションが、前記ディスプレイと通信する処理ユニットをさらに備え、前記機械学習モデルが、前記処理ユニット内に実装されている、請求項11に記載のワークステーション。
前記機械学習モデルが、前記画像中の癌の存在を認識するようにトレーニングされた畳み込みニューラルネットワークを含む、請求項11に記載のワークステーション。
前記画像が、組織画像を含む、請求項11から13のいずれか一項に記載のワークステーション。
前記画像が、2D放射線画像を含む、請求項11から13のいずれか一項に記載のワークステーション。
前記画像が、マンモグラムおよび胸部X線画像からなる画像群から選択される、請求項15に記載のワークステーション。
前記画像が、核磁気共鳴またはコンピュータ断層撮影から取得された3D放射線画像を含む、請求項11から13のいずれか一項に記載のワークステーション。
前記ツールが、前記ディスプレイに関連付けられたマウスを含む、請求項11から13のいずれか一項に記載のワークステーション。
前記ディスプレイが、タッチセンシティブであり、前記ツールが、グラフィックス処理ソフトウェアを含み、前記グラフィックス処理ソフトウェアが、前記ユーザによって直接的または間接的に接触された前記ディスプレイ上の場所を記録し、そのような場所を前記画像中の位置に変換する、請求項11から13のいずれか一項に記載のワークステーション。
患者の病状に関して前記患者のまたは前記患者から取得されたサンプルの2D画像または3D画像から予測を行う機械学習モデルを評価するように構成されたワークステーション用のインターフェースであって、前記機械学習モデルが、前記画像から前記病状の予測をもたらし、前記インターフェースが、
前記患者のまたは前記患者から取得されたサンプルの前記画像を、前記予測に関連するリスクスコアまたは分類とともに表示するためのディスプレイであって、前記画像が、前記機械学習モデルによってもたらされる前記予測に影響を及ぼした、前記画像中の1つまたは複数の領域を示す強調表示でさらに拡張されている、ディスプレイと、
ユーザが、病状の疑いがあるとユーザが見なす、前記画像の1つまたは複数の領域を、前記ディスプレイ上で強調表示することのできるユーザインターフェースツールであって、ユーザが前記ツールを起動し、それにより、前記1つまたは複数の領域を強調表示する、ユーザインターフェースツールと
を備える、インターフェース。