JP6952124B2

JP6952124B2 - 医療画像処理装置

Info

Publication number: JP6952124B2
Application number: JP2019546587A
Authority: JP
Inventors: 正明大酒
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2017-10-05
Filing date: 2018-09-06
Publication date: 2021-10-20
Anticipated expiration: 2038-09-06
Also published as: US20200218943A1; JPWO2019069618A1; WO2019069618A1

Description

本発明は、機械学習装置に提供する学習用データを医療画像から生成する医療画像処理装置に関する。

深層学習（Deep Learning）をはじめとする画像の機械学習においては、機械学習装置が学習を行うために用いる学習用データを収集する必要がある。但し、機械学習装置が学習を行うためには一般的に多くの学習用データを必要とするため、機械学習装置に収集されるデータ量は非常に多い。このため、学習用データを通信ネットワークを介して機械学習装置に送信する場合には、学習用データの伝送が上記通信ネットワークの通信容量を圧迫する。この問題を解決するためには、特許文献１に記載の画像通信方式等のように、伝送対象画像の特徴量を抽出して、当該特徴量を伝送すれば、受信側が必要とする情報を効率的に伝送することができる。なお、画像の特徴量（feature）は、非特許文献１に説明されている畳み込みニューラルネットワークモデルを用いれば抽出できる。

特開昭６２−６８３８４号公報

Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks", NIPS (Neural Information Processing Systems), 2012

上記説明した機械学習装置は、学習用データとして提供された特徴量を用いて深層学習等を行う。しかし、画像から抽出される特徴量の信頼度には、元の画像の内容等によってばらつきが生じる。このため、機械学習装置は、提供された特徴量を全て同様に利用すると、効率の悪い学習を行ってしまうことになる。

本発明は、上述した事情に鑑みなされたものであり、機械学習装置が効率良く学習することのできる学習用データを提供可能な医療画像処理装置を提供することを目的とする。

本発明の一態様の医療画像処理装置は、
画像に関するデータを用いて学習を行う機械学習装置に提供する学習用データを医療画像から生成する医療画像処理装置であって、
医療画像から特徴量を抽出する特徴量抽出部と、
上記特徴量に基づく画像の認識処理を行う認識処理部と、
上記特徴量及び上記認識処理部が行った認識結果を、上記学習用データとして上記機械学習装置に提供する提供部と、
を備える。

本発明によれば、機械学習装置が効率良く学習することのできる学習用データを提供可能な医療画像処理装置を提供することができる。

本発明に係る第１実施形態の医療画像処理装置と機械学習装置との関係及び構成を示すブロック図である。第１実施形態の医療画像処理装置が行う処理を示すフローチャートである。本発明に係る第２実施形態の医療画像処理装置と機械学習装置との関係及び構成を示すブロック図である。第２実施形態の医療画像処理装置が行う処理を示すフローチャートである。本発明に係る第３実施形態の医療画像処理装置と機械学習装置との関係及び構成を示すブロック図である。第３実施形態の医療画像処理装置が行う処理を示すフローチャートである。本発明に係る第４実施形態の医療画像処理装置と機械学習装置との関係及び構成を示すブロック図である。第４実施形態の医療画像処理装置が行う処理を示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。

（第１実施形態）
図１は、本発明に係る第１実施形態の医療画像処理装置１００と機械学習装置２００との関係及び構成を示すブロック図である。図１に示すように、画像に関するデータを用いて学習を行う機械学習装置２００と、機械学習装置２００に学習用データを送信する第１実施形態の医療画像処理装置１００とは、通信ネットワーク１０を介して、少なくとも医療画像処理装置１００から機械学習装置２００へのデータ通信ができるように設けられている。なお、通信ネットワーク１０は、無線の通信ネットワークであっても有線の通信ネットワークであっても良い。

また、医療画像処理装置１００及び機械学習装置２００のハードウェア的な構造は、プログラムとして実行して各種処理を行うプロセッサと、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）とによって実現される。プロセッサには、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、又はＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。また、評価システムを構成するプロセッサは、各種プロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

医療画像処理装置１００及び機械学習装置２００のいずれも、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を多層に積み重ねた層構造のネットワークモデルを利用する。なお、ネットワークモデルは、一般に、ニューラルネットワークの構造とそのニューラルネットワークを構成する各ニューロン間の結びつきの強さであるパラメータ（いわゆる「重み」）との組み合わせとして表現される関数を意味するが、本明細書では当該関数に基づいて演算処理を行うためのプログラムを意味する。

医療画像処理装置１００が利用する多層ＣＮＮのモデルは、図１に一点鎖線で示すように、第１の畳み込み層（1st Convolution）、第１の活性化関数層（1st Activation）、第１のプーリング層（1st Pooling）、第２の畳み込み層（2nd Convolution）、第２の活性化関数層（2nd Activation）、第２のプーリング層（2nd Pooling）、第３の畳み込み層（3rd Convolution）、第３の活性化関数層（3rd Activation）、第４の畳み込み層（4th Convolution）、第４の活性化関数層（4th Activation）、第３のプーリング層（3rd Pooling）、第１の全結合層（1st Fully connected）、第５の活性化関数層（5th Activation）、第２の全結合層（2nd Fully connected）、第６の活性化関数層（6th Activation）及び第３の全結合層（3rd Fully connected）の順の層構造を有する。以下、医療画像処理装置１００が利用する多層ＣＮＮのモデルを「第１ネットワークモデル」という。

機械学習装置２００が利用する多層ＣＮＮのモデルは、図１に二点鎖線で示すように、第１の畳み込み層（1st Convolution）、第１の活性化関数層（1st Activation）、第１のプーリング層（1st Pooling）、第１の全結合層（1st Fully connected）、第２の活性化関数層（2nd Activation）、第２の全結合層（2nd Fully connected）、第３の活性化関数層（3rd Activation）及び第３の全結合層（3rd Fully connected）の順の層構造を有する。以下、機械学習装置２００が利用する多層ＣＮＮのモデルを「第２ネットワークモデル」という。なお、第２ネットワークモデルは、第１ネットワークモデルの第４の畳み込み層以降の層構造と同じであるが、異なる層構造のニューラルネットワークであっても良い。

第１ネットワークモデル又は第２ネットワークモデルに画像に関するデータが入力された場合、畳み込み層であれば畳み込み処理、活性化関数層であれば活性化関数を用いた処理、プーリング層であればサブサンプリング処理が施され画像の特徴量が抽出される。全結合層では、前の層で作成された複数の処理結果を１つに結合する処理が行われる。最後の全結合層（第３の全結合層）は、画像の認識結果を出力する出力層である。

医療画像処理装置１００は、特徴量抽出部１０１と、認識処理部１０３と、送信部１０５とを備える。医療画像処理装置１００には、内視鏡の撮像装置によって撮影された画像、ＣＴ（Computed Tomography）画像又はＭＲ（Magnetic Resonance）画像等の医療画像のデータが入力される。

特徴量抽出部１０１は、入力された医療画像のデータから、上記説明した第１ネットワークモデルを利用して特徴量を抽出する。すなわち、特徴量抽出部１０１は、医療画像のデータが第１ネットワークモデルを構成する第１の畳み込み層に入力されると、第１の畳み込み層、第１の活性化関数層、第１のプーリング層、第２の畳み込み層、第２の活性化関数層、第２のプーリング層、第３の畳み込み層及び第３の活性化関数層の各処理をこの順に行い、第３の活性化関数層の出力を特徴量として抽出する。なお、特徴量は、医療画像の座標画像を少なくとも一部削った情報であり、その結果、匿名化した情報である。

認識処理部１０３は、特徴量抽出部１０１が抽出した特徴量、すなわち、第３の活性化関数層の出力に基づき、第１ネットワークモデルを利用して画像のパターン認識処理を行う。すなわち、認識処理部１０３は、第３の活性化関数層の出力（特徴量）が第１ネットワークモデルを構成する第４の畳み込み層に入力されると、第４の畳み込み層、第４の活性化関数層、第３のプーリング層、第１の全結合層、第５の活性化関数層、第２の全結合層、第６の活性化関数層及び第３の全結合層の各処理をこの順に行い、第３の全結合層（出力層）の出力を画像のパターン認識結果（以下、単に「認識結果」という。）として出力する。

送信部１０５（提供部の一例）は、特徴量抽出部１０１が抽出した特徴量に認識処理部１０３が出力した認識結果を紐付けて、当該特徴量及び認識結果を機械学習装置２００の学習用データとして、通信ネットワーク１０を介して機械学習装置２００に送信する。なお、送信部１０５は、特徴量をＪＰＥＧ（Joint Photographic Experts Group）等の画像特性を利用した画像圧縮処理によってデータ圧縮して送信しても良い。

機械学習装置２００は、受信部２０１と、記憶部２０３と、学習器２０５と、損失関数実行部２０７とを有する。機械学習装置２００には、通信ネットワーク１０を介して医療画像処理装置１００から送信された学習用データが入力される。

受信部２０１は、通信ネットワーク１０を介して医療画像処理装置１００から送信された学習用データを受信する。記憶部２０３は、受信部２０１が受信した学習用データを記憶する。

学習器２０５は、記憶部２０３が記憶する学習用データに含まれる特徴量から、上記説明した第２ネットワークモデルを利用して画像のパターン認識処理を行い、損失関数実行部２０７の結果に応じた学習を行う。すなわち、学習器２０５は、記憶部２０３から読み出された特徴量が第２ネットワークモデルを構成する第１畳み込み層に入力されると、第１の畳み込み層、第１の活性化関数層、第１のプーリング層、第１の全結合層、第２の活性化関数層、第２の全結合層、第３の活性化関数層及び第３の全結合層の各処理をこの順に行い、第３の全結合層（出力層）の出力を画像のパターン認識の結果として出力する。なお、学習器２０５による学習は、学習器２０５にフィードバックされた損失関数実行部２０７の出力に応じて、第２ネットワークモデルにおける重み等を調整することによって行われる。

損失関数実行部２０７は、学習器２０５が出力した結果、及び当該結果に対応する特徴量に紐付けられた記憶部２０３が記憶する認識結果をパラメータとして損失関数（「誤差関数」ともいう。）に入力して、得られた出力（損失）を学習器２０５にフィードバックする。なお、損失関数実行部２０７の出力（損失）は、学習器２０５が出力した結果と医療画像処理装置１００から送信され記憶部２０３が記憶する認識結果との差異を示す。

次に、第１実施形態の医療画像処理装置１００の動作について、図２を参照して説明する。図２は、第１実施形態の医療画像処理装置１００が行う処理を示すフローチャートである。

図２に示すように、医療画像処理装置１００の特徴量抽出部１０１は、入力された医療画像のデータから、第１ネットワークモデルを利用して特徴量を抽出する（ステップＳ１０１）。次に、認識処理部１０３は、ステップＳ１０１で得られた特徴量に基づき、第１ネットワークモデルを利用して画像のパターン認識処理を行う（ステップＳ１０３）。次に、送信部１０５は、ステップＳ１０１で得られた特徴量にステップＳ１０３で得られた認識結果を紐付けて、当該特徴量及び認識結果を機械学習装置２００の学習用データとして機械学習装置２００に送信する（ステップＳ１０５）。

このように、本実施形態では、医療画像処理装置１００において第１ネットワークモデルを利用して医療画像から抽出した特徴量と、当該特徴量に基づき第１ネットワークモデルを利用して導き出した認識結果とが、学習用データとして機械学習装置２００に提供される。このため、機械学習装置２００は、学習用データとして提供された特徴量からパターン認識を行って得られた結果と、医療画像処理装置１００から提供された当該特徴量に対応する認識結果との損失に応じて、効率の良い学習をすることができる。言い換えれば、医療画像処理装置１００は、機械学習装置２００が効率良く学習することのできる学習用データを提供できる。

また、機械学習装置２００に学習用データとして提供される特徴量のデータサイズは、医療画像処理装置１００に入力される医療画像のデータサイズよりも小さいため、学習用データを機械学習装置２００に送信する際に利用する通信ネットワーク１０の通信容量を削減できる。

また、カラー画像における各色を適宜組み合わせたもの（例えばグレースケール画像）や、２値画像、エッジ抽出画像（１次微分画像や２次微分画像）などを特徴量として利用することで、機械学習装置２００に送信する学習用データのデータサイズの圧縮が可能である。

さらに、元の医療画像が視覚的に予測または認識できないような特徴量（例えば、画像の座標情報を部分的、あるいは全てを失わせた、空間周波数に関する特徴量や、畳み込み演算によって得られる特徴量）を利用することで、学習用データが提供される機械学習装置２００側では、医療画像の匿名性も担保できる。特にレアな症例は、医療画像のみから、または医療画像と限られた情報（例えば病院名等）から、個人を特定される可能性がある。なお、医療画像の匿名性とは、当該医療画像に含まれる個人情報又は診断等によって得られた個人の身体若しくは症状等を示す情報を明らかにできないことである。

なお、本実施形態では、通信ネットワーク１０を介して学習用データが医療画像処理装置１００から機械学習装置２００に送信されているが、メモリカード等の持ち運び可能な記録媒体を用いて、学習用データを医療画像処理装置１００から機械学習装置２００に送っても良い。この場合であっても、機械学習装置２００に学習用データとして提供される特徴量のデータサイズは、医療画像処理装置１００に入力される医療画像のデータサイズよりも小さいため、学習用データを記録する記録媒体の記憶容量を削減できる。この場合、記録媒体に学習用データを記録する制御を行うプロセッサ等が提供部である。

（第２実施形態）
図３は、本発明に係る第２実施形態の医療画像処理装置１００ａと機械学習装置２００との関係及び構成を示すブロック図である。第２実施形態の医療画像処理装置１００ａが第１実施形態の医療画像処理装置１００と異なる点は、医療画像処理装置１００ａが信頼度算出部１１１、表示部１１３、操作部１１５及び認識結果変更部１１７を備える点である。この点以外は第１実施形態と同様であるため、第１実施形態と同一又は同等の事項は説明を簡略化又は省略する。

本実施形態の医療画像処理装置１００ａが備える信頼度算出部１１１は、認識処理部１０３が出力した認識結果の信頼度を算出する。信頼度算出部１１１は、認識結果が例えば病変らしさのスコアである場合、当該スコアが所定のしきい値の範囲内であれば低い数値の信頼度を算出する。表示部１１３は、信頼度算出部１１１が算出した認識結果毎の信頼度を表示する。

操作部１１５は、医療画像処理装置１００ａのユーザが認識結果変更部１１７の操作を行うための手段である。操作部１１５は、具体的には、トラックパッド、タッチパネル、又はマウス等である。認識結果変更部１１７は、操作部１１５からの指示内容に応じて、認識処理部１０３が出力した認識結果を変更する。認識結果の変更とは、認識処理部１０３が出力した認識結果の修正の他、医療画像処理装置１００ａの外部装置で作成された認識結果の入力を含む。なお、上記外部装置には、生検の結果から認識結果を確定させる装置も含まれる。医療画像処理装置１００ａのユーザは、例えば、信頼度がしきい値よりも低い認識結果を変更する。

本実施形態の送信部１０５は、特徴量抽出部１０１が抽出した特徴量に認識処理部１０３が出力した認識結果又は認識結果変更部１１７にて変更された認識結果を紐付けて、当該特徴量及び認識結果又は変更された認識結果を機械学習装置２００の学習用データとして、通信ネットワーク１０を介して機械学習装置２００に送信する。

医療画像処理装置１００ａから機械学習装置２００に送信された学習用データに含まれる認識結果が変更されたものである場合、機械学習装置２００の損失関数実行部２０７には、学習器２０５が出力した結果と、変更された認識結果とが入力される。このため、損失関数実行部２０７は学習に有益な損失を算出し、当該損失が学習器２０５にフィードバックされることによって効率の良い学習が行われる。

次に、第２実施形態の医療画像処理装置１００ａの動作について、図４を参照して説明する。図４は、第２実施形態の医療画像処理装置１００ａが行う処理を示すフローチャートである。

図４に示すように、医療画像処理装置１００ａの特徴量抽出部１０１は、入力された医療画像のデータから、第１実施形態で説明した第１ネットワークモデルを利用して特徴量を抽出する（ステップＳ１０１）。次に、認識処理部１０３は、ステップＳ１０１で得られた特徴量に基づき、第１ネットワークモデルを利用して画像のパターン認識処理を行う（ステップＳ１０３）。次に、信頼度算出部１１１は、ステップＳ１０３で得られた認識結果の信頼度を算出する（ステップＳ１１１）。次に、表示部１１３は、ステップＳ１１１で得られた信頼度を表示する（ステップＳ１１３）。

次に、送信部１０５は、ステップＳ１０３で得られた認識結果が認識結果変更部１１７によって変更された場合（ステップＳ１１５でＹＥＳ）は、ステップＳ１０１で得られた特徴量に変更された認識結果を紐付けて、当該特徴量及び変更された認識結果を機械学習装置２００の学習用データとして機械学習装置２００に送信する（ステップＳ１１７）。また、送信部１０５は、ステップＳ１０３で得られた認識結果が認識結果変更部１１７によって変更されていない場合（ステップＳ１１５でＮＯ）は、ステップＳ１０１で得られた特徴量にステップＳ１０３で得られた認識結果を紐付けて、当該特徴量及び認識結果を機械学習装置２００の学習用データとして機械学習装置２００に送信する（ステップＳ１１９）。

このように、本実施形態では、医療画像処理装置１００ａの認識処理部１０３が出力した認識結果の信頼度が低い場合には、認識結果を変更する機会が与えられ、特徴量及び変更された認識結果が学習用データとして機械学習装置２００に提供される。機械学習装置２００の損失関数実行部２０７に入力される学習器２０５が出力した結果と、変更された認識結果とは異なる可能性が高く、学習に有益な損失が算出されるため、当該損失が学習器２０５にフィードバックされることによって効率の良い学習が行われる。このように、医療画像処理装置１００ａは、機械学習装置が効率良く学習することのできる学習用データを提供できる。

（第３実施形態）
図５は、本発明に係る第３実施形態の医療画像処理装置１００ｂと機械学習装置２００との関係及び構成を示すブロック図である。第３実施形態の医療画像処理装置１００ｂが第１実施形態の医療画像処理装置１００と異なる点は、医療画像処理装置１００ｂが信頼度算出部１２１を備える点である。この点以外は第１実施形態と同様であるため、第１実施形態と同一又は同等の事項は説明を簡略化又は省略する。

本実施形態の医療画像処理装置１００ｂが備える信頼度算出部１２１は、認識処理部１０３が出力した認識結果の信頼度を算出する。信頼度算出部１２１は、認識結果が例えば病変らしさのスコアである場合、当該スコアが所定のしきい値の範囲内であれば低い数値の信頼度を算出する。

本実施形態の送信部１０５は、特徴量抽出部１０１が抽出した特徴量に認識処理部１０３が出力した認識結果及び信頼度算出部１２１が算出した信頼度を紐付けて、当該特徴量、並びに、認識結果及び信頼度の少なくとも一方を機械学習装置２００の学習用データとして、通信ネットワーク１０を介して機械学習装置２００に送信する。送信部１０５は、信頼度が所定値以上であれば、特徴量と認識結果を学習用データとして送信し、信頼度が所定値未満であれば、特徴量と認識結果と信頼度を学習用データとして送信する。

医療画像処理装置１００ｂから機械学習装置２００に送信された学習用データに信頼度が含まれる場合、機械学習装置２００の学習器２０５は、第１実施形態と同様に特徴量から画像のパターン認識処理を行い、結果を出力する。損失関数実行部２０７は、学習器２０５が出力した結果と、信頼度の低い認識結果をパラメータとして損失関数に入力して損失を算出する。当該損失は学習器２０５にフィードバックされることによって学習に有益に利用される。

本実施形態では、学習用データに信頼度が含まれる場合、損失関数実行部２０７に入力される認識結果の信頼度が低いため、認識結果をそのままパラメータとして入力しても十分に学習の余地がある。すなわち、損失関数実行部２０７と学習器２０５は、学習器２０５の出力スコアが最高値になるように損失を計算し学習し続ける。例えば、「Ａ」、「Ｂ」及び「Ｃ」の３分類の場合であって正解が「Ａ」の場合は、学習器２０５は、出力スコアが「（Ａ，Ｂ，Ｃ）＝（１．０，０．０，０．０）」となるように学習を行います。しかし、信頼度が低い場合の損失関数実行部２０７に入力される認識結果のスコアは例えば「（Ａ，Ｂ，Ｃ）＝（０．５，０．３，０．２）」であり、当該スコアは学習器２０５の出力スコア「（Ａ，Ｂ，Ｃ）＝（１．０，０．０，０．０）」と比較してギャップがある。このギャップが損失として算出され、当該損失を学習器２０５にフィードバックすることで学習に有益に利用される。

次に、第３実施形態の医療画像処理装置１００ｂの動作について、図６を参照して説明する。図６は、第３実施形態の医療画像処理装置１００ｂが行う処理を示すフローチャートである。

図６に示すように、医療画像処理装置１００ｂの特徴量抽出部１０１は、入力された医療画像のデータから、第１実施形態で説明した第１ネットワークモデルを利用して特徴量を抽出する（ステップＳ１０１）。次に、認識処理部１０３は、ステップＳ１０１で得られた特徴量に基づき、第１ネットワークモデルを利用して画像のパターン認識処理を行う（ステップＳ１０３）。次に、信頼度算出部１２１は、ステップＳ１０３で得られた認識結果の信頼度を算出する（ステップＳ１２１）。

次に、送信部１０５は、ステップＳ１２１で得られた信頼度が所定値ｔｈ未満であれば（ステップＳ１２３でＹＥＳ）は、ステップＳ１０１で得られた特徴量にステップＳ１０３で得られた認識結果とステップＳ１２１で得られた信頼度を紐付けて、当該特徴量、認識結果及び信頼度を機械学習装置２００の学習用データとして機械学習装置２００に送信する（ステップＳ１２５）。また、送信部１０５は、ステップＳ１２１で得られた信頼度が所定値ｔｈ以上であれば（ステップＳ１２３でＮＯ）は、ステップＳ１０１で得られた特徴量にステップＳ１０３で得られた認識結果を紐付けて、当該特徴量及び認識結果を機械学習装置２００の学習用データとして機械学習装置２００に送信する（ステップＳ１２７）。

このように、本実施形態では、医療画像処理装置１００ｂの認識処理部１０３が出力した認識結果の信頼度が低い場合には、機械学習装置２００に提供される学習用データには信頼度が含まれ、低い信頼度の認識結果であることを前提に損失が算出されるため、機械学習装置２００では上記損失が学習器２０５にフィードバックされることによって効率の良い学習が行われる。このように、医療画像処理装置１００ｂは、機械学習装置が効率良く学習することのできる学習用データを提供できる。

（第４実施形態）
図７は、本発明に係る第４実施形態の医療画像処理装置１００ｃと機械学習装置２００との関係及び構成を示すブロック図である。第４実施形態の医療画像処理装置１００ｃが第１実施形態の医療画像処理装置１００と異なる点は、医療画像処理装置１００ｃが表示部１３１、操作部１３３及び認識結果変更部１３５を備える点である。この点以外は第１実施形態と同様であるため、第１実施形態と同一又は同等の事項は説明を簡略化又は省略する。

本実施形態の医療画像処理装置１００ｃが備える表示部１３１は、認識処理部１０３が出力した認識結果毎の信頼度を表示する。操作部１３３は、医療画像処理装置１００ｃのユーザが認識結果変更部１３５の操作を行うための手段である。操作部１３３は、具体的には、トラックパッド、タッチパネル、又はマウス等である。

認識結果変更部１３５は、操作部１３３からの指示内容に応じて、認識処理部１０３が出力した認識結果を変更する。認識結果の変更とは、認識処理部１０３が出力した認識結果の修正の他、医療画像処理装置１００ｃの外部装置で作成された認識結果の入力を含む。なお、上記外部装置には、生検の結果から認識結果を確定させる装置も含まれる。医療画像処理装置１００ｃのユーザは、例えば、認識結果に間違いがあれば当該認識結果を変更する。

本実施形態の送信部１０５は、特徴量抽出部１０１が抽出した特徴量に認識処理部１０３が出力した認識結果又は認識結果変更部１３５にて変更された認識結果を紐付けて、当該特徴量及び認識結果又は変更された認識結果を機械学習装置２００の学習用データとして、通信ネットワーク１０を介して機械学習装置２００に送信する。

医療画像処理装置１００ｃから機械学習装置２００に送信された学習用データに含まれる認識結果が変更されたものである場合、機械学習装置２００の損失関数実行部２０７には、学習器２０５が出力した結果と、変更された認識結果とが入力される。このため、損失関数実行部２０７は学習に有益な損失を算出し、当該損失が学習器２０５にフィードバックされることによって効率の良い学習が行われる。

次に、第４実施形態の医療画像処理装置１００ｃの動作について、図８を参照して説明する。図８は、第４実施形態の医療画像処理装置１００ｃが行う処理を示すフローチャートである。

図８に示すように、医療画像処理装置１００ｃの特徴量抽出部１０１は、入力された医療画像のデータから、第１実施形態で説明した第１ネットワークモデルを利用して特徴量を抽出する（ステップＳ１０１）。次に、認識処理部１０３は、ステップＳ１０１で得られた特徴量に基づき、第１ネットワークモデルを利用して画像のパターン認識処理を行う（ステップＳ１０３）。次に、表示部１３１は、ステップＳ１０３で得られた認識結果を表示する（ステップＳ１３１）。

次に、送信部１０５は、ステップＳ１０３で得られた認識結果が認識結果変更部１３５によって変更された場合（ステップＳ１３３でＹＥＳ）は、ステップＳ１０１で得られた特徴量に変更された認識結果を紐付けて、当該特徴量及び変更された認識結果を機械学習装置２００の学習用データとして機械学習装置２００に送信する（ステップＳ１３５）。また、送信部１０５は、ステップＳ１０３で得られた認識結果が認識結果変更部１３５によって変更されていない場合（ステップＳ１３３でＮＯ）は、ステップＳ１０１で得られた特徴量にステップＳ１０３で得られた認識結果を紐付けて、当該特徴量及び認識結果を機械学習装置２００の学習用データとして機械学習装置２００に送信する（ステップＳ１３７）。

このように、本実施形態では、医療画像処理装置１００ｃの認識処理部１０３が出力した認識結果を変更する機会が与えられ、特徴量及び変更された認識結果が学習用データとして機械学習装置２００に提供される。機械学習装置２００の損失関数実行部２０７に入力される学習器２０５が出力した結果と、変更された認識結果とは異なる可能性が高く、学習に有益な損失が算出されるため、当該損失が学習器２０５にフィードバックされることによって効率の良い学習が行われる。このように、医療画像処理装置１００ｃは、機械学習装置が効率良く学習することのできる学習用データを提供できる。

以上説明したとおり、本明細書に開示された医療画像処理装置は、
画像に関するデータを用いて学習を行う機械学習装置に提供する学習用データを医療画像から生成する医療画像処理装置であって、
医療画像から特徴量を抽出する特徴量抽出部と、
上記特徴量に基づく画像の認識処理を行う認識処理部と、
上記特徴量及び上記認識処理部が行った認識結果を、上記学習用データとして上記機械学習装置に提供する提供部と、
を備える。

また、上記特徴量は匿名化した情報である。

また、上記匿名化した特徴量は、医療画像の座標情報を少なくとも一部削った情報である。

また、医療画像処理装置は、
上記認識結果から信頼度を算出する信頼度算出部と、
上記認識処理部が行った認識結果を変更する認識結果変更部と、を備え、
上記提供部は、上記信頼度がしきい値未満であれば、上記特徴量、並びに、上記認識結果変更部にて変更された認識結果を上記機械学習装置に提供する。

また、医療画像処理装置は、
上記認識結果から信頼度を算出する信頼度算出部を備え、
上記提供部は、上記信頼度がしきい値未満であれば、上記特徴量、並びに、上記認識結果及び上記信頼度の少なくとも一方を上記機械学習装置に提供する。

また、医療画像処理装置は、
上記認識処理部が行った認識結果を変更する認識結果変更部を備え、
上記提供部は、上記特徴量、及び上記認識処理部が行った認識結果又は上記認識結果変更部にて変更された認識結果を上記機械学習装置に提供する。

また、上記提供部は、画像特性を利用した画像圧縮処理によって上記特徴量をデータ圧縮し、当該データ圧縮した特徴量を上記機械学習装置に提供する。

また、上記提供部は、上記データ圧縮した特徴量を上記機械学習装置に送信する。

また、上記特徴量抽出部は、ニューラルネットワークを多層に積み重ねた層構造のネットワークモデルを利用して上記特徴量を抽出する。

また、上記ニューラルネットワークは、畳み込みニューラルネットワークである。

また、本明細書に開示された機械学習装置は、
医療画像処理装置から提供される画像に関するデータを用いて学習を行う機械学習装置であって、
上記医療画像処理装置は、
医療画像から特徴量を抽出する特徴量抽出部と、
上記特徴量に基づく画像の認識処理を行う認識処理部と、
上記特徴量及び上記認識処理部が行った認識結果を、学習用データとして上記機械学習装置に提供する提供部と、を備え、
上記機械学習装置は、上記学習用データを用いて学習を行う。

１００，１００ａ，１００ｂ，１００ｃ医療画像処理装置
１０１特徴量抽出部
１０３認識処理部
１０５送信部
１１１，１２１信頼度算出部
１１３，１３１表示部
１１５，１３３操作部
１１７，１３５認識結果変更部
２００機械学習装置
２０１受信部
２０３記憶部
２０５学習器
２０７損失関数実行部
１０通信ネットワーク

Claims

画像に関するデータを用いて学習を行う機械学習装置に提供する学習用データを医療画像から生成する医療画像処理装置であって、
医療画像から特徴量を抽出する特徴量抽出部と、
前記特徴量に基づく画像の認識処理を行う認識処理部と、
前記特徴量及び前記認識処理部が行った認識結果を、前記学習用データとして前記機械学習装置に提供する提供部と、
前記認識結果から信頼度を算出する信頼度算出部と、
前記認識処理部が行った認識結果を変更する認識結果変更部と、を備え、
前記提供部は、前記信頼度がしきい値未満であれば、前記特徴量、及び、前記認識結果変更部にて変更された認識結果を前記機械学習装置に提供する、医療画像処理装置。
請求項１に記載の医療画像処理装置であって、
前記特徴量は匿名化した情報である、医療画像処理装置。
請求項２に記載の医療画像処理装置であって、
前記匿名化した特徴量は、医療画像の座標情報を少なくとも一部削った情報である、医療画像処理装置。
請求項１から３のいずれか一項に記載の医療画像処理装置であって、
前記認識処理部が行った認識結果を変更する認識結果変更部を備え、
前記提供部は、前記特徴量、及び前記認識処理部が行った認識結果又は前記認識結果変更部にて変更された認識結果を前記機械学習装置に提供する、医療画像処理装置。
請求項１から４のいずれか一項に記載の医療画像処理装置であって、
前記提供部は、画像特性を利用した画像圧縮処理によって前記特徴量をデータ圧縮し、当該データ圧縮した特徴量を前記機械学習装置に提供する、医療画像処理装置。
請求項５に記載の医療画像処理装置であって、
前記提供部は、前記データ圧縮した特徴量を前記機械学習装置に送信する、医療画像処理装置。
請求項１から６のいずれか一項に記載の医療画像処理装置であって、
前記特徴量抽出部は、ニューラルネットワークを多層に積み重ねた層構造のネットワークモデルを利用して前記特徴量を抽出する、医療画像処理装置。
請求項７に記載の医療画像処理装置であって、
前記ニューラルネットワークは、畳み込みニューラルネットワークである、医療画像処理装置。
画像に関するデータを用いて学習を行う機械学習装置に提供する学習用データを医療画像から生成する医療画像処理装置であって、
医療画像から特徴量を抽出する特徴量抽出部と、
前記特徴量に基づく画像の認識処理を行う認識処理部と、
前記特徴量及び前記認識処理部が行った認識結果を、前記学習用データとして前記機械学習装置に提供する提供部と、
前記認識結果から信頼度を算出する信頼度算出部と、を備え、
前記提供部は、前記信頼度がしきい値未満であれば、前記特徴量、並びに、前記認識結果及び前記信頼度の少なくとも一方を前記機械学習装置に提供する、医療画像処理装置。