JP7638626B2

JP7638626B2 - 情報処理装置及びプログラム

Info

Publication number: JP7638626B2
Application number: JP2020050120A
Authority: JP
Inventors: 健太森安
Original assignee: Canon Medical Systems Corp
Current assignee: Canon Medical Systems Corp
Priority date: 2020-03-19
Filing date: 2020-03-19
Publication date: 2025-03-04
Anticipated expiration: 2040-03-19
Also published as: JP2021149672A

Description

本明細書及び図面に開示の実施形態は、情報処理装置、学習方法、およびプログラム
に関する。

近年、医用画像診断の分野において、ＡＩ機能（Artificial Intelligence；人工知能）を用いた技術についての研究が進められている。例えば、画像生成から画像診断までの一連の処理を、ＡＩ機能により自動化する研究が進められている。

上記のようなＡＩ機能を用いた処理では、画像診断の目的に応じて、画像生成に用いられるネットワークが最適化されることが想定される。例えば、小さな腫瘍を見たい場合には画像生成ネットワークＡが最適であり、金属アーチファクトが懸念される場合には画像生成ネットワークＢが最適であるというように、診断の目的に応じて最適なネットワークが存在すると考えられる。この場合、目的に応じて最適化された複数の画像生成ネットワークを用いて画像を生成するといったワークフローになると考えられる。しかしながら、複数の画像生成ネットワークを用いて画像を生成する場合、画像生成ネットワークごとに処理が必要となるため、時間を要してしまう。

特表２０１９－５２０６５５号公報

本明細書及び図面に開示の実施形態が解決しようとする課題は、目的に応じた情報の生成に要する時間を短縮することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

実施形態の情報処理装置は、取得部と、処理部とを備える。取得部は、入力データを取得する。処理部は、複数の教師データを用いた学習に基づく共通ネットワークと、前記共通ネットワークの後段に位置し且つ前記複数の教師データの各々を用いた個別の学習に基づく複数の個別ネットワークと、を備えるモデルに対して、前記取得部により取得された前記入力データを入力することで、複数の出力データを生成する。

第１の実施形態に係る医用情報処理装置１の一構成例を示すブロック図の図。従来技術における学習済みモデルの構成を説明する図。第１の実施形態に係る学習済みモデルＭの構成の一例を説明する図。第１の実施形態に係る医用情報処理装置１の運用時における処理の一例を示すフローチャート。第１の実施形態に係る医用情報処理装置１の学習時における処理の一例を示すフローチャート。第１の実施形態に係る学習機能４３の第１学習を説明する図。第１の実施形態に係る学習機能４３の第２学習を説明する図。第２の実施形態に係る学習済みモデルＭ１を説明する図。

以下、図面を参照しながら、実施形態の情報処理装置、学習方法、およびプログラムについて説明する。

（第１の実施形態）
［医用情報処理装置の構成例］
図１は、第１の実施形態に係る医用情報処理装置１の一構成例を示すブロック図である。医用情報処理装置１は、通信ネットワークＮＷを介して、１以上の医用画像撮像装置３、１以上の医用データベース５等の外部装置とデータ送受信可能に接続されている。医用画像撮像装置３は、例えば、Ｘ線診断装置、ＭＲＩ（Magnetic Resonance Imaging）装置等の被検体の医用画像を撮像する装置である。医用データベース５は、電子カルテ等の医用情報を記憶する記憶装置である。医用情報処理装置１は、「情報処理装置」の一例である。

通信ネットワークＮＷは、電気通信技術を利用した情報通信網全般を意味する。通信ネットワークＮＷは、病院基幹ＬＡＮ（Local Area Network）等の無線／有線ＬＡＮやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワーク等を含む。

医用情報処理装置１は、例えば、通信インターフェース１０と、入力インターフェース２０と、ディスプレイ３０と、処理回路４０と、メモリ５０とを備える。通信インターフェース１０は、例えば、ＮＩＣ（Network Interface Card）等の通信インターフェースを含む。通信インターフェース１０は、通信ネットワークＮＷを介して医用画像撮像装置３、医用データベース５等の外部装置と通信する。通信インターフェース１０は、医用画像撮像装置３から、医用画像撮像装置３により撮像された画像、該画像の生データ等の医用データを受信する。通信インターフェース１０は、医用データベース５から、電子カルテ等の医用データを受信する。通信インターフェース１０は、受信した医用データを処理回路４０に出力する。通信インターフェース１０は、処理回路４０の制御下において、通信ネットワークＮＷを介して接続された他の外部装置と通信を行ってもよい。

入力インターフェース２０は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路４０に出力する。例えば、入力インターフェース２０は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネル等を含む。入力インターフェース２０は、例えば、マイク等の音声入力を受け付けるユーザインターフェースであってもよい。入力インターフェース２０がタッチパネルである場合、入力インターフェース２０は、後述するディスプレイ３０の表示機能を兼ね備えるものであってもよい。

なお、本明細書において入力インターフェースはマウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インターフェースの例に含まれる。

ディスプレイ３０は、各種の情報を表示する。例えば、ディスプレイ３０は、処理回路４０によって生成された画像や、操作者からの各種の入力操作を受け付けるためのＧＵＩ（Graphical User Interface）等を表示する。例えば、ディスプレイ３０は、ＬＣＤ（Liquid Crystal Display）や、ＣＲＴ（Cathode Ray Tube）ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等である。

処理回路４０は、例えば、取得機能４１と、学習機能４３と、処理機能４５と、出力制御機能４７を備える。処理回路４０は、例えば、ハードウェアプロセッサ（コンピュータ）がメモリ５０（記憶回路）に記憶されたプログラムを実行することにより、これらの機能を実現するものである。取得機能４１は、「取得部」の一例である。学習機能４３は、「学習部」の一例である。処理機能４５は、「処理部」の一例である。処理回路４０において実現される各機能の詳細については後述する。

ハードウェアプロセッサとは、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（Application Specific Integrated Circuit; ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device; ＳＰＬＤ）または複合プログラマブル論理デバイス（Complex Programmable Logic Device; ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array; ＦＰＧＡ））等の回路（circuitry）を意味する。メモリ５０にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは、回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。上記のプログラムは、予めメモリ５０に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の非一時的記憶媒体に格納されており、非一時的記憶媒体が医用情報処理装置１のドライブ装置（不図示）に装着されることで非一時的記憶媒体からメモリ５０にインストールされてもよい。ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて１つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を１つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。

メモリ５０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスクによって実現される。これらの非一過性の記憶媒体は、ＮＡＳ（Network Attached Storage）や外部ストレージサーバ装置といった通信ネットワークＮＷを介して接続される他の記憶装置によって実現されてもよい。また、メモリ５０には、ＲＯＭ（Read Only Memory）やレジスタなどの非一過性の記憶媒体が含まれてもよい。メモリ５０は、例えば、処理回路４０の学習機能４３により生成された学習済みモデルＭを記憶する。その他、メモリ５０は、処理回路４０が利用するプログラムやパラメータデータやその他のデータを記憶する。

［処理回路の構成例］
次に、処理回路４０の構成例について説明する。取得機能４１は、通信インターフェース１０を介して、医用画像撮像装置３等の外部装置から、医用データを取得する。医用データには、例えば、医用画像撮像装置３により撮像された画像、該画像の生データ、電子カルテの文字列情報等の情報が含まれる。取得機能４１は、取得した医用データをメモリ５０に記憶させてもよい。医用データは、「入力データ」の一例である。

学習機能４３は、教師データに基づく深層学習を行い、学習済みモデルＭを生成する。学習済みモデルＭは、例えば、医用データが入力されたときに、所定の目的に応じた医用情報を出力する。教師データは、入力データと、出力データとの組を複数含む。入力データとしては、例えば、医用画像撮像装置３により撮像された画像、該画像の生データ、電子カルテの文字列情報等の情報を用いる。出力データとしては、例えば、所定の目的に応じた情報を用いる。

所定の目的とは、例えば、診断の目的を意味する。診断の目的とは、例えば、撮像画像を用いて比較的に小さな腫瘍の診断を行うこと、アーチファクトが少ない画像を用いて診断を行うこと、ノイズが少ない画像を用いて診断を行うこと、コントラストが高い画像を用いて診断を行うこと、高解像度の画像を用いて診断を行うこと、がん、肝硬変等の特定の病気の診断を行うこと、頭部、胸部等の体の特定部位の診断を行うこと等である。アーチファクトには、金属アーチファクト、リングアーチファクト、その他、Ｘ線装置に起因するアーチファクトが含まれる。

学習済みモデルＭにより出力される所定の目的に応じた情報とは、例えば、医用画像撮像装置３により撮像された画像を特定の情報が見えやすくなるように修正した画像、電子カルテの文字列情報に基づいて推定される病気、病変位置を示す情報等である。例えば、診断の目的が、「アーチファクトが少ない画像を用いて診断を行うこと」である場合、学習済みモデルＭに画像を入力した結果として得られえる所定の目的に応じた情報は、アーチファクトが低減された画像である。また、例えば、診断の目的が、「がん、肝硬変等の特定の病気の診断を行うこと」である場合、学習済みモデルＭに電子カルテや画像を入力した結果として得られえる所定の目的に応じた情報は、「がん」「肝硬変」といった病名を示す情報である。

ここで、診断の目的が複数存在する場合には、診断の目的ごとに学習済みモデルを準備する必要がある。図２は、従来技術における学習済みモデルの構成を説明する図である。図２に示すように、例えば、医用データＤから、第１の診断の目的（例えば、ノイズが低減された画像を用いた診断）に応じた第１画像Ｄ１と、第２の診断の目的（例えば、アーチファクトが低減された画像を用いた診断）に応じた第２画像Ｄ２との２パターンの画像を得る場合、第１の診断の目的に対応する学習済みモデルｍ１と、第２の診断の目的に対応する学習済みモデルｍ２とを各々準備する必要がある。ここで、例えば、学習済みモデルｍ１と、学習済みモデルｍ２との各々が８層のネットワーク構造を有していると仮定すると、第１画像Ｄ１と第２画像Ｄ２とを得るためには、医用データＤを学習済みモデルｍ１に入力して８層分の演算処理を行い、さらに、医用データＤを学習済みモデルｍ２に入力して８層分の演算処理が行う必要がある。すなわち、合計で１６層分の演算処理が必要となる。このように、複数の学習済みモデルを用いる場合、学習済みモデルごとに演算処理が行われるため処理に時間を要してしまう。

一方、本実施形態の学習機能４３は、学習済みモデルを前段と後段とに分離し、前段を複数の診断の目的で共通する処理に対応するネットワーク（以下、「共通ネットワーク」と呼ぶ）とし、後段を個々の診断の目的に応じた処理に対応するネットワーク（以下、「個別ネットワーク」と呼ぶ）とした学習済みモデルＭを生成する。共通ネットワークは、例えば、荒い画像を作成する処理に対応し、個別ネットワークは、例えば、診断の目的別に細分化された画像を作成する処理に対応する。共通ネットワークは、学習済みモデルの入力層側に位置し、複数の個別ネットワークは、学習済みモデルの出力層側に位置する。

図３は、第１の実施形態に係る学習済みモデルＭの構成の一例を説明する図である。図３に示すように、学習モデルＭは、共通ネットワークＣＮと、複数の個別ネットワークＵＮとを備える。複数の個別ネットワークＵＮは、例えば、第１の診断の目的に応じた処理に対応する１以上の層を含む第１個別ネットワークＵＮ１と、第２の診断の目的に応じた処理に対応する１以上の層を含む第２個別ネットワークＵＮ２とを含む。共通ネットワークＣＮは、例えば、４層のネットワーク構造を有しており、複数の個別ネットワークＵＮの各々は、例えば、４層のネットワーク構造を有している。

上記のような本実施形態の学習済みモデルＭを用いる場合、当該学習済みモデルＭに医用データＤが入力されることで、共通ネットワークＣＮを用いて４層分の演算処理が行われ、さらに、第１個別ネットワークＵＮ１を用いて４層分の演算処理が行われて第１画像Ｄ１（第１出力データ）が得られ、第２個別ネットワークＵＮ２を用いて４層分の演算処理が行われて第２画像Ｄ２（第２出力データ）が得られる。この場合、合計で１２層分の演算処理が行われることになる。このため、図２に示すような従来技術における複数の学習済みモデルｍ１およびｍ２の各々を用いる場合と比較して、本実施形態の学習済みモデルＭを用いた場合、演算に要する時間を短縮することが可能である。なお、共通ネットワークＣＮおよび個別ネットワークＵＮの層の数は任意である。

学習機能４３は、教師データが入力されるごとに、入力データをモデルで処理した結果が出力データに近づくようにモデルに含まれるネットワークのパラメータデータを更新していく学習を行う。ネットワークのパラメータデータは、例えば、ＣＮＮ（Convolution Neural Network）の誤差逆伝播（バックプロパゲーション）等の手法によって調整され、更新される。学習機能４３は、パラメータデータの変化割合が閾値以内に収束すると、学習が終了したと判断してもよい。学習機能４３は、学習後のパラメータデータに基づいて、例えば、ＤＮＮ（Deep Neural Network）の形態を有する学習済みモデルＭを生成する。

学習済みモデルＭは、メモリ５０に記憶され、運用時にメモリ５０から読み出される。学習済みモデルＭは、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの集積回路によって構築されてもよい。

処理機能４５は、取得機能４１により取得された被検体の医用データを学習済みモデルＭに入力することで、所定の目的に応じた情報を生成する。すなわち、処理機能４５は、複数の教師データを用いた学習に基づく共通ネットワークＣＮと、該共通ネットワークＣＮの後段に位置し且つ複数の教師データの各々を用いた個別の学習に基づく複数の個別ネットワークＵＮと、を備える学習済みモデルＭに対して、取得機能４１により取得された医用データを入力することで、複数の医用情報を生成する。

処理機能４５は、例えば、入力インターフェース２０を介して入力された操作者の診断の目的の指示に応じて、学習済みモデルＭにおいて使用するネットワークを切り替える制御を行う。例えば、第１の診断の目的に応じた画像の取得指示を受け付けた場合、処理機能４５は、学習済みモデルＭにおいて、共通ネットワークＣＮと、第１個別ネットワークＵＮ１とを用いるように制御を行う。一方、第２の診断の目的に応じた画像の取得指示を受け付けた場合、処理機能４５は、学習済みモデルＭにおいて、共通ネットワークＣＮと、第２個別ネットワークＵＮ２とを用いるように制御を行う。

出力制御機能４７は、処理機能４５により生成された所定の目的に応じた情報を、ディスプレイ３０に表示させる。医用情報処理装置１の操作者は、このディスプレイ３０に表示された所定の目的に応じた情報を確認し、所望の診断を行うことができる。

［運用処理］
以上のように構成された医用情報処理装置１について、運用時における処理を以下に説明する。図４は、第１の実施形態に係る医用情報処理装置１の運用時における処理の一例を示すフローチャートである。以下においては、医用情報処理装置１が、医用データとして医用画像撮像装置３により撮像された画像を取得して処理し、診断の目的に応じた画像を出力する場合を例に挙げて説明する。また、以下においては、第１の診断の目的が、ノイズが低減された画像を用いた診断を行うことである場合を例に挙げて説明する。

処理回路４０における取得機能４１は、通信インターフェース１０を介して、医用画像撮像装置３から被検体の撮像画像である医用データＤを取得する（ステップＳ１００）。

次に、処理機能４５は、入力インターフェース２０を介して入力された操作者の指示に基づいて、診断目的の設定を行う（ステップＳ１０２）。例えば、操作者が入力インターフェース２０を操作して第１の診断の目的（ノイズが低減された画像を用いた診断）を入力した場合、処理機能４５は、第１の診断を診断目的として設定する。

次に、処理機能４５は、取得機能４１により取得された医用データＤを学習済みモデルＭに入力することで、診断目的に応じた画像を生成する（ステップＳ１０４）。処理機能４５は、第１の診断が診断目的として設定されている場合、学習済みモデルＭにおいて、共通ネットワークＣＮと、第１個別ネットワークＵＮ１とを用いるように制御を行う。

次に、出力制御機能４７は、処理機能４５により生成された診断目的に応じた画像を出力する（ステップＳ１０６）。例えば、出力制御機能４７は、処理機能４５により生成された診断目的に応じた画像をディスプレイ３０に表示させる。操作者は、このディスプレイ３０に表示された診断目的に応じた画像（ノイズが低減された画像）を確認し、所望の診断を行うことができる。以上により、本フローチャートの処理が完了する。

［学習処理］
以上のように構成された医用情報処理装置１について、学習時における処理を以下に説明する。図５は、第１の実施形態に係る医用情報処理装置１の学習時における処理の一例を示すフローチャートである。以下においては、医用画像撮像装置３により撮像された画像を入力データとし、該画像に対して診断の目的に応じた修正を加えた画像を出力データとする教師データを学習する場合を例に挙げて説明する。また、以下においては、第１の診断の目的が、ノイズが低減された画像を用いた診断を行うことであり、第２の診断の目的が、アーチファクトが低減された画像を用いた診断を行うことである場合を例に挙げて説明する。

教師データとしては、第１の診断の目的に関連する第１の教師データと、第２の診断の目的に関連する第２の教師データとの両方を用いる。第１の教師データは、例えば、入力データとしてのノイズおよびアーチファクトを含む画像である医用データＤｋと、出力データとしての医用データＤｋからノイズが除去された画像Ａｔｋ（ｋは１以上の整数）との組（ｋ個の組）を含む。第２の教師データは、例えば、入力データとしてのノイズおよびアーチファクトを含む画像であるである医用データＤｋと、出力データとしての医用データＤｋからアートファクトが除去された画像Ｂｔｋ（ｋは１以上の整数）の組（ｋ個の組）を含む。教師データは、外部装置から提供されるものであってもよいし、操作者の操作に基づいて入力インターフェース２０を介して提供されるものであってもよい。

まず、処理回路４０における学習機能４３は、第１の教師データに含まれるｋ個の組のうち、１つの組（ｋ＝１，すなわち、医用データＤ１および画像Ａｔ１）を抽出し、医用データＤ１を入力とし、画像Ａｔ１を出力とした教師データを用いた第１学習を行う（ステップＳ２００）。図６は、第１の実施形態に係る学習機能４３の第１学習を説明する図である。例えば、学習機能４３は、医用データＤ１をモデルで処理した結果が、画像Ａｔ１に近づくようにモデルに含まれるネットワークのパラメータデータを更新していく。ここで、学習機能４３は、共通ネットワークＣＮと、第１個別ネットワークＵＮ１とを含む層Ｐ１について、パラメータデータを更新する。なお、学習機能４３は、第１の教師データに含まれるｋ個の組のうちの２以上の組（例えば、ｋ＝１およびｋ＝２の２組）を取り出して、２以上の組分の第１学習をまとめて行うようにしてもよい。すなわち、第１学習では、第１の教師データに含まれる少なくとも１つのデータを用いた学習が行われてよい。

次に、学習機能４３は、第２の教師データに含まれるｋ個の組のうち、１つの組（ｋ＝１，すなわち、医用データＤ１および画像Ｂｔ１）を抽出し、医用データＤ１を入力とし、画像Ｂｔ１を出力とした教師データを用いた第２学習を行う（ステップＳ２０２）。図７は、第１の実施形態に係る学習機能４３の第２学習を説明する図である。例えば、学習機能４３は、医用データＤ１をモデルで処理した結果が、画像Ｂｔ１に近づくようにモデルに含まれるネットワークのパラメータデータを更新していく。ここで、学習機能４３は、共通ネットワークＣＮと、第２個別ネットワークＵＮ２とを含む層Ｐ２について、パラメータデータを更新する。なお、学習機能４３は、第２の教師データに含まれるｋ個の組のうちの２以上の組（例えば、ｋ＝１およびｋ＝２の２組）を取り出して、２以上の組分の第２学習をまとめて行うようにしてもよい。第２学習では、第２の教師データに含まれる少なくとも１つのデータを用いた学習が行われてよい。

次に、学習機能４３は、ｋがＮに到達したか否かを判定する（ステップＳ２０４）。学習機能４３は、ｋがＮに到達していないと判定した場合、ｋの値を１つインクリメントし（ステップＳ２０６）、上記のステップＳ２００、Ｓ２０２、およびＳ２０４を繰り返し行う。

一方、学習機能４３は、ｋがＮに到達したと判定した場合、学習処理を終了する。以上により、本フローチャートの処理が完了する。

上記の学習方法では、学習機能４３は、第１の診断の目的に応じた第１学習と、第２の診断の目的に応じた第２学習とを交互に行う。すなわち、学習済みモデルＭは、第１の教師データに含まれる少なくとも１つのデータを用いた第１学習と、第２の教師データに含まれる少なくとも１つのデータを用いた第２学習とを交互に行うことにより生成される。このように生成された学習済みモデルＭは、第１学習および第２学習に基づく共通ネットワークＣＮと、第１学習に基づく第１個別ネットワークＵＮ１と、第２学習に基づく第２個別ネットワークＵＮ２とを含む。

従来技術では、上記のように第１学習と、第２学習とを交互に繰り返して行うのではなく、第１の教師データを用いた第１学習を完了した後に、第２の教師データを用いた第２学習を行っていた。しかしながら、このような従来技術の学習方法では、共通ネットワークＣＮは、後に学習を行った第２学習の影響が大きくなり、すなわち、第２の目的であるアーチファクトの低減の効果が大きくなり、第１の目的であるノイズ低減の処理に適さないものとなってしまう。一方、本実施形態の学習機能４３は、第１学習と、第２学習とを交互に行うことで、共通ネットワークＣＮは、両方の目的に適したものとなる。

なお、上記の例では、第１学習と第２学習との入力データとして、同一の医用データＤｋを用いているが、異なる入力データを用いてもよい。上記の例では、第１の教師データに含まれるデータ数と、第２の教師データに含まれるデータ数とが同じである場合を説明したが、データ数は互いに異なっていてもよい。また、教師データとして、画像を用いているが、生データ等の他のデータフォーマットのデータを用いてもよい。

以上、第１の実施形態によれば、処理回路４０が、医用データを取得する取得機能４１と、複数の教師データを用いた学習に基づく共通ネットワークと、共通ネットワークの後段に位置し且つ複数の教師データの各々を用いた個別の学習に基づく複数の個別ネットワークと、を備えるモデルに対して、取得機能４１により取得された医用データを入力することで、複数の医用情報を生成する処理機能４５とを備えることにより、目的に応じた情報の生成に要する時間を短縮することができる。

（第２の実施形態）
以下、第２の実施形態について説明する。第２の実施形態の医用情報処理装置１は、第１の実施形態の学習済みモデルＭとは異なる構成を有する学習済みモデルＭ１を使用する。第１の実施形態における学習済みモデルＭ１は、共通ネットワークＣＮと、個別ネットワークＵＮとを含むものであった。これに対して、第２の実施形態における学習済みモデルＭ１は、さらに階層化されたネットワーク構造を有する。以下、第１実施形態との相違点を中心に説明し、第１実施形態と共通する点については説明を省略する。なお、第２実施形態の説明において、第１実施形態と同じ部分については同一符号を付して説明する。

図８は、第２の実施形態に係る学習済みモデルＭ１を説明する図である。図８に示すように、学習済みモデルＭ１は、共通ネットワークＣＮと、個別ネットワークＵＮとに加えて、１以上のサブネットワークＳＮを有する。サブネットワークＳＮは、例えば、共通ネットワークＣＮと、個別ネットワークＵＮとの間に配置される。

図８に示す例では、診断の目的に応じて、３つの第１個別ネットワークＵＮ１－１～ＵＮ１－３と、２つの第２個別ネットワークＵＮ２－１およびＵＮ２－２とが設けられている。共通ネットワークＣＮと、第１個別ネットワークＵＮ１－１～ＵＮ１－３との間に、第１サブネットワークＳＮ１が配置される。共通ネットワークＣＮと、第２個別ネットワークＵＮ２－１～ＵＮ２－２との間に、第２サブネットワークＳＮ２が配置される。

例えば、第１個別ネットワークＵＮ１－１～ＵＮ１－３の出力データに相当する第１１画像Ｄ１－１～第１画像Ｄ１－３と、第２個別ネットワークＵＮ２－１およびＵＮ２－２の出力データに相当する第２画像Ｄ２－１およびＤ２－２との類似度が低い場合、共通ネットワークＣＮと第１個別ネットワークＵＮ１群との間に第１サブネットワークＳＮ１を配置し、共通ネットワークＣＮと第２個別ネットワークＵＮ２群との間に第２サブネットワークＳＮ２を配置する。すなわち、診断の目的に応じて生成される画像間の類似度に基づいて、類似度の高い画像を出力する個別ネットワーク同士を所定の個別ネットワーク群としてまとめ、該個別ネットワーク群と、共通ネットワークとの間を結ぶサブネットワークを設ける。

学習機能４３は、学習処理において、上記のようなネットワーク構造を持つ学習済みモデルＭ１を生成する。そして、処理機能４５は、上記のようなネットワーク構造を持つ学習済みモデルＭ１に対して、医用画像撮像装置３により撮像された画像等の医用データを入力することで、目的に応じた精度の高い情報を得ることができる。

以上、第２の実施形態によれば、処理回路４０が、医用データを取得する取得機能４１と、複数の教師データを用いた学習に基づく共通ネットワークと、共通ネットワークの後段に位置し且つ複数の教師データの各々を用いた個別の学習に基づく複数の個別ネットワークと、を備えるモデルに対して、取得機能４１により取得された医用データを入力することで、複数の医用情報を生成する処理機能４５とを備えることにより、目的に応じた情報の生成に要する時間を短縮することができる。さらに、学習済みモデルの構成をさらに階層化することで、目的に応じた精度の高い情報を得ることができる。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、入力データを取得し、複数の教師データを用いた学習に基づく共通ネットワークと、前記共通ネットワークの後段に位置し且つ前記複数の教師データの各々を用いた個別の学習に基づく複数の個別ネットワークと、を備えるモデルに対して、取得された前記入力データを入力することで、複数の出力データを生成する、
医用情報処理装置。

以上説明した少なくともひとつの実施形態によれば、処理回路４０が、医用データを取得する取得機能４１と、複数の教師データを用いた学習に基づく共通ネットワークと、共通ネットワークの後段に位置し且つ複数の教師データの各々を用いた個別の学習に基づく複数の個別ネットワークと、を備えるモデルに対して、取得機能４１により取得された医用データを入力することで、複数の医用情報を生成する処理機能４５とを備えることにより、目的に応じた情報の生成に要する時間を短縮することができる。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１医用情報処理装置
３医用画像撮像装置
５医用データベース
１０通信インターフェース
２０入力インターフェース
３０ディスプレイ
４０処理回路
５０メモリ
４１取得機能
４３学習機能
４５処理機能
４７出力制御機能
Ｍ，Ｍ１学習済みモデル

Claims

医用画像である入力データを取得する取得部と、
複数の教師データを用いた学習に基づく共通ネットワークと、前記共通ネットワークの後段に位置し且つ前記複数の教師データの各々を用いた個別の学習に基づく複数の個別ネットワークと、を備えるモデルに対して、前記取得部により取得された前記入力データを入力することで、医用画像である複数の出力データを生成する処理部と、
を備え、
前記複数の個別ネットワークは、複数の診断の目的の各々に応じて設けられ、
前記モデルは、前記共通ネットワークと、前記複数の個別ネットワークとの間に位置するサブネットワークをさらに備え、
前記複数の個別ネットワークの各々により生成される画像間の類似度に基づいて、前記複数の個別ネットワーク同士を所定の個別ネットワーク群としてまとめ、該個別ネットワーク群と、前記共通ネットワークとの間を結ぶように、前記サブネットワークが、前記共通ネットワークと、前記複数の個別ネットワークとの間に配置される、
情報処理装置。
前記複数の教師データは、第１の教師データと、第２の教師データとを含み、
前記モデルは、前記第１の教師データに含まれる少なくとも１つのデータを用いた第１学習と、前記第２の教師データに含まれる少なくとも１つのデータを用いた第２学習とを交互に行うことにより生成される、
請求項１に記載の情報処理装置。
前記モデルは、前記第１学習および前記第２学習に基づく前記共通ネットワークと、前記第１学習に基づく第１個別ネットワークと、前記第２学習に基づく第２個別ネットワークと、を含み、
前記処理部は、前記モデルに対して、前記取得部により取得された前記入力データを入力することで、前記第１個別ネットワークから出力される第１出力データと、前記第２個別ネットワークから出力される第２出力データとを生成する、
請求項２に記載の情報処理装置。
前記共通ネットワークは、前記モデルの入力層側に位置し、
前記複数の個別ネットワークは、前記モデルの出力層側に位置する、
請求項１から３の何れか一項に記載の情報処理装置。
前記複数の教師データを学習して前記モデルを生成する学習部をさらに備える、
請求項１から４の何れか一項に記載の情報処理装置。
コンピュータに、
医用画像である入力データを取得させ、
複数の教師データを用いた学習に基づく共通ネットワークと、前記共通ネットワークの後段に位置し且つ前記複数の教師データの各々を用いた個別の学習に基づく複数の個別ネットワークと、を備えるモデルに対して、取得された前記入力データを入力させることで、医用画像である複数の出力データを生成させる、
プログラムであって、
前記複数の個別ネットワークは、複数の診断の目的の各々に応じて設けられ、
前記モデルは、前記共通ネットワークと、前記複数の個別ネットワークとの間に位置するサブネットワークをさらに備え、
前記複数の個別ネットワークの各々により生成される画像間の類似度に基づいて、前記複数の個別ネットワーク同士を所定の個別ネットワーク群としてまとめ、該個別ネットワーク群と、前記共通ネットワークとの間を結ぶように、前記サブネットワークが、前記共通ネットワークと、前記複数の個別ネットワークとの間に配置される、
プログラム。