JP7803869B2 - プログラム、情報処理装置及び情報処理方法 - Google Patents

Description

本技術は、プログラム、情報処理装置及び情報処理方法に関する。

一般に、超音波診断装置やＸ線写真撮影装置など、人体内部の画像を生成する医用画像診断装置が知られている。そして、この種の医用画像診断装置による医用画像を用いて診断や治療を行うといったことが広く行われている。

一方、医師の診断の補助を目的に、医用画像に画像処理や機械学習により情報を付加する技術の開発が行われている。例えば特許文献１では、多数のイメージングモダリティから得られるコレジスタされた医用画像データのセットに基づき、血管画像における関心のあるオブジェクトを検出する方法が開示されている。

特表２０１６－５２５８９３公報

医用画像には、アーチファクトが出現する場合がある。アーチファクトとは、目的としていない、あるいは実際に存在しない虚像のことであり、医用画像を撮影する装置や撮影条件などに由来して結像してしまう像である。このような場合においては、医用画像からオブジェクトの検出が好適に行われないという問題がある。

本開示の目的は、医用画像におけるオブジェクト領域を好適に検出することができるプログラム等を提供することである。

本開示の一態様に係るプログラムは、管腔器官に挿入されたカテーテルにて検出した信号に基づき生成された医用画像を取得し、医用画像を入力した場合に前記医用画像に含まれるオブジェクト領域を検出するよう学習済みのモデルに、取得した前記医用画像を入力することによって、前記医用画像に含まれるオブジェクト領域を検出し、検出した前記オブジェクト領域と、前記医用画像における他の画像領域との境界上に位置する複数の境界点について、各境界点に対する信頼度を算出し、算出した前記信頼度が所定基準を満たす境界点を用いて補間することにより、前記モデルによる前記オブジェクト領域の検出結果に基づく境界を補正する処理をコンピュータに実行させる。

本開示によれば、医用画像におけるオブジェクト領域を好適に検出することができる。

画像診断システムの構成例を示す説明図である。 情報処理装置の構成例を示すブロック図である。 第１学習モデルの概要図である。 医用画像において発生するアーチファクトの例を示す概念図である。 情報処理装置にて実行される処理手順の一例を示すフローチャートである。 第２学習モデルの概要図である。 第２学習モデルの生成手順を説明するフローチャートである。 第２実施形態における情報処理装置にて実行される処理手順の一例を示すフローチャートである。 第３学習モデルの概要図である。 第３実施形態における情報処理装置にて実行される処理手順の一例を示すフローチャートである。 オブジェクト領域の補正に関する説明図である。 画像診断装置の表示画面例を示す説明図である。 第４実施形態における情報処理装置にて実行される処理手順の一例を示すフローチャートである。 第５実施形態における情報処理装置にて実行される処理手順の一例を示すフローチャートである。

本発明をその実施の形態を示す図面を参照して具体的に説明する。

（第１実施形態）
図１は、画像診断システムの構成例を示す説明図である。画像診断システムは、情報処理装置１、画像診断装置２を含む。情報処理装置１及び画像診断装置２は、ＬＡＮ（Local Area Network）、インターネット等のネットワークＮを介して通信接続されている。

画像診断装置２は、被検者の管腔器官をイメージングするための装置ユニットである。画像診断装置２は、例えばカテーテル２１を用いた血管内超音波（ＩＶＵＳ：Intra Vascular Ultra Sound）法によって被検者の血管の超音波断層像を含む医用画像を生成し、血管内の超音波検査及び診断を行うための装置ユニットである。画像診断装置２は、カテーテル２１、ＭＤＵ（Motor Drive Unit）２２、画像処理装置２３、表示装置２４を備える。

カテーテル２１は、ＩＶＵＳ法によって血管の超音波断層像を得るための画像診断用カテーテルである。超音波断層像は、カテーテル２１を用いて生成されたカテーテル画像の例示である。カテーテル２１は、プローブ部２１１と、プローブ部２１１の端部に配置されたコネクタ部２１２とを有する。プローブ部２１１は、コネクタ部２１２を介してＭＤＵ２２に接続される。プローブ部２１１の内部に、シャフト２１３が挿通されている。シャフト２１３の先端側に、センサ２１４が接続されている。

センサ２１４は、超音波トランスデューサであり、血管内においてパルス信号に基づく超音波を送信すると共に、血管の生体組織又は医用機器で反射された反射波を受信する。シャフト２１３及びセンサ２１４は、プローブ部２１１の内部で、血管の周方向に回転しながら血管の長手方向に進退可能に構成されている。

ＭＤＵ２２は、カテーテル２１が着脱可能に取り付けられる駆動装置であり、使用者の操作に応じて内蔵モータを駆動することにより、血管内に挿入されたカテーテル２１の動作を制御する。ＭＤＵ２２は、シャフト２１３及びセンサ２１４を先端側から基端側へと長手方向に移動させながら周方向に回転させる。センサ２１４は、所定の時間間隔で連続的に血管内を走査し、検出された超音波の反射波データを画像診断装置２へ出力する。

画像処理装置２３は、カテーテル２１の超音波プローブから出力された反射波データに基づいて、血管の超音波断層像（医用画像）を生成する処理装置である。画像処理装置２３は、センサ２１４の１回転ごとに１枚の画像を生成する。生成される画像は、プローブ部２１１を中心とし、プローブ部２１１に略垂直な横断層像である。画像処理装置２３は、センサ２１４を一定の速度でＭＤＵ２２側に向けて引っ張りながら回転させるプルバック操作により、複数枚の横断層像を、所定の間隔で連続的に生成する。画像処理装置２３は、生成した超音波断層像を表示装置２４に表示させるほか、検査を行う際の各種設定値の入力を受け付けるための入力インターフェイスなどを備える。

表示装置２４は、液晶表示パネル、有機ＥＬ表示パネル等である。表示装置２４は、画像処理装置２３によって生成された医用画像、情報処理装置１から受信する推定結果等を表示する。

なお、本実施の形態では血管内検査を一例として説明するが、検査対象とする管腔器官は血管に限定されず、例えば腸などの臓器であってもよい。また、カテーテル２１は、近赤外光を用いて光断層像を生成するＯＣＴ（Optical Coherence Tomography）用またはＯＦＤＩ（Optical Frequency Domain Imaging）用等の、光断層像生成用のカテーテルであってもよい。この場合、センサ２１４は、近赤外光の照射と反射光の受信を行なう送受信部である。カテーテル２１は、超音波トランスデューサと、ＯＣＴ又はＯＦＤＩ用の送受信部との両方のセンサ２１４を有し、超音波断層像及び光断層像の両方を含むカテーテル画像を生成するためのものであってもよい。

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。情報処理装置１は画像診断装置２と同じ施設（病院等）に設置されたローカルサーバであってもよく、インターネット等を介して画像診断装置２に通信接続されたクラウドサーバであってもよい。情報処理装置１は、画像診断装置２で生成された医用画像から第１学習モデル１４１（図２参照）を用いて内腔領域などのオブジェクト領域を検出する検出装置として機能し、検出結果を画像診断装置２に提供する。特に、本実施形態に係る情報処理装置１は、第１学習モデル１４１に入力する医用画像に対して後述する前処理を実行することで、好適にオブジェクト領域を検出した検出結果を提供するものである。

図２は、情報処理装置１の構成例を示すブロック図である。情報処理装置１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。情報処理装置１は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域である。補助記憶部１４は、補助記憶部１４は、プログラムＰを含む制御部１１が参照するプログラム及びデータを記憶する。また、補助記憶部１４は、第１学習モデル１４１を記憶する。補助記憶部１４は、その他、第２学習モデル１４２、第３学習モデル１４３等を記憶してもよい。第１学習モデル１４１以外の学習モデルについては他の実施形態で詳述する。なお、補助記憶部１４は情報処理装置１に接続された外部記憶装置であってもよい。

プログラムＰは、情報処理装置１の製造段階において補助記憶部１４に書き込まれてもよいし、遠隔のサーバ装置が配信するものを情報処理装置１が通信にて取得して補助記憶部１４に記憶させてもよい。プログラムＰは、磁気ディスク、光ディスク、半導体メモリ等の記録媒体１ａに読み出し可能に記録された態様であってもよい。

本実施の形態において情報処理装置１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。

図３は、第１学習モデル１４１の概要図である。第１学習モデル１４１は、医用画像が入力された場合、医用画像内のオブジェクト領域を検出した検出結果を出力するよう構成される機械学習モデルである。オブジェクトは、例えば、血管内腔、血管膜、血管壁部、ステント（血管内に存在する医用器具）、ガイドワイヤ、血管内の石灰化部分等である。図３では、オブジェクト領域として血管の内腔領域を検出する第１学習モデル１４１の例を説明する。第１学習モデル１４１は、その定義情報によって定義される。第１学習モデル１４１の定義情報は、例えば、第１学習モデル１４１の構造情報や層の情報、各層が備えるノードの情報、ノード間の重み及びバイアスなどのパラメータを含む。補助記憶部１４には、第１学習モデル１４１に関する定義情報が記憶される。第１学習モデル１４１は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。

第１学習モデル１４１は、例えば深層学習による学習済みの畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）である。第１学習モデル１４１は、いわゆるセマンティックセグメンテーション（Semantic Segmentation ）を用いた画像認識技術により、オブジェクト領域を画素単位で認識する。

第１学習モデル１４１は、医用画像が入力される入力層１４１ａと、画像の特徴量を抽出し復元する中間層１４１ｂと、医用画像に含まれるオブジェクト領域を画素単位で示すラベル画像を出力する出力層１４１ｃとを有する。第１学習モデル１４１は、例えばＵ－Ｎｅｔである。

第１学習モデル１４１の入力層１４１ａは、医用画像に含まれる各画素の画素値の入力を受け付ける複数のノードを有し、入力された画素値を中間層１４１ｂに受け渡す。中間層１４１ｂは、入力データの特徴量を抽出する複数のノードを有し、各種パラメータを用いて抽出された特徴量を出力層に受け渡す。中間層１４１ｂは、畳み込み層（ＣＯＮＶ層）と、逆畳み込み層（ＤＥＣＯＮＶ層）とを有する。畳み込み層は、画像データを次元圧縮する層である。次元圧縮により、オブジェクト領域の特徴量が抽出される。逆畳み込み層は逆畳み込み処理を行い、元の次元に復元する。逆畳み込み層における復元処理により、画像内の各画素がオブジェクト領域であるか否かを示す二値化されたラベル画像が生成される。

出力層１４１ｃは、ラベル画像を出力する一又は複数のノードを有する。ラベル画像は、例えば、２値化画像であり、血管の内腔領域に対応する画素がクラス「１」、その他の画像に対応する画素がクラス「０」の画像である。出力層１４１ｃは、中間層１４１ｂから入力される特徴量を基に、例えばソフトマックス関数である活性化関数１４１ｄを用いて、各画素に対するクラス分類の出力値を確率に変換する。変換した確率に基づき、画素毎にクラス分類されたラベル画像を出力する。活性化関数１４１ｄは、ソフトマックス関数に限定されず、その他シグモイド関数、ＲｅＬＵ関数等を用いてもよい。

本実施の形態では、第１学習モデル１４１は、時系列で連続する複数フレームの医用画像を入力として受け付け、各フレームの医用画像からオブジェクト領域を検出する。具体的には、第１学習モデル１４１は、カテーテル２１の走査に従い、血管の長手方向に沿って連続する複数フレームの医用画像を入力として受け付ける。第１学習モデル１４１は、時間軸ｔに沿って連続する各フレームの医用画像からオブジェクト領域を検出する。

第１学習モデル１４１は予め、情報処理装置１又は外部装置において生成され、学習される。情報処理装置１の制御部１１は、過去に収集した大量の画像に、既知のオブジェクト領域のラベルが付与された情報群を訓練データとして予め収集して、第１学習モデル１４１を学習する。オブジェクト領域は、例えば専門知識を有する医師が行った判断を正解ラベルとしてよい。制御部１１は、収集した訓練データを分類し、一部をテスト用データ、残りを学習用データとする。

制御部１１は、情報群より抽出された学習用データ（訓練データ）の医用画像を入力データとして第１学習モデル１４１に入力する。制御部１１は、第１学習モデル１４１から出力された出力値と、情報群より抽出された訓練データの正解ラベルとの誤差を損失関数（誤差関数）により算出する。損失関数として、例えば以下のような（数式１）で示す平均二乗誤差Ｅを用いることができる。

ここで、ｙ_ｋは第１学習モデル１４１から出力された出力値、ｔ_ｋは訓練データ、ｋはデータの個数（次元数）を表す。

制御部１１は、算出した誤差が最小となるように、例えば誤差逆伝播法を用いて、第１学習モデル１４１を構成する各種パラメータ及び重み等の更新を繰り返すことで学習を行う。各種パラメータ及び重みが最適化され、第１学習モデル１４１は、医用画像が入力された場合、オブジェクト領域を出力する。

制御部１１は、第１学習モデル１４１の機械学習が適正に行われたかどうかを評価する。具体的には、テスト用データ（訓練データ）の医用画像を第１学習モデル１４１に入力し、第１学習モデル１４１から出力された出力値の誤差を算出する。制御部１１は、出力値の誤差が閾値未満であるか否かを判定する。誤差が閾値未満である場合、学習が適正に行われたと判定し、第１学習モデル１４１の学習を終了する。これにより、医用画像が入力された場合、オブジェクト領域を適切に検出可能に学習された第１学習モデル１４１が構築される。

なお、本実施形態においては、第１学習モデル１４１はＣＮＮ及びセマンティックセグメンテーションモデルであるものとするが、モデルの構成は限定されるものではない。第１学習モデル１４１は、医用画像内のオブジェクトの位置や形状を識別可能であればよい。第１学習モデル１４１は、例えばＲＮＮ（Recurrent Neural Network）、ＳＶＭ（Support Vector Machine）、回帰木等、その他の学習アルゴリズムに基づくモデルであってもよい。

ここで、医用画像におけるアーチファクトに関して説明する。図４は、医用画像において発生するアーチファクトの例を示す概念図である。画像診断装置２により生成される医用画像には、アーチファクトが生じる場合がある。アーチファクトとは、検査の目的としていない部分の像、あるいは実際に存在しない虚像のことであり、装置や撮影条件、カテーテル２１の操作方法などに由来して画像化されてしまう像である。図４を用いて、医用画像において発生するアーチファクトの例を説明する。なお、アーチファクトは図４の例に限定されないことは勿論である。

例えば、血管内に石灰化した組織４１が存在する場合、石灰化した組織４１及びカテーテル２１の間の距離と等間隔の位置にアーチファクト４２が形成される。石灰化した組織４１が存在する場合、カテーテル２１から送信される超音波が生体管腔内で何度も反射することで白く明るい像であるアーチファクト４２が形成される。このような現象は多重反射と呼ばれている。

ガイドワイヤが存在する部位では、ガイドワイヤ像４３よりもカテーテル２１の径方向外側に略扇形状のアーチファクト４４が形成される。ガイドワイヤが存在する場合、強反射体であるガイドワイヤに大部分の超音波が反射されることで、ガイドワイヤよりもカテーテル２１の径方向外側に透過する超音波が大きく減衰し、画像の一部が黒く抜け落ちるアーチファクト４４が形成される。このような現象は音響陰影と呼ばれている。その他ステントが留置されている部位、強度に石灰化した部位、高減衰プラークなどの外側にも同様なアーチファクトが形成される。

血管の内膜と中膜の間に偽腔が存在する場合、偽腔領域に相当するアーチファクト４５が形成される。偽腔領域が表示されることで、本来の検出対象である内腔の領域情報が誤抽出されるおそれがある。本実施形態では、このような偽腔領域を含む検査の目的としていない部分の像もアーチファクトの１種に含む。

カテーテル２１先端のエアトラップに気泡が残っている場合、画像の一部にアーチファクト４６が形成される。気泡によって超音波が減衰し、画像の一部が黒くなることでアーチファクト４６が形成される。

上記のようなアーチファクトが医用画像に発生することにより、検出対象となるオブジェクト領域の情報が欠落する。また、アーチファクトの影響により、医用画像の特徴が変化する。従って、アーチファクトを含む医用画像から第１学習モデル１４１を用いてオブジェクト領域を検出した場合には、検出精度が低下するおそれがある。本実施形態では、情報処理装置１は、医用画像を画像診断装置２から取得した場合、医用画像に対する検出精度を推定する前処理を実行する。前処理によって、検出精度が低いと推定される医用画像からのオブジェクト領域の検出は行わず、検出精度が高いと推定される医用画像のみからオブジェクト領域を検出する。

本実施形態における前処理方法に関して具体的に説明する。情報処理装置１が実行する前処理には、医用画像からオブジェクト領域を検出するか否かを判定するための判定情報の導出処理と、判定情報に基づきオブジェクト領域を検出するか否かを判定する判定処理とが含まれる。

判定情報には、医用画像に対するオブジェクト領域の検出精度に関する情報が含まれる。本実施形態では、判定情報は、第１学習モデル１４１に含まれる活性化関数１４１ｄの出力を含む。上述したように、第１学習モデル１４１の出力層１４１ｃは、活性化関数１４１ｄにソフトマックス関数を用いて、医用画像の各画素に対するクラス分類を示す出力値を出力する。ソフトマックス関数は、各クラスに対応する出力値の合計値が１．０になるよう変換する関数である。すなわち、ソフトマックス関数の出力値は、医用画像における画素毎の、クラス「１」（血管の内腔領域）に分類される確率である。ソフトマックス関数の出力値は、当該画素がクラス「１」である確からしさを示すものであり、オブジェクト領域の検出結果に対する確度を示す。各クラスに対応する出力値はそれぞれ、０．０～１．０の範囲の数値として出力される。情報処理装置１は、第１学習モデル１４１を用いて、医用画像の画素毎に出力値を取得する。

情報処理装置１は、取得した活性化関数１４１ｄの出力値に基づき、医用画像に対してオブジェクト領域の検出処理を行うか否かを判定する。例えば、医用画像内の１つの画素に対する内腔領域の出力値が１に近い場合、内腔領域である確率が高く、検出結果に対する確度が高いことを示す。画素に対する内腔領域の出力値が０に近い場合、内腔領域でない確率が高く、検出結果に対する確度が高いことを示す。一方で、画素に対する内腔領域の出力値が０．５付近の場合、内腔領域である確率及び内腔領域でない確率が共に低く、検出結果に対する確度が低いことを示す。このような観点から、情報処理装置１は、活性化関数１４１ｄの出力値に基づき医用画像に対する確度を判断することで、オブジェクト領域の検出処理を行うか否かを判定する。

具体的には、活性化関数１４１ｄの出力値が所定範囲内（例えば０．４～０．６）である画素数を取得することにより、医用画像の全画素に対し、出力値が所定範囲内である画素の割合を算出する。出力値が所定範囲内である画素の割合が閾値未満である場合、医用画像におけるオブジェクト領域の検出精度が高いと推定されるため、当該医用画像に対しオブジェクト領域の検出を行うと判定する。出力値が所定範囲内である画素の割合が閾値以上である場合、医用画像におけるオブジェクト領域の検出精度が低いと推定されるため、当該医用画像に対しオブジェクト領域の検出を行わないと判定する。検出を行うか否かの判定は、画素数を用いるものに限定されず、各画素における出力値の分散の値を用いてもよい。

図５は、情報処理装置１にて実行される処理手順の一例を示すフローチャートである。ＭＤＵ２２がプルバック操作を実行し、画像診断装置２から医用画像が出力されると、情報処理装置１の制御部１１はプログラムＰに従って以下の処理を実行する。

情報処理装置１の制御部１１は、被検者の医用画像を画像診断装置２から取得する（ステップＳ１１）。取得した医用画像は、時系列で連続する複数フレームの断層像の画像である。制御部１１は、判定情報の導出に処理を進める。

制御部１１は、取得した医用画像を第１学習モデル１４１に入力することによって（ステップＳ１２）、第１学習モデル１４１に含まれる活性化関数１４１ｄの出力値を画素毎に取得する（ステップＳ１３）。これにより判定情報が導出される。

ついで制御部１１は、導出した活性化関数１４１ｄの出力値に基づき、医用画像に対してオブジェクト領域の検出処理を行うか否かを判定する（ステップＳ１４）。具体的には、医用画像の全画素数に対する、出力値が所定範囲内である画素数の割合が閾値以上であるか否かを判断することで、検出処理を行うか否かを判定する。

出力値が所定範囲内である画素の割合が閾値未満であることにより、取得した医用画像に対しオブジェクト領域の検出を行うと判定した場合（ステップＳ１４：ＹＥＳ）、制御部１１は、医用画像を第１学習モデル１４１に入力する（ステップＳ１５）。制御部１１は、第１学習モデル１４１から出力される出力値を取得することにより、医用画像におけるオブジェクト領域を検出する（ステップＳ１６）。

制御部１１は、検出したオブジェクト領域を表示する画像情報を生成する（ステップＳ１７）。制御部１１は、生成した画像情報を画像診断装置２に出力する（ステップＳ１８）。画像情報に基づき表示される画像には、医用画像に含まれるオブジェクト領域が識別可能な表示態様で表示される。画像は、例えば第１学習モデル１４１から出力されたラベル画像を元の医用画像に重畳した画像である。制御部１１は、例えば第１学習モデル１４１から出力されたラベル画像を半透明マスクに加工し、元の医用画像に重畳して表示する画像情報を生成する。

一方、出力値が所定範囲内である画素の割合が閾値以上であることにより、取得した医用画像に対しオブジェクト領域の検出を行わないと判定した場合（ステップＳ１４：ＮＯ）、制御部１１は、警告情報を生成する（ステップＳ１９）。警告情報は、オブジェクト領域の検出を行わないことをテキスト等にて示す警告画面情報を含む。警告情報は、オブジェクト領域の検出を行わないことを音声にて示す音声データを含んでもよい。警告情報は、出力値が所定範囲内である画素の割合を示す情報を含んでよい。制御部１１は、生成した警告情報を画像診断装置２に出力し（ステップＳ２０）、一連の処理を終了する。なお、制御部１１は、処理をステップＳ１１に戻すループ処理を行ってもよい。

医師等は、画像診断装置２を介して表示される警告情報に基づき医用画像におけるオブジェクトの検出状況を認識することができる。医師等は、警報情報を基に、再度医用画像を取得するなどの対応が可能となる。

本実施形態では画像情報、警告情報等の出力先が画像診断装置２であるものとして説明するが、医用画像の取得元である画像診断装置２以外の装置（例えばパーソナルコンピュータ）に画像情報、警告情報等を出力してもよいことは勿論である。

本実施形態によれば、オブジェクト領域の検出前に前処理を実行することで、オブジェクト領域の検出精度が高いと推定される医用画像のみを用いて、オブジェクト領域を好適に検出することができる。医用画像におけるアーチファクトの影響を低減し、第１学習モデル１４１により得られる検出結果に対する精度を向上させ得る。オブジェクト領域の検出精度が低いと推定される医用画像に対しては警告が示されるため、医師等に対してオブジェクト領域を検出しない旨を確実に報知することができる。

（第２実施形態）
第２実施形態の画像診断システムでは、判定情報の内容が第１実施形態と異なるため、以下では主に上記相違点を説明する。その他の構成については第１実施形態と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

第２実施形態の判定情報は、医用画像に含まれるオブジェクト領域の検出精度に関する評価指標を含む。情報処理装置１は、第２学習モデル１４２を用いて判定情報を導出する。第２学習モデル１４２は、医用画像が入力された場合、当該医用画像に含まれるオブジェクト領域の検出精度に関する評価指標を出力するよう構成される機械学習モデルである。情報処理装置１の補助記憶部１４は、第２学習モデル１４２に関する定義情報を記憶する。オブジェクト領域の検出精度に関する評価指標とは、医用画像からオブジェクト領域を検出した場合に推定される検出精度を示す情報である。例えば、評価指標は、医用画像に含まれるオブジェクト領域を検出する第１学習モデル１４１の出力値に対する損失関数の値を用いてよい。損失関数は、上述したように、第１学習モデル１４１の出力値と訓練データの正解ラベルとの誤差を示すものであり、第１学習モデル１４１の精度の指標となる。

図６は、第２学習モデル１４２の概要図である。第２学習モデル１４２は、例えば深層学習によって生成されるニューラルネットワークモデルであり、例えばＣＮＮである。第２学習モデル１４２は、医用画像が入力される入力層１４２ａと、画像の特徴量を抽出する中間層１４２ｂと、医用画像に対する評価指標を示す出力データを出力する出力層１４２ｃとを有する。

第２学習モデル１４２の入力層１４２ａは、医用画像に含まれる各画素の画素値の入力を受け付ける複数のノードを有し、入力された画素値を中間層１４２ｂに受け渡す。中間層１４２ｂは、入力データの特徴量を抽出する複数のノードを有し、各種パラメータを用いて抽出された特徴量を出力層に受け渡す。出力層１４２ｃは、評価指標を示す連続値を出力する。なお、出力層１４２ｃは、回帰により連続値を出力するのもに限定されず、分類により評価指標を示す離散値を出力してもよい。

本実施形態においては、第２学習モデル１４２はＣＮＮであるものとするが、モデルの構成は限定されるものではない。第２学習モデル１４２は、例えばＲＮＮ、ＳＶＭ、回帰木等、その他の学習アルゴリズムに基づくモデルであってもよい。

情報処理装置１は、予め第２学習モデル１４２を生成し、判定情報の導出に用いる。図７は、第２学習モデル１４２の生成手順を説明するフローチャートである。

情報処理装置１の制御部１１は、第２学習モデル１４２を訓練（学習）するための訓練データを取得する（ステップＳ３１）。訓練データは、医用画像と、医用画像に含まれるオブジェクト領域の検出精度に関する評価指標を示すラベルデータとを含む。評価指標は、第１学習モデル１４１に基づき得られる損失関数の値を用いる。第１学習モデル１４１はセマンティックセグメンテーションモデルであり、損失関数の値は、医用画像の画素（ピクセル）毎における損失関数の全画像サイズ分の合計値を含むものとする。

制御部１１は、例えば、上述した第１学習モデル１４１の生成段階における学習の評価時に算出した損失関数と、損失関数に対応する医用画像とを関連付けた複数の情報群を訓練データとして取得する。すなわち、制御部１１は、第１学習モデル１４１のテスト用データ（訓練データ）の医用画像と、当該医用画像を入力した場合に第１学習モデル１４１により出力されるオブジェクト領域に対する損失関数の値とを訓練データとする。

制御部１１は、情報群より抽出された訓練データの医用画像を入力データとして第２学習モデル１４２に入力する（ステップＳ３２）。制御部１１は、第２学習モデル１４２から出力される評価指標（損失関数）を取得する（ステップＳ３３）。制御部１１は、得られた評価指標（出力値）と、情報群より抽出された訓練データの正解ラベルとの誤差を所定の損失関数により算出する。制御部１１は、損失関数を最適化（最小化又は最大化）するように、例えば誤差逆伝播法を用いて、各種パラメータ及び重み等を調整する（ステップＳ３４）。学習が開始される前の段階では、第２学習モデル１４２を記述する定義情報には、初期設定値が与えられているものとする。

制御部１１は、学習を終了するか否かを判定する（ステップＳ３５）。例えば、制御部１１は、情報群からテスト用データを取得して第２学習モデル１４２に入力し、算出した誤差が所定基準を満たした場合に学習を終了すると判定する。制御部１１は、学習回数が所定基準を満たした場合に学習を終了すると判定してもよい。

学習を終了しないと判定した場合（ステップＳ３５：ＮＯ）、制御部１１は、処理をステップＳ３１へ戻す。学習を終了すると判定した場合（ステップＳ３５：ＹＥＳ）、制御部１１は、学習済みの第２学習モデル１４２として、第２学習モデル１４２に関する定義情報を補助記憶部１４に記憶させ（ステップＳ３６）、本フローチャートによる処理を終了する。上述の処理により、医用画像に対し、当該医用画像に含まれるオブジェクト領域の検出精度に関する評価指標を適切に推定可能に学習された第２学習モデル１４２を構築することができる。

情報処理装置１は、第２学習モデル１４２により得られる評価指標を判定情報として用いて、医用画像からオブジェクト領域を検出するか否かを判定する。評価指標が大きい医用画像は、検出精度が低いと推定されるためオブジェクト領域の検出を行わない。評価指標が小さい医用画像は、検出精度が高いと推定されるためオブジェクト領域の検出を行う。

上記では、評価指標に第１学習モデル１４１に基づき得られる損失関数の値を用いる例を説明したが、評価指標は損失関数に限定されるものではなく、医用画像に含まれるオブジェクト領域の検出精度を示す情報であればよい。例えば、評価指標は、第１学習モデル１４１の正解率、適合率、再現率等を用いてもよい。評価指標は、例えば専門知識を有する医師等が判断した値を用いてもよい。

図８は、第２実施形態における情報処理装置１にて実行される処理手順の一例を示すフローチャートである。第１実施形態の図５と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。

情報処理装置１の制御部１１は、被検者の医用画像を画像診断装置２から取得する（ステップＳ１１）。制御部１１は、取得した医用画像に基づき、判定情報を導出する。本実施形態では、判定情報として医用画像に含まれるオブジェクト領域の検出精度に関する評価指標を導出する。より具体的には、損失関数の値を導出する。

制御部１１は、取得した医用画像を第２学習モデル１４２に入力することによって（ステップＳ４１）、出力される評価指標の値を取得する（ステップＳ４２）。これにより判定情報が導出される。

制御部１１は、取得した評価指標に基づき、医用画像に対してオブジェクト領域の検出処理を行うか否かを判定する（ステップＳ１４）。具体的には、医用画像に対する評価指標が閾値以上であるか否かを判断することで、検出処理を行うか否かを判定する。

評価指標が閾値未満である場合、制御部１１は、医用画像に対しオブジェクト領域の検出を行うと判定する。評価指標が閾値以上である場合、制御部１１は、医用画像に対しオブジェクト領域の検出を行わないと判定する。以降、制御部１１は、判定結果に応じて、図８に示したステップＳ１５～Ｓ２０の処理を実行する。

本実施形態によれば、第２学習モデル１４２を用いた前処理により、第１学習モデル１４１の損失関数が大きいと推定される医用画像を予め抽出することで、その他の医用画像を用いてオブジェクト領域を精度よく検出することができる。

なお、情報処理装置１の制御部１１は、オブジェクト領域の検出後に第２学習モデル１４２の再学習を行ってもよい。制御部１１は、第１学習モデル１４１を用いて、新たに取得した医用画像からオブジェクト領域を検出した後、検出結果に対する損失関数の値を取得する。制御部１１は、取得した損失関数の値と、対応する医用画像とを訓練データとする再学習を行う。制御部１１は、第２学習モデル１４２の重み等を最適化し、第２学習モデル１４２を更新する。上述の処理によれば、本画像診断システムの運用を通して第２学習モデル１４２をより最適化することができる。

（第３実施形態）
第３実施形態の画像診断システムでは、判定情報の内容が第１実施形態及び第２実施形態と異なるため、以下では主に上記相違点を説明する。その他の構成については第１実施形態及び第２実施形態と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

第３実施形態の判定情報は、医用画像に含まれるアーチファクトの有無に関する情報を含む。第３実施形態では、アーチファクトの有無に基づき、医用画像に対する検出精度の高低を推定する。アーチファクトの有る医用画像は、アーチファクトの無い医用画像に比べて特徴量が大きく異なるため、検出精度が低くなると推定される。アーチファクトの無い医用画像は、特徴量の変化が小さいため検出精度が高いと推定される。

情報処理装置１は、第３学習モデル１４３を用いて判定情報を導出する。第３学習モデル１４３は、医用画像が入力された場合、当該医用画像に含まれるアーチファクトの有無を示す情報を出力するよう構成される機械学習モデルである。情報処理装置１の補助記憶部１４は、第３学習モデル１４３に関する定義情報を記憶する。情報処理装置１は、第２実施形態の第２学習モデル１４２と同様に、訓練データを学習して第３学習モデル１４３を事前に生成しておく。そして情報処理装置１は、画像診断装置２から医用画像を取得した場合、第３学習モデル１４３に入力してアーチファクトの有無を推定する。

図９は、第３学習モデル１４３の概要図である。第３学習モデル１４３は、例えばＣＮＮ１４３ａと分類器１４３ｂとを有する。ＣＮＮ１４３ａは、深層学習モデルであり、医用画像の入力を受け付け、画像の特徴量を抽出して出力する。ＣＮＮ１４３ａは、例えば転移学習により、事前に学習された学習済みモデルを用いてよい。

分類器１４３ｂは、例えばＯｎｅ－ｃｌａｓｓ ＳＶＭである。分類器１４３ｂは、ＣＮＮ１４３ａにより抽出された特徴量に基づき、医用画像を「正常」又は「異常」に分類した分類結果を出力する。より具体的には、分類器１４３ｂは、医用画像が正常データとされるアーチファクト無しに該当するか否かを二値で判定した値を出力する。

情報処理装置１は、過去に収集した大量のアーチファクトの無い医用画像のみを用いて、アーチファクトの無い医用画像を正常データとして、教師無し学習を行う。分類器１４３ｂは、アーチファクトの無い医用画像を正常データとし、正常データから「外れ値」を識別するように訓練される。分類器１４３ｂは、アーチファクトの無い医用画像以外、すなわちアーチファクトの有る医用画像を異常値として識別する。これにより、医用画像が入力された場合、アーチファクトの有無を示す情報を適切に出力可能に学習された第３学習モデル１４３が構築される。

なお、第３学習モデル１４３の構成は上記の例に限定されるものではない。第３学習モデル１４３は、医用画像内のアーチファクトの有無を識別可能であればよい。第３学習モデル１４３は、例えばアーチファクトの有る医用画像及びアーチファクトの無い医用画像の両方を含む訓練データを用いて、教師有り学習により、医用画像におけるアーチファクトの有無の分類結果を出力してもよい。第３学習モデル１４３は、例えばＲＮＮ、ＧＡＮ（Generative Adversarial Network）等、その他の学習アルゴリズムに基づくモデルであってもよい。

情報処理装置１は、上述の第３学習モデル１４３により得られるアーチファクトの有無を判定情報として用いて、医用画像からオブジェクト領域を検出するか否かを判定する。アーチファクトの有る医用画像は、検出精度が低いと推定されるためオブジェクト領域の検出を行わない。アーチファクトの無い医用画像は、検出精度が高いと推定されるためオブジェクト領域の検出を行う。

図１０は、第３実施形態における情報処理装置１にて実行される処理手順の一例を示すフローチャートである。第１実施形態の図５と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。

情報処理装置１の制御部１１は、被検者の医用画像を画像診断装置２から取得する（ステップＳ１１）。制御部１１は、取得した医用画像に基づき、判定情報を導出する。本実施形態では、判定情報として医用画像におけるアーチファクトの有無を導出する。

制御部１１は、取得した医用画像を第３学習モデル１４３に入力することによって（ステップＳ５１）、出力されるアーチファクトの有無を取得する（ステップＳ５２）。これにより判定情報が導出される。

制御部１１は、取得したアーチファクトの有無に基づき、医用画像に対してオブジェクト領域の検出処理を行うか否かを判定する（ステップＳ１４）。医用画像内にアーチファクトが無い場合、制御部１１は、医用画像に対しオブジェクト領域の検出を行うと判定する。医用画像内にアーチファクトが有る場合、制御部１１は、医用画像に対しオブジェクト領域の検出を行わないと判定する。以降、制御部１１は、判定結果に応じて、図１０に示したステップＳ１５～Ｓ２０の処理を実行する。

本実施形態によれば、第３学習モデル１４３を用いてアーチファクトの有無を精度よく推定する。アーチファクトの有る医用画像、すなわち検出精度が低いと推定される医用画像を予め抽出することで、その他の医用画像を用いてオブジェクト領域を精度よく検出することができる。

情報処理装置１は、第１実施形態から第３実施形態で説明した３種類の判定情報を複数用いて、オブジェクト領域の検出を行うか否かを判定してもよい。例えば、情報処理装置１は、前処理を並行して実行し、３種類の判定情報それぞれに基づく判定結果を取得し、判定結果を総合的に評価することで検出処理を行うか否かを判定してもよい。又は、情報処理装置１は、例えば第１実施形態の前処理を実行し検出処理を行わないと判定した場合、次に、第２実施形態の前処理を実行し再度判定を行うといったように、複数の前処理を順次実行してもよい。

（第４実施形態）
第４実施形態の画像診断システムでは、第１学習モデル１４１の検出結果に対し後処理を行う点で第１実施形態と異なるため、以下では主に上記相違点を説明する。その他の構成については第１実施形態と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

第４実施形態の情報処理装置１は、第１学習モデル１４１によるオブジェクト領域の検出結果に対し、オブジェクト領域の検出結果の精度が低いと推定される場合にはオブジェクト領域の境界を補正する後処理を実行する。

図１１は、オブジェクト領域の補正に関する説明図である。図１１を用いて、情報処理装置１の制御部１１が行う後処理及びオブジェクト領域の補正方法を具体的に説明する。

第１学習モデル１４１を用いて、医用画像からオブジェクト領域が検出される。第１学習モデル１４１は、例えばセマンティックセグメンテーションモデルであり、図１１の右上方に示す如く、オブジェクト領域が黒、オブジェクト領域以外の領域が白で表示されるラベル画像を生成する。制御部１１は、図１１の中央右に示す如く、オブジェクト領域と、オブジェクト領域に隣接する他の領域との境界線上に、所定間隔で複数の境界点を設定する。

次に、第１学習モデル１４１に含まれる活性化関数１４１ｄの出力値を取得する。活性化関数１４１ｄの出力は、医用画像の画素（ピクセル）毎に得られる。出力値が所定範囲内（例えば０．４～０．６）である画素は、検出結果に対する確度が低く、出力値が所定範囲外である画素は、検出結果に対する確度が高いことを示す。図１１の中央左に、各画素における出力値の概念を示す。図１１では、出力値が所定範囲内である画素に右下がりのハッチングを施し、出力値が所定範囲外の画素に左下がりのハッチングを施している。図１１の例では、医用画像の右下に、出力値が所定範囲内の画素、すなわち確度が低い画素が多く含まれている。

また、制御部１１は、医用画像を複数領域に分割する。上述したように、ＩＶＵＳ法により得られる医用画像（断層像）は、センサ２１４の回転によって得られる像であるので、その回転軸を中心とする円形像となる。医用画像は、円の中心を基準に、周方向に複数の領域に分割される。各領域は、例えば同一の中心角を有する複数の扇形形状である。なお、医用画像の分割方法及び領域の形状は限定されるものではないが、医用画像内の境界線を略垂直方向に分割する領域とすることが好ましい。例えば、円の中心から円周方向に延びる帯状の長方形の領域に分割されてもよい。各領域は、医用画像の境界点を区切るものであればよく、各領域の一部が重複してもよい。上記では極座標画像である医用画像を例に説明したが、医用画像は極座標画像に限定されず、血管の周方向θと、径方向ｒとを軸とする直交座標画像であってもよい。この場合、径方向ｒにおいて所定間隔で等分することにより医用画像を複数領域に分割する。

情報処理装置１は、各領域に含まれる境界点について信頼度を算出する。信頼度は、検出結果に対する確からしさの度合いである。信頼度は、境界点を含む領域に含まれる画素の活性化関数１４１ｄの出力値に基づき算出される。情報処理装置１は、例えば領域内の全画素に対する、出力値が所定範囲外の画素数の割合を算出することで、当該領域内の境界点に対する信頼度を取得する。なお信頼度は、各画素における出力値の分散に基づき算出してもよい。全ての境界点の信頼度が高い場合、第１学習モデル１４１によるオブジェクト領域を補正することなく画像診断装置２へ出力する。信頼度が低い境界点が存在する場合、第１学習モデル１４１の検出結果に対する補正を行う。図１１の中央左における横線のハッチングは信頼度が高い境界点を含む１つの領域を示し、縦線のハッチングは信頼度が低い境界点を含む１つの領域を示している。

信頼度が低い境界点が存在する場合には、信頼度が低い境界点を含む境界に代えて、補間による新たな境界を生成することで、オブジェクト領域を補正する。以下では、一例としてスプライン補間により新たな境界を生成する処理を説明する。情報処理装置１は、境界上に設定した全ての境界点から信頼度が高い境界点を抽出することで、信頼度が低い境界点を取り除く。信頼度が高い境界点を複数用いて、取り除いた境界点を挟んで両側に設定される信頼度が高い境界点間を、スプライン補間によりスプライン曲線で連結することにより、境界点間をつなぐ新たな境界を生成する。信頼度が低い境界点が複数連続する場合には、これら連続する信頼度が低い境界点群の両側に設定される信頼度が高い境界点間を補間するとよい。

このようにして、図１１の下方に示す如く、オブジェクト領域の検出精度が低いと推定される部分に、新たな境界線が生成される。新たな境界線と、第１学習モデル１４１による検出結果に基づく境界線とにより、オブジェクト領域の縁を補完した環状、すなわち閉曲線の境界線が生成され、当該境界線による新たなオブジェクト領域が形成される。なお、境界線の補間方法は限定されるものではない。例えば、円弧補間を用いてもよく、前後フレームの境界を用いて補間してもよい。境界点に応じた境界線の画像を生成する機械学習モデルを用いてもよい。情報処理装置１は、上述の補正による新たなオブジェクト領域を画像診断装置２へ出力する。

図１２は、画像診断装置２の表示画面例を示す説明図である。画像診断装置２は、情報処理装置１から受信した検出結果情報に基づく表示画面２４０を表示装置２４に表示する。表示画面２４０には、医用画像欄２４１及びオブジェクト画像欄２４２が含まれる。医用画像欄２４１には、画像処理装置２３により生成された医用画像がリアルタイムで表示される。オブジェクト画像欄２４２には、医用画像に含まれるオブジェクト領域を識別可能な表示態様で表示するオブジェクト画像が含まれる。オブジェクト画像は、例えばオブジェクト領域２４３を示すラベル画像を元の医用画像に重畳した画像である。制御部１１は、境界線を補間した場合には、補間した境界に応じてラベル画像のオブジェクト領域を補正する。制御部１１は、ラベル画像を半透明マスクに加工し、元の医用画像に重畳して表示する画像情報を生成する。この場合において制御部１１は、例えば異なる透明度、色等を設定することにより、第１学習モデル１４１の検出結果に基づくオブジェクト領域と、補間されたオブジェクト領域とを識別可能な表示態様で表示してもよい。

オブジェクト画像には、さらにオブジェクト領域の境界線２４４，２４５が含まれてよい。制御部１１は、第１学習モデル１４１の検出結果に基づく境界線２４４、又は第１学習モデル１４１の検出結果に基づく境界線２４４と補間による新たな境界線２４５とで形成される境界線を、元の医用画像に重畳して表示する。この場合において制御部１１は、例えば異なる色、線種等を設定することにより、第１学習モデル１４１の検出結果に基づく境界線２４４と、補間による新たな境界線２４５とを識別可能な表示態様で表示してもよい。

図１３は、第４実施形態における情報処理装置１にて実行される処理手順の一例を示すフローチャートである。ＭＤＵ２２がプルバック操作を実行し、画像診断装置２から医用画像が出力されると、情報処理装置１の制御部１１はプログラムＰに従って以下の処理を実行する。

情報処理装置１の制御部１１は、被検者の医用画像を画像診断装置２から取得する（ステップＳ６１）。取得した医用画像は、時系列で連続する複数フレームの断層像の画像である。制御部１１は、取得した医用画像を第１学習モデル１４１に入力することによって（ステップＳ６２）、オブジェクト領域を検出する（ステップＳ６３）。制御部１１は、オブジェクト領域を示すラベル画像を取得する。

制御部１１は、第１学習モデル１４１における活性化関数１４１ｄの出力値を画素毎に取得する（ステップＳ６４）。

制御部１１は、取得した出力値に基づき、オブジェクト領域とその他の領域との境界上に設定される各境界点の信頼度を算出する（ステップＳ６５）。具体的には、制御部１１は、医用画像を複数の扇形領域に分割し、各領域に含まれる画素の内、出力値が所定範囲外である画素数を算出する。制御部１１は、領域内の全画素に対する、出力値が所定範囲外である画素の割合を算出することで、当該領域に含まれる境界点の信頼度を取得する。制御部１１は、全ての領域について上述の処理を行い、境界上に設定された全ての境界点に対する信頼度を算出する。

制御部１１は、算出した各境界点の信頼度と、予め設定されている閾値（例えば０．５）との大小関係を判断することにより、全境界点の中から算出した境界点の信頼度が閾値以上である境界点を抽出する（ステップＳ６６）。

制御部１１は、抽出した複数の境界点を用いてスプライン補間を行う（ステップＳ６７）。制御部１１は、閾値未満であると判定した境界点の両側に設定される、信頼度が閾値以上である境界点間をつなぐ新たな境界線（スプライン曲線）を生成することにより、境界線を補正する（ステップＳ６８）。新たな境界線と、第１学習モデル１４１による検出結果に基づく境界線とにより、新たなオブジェクト領域が形成される。全ての境界点の信頼度が閾値以上である場合には、上述の補正処理は省略してよい。

制御部１１は、検出したオブジェクト領域などを表示するための検出結果情報（画面情報）を生成する（ステップＳ６９）。制御部１１は、生成した検出結果情報を画像診断装置２に出力し（ステップＳ７０）、一連の処理を終了する。

本実施形態によれば、境界を補正する後処理を行うことで、医用画像におけるアーチファクトの影響を低減し、オブジェクト領域を好適に検出することができる。

上述の処理において、情報処理装置１の制御部１１は、補間した境界又は補正したオブジェクト領域に対しユーザの修正を受け付ける構成であってもよい。例えば、補間した境界を修正すると判定した場合、制御部１１は、ユーザの入力を受け付ける等により、補間した境界の修正データを取得し、新たな境界として記憶する。

制御部１１はさらに、オブジェクト領域の補正後又は修正後に第１学習モデル１４１の再学習を行ってもよい。制御部１１は、医用画像に対し、オブジェクト領域の補正データ又は修正データを取得する。制御部１１は、取得した補正データ又は修正データと、対応する医用画像とを訓練データとする再学習を行う。制御部１１は、第１学習モデル１４１の重み等を最適化し、第１学習モデル１４１を更新する。上述の処理によれば、本画像診断システムの運用を通して第１学習モデル１４１が最適化され、より好適にオブジェクト領域を検出することができる。

（第５実施形態）
第５実施形態の画像診断システムでは、活性化関数１４１ｄの出力値以外の他の要素を用いて信頼度を算出する点で第４実施形態と異なるため、以下では主に上記相違点を説明する。

第５実施形態の情報処理装置１は、活性化関数１４１ｄの出力値以外の要素として、例えば医用画像におけるアーチファクトの検出結果を用いて信頼度を算出する。例えば、医用画像に含まれる複数フレームにおいて、信頼度の算出対象であるフレーム（以下、対象フレームと称する）の時系列における前フレームにアーチファクトが含まれる場合、対象フレームにおいてもアーチファクトが発生する可能性が高い。このような観点から、情報処理装置１は、前フレームにおけるアーチファクトの有無に基づき信頼度を算出する。前フレームにアーチファクトが有る場合、対象フレームの全境界点に対する信頼度が低くなるよう設定される。アーチファクトの有無と共に位置を取得する場合には、前フレームにおけるアーチファクトの検出位置に対応する対象フレームの位置を含む領域において、当該領域内の境界点に対する信頼度が低くなるよう設定されてよい。なお、情報処理装置１は、前フレームに連続する複数フレームを用いて信頼度を算出してよい。

さらにアーチファクトの検出結果には、アーチファクトの有無に加えてアーチファクトの種類が含まれてよい。例えば、アーチファクトの種類がガイドワイヤである場合、ガイドワイヤの形状に沿って検出対象である内腔領域の境界情報が欠落している可能性が高い。このように、アーチファクトの位置及び種類に基づき、アーチファクトの種類に応じた形状部分を含む領域において、当該領域内の境界点に対する信頼度が低くなるよう設定される。情報処理装置１は、アーチファクトの種類と、アーチファクトの種類に応じて精度低下の予測される形状部分とを予め対応付けて記憶している。なお、情報処理装置１は、前フレームにおけるアーチファクトの検出結果を用いるものに限定されず、対象フレーム、又は対象フレームの後フレームにおけるアーチファクトの検出結果を用いてもよい。

図１４は、第５実施形態における情報処理装置１にて実行される処理手順の一例を示すフローチャートである。第４実施形態の図１３と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。

情報処理装置１の制御部１１は、被検者の医用画像を画像診断装置２から取得する（ステップＳ６１）。取得した医用画像は、時系列で連続する複数フレームの断層像の画像である。制御部１１は、取得した医用画像を第１学習モデル１４１に入力することによって（ステップＳ６２）、オブジェクト領域を検出する（ステップＳ６３）。制御部１１は、第１学習モデル１４１における活性化関数１４１ｄの出力値を画素毎に取得する（ステップＳ６４）。

さらに、制御部１１は、信頼度の算出対象となるフレームの前フレームにおけるアーチファクトの検出結果を取得する（ステップＳ８１）。アーチファクトの検出結果の取得方法は限定されるものではないが、例えば、医用画像からアーチファクト領域を検出する学習モデルに、取得した医用画像を入力することによりアーチファクト領域を取得してよい。

制御部１１は、取得した出力値及びアーチファクトの検出結果に基づき、オブジェクト領域とその他の領域との境界上に設定される各境界点の信頼度を算出する（ステップＳ６５）。以降、制御部１１は、図１４に示したステップＳ６６～Ｓ７０の処理を実行する。

本実施形態によれば、出力値以外の情報を用いて境界の補正の有無を判断することで、オブジェクト領域をより好適に検出することができる。

上記の各実施形態に示した例は、各実施形態に示した構成の全部又は一部を組み合わせて他の実施の形態を実現することが可能である。各実施形態に示したシーケンスは限定されるものではなく、各処理手順はその順序を変更して実行されてもよく、また並行して複数の処理が実行されてもよい。

今回開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。

１ 情報処理装置
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ プログラム
１４１ 第１学習モデル
１４２ 第２学習モデル
１４３ 第３学習モデル
２ 画像診断装置
２１ カテーテル
２１１ プローブ部
２１２ コネクタ部
２１３ シャフト
２１４ センサ
２２ ＭＤＵ
２３ 画像処理装置
２４ 表示装置

Claims (7)

1. 管腔器官に挿入されたカテーテルにて検出した信号に基づき生成された医用画像を取得し、
   医用画像を入力した場合に前記医用画像に含まれるオブジェクト領域を検出するよう学習済みのモデルに、取得した前記医用画像を入力することによって、前記医用画像に含まれるオブジェクト領域を検出し、
   検出した前記オブジェクト領域と、前記医用画像における他の画像領域との境界上に位置する複数の境界点について、各境界点に対する信頼度を算出し、
   算出した前記信頼度が所定基準を満たす境界点を用いて補間することにより、前記モデルによる前記オブジェクト領域の検出結果に基づく境界を補正し、
   前記モデルは、セマンティックセグメンテーションにより前記オブジェクト領域を画素単位で検出するものであって、
   前記モデルを用いて、前記医用画像の所定領域に含まれる各画素における前記モデルに含まれる活性化関数の出力を取得し、
   前記医用画像の所定領域に含まれる全画素に対する前記活性化関数の出力が所定範囲内である画素の割合に基づき、前記所定領域に含まれる境界点に対する前記信頼度を算出する
   処理をコンピュータに実行させるためのプログラム。
2. 前記モデルによる前記オブジェクト領域の検出結果に基づく境界と、前記モデルによる前記オブジェクト領域の検出結果に基づく境界を補正することにより生成される新たな境界とを異なる表示態様にて表示する画面情報を生成し、
   生成した前記画面情報を出力する
   請求項１に記載のプログラム。
3. 前記信頼度が所定基準を満たす境界点を用いてスプライン補間することにより前記オブジェクト領域の検出結果に基づく境界を補正する新たな境界を生成する
   請求項１又は請求項２に記載のプログラム。
4. 前記モデルに含まれる活性化関数の出力を取得し、
   取得した前記活性化関数の出力に基づき、前記信頼度を算出する
   請求項１から請求項３のいずれか１項に記載のプログラム。
5. 前記医用画像におけるアーチファクトの有無に基づき前記信頼度を算出する
   請求項１から請求項４のいずれか１項に記載のプログラム。
6. 管腔器官に挿入されたカテーテルにて検出した信号に基づき生成された医用画像を取得する取得部と、
   医用画像を入力した場合に前記医用画像に含まれるオブジェクト領域を検出するよう学習済みのモデルに、取得した前記医用画像を入力することによって、前記医用画像に含まれるオブジェクト領域を検出する検出部と、
   検出した前記オブジェクト領域と、前記医用画像における他の画像領域との境界上に位置する複数の境界点について、各境界点に対する信頼度を算出する算出部と、
   算出した前記信頼度が所定基準を満たす境界点を用いて補間することにより、前記モデルによる前記オブジェクト領域の検出結果に基づく境界を補正する補正部とを備え、
   前記モデルは、セマンティックセグメンテーションにより前記オブジェクト領域を画素単位で検出するものであって、
   前記算出部は、前記モデルを用いて、前記医用画像の所定領域に含まれる各画素における前記モデルに含まれる活性化関数の出力を取得し、
   前記医用画像の所定領域に含まれる全画素に対する前記活性化関数の出力が所定範囲内である画素の割合に基づき、前記所定領域に含まれる境界点に対する前記信頼度を算出する
   情報処理装置。
7. 医用画像を入力した場合に前記医用画像に含まれるオブジェクト領域を検出するよう学習済みのモデルに、管腔器官に挿入されたカテーテルにて検出した信号に基づき生成された医用画像を入力することによって、前記医用画像に含まれるオブジェクト領域を検出し、
   検出した前記オブジェクト領域と、前記医用画像における他の画像領域との境界上に位置する複数の境界点について、各境界点に対する信頼度を算出し、
   算出した前記信頼度が所定基準を満たす境界点を用いて補間することにより、前記モデルによる前記オブジェクト領域の検出結果に基づく境界を補正し、
   前記モデルは、セマンティックセグメンテーションにより前記オブジェクト領域を画素単位で検出するものであって、
   前記モデルを用いて、前記医用画像の所定領域に含まれる各画素における前記モデルに含まれる活性化関数の出力を取得し、
   前記医用画像の所定領域に含まれる全画素に対する前記活性化関数の出力が所定範囲内である画素の割合に基づき、前記所定領域に含まれる境界点に対する前記信頼度を算出する
   情報処理方法。