JP7696356B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

ＰＣＩ（Percutaneous Coronary Intervention；経皮的冠動脈形成術）等の血管治療に係る画像診断を支援する技術がある。例えば特許文献１では、３次元ＣＴ（Computer Tomography）データを２次元の投影画像に変換する医用画像処理装置であって、３次元ＣＴデータから血管のプラーク領域を抽出し、血管の狭窄率を算出して、算出した狭窄率等に応じてプラーク領域のカラー値を定めた投影画像を表示する医用画像処理装置が開示されている。

特開２０１２－１７６２８２号公報

しかしながら、特許文献１に係る発明は、３次元ＣＴ値からルールベースでプラーク領域を抽出するものであり、必ずしも精度良くプラーク領域を抽出して狭窄率を算出できるものではない。また、特許文献１に係る発明は３次元のＣＴデータを必要としており、２次元のデータ（画像）から狭窄率等を算出するものではない。

一つの側面では、血管治療に係る画像診断を好適に支援することができる情報処理装置等を提供することを目的とする。

一つの側面に係る情報処理装置は、患者の血管を撮像した複数フレームの横断層像を取得する取得部と、前記横断層像を入力した場合にプラークバーデンを算出するよう学習済みのモデルに、取得した各フレームの前記横断層像を入力して、各フレームにおけるプラークバーデンを算出する算出部と、前記複数フレームの横断層像に基づく縦断層像と、該縦断層像に対応して表示されるオブジェクトであって、前記血管の軸方向に沿った前記縦断層像の各位置における前記プラークバーデンの大小を表す第１オブジェクトとを表示する表示部とを備える。

一つの側面では、血管治療に係る画像診断を好適に支援することができる。

画像診断システムの構成例を示す説明図である。 サーバの構成例を示すブロック図である。 画像診断装置の構成例を示すブロック図である。 プラークバーデンの算出処理に関する説明図である。 プラークバーデンの表示例を示す説明図である。 プラークバーデンの表示の他例を示す説明図である。 血管の処置範囲の決定処理に関する説明図である。 病変長の表示例を示す説明図である。 ステントの重畳表示例を示す説明図である。 算出モデルの生成処理の手順を示すフローチャートである。 プラークバーデン算出処理の手順を示すフローチャートである。 変形例１に係る病変領域の特定処理に関する説明図である。 実施の形態２に係る画像診断装置の構成例を示すブロック図である。 実施の形態２に係るプラークバーデンの算出処理に関する説明図である。 識別モデルの生成処理の手順を示すフローチャートである。 実施の形態２に係るプラークバーデンの算出処理の手順を示すフローチャートである。 変形例２に係る算出モデルの生成処理に関する説明図である。 変形例２に係る算出モデルの生成処理の手順を示すフローチャートである。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、画像診断システムの構成例を示す説明図である。本実施の形態では、患者の血管を撮像した横断層像からプラークバーデン（Plaque Burden）を算出し、所定の治療デバイスを用いた血管治療を支援する画像診断システムについて説明する。画像診断装置２は、サーバ１、画像診断装置（情報処理装置）２を含む。各装置は、インターネット等のネットワークＮを介して通信接続されている。

サーバ１は、種々の情報処理、情報の送受信が可能なサーバコンピュータである。なお、サーバ１に相当する装置は、パーソナルコンピュータ等の装置であってもよい。サーバ１は、所定の訓練データを学習する機械学習を行い、患者の血管断層像を入力として、プラークバーデンを算出する算出モデル５１（図４参照）を生成する生成装置として機能する。

なお、プラークバーデンは、血管の横断面に占めるプラークの面積比率であり、プラーク及び中膜の断面積を血管断面積（ＥＥＭ（External Elastic Membrane；外弾性板）内の領域の面積）で除算した値である（図４参照）。

画像診断装置２は、患者の血管をイメージングした医用画像を撮像する撮像装置であり、例えばカテーテル２０１を用いた超音波検査を行うＩＶＵＳ（Intravascular Ultrasound）装置である。カテーテル２０１は患者の血管内に挿入される医用器具であり、カテーテル２０１の先端に装着された超音波プローブから超音波信号を送信すると共に、反射波を受信する。画像診断装置２は、カテーテル２０１で受信した反射波に基づいて超音波断層像を生成し、表示する。

なお、本実施の形態では画像診断装置２がＩＶＵＳ装置であるものとして説明するが、ＯＣＴ（Optical Coherence Tomography；光干渉断層撮影法）による光学式の撮像装置等であってもよい。また、血管断層像はＩＶＵＳ、ＯＣＴ以外の手法で撮像されたものであってもよい。

画像診断装置２にはサーバ１が生成した算出モデル５１のデータがインストールされており、画像診断装置２は、カテーテル２０１を用いて撮像した血管断層像を算出モデル５１に入力し、プラークバーデンを算出する。そして画像診断装置２は、算出したプラークバーデンをユーザ（医療従事者）に提示する。また、画像診断装置２は、算出したプラークバーデンを元に血管の病変領域を特定し、血管に留置するステント（治療デバイス）を留置する留置位置の決定を支援する。

なお、本実施の形態では画像診断装置２が算出モデル５１を用いてプラークバーデンを算出するものとするが、クラウド上のサーバ１が算出モデル５１を用いた処理を実行するようにしてもよい。また、例えば画像診断装置２に接続された汎用コンピュータが処理を行うようにしてもよい。このように、一連の処理を実行する処理主体は特に限定されない。

また、本実施の形態では治療デバイスの一例としてステントを挙げるが、後述するように、血管を拡張するバルーン、血管の狭窄病変を削るロータブレータ等であってもよい。

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１、その他のデータを記憶している。

なお、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰ１を読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰ１を読み込んでも良い。

図３は、画像診断装置２の構成例を示すブロック図である。画像診断装置２は、制御部２１、主記憶部２２、通信部２３、表示部２４、入力部２５、画像処理部２６、及び補助記憶部２７を備える。
制御部２１は、一又は複数のＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置であり、補助記憶部２７に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部２４は、液晶ディスプレイ等の表示画面であり、画像を表示する。入力部２５は、キーボード、マウス等の操作インターフェイスであり、ユーザから操作入力を受け付ける。画像処理部２６は、カテーテル２０１を介して送受信する信号を処理し、断層像を生成する画像処理モジュールである。

補助記憶部２７は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラムＰ２、その他のデータを記憶している。また、補助記憶部２７は、算出モデル５１を記憶している。算出モデル５１は、所定の訓練データを学習することで生成された機械学習モデルであり、画像診断装置２で撮像される血管の横断層像を入力として、プラークバーデンを算出する学習済みモデルである。算出モデル５１は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。

なお、画像診断装置２は、ＣＤ－ＲＯＭ等の可搬型記憶媒体２ａを読み取る読取部を備え、可搬型記憶媒体２ａからプログラムＰ２を読み取って実行するようにしても良い。あるいは画像診断装置２は、半導体メモリ２ｂからプログラムＰ２を読み込んでも良い。

図４は、プラークバーデンの算出処理に関する説明図である。図４では、画像診断装置２で撮像された血管断層像の各フレームを算出モデル５１に入力して、プラークバーデンを算出する様子を概念的に図示している。

算出モデル５１は、所定の訓練データを学習済みの機械学習モデルであり、例えばＣＮＮ（Convolution Neural Network）である。なお、算出モデル５１は血管断層像からプラークバーデンを算出可能なモデルであればよく、ＣＮＮ以外のニューラルネットワーク、決定木、ＳＶＭ（Support Vector Machine）など、他の学習アルゴリズムに基づくモデルであってもよい。

算出モデル５１は、画像（断層像）の入力を受け付ける入力層と、入力画像の特徴量を抽出する中間層と、プラークバーデンを算出（出力）する出力層とを有する。入力層は画像の入力を受け付け、入力画像のデータを中間層に受け渡す。中間層は、入力画像のデータを畳み込む畳み込み層を備え、入力画像の特徴量を抽出して出力層に受け渡す。出力層は、中間層で抽出した特徴量に基づきプラークバーデンを算出する。

本実施の形態では算出モデル５１が実行する処理を回帰問題として取り扱い、プラークバーデンを連続値で予測する。なお、本処理を分類問題として取り扱い、例えば「０～Ｘ１」、「Ｘ１～Ｘ２」、「Ｘ２～Ｘ３」…（０＜Ｘ１＜Ｘ２＜Ｘ３…）というように、一定の数値範囲でプラークバーデンを予測（分類）するようにしてもよい。あるいは、プラークバーデンを数値で予測することなく、複数段階にクラス分け（例えばレッドゾーン、オレンジゾーン、イエローゾーン…にクラス分け）してもよい。

サーバ１は、訓練用の血管断層像（横断層像）に対し、プラークバーデンの正解値が付与されたデータを訓練データ（第２訓練データ）として用い、算出モデル５１を生成する。訓練用の断層像は実際の患者を被写体として撮像された血管断層像であり、正解値は当該患者の断層像におけるプラークバーデンの実績値である。サーバ１は、訓練用の断層像を算出モデル５１に入力してプラークバーデンを算出し、正解値と比較する。サーバ１は、両者が近似するようにニューロン間の重み等のパラメータを最適化し、算出モデル５１を生成する。

画像診断装置２は、サーバ１が生成した算出モデル５１を利用して、カテーテル治療を実施する患者の血管におけるプラークバーデンを算出する。具体的には、画像診断装置２は、カテーテル２０１のプルバック動作に応じて撮像した複数フレームの断層像を算出モデル５１に順次入力し、各フレームにおけるプラークバーデンを算出する。これにより画像診断装置２は、プラーク及び中膜に対応する画像領域（以下の説明では「プラーク領域」と呼ぶ）の面積をＥＥＭ領域（プラーク領域に内腔領域を加えた領域）の面積で除算した面積比率、すなわちプラークバーデンを算出する（図４右下参照）。

画像診断装置２は、上記で算出した各フレームにおけるプラークバーデン、すなわち軸方向に沿った血管の各位置におけるプラークバーデンをユーザに提示し、ステントの留置位置決定を支援する。

図５は、プラークバーデンの表示例を示す説明図である。本実施の形態において画像診断装置２は、血管の各位置におけるプラークバーデンの大小を表す所定のオブジェクト（第１オブジェクト）を、複数フレームの横断層像を再構成した縦断層像５に対応して表示する。具体的には図５に示すように、画像診断装置２は、プラークバーデンの大小に応じて表示色を徐々に変化させたグラデーションバー６を縦断層像５の上側に表示する。

縦断層像５は、血管の軸方向（走行方向）に沿って血管の様子を再現した縦断面であり、プルバック動作に応じて撮像された複数フレームの横断層像から生成される。例えば図５に示すように、画像診断装置２は、血管の軸方向を横方向として縦断層像５を表示する。

画像診断装置２は、縦断層像５の上側に、軸方向に沿った縦断層像５の長さとほぼ同じ長さのグラデーションバー６を表示する。グラデーションバー６は、プラークバーデンの大小を表す棒状のオブジェクトであり、対応する縦断層像５の各位置、すなわち各フレームの横断層像におけるプラークバーデンの大小に応じて、表示色を変化させた表示バーである。画像診断装置２は、縦断層像５上の各位置におけるプラークバーデンの大小に応じて、グラデーションバー６の各位置における表示色を変化させる。

なお、図５では便宜上、プラークバーデンが大きい領域（閾値以上の領域）をハッチングで図示してある。また、実際は下記の通り、プラークバーデンの数値に応じてグラデーションバー６内の表示色のグラデーションは細かく設定されるが、図５では便宜上、プラークバーデンが大きい領域を同じハッチングで図示してある。

また、本実施の形態ではプラークバーデンの大小を表すオブジェクトがグラデーションバー６であるものとして説明するが、当該オブジェクトはグラデーションバー６に限定されない。例えば画像診断装置２は縦断層像５の上側に、プラークバーデンの大小を表す折れ線グラフを表示する等してもよい。このように、グラデーションバー６は当該オブジェクトの一例であって、プラークバーデンの大小を適切に表すオブジェクトであればよい。

例えば画像診断装置２は、デフォルトで設定されている所定の閾値（例えば５０％）を参照して、プラークが多い領域の表示色を設定する。具体的には、画像診断装置２は、プラークバーデンが閾値以上の領域の表示色を暖色（例えばオレンジ）に設定し、閾値未満の領域はデフォルトの色（例えば白）に設定する。そして画像診断装置２は、プラークバーデンが閾値以上の領域について、プラークバーデンが大きいほど強調されるように表示色を変化（例えば明度を上げる）させ、グラデーション表示を行う。

なお、グラデーション表示の手法としては、例えば明度を変化させることが想定されるが、色相、彩度等を変化させてもよく、具体的な表示手法は特に問わない。

上述の如くグラデーションバー６を表示する場合、画像診断装置２は、算出モデル５１におけるプラークバーデンの算出結果の信頼度が低い領域（以下、「低信頼度領域」と呼ぶ）を非表示とすると好適である。図５では、低信頼度領域を黒塗りで図示してある。画像診断装置２は、算出モデル５１を用いて各フレームにおけるプラークバーデンを算出する場合に、各フレームにおけるプラークバーデンと共に、算出値の信頼度（例えば０～１の確率値）を算出モデル５１から取得する。画像診断装置２は、血管の各位置（フレーム）における信頼度が所定値以下の場合、すなわち信頼度が低い場合に、対応するグラデーションバー６上の領域を低信頼度領域として空白にする。これにより、プラークバーデンの算出結果の確からしさをユーザに提示することができる。

このように、画像診断装置２は、縦断層像５と共にグラデーションバー６を表示し、各位置における血管の状態を定量的に提示する。また、図５に示すように、画像診断装置２は、プラークバーデンの最大値、最小値、及び平均値を表示する。これにより、ユーザ（医療従事者）は血管の状態を把握し、ステント等の治療デバイスで処置すべき治療範囲を決定することができる。

図６は、プラークバーデンの表示の他例を示す説明図である。図５の表示例ではプラークバーデンが閾値以上の領域について暖色を表示するものとして説明したが、プラークバーデンが閾値未満の領域、すなわちプラークが少ない領域についてもグラデーション表示を行ってもよい。

例えば画像診断装置２は、プラークバーデンが閾値以上の領域の表示色を暖色に設定すると共に、プラークバーデンが閾値未満の領域の表示色を寒色に設定する。なお、図６では、プラークバーデンが閾値以上の領域と閾値未満の領域とを異なるハッチングで図示してある。画像診断装置２はプラークバーデンが閾値以上の領域と同様に、プラークバーデンが小さいほど表示色を変化（例えば明度を上げる）させ、グラデーション表示を行う。このように、画像診断装置２は、プラークが多く、処置が必要となり得る領域を提示すると共に、プラークが少なく、処置の必要性が低い領域を提示してもよい。

なお、図６の例ではグラデーション表示する領域を２つにしたが、さらに閾値を設け、３つ以上の領域に分けてグラデーション表示を行ってもよい。

また、上述のグラデーション表示を行う際に、表示基準とする閾値をユーザが設定可能としてもよい。具体的には、画像診断装置２は、閾値をデフォルト値から任意の値に変更する設定入力をユーザから受け付け、設定された閾値に応じてプラークバーデンが閾値以上の領域と閾値未満の領域とを判定し、表示色を変化させる。これにより、ユーザが自ら関心領域を可視化することができ、ユーザをより好適に支援することができる。

図７は、血管の処置範囲の決定処理に関する説明図である。本実施の形態ではさらに、プラークバーデンの算出結果に基づき、所定の治療デバイスで処置すべき処置範囲をユーザに提示する。

具体的には、画像診断装置２は、血管に留置するステントの両端の位置を決定する。ＰＣＩ等の血管治療を行う場合、病変を残さずカバーできるようにステントを留置することが好ましいが、実際にはプラークが連続して存在しているため、病変を残さずカバーすることは難しい。例えば、基本的にはプラークが存在しない正常部位にステントの両端が位置するようにステントを留置するが、それが困難な場合、プラークバーデンが所定値（例えば５０％）以下の部位にステントの両端が位置するようにステントを留置する。それも困難な場合、プラークバーデンが最も少ない部位にステントの両端が位置するようにステントを留置する。

現状では、上述のように全フレームのプラークバーデンを算出するようなことは為されておらず、画像から目視で狭窄部を特定し、必要に応じて数フレーム分のプラークバーデンを計測している状態である。そこで本実施の形態では、算出モデル５１で算出したプラークバーデンを元に、ステントの両端が位置すべき範囲を決定する。

なお、本実施の形態では治療デバイスの一例としてステントを挙げるが、治療デバイスはステントに限定されるものではない。例えば画像診断装置２は、血管を拡張するために用いるバルーンで拡張すべき拡張範囲の両端位置を決定してもよい。また、例えば画像診断装置２は、硬質病変（例えば石灰化組織）を切削するために用いるロータブレータで切削すべき切削範囲の両端位置を決定してもよい。このように、画像診断装置２は、血管に挿入される治療デバイスで処置すべき処置範囲の両端位置を決定可能であればよく、治療デバイスはステントに限定されない。

まず画像診断装置２は、血管の縦断層像５（縦断面）を、プラークバーデンが所定の閾値以上の第１領域と、プラークバーデンが閾値未満の第２領域とに分割する。当該閾値は、例えば上述のグラデーション表示の基準とした閾値と同じ値であるが、異なる値であってもよい。画像診断装置２は、算出モデル５１で算出した各フレームにおけるプラークバーデンに基づき、プラークバーデンが閾値以上の第１領域Ｌ１、Ｌ２、Ｌ３…（Ｌ：Lesion）と、プラークバーデンが閾値未満の第２領域Ｈ１、Ｈ２、Ｈ３…（Ｈ：Healthy）とに縦断層像５を分割する。

本実施の形態で画像診断装置２は、プラークバーデンが最大値を取る位置（フレーム）を含む第１領域ＬＸ（Ｘ＝１、２、３…）を、ステントを留置すべき病変領域ＬＸとして特定する。そして画像診断装置２は、特定した病変領域ＬＸの両側に位置する２つの第２領域ＨＹ、ＨＺ（Ｙ、Ｚ＝１、２、３…）を、ステントの両端が位置すべき領域に決定する。

図７では、１つの第１領域Ｌ１と、２つの第２領域ＨＰ１、ＨＤ１（Ｐ：Proximal、Ｄ：Distal）とが存在する縦断層像５を図示している。第１領域Ｌ１においてプラークバーデンが最大値を取る場合、画像診断装置２は、第１領域Ｌ１を挟む第２領域ＨＰ１、ＨＤ１を、ステントの両端が位置すべき領域に決定する。

なお、例えば画像診断装置２は、プラークバーデンの算出結果の信頼度が低い低信頼度領域が存在する場合、低信頼度領域を跨る複数の第１領域又は第２領域を同じ領域と見なしてグルーピングすると好適である。例えば図７では、第１領域Ｌ１に２つの低信頼度領域が存在する。この場合、画像診断装置２は、血管の軸方向における各低信頼度領域の長さが所定長（例えば１ｍｍ）以下であるか否かを判定する。低信頼度領域が所定長以下である場合、画像診断装置２は、低信頼度領域を跨る複数の第１領域を同一領域として分割する。図７の例では、２つの低信頼度領域が共に所定長以下であるため、画像診断装置２は、低信頼度領域を跨ぐ３つの領域を同じ第１領域Ｌ１に分割する。

第２領域についても同様に、画像診断装置２は、所定長以下の低信頼度領域を跨る複数の第２領域が存在する場合、当該複数の第２領域を同一領域として分割する。このように、画像診断装置２は、軸方向における低信頼度領域の長さが所定長以下である場合、当該低信頼度領域を跨る複数の第１領域、又は複数の第２領域を同一領域として分割する。これにより、信頼性を担保しつつ、ステントの留置位置を好適に決定することができる。

なお、上記所定長はユーザによって可変としてもよい。例えば画像診断装置２は、所定長のデフォルト値を任意の値（例えば０．６ｍｍ、０．８ｍｍ、１．２ｍｍ…の所定刻みの長さ）に変更する設定入力を受け付ける。画像診断装置２は、設定された所定長以下であるか否かを判定することで、各領域を分割する。これにより、ユーザはより好適にステントの留置位置を決定することができる。

また、画像診断装置２はグラデーション表示時と同様に、領域分割の基準とする閾値をユーザによって可変としてもよい。この場合、画像診断装置２は、血管の近位側（Proximal）と遠位側（Distal）とで、異なる閾値を設定可能としてもよい。例えば近位側の閾値として５０％、遠位側の閾値として６０％が設定された場合、画像診断装置２は、図７の左側から見てプラークバーデンが５０％以上となった位置を第１領域の始点とし、プラークバーデンが６０％未満となる位置を第１領域の終点として分割する。これにより、ユーザは自ら第１領域及び第２領域を細かく調整することができる。

図８は、病変長の表示例を示す説明図である。上述の如く、画像診断装置２は、縦断層像５を第１領域Ｌ１、Ｌ２、Ｌ３…及び第２領域Ｈ１、Ｈ２、Ｈ３…に分割し、病変領域Ｌ１を特定する。病変領域Ｌ１を特定した場合、画像診断装置２は、血管の軸方向における病変領域Ｌ１の長さ、すなわち病変長を計測し、縦断層像５における病変領域Ｌ１に対応させて表示する。具体的には図８に示すように、画像診断装置２は、病変領域Ｌ１に対応する部分を矢印でグラデーションバー６の上に表示すると共に、病変長を表示する。これにより、病変部位の長さを可視化することができる。

図９は、ステントの重畳表示例を示す説明図である。本実施の形態ではさらに、画像診断装置２は、治療デバイスで処置すべき処置範囲、すなわちステントを留置すべき範囲をユーザに提示する。具体的には、画像診断装置２は、ステント（治療デバイス）のサイズを表現したステント領域７（第２オブジェクト）を縦断層像５に重畳表示する。

ステント領域７は、血管に留置するステントを模擬したオブジェクトであり、ステントの留置範囲を表現した矩形状オブジェクトである。なお、ステント領域７は、少なくとも軸方向における長さが実際のステントの長さと一致していればよく、径方向における長さ（図８では縦方向の長さ）は一致せずともよい。

また、本実施の形態では治療デバイスがステントであるため、オブジェクトの形状を矩形状としてあるが、例えば治療デバイスがバルーンである場合、オブジェクトの形状をサンドバック状としてもよい。このように、画像診断装置２は治療デバイスに応じた形状のオブジェクトを表示可能であればよい。

例えば画像診断装置２は、上記で計測した病変長以上の長さを有するステント領域７を、上記で両端が位置すべき領域として決定した第２領域ＨＰ１、ＨＤ１にステント領域７の両端が位置するように表示する。例えば画像診断装置２は、手技に使用可能な所定長刻み（例えば９ｍｍ、１２ｍｍ、１５ｍｍ…）の各ステント製品の情報を補助記憶部２７に記憶してある。画像診断装置２は、これらのステントから、病変長を超過し、かつ、最小の長さのステントを選択する。そして画像診断装置２は、選択したステントの長さを有するステント領域７を、両端が第２領域ＨＰ１、ＨＤ１に位置するように重畳表示する。なお、ステントの選択、ステント領域７の重畳位置の決定等は、ユーザが手動操作で行ってもよい。

例えば画像診断装置２は、血管の軸方向における病変領域Ｌ１の中心位置（中点）とステント領域７の中心位置とが一致するようにステント領域７を重畳表示する。この場合、図９に示すように、ステントの両端に相当する位置に下向きの矢印が表示されると共に、第１領域Ｌ１を超過する部分に両向きの矢印が表示される。画像診断装置２はユーザからの操作入力（例えばマウス操作）に従ってステント領域７を移動させ、最適なステントの留置位置をユーザに決定させる。

この場合に画像診断装置２は、図９に示すように、ステント領域７の両端に相当する位置の横断層像を表示すると好適である。これにより、ユーザはステント領域７を移動させながら最適なステントの留置位置を探すことができる。

なお、上記ではステント領域７を縦断層像５に重畳表示したが、画像診断装置２は、ステント領域７を縦断層像５以外の箇所（例えばグラデーションバー６の上側、あるいはグラデーションバー６内など）に表示してもよい。このように、画像診断装置２は、治療デバイスを模擬したオブジェクトを表示可能であればよく、その表示位置は縦断層像５上に限定されない。

図１０は、算出モデル５１の生成処理の手順を示すフローチャートである。図１０に基づき、機械学習によって算出モデル５１を生成する際の処理内容について説明する。
サーバ１の制御部１１は、算出モデル５１を生成するための訓練データ（第２訓練データ）を取得する（ステップＳ１１）。訓練データは、訓練用の血管の横断層像に対し、プラークバーデンの正解値が対応付けられたデータである。

制御部１１は訓練データに基づき、血管の横断層像を入力した場合にプラークバーデンを算出する算出モデル５１を生成する（ステップＳ１２）。具体的には上述の如く、制御部１１は、ＣＮＮ等のニューラルネットワークを算出モデル５１として生成する。制御部１１は、訓練用の血管断層像を算出モデル５１に入力してプラークバーデンを算出し、正解値と比較する。制御部１１は、算出したプラークバーデンが正解値と近似するようにニューロン間の重み等のパラメータを最適化し、算出モデル５１を生成する。制御部１１は一連の処理を終了する。

図１１は、プラークバーデン算出処理の手順を示すフローチャートである。図１１に基づき、画像診断装置２が実行する処理内容について説明する。
画像診断装置２の制御部２１は、患者の血管を撮像した複数フレームの横断層像を取得する（ステップＳ３１）。制御部２１は、各フレームの横断層像を算出モデル５１に入力し、各フレームにおけるプラークバーデンを算出する（ステップＳ３２）。具体的には、制御部２１は、各フレームにおけるプラークバーデンと、算出値の信頼度とを算出モデル５１から取得する。

制御部２１は、プラークバーデンが最大値を取る血管位置（フレーム）を特定する（ステップＳ３３）。また、制御部２１は、血管の軸方向においてプラークバーデンの信頼度が所定値以下の低信頼度領域を特定する（ステップＳ３４）。また、制御部２１は、閾値の設定入力を受け付ける（ステップＳ３５）。なお、制御部２１はステップＳ３５をスキップし、デフォルトの閾値を設定してもよい。

制御部２１は、ステップＳ３１で取得した複数フレームの横断層像に基づき、血管の縦断層像を生成（再構成）する（ステップＳ３６）。制御部２１は、生成した縦断層像と、血管の軸方向に沿った縦断層像の各位置におけるプラークバーデンの大小を表すオブジェクト（第１オブジェクト）とを表示する（ステップＳ３７）。具体的には上述の如く、制御部２１は、プラークバーデンの大小に応じて表示色を徐々に変化させたグラデーションバーを表示する。この場合に制御部２１は、低信頼度領域を非表示としたグラデーションバーを表示する。

制御部２１は、血管の各位置（フレーム）におけるプラークバーデンに基づき、血管の縦断層像（縦断面）を、プラークバーデンが閾値以上の第１領域と、プラークバーデンが閾値未満の第２領域とに分割する（ステップＳ３８）。具体的には、制御部２１は、プラークバーデンが閾値以上であるか否かに応じて縦断層像を複数の領域に分割すると共に、低信頼度領域の長さが所定長以下である場合は、当該低信頼度領域を跨る複数の第１領域又は第２領域を同一領域として分割する。

制御部２１は、プラークバーデンの最大値を含む第１領域を病変領域として特定する（ステップＳ３９）。そして制御部２１は、特定した病変領域に応じて、治療デバイスで処置すべき処置範囲の両端が位置すべき領域を決定する（ステップＳ４０）。具体的には、制御部２１は、病変領域の両側に位置する第２領域を、血管に留置するステントの両端が位置すべき領域に決定する。

制御部２１は、ステップＳ３９で特定した病変領域の軸方向における長さ、すなわち病変長を計測して、縦断層像の病変領域に対応させて表示する（ステップＳ４１）。また、制御部２１は、治療デバイスのサイズを表現したオブジェクト（第２オブジェクト）を縦断層像に対応して表示する（ステップＳ４２）。例えば制御部２１は、上述の如く、血管の軸方向におけるステントの長さを表現したステント領域を、ステップＳ４０で決定した領域に両端が位置するように、縦断層像に重畳表示する。制御部２１は一連の処理を終了する。

以上より、本実施の形態１によれば、患者の血管を撮像した複数フレームの横断層像から血管の各位置におけるプラークバーデンを算出し、算出したプラークバーデンの大小を表すグラデーションバー等のオブジェクトを縦断層像に対応させて表示する。これにより、ステントの留置位置の決定など、血管治療に係る画像診断を好適に支援することができる。

また、本実施の形態１によれば、プラークバーデンの算出結果の信頼度が低い低信頼度領域を非表示とすることで、プラークバーデンの算出結果の確からしさをユーザに提示することができる。

また、本実施の形態１によれば、病変領域の長さ（病変長）やステントの留置範囲（ステント領域）なども提示することで、より好適に画像診断を支援することができる。

また、本実施の形態１によれば、プラークバーデンに応じて血管の縦断面（縦断層像）を複数の領域に分割し、ステント等の治療デバイスによる血管の処置範囲の両端が位置すべき領域を決定する。これにより、ステントの留置位置の決定など、血管治療に係る画像診断をより好適に支援することができる。

また、本実施の形態１によれば、低信頼度領域の長さが所定長以下である場合、低信頼度領域を跨る複数の領域（第１領域又は第２領域）を同一領域と見なして分割する。これにより、信頼性を担保しつつ、ステントの留置位置等を好適に決定することができる。

（変形例１）
実施の形態１では、プラークバーデンが最大値を取る第１領域を病変領域として特定した。しかしながら、病変領域はプラークバーデンが最大値を取る領域でなくともよい。

図１２は、変形例１に係る病変領域の特定処理に関する説明図である。実施の形態１では病変領域を先に特定し、次にステントの両端が位置すべき領域を決定したが、先にステントの両端が位置すべき領域を決定し、次に病変領域を特定してもよい。

具体的には、画像診断装置２は、縦断層像５を第１領域Ｌ１、Ｌ２、Ｌ３…及び第２領域Ｈ１、Ｈ２、Ｈ３…に分割した後、第１領域Ｌｘを挟む２つの第２領域Ｈｙ、Ｈｚを探索する。第１領域Ｌｘを挟む２つの第２領域Ｈｙ、Ｈｚが探索された場合、画像診断装置２は、２つの第２領域Ｈｙ、Ｈｚが両側に位置する第１領域Ｌｘを病変領域Ｌｘとして特定する。そして画像診断装置２は、病変領域Ｌｘの長さ（病変長）を計測し、ステント領域７を重畳表示する。

このように、画像診断装置２は、第１領域及び第２領域の位置関係からステントを留置すべき領域を決定するようにしてもよい。実施の形態１で説明した決定手法は一例であり、種々の手法が想定される。

（実施の形態２）
実施の形態１では、算出モデル５１がプラークバーデンを直接的に算出する形態について説明した。本実施の形態では、別の機械学習モデルを用いて血管断層像（横断層像）からプラーク領域を識別し、プラークバーデンを間接的に算出する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。

図１３は、実施の形態２に係る画像診断装置２の構成例を示すブロック図である。本実施の形態に係る画像診断装置２の補助記憶部２７は、識別モデル５２を記憶している。識別モデル５２は実施の形態１に係る算出モデル５１と同様に、所定の訓練データを学習することで生成された機械学習モデルであり、血管断層像を入力として、断層像内のプラーク領域を識別する学習済みモデルである。識別モデル５２は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。

図１４は、実施の形態２に係るプラークバーデンの算出処理に関する説明図である。図１４では、識別モデル５２を用いて血管の横断層像からプラーク及び中膜に対応する画像領域（以下の説明では「プラーク領域」と呼ぶ）を識別し、識別したプラーク領域の面積からプラークバーデンを算出する様子を概念的に図示している。図１４に基づき、本実施の形態の概要を説明する。

識別モデル５２は、所定の訓練データを学習済みの機械学習モデルであり、例えば深層学習により生成されたニューラルネットワークである。本実施の形態では、識別モデル５２が、ＣＮＮの一種であるセマンティックセグメンテーションモデルであるものとして説明する。

セマンティックセグメンテーションモデルは、画像内のオブジェクトを画素単位で識別するニューラルネットワークであり、入力画像を畳み込む畳み込み層（エンコーダ）と、畳み込んだ特徴量を元の画像サイズにマッピングする逆畳み込み層（デコーダ）とを備える。逆畳み込み層では、畳み込み層で抽出した特徴量に基づいて画像内にどの物体がどの位置に存在するかを識別し、各画素がどの物体に対応するかを二値化したデータを生成する。

サーバ１は、訓練用の断層像に対し、正解のプラーク領域を示すデータが対応付けられた訓練データ（第１訓練データ）を用いて、識別モデル５２を生成する。サーバ１は、訓練用の断層像を識別モデル５２に入力してプラーク領域を識別し、識別したプラーク領域が正解のプラーク領域と近似するように、ニューロン間の重み等のパラメータを最適化する。画像診断装置２は、サーバ１が生成した識別モデル５２を用いてプラーク領域を識別する。

なお、本実施の形態では識別モデル５２がセマンティックセグメンテーションモデルであるものとして説明するが、セマンティックセグメンテーションモデル以外のニューラルネットワーク、ＧＡＮ（Generative Adversarial Network）、その他の学習アルゴリズムに基づくモデルであってもよい。

また、サーバ１は、プラーク領域以外の領域（例えばＥＥＭ領域、内腔領域など）の正解データも与えられた訓練データを学習することで、プラーク領域以外の領域も識別可能な識別モデル５２を生成してもよい。すなわち、識別モデル５２は少なくともプラーク領域を識別可能であればよく、他の画像領域も識別可能であってもよい。

患者の血管を撮像した場合、画像診断装置２は、各フレームの断層像を識別モデル５２に順次入力し、各フレームにおけるプラーク領域を識別する。そして画像診断装置２は、プラーク領域の識別結果に基づき、プラークバーデンを算出する。すなわち、画像診断装置２は、プラーク領域の面積と、プラーク領域を含む血管全体の面積とを算出し、プラークバーデンを算出する。

このように、機械学習モデルがプラークバーデンを直接的に算出する構成は必須ではなく、機械学習モデルでの予測結果から間接的にプラークバーデンを算出するようにしてもよい。

図１５は、識別モデル５２の生成処理の手順を示すフローチャートである。図１５に基づき、機械学習により識別モデル５２を生成する際の処理内容について説明する。
サーバ１の制御部１１は、識別モデル５２を生成するための訓練データ（第１訓練データ）を取得する（ステップＳ２０１）。訓練データは、訓練用の血管の横断層像に対し、正解のプラーク領域を示すデータが対応付けられたデータである。

制御部１１は訓練データに基づき、血管の横断層像を入力した場合にプラーク領域を識別する識別モデル５２を生成する（ステップＳ２０２）。具体的には上述の如く、制御部１１は、セマンティックセグメンテーションに係るＣＮＮを識別モデル５２として生成する。制御部１１は、訓練用の横断層像を識別モデル５２に入力してプラーク領域を識別し、正解のプラーク領域と比較する。制御部１１は、両者が近似するようにニューロン間の重み等のパラメータを最適化し、識別モデル５２を生成する。制御部１１は一連の処理を終了する。

図１６は、実施の形態２に係るプラークバーデンの算出処理の手順を示すフローチャートである。患者の血管を撮像した複数フレームの横断層像を取得した後（ステップＳ３１）、画像診断装置２は以下の処理を実行する。
画像診断装置２の制御部２１は、各フレームの横断層像を識別モデル５２に入力し、各フレームにおけるプラーク領域を識別する（ステップＳ２２１）。そして、制御部２１は識別結果に基づき、各フレームにおけるプラークバーデンを算出する（ステップＳ２２２）。制御部２１は処理をステップＳ３１に移行する。

以上より、本実施の形態２によれば、血管の横断層像からプラーク領域を識別する識別モデル５２での識別結果を利用して、プラークバーデンを算出することもできる。

（変形例２）
実施の形態２では、断層像内のプラーク領域を識別可能な識別モデル５２について説明した。一方で、識別モデル５２の学習で得た重み等のパラメータを算出モデル５１に適用し、識別モデル５２での学習結果から算出モデル５１を生成する転移学習を行ってもよい。

図１７は、変形例２に係る算出モデル５１の生成処理に関する説明図である。図１７では、識別モデル５２（セマンティックセグメンテーションモデル）の一部のネットワーク構造及びパラメータを算出モデル５１（ＣＮＮ）に適用して、転移学習を行う様子を概念的に図示している。なお、本変形例でサーバ１は、識別モデル５２を生成済みであるものとして説明する。

サーバ１は、識別モデル５２の一部のネットワーク構造と同様のネットワーク構造を有する算出モデル５１に、識別モデル５２を生成（学習）して得た重み等のパラメータを初期値に設定して学習を行う。例えば算出モデル５１は、識別モデル５２と同様の入力層と、識別モデル５２のデコーダ部分に相当する中間層の一部（畳み込み層）とに、プラークバーデン算出用の出力層を接続した構造を有する。サーバ１は、識別モデル５２の学習で得たパラメータを中間層のパラメータの初期値に設定し、訓練データ（第１訓練データ）を与えて学習を行う。サーバ１は、訓練用の断層像を入力してプラークバーデンを算出し、正解値と比較して、両者が近似するようにパラメータを最適化する。このように転移学習を行うことで、算出モデル５１が学習するデータ量、学習時間を抑制することができる。

図１８は、変形例２に係る算出モデル５１の生成処理の手順を示すフローチャートである。算出モデル５１を生成するための訓練データ（第１訓練データ）を取得した後（ステップＳ１１）、サーバ１は以下の処理を実行する。なお、サーバ１は識別モデル５２を生成済みであるものとして説明する。

サーバ１の制御部１１は、識別モデル５２を生成して得たパラメータと、訓練データとに基づき、算出モデル５１を生成する（ステップＳ３０１）。具体的には上述の如く、制御部１１は、識別モデル５２の学習で得た重み等のパラメータを算出モデル５１のパラメータの初期値に設定した上で学習を行う。制御部１１は、訓練用の断層像を算出モデル５１に入力してプラークバーデンを算出し、正解値と比較して、両者が近似するようにパラメータを最適化する。制御部１１は一連の処理を終了する。

以上より、本変形例１によれば、識別モデル５２での学習結果を転用することで、算出モデル５１が学習するデータ量、学習時間を抑制することができる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ サーバ
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ１ プログラム
２ 画像診断装置
２１ 制御部
２２ 主記憶部
２３ 通信部
２４ 表示部
２５ 入力部
２６ 画像処理部
２７ 補助記憶部
Ｐ２ プログラム
５１ 算出モデル
５２ 識別モデル
５ 縦断層像
６ グラデーションバー
７ ステント領域

Claims (9)

1. 患者の血管を撮像した複数フレームの横断層像を取得する取得部と、
   前記横断層像を入力した場合にプラークバーデンを算出するよう学習済みのモデルに、取得した各フレームの前記横断層像を入力して、各フレームにおけるプラークバーデンを算出する算出部と、
   前記複数フレームの横断層像に基づく縦断層像と、該縦断層像に対応して表示されるオブジェクトであって、前記血管の軸方向に沿った前記縦断層像の各位置における前記プラークバーデンの大小を表す第１オブジェクトとを表示する表示部と
   を備える情報処理装置。
2. 前記第１オブジェクトは、前記プラークバーデンの大小に応じて表示色を徐々に変化させたグラデーションバーである
   請求項１に記載の情報処理装置。
3. 前記表示部は、前記プラークバーデンが所定の閾値以上の領域と閾値未満の領域とで表示色が異なる前記グラデーションバーを表示する
   請求項２に記載の情報処理装置。
4. 前記閾値を変更する設定入力を受け付ける受付部を備え、
   設定された前記閾値に応じて前記表示色を変化させた前記グラデーションバーを表示する
   請求項３に記載の情報処理装置。
5. 前記算出部は、各フレームにおける前記プラークバーデンと、各フレームにおける該プラークバーデンの算出結果の確からしさを示す信頼度とを算出し、
   前記縦断層像において、前記信頼度が所定値以下の低信頼度領域を特定する特定部を備え、
   前記表示部は、前記低信頼度領域に対応する前記第１オブジェクトの一部を非表示とする
   請求項１～４のいずれか１項に記載の情報処理装置。
6. 前記プラークバーデンが所定の閾値以上の領域の前記軸方向における長さを計測する測長部を備え、
   前記表示部は、前記縦断層像における前記閾値以上の領域と対応付けて、計測した前記長さを表示する
   請求項１～５のいずれか１項に記載の情報処理装置。
7. 前記表示部は、所定の治療デバイスのサイズを表現した第２オブジェクトを、前記縦断層像に対応して表示する
   請求項１～６のいずれか１項に記載の情報処理装置。
8. 患者の血管を撮像した複数フレームの横断層像を取得し、
   前記横断層像を入力した場合にプラークバーデンを算出するよう学習済みのモデルに、取得した各フレームの前記横断層像を入力して、各フレームにおけるプラークバーデンを算出し、
   前記複数フレームの横断層像に基づく縦断層像と、該縦断層像に対応して表示されるオブジェクトであって、前記血管の軸方向に沿った前記縦断層像の各位置における前記プラークバーデンの大小を表す第１オブジェクトとを表示部に表示する
   処理をコンピュータが実行する情報処理方法。
9. 患者の血管を撮像した複数フレームの横断層像を取得し、
   前記横断層像を入力した場合にプラークバーデンを算出するよう学習済みのモデルに、取得した各フレームの前記横断層像を入力して、各フレームにおけるプラークバーデンを算出し、
   前記複数フレームの横断層像に基づく縦断層像と、該縦断層像に対応して表示されるオブジェクトであって、前記血管の軸方向に沿った前記縦断層像の各位置における前記プラークバーデンの大小を表す第１オブジェクトとを表示部に表示する
   処理をコンピュータに実行させるプログラム。
   

Images