以下、図面を参照して、実施形態に係る解析装置を説明する。
(第1の実施形態)
第1の実施形態では、解析装置の一例として、超音波診断装置について説明する。図1は、第1の実施形態に係る超音波診断装置1の構成例を示すブロック図である。図1に示すように、第1の実施形態に係る超音波診断装置1は、装置本体100と、超音波プローブ101と、入力装置102と、ディスプレイ103とを備える。超音波プローブ101、入力装置102、及びディスプレイ103は、それぞれ装置本体100に接続される。
超音波プローブ101は、複数の振動素子(圧電振動子)を有する。超音波プローブ101は、被検体Pの体表面に接触され、超音波の送受信(超音波走査)を行う。複数の振動素子は、後述する装置本体100が有する送信回路110から供給される駆動信号に基づいて、超音波を発生させる。発生した超音波は、被検体P内の音響インピーダンスの不整合面で反射され、組織内の散乱体によって散乱された成分等を含む反射波信号(受信エコー)として複数の振動素子にて受信される。超音波プローブ101は、複数の振動素子にて受信した反射波信号を、送信回路110へ送る。
なお、本実施形態では、超音波プローブ101が、マトリクス状(格子状)に配列された複数の振動素子を有する2次元超音波プローブ(「2Dアレイプローブ」とも表記する)である場合を説明するが、これに限定されるものではない。例えば、超音波プローブ101は、所定方向に1次元で配列された複数の振動素子を有する1次元超音波プローブ(「1Dアレイプローブ」とも表記する)であってもよい。
入力装置102は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等を有し、超音波診断装置1の操作者からの各種設定要求を受け付け、装置本体100に対して受け付けた各種設定要求を転送する。また、例えば、入力装置102は、CAD処理を実行する指示を操作者から受け付ける。
ディスプレイ103は、超音波診断装置1の操作者が入力装置102を用いて各種設定要求を入力するためのGUI(Graphical User Interface)を表示したり、装置本体100において生成された超音波画像データ等を表示したりする。例えば、ディスプレイ103は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイ等によって構成される。また、ディスプレイ103のことをモニタと適宜称する。なお、ディスプレイ103は、表示部の一例である。
装置本体100は、超音波プローブ101が受信した反射波信号に基づいて、超音波画像データを生成する装置である。図1に示すように、装置本体100は、例えば、送信回路110と、受信回路120と、Bモード処理回路130と、ドプラ処理回路140と、画像生成回路150と、画像メモリ160と、記憶回路170と、処理回路180とを有する。送信回路110、受信回路120、Bモード処理回路130、ドプラ処理回路140、画像生成回路150、画像メモリ160、記憶回路170、及び処理回路180は、互いに通信可能に接続される。
送信回路110は、パルサ回路等を有する。パルサ回路は、所定のレート周波数(PRF:Pulse Repetition Frequency)で、送信超音波を形成するためのレートパルスを繰り返し発生し、発生したレートパルスを超音波プローブ101に出力する。
また、送信回路110は、処理回路180による制御を受けて、パルサ回路が出力する駆動信号の振幅の値を出力する。また、送信回路110は、処理回路180による制御を受けて、超音波プローブ101に、超音波プローブ101から送信される超音波に対する遅延量を送信する。
受信回路120は、A/D変換器及び受信ビームフォーマを有する。受信回路120は、超音波プローブ101から出力された反射波信号を受信すると、まず、A/D変換器が、反射波信号をデジタルデータに変換し、受信ビームフォーマが、これらの各チャンネルからのデジタルデータに対し整相加算処理を行って反射波データを生成し、生成した反射波データをBモード処理回路130及びドプラ処理回路140に送信する。
Bモード処理回路130は、受信回路120から出力された反射波データを受信し、受信した反射波データに対して対数増幅、包絡線検波処理等を行って、信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。
ドプラ処理回路140は、受信回路120から出力された反射波データを受信し、受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の移動体情報を多点について抽出したデータ(ドプラデータ)を生成する。
画像生成回路150は、Bモード処理回路130及びドプラ処理回路140が生成したデータから超音波画像データを生成する。画像生成回路150は、Bモード処理回路130が生成したBモードデータから反射波の強度を輝度で表したBモード画像データを生成する。また、画像生成回路150は、ドプラ処理回路140が生成したドプラデータから移動体情報を表すドプラ画像データを生成する。ドプラ画像データは、速度画像データ、分散画像データ、パワー画像データ、又は、これらを組み合わせた画像データである。ここで、例えば、画像生成回路150は、リアルタイムで時系列に生成した画像を、画像メモリ160に記憶させる。
ここで、画像生成回路150は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換(スキャンコンバート)し、表示用の超音波画像データを生成する。具体的には、画像生成回路150は、超音波プローブ101による超音波の走査形態に応じて座標変換を行うことで、表示用の超音波画像データを生成する。また、画像生成回路150は、スキャンコンバート以外に、種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理(平滑化処理)や、画像内で微分フィルタを用いる画像処理(エッジ強調処理)等を行う。また、画像生成回路150は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。
画像メモリ160は、画像生成回路150が生成した画像データ(Bモード画像データ、ドプラ画像データ等)を記憶するメモリである。また、画像メモリ160は、Bモード処理回路130及びドプラ処理回路140が生成したデータを記憶することも可能である。画像メモリ160が記憶するBモードデータ及びドプラデータは、例えば、操作者が呼び出すことが可能となっており、画像生成回路150を経由して表示用の超音波画像データとなる。
記憶回路170は、超音波送受信、画像処理及び表示処理などを行うための制御プログラムや、診断情報(例えば、患者ID、医師の所見等)や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、記憶回路170は、必要に応じて、画像メモリ160が記憶する画像データの保管等にも使用される。また、記憶回路170が記憶するデータは、図示しない通信インターフェースを介して、外部装置へ転送することができる。
処理回路180は、超音波診断装置1の処理全体を制御する。具体的には、処理回路180は、入力装置102を介して操作者から入力された各種設定要求や、記憶回路170から読み込んだ各種制御プログラムおよび各種データに基づき、送信回路110、受信回路120、Bモード処理回路130、ドプラ処理回路140、画像生成回路150等の処理を制御する。また、処理回路180は、画像メモリ160が記憶する超音波画像データをディスプレイ103に表示させる。
また、図1に示すように、処理回路180は、取得機能181、検索機能182、検索結果合成機能183、マーカ情報生成機能184及び表示制御機能185を実行する。ここで、例えば、図1に示す処理回路180の構成要素である取得機能181と、検索機能182と、検索結果合成機能183と、マーカ情報生成機能184と、表示制御機能185とが実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路170に記録されている。処理回路180は、各プログラムを記憶回路170から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路180は、図1の処理回路180内に示された各機能を有することとなる。なお、取得機能181、検索機能182、検索結果合成機能183、マーカ情報生成機能184及び表示制御機能185の処理については、後述する。
なお、装置本体100に内蔵される送信回路110、受信回路120、Bモード処理回路130、ドプラ処理回路140、画像生成回路150、及び処理回路180は、プロセッサ(CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、集積回路等)のハードウェアにより構成される。
このように構成される超音波診断装置1は、超音波走査によりリアルタイムに生成する超音波画像や過去の超音波走査により生成した超音波画像を表示する。ところで、取得した生体画像中の特徴的な部位を自動検出するCAD(Computer Aided Detection)機能がある。ここでCAD手法の一例として、1枚の入力画像に対して複数のCAD処理を行い、それぞれの処理の結果を合成して最終的な特徴部位の検出結果として表示する方法が考えられる。
しかしながら、この方法では、1枚の画像に対する計算量が多く処理に時間が長くなる。このため、この方法は、例えば、超音波診断装置でのリアルタイム処理には不向きである。また、単純に画像1枚あたりのCAD処理を減らすと、CADの性能が低下する可能性がある。
そこで、第1の実施形態に係る超音波診断装置1は、CAD処理を複数の入力画像に分散させ、各画像での結果を合成して、1枚の画像の最終的な検出結果として表示する。図2は、第1の実施形態を説明するための図である。図2では、4種類のCAD処理を4フレームの画像に分散させる場合を示す。
図2に示す例では、N-2フレーム目の画像、N-1フレーム目の画像、Nフレーム目の画像、N+1フレーム目の画像を用いて、Nフレーム目の画像の検出結果を取得する場合について説明する。例えば、第1の実施形態に係る超音波診断装置1は、N-2フレーム目の画像、N-1フレーム目の画像、Nフレーム目の画像、N+1フレーム目の画像に対して、それぞれ手法の異なるCAD処理を実行する。
より具体的には、第1の実施形態に係る超音波診断装置1は、N-2フレーム目の画像に対して手法Aを用いたCAD処理を実行してCAD処理結果「Result N-2」を得る。また、第1の実施形態に係る超音波診断装置1は、N-1フレーム目の画像に対して手法Bを用いたCAD処理を実行してCAD処理結果「Result N-1」を得る。更に、第1の実施形態に係る超音波診断装置1は、Nフレーム目の画像に対して手法Cを用いたCAD処理を実行してCAD処理結果「Result N」を得る。そして、第1の実施形態に係る超音波診断装置1は、N+1フレーム目の画像に対して手法Dを用いたCAD処理を実行してCAD処理結果「Result N+1」を得る。
なお、第1の実施形態に係る超音波診断装置1は、各CAD処理において、例えば、操作者によって設定された検索範囲に対して、CAD処理毎に設定された、検索窓と教師データと検索アルゴリズムとをパラメータとして用いて、検索範囲における特徴部位の検索処理を実行する。より具体的には、第1の実施形態に係る超音波診断装置1は、検索範囲内で検索窓を移動させ、各位置において、検索窓の画像情報を、教師データと検索アルゴリズムを用いて解析することで、各検索窓の画像情報が特徴部位に相当する情報である確率を計算する。なお、第1の実施形態に係る超音波診断装置1は、確率の代わりに、類似性の程度を表す別の指標を計算しても良い。また、検索窓とは、例えば教師データと比較する検索範囲内の領域の単位であり、教師データとは、例えば特徴部位の標本となる画像情報であり、検索アルゴリズムとは、検索窓の画像情報と教師データとの類似度を算出するためのアルゴリズムである。教師データは、例えば、過去に取得された医用画像における特徴部位の画像情報、又は過去に取得された複数の医用画像それぞれにおける特徴部位の画像情報を基に機械学習を行った結果として得られた情報であっても良い。また、検索アルゴリズムは、例えば、機械学習による学習済みネットワークを用いて、処理対象の画像において特徴部位に相当する画像情報を検索し、検索結果を出力するアルゴリズムである。
続いて、第1の実施形態に係る超音波診断装置1は、各CAD処理結果を合成する。例えば、第1の実施形態に係る超音波診断装置1は、「Result N-2」、「Result N-1」、「Result N」及び「Result N+1」を合成して、Nフレーム目の画像の検出結果とする。そして、第1の実施形態に係る超音波診断装置1は、例えば図2に示すように、Nフレーム目の検出結果をディスプレイ103に表示させる。図2の例では、第1の実施形態に係る超音波診断装置1は、特徴部位として検出された領域に矩形で示すマーカ情報を重畳してディスプレイ103に表示させる。
このような解析処理は、処理回路180が取得機能181、検索機能182、検索結果合成機能183、マーカ情報生成機能184及び表示制御機能185を実行することによって実現される。例えば、第1の実施形態に係る取得機能181は、複数の入力画像を取得する。言い換えると、取得機能181は、第1の画像と、第1の画像とは異なる第2の画像を取得する。
第1の実施形態に係る検索機能182は、複数の入力画像に対して異なる検索処理を実行する。すなわち、検索機能182は、第1の画像を対象に第1の検索処理を実行することで、第1の画像における特徴部位を検索し、第2の画像を対象に、第1の検索処理とは異なる第2の検索処理を実行することで、第2の画像における特徴部位を検索する。ここで、検索機能182は、第1の検索処理と第2の検索処理とで異なるパラメータを設定する。より具体的には、検索機能182は、パラメータとして検索処理対象の画像内に複数の検索窓を設定し、各検索窓について特徴部位である確率を計算する。
第1の実施形態に係る検索結果合成機能183は、検索機能182による各検索結果を合成する。第1の実施形態に係るマーカ情報生成機能184は、検索結果合成機能183による合成結果に基づいて、マーカ情報を生成する。第1の実施形態に係る表示制御機能185は、医用画像をディスプレイ103に表示させ、マーカ情報に基づくマーカを、医用画像上に表示させる。
図3は、第1の実施形態に係る処理回路180による解析処理の手順を示すフローチャートである。図3では、処理回路180の動作を説明するフローチャートを示し、各構成要素がフローチャートのどのステップに対応するかを説明する。ステップS1及びステップS7は、取得機能181により実現されるステップである。ステップS1では、取得機能181は、画像を取得する。例えば、取得機能181は、リアルタイムで時系列に生成される超音波画像のうち最新の画像を画像メモリ160から取得する。
ステップS2及びステップS3は、検索機能182により実現されるステップである。ステップS2では、検索機能182は、パラメータを設定する。ここで、検索機能182は、所定の時間間隔毎に異なるパラメータを設定する。図3に示す例では、検索機能182は、最新の画像を取得する毎に異なるパラメータを設定するものとして説明する。言い換えると、検索機能182は、1フレーム毎にパラメータを変更する。なお、検索機能182は、例えば5秒毎等、時間を区切ってパラメータを変更してもよい。
例えば、検索機能182は、パラメータとして検索処理対象の画像内に複数の検索窓を設定する。ここで、検索機能182は、第1の方法、第2の方法、又はそれらを組み合わせた方法で、画像内に複数の検索窓を設定する。図4、図5及び図6は、第1の実施形態を説明するための図である。
より具体的には、第1の方法では、検索機能182は、第1の検索処理と第2の検索処理とで異なる大きさの検索窓を設定する。図4では、1フレーム毎に設定する検索窓を変更してサイズの異なる3つの検索窓を、検索窓4a、検索窓4b及び検索窓4cの順で設定する場合について説明する。
例えば、検索機能182は、N-1フレーム目の画像に対して、検索窓4aを設定している場合、検索機能182は、Nフレーム目の画像に対して、検索窓4bを設定する。なお、検索機能182は、N+1フレーム目の画像に対して、検索窓4cを設定する。
別の例を挙げると、第1の方法では、検索機能182は、第1の検索処理と第2の検索処理とで相対的な大きさが異なる検索窓を設定する。即ち、検索機能182は、第1の検索処理における検索窓の第1の画像に対する相対的な大きさと、第2の検索処理における検索窓の第2の画像に対する相対的な大きさとが異なるように、第1の検索処理と第2の検索処理との検索窓を設定する。図5では、1フレーム毎に画像のサイズを変更して、サイズが同じ3つの検索窓を、検索窓5a、検索窓5b及び検索窓5cの順で設定する場合について説明する。
例えば、検索機能182は、N-1フレーム目の画像に対して、検索窓5aを設定する。また、検索機能182は、Nフレーム目の画像をN-1フレーム目の画像よりも拡大し、検索窓5aと同じサイズの検索窓5bを、Nフレーム目の画像に対して設定する。また、検索機能182は、N+1フレーム目の画像をNフレーム目の画像よりも拡大し、検索窓5a及び検索窓5bと同じサイズの検索窓5cを、N+1フレーム目の画像に対して設定する。
また、第2の方法では、検索機能182は、第1の検索処理と第2の検索処理とで異なる位置に検索窓を設定する。図6では、1種類の大きさの検索窓を用いて、1フレーム毎に設定する検索窓の位置を変更する場合について説明する。なお、第2の方法では、検索機能182は、各フレームに同じサイズの検索窓を設定する。
例えば、検索機能182は、N-2フレーム目の画像に対して、検索範囲の左上を検索の開始位置として検索窓を設定し、検索範囲の右下を検索の終了位置として検索範囲内で検索窓を移動させる。より具体的には、検索機能182は、検索範囲において開始位置の左上から右側に検索窓を重畳させる。例えば、図6では、検索窓が半分重畳するように、検索窓を右側に移動させる場合を示している。なお、図6では、重畳している検索窓を破線で示している。そして、検索機能182は、右側まで検索窓を移動させた場合、下側に検索窓を移動させて、左側から右側まで検索窓を移動させる。このようにして、検索機能182は、検索範囲において検索窓を移動させることで、検索範囲全体に検索窓を設定する。
また、例えば、検索機能182は、N-1フレーム目の画像に対して、検索範囲の左上から右下側にずらした位置を検索の開始位置として検索窓を設定し、検索範囲の右下から左上側にずらした位置を検索の終了位置として検索範囲内で検索窓を移動させる。そして、検索機能182は、N-1フレーム目の画像の検索範囲において開始位置から終了位置まで検索窓を移動させることで検索窓を設定する。このように、N-1フレーム目の検索窓の設定位置が、N-2フレーム目の検索窓の設定値からずれることになる。この結果、N-1フレーム目では、N-2フレーム目とは異なる領域に検索窓を設定することが可能になる。
そして、例えば、検索機能182は、Nフレーム目の画像に対して、N-1フレーム目の画像の開始位置から更に右下側にずらした位置を検索の開始位置として検索窓を設定し、N-1フレーム目の画像の終了位置から更に左上側にずらした位置を検索の終了位置として、検索範囲内で検索窓を移動させる。そして、検索機能182は、Nフレーム目の画像の検索範囲において開始位置から終了位置まで検索窓を移動させることで検索窓を設定する。このように、Nフレーム目の検索窓の設定位置が、N-1フレーム目の検索窓の設定値からずれることになる。この結果、Nフレーム目では、N-1フレーム目とは異なる領域に検索窓を設定することが可能になる。
なお、図6に示す例では、1種類の大きさの検索窓を用いて、検索範囲において検索の開始位置と終了位置との組み合わせを変更する場合について説明したが、実施形態はこれに限定されるものではない。例えば、検索範囲において検索の開始位置及び終了位置のいずれかを変更するようにしてもよい。また、検索の開始位置及び終了位置のいずれかを変更することに加えて、更に、大きさの異なる検索窓を用いてもよい。
ステップS3では、検索機能182は、CAD検索を実行する。例えば、検索機能182は、入力装置102を介して、CAD処理を実行する指示を操作者から受け付けた場合、ステップS2で設定された各検索窓について特徴部位である確率を計算する。ここで言う特徴部位とは、例えば、腫瘍等の異常(悪性)部位である。なお、特徴部位は、正常(良性)部位であってもよい。例えば、正常(良性)部位とは、肝臓の血管腫(良性)である。
例えば、検索機能182は、検索窓が設定された画像に対して、教師データと検索アルゴリズムとを用いて、各検索窓が特徴部位である確率を計算する。そして、検索機能182は、特徴部位である確率が所定の閾値以上である場合に、検索窓で囲まれた範囲を特徴部位として検出する。検索機能182は、画像に対する検索結果を例えば記憶回路170に記憶させる。
ステップS4は、検索結果合成機能183により実現されるステップである。ステップS4では、検索結果合成機能183は、合成処理を実行する。例えば、検索結果合成機能183は、検索機能182による各検索結果を合成する。図7は、第1の実施形態に係る検索結果合成機能183による処理手順を示すフローチャートであり、図8は、第1の実施形態に係る検索結果合成機能183の処理動作を説明するための図である。
図7では、検索結果合成機能183の動作を説明するフローチャートを示す。ステップS11では、検索結果合成機能183は、所定数の画像に対する検索結果を取得する。例えば、検索結果合成機能183は、図8に示すように、N-2フレーム目の画像に対する検索結果と、N-1フレーム目の画像に対する検索結果と、Nフレーム目の画像に対する検索結果とを記憶回路170から取得する。なお、図8では、サイズが異なる検索窓8aと検索窓8bとを用いて検索した結果を示す。また、図8では、N-2フレーム目の画像、N-1フレーム目の画像及びNフレーム目の画像の3フレームの画像を用いてNフレーム目の検索結果を合成する場合について説明する。
より具体的には、図8に示す例では、検索結果合成機能183は、N-2フレーム目の画像の検索窓8aに特徴部位が検出されており、N-1フレーム目の画像の検索窓8bに特徴部位が検出されており、Nフレーム目の画像の検索窓8aに特徴部位が検出されている検索結果を取得する。なお、図8に示す検索窓8aに検出されている特徴部位Tは、正しく検出された特徴部位であり、検索窓8bに検出されている特徴部位は、誤って検出された過検出の特徴部位であるものとする。
ステップS12では、検索結果合成機能183は、ステップ11において取得した全ての画像に共通の検索結果を抽出する。例えば、図8に示す例では、N-2フレーム目の検索結果とNフレーム目の検索結果とに共通の検索結果である特徴部位Tが検出されている。しかしながら、図8に示す例では、N-1フレーム目の検索結果には、特徴部位Tが検出されていない。すなわち、図8に示す例では、3フレームに共通の検索結果が存在しない。かかる場合、検索結果合成機能183は、Nフレーム目の検索結果には特徴部位が検出されなかったことを示す合成処理の結果を得る。このように、検索結果合成機能183は、第1の画像における特徴部位と、第2の画像における特徴部位とで共通する特徴部位を合成結果とする。これにより、検索結果合成機能183は、過検出を軽減することが可能になる。
なお、図7に示すステップS12において、検索結果合成機能183は、全ての検索結果を抽出してもよい。かかる場合、検索結果合成機能183は、図8に示す例では、Nフレーム目の検索結果として検索窓8aに検出されている特徴部位Tと検索窓8bに検出されている特徴部位とを合成処理の結果とする。すなわち、検索結果合成機能183は、第1の画像における特徴部位と、第2の画像における特徴部位とを合成結果とする。
図3に戻る。ステップS5では、マーカ情報生成機能184は、マーカ情報を生成する。例えば、マーカ情報生成機能184は、検索結果合成機能183による合成結果に基づいて、マーカ情報を生成する。ここで、マーカ情報は、検索窓に応じた形状を有する。例えば、マーカ情報生成機能184は、検索窓と同一の形状を有するマーカ情報を生成する。より具体的には、マーカ情報生成機能184は、図4や図8に示す検索窓と同一形状のマーカ情報を生成する。
また、マーカ情報生成機能184は、特徴部位である確率に応じて色分けしたマーカ情報を生成する。例えば、マーカ情報生成機能184は、合成処理の結果、特徴部位である確率が80%以上であると検出された検索窓には優先度を「高」として、例えば、赤色のマーカ情報を生成する。また、例えば、マーカ情報生成機能184は、合成処理の結果、特徴部位である確率が60%以上80%未満であると検出された検索窓には優先度を「中」として、例えば、黄色のマーカ情報を生成する。また、例えば、マーカ情報生成機能184は、合成処理の結果、特徴部位である確率が40%以上60%未満であると検出された検索窓には優先度を「低」として、例えば、青色のマーカ情報を生成する。
ステップS6では、表示制御機能185は、合成処理の結果をディスプレイ103に表示させる。例えば、表示制御機能185は、医用画像をディスプレイ103に表示させ、マーカ情報に基づくマーカを、医用画像上に表示させる。なお、医用画像は、図8に示したN-2フレーム目の画像、N-1フレーム目の画像又はNフレーム目の画像であってもよいし、他の医用画像であってもよい。ここで、合成処理の結果、複数の特徴部位が得られる場合がある。このような場合、複数のマーカ情報が生成される。また、複数のマーカ情報が生成されると、マーカ情報が重なる場合がある。そこで、表示制御機能185は、重畳するマーカ情報の形状の外枠のみをディスプレイ103に表示させる。図9及び図10は、第1の実施形態を説明するための図である。
図9では、優先度に応じた3種類のマーカ情報が生成されている場合を示す(図9の9a)。また、図9では、4つのマーカ情報が異なる優先度の組み合わせで9種類生成される場合を示す(図9の9b~9jの矢印の左側)。図9に示すように、表示制御機能185は、1枚の画像において複数のマーカ情報が生成される場合、重畳するマーカ情報の形状の外枠のみをディスプレイ103に表示させる(図9の9b~9jの矢印の右側)。ここで、表示制御機能185は、例えば、重畳するマーカ情報の形状の外枠のみを、確率が最も高い色で色分けして表示させる。
より具体的には、表示制御機能185は、重畳するマーカ情報の形状の外枠のみを、優先度の最も高いマーカ情報で色分けする。一例をあげると、表示制御機能185は、4つのマーカ情報の中で1つでも優先度が「高」であるマーカ情報が含まれている場合、マーカ情報の形状の外枠を優先度が「高」である「赤色」で示す(図9の9b、9c、9d、9g、9j)。また、表示制御機能185は、4つのマーカ情報の中で優先度の最も高いマーカ情報が「中」である場合、マーカ情報の形状の外枠を優先度が「中」である「黄色」で示す(図9の9e、9f、9i)。また、表示制御機能185は、4つのマーカ情報の中で優先度の最も高いマーカ情報が「低」である場合、マーカ情報の形状の外枠を優先度が「低」である「青色」で示す(図9の9h)。
このように、表示制御機能185は、各フレームに対する合成処理の結果をディスプレイ103に表示させる。すなわち、表示制御機能185は、複数の優先度が混在したマーカ情報を表示するのではなく、最も優先度が高いマーカ情報を選択して、マーカ情報の形状の外枠を表示する。このようにして、表示制御機能185は、煩雑さを抑えた合成処理の結果をディスプレイ103に表示させる。これにより、例えば、操作者は、特徴部位である確率に応じて色分けされた合成処理の結果を閲覧することが可能になる。この結果、操作者は、例えば、CAD処理の結果を容易に把握することが可能になる。
なお、マーカ情報生成機能184は、特徴部位である確率に応じた色分けをせずにマーカ情報を生成してもよい。かかる場合、表示制御機能185は、重畳するマーカ情報の形状の外枠のみを表示させる。また、表示制御機能185は、最も優先度が高いマーカ情報を選択せずに、複数の優先度が混在したマーカ情報を表示するようにしてもよい。
更に、表示制御機能185は、マーカ情報の数の計測値を更にディスプレイ103に表示させてもよい。図10では、優先度が「高」であるマーカ情報が15個、優先度が「中」であるマーカ情報が0個、優先度が「低」であるマーカ情報が0個表示されている場合を示す。かかる場合、表示制御機能185は、図10に示すように、優先度が「高」であることを示すマーカ情報に対応付けて15、優先度が「中」であることを示すマーカ情報に対応付けて0、優先度が「低」であることを示すマーカ情報に対応付けて0を表示させる。これにより、例えば、操作者は、特徴部位である確率に応じた特徴部位の数を容易に把握することが可能になる。
図3に戻る。ステップS7では、取得機能181は、終了を受け付けたか否かを判定する。ここで、取得機能181は、終了を受け付けたと判定しなかった場合(ステップS7、No)、ステップS1に移行して画像を取得する。一方、取得機能181は、終了を受け付けたと判定した場合(ステップS7、Yes)、処理を終了する。
このように、第1の実施形態に係る超音波診断装置1では、第1の画像を対象に第1の検索処理を実行することで、第1の画像における特徴部位を検索し、第2の画像を対象に、第1の検索処理とは異なる第2の検索処理を実行することで、第2の画像における特徴部位を検索する。そして、第1の実施形態に係る超音波診断装置1では、各検索結果を合成する。すなわち、第1の実施形態に係る超音波診断装置1は、CAD処理を複数の入力画像に分散させ、各画像での結果を合成して、1枚の画像の最終的な検出結果として表示する。これにより、第1の実施形態に係る超音波診断装置1は、CAD処理の性能を維持しながら、画像1枚あたりの計算量を抑えることができる。この結果、第1の実施形態に係る超音波診断装置1によれば、超音波走査時にリアルタイム性を保ちながらCAD処理を施すことができる。このようにして、第1の実施形態に係る超音波診断装置1は、診断効率を向上させることができる。
(第1の実施形態の第1の変形例)
なお、上述した第1の実施形態では、検索結果合成機能183は、第1の画像における特徴部位と、第2の画像における特徴部位とで共通する特徴部位を合成結果とする場合について説明した。しかしながら、検索結果合成機能183による合成処理は、これに限定されるものではない。例えば、検索結果合成機能183は、第1の画像における特徴部位を、第2の画像にコピーするようにしてもよい。図11は、第1の実施形態の第1の変形例に係る検索結果合成機能183による処理手順を示すフローチャートであり、図12及び図13は、第1の実施形態の第1の変形例に係る検索結果合成機能183の処理動作を説明するための図である。
図11では、検索結果合成機能183の動作を説明するフローチャートを示す。ステップS21では、検索結果合成機能183は、所定数の画像に対する検索結果を取得する。例えば、検索結果合成機能183は、図12に示すように、N-2フレーム目の画像に対する検索結果と、N-1フレーム目の画像に対する検索結果と、Nフレーム目の画像に対する検索結果とを記憶回路170から取得する。なお、図12では、サイズが異なる検索窓12aと検索窓12bとを用いて検索した結果を示す。また、図12では、N-2フレーム目の画像、N-1フレーム目の画像及びNフレーム目の画像の3フレームの画像を用いてNフレーム目の検索結果を合成する場合について説明する。
より具体的には、図12に示す例では、検索結果合成機能183は、N-2フレーム目の画像の検索窓12aに特徴部位が検出されており、N-1フレーム目の画像の検索窓12bに特徴部位が検出されており、Nフレーム目の画像の検索窓12aに特徴部位が検出されている検索結果を取得する。なお、図12に示す検索窓12aに検出されている特徴部位Tは、正しく検出された特徴部位であり、検索窓12bに検出されている特徴部位は、誤って検出された過検出の特徴部位であるものとする。
ステップS22では、検索結果合成機能183は、画像間で検索結果をコピーする。図12に示す例では、1フレーム前の検索結果をコピーする場合について説明する。例えば、検索結果合成機能183は、N-2フレーム目の画像の検索窓12aにおける検索結果をN-1フレーム目の画像にコピーする。また、例えば、検索結果合成機能183は、N-1フレーム目の画像の検索窓12bにおける検索結果をNフレーム目の画像にコピーする。
ステップS23では、検索結果合成機能183は、全ての画像に共通の検索結果を抽出する。例えば、図13に示す例では、N-2フレーム目の検索結果とN-1フレーム目の検索結果とNフレーム目の検索結果とに共通の検索結果である特徴部位Tが検出されている。かかる場合、検索結果合成機能183は、Nフレーム目の検索結果には特徴部位Tが検出されたことを示す合成処理の結果を得る。このように、検索結果合成機能183は、第1の画像における特徴部位を、第2の画像にコピーし、第1の画像における特徴部位と、第2の画像における特徴部位とで共通する特徴部位を合成結果とする。
このようにして第1の実施形態の第1の変形例では、第1の画像における特徴部位を、第2の画像にコピーし、第1の画像における特徴部位と、第2の画像における特徴部位とで共通する特徴部位を合成結果とする。これにより、第1の実施形態の第1の変形例によれば、過検出を低減できるとともに、特徴部位の見逃しを低減することが可能になる。
なお、検索結果合成機能183は、複数フレーム前又は1枚以上後のフレームの検索結果をコピーしてもよいし、複数のフレームに対して検索結果をコピーしてもよい。例えば、検索結果合成機能183は、2フレーム前の検索結果をコピーしてもよいし、N-2フレーム目の検索結果をN-1フレーム目とNフレーム目とにコピーしてもよい。
(第1の実施形態の第2の変形例)
また、例えば、検索結果合成機能183は、第1の画像における特徴部位である確率と、第2の画像における特徴部位である確率との統計値が所定の閾値以上である特徴部位を合成結果とするようにしてもよい。図14は、第1の実施形態の第2の変形例に係る検索結果合成機能183による処理手順を示すフローチャートであり、図15は、第1の実施形態の第2の変形例に係る検索結果合成機能183の処理動作を説明するための図である。
図14では、検索結果合成機能183の動作を説明するフローチャートを示す。ステップS31では、検索結果合成機能183は、所定数の画像に対する検索結果を取得する。例えば、検索結果合成機能183は、図15に示すように、N-2フレーム目の画像に対する検索結果と、N-1フレーム目の画像に対する検索結果と、Nフレーム目の画像に対する検索結果と、N+1フレーム目の画像に対する検索結果とを記憶回路170から取得する。なお、図15では、サイズが異なる検索窓15aと検索窓15bとを用いて検索した結果を示す。また、図15では、N-2フレーム目の画像、N-1フレーム目の画像、Nフレーム目の画像及びN+1フレーム目の画像の4フレームの画像を用いてNフレーム目の検索結果を合成する場合について説明する。
ステップS32では、検索結果合成機能183は、同一サイズの検索窓で検索窓内の画像情報が特徴部位に相当する情報である確率の平均値を算出する。例えば、検索結果合成機能183は、図15に示すように、N-2フレーム目の画像の検索窓15aに特徴部位が検出されており、N-1フレーム目の画像の検索窓15bに特徴部位が検出されており、Nフレーム目の画像の検索窓15aに特徴部位が検出されており、N+1フレーム目の画像では何も検出されていない検索結果を取得する。なお、図15に示す検索窓15aに検出されている特徴部位Tは、正しく検出された特徴部位であり、検索窓15bに検出されている特徴部位は、誤って検出された過検出の特徴部位であるものとする。また、N+1フレーム目の検索窓15bは、N-1フレーム目の検出箇所に相当する位置を示している。
そして、検索結果合成機能183は、N-2フレーム目の画像の検索窓15aにおける特徴部位である確率と、Nフレーム目の画像の検索窓15aにおける特徴部位である確率との平均値を算出する。また、例えば、検索結果合成機能183は、図15に示すように、N-1フレーム目の画像の検索窓15bにおける特徴部位である確率と、N+1フレーム目の画像の中でN-1フレーム目の画像で特徴部位が検出された箇所に該当する位置の検索窓15bにおける特徴部位である確率との平均値を算出する。なお、検索結果合成機能183は、統計値として平均値を算出する場合について説明したが、実施形態はこれに限定されるものではない。例えば、検索結果合成機能183は、統計値として分散値を算出してもよい。
ステップS33では、検索結果合成機能183は、ステップS32で算出した平均値が閾値以上であるか否かを判定する。ここで、検索結果合成機能183は、平均値が閾値以上であると判定した場合(ステップS33、Yes)、検索窓により検索された特徴部位を検索結果として抽出する(ステップS34)。一方、検索結果合成機能183は、平均値が閾値以上であると判定しなかった場合(ステップS33、No)、検索窓により検索された特徴部位を検索結果として抽出しない(ステップS35)。
より具体的には、図15に示す例では、検索結果合成機能183は、N-2フレーム目の画像の検索窓15aにおける特徴部位である確率と、Nフレーム目の画像の検索窓15aにおける特徴部位である確率との平均値が閾値以上であると判定する。そして、検索結果合成機能183は、Nフレームの合成結果として検索窓15aにおける特徴部位を抽出する。また、図15に示す例では、検索結果合成機能183は、N-1フレーム目の画像の検索窓15bにおける特徴部位である確率と、N+1フレーム目の画像の検索窓15bにおける特徴部位である確率との平均値が閾値未満であると判定する。そして、検索結果合成機能183は、Nフレームの合成結果として検索窓15bにおける特徴部位を抽出しない。
検索結果合成機能183は、ステップS34又はステップS35に続いて、全てのサイズの検索窓について判定したか否かを判定する(ステップS36)。ここで、検索結果合成機能183は、全てのサイズの検索窓について判定したと判定しなかった場合(ステップS36、No)、ステップS32に移行する。一方、検索結果合成機能183は、全てのサイズの検索窓について判定したと判定した場合(ステップS36、Yes)、処理を終了する。
このようにして、第1の実施形態に係る第2の変形例では、第1の画像における特徴部位である確率と、第2の画像における特徴部位である確率との統計値が所定の閾値以上である特徴部位を合成結果とする。これにより、第1の実施形態に係る第2の変形例によれば、過検出をより正確に低減できるとともに、特徴部位をより正確に検出することが可能になる。
(第1の実施形態の第3の変形例)
上述した実施形態では、第1の画像における特徴部位と、第2の画像における特徴部位とで共通する特徴部位を合成結果とする場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、検索結果合成機能183は、第1の画像における特徴部位と、第2の画像における特徴部位とで少なくとも一部が共通する場合に、各特徴部位が占める部位を合成結果とすることとしてもよい。
図16は、第1の実施形態の第3の変形例に係る検索結果合成機能183の処理動作を説明するための図である。図16は、検索機能182により、各フレームの画像に対して異なる位置に同じ大きさの検索窓を設定して、検索が行われた結果を示す。例えば、検索結果合成機能183は、まず、N-2フレーム目の画像に対する検索結果と、N-1フレーム目の画像に対する検索結果と、Nフレーム目の画像に対する検索結果とを記憶回路170から取得する。
ここで、図16に斜線に示すように、N-2フレーム目の画像における特徴部位と、N-1フレーム目の画像における特徴部位と、Nフレーム目の画像における特徴部位とが、一部共通するように抽出される場合がある。かかる場合、検索結果合成機能183は、各フレームにおける特徴部位が占める部位を合成結果とする。即ち、検索結果合成機能183は、Nフレームの合成結果として、N-2フレーム目の画像における特徴部位と、N-1フレーム目の画像における特徴部位と、Nフレーム目の画像における特徴部位とを抽出する。更に、マーカ情報生成機能184は、検索結果合成機能183による合成結果に基づいて、マーカ情報を生成する。
そして、表示制御機能185は、マーカ情報に基づくマーカを医用画像上に表示させる。例えば、図16の合成結果に基づいてマーカ情報が生成された場合、表示制御機能185は、図17に示すように、重畳するマーカ情報の形状の外枠のみをディスプレイ103に表示させる。なお、図17は、第1の実施形態の第3の変形例に係る表示制御機能185の処理動作を説明するための図である。
これに対して、図18や図19に示すように、N-2フレーム目の画像における特徴部位と、N-1フレーム目の画像における特徴部位と、Nフレーム目の画像における特徴部位とが、共通部分を有さない場合がある。この場合、検索結果合成機能183は、Nフレームの合成結果として、N-2フレーム目の画像における特徴部位と、N-1フレーム目の画像における特徴部位と、Nフレーム目の画像における特徴部位とを抽出しない。従って、第1の実施形態に係る第3の変形例によれば、第1の検索処理と第2の検索処理とで異なる位置に検索窓が設定された場合においても過検出を低減できるとともに、特徴部位の見逃しを低減することが可能になる。なお、図18及び図19は、第1の実施形態の第3の変形例に係る検索結果合成機能183の処理動作を説明するための図である。
更に、検索結果合成機能183は、第1の画像における特徴部位を第2の画像にコピーした上で、第1の画像における特徴部位と第2の画像における特徴部位とで少なくとも一部が共通する場合に、各特徴部位が占める部位を合成結果としてもよい。例えば、検索結果合成機能183は、図18において、N-2フレーム目の画像における特徴部位をN-1フレーム目の画像にコピーする。かかる場合、検索結果合成機能183は、N-2フレーム目の画像における特徴部位と、N-1フレーム目の画像における特徴部位と、Nフレーム目の画像における特徴部位とが共通部分を有するものとして、各フレームにおける特徴部位が占める部位を合成結果とする。即ち、検索結果合成機能183は、Nフレームの合成結果として、N-2フレーム目の画像における特徴部位と、N-2フレーム目の画像からN-1フレーム目の画像にコピーされた特徴部位と、N-1フレーム目の画像における特徴部位と、Nフレーム目の画像における特徴部位とを抽出する。
一方で、図19において、N-2フレーム目の画像における特徴部位をN-1フレーム目の画像にコピーする場合、各フレームの特徴部位は共通部分を有さない。この場合、検索結果合成機能183は、各フレームにおける特徴部位を合成結果として抽出しない。従って、第1の実施形態に係る第3の変形例によれば、第1の検索処理と第2の検索処理とで異なる位置に検索窓が設定された場合において、過検出を低減しつつも、特徴部位の見逃しをより低減することが可能になる。
なお、図16、図18及び図19においては、各フレームの画像に対して同じ大きさの検索窓が設定された場合の検索結果を示したが、実施形態はこれに限定されるものではない。例えば、検索結果合成機能183は、第1の画像及び第2の画像に対して異なる大きさの検索窓が設定された場合の検索結果を取得し、第1の画像における特徴部位と第2の画像における特徴部位とで少なくとも一部が共通する特徴部位を合成結果としてもよい。
また、検索結果合成機能183は、共通部分の面積に応じて、第1の画像における特徴部位と第2の画像における特徴部位とで少なくとも一部が共通する場合に、各特徴部位が占める部位を合成結果とするか否かを判定してもよい。例えば、図16において、検索結果合成機能183は、Nフレーム目の画像に対して設定された検索窓の面積と、共通部分の面積との比を算出する。そして、検索結果合成機能183は、算出した比が閾値を超える場合に、Nフレームの合成結果として、N-2フレーム目の画像における特徴部位と、N-1フレーム目の画像における特徴部位と、Nフレーム目の画像における特徴部位とを抽出する。
(第1の実施形態の第4の変形例)
上述した実施形態では、表示制御機能185は、各フレームに対する合成処理の結果をディスプレイ103に表示させる場合について説明したが、実施形態はこれに限定されるものではない。例えば、表示制御機能185は、連続するフレーム間での合成処理の結果を考慮して、各フレームに対する合成処理の結果をディスプレイ103に表示させてもよい。言い換えると、表示制御機能185は、マーカ情報のうち、複数フレームに連続するマーカ情報のみをディスプレイ103に表示させる。図20は、第1の実施形態の第4の変形例に係る表示制御機能185の処理動作を説明するための図である。
図20では、優先度に応じた3種類のマーカ情報が生成されている場合を示す(図20の20a)。また、図20では、N-2フレーム目の画像の合成結果と、N-1フレーム目の画像の合成結果と、Nフレーム目の画像の合成結果とを示す。図20に示す例では、表示制御機能185は、3フレームに連続するマーカ情報のみをディスプレイ103に表示させる。すなわち、表示制御機能185は、N-2フレーム目の画像の合成結果と、N-1フレーム目の画像の合成結果と、Nフレーム目の画像の合成結果とを考慮して、Nフレーム目に対する合成処理の結果をディスプレイ103に表示させる。
より具体的には、図20に示すように、表示制御機能185は、連続する3フレームのいずれかにマーカ情報が生成されていないフレームが存在する場合、Nフレーム目に対する合成処理の結果として、マーカ情報を表示しないようにする(図20の20d、20g、20j)。
また、表示制御機能185は、連続する3フレームにマーカ情報が生成されている場合、Nフレーム目に対する合成処理の結果として、優先度の最も高いマーカ情報で色分けする。一例をあげると、表示制御機能185は、3フレームのマーカ情報の中で1つでも優先度が「高」であるマーカ情報が含まれている場合、マーカ情報の形状の外枠を優先度が「高」である「赤色」で示す(図20の20b、20c)。また、表示制御機能185は、3フレームのマーカ情報の中で優先度の最も高いマーカ情報が「中」である場合、マーカ情報の形状の外枠を優先度が「中」である「黄色」で示す(図20の20e、20f、20i)。また、表示制御機能185は、3フレームのマーカ情報の中で優先度の最も高いマーカ情報が「低」である場合、マーカ情報の形状の外枠を優先度が「低」である「青色」で示す(図20の20h)。
このようにして、第1の実施形態に係る第4の変形例では、連続するフレーム間での合成処理の結果を考慮して、各フレームに対する合成処理の結果をディスプレイ103に表示させる。これにより、複数のフレームに渡って検出された特徴部位を優先的にディスプレイ103に表示させ、さらに特徴部位である確率に応じて色分けされた合成処理の結果を閲覧することが可能になる。
(第1の実施形態の第5の変形例)
上述した実施形態では、表示制御機能185は、検索処理の対象とした医用画像上に、検索結果の合成処理の結果を表示させる場合について説明した。しかしながら、実施形態はこれに限定されるものではない。即ち、表示制御機能185は、検索処理の対象とした医用画像以外の他の医用画像上に、検索結果の合成処理の結果を表示させてもよい。例えば、マーカ情報生成機能184は、検索結果の合成処理の結果に基づいてマーカ情報を生成し、表示制御機能185は、マーカ情報に基づくマーカを、第1の画像及び第2の画像と画質が異なる医用画像上に表示させる。
例えば、検索機能182は、図21に示すように、SCデータに基づく画像データI1を取得する。ここで、SCデータとは、例えば、画像生成回路150により生成されたBモード画像データである。画像データI1は、Bモード画像データそのものであってもよいし、Bモード画像データに対する画像処理後のデータであってもよい。次に、検索機能182は、図21に示すように、画像データI1に対して検索処理(CAD処理)を実行する。即ち、検索機能182は、画像データI1のうちの第1の画像に対して第1の検索処理を実行し、画像データI1のうちの第2の画像に対して第2の検索処理を実行する。なお、図21は、第1の実施形態の第5の変形例に係る表示制御機能185の処理動作を説明するための図である。
例えば、画像生成回路150は、検索処理の精度を向上するようにBモード画像データに対して画像処理を行うことにより、画像データI1を生成する。具体的には、画像生成回路150は、教師データを生成する際に用いられた医用画像と同程度の画質となるように、Bモード画像データに対して、移動平均(平滑化)フィルタやガウシアンフィルタ、メディアンフィルタ、バンドパスフィルタ等の画像処理を行って、画像データI1を生成する。
即ち、教師データを生成するための機械学習においては、まず、多数の医用画像における特徴部位の画像情報が、学習用データとして収集される。ここで、種々の画質の医用画像における特徴部位の画像情報を学習用データとして機械学習を行うことも考えられるが、種々の画質の医用画像をそれぞれ多数収集することは困難であるし、比較的多数収集される画質の医用画像によって、学習用データが偏るおそれもある。従って、通常、同程度の画質となるように画像処理が施された医用画像における特徴部位の画像情報を学習用データとして、機械学習が行われる。そして、画像生成回路150は、機械学習に用いられた医用画像と同程度の画質となるように画像データI1を生成することで、検索機能182による検索処理の精度を向上させることができる。
しかしながら、画像データI1が、操作者にとって観察しやすい画質となっているとは限らない。そこで、表示制御機能185は、検索処理(CAD処理)の対象である画像データI1と画質が異なる画像データI2上に、検索結果の合成処理の結果を表示させる。
例えば、操作者は、入力装置102を介して、自らが観察をしやすくなるよう任意の画像処理を選択する。次に、画像生成回路150は、選択された画像処理をBモード画像データに対して施すことにより、画像データI2を生成する。また、画像生成回路150は、選択された画像処理と異なる画像処理をBモード画像データに対して施すことにより、画像データI1を生成する。例えば、画像生成回路150は、機械学習に用いられた医用画像と同程度の画質となるように、Bモード画像データに対して画像処理を行うことにより、画像データI1を生成する。
なお、異なる画像処理により画像データI1及び画像データI2を生成する場合について説明したが、実施形態はこれに限定されるものではない。例えば、画像生成回路150は、Bモード画像データに対して画像処理を施すことにより画像データI1及び画像データI2のいずれか一方を生成し、画像処理を施していない状態のBモード画像データを他方の画像データとしてもよい。また、例えば、画像生成回路150は、画像データI1としてBモード画像データを生成し、画像データI2としてBモード画像データとドプラ画像データとの重畳画像を生成してもよい。
そして、表示制御機能185は、画像データI1と画質が異なる画像データI2上に、検索結果の合成処理の結果を表示させる。例えば、マーカ情報生成機能184は、検索結果の合成処理の結果に基づいてマーカ情報を生成する。そして、表示制御機能185は、図21に示すように、マーカ情報に基づくマーカを画像データI1と画質が異なる画像データI2に重畳した画像データI3を、ディスプレイ103に表示させる。
なお、機械学習に用いられる医用画像は、超音波画像データに限られるものではなく、超音波診断装置以外の他の医用画像診断装置により収集された医用画像(X線CT画像、X線画像、MRI画像など)であってもよい。例えば、X線CT画像における特徴部位の画像情報を学習用データとして機械学習を行うことにより、教師データが生成されてもよい。
この場合、画像生成回路150は、機械学習に用いられたX線CT画像と同程度の画質となるように、画像データI1を生成する。例えば、画像生成回路150は、Bモード画像データをディスプレイ103用に信号を座標変換してSCデータを生成し、SCデータに対して、X線CT画像と同程度の画質となるように画像処理を実行する。具体的には、画像生成回路150は、SCデータのエッジを強調するとともに、粒度を細かくするように画像処理を実行する。これにより、画像生成回路150は、機械学習に用いられたX線CT画像と同程度の画質となる画像データI1を生成して、検索機能182による検索処理の精度を向上させることができる。そして、表示制御機能185は、検索処理の対象とした画像データI1と画質が異なる画像データI2上に、検索結果の合成処理の結果を表示させる。
(第1の実施形態に係るその他の変形例)
また、上述した第1の実施形態では、検索機能182は、パラメータとして検索処理対象の画像内に複数の検索窓を設定するものとして説明したが、実施形態は、これに限定されるものではない。例えば、検索機能182は、パラメータとして異なる教師データを設定してもよい。かかる場合、検索機能182は、例えば、同一の検索窓と、同一の検索アルゴリズムとを用いて、所定の間隔で教師データを変更してCAD処理を実行する。
また、例えば、検索機能182は、パラメータとして異なる検索アルゴリズムを設定してもよい。かかる場合、検索機能182は、例えば、同一の検索窓と、同一の教師データとを用いて、所定の間隔で検索アルゴリズムを変更してCAD処理を実行する。
また、例えば、検索機能182は、パラメータとして検索窓のサイズ、検索窓の位置、教師データ及び検索アルゴリズムのうちいずれかを任意に組み合わせてCAD処理を実行するようにしてもよい。
また、検索機能182は、スキャン速度(2次元又は3次元のスキャン領域を機械的に揺動する速度、スキャン領域を電子的に揺動する速度、或いはプローブの移動速度)が所定の閾値以下の場合に、パラメータを変更する頻度を高くする。ここで、スキャン速度が所定の閾値以下の場合とは、操作者が走査の対象とする領域を注視するため、超音波プローブ101をゆっくりと移動させていると考えられる。そこで、検索機能182は、例えば、スキャン速度が所定の閾値より大きい場合には検索窓のサイズを同一にし、スキャン速度が所定の閾値以下の場合には検索窓のサイズを順次変更する。なお、検索機能182は、複数の閾値を用いて、パラメータを変更する頻度を設定するようにしてもよい。
また、検索機能182は、フレームレートが所定の閾値以上の場合に、パラメータを変更する頻度を高くする。ここで、フレームレートが所定の閾値以上の場合には、単位時間当たりのフレーム数が増加するので、CAD処理を複数の入力画像に分散させやすい。そこで、検索機能182は、例えば、フレームレートが所定の閾値未満の場合には検索窓のサイズを同一にし、フレームレートが所定の閾値以上の場合には検索窓のサイズを順次変更する。なお、検索機能182は、複数の閾値を用いて、パラメータを変更する頻度を設定するようにしてもよい。
(第2の実施形態)
上述した第1の実施形態では、超音波診断装置1において、リアルタイムに生成される画像に対してCAD処理を実行する場合について説明した。ところで、超音波診断装置1では、リアルタイムにCAD処理を実行した結果を、超音波走査の終了後に観察することが望まれる場合がある。そこで、第2の実施形態では、超音波走査の終了後に、CAD処理を実行した結果を観察する場合について説明する。
第2の実施形態に係る超音波診断装置の構成例は、表示制御機能185が付加的な機能を更に実行する点を除いて、図1に示す第1の実施形態に係る超音波診断装置1と同様である。例えば、第2の実施形態に係る表示制御機能185は、マーカ情報が含まれる画像を抽出して、所定の順序で表示させる。
図22は、第2の実施形態に係る表示制御機能185による表示制御処理の手順を示すフローチャートであり、図23は、第2の実施形態を説明するための図である。図22では、表示制御機能185の動作を説明するフローチャートを示す。ステップS41からステップS45は、表示制御機能185により実現されるステップである。
ステップS41では、表示制御機能185は、合成結果を取得する。例えば、表示制御機能185は、超音波走査により得られた画像のCAD処理の合成結果を記憶回路170から取得する。より具体的には、表示制御機能185は、図23の(1)から図23の(9)に示す合成結果を記憶回路170から取得する。
ステップS42では、表示制御機能185は、特徴部位が検出された画像を抽出する。例えば、表示制御機能185は、図23に示す(1)から(9)の合成結果のうち、(2)、(4)、(5)、(6)、(8)及び(9)を特徴部位が検出された画像として抽出する。
ステップS43では、表示制御機能185は、シネ再生を受け付けたか否かを判定する。ここで、表示制御機能185は、入力装置102を介して、シネ再生を実行する指示を操作者から受け付けたと判定しなかった場合(ステップS43、No)、ステップS43の判定処理を繰り返す。一方、表示制御機能185は、入力装置102を介して、シネ再生を実行する指示を操作者から受け付けたと判定した場合(ステップS43、Yes)、ステップS44に移行する。
ステップS44では、表示制御機能185は、所定の順序で画像をディスプレイ103に表示させる。ここで、例えば、表示制御機能185は、操作者から画像の切り替えを受け付ける毎に所定の順序で画像を切り替えてシネ再生させてもよいし、所定の順序で画像を自動的にシネ再生させてもよい。より具体的には、表示制御機能185は、時系列で順序を決定する。かかる場合、表示制御機能185は、図23に示す例では、(2)、(4)、(5)、(6)、(8)、(9)の順序で画像をディスプレイ103に表示させる。
また、例えば、表示制御機能185は、連続性に応じて所定の順序を決定してもよい。かかる場合、表示制御機能185は、図23に示す例では、(4)、(5)、(6)、(8)、(9)、(2)の順序で画像をディスプレイ103に表示させる。
また、例えば、表示制御機能185は、マーカ情報の数に応じて所定の順序を決定してもよい。かかる場合、表示制御機能185は、図23に示す例では、(2)、(8)、(9)、(4)、(5)、(6)の順序で画像をディスプレイ103に表示させる。
また、例えば、表示制御機能185は、スキャン速度に応じて所定の順序を決定してもよい。例えば、スキャン速度が遅い場合には、操作者は、注視したい部位を走査している可能性がある。そこで、表示制御機能185は、スキャン速度がより遅いフレームを優先的にディスプレイ103に表示させる。
ステップS45では、表示制御機能185は、終了を受け付けたか否かを判定する。ここで、表示制御機能185は、終了を受け付けたと判定しなかった場合(ステップS45、No)、ステップS43に移行して判定処理を実行する。一方、表示制御機能185は、終了を受け付けたと判定した場合(ステップS45、Yes)、処理を終了する。
上述したように、第2の実施形態では、マーカ情報が含まれる画像を抽出して、所定の順序で表示させる。これにより、第2の実施形態によれば、マーカ情報が出現するフレームを時系列に閲覧したり、マーカ情報が連続して出現するフレームやマーカ情報が多いフレームを優先的に閲覧したりすることが可能になる。
なお、上述した第2の実施形態では、表示制御機能185は、特徴部位が検出された画像を抽出するものとして説明したが、実施形態はこれに限定されるものではない。例えば、表示制御機能185は、特徴部位が検出された画像を抽出せずに、ステップS41で取得した合成結果を、例えば図23の(1)から図23の(9)の順でシネ再生させてもよい。
(第2の実施形態の変形例)
上述した第2の実施形態では、CAD処理を複数の入力画像に分散させ、各画像での結果を合成した結果をシネ再生させる場合について説明した。しかしながら、第2の実施形態で説明した表示制御処理は、CAD処理を複数の入力画像に分散させない場合にも適用可能である。第2の実施形態の変形例に係る超音波診断装置の構成は、検索機能182が実行する機能の一部が異なる点を除いて、図1に示す超音波診断装置1の構成と同様である。
すなわち、第2の実施形態の変形例に係る取得機能181は、第1の画像と、第1の画像とは異なる第2の画像を取得する。そして、第2の実施形態の変形例に係る検索機能182は、第1の画像及び第2の画像を対象に、検索処理を実行することで、特徴部位を検索する。すなわち、第2の実施形態の変形例に係る検索機能182は、CAD処理を複数の入力画像に分散させずに、第1の画像及び第2の画像で同一の検索処理を実行する。
第2の実施形態の変形例に係る検索結果合成機能183は、検索機能182による各検索結果を合成する。第2の実施形態の変形例に係るマーカ情報生成機能184は、検索結果合成機能183による合成結果に基づいて、マーカ情報を生成する。第2の実施形態の変形例に係る表示制御機能185は、医用画像をディスプレイ103に表示させ、マーカ情報に基づくマーカを、医用画像上に表示させる。
なお、かかる場合、第2の実施形態の変形例に係るマーカ情報生成機能184は、上述した第1の実施形態と同様の機能を有する。すなわち、第2の実施形態の変形例に係るマーカ情報生成機能184は、特徴部位である確率に応じて色分けしたマーカ情報を生成する。ここで、マーカ情報は、検索窓に応じた形状を有する。そして、第2の実施形態の変形例に係る表示制御機能185は、形状の外枠のみを表示させる。ここで、表示制御機能185は、形状の外枠のみを、確率が最も高い色で色分けして表示させる。また、表示制御機能185は、マーカ情報の数の計測値を更に表示させる。また、表示制御機能185は、マーカ情報に基づくマーカを、第1の画像及び第2の画像と画質が異なる医用画像上に表示させてもよい。
更に、第2の実施形態の変形例に係る表示制御機能185は、マーカ情報が含まれる画像を抽出して、所定の順序で表示させる。例えば、表示制御機能185は、連続性に応じて所定の順序を決定する。或いは、表示制御機能185は、マーカ情報の数に応じて所定の順序を決定する。
これにより、第2の実施形態に係る変形例では、CAD処理を複数の入力画像に分散させない場合にも表示制御処理を実行することが可能になる。この結果、例えば、操作者は、特徴部位である確率に応じて色分けされた合成処理の結果を閲覧することが可能になる。また、例えば、操作者は、特徴部位である確率に応じた特徴部位の数を容易に把握することが可能になる。また、例えば、操作者は、マーカ情報が出現するフレームを時系列に閲覧したり、マーカ情報が連続して出現するフレームやマーカ情報が多いフレームを優先的に閲覧したりすることが可能になる。このようにして、第2の実施形態に係る変形例によれば、診断効率を向上させることができる。
(その他の実施形態)
実施形態は、上述した実施形態に限られるものではない。
上述した実施形態では、超音波診断装置を解析装置の一例として説明したが、実施形態はこれに限定されるものではない。例えば、医用画像処理装置を解析装置としてもよい。図24は、その他の実施形態に係る医用画像処理装置200の構成例を示すブロック図である。
図24に示すように、医用画像処理装置200は、入力装置201と、ディスプレイ202と、記憶回路210と、処理回路220とを備える。入力装置201、ディスプレイ202、記憶回路210、処理回路220は、相互に通信可能に接続される。
入力装置201は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等を有し、医用画像処理装置200の操作者からの各種設定要求を受け付ける。入力装置201は、受け付けた各種設定要求を処理回路220へ出力する。
ディスプレイ202は、例えば超音波診断装置1によって生成された医用画像データを表示したり、操作者が入力装置201を用いて各種設定要求を入力するためのGUI(Graphical User Interface)を表示したりする。
記憶回路210は、GUIを表示するための各種のプログラムや、当該プログラムによって用いられる情報を記憶する。また、記憶回路210は、超音波診断装置1や他の医用画像診断装置によって生成された医用画像データを記憶する。
処理回路220は、医用画像処理装置200の処理全体を制御する。例えば、図24に示すように、処理回路220は、取得機能221、検索機能222、検索結果合成機能223、マーカ情報生成機能224及び表示制御機能225を実行する。ここで、例えば、図24に示す処理回路220の構成要素である取得機能221、検索機能222、検索結果合成機能223、マーカ情報生成機能224及び表示制御機能225が実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路210に記録されている。処理回路220は、各プログラムを記憶回路210から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路220は、図24の処理回路220内に示された各機能を有することとなる。
その他の実施形態に係る医用画像処理装置200は、例えば、超音波診断装置1により生成された超音波画像を取得し、CAD処理を複数の入力画像に分散させ、各画像での結果を合成して、1枚の画像の最終的な検出結果として表示する。このような解析処理は、処理回路220が取得機能221、検索機能222、検索結果合成機能223、マーカ情報生成機能224及び表示制御機能225を実行することによって実現される。
取得機能221は、第1の実施形態や第2の実施形態に係る取得機能181と同様の機能を実行する。検索機能222は、第1の実施形態や第2の実施形態に係る検索機能182と同様の機能を実行する。検索結果合成機能223は、第1の実施形態や第2の実施形態に係る検索結果合成機能183と同様の機能を実行する。マーカ情報生成機能224は、第1の実施形態や第2の実施形態に係るマーカ情報生成機能184と同様の機能を実行する。表示制御機能225は、第1の実施形態や第2の実施形態に係る表示制御機能185と同様の機能を実行する。
このように、その他の実施形態に係る医用画像処理装置200は、第1の画像を対象に第1の検索処理を実行することで、第1の画像における特徴部位を検索し、第2の画像を対象に、第1の検索処理とは異なる第2の検索処理を実行することで、第2の画像における特徴部位を検索する。そして、その他の実施形態に係る医用画像処理装置200では、各検索結果を合成する。これにより、その他の実施形態に係る医用画像処理装置200は、CAD処理の性能を維持しながら、画像1枚あたりの計算量を抑えることができる。
また、その他の実施形態に係る医用画像処理装置200は、マーカ情報が含まれる画像を抽出して、所定の順序で表示させる。これにより、その他の実施形態に係る医用画像処理装置200によれば、マーカ情報が出現するフレームを時系列に閲覧したり、マーカ情報が連続して出現するフレームやマーカ情報が多いフレームを優先的に閲覧したりすることが可能になる。このようにして、その他の実施形態に係る医用画像処理装置200によれば、診断効率を向上させることができる。
なお、上述した実施形態では、第1の画像と第2の画像は、生成された時刻(フレーム)が異なる画像として記載したが、これに限定されるものではない。例えば、第1の画像と第2の画像は、同時に取得された異なる領域の画像、異なる撮影日時で取得された同一被検体の画像(超音波画像とX線CT画像、超音波画像とX線画像、超音波画像とMRI画像、或いは、X線CT画像とMRI画像など)、別の被検体の画像、異なる撮像条件(超音波診断装置における超音波の周波数、超音波の音圧、異なるプローブ、X線CT装置やX線診断装置におけるX線のエネルギー、磁気共鳴イメージング装置における磁場強度など)で取得された画像、異なる画像処理が施された画像、同一の医用診断装置で取得された異なる種類の画像(Bモード画像、造影画像、エラストグラフィ画像、高精細モード画像など)であってもよい。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図1における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
上記の実施形態の説明において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上記の実施形態で説明した画像解析方法は、予め用意された画像解析プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この画像解析プログラムは、インターネット等のネットワークを介して配布することができる。また、この画像解析プログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上説明した少なくとも一つの実施形態によれば、診断効率を向上させることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。