JP7650651B2 - 超音波診断システム及び超音波画像処理方法 - Google Patents

Description

本明細書及び図面に開示の実施形態は、超音波診断システム及び超音波画像処理方法に関する。

超音波診断に係る画像処理の一つに、超音波画像を多重解像度分解し、各分解画像に非線形異方性拡散フィルタ（Nonlinear Anisotropic Diffusion Filter）またはコヒーレンス強調拡散フィルタ（Coherence Enhancing Diffusion (CED) Filter）をかけ、そのフィルタ処理の過程で生じた「エッジ情報」を利用して多重解像度高域信号を制御する技術がある。当該技術においては、各階層におけるエッジ情報（組織境界部を示す空間マップ）を、ノイズ又はスペックルを低減させる領域か、組織境界に沿った平滑化や境界の強調を行わせる領域かの判別にも利用している。

当該技術で採用されている非線形異方性拡散フィルタには、組織境界の方向に依存するフィルタの強さやエッジの検出度合を制御する幾つかのパラメータがあり、それらが多重解像度分解の階層分あるため、パラメータの数が多数になる傾向がある。多数のパラメータにより、画質設計者がフィルタの画質をきめ細やかに設定できるものの、フィルタの扱いに熟達していなければ所望の画質にすばやく達するのは難しい。

特開２００９－１５３９１８号公報 特開２００９－２３３４０８号公報

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、超音波診断に係る画像処理における画質調整を簡素化することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

実施形態に係る超音波診断システムは、画像処理部、調整部及び合成部を有する。画像処理部は、被検体に関する超音波画像に対する画像処理から派生する２以上の派生画像を生成する。調整部は、前記２以上の派生画像各々に可変の係数値を適用して２以上の調整後派生画像を生成する。合成部は、前記超音波画像と前記２以上の調整後派生画像との合成画像を生成する。

図１は、第１実施形態に係る超音波診断システムの構成例を示す図である。 図２は、第１実施形態に係る画像処理回路の画像処理機能による非線形画像フィルタの典型的な流れを示す図である。 図３は、第１実施形態に係る画像処理回路による非線形異方性拡散フィルタ処理の典型的な流れを示す図である。 図４は、第１実施形態に係る画像処理回路による簡素化画像フィルタを模式的に示す図である。 図５は、応用例１に係るパラメータ設定画面の一例を示す図である。 図６は、応用例１に係る他のパラメータ設定画面の一例を示す図である。 図７は、応用例１に係る他のパラメータ設定画面の一例を示す図である。 図８は、深さ位置に応じた画質調整パラメータα_１及びα_２の設定値の遷移を模式的に示す図である。 図９は、応用例３に係る簡素化画像フィルタを模式的に示す図である。 図１０は、第２実施形態に係る簡素化画像フィルタを模式的に示す図である。

以下、図面を参照しながら、超音波診断システム及び超音波画像処理方法の実施形態について詳細に説明する。

（第１実施形態）
図１は、第１実施形態に係る超音波診断システム１の構成例を示す図である。図１に示すように、超音波診断システム１は、超音波プローブ１１、送受信回路１２、Ｂモード処理回路１３、ドプラ処理回路１４、画像処理回路１５、表示機器１６、記憶装置１７、制御回路１８、入力機器１９を有する。

超音波プローブ１１は、被検体との間で照射・反射される超音波の送受波を担うデバイス（探触子）であり、電気／機械可逆的変換素子で形成されている。超音波プローブ１１は、例えばアレイ状に配列される複数の素子を先端部に装備したフェーズドアレイタイプのもので構成される。これにより、超音波プローブ１１は、供給される駆動信号のパルス駆動電圧を超音波パルス信号に変換して被検体のスキャン領域内の所望方向に送信し、且つ被検体から反射してきた超音波信号をこれに対応する電圧のエコー信号に変換する。

超音波信号送信に関し、送受信回路１２は、超音波プローブ１１に駆動信号を供給する。具体的には、送受信回路１２は、トリガ発生回路、遅延回路及びパルサ回路等を有する。パルサ回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。遅延回路は、超音波プローブ１１から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルサ回路が発生する各レートパルスに対し与える。トリガ発生回路は、レートパルスに基づくタイミングで、超音波プローブ１１に駆動信号（駆動パルス）を印加する。すなわち、遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向を任意に調整する。

なお、送受信回路１２は、制御回路１８の指示に基づいて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧などを瞬時に変更可能な機能を有している。特に、送信駆動電圧の変更は、瞬間にその値を切り替え可能な発信回路、または、複数の電源ユニットを電気的に切り替える機構によって実現される。

超音波信号受信に関し、送受信回路１２は、超音波プローブ１１が受信した反射波信号に応じたエコー信号に対して各種処理を行なって、当該エコー信号を受信指向性に応じた反射波データに変換する。具体的には、送受信回路１２は、アンプ回路、Ａ／Ｄ変換器及び加算器等を有する。アンプ回路は、反射波信号をチャンネルごとに増幅してゲイン補正処理を行なう。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をＡ／Ｄ変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、Ａ／Ｄ変換器によって処理された反射波信号の加算処理を行なって反射波データを生成する。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。

Ｂモード処理回路１３は、送受信回路１２からの反射波データに対して、対数増幅、包絡線検波処理、対数圧縮等を行い、複数のサンプル点それぞれの信号強度が輝度の明るさで表現されるＢモード情報を生成する。

ドプラ処理回路１４は、送受信回路１２からの反射波データに対して、カラードプラ法を実行し、血流情報すなわちドプラ情報を算出する。カラードプラ法では、超音波の送受信が同一の走査線上で複数回行なわれ、同一位置のデータ列に対してＭＴＩ（Moving Target Indicator）フィルタを掛けることで、静止している組織、或いは、動きの遅い組織に由来する信号（クラッタ信号） を抑制して、血流に由来する信号を抽出する。そしてカラードプラ法では、この血流信号から血流の速度、血流の分散、血流のパワー等のドプラ情報を推定する。

画像処理回路１５は、画像処理を行うプロセッサである。画像処理回路１５は、記憶装置１７に記憶されているプログラムを実行することで、当該プログラムに対応する機能を実現する。画像処理回路１５は、例えば、画像生成機能１５１、画像処理機能１５２、調整機能１５３、合成機能１５４及び表示制御機能１５５を実現する。画像生成機能１５１、画像処理機能１５２、調整機能１５３、合成機能１５４及び表示制御機能１５５は、単一の画像処理回路１５により実現される必要はなく、複数の画像処理回路１５により分担して実現されてもよい。画像生成機能１５１、画像処理機能１５２、調整機能１５３、合成機能１５４及び／又は表示制御機能１５５は、プログラムとしてではなく、ハードウェアとして実装されてもよい。

画像生成機能１５１の実現により、画像処理回路１５は、Ｂモード情報の走査方式を、表示に適した走査方式に変換（スキャン変換）し、被検体に関するＢモード画像を生成する。同様に、画像処理回路１５は、ドプラ情報の走査方式を、表示に適した走査方式にスキャン変換し、被検体に関するドプラ画像を生成する。Ｂモード画像やドプラ画像等の表示画像をまとめて超音波画像と呼ぶ。画像処理回路１５は、各画像情報の合成や並立、表示位置を示す情報、さらに超音波診断システム１の操作を補助するための各種情報や、患者情報などの超音波診断に必要な付帯情報も、超音波画像と共に生成される。

画像処理機能１５２の実現により、画像処理回路１５は、画像生成機能１５１により生成された超音波画像に対する画像処理から派生する２以上の派生画像を生成する。より詳細には、画像処理回路１５は、超音波画像に当該画像処理を適用することにより加工される２以上の画像特徴を代表する２以上の派生画像を、超音波画像に当該画像処理を適用して生成される第１の出力画像と、当該画像処理に用いるパラメータを所定値にしたときに超音波画像に当該画像処理を適用して生成される第２の出力画像と、超音波画像とに基づいて生成する。当該画像処理は、非線形画像処理であり、超音波画像に含まれるノイズ又はスペックルの低減と、組織境界に沿う平滑化と、組織境界の強調とを行う画質向上のための画像処理である。当該画像処理として、拡散方程式を用いた非線形画像フィルタが実行される。上記パラメータは、拡散方程式の拡散テンソルに関連するパラメータである。第１実施形態において画像処理回路１５は、超音波画像に非線形画像フィルタを施して２以上の派生画像を生成する。

調整機能１５３の実現により、画像処理回路１５は、画像処理機能１５２により生成された２以上の派生画像各々に可変の係数値を適用して２以上の調整後派生画像を生成する。なお、係数値が適用された派生画像を調整後派生画像と呼ぶ。

合成機能１５４の実現により、画像処理回路１５は、画像処理機能１５２の処理である超音波画像と、調整機能１５３により生成された２以上の調整後派生画像との合成画像を生成する。

表示制御機能１５５の実現により、画像処理回路１５は、種々の情報を、表示機器１６を介して出力する。例えば、画像処理回路１５は、合成機能１５４により生成された合成画像を表示機器１６に表示する。

表示機器１６は、画像処理回路１５との連携により、画像処理回路１５からの表示情報を視覚的映像情報に変換して表示する表示機器である。例えば、表示機器１６は、画像処理回路１５により生成された合成画像を表示する。表示機器１６としては、例えばＣＲＴディスプレイや、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等が適用可能である。なお、表示機器１６としてプロジェクタが設けられてもよい。

記憶装置１７は、種々の情報を記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、集積回路記憶装置等の記憶装置である。また、記憶装置１７は、ＣＤ－ＲＯＭドライブやＤＶＤドライブ、フラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であっても良い。例えば、記憶装置１７は、Ｂモード情報やドプラ情報、Ｂモード画像、ドプラ画像、合成画像等の各種情報を記憶する。

制御回路１８は、超音波診断システム１の処理全体を制御するプロセッサである。制御回路１８は、記憶装置１７に記憶されているプログラムを実行することで、当該プログラムに対応する機能を実現する。具体的には、制御回路１８は、入力機器１９を介した操作者から入力された各種設定要求や、各種制御プログラム及び各種データに基づき、送受信回路１２、Ｂモード処理回路１３、ドプラ処理回路１４及び画像処理回路１５の処理を制御する。さらに制御回路１８には入力機器１９とのインターフェース機能も含まれる。

入力機器１９は、タッチパネル、操作パネル上の各種ユーザインターフェースである。操作者は、超音波診断システム１に対する各種操作や指令を入力機器１９により入力することが可能である。なお、表示機器１６と入力機器１９とが分離されている必要はなく、両者が機構的に一体になっていてもよい。

送受信回路１２、Ｂモード処理回路１３、ドプラ処理回路１４、画像処理回路１５、表示機器１６、記憶装置１７、制御回路１８及び入力機器１９は、単一の装置本体とも呼ばれる筐体に実装され、超音波プローブ１１は、装置本体にケーブルを介して着脱可能に接続される。なお、超音波診断システム１のハードウェア構成はこれに限定されない。例えば、送受信回路１２、Ｂモード処理回路１３、ドプラ処理回路１４、画像処理回路１５、表示機器１６、記憶装置１７、制御回路１８及び入力機器１９の一部機能又は全部機能が超音波プローブ１１に実装されていてもよい。画像処理回路１５、表示機器１６及び記憶装置１７の一部機能又は全部機能が、装置本体にネットワークを介して接続されたコンピュータに実装されていてもよい。また、画像処理回路１５と制御回路１８とは別々のハードウェアに実装されている必要はなく、単一のハードウェアに実装されてもよい。

次に、第１実施形態に係る画像処理回路１５の処理の詳細について説明する。画像処理回路１５は、非線形画像フィルタの一例として、非線形異方性拡散フィルタ又はコヒーレンス強調拡散フィルタ等を実行可能である。これら非線形画像フィルタは、超音波画像に含まれるノイズ又はスペックルの低減と、組織境界に沿う平滑化と、組織境界の強調とを行う。

まず、非線形画像フィルタの詳細について説明する。以下、非線形画像フィルタは、一例として、非線形異方性拡散フィルタを実行するものとする。また、非線形画像フィルタが施される超音波画像はＢモード画像であるとする。非線形画像フィルタが施されるＢモード画像は、画像処理回路１５によるスキャン変換前の画像であってもよいし、スキャン変換後の画像であってもよい。また、このＢモード画像は、ＴＧＣ（Time Gain Control）等の深さ位置に応じたゲイン調整が施された画像であってもよいし、ゲイン調整が施されていない画像であってもよい。

図２は、画像処理回路１５の画像処理機能１５２による非線形画像フィルタ２００Ａの典型的な流れを示す図である。非線形画像フィルタ２００Ａでは、多重解像度分解／再構成が行なわれるために、複数階層からなる多重構造を有している。本実施形態において多重解像度分解／再構成の最高次数はレベル３としている。なお、最高次数はレベル３に限定されず、２以上であれば特に限定されない。

非線形画像フィルタ２００Ａは、レベル毎に多重解像度分解処理２１１、２２１、２３１、非線形異方性拡散フィルタ処理２１３、２２３、２３３、高域レベル制御処理２１２、２２２、２３２及び多重解像度再構成処理２１４、２２４、２３４を有している。

各レベルの多重解像度分解処理２１１、２２１、２３１は、入力画像に多重解像度分解を施す。多重解像度分解処理２１１、２２１及び２３１は、離散ウェーブレット変換、ラプラシアン・ピラミッド法など様々な方法が可能である。２次元画像の多重解像度分解の結果、分解後の画像は分解前に比べ縦横の長さ（画素数）が半分の低域（ＬＬ）、水平方向高域（ＬＨ）、垂直方向高域（ＨＬ）、対角線方向高域（ＨＨ）の各画像に分かれる。

レベル１の多重解像度分解処理２１１は、画像生成機能１５１により生成されたＢモード画像に多重解像度分解処理を施してレベル１の低域画像、水平方向高域画像、垂直方向高域画像及び対角線方向高域画像を生成する。レベル２及びレベル３の多重解像度分解処理２２１、２３１は、前階層の多重解像度分解処理２１１、２２１により生成された低域画像に多重解像度分解処理を施して同レベルの低域画像、水平方向高域画像、垂直方向高域画像及び対角線方向高域画像を生成する。

各レベルの非線形異方性拡散フィルタ処理２１３、２２３、２３３は、同レベルの多重解像度分解処理２１１、２２１、２３１において生成された低域画像に対して非線形異方性拡散フィルタを施し、フィルタ後の低域画像を生成する。また、非線形異方性拡散フィルタ処理２１３、２２３、２３３は、低域画像に基づくエッジ情報を出力する。エッジ情報は、エッジの大きさ及び向きに関する情報である。

ここで、非線形異方性拡散フィルタについて詳細に説明する。非線形異方性拡散フィルタは以下の偏微分方程式（１）式で表される。

ここでＩは処理する画像の画素値、∇Ｉはその勾配ベクトル（gradient vector）、ｔは処理にかかわる時刻である。ｔは、実際の処理上では、この拡散方程式の処理回数を示す。本実施形態において処理回数ｔは何回であっても良いが、説明を具体的に行なうため、１回であるとする。

（１）式のＤは拡散テンソル（diffusion tensor）であって、次の（２）式のように表される。

（２）式中のλ_１及びλ_Ｄ２は拡散テンソルＤの固有値であり、Ｒは拡散テンソルＤの固有ベクトルである。Ｒは回転行列である。拡散テンソルＤの固有ベクトルω_１及びω_２に基づいて、Ｒ＝（ω_１，ω_２）により表される。

拡散テンソルＤは、各画素の勾配ベクトルに対し特定の向きとその垂直方向とにそれぞれ係数ｃ_１及びｃ_２をかける演算操作を施す。特定の向きは、画像に描画される組織等の構造のエッジの向きであり、係数はエッジの大きさに依存する。

エッジの大きさ及び向きを検出するため、当該画像の構造テンソル（structure tensor）を求め、その固有値と固有ベクトルを算出する。固有値はエッジの大きさに関連付けられ、固有ベクトルはエッジの向きを表す。

構造テンソルＳは、次の（３）式により表される。

Ｉ_ｘは、画像Ｉのｘ方向（水平方向）の空間微分、Ｉ_ｙは、画像Ｉのｙ方向（垂直方向）の空間微分を表す。Ｇρは２次元ガウス関数、演算子「＊」は畳み込みを表す。固有値μ_１及びμ_２は、それぞれ２次元構造テンソルＳの第１固有値及び第２固有値である。Ｒは構造テンソルＳの固有ベクトルからなる回転行列である。

構造テンソルＳのエッジ情報は、拡散テンソルＤの計算に利用される。まずエッジの大きさＥは、第１固有値μ_１と第２固有値μ_２との差分に依存し、例えば以下の（４）式に従い算出される。

パラメータｋは、エッジ成分の抽出度合を示すパラメータである。パラメータｋは、ユーザにより入力機器１９等を介して任意に設定可能である。例えば、パラメータｋを小さくすると、エッジ成分が抽出されやすくなる。

さらに、拡散テンソルＤに用いられる係数ｃ_１は、以下の（５）式に従い、エッジの大きさＥの関数ｆ_１になり、係数ｃ_２は、以下の（６）式に従い、エッジの大きさＥの関数ｆ_２になる。

エッジの向きは、回転行列Ｒに対応する。係数ｃ_１、係数ｃ_２及び回転行列Ｒに基づいて上記（２）式に従い拡散テンソルＤの各要素値ｄ_１１、ｄ_１２及びｄ_２２が計算される。

エッジの大きさ及び方向の算出は、必ずしも上記の方法に厳密に従わなくともよく、処理の第一段階としてＩ_ｘ及びＩ_ｙを計算する代わりに、ソーベルフィルタ（sobel filter）やガボールフィルタ（Gabor filter）、多重解像度分解の高域成分を適用してもよい。

なお、（５）式及び（６）式は、実際にはエッジの大きさＥの１次多項式であるため、係数ｃ_１及びｃ_２を制御するパラメータは、それぞれ４個程度必要である。

非線形異方性拡散フィルタの計算は、上記（１）式に従い、偏微分方程式の数値解析的解法によって行う。すなわち、時刻ｔにおいて、ある画素及びその周囲８画素からなる９画素の各画素値と、拡散テンソルＤの各要素値ｄ_１１、ｄ_１２及びｄ_２２とに基づいて、時刻ｔ＋Δｔにおけるその点の新たな画素値を求め、次にｔ＋Δｔを新たなｔとして、同様の計算を１回から数回繰り返す。

図３は、画像処理回路１５による非線形異方性拡散フィルタ処理２１３、２２３、２３３の典型的な流れを示す図である。なお、ステップ３０１～ステップ３０５の処理は、処理対象の低域画像を構成する画素毎に行なわれる。

図３に示すように、まず画像処理回路１５は、低域画像の処理対象画素の画素値のｘ方向に関する微分値Ｉ_ｘとｙ方向に関する微分値Ｉ_ｙとを算出する（ステップ３０１）。微分値Ｉ_ｘ及びＩ_ｙを算出すると、画像処理回路１５は、（３）式に示すように、算出された微分値Ｉ_ｘ及びＩ_ｙと２次元ガウス関数Ｇ_ρとを畳み込み演算し、構造テンソルＳの要素ｓ_１１、ｓ_１２及びｓ_２２を算出する（ステップ３０２）。なお、ステップＳ２における計算には、２次元ガウス関数Ｇ_ρの計算も含まれる。

構造テンソルＳの要素ｓ_１１、ｓ_１２及びｓ_２２が算出されると、画像処理回路１５は、（３）式に従い、算出された要素ｓ_１１、ｓ_１２及びｓ_２２を線形代数演算して２次元構造テンソルＳの第１固有値μ_１及び第２固有値μ_２を算出し、（４）式に従い、第１固有値μ_１及び第２固有値μ_２に基づいてエッジの大きさＥを算出する（ステップ３０３）。エッジの大きさＥは、高域レベル制御処理２１２、２２２、２３２に用いられる。また、（３）式に従い、２次元構造テンソルＳの回転行列Ｒ、すなわち、エッジの向きも算出される。

また、画像処理回路１５は、構造テンソルＳの要素ｓ_１１、ｓ_１２及びｓ_２２に基づいて、非線形異方性拡散フィルタの偏微分方程式の数値解析に用いられる各係数を計算する（ステップ３０４）。例えば、画像処理回路１５は、（５）式及び（６）式に従い、係数ｃ_１及び係数ｃ_２を計算し、（２）式に従い、係数ｃ_１、係数ｃ_２及び回転行列Ｒに基づいて拡散テンソルＤの各要素値ｄ_１１、ｄ_１２及びｄ_２２を計算する。処理の効率化のため、エッジの大きさＥが計算に用いられてもよい。その後、画像処理回路１５は、偏微分方程式の数値解析的計算を実行する（ステップ３０５）。具体的には、画像処理回路１５は、（１）式に従い、要素値ｄ_１１、ｄ_１２及びｄ_２２と微分値Ｉ_ｘ及びＩ_ｙとに基づいて（１）式の偏微分方程式を数値解析演算し、出力画素値を計算する。時刻ｔにおいて、処理対象画素とその近傍ボクセルにおける画素値と拡散テンソルの各要素値とから、時刻ｔ＋Δｔにおける処理対象画素の新たな画素値を求め、次にｔ＋Δｔを新たなｔとして、同様の計算を１回から数回繰り返す。算出された画素値は、多重解像度再構成処理２１４、２２４及び２３４に用いられる。

ステップ３０５が行なわれると、処理対象画素を変更して再びステップ３０１～３０５が行なわれる。このようにして、処理対象画像を構成する全ての画素について、ステップ３０１～ステップ３０５が行なわれると、画像処理回路１５による非線形異方性拡散フィルタ処理２１３、２２３、２３３が終了する。

図２に戻り、高域レベル制御処理２１２、２２２、２３２と多重解像度再構成処理２１４、２２４、２３４とを説明する。

各レベルの高域レベル制御処理２１２、２２２、２３２は、同レベルの多重解像度分解処理２１１、２２１、２３１により生成された３枚の高域画像を、同レベルの非線形異方性拡散フィルタ処理２１３、２２３、２３３からのエッジ情報によって画素値を制御する。エッジ情報は、構造テンソルの固有値に基づく規格化されたエッジの大きさである。高域レベル制御処理２１２、２２２、２３２は、エッジ情報と各高域画像との画素ごとの積算値を演算し、さらに当該演算値に各高域画像の制御係数を乗じる。他の画素値の制御例としては、エッジの大きさに閾値を設定して閾値以上をエッジとみなし、エッジ以外の領域に各高域画像の制御係数をかけてもよい。このようにして処理された３枚の高域画像は、多重解像度再構成処理２１４、２２４，２３４に用いられる。

各レベルの多重解像度再構成処理２１４、２２４，２３４は、同レベルの非線形異方性拡散フィルタ処理２１３、２２３、２３３からの１枚の低域画像処理回路と、同レベルの高域レベル制御処理２１２、２２２、２３２からの３枚の高域画像とに基づいて、１枚の合成画像を生成する。合成画像の縦横の長さは、利用した低域画像及び高域画像の２倍となる。

レベル３の多重解像度再構成処理２３４により出力された合成画像は、レベル２の非線形異方性拡散フィルタ処理２２３に入力され、レベル３と同様のフィルタリング処理がなされた後、多重解像度再構成処理２２４に低域画像として入力される。一方、レベル２の多重解像度分解処理２２１により出力された高域画像は、レベル２の高域レベル制御処理２２２においてレベル３と同様の高域レベル制御がなされ、レベル２の多重解像度再構成処理２２４に高域画像として入力される。レベル２の多重解像度再構成処理２２４は、レベル３と同様、１枚の低域画像と３枚の高域画像から１枚の合成画像を形成する。

レベル１の処理もレベル２の処理に準ずる。すなわち、レベル１の非線形異方性拡散フィルタ処理２１３、高域レベル制御処理２１２及び多重解像度再構成処理２１４によって、最終的な合成画像すなわち結果画像が得られる。

以上により、画像処理回路１５の画像処理機能１５２により実行される非線形画像フィルタの説明を終了する。

上記の通り、非線形異方性拡散フィルタには、組織境界の方向に依存するフィルタの強さやエッジの検出度合を制御する幾つかのパラメータがあり、それらが多重解像度分解の階層分あるため、パラメータの数が多数になる傾向がある。多数のパラメータにより、画質設計者がフィルタの画質をきめ細やかに設定できるものの、フィルタの扱いに熟達していなければ所望の画質にすばやく達するのが難しい。

ただし例外的に、画像全体のフィルタの強さを調整することは、処理前後の画像の合成比率を変えることで可能であり、それにより、操作者にフィルタの強さを調整する手段を提供することはできる。しかし、それより細かい変更、例えば組織境界部のみのフィルタの強さを変えることはできない。

また非線形異方性拡散フィルタは、偏微分方程式を数値解析的に解く処理であり、強いフィルタリングで高画質な結果を得るには反復演算が必要であるが、何回も反復させると演算処理に相当な時間を要する。

本実施形態に係る画像処理回路１５は、非線形画像フィルタに比して、画質を調整するパラメータ（以下、画質調整パラメータと呼ぶ）の個数を少数個に縮約し、非線形画像フィルタにより加工可能な画像特徴のうちの所望の特徴に関して微調整し、ひいては、簡易且つ迅速に所望の画質を得ることを可能にする。以下、当該処理を簡素化画像フィルタと呼ぶことにする。なお、画質調整パラメータは、派生画像に適用される係数値の一例である。

図４は、画像処理回路１５による簡素化画像フィルタを模式的に示す図である。図４に示すように、画像処理回路１５は、画像処理機能１５２の実現により、上記非線形画像フィルタとして、非線形画像フィルタ２００Ａを実行する。非線形画像フィルタ２００Ａは、図２における非線形画像フィルタ２００と基本的な処理手順は同一であるが、第１派生画像Ｄ_１及び第２派生画像Ｄ_２を得るための演算が追加されている。第１派生画像Ｄ_１及び第２派生画像Ｄ_２は、入力画像Ｉ_ｉｎに非線形画像フィルタ２００を適用することより加工される２以上の画像特徴を代表する画像であり、当該入力画像Ｉ_ｉｎに非線形画像フィルタ２００を適用して生成される第１の出力画像Ｉ_ｏｕｔと、非線形画像フィルタ２００Ａに用いるパラメータを所定値にしたときに当該入力画像Ｉ_ｉｎに非線形画像フィルタ２００Ａを適用して生成される第２の出力画像と、当該入力画像Ｉ_ｉｎとに基づいて生成される。当該パラメータは、画質調整パラメータとは異なり、非線形画像フィルタ２００Ａにおいて通常用いられるパラメータである。以下、当該パラメータをフィルタパラメータと呼ぶ。

ここで、入力画像Ｉ_ｉｎは、非線形画像フィルタ２００Ａに入力されるＢモード画像である。非線形画像フィルタ２００を適用することより加工される２以上の画像特徴は、例えば、組織境界（エッジ方向の組織境界）や組織実質部の平滑化、組織境界（エッジに直交する方向の組織境界）の強調、ノイズ又はスペックルの低減（又は平滑化）である。フィルタパラメータは、例えば、エッジの大きさ、エッジの方向、構造テンソルＳの要素ｓ_１１、ｓ_１２及びｓ_２２、微分値Ｉ_ｘ及びＩ_ｙ、固有値μ_１及びμ_２、パラメータｋ、その他の非線形画像フィルタ２００に用いる如何なるパラメータでもよい。

第１派生画像Ｄ_１及び第２派生画像Ｄ_２の生成手順について具体的に説明する。画像処理回路１５は、超音波画像（Ｂモード画像）に非線形画像フィルタ２００Ａを施して結果画像、すなわち、通常の出力画像Ｉ_ｏｕｔを生成する。通常の出力画像Ｉ_ｏｕｔを生成する際のエッジの大きさＥは、図３に示したステップ３０３において生成される。画像処理回路１５は、各派生画像を得る前に、通常の出力画像Ｉ_ｏｕｔとは別に、エッジの大きさＥをゼロにした場合の出力画像Ｉ_０を生成する。具体的には、画像処理回路１５は、上記（４）式に示すエッジの大きさＥ＝０としたときの第１固有値μ_１及び第２固有値μ_２を算出し、また、上記（５）式及び（６）式に従い係数ｃ_１及びｃ_２を算出する。そして画像処理回路１５は、第１固有値μ_１、第２固有値μ_２、係数ｃ_１及びｃ_２に基づいて、上記（１）式に従い偏微分方程式を計算し、出力画像Ｉ_０を生成する。エッジの大きさは、全レベルの非線形異方性画像フィルタ２１３、２２３、２３３に用いられるエッジの大きさがゼロに設定されてもよいが、少なくともレベル１の非線形異方性画像フィルタ２１３に用いられるエッジの大きさがゼロに設定されればよい。出力画像Ｉ_０は、組織境界を考慮しない平滑化を適用した結果画像に相当する。

画像処理回路１５は、下記の（７）式に従い、出力画像Ｉ_０と入力画像Ｉ_ｉｎとの差分画像として第１派生画像Ｄ_１を生成し、下記の（７）式に従い、出力画像Ｉ_ｏｕｔと出力画像Ｉ_０との差分画像として第２派生画像Ｄ_２を生成する。第１派生画像Ｄ_１は、出力画像Ｉ_０と入力画像Ｉ_ｉｎとの差分画像であり、平滑化のための画像成分を含む。すなわち、第１派生画像Ｄ_１は、非線形画像フィルタ２００Ａにより加工される画像特徴である、超音波画像に含まれる組織構造等の平滑化を代表する画像であるといえる。第２派生画像Ｄ_２は、出力画像Ｉ_ｏｕｔと出力画像Ｉ_０との差分画像であり、組織境界の強調のための画像成分を含む。すなわち、第２派生画像Ｄ _２ は、非線形画像フィルタ２００Ａにより加工される画像特徴である、超音波画像に含まれる組織構造の境界の強調を代表する画像であるといえる。

上記（７）及び（８）式から、何も調整しない場合の出力画像Ｉ_ｏｕｔは、下記の（９）式により表される。

非線形画像フィルタ２００Ａが実行されると画像処理回路１５は、調整機能１５３の実現により、第１調整処理４０１及び第２調整処理４０２を実行する。第１調整処理４０１において画像処理回路１５は、第１派生画像Ｄ_１に画質調整パラメータα_１を乗じて調整後の第１派生画像α_１Ｄ_１を生成する。第２調整処理４０２において画像処理回路１５は、第２派生画像Ｄ_２に画質調整パラメータα_２を乗じて調整後の第２派生画像α_２Ｄ_２を生成する。画質調整パラメータα_１及びα_２は、０から１までの範囲内の実数である。画質調整パラメータα_１及びα_２は、互いに独立に値を調整可能である。画質調整パラメータα_１を調整することより、第１派生画像Ｄ_１に含まれる組織構造の平滑化のための画像成分の強度を調整でき、画質調整パラメータα_２を調整することより、第２派生画像Ｄ_２に含まれる組織境界の強調のための画像成分の強度を調整できる。画質調整パラメータα_１及びα_２は、入力機器１９等を介して操作者により個別に任意に調整可能である。

第１調整処理４０１及び第２調整処理４０２が実行されると画像処理回路１５は、合成機能１５４を実行する。合成機能１５４において画像処理回路１５は、入力画像Ｉ_ｉｎ、調整後の第１派生画像α_１Ｄ_１及び調整後の第２派生画像α_２Ｄ_２を合成し、合成画像Ｉ´_ｏｕｔを生成する。画像処理回路１５は、合成方法として、例えば、下記の（１０）式に従い、入力画像Ｉ_ｉｎ、調整後の第１派生画像α_１Ｄ_１及び調整後の第２派生画像α_２Ｄ_２を加算して合成画像Ｉ´_ｏｕｔを生成する。

なお、合成方法は、加算に限られず、乗算、反転の乗算その他の様々な方法により行うことが可能である。

合成画像Ｉ´_ｏｕｔが生成されると画像処理回路１５による簡素化画像フィルタが終了する。その後、画像処理回路１５は、表示制御機能１５５を実行し、合成画像Ｉ´_ｏｕｔを表示機器１６に表示する。この際、画像処理回路１５は、合成画像Ｉ´_ｏｕｔだけでなく、入力画像Ｉ_ｉｎ及び／又は第１の出力画像Ｉ_ｏｕｔを並べて、重畳して又は切換可能に表示してもよい。

以上により、簡素化画像フィルタが終了する。なお、上記の簡素化画像フィルタは一例であり、これに限定されない。例えば、上記処理において派生画像は、２つの異なる非線形画像処理の差分画像であるとしたが、これに限定されず、空間的に大域的な画像範囲における画素値又は画素値の数値解析値の和が略ゼロになる画像であればよい。数値解析値としては、例えば、画素値の微分値が採用される。これに関連して、派生画像は、非線形画像処理の加算画像や乗算画像等でもよい。

上記の処理例において、第１派生画像は、エッジの大きさをゼロに設定したときの非線形画像フィルタの出力画像Ｉ_０と入力画像Ｉ_ｉｎとの差分画像であるとしたが、エッジの大きさを１等の任意の値に設定したときの非線形画像フィルタの出力画像Ｉ_０と入力画像Ｉ_ｉｎとの差分画像であってもよい。さらに、派生画像は、非線形画像フィルタにより加工される画像特徴を代表する画像であればよく、すなわち、出力画像Ｉ_０は、エッジの大きさ以外の任意のフィルタパラメータを任意の値に設定したときの非線形画像フィルタの出力画像であればよい。フィルタパラメータの種類及び設定値を適宜選択することにより、非線形画像フィルタにより加工される任意の画像特徴を代表する任意の派生画像を生成することが可能になる。

例えば、上記の処理例において派生画像の画像特徴は、非線形異方性拡散フィルタの構造テンソルの固有値から（４）式に従い計算されたエッジ情報に依存するが、画像の空間微分又は画素置の差分に依存するものであってもよい。

上記の処理例において非線形画像フィルタ２００Ａは、構成要素として、非線形異方性拡散フィルタを含むものとしているが、非線形異方性拡散フィルタ以外の様々な画像フィルタを含んでもよいし、また、単一の画像フィルタを含むことに限定されず、複数の画像フィルタを含んでもよい。

非線形画像フィルタの一例である非線形画像フィルタ２００Ａは、図２で示したように、多重解像度解析のレベルごとに非線形異方性拡散フィルタを適用するものである。例えば、（４）式－（６）式等に示すように、非線形異方性拡散フィルタ自身、多くの画質調整のためのフィルタパラメータを有しており、さらに多重解像度解析のレベルだけフィルタパラメータ群があるため、フィルタパラメータが多数存在する。このままでは、所望の画質にすばやく達するのが難しい。

上記の通り、本実施形態によれば、非線形異方性拡散フィルタ等の非線形画像フィルタに用いられる多数のフィルタパラメータを調整するのではなく、非線形異方性拡散フィルタから派生して得られた２以上の派生画像にそれぞれ対応する２以上の画質調整パラメータを調整する。派生画像は、非線形画像フィルタにより強調又は低減される種々の画像成分を縮約した画像であるので、当該派生画像に対応する画質調整パラメータは、当該派生画像が代表する画像成分を調整するパラメータに相当する。例えば、第１派生画像Ｄ_１は平滑化のための画像成分を代表するので画質調整パラメータα_１は主に平滑強度を調整するパラメータとして機能し、第２派生画像Ｄ_２は組織境界の強調のための画像成分を代表するので画質調整パラメータα_２は主に組織境界の強調強度を調整するパラメータとして機能する。画質調整パラメータα_１及びα_２は、意味のあるパラメータといえる。本実施形態によれば、操作者は、ある画像成分に直接的に対応する画質調整パラメータを調整すればよいので、直感的且つ簡易に画質を調整することが可能になる。また、画質調整パラメータは少数であるので、所望の画質に容易に達することが可能になる。

以下、第１実施形態に係る種々の応用例について説明する。

（応用例１）
上記実施形態において画質調整パラメータα_１及びα_２は、操作者により入力機器１９を介して設定可能であるとした。応用例１に係る画質調整パラメータα_１及びα_２は、ＧＵＩ画面（以下、パラメータ設定画面と呼ぶ）を介して設定可能であるとする。パラメータ設定画面は、画像処理回路１５の表示制御機能１５５により生成され、表示機器１６に表示される。パラメータ設定画面は、入力機器１９を介して操作可能に表示される。パラメータ設定画面は、表示機器１６及び入力機器１９が一体となって構成されるタッチパネルに表示されてもよいし、入力機器１９から物理的に分離されたディスプレイ等の表示機器１６に表示されてもよい。

図５は、応用例１に係るパラメータ設定画面Ｉ１の一例を示す図である。図５に示すように、パラメータ設定画面Ｉ１には、画質調整パラメータα_１の設定のためのスライダバーＩ１１が表示される。スライダバーＩ１１には画質調整パラメータα_１の値が割り当てられており、例えば、左端から右端にかけて、画質調整パラメータα_１の下限値（例えば、「０」）から上限値（例えば、「１」）が連続的に割り当てられている。スライダバーＩ１１にはタブＩ１２が設けられる。タブＩ１２はスライダバーＩ１１に沿って移動自在に設けられている。入力機器１９を介してタブＩ１２をスライダバーＩ１１の任意位置に配置することにより、当該任意位置に対応する値に画質調整パラメータα_１が設定される。画質調整パラメータα_１の設定値は表示欄Ｉ１３に表示される。図５の場合、画質調整パラメータα_１の設定値は「０．１」に設定されていることが分かる。画質調整パラメータα_２についても同様に、画質調整パラメータα_２の下限値から上限値が割り当てられたスライダバーＩ１４、画質調整パラメータα_２の値を設定するタブＩ１５及び画質調整パラメータα_２の設定値（図５の場合、「０．３」が表示される表示欄Ｉ１６が表示される。

図６は、応用例１に係る他のパラメータ設定画面Ｉ２の一例を示す図である。図６に示すように、画質調整パラメータα_１の下限値から上限値が割り当てられたスライダバーＩ２１、画質調整パラメータα_１の値を設定するタブＩ２２及び画質調整パラメータα_１の設定値が表示される表示欄Ｉ２３が表示される。スライダバーＩ２１、タブＩ２２及び表示欄Ｉ２３は、それぞれ図５に示すスライダバーＩ１１、タブＩ１２及び表示欄Ｉ１３と同様である。パラメータ設定画面Ｉ２においては、スライダバーＩ２１、タブＩ２２及び表示欄Ｉ２３に対して、設定対象である画質調整パラメータα_１の説明として「平滑化」等の説明文が表示される。画質調整パラメータα_２についても同様に、スライダバーＩ２４、タブＩ２５及び表示欄Ｉ２６に対して、「境界強調」等の説明文が表示される。

なお、設定対象である画質調整パラメータの説明として、テキストに限定されず、ピクトグラム等が表示されてもよい。

上記の通り、パラメータ設定画面Ｉ１及びＩ２においては、画質調整パラメータ毎に設定値を入力するためのスライダバー及びタブ等の入力部品（ＧＵＩ部品）が設けられている。

図７は、応用例１に係る他のパラメータ設定画面Ｉ３の一例を示す図である。図７に示すように、パラメータ設定画面Ｉ３は、画質調整パラメータα_１及びα_２の双方の設定値を単一操作で設定するための入力部品（ＧＵＩ部品）Ｉ３１が表示される。当該入力部品Ｉ３１を設定フィールドと呼ぶことにする。設定フィールドＩ３１は、画質調整パラメータの個数に対応する次元数の座標空間を有するＧＵＩ部品である。本実施形態においては、画質調整パラメータの個数は「２」であるので、設定フィールドＩ３１は２次元座標空間である。具体的には、設定フィールドＩ３１には、横軸が画質調整パラメータα_１に規定され、縦軸が画質調整パラメータα_２に規定され、各座標に画質調整パラメータα_１の値と画質調整パラメータα_２の値との組合せが割り当てられている。横軸には左端から右端にかけて下限値（例えば、「０」）から上限値（例えば、「１」）が連続的に割り当てられ、縦軸には上端から下端にかけて下限値（例えば、「０」）から上限値（例えば、「１」）が連続的に割り当てられている。設定フィールドＩ３１にはタブＩ３２が移動自在に設けられている。入力機器１９を介してタブＩ３２を設定フィールドＩ３１の任意位置に配置することにより、当該任意位置に対応する値に画質調整パラメータα_１と画質調整パラメータα_２とが設定される。画質調整パラメータα_１の設定値（図７の例では、「０．８」）は表示欄Ｉ３３に、画質調整パラメータα_２の設定値（図７の例では、「０．３」）は表示欄Ｉ３４に表示される。

上記の通り、応用例１によれば、ＧＵＩ画面を利用して画質調整パラメータを設定可能である。ＧＵＩ画面を利用することにより操作者は直感的且つ容易に画質調整パラメータを設定することが可能である。

なお、応用例１において各パラメータ設定画面Ｉ１、Ｉ２及びＩ３の各ＧＵＩ部品Ｉ１１－Ｉ１６、Ｉ２１－Ｉ２６、Ｉ３１－Ｉ３４は、入力機器１９に設けられる機械部品であってもよい。これら機械部品は、例えば、超音波診断システム１の装置本体に設けられる操作パネルに実装されるとよい。

（応用例２）
上記実施形態において画質調整パラメータは派生画像を構成する全画素に対して一定の値を有することを前提とした。超音波は生体の減衰の影響が大きく、周波数依存減衰があるため、超音波画像中の浅い部分と深い部分とでは画質が大きく異なる。また、超音波プローブ１１によっては扇状に広がる画像生成をしており、深い部分では走査線密度が粗くなる分、画質も粗くなるため、浅い部分と深い部分とに画像処理の影響の仕方に差が発生する。そのため、浅い部分に適した画像処理の設定とすると深い部分に対する画像処理が強くかかり過ぎる一方で、深い部分に適した設定とすると、近い部分に対する画像処理が弱すぎてしまう。このように画像全体に一定値の画質調整パラメータを設定しても、非線形異方性拡散フィルタ等の非線形画像フィルタの効果を画像全体に均一に得ることができない場合がある。

応用例２に係る画質調整パラメータは派生画像内の空間位置に応じた値を有するものとする。応用例２に係る画像処理回路１５は、調整機能１５３において、派生画像の空間位置に応じて画質調整パラメータの値を設定する。例えば、画像処理回路１５は、画質調整パラメータα_１及びα_２各々について、派生画像内の空間位置に依存する当該画質調整パラメータの調整率を規定する関数を記憶する。調整率は、画質調整パラメータの基準値からのズレ量又は基準率に対する比率等に規定されればよい。基準値は、応用例１に係る図５－図７等のパラメータ設定画面を介して設定されればよい。

調整率は、異なる空間位置同士の周波数依存減衰や走査線密度の差を補正するものである。周波数依存減衰や走査線密度の影響は、超音波の音響スキャン方向より、音響ライン方向（深さ方向）により強く表れるため、図８に示すように、画質調整パラメータα_１及びα_２は、深さ位置のみに依存するようにしてもよい。例えば、深い位置にある画素ほど画質調整パラメータα_１及びα_２が大きくなるように設定されるとよい。

画像処理回路１５は、第１派生画像Ｄ_１の各画素の画素値について、当該画素の空間位置を特定し、当該画素の画素値及び空間位置を当該関数に適用して当該画素の画質調整パラメータα_１の調整率を算出する。そして画像処理回路１５は、算出された調整率を基準値に乗じることにより当該画素の画質調整パラメータα_１の値を算出し、算出された画質調整パラメータα_１の値を当該画素の画素値に適用して調整後の画素値を算出する。これを第１派生画像Ｄ_１の全画素に行うことにより調整後第１派生画像を生成することが可能である。第２派生画像Ｄ_２についても同様である。なお、調整率は、同一空間位置について、画質調整パラメータα_１と画質調整パラメータα_２とで異なる値に設定されてもよいし、同一値に設定されてもよい。

なお、画像処理回路１５は、関数ではなく、空間位置と画質調整パラメータの調整率とを関連付けたルックアップテーブル（ＬＵＴ）を記憶してもよい。この場合、画像処理回路１５は、派生画像の各画素にＬＵＴを適用して画質調整パラメータの調整率を特定し、特定された調整率を基準値にじることにより当該画素の画質調整パラメータの値を算出し、算出された画質調整パラメータの値を当該画素の画素値に適用して調整後の画素値を算出すればよい。

応用例２によれば、派生画像の空間位置に応じて画質調整パラメータの値を変更することが可能である。これにより、非線形異方性拡散フィルタ等の非線形画像フィルタの効果を画像全体で均一に得ることが可能になる。

（応用例３）
上記の実施形態においては、派生画像は２枚であり、これに伴い画質調整パラメータは２種類であるとした。応用例３において派生画像の枚数及び画質調整パラメータの種類数は、一般化して「ｎ」であるとする。「ｎ」は２以上の整数である。

図９は、応用例３に係る簡素化画像フィルタを模式的に示す図である。図９に示すように、画像処理回路１５は、画像処理機能１５２の実現により、非線形画像フィルタとして、非線形画像フィルタ２００Ｂを実行する。非線形画像フィルタ２００Ｂは、図４における非線形画像フィルタ２００Ａと同様であるが、生成する派生画像の枚数が「ｎ」である点が異なる。

非線形画像フィルタ２００Ｂが実行されると画像処理回路１５は、調整機能１５３の実現により、調整処理５０１を実行する。調整処理５０１において画像処理回路１５は、第ｋ（ｋは派生画像のインデックス。１≦ｋ≦ｎ）派生画像Ｄ_ｋに画質調整パラメータα_ｋを乗じて調整後の第ｋ派生画像α_ｋＤ_ｋを生成する。画質調整パラメータα_ｋは、０から１までの範囲内の実数である。画質調整パラメータα_ｋは、互いに独立に値を調整可能である。画質調整パラメータα_ｋは、入力機器１９等を介して操作者により個別に任意に調整可能である。例えば、エッジの大きさを「０」に設定したときの出力画像Ｉ_０、エッジの大きさを「１」に設定したときの出力画像Ｉ_１を算出し、入力画像Ｉ_ｉｎと出力画像Ｉ_０とに基づく第１派生画像、出力画像Ｉ_０と出力画像Ｉ_ｏｕｔとに基づく第２派生画像、入力画像Ｉ_ｉｎと出力画像Ｉ_１とに基づく第３派生画像、出力画像Ｉ_１と出力画像Ｉ_ｏｕｔとに基づく第４派生画像を生成することが可能である。また、他のフィルタパラメータをゼロ又は所定値に設定したときの出力画像と入力画像Ｉ_ｉｎとに基づいて派生画像を生成することが可能であるし、当該他のフィルタパラメータをゼロ又は所定値に設定したときの出力画像と出力画像Ｉ_ｏｕｔとに基づいて派生画像を生成することも可能である。

調整処理５０１が行われると、画像処理回路１５は、合成機能１５４の実現により、合成処理５０２を実行する。合成処理５０２において画像処理回路１５は、入力画像Ｉ_ｉｎと調整後の第ｋ派生画像α_ｋＤ_ｋを合成し、合成画像Ｉ´_ｏｕｔを生成する。画像処理回路１５は、合成方法として、例えば、下記の（１１）式に従い、入力画像Ｉ_ｉｎ、調整後の第ｋ派生画像α_ｋＤ_ｋを加算して合成画像Ｉ´_ｏｕｔを生成する。合成画像Ｉ´_ｏｕｔは、表示機器１６により表示される。

なお、応用例３においても、合成方法は加算のみに限定されず、乗算でもよいし、反転の乗算その他の様々な方法により行うことが可能である。

応用例３によれば、３以上の派生画像に基づく合成画像Ｉ´_ｏｕｔを生成することが可能である。これにより、合成画像Ｉ´_ｏｕｔの画質をより詳細に調整することが可能である。

（第２実施形態）
第１実施形態においては、派生画像を得るため出力画像Ｉ_ｏｕｔを得るために非線形画像フィルタを計算する必要がある。非線形画像フィルタの計算は、複雑で時間を要し、特に強い処理を得るために非線形異方性拡散フィルタの繰り返し演算の回数を増やすとそれだけ処理時間が延びてしまう。

この問題を解決する方法として、非線形画像フィルタの入出力画像の組を学習データとし、未知の入力画像に対し、前記学習データに基づいて作られた機械学習モデルに従って出力画像を推論してその結果を出力する方法に置換する方法が考えられる。しかし、このような機械学習による方法では、処理前後の画像の合成比率を変えて画像全体のフィルタの強さを調整すること以外に画質を調整することができない。

第２実施形態に係る超音波診断システム１は、派生画像を出力する機械学習モデルを用いる。以下、第２実施形態に係る超音波診断システム１について説明する。なお以下の説明において、第１実施形態と略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。

なお、第２実施形態に係る機械学習モデルは、２層以上のニューラルネットワークが用いられる。ニューラルネットワークのアーキテクチャは、画像を入力して画像を出力できるのであれば、如何なるタイプでもよいが、一例として、ＣＮＮ（Convolutional neural network）やその発展型が用いられるとよい。

図１０は、第２実施形態に係る簡素化画像フィルタを模式的に示す図である。図１０に示すように、簡素化画像フィルタは、学習段階と実装段階とに分けられる。学習段階において画像処理回路１５は、複数の学習サンプルに基づいて未学習のニューラルネットワーク６０１を学習して学習済ニューラルネットワーク６０２を生成する。学習サンプルは、入力データである学習用入力画像Ｉ_ｉｎＬと教師データである学習用派生画像Ｄ_１Ｌ及びＤ_２Ｌとのセットである。学習用派生画像は、第１実施形態に係る第１派生画像Ｄ_１Ｌと第２派生画像Ｄ_２Ｌとの組合せである。学習用入力画像Ｉ_ｉｎＬと学習用派生画像Ｄ_１Ｌ及びＤ_２Ｌとは、如何なる形式でニューラルネットワーク６０１に入出力されてもよいが、例えば、画素数分の要素数を有する多次元ベクトルとして入出力されればよい。各要素は、当該要素に対応する画素の画素値を要素値として有する。この場合、出力に関しては、学習用派生画像Ｄ_１Ｌ及びＤ_２Ｌの合計の画素数分の要素数を有する多次元ベクトルとして扱われればよい。学習用派生画像Ｄ_１Ｌ及びＤ_２Ｌは、任意の学習用入力画像Ｉ_ｉｎＬに、第１実施形態の簡素化画像フィルタを施すことにより生成されればよい。

学習方法は特に限定されない。例えば、画像処理回路１５は、学習用入力画像Ｉ_ｉｎＬを入力して、第１派生画像Ｄ_１Ｌと第２派生画像Ｄ_２Ｌとを出力するように、教師付き学習によりニューラルネットワーク６０１の学習可能パラメータを決定する。なお、学習可能パラメータは、重みパラメータやバイアス等を含む。

より詳細には、画像処理回路１５は、学習用入力画像Ｉ_ｉｎにニューラルネットワーク６０１を適用して順伝播処理を行い、第１推測派生画像と第２推測派生画像とを出力する。次に画像処理回路１５は、第１推測派生画像及び第２推測派生画像と、第１派生画像Ｄ_１Ｌ及び第２派生画像Ｄ_２Ｌとの差分（誤差）をニューラルネットワーク６０１に適用して逆伝播処理を行い、学習可能パラメータの関数である誤差関数の微分係数である勾配ベクトルを計算する。次に画像処理回路１５は、勾配ベクトルに基づいて学習可能パラメータを更新する。これら順伝播処理、逆伝播処理及びパラメータ更新処理を、学習サンプルを変更しながら繰り返し、誤差関数を最小化する学習可能パラメータを所定の最適化法に従い決定する。これにより学習済ニューラルネットワーク６０２が生成される。学習済ニューラルネットワーク６０２は、記憶装置１７に記憶される。学習済ニューラルネットワーク６０２は、非線形画像フィルタ２００Ａの置き換えとして、超音波診断システム１へ実装される。

実装段階において画像処理回路１５は、学習済ニューラルネットワーク６０２に未知の入力画像Ｉ_ｉｎを適用して、派生画像列（Ｄ_１，Ｄ_２）を推測する。その後、画像処理回路１５は、第１実施形態と同様、調整処理４０１により、第１派生画像Ｄ_１に画質調整パラメータα_１を適用して調整後の第１派生画像α_１Ｄ_１を生成し、調整処理４０２により、第２派生画像Ｄ_２に画質調整パラメータα_２を適用して調整後の第２派生画像α_２Ｄ_２を生成する。そして画像処理回路１５は、例えば、上記の（１０）式に従い、入力画像Ｉ_ｉｎ、調整後の第１派生画像α_１Ｄ_１及び調整後の第２派生画像α_２Ｄ_２を加算して合成画像Ｉ´_ｏｕｔを生成する。合成画像Ｉ´_ｏｕｔは、表示機器１６に表示される。

以上により、第２実施形態に係る簡素化画像フィルタが終了する。

なお、上記の説明において派生画像の枚数は２枚であるとしたが、第１実施形態の応用例３と同様、ｎ枚に拡張することが可能である。この場合、学習段階において、図１０の非線形画像フィルタ２００Ａの代わりに、図９の非線形画像フィルタ２００Ｂが実行されればよい。また、第２実施形態においても、第１実施形態の応用例１－３を組合せ可能である。

第２実施形態によれば、実装段階において、非線形画像フィルタを実行することなく、学習済ニューラルネットワークを利用して入力画像から直接的に派生画像を得ることができる。これにより、非線形画像フィルタを実行する第１実施形態に比して、簡素化画像フィルタの処理時間及び計算負荷を低減することが可能になる。

以上説明した少なくとも１つの実施形態によれば、超音波診断に係る画像処理における画質調整を簡素化することができる。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ））、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、プログラムを実行するのではなく、論理回路の組合せにより当該プログラムに対応する機能を実現しても良い。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 超音波診断システム
１１ 超音波プローブ
１２ 送受信回路
１３ Ｂモード処理回路
１４ ドプラ処理回路
１５ 画像処理回路
１６ 表示機器
１７ 記憶装置
１８ 制御回路
１９ 入力機器
２００、２００Ａ、２００Ｂ 非線形画像フィルタ

Claims (13)

1. 超音波画像を入力して、平滑化のための画像成分を含む画像と組織構造の強調のための画像成分を含む画像とを出力するように学習されたニューラルネットワークである学習済みモデルを、被検体に関する対象の超音波画像に適用することにより、平滑化のための第１の画像成分を含む第１の派生画像と組織構造の強調のための第２の画像成分を含む第２の派生画像とを生成する画像処理部と、
   前記第１の派生画像に平滑強度を調整するための可変の第１の調整パラメータ値を適用して第１の調整後派生画像を生成し、前記第２の派生画像に組織境界の強調強度を調整するための可変の第２の調整パラメータ値を適用して第２の調整後派生画像を生成する調整部と、
   前記対象の超音波画像と前記第１の調整後派生画像と前記第２の調整後派生画像とを合成して合成画像を生成する合成部と、
   を具備する超音波診断システム。
2. 前記平滑化のための画像成分を含む画像と前記組織構造の強調のための画像成分を含む画像とは、前記超音波画像と、非線形画像処理により生成された第１の出力画像と第２の出力画像とに基づいて生成され、
   前記非線形画像処理は、多重解像度分解／再構成の少なくとも一の階層において実行され、組織の平滑化と組織境界の強調とに関するフィルタパラメータを有する画像フィルタを含み、
   前記第１の出力画像は、前記非線形画像処理において前記超音波画像に基づき算出した前記フィルタパラメータが設定された前記画像フィルタを前記超音波画像に適用して生成され、
   前記第２の出力画像は、前記フィルタパラメータが任意値に設定された前記画像フィルタを前記超音波画像に適用して生成され、
   前記平滑化のための画像成分を含む画像は、前記超音波画像と前記第２の出力画像との差分画像であり、
   前記組織構造の強調のための画像成分を含む画像は、前記第１の出力画像と前記第２の出力画像との差分画像である、
   請求項１記載の超音波診断システム。
3. 前記画像フィルタは、拡散方程式を用いた非線形画像フィルタを含む、請求項２記載の超音波診断システム。
4. 前記フィルタパラメータは、組織のエッジの大きさであり、
   前記第１の出力画像は、前記エッジの大きさが前記超音波画像の構造テンソルの固有値及び固有ベクトルに基づき算出されたときの前記非線形画像処理の出力画像であり、
   前記第２の出力画像は、前記エッジの大きさをゼロに設定したときの前記非線形画像処理の出力画像である、
   請求項３記載の超音波診断システム。
5. 前記第１の調整パラメータ値と前記第２の調整パラメータ値とを入力するための入力部、を更に備える請求項１記載の超音波診断システム。
6. 前記入力部は、前記第１の調整パラメータ値と前記第２の調整パラメータ値との各々について、当該調整パラメータ値を入力する入力部品を有する、請求項５記載の超音波診断システム。
7. 前記入力部は、前記第１の派生画像と前記第２の派生画像との画像数に対応する２次元の座標空間を有する入力部品を有し、前記座標空間の第１軸に前記第１の調整パラメータ値が、第２軸に前記第２の調整パラメータ値が割り当てられている、請求項５記載の超音波診断システム。
8. 前記入力部は、ＧＵＩ部品である前記入力部品を表示する表示機器を有し、
   前記表示機器は、前記入力部品各々に対応する調整パラメータ値を説明するためのテキスト又はピクトグラムを表示する、
   請求項７記載の超音波診断システム。
9. 前記入力部品は、ＧＵＩ部品又は機械部品である、請求項６又は７記載の超音波診断システム。
10. 前記第１の調整パラメータ値は、前記第１の派生画像の空間的位置に応じて異なる値を有し、
    前記第２の調整パラメータ値は、前記第２の派生画像の空間的位置に応じて異なる値をする、
    請求項１記載の超音波診断システム。
11. 前記第１の調整パラメータ値は、前記第１の派生画像の深さ位置に応じて異なる値を有し、
    前記第２の調整パラメータ値は、前記第２の派生画像の深さ位置に応じて異なる値を有する、
    請求項１０記載の超音波診断システム。
12. 前記被検体に超音波を送波し、前記被検体からの反射波を受波し、前記反射波に応じたエコー信号を出力する超音波プローブと、
    前記エコー信号を受信指向性に応じた反射波データに変換する変換部と、
    前記反射波データに基づいてＢモード情報を生成するＢモード処理部と、
    前記Ｂモード情報に基づいて前記対象の超音波画像を生成する画像生成部と、を更に備える、
    請求項１記載の超音波診断システム。
13. 超音波画像を入力して、平滑化のための画像成分を含む画像と組織構造の強調のための画像成分を含む画像とを出力するように学習されたニューラルネットワークである学習済みモデルを、被検体に関する対象の超音波画像に適用することにより、平滑化のための第１の画像成分を含む第１の派生画像と組織構造の強調のための第２の画像成分を含む第２の派生画像とを生成する画像処理工程と、
    前記第１の派生画像に平滑強度を調整するための可変の第１の調整パラメータ値を適用して第１の調整後派生画像を生成し、前記第２の派生画像に組織境界の強調強度を調整するための可変の第２の調整パラメータ値を適用して第２の調整後派生画像を生成する調整工程と、
    前記対象の超音波画像と前記第１の調整後派生画像と前記第２の調整後派生画像とを合成して合成画像を生成する合成工程と、
    を具備する超音波画像処理方法。