JP6449457B2

JP6449457B2 - 画像処理方法、及び装置

Info

Publication number: JP6449457B2
Application number: JP2017522298A
Authority: JP
Inventors: 秋山　靖浩; 靖浩秋山; 容弓柿下; 子盛黎; 佩菲朱
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2015-06-05
Filing date: 2016-06-06
Publication date: 2019-01-09
Anticipated expiration: 2036-06-06
Also published as: WO2016195110A1; JPWO2016195110A1

Description

本発明は、超音波装置に係り、特に超音波データから標準断面情報を検出して、提供する画像処理技術に関する。

超音波診断装置を代表とする超音波装置は、人体や構造物などの対象体を破壊せずに、対象体内部を観測できる特性がある。特に、人体に対しては、開腹等の外科手術の必要がなく、内部組織を安全に観測できる手段として医療分野で広く用いられている。

そのなかで、心臓は超音波診断装置における対象体の一つである。観測対象の心臓断面は、誰が観測しても統一的な考察ができるように幾つかの標準断面(standard view)取得に関するガイドラインが定義されており、このガイドラインに基づいた標準断面画像を超音波システムで提供することが行われている。この心臓の標準断面は、傍胸骨断面（parasternal view）、心尖断面（apical view）、肋骨下断面（subcostal view）、胸骨上窩断面（suprasternal view）等を含む。

従来、検者が超音波探触子を操作しながら、これらの標準断面に対応する心臓断面を一つ一つ撮影する方法が用いられていた。近年は、例えば特許文献１に見るように、特殊な超音波探触子を用いて立体的な三次元超音波心臓画像(以後、3Dボリュームデータ)を取得し、この3Dボリュームデータの中から複数の標準断面を自動的に取得する超音波装置が提案されている。

特開2009-72593公報

特許文献1によれば、目的の標準断面を得るために予め心臓部位の特徴を学習した注目座標を基点とする平行移動量、回転量、拡大率を得る3種類の識別器を備え、3Dボリュームデータの一部分を切り出して入力すると、識別器から平行移動量、回転量、拡大率を得て、入力データ座標を基点に算出した標準断面を取得するための処理方法が記載されている。

しかしながら、3Dボリュームデータは、3軸(水平、垂直、奥行き)の情報を持つデータであり、この3Dボリュームデータに対し、注目座標を基点にして平行移動量、回転量、拡大率を与えることは、3軸の3乗、即ち9軸の自由度を持つことと等価であり、直接目的断面を得ることは事実上困難である。

また、上述した標準断面取得に関するガイドラインでは、例えば、弁輪径が最大となる位置を捉えていること、または心室長が最長となる位置を捉えていること等、幾つかの推奨事項が定義されている。しかし、特許文献1の方法では、対象体の観測部位、すなわち探索部位の座標を検出できたとしても、その大きさや部位間の長さを検出する手段を考慮していないため、弁輪径が最大となる位置等を検出することができない。即ち、特許文献1の方法は、標準断面取得に関するガイドラインで定義された推奨断面を抽出することはできなかった。

本発明の目的は、上記の課題を解決し、探索部位の大きさや部位間の長さを検出することが可能な画像処理方法、装置、及び超音波装置を提供することにある。

上記の目的を達成するため、本発明においては、処理部を用いた画像処理方法であって、処理部は、対象体の3次元情報を用いて対象体の第１候補断面を生成し、第1候補断面を変形させた第2候補断面及び第1候補断面から、対象体の探索部位である特徴点を複数検出し、複数の特徴点を所定の特徴点群に分類し、分類された特徴点群毎に中心点を求め、複数の中心点を通る断面を、対象体の観測用断面とする構成の画像処理方法を提供する。

また、上記の目的を達成するため、本発明においては、処理部を備えた画像処理装置であって、処理部は、対象体の3次元情報を用いて、対象体の第１候補断面を生成し、第1候補断面を変形させた第2候補断面及び第1候補断面から、対象体の探索部位である特徴点を複数検出し、複数の特徴点を所定の特徴点群に分類し、特徴点群毎に中心点を求め、求めた複数の中心点を通る断面を、対象体の観測用断面とする構成の画像処理装置を提供する。

更に、上記の目的を達成するため、本発明においては、超音波装置であって、対象体に対し、超音波を送受信する超音波探触子からの受信信号に基づく、対象体の3次元情報を処理する処理部と、処理部で生成される対象体の断面画像を表示する表示部と、を備え、処理部は、3次元情報を用いて、対象体の第１候補断面を生成し、第1候補断面を変形させた第2候補断面及び第1候補断面から、対象体の探索部位である特徴点を複数検出し、複数の特徴点を所定の特徴点群に分類し、特徴点群毎に中心点を求め、求めた複数の中心点を通る断面を、対象体の観測用断面とし、観測用断面の画像を表示部に表示するよう制御する構成の超音波装置を提供する。

本発明によれば、探索部位の大きさや部位間の長さを検出することで、最も適切な位置の断面画像を取得することができる。

実施例１に係る、標準断面画像を取得する超音波装置のブロック図。実施例１に係る、3D探索部の内部処理を示すブロック図。実施例１に係る、3D探索部の特徴分類器の一例を示す図。実施例１に係る、3D探索部の2D断面切り出しの一例を示す図。実施例１に係る、探索部位の立体形状を再構成する一例を示す図。実施例１に係る、標準断面A4C、A2C、PLXの一例を示す図。実施例１に係る、標準断面PSX MVレベル、PMレベル、Apexレベルの一例を示す図。実施例１に係る、2D識別処理の一例を示すフローチャート図。実施例１に係る、特徴点群生成の一例を示す図。実施例１に係る、特徴点中心検出の一例を示す図。実施例１に係る、標準断面抽出の一例を示す図。実施例２に係る、心尖中心検出処理の一例を示す図。各実施例に係る、標準断面抽出の全体フローを示すフローチャート図。

以下、図面に従い、本発明の各種の実施の形態を説明する。なお、本発明は人体、特に心臓に限定されるものでなく、他の構造物などにも適用できるが、以下の実施例の説明は、人体、特に心臓を例示して説明する。なお、上述した心臓の標準断面取得に関するガイドラインの推奨事項は、心尖部4腔像(A4C:Apical 4 Chamber)断面を取得する場合の例である。その他、心尖部2腔像(A2C: Apical 2 Chamber)、胸骨左縁長軸像(PLX: Parasternal Long Axis)、胸骨左縁短軸像(PSX: Parasternal Short Axis)の標準断面についても、それぞれ観測に際しての推奨事項が定義されている。A4C、A2C、PSXおよびPLXの各標準断面の相互の位置関係については、以下の実施例の記載の中で順次説明する。

実施例１は、処理部を用いた画像処理方法、及びその装置であって、処理部は、対象体の3次元情報を用いて対象体の第１候補断面を生成し、第1候補断面を変形させた第2候補断面及び第1候補断面から、対象体の探索部位である特徴点を複数検出し、複数の特徴点を所定の特徴点群に分類し、分類された特徴点群毎に中心点を求め、複数の中心点を通る断面を、対象体の観測用断面とする構成の画像処理方法、及びその装置の実施例である。

また、実施例１は、超音波装置であって、対象体に対し、超音波を送受信する超音波探触子からの受信信号に基づく、対象体の3次元情報を処理する処理部と、処理部で生成される対象体の断面画像を表示する表示部と、を備え、処理部は、3次元情報を用いて、対象体の第１候補断面を生成し、第1候補断面を変形させた第2候補断面及び第1候補断面から、対象体の探索部位である特徴点を複数検出し、複数の特徴点を所定の特徴点群に分類し、特徴点群毎に中心点を求め、求めた複数の中心点を通る断面を、対象体の観測用断面とし、観測用断面の画像を表示部に表示するよう制御する構成の超音波装置の実施例である。

図1は、実施例１に係る、対象体の標準断面画像を取得する超音波装置の一構成例のブロック図である。なお、この超音波装置の基本構成は他の実施例においても、共通に利用される構成である。

同図において、超音波装置100は、超音波探触子110を対象体に接触させて、対象体内部の様子を画像として取得、表示する装置である。超音波探触子とは、超音波を発生又は受信する振動子を組み込んだセンサーデバイスのことである。超音波の発生原理は、圧電素子材料に高周波のパルス電圧を加え，素子のひずみ(振動)によって超音波を発生する。超音波は、伝搬方向に存在する物体によって通過したり、反射したりする特性を持つ。また、物体の種類により物体中の伝播速度も異なる。この超音波の反射信号を超音波探触子110で再び受信し、受信信号強度を画像に変換して表示することで対象体内部を可視化する。本実施例の超音波装置100で用いる超音波探触子110は、振動子、超音波の送受信回路、受信エコー信号を整相加算する整相加算回路、アナログデジタル（A/D）変換器等を内蔵し、対象体を超音波による3Dボリュームデータ、すなわち、3次元情報として取得可能なデバイスであり、超音波装置100には、取得された3次元情報としての3Dボリュームデータが入力される。

データ入力部101は、3Dボリュームデータを超音波探触子110から受信する入力インタフェースである。データ入力部101が受信した3次元情報である3Dボリュームデータは、一旦、メモリ102に格納する。メモリ102に格納された3次元情報は、以下順次説明する3D探索部103、2D画像生成部104、2D識別部105、断面位置調整部106、標準断面抽出部107等で処理を受ける。なお、3D探索部103〜標準断面抽出部107の各機能は、後で説明する処理部である中央演算処理部（CPU）109のプログラム実行等で実現することができる。超音波装置100にはその他、断面画像データを出力する断面出力部108、ユーザ操作が入力される入力インタフェース(I/F)112を備えており、入力I/F112は、ユーザ操作113により取得および表示対象とする標準断面設定や表示方法を装置にインプットする。

さて、3D探索部103は、メモリ102に格納された3次元情報である3Dボリュームデータを読み出し、3D探索部103が備える複数の特徴分類器によって、観測位置を基準とする特徴点である探索部位へのベクトル情報を出力する。

2D画像生成部104は、3D探索部103が出力した2個以上の複数のベクトル情報を参照して、格納された3Dボリュームデータ中の2D断面座標を決定し、その断面上の画素データから成る2D画像を生成する。この2D画像生成では、目的の探索部位を立体的に包含するように観測位置を変えながら、複数枚の2D画像を得る。2D画像の生成枚数は、探索部位の形状を立体的に観測可能な範囲で任意に設定して良い。

2D識別部105は、2D画像生成部104が生成した2D画像が入力されて、所望数の特徴点群を抽出する。

断面位置調整部106は、2D画像生成部104で出力された複数枚の2D画像から観察対象とする部位の中心座標を求める、すなわち探索部位の特徴点中心を検出する。

標準断面抽出部107は、断面位置調整部106で求めた複箇所の探索部位の中心座標、すなわち特徴点中心を繋ぐ断面を標準断面として決定し、この断面の2D画像を抽出する。

処理部であるCPU109は、予めプログラムされ且つ装置に記憶された手順に従い、上述した3D探索部103〜標準断面抽出部107の各機能処理を実行する。

画像表示装置・記録媒体111は、超音波装置100に接続されたモニタ或いは記録媒体であり、断面出力部108から出力される断面画像データを使って、超音波装置100が抽出した標準断面をユーザが指定した表示方法に従いモニタに表示、或いは記録媒体に格納する。

図13は、以上説明した実施例１の超音波装置による、標準断面抽出の全体フローを示すフローチャート図である。まず、データ入力部101が超音波探触子110から対象体の3Dボリュームデータを入力し(1301)、3D探索部103が3D探索を実行し(1302)、2D画像生成部104が、第1候補断面としての探索部位の初期断面を抽出する(1303)。

続いて、2D識別部105が、第１候補断面である初期断面を基点に、左右、上下、前後、回転等の変形を与えて断面移動(1306)を行い複数の第２候補断面を得、第１、第２候補断面を用いて、探索部位を検出するための2D識別により複数の特徴点群を抽出する(1304)。所望の特徴点群、例えば、所定の個数の特徴点が取得できたか否かを判定(1305)し、取得が完了した時点で特徴点群生成を終了する。そして、断面位置調整部106が、2D識別部105で抽出した複数の特徴点群からそれぞれ特徴中心、即ち観測部位の中心を検出し(1307)、標準断面抽出部107が、各特徴中心を通る2D平面を標準断面として決定(1308)し、モニタや外部記録媒体等に出力して(1309)、標準断面抽出フローを完了する。

以下、3D探索部103〜標準断面抽出部107の各機能を、具体例を使って順次説明する。図2は、3D探索部103の内部処理を示すブロック図である。3D探索部103は、メモリ102に保存された3Dボリュームデータ200内から探索部位の特徴点を検出し、複数個の特徴点座標に基づいて探索部位の2D断面画像を出力する。

探索部位の特徴点を検出する方法は、例えば、Random Forestを用いる方法がある。Random Forestとは、ランダムさが持つ利点を活用し、大量に作った決定木を効率よく学習させるという機械学習手法の一つである。例えば、既知の3Dボリュームデータ200に存在する様々な特徴点間の方向、距離に関する細かい判定を実行する決定木を用意し、これを複数個組み合わせることで、未知の3Dボリュームデータ200に対しても同様に任意の特徴点間の方向、距離を得ることが可能な特徴分類器201を生成することができる。これにより、未知の3Dボリュームデータ200から入力した注目部位データを基点とする探索部位への方向および距離を知ることができる。

3D探索部103は、以下の処理手順をとる。まず、未知の3Dボリュームデータ200から選択した注目部位データを特徴分類器201に入力する。特徴分類器201では、複数の決定木により、注目部位を基点とする探索部位へ方向および距離に関する条件判定を繰り返し、適切なベクトル情報を算出する。

ベクトル情報統合202は、3Dボリュームデータ200から選択した複数の注目部位に対して、それぞれ探索部位へのベクトル情報を得た後、これら複数のベクトル情報を集約して、ある1つの断面を選択するためのベクトル情報に統合する。2D断面座標算出203は、統合したベクトル情報から2D断面切り出しに必要な平面座標を算出する。2D断面切り出し204は、算出した平面座標に基づいて平面座標から2D断面画像205を抽出する。

なお、3D探索部103において、探索部位の特徴点座標を求める方法として、Random Forestを用いる方法を記載したが、その他の手法を用いるようにしても良い。例えば、入力の3D画像と予め用意する基準となる3D画像を用いて、両者のパタンマッチングで探索部位の特徴点を検出するようにしても良い。

図3は、本実施例の3D探索部103の特徴分類器201の一例を示す模式図である。前述の通り、Random Forestを用いた3D探索部103では、距離に関する細かい判定を実行する決定木を用意し、これを複数個組み合わせることで、未知のサンプリング3Dボリュームデータ（Vn）301に対しても任意の特徴点間の方向および距離を得ることができる。同図の丸印は決定木302、四角印は最終的に決定される探索特徴点へのベクトル情報303である。各決定木302は、学習サンプルの3Dボリュームデータ内の入力部位と所定の位置に存在する対象部位との方向および距離に関する学習から導き出した判定条件を保持している。未知のサンプリング3Dボリュームデータ301を入力すると、入力した部位画像と対象部位との方向および距離関係が一致する決定木302を順次通過することで、最終的に最も適切な探索部位の位置である探索特徴点へのベクトル情報303に辿りつくことができる。

図4は、本実施例の3D探索部の2D断面切り出しの一例を示す図である。同図に示すように、3D探索部103で求めた複数のベクトル情報に基づいて探索部位の位置を示す特徴点を含む2D断面を切り出すことができる。ベクトル情報は、3地点以上の情報があれば2Dの平面画像を切り出すことができる。

そこで、例えば注目部位がv1(401)、v2(402)およびv3(403)の3点があり、それぞれについて、探索部位としての特徴点t1(407)、t2(408)およびt3(409)の3点が得られたと仮定する。この時、注目部位v1(401)と特徴点t1(407)とを結ぶ線d1(404)と、注目部位v2(402)と特徴点t2(408)とを結ぶ線d2(405)と、注目部位v3(403)と特徴点t2(409)を結ぶ線d3(406)が、それぞれ法線ベクトルの関係となる平面410を導き出す。この法線ベクトルの関係を得られた平面410が、第１候補断面として切り出し対象となる2D断面画像となる。

図5は、本実施例の3D探索部で求めた第１候補断面である2D断面画像を使い、複数個の特徴点群を得、複数個の特徴点から探索部位の立体形状を再構成する一例を示す図である。3D探索部103で取得した1個の2D断面画像505（410）には、一つの探索部位の特徴点504は1点のみである。一方、心臓の三尖弁を例にすると、三尖弁の実際の形状は、多少の変形はあるが概ね円形(または楕円等)の閉じた形状である。１個の第１候補断面である2D断面画像505（410）には、注目部位v1(401)に対応する探索部位の特徴点504は1点しか存在しないため、その特徴点が三尖弁の中心である保障はない。

そこで、本実施例の装置においては、取得した第１候補断面である2D断面画像505(410)の二次元平面の水平軸508または垂直軸509を基準とし、2D断面画像505（410）に対してそれぞれ左右移動、上下移動、前後移動506、507および回転移動501、502等の変形を任意に与えながら、複数個の第２候補断面である2D断面画像を取得するようにする。そして、１個の第１候補断面と、複数個の第２候補断面から構成される複数個の2D断面画像それぞれから特徴点を検出することで、探索部位を立体的に観測可能な特徴点群503を取得できる。そして、得られた特徴点群503を用いて、探索部位の中心、例えば、三尖弁や僧房弁の円の中心を算出し、さらに、探索部位の中心を通る標準断面を取得することが可能になる。

心尖部4腔像であるA4Cの特徴点群抽出においては、3D探索部103の最初の特徴点検出で求めた心尖の特徴点と、僧帽弁および三尖弁の特徴点を結ぶ線の中心点を通る１つの線を基軸に左右移動、上下移動、前後移動および回転移動等の変形を任意に与えながら複数個の2D断面画像を取得するようにして、特徴点群の抽出ステップを省略しても良い。心尖部4腔像であるA4Cではその形状特性から、心尖、僧帽弁、三尖弁が上述した基軸の移動のみによる特徴点抽出で、各部位の立体的な特徴点群を得られるためである。同様に、他の標準断面の特徴点群抽出についても、それぞれの形状特性に対応して基軸の移動を限定するようにしても良い。

本実施例のこのような構成を備えることで、標準断面取得に関するガイドラインで定義されている弁輪径が最大となる位置を捉えていること、或いは心室長が最長となる位置を捉えていること等の推奨事項を保障することが可能になる。以下、その理由を図6〜図12を用いて説明する。

図6は、標準断面A4C、PLX、A2Cの一例を示す模式図である。図6上段に、心臓に対する各標準断面A4C601、PLX602、A2C603の位置を、図6下段に、各標準断面の一例を示した。図6下段の標準断面の各特徴点について説明する。心尖604は心臓の尖端部、僧帽弁605は左心室と左心房の間にある弁、三尖弁606は右心室と右心房の間にある弁、大動脈弁607は左心室と大動脈の間にある弁である。また、各弁と心筋の接続部は弁輪と呼ばれる。

A4C601は僧帽弁と三尖弁および心尖を通る断面であること、PLX602は僧帽弁と大動脈弁および心尖を通る断面であること、A2C603は僧帽弁と心尖を通る断面で左心室と左心房のみが画像に含まれることを特徴とする。それぞれの特徴を満たした上で、弁は最大径、僧帽弁と心尖の距離が最長となる断面が推奨断面とされる。

図7は、標準断面PSXのMVレベル、PMレベル、Apexレベルの一例を示す模式図である。図7上段に心臓に対する標準断面PSX MVレベル701、PMレベル702、Apexレベル703の位置を、図7下段に、標準断面レベル各々の断面画像の一例を示した。標準断面PSXは僧帽弁輪に対して平行な断面であり、位置によって3段階に分類される。PSX MVレベル701は僧帽弁付近、PSX PMレベル702は乳頭筋と心筋の接続部付近、PSX Apexレベル703は心尖付近が推奨断面とされる。

図8は、本実施例における2D識別器による2D識別処理による特徴点群取得の一例を示すフローチャート図である。断面画像入力（801）にて、2D画像生成部104で生成された断面画像が入力される。標準断面識別（802）は、入力された断面画像を標準断面A4C、PLX、A2C、PSX、並びに判定不能に分類する(803)。この標準断面識別方法は、例えばニューラルネットワークやサポートベクターマシンを用いる。

特徴点抽出(804)は、分類された断面種別に応じて、断面画像内の特徴点を抽出する。このとき標準断面識別の結果に応じて抽出する特徴点の種類を選択する。A4Cならば心尖、僧帽弁輪、三尖弁輪、PLXならば心尖、僧帽弁輪、大動脈弁輪、A2Cならば心尖、僧帽弁輪を抽出する。特徴点抽出方法は、例えばRandom ForestやORB(Oriented FAST and Rotated BRIEF)、パタンマッチングなどを用いる。

特徴点座標記録(805)は得られた特徴点群の3D座標をメモリに記録する。断面画像上の2D座標から3D座標に変換する方法は、例えば2D画像生成部が断面画像を生成する際、各ピクセルの3D座標をメモリに記録しておき、断面画像上の2D座標から該当ピクセルの3D座標を得る方法を用いる。

図9は、2D識別部における特徴点群生成の一例を示す模式図である。図9は一例として僧帽弁輪の特徴点群生成を示しているが、心尖、三尖弁、大動脈弁についても同様に特徴点群の生成が可能である。図9上段は、心臓と平行移動した複数の断面画像の位置を示し、図9中段は、複数の断面画像、図9下段は、3D座標上の特徴点群を模式的に示す。

特徴点抽出(804)により図9中段に示すように、断面画像901から探索部位としての僧帽弁輪903を得る。また、断面画像902は断面画像901を法線方向に平行移動した断面画像の例である。断面画像902からも同様に僧帽弁輪904を抽出する。図9下段に示すように、特徴点群905は僧帽弁輪の座標を3D座標に変換し、3Dデータ上にプロットすることで生成する。

先に、図13で説明したように、所望の特徴点群、例えば、所定の個数の特徴点の取得が完了した時点で特徴点群生成を終了する。すなわち、判定方法は例えば各特徴に対して必要な特徴点数を予め定めておき、各特徴点数がこれを超えたか否かと判定する方法や、特徴を抽出する断面画像の数を予め定めておき、特徴を抽出する断面数がこれを超えたか否かを判定する方法、あるいは両者の組合せにより判定する。

図10は、本実施例における断面位置調整部による特徴点中心検出の一例を説明するための図である。同図上段に、探索部位としての3つの特徴点群と、A4Cと、PSX MVレベル1001を模式的に示し、同図中段、下段に特徴点群の特徴点中心検出を説明するための図を模式的に示した。

弁輪の特徴点中心として、例えば任意の軸に特徴点群を投影し、最も離れた2点の中間を用いる。これにより、標準断面取得に関するガイドラインで定義されている弁輪径が最大となる位置を捉えていることを保障する。同図中段左側に示すように、弁輪１次元特徴点群1002は、特徴点群をx軸に投影した例である。特徴点1003はx_minとなる特徴点であり、3D座標を(x₁,y₁,z₁)とする。特徴点1004はx_maxとなる特徴点であり、3D座標を(x₂,y₂,z₂)とする。特徴点1003、1004は弁輪直径の両端となるため、3D座標((x₂-x₁)/2,(y₂-y₁)/2,(z₂-z₁)/2)である中間点1005は特徴点中心となる。三尖弁中心、大動脈弁中心についても同様である。

図10中段右側に示すように、心室長が最長となる心尖中心として、例えば僧帽弁中心からの距離を軸として、心尖の特徴点群を投影し、最も僧帽弁から離れた特徴点を用いる。心尖１次元特徴点群1006は特徴点群を僧帽弁中心からの距離軸に投影した例である。特徴点1007は僧帽弁から最も遠い特徴点であり、心尖中心として選択される。これにより、標準断面取得に関するガイドラインで定義されている心室長が最長となる位置を捉えていることを保障することができる。同様に、同図下段のPSX MVレベル1001の断面画像の場合においても、2つの特徴点群それぞれの最も離れた2点の中間を使って、特徴点中心1008、1009を得ることができる。

図11は、本実施例の標準断面抽出部による、標準断面抽出の一例を示す模式図である。上述した処理で、同図の上段、中段に示すように、断面画像1101、1102、1103で心尖中心1107、僧帽弁中心1108、三尖弁中心1109、大動脈弁中心1110がそれぞれ求められているとする。

A4Cに相当する断面画像1101は、心尖中心1107、僧帽弁中心1108、三尖弁中心1109を、PLXに相当する断面画像1102は心尖中心1107、僧帽弁中心1108、大動脈弁中心1110を通る断面を抽出する。A2Cに相当する断面画像1103は、左心室と左心房のみを含む必要がある。そのため心尖中心1107と僧帽弁中心1108を通り、同図下段に示す、心尖と僧帽弁を結んだ心尖-僧帽弁軸1111と三尖弁が直交する断面をA2Cとして抽出する。

同図下段に示すように、PSXは僧帽弁輪と平行な面を心尖-僧帽弁軸1111の方向に平行移動して抽出する。僧帽弁輪と平行な面は、例えば図10で説明した方法により弁輪径上の特徴点を3点求めて、これらを通る断面を用いる。平行移動量は、例えば僧帽弁中心を0、心尖中心を1として、MVレベルは1/6、PMレベルは3/6、Apexレベルは5/6のように予め比率を定めておくことで抽出し、断面1106、1105、1104を得ることができる。

以上詳述したように、本実施例の装置、及び方法により、観測部位の大きさや観測部位間の長さを検出することで、最も適切な位置の断面画像を取得でき、推奨基準に沿った標準断面の抽出が可能となる。

実施例２は、実施例１と同様、画像処理方法、及びその装置、並びに超音波装置の実施例であり、実施例１の断面位置調整部の処理に変更を加えた実施例である。

実施例２においては、実施例１の断面位置調整部106における特徴点中心検出処理において、心尖が不明瞭な場合、例えば心尖付近の心筋を特徴点群として抽出することによって、特徴点中心を検出するようにした実施例である。その余は、全て実施例１と同様の処理を行えば良いので、ここでは重複する説明を省略する。

図12は、本実施例にかかる心尖中心検出処理の一例を示す模式図である。同図上段に示すように、心尖が不明瞭で、実施例１の場合と異なり、心尖の特徴点群を検出できないが、代わりに断面1201上に示すように、心尖付近の心筋が特徴点群として得られている場合、図10で説明した方法により心筋の特徴点群の中心を得て心尖中心1202として利用する。これにより、本実施例によれば、例え心尖が不明瞭な場合でも、実施例１同様、推奨基準に沿った標準断面抽出が可能となる。

以上詳述した本発明によれば、3Dボリュームデータに対する3D探索で検出した探索部位の特徴点群から探索部位の立体形状を再構成して、探索部位の大きさや観測部位間の長さを検出することが可能となる。

また、本発明によれば、3Dボリュームデータから心臓の標準断面を取得する画像処理方法、装置において、探索部位の特徴点群から探索部位の立体形状を再構成して、探索部位の大きさや探索部位間の長さを検出する手段、機能を備えることで、標準断面取得に関するガイドラインの推奨事項に準拠した最も適切な位置の断面画像を取得することを可能とすることができる。

更に、本発明によれば、標準断面取得に関するガイドラインで定義されている弁輪径が最大となる位置を捉えていること、または心室長が最長となる位置を捉えていること等の推奨事項を満足する超音波装置を提供することが可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。例えば、対象体を人体の心臓を例に説明したが、人体の他の臓器であっても良いし、人体以外の構造物を対象体とすること可能である。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。

また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。例えば、対象体が同一の場合は、上述した超音波装置は、第1候補断面の座標、第２候補断面を生成する際の第1候補断面の回転、前後移動、左右移動に関する制御パラメータを超音波装置のメモリ等に記憶しておき、再利用することで、第1候補断面抽出および第２候補断面抽出の処理ステップを省略し、観測用断面決定、抽出までの処理時間を短縮することができる。

更に、上述した各構成、機能、処理部等は、それらの一部又は全部を実現するCPU用のプログラムを作成して実現する例を説明したが、それらの一部又は全部を例えば集積回路で設計する等によりハードウェアで実現しても良いことは言うまでもない。

100 超音波装置
101 データ入力部
102 メモリ
103 3D探索部
104 2D画像生成部
105 2D識別部
106 断面位置調整部
107 標準断面抽出部
108 断面出力部
109 CPU
112 入力I/F
201 特徴分類器
202 ベクトル情報統合
203 2D断面座標算出
204 2D断面切り出し
205、410、505 2D断面画像
301 サンプリング3Dボリュームデータ(Vn)
302 決定木
303 ベクトル情報
503、905 特徴点群
1107 心尖中心
1108僧房弁中心
1109 三尖弁中心
1110 大動脈弁中心
1111 心尖‐僧房弁軸

Claims

処理部を用いた画像処理方法であって、
前記処理部は、
対象体の3次元情報を用いて、前記対象体の第１候補断面を生成し、
前記第1候補断面を変形させた第2候補断面及び前記第1候補断面から、前記対象体の探索部位である特徴点を複数検出し、
複数の前記特徴点を所定の特徴点群に分類し、
前記特徴点群毎に中心点を求め、
求めた複数の前記中心点を通る断面を、前記対象体の観測用断面とする、
ことを特徴とする画像処理方法。
請求項１記載に画像処理方法であって、
前記処理部は、
前記3次元情報中の3点の注目部位それぞれと法線ベクトルの関係が成り立つ１つの二次元平面を求め、求めた二次元平面を前記第1候補断面として決定する、
ことを特徴とする画像処理方法。
請求項１記載に画像処理方法であって、
前記処理部は、
前記第1候補断面を変形させた前記第2候補断面を、前記第1候補断面の中心座標を通る水平軸および垂直軸を基準に、前記第1候補断面の回転、上下移動、左右移動、前後移動を任意に実施して、生成する、
ことを特徴とする画像処理方法。
請求項１記載に画像処理方法であって、
前記処理部は、
前記3次元情報上にマッピングされた前記特徴点群各々の形状の直径が最大となる位置を求め、求めた最大直径の中央位置を前記中心点に決定する、
ことを特徴とする画像処理方法。
請求項１記載に画像処理方法であって、
前記処理部は、
前記対象体毎に、前記第１候補断面の座標、及び前記第２候補断面を生成する際の前記変形に関する制御パラメータを記憶する、
ことを特徴とする画像処理方法。
処理部を備えた画像処理装置であって、
前記処理部は、
対象体の3次元情報を用いて、前記対象体の第１候補断面を生成し、
前記第1候補断面を変形させた第2候補断面及び前記第1候補断面から、前記対象体の探索部位である特徴点を複数検出し、
複数の前記特徴点を所定の特徴点群に分類し、
前記特徴点群毎に中心点を求め、
求めた複数の前記中心点を通る断面を、前記対象体の観測用断面とする、
ことを特徴とする画像処理装置。
請求項６記載に画像処理装置であって、
前記処理部は、
前記3次元情報中の3点の注目部位それぞれと法線ベクトルの関係が成り立つ１つの二次元平面を求め、求めた二次元平面を前記第1候補断面として決定する、
ことを特徴とする画像処理装置。
請求項６記載に画像処理装置であって、
前記処理部は、
前記第1候補断面を変形させた前記第2候補断面を、前記第1候補断面の中心座標を通る水平軸および垂直軸を基準に、前記第1候補断面の回転、上下移動、左右移動、前後移動を任意に実施して、生成する、
ことを特徴とする画像処理装置。
請求項６記載に画像処理装置であって、
前記処理部は、
前記3次元情報上にマッピングされた前記特徴点群各々の形状の直径が最大となる位置を求め、求めた最大直径の中央位置を前記中心点に決定する、
ことを特徴とする画像処理装置。
請求項６記載に画像処理装置であって、
記憶部を更に備え、
前記処理部は、
前記対象体毎に、前記第１候補断面の座標、及び前記第２候補断面を生成する際の前記変形に関する制御パラメータを前記記憶部に記憶する、
ことを特徴とする画像処理装置。
超音波装置であって、
対象体に対し、超音波を送受信する超音波探触子からの受信信号に基づく、前記対象体の3次元情報を処理する処理部と、
前記処理部で生成される前記対象体の断面画像を表示する表示部と、を備え、
前記処理部は、
前記3次元情報を用いて、前記対象体の第１候補断面を生成し、
前記第1候補断面を変形させた第2候補断面及び前記第1候補断面から、前記対象体の探索部位である特徴点を複数検出し、
複数の前記特徴点を所定の特徴点群に分類し、
前記特徴点群毎に中心点を求め、
求めた複数の前記中心点を通る断面を、前記対象体の観測用断面とし、
前記観測用断面の画像を前記表示部に表示するよう制御する、
ことを特徴とする超音波装置。
請求項１１記載に超音波装置であって、
前記処理部は、
前記3次元情報中の3点の注目部位それぞれと法線ベクトルの関係が成り立つ１つの二次元平面を求め、求めた二次元平面を前記第1候補断面として決定する、
ことを特徴とする超音波装置。
請求項１１記載に超音波装置であって、
前記処理部は、
前記第1候補断面を変形させた前記第2候補断面を、前記第1候補断面の中心座標を通る水平軸および垂直軸を基準に、前記第1候補断面の回転、上下移動、左右移動、前後移動を任意に実施して、生成する、
ことを特徴とする超音波装置。
請求項１３記載に超音波装置であって、
前記対象体は、生体の心臓であり、
前記処理部は、
前記第１候補断面の心尖の中心点と、僧帽弁および三尖弁の中心点を結ぶ線の中心点の2点を通る線を基軸にして、前記第1候補断面の回転、上下移動、左右移動、前後移動を任意に実施して、前記特徴点を複数検出する、
ことを特徴とする超音波装置。
請求項１１記載に超音波装置であって、
前記処理部は、
前記3次元情報上にマッピングされた前記特徴点群各々の形状の直径が最大となる位置を求め、求めた最大直径の中央位置を前記中心点に決定する、
ことを特徴とする超音波装置。