Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4359749B2 - Movement display method and diagnostic imaging apparatus for living tissue - Google Patents
[go: Go Back, main page]

JP4359749B2 - Movement display method and diagnostic imaging apparatus for living tissue - Google Patents

Movement display method and diagnostic imaging apparatus for living tissue Download PDF

Info

Publication number
JP4359749B2
JP4359749B2 JP2003113390A JP2003113390A JP4359749B2 JP 4359749 B2 JP4359749 B2 JP 4359749B2 JP 2003113390 A JP2003113390 A JP 2003113390A JP 2003113390 A JP2003113390 A JP 2003113390A JP 4359749 B2 JP4359749 B2 JP 4359749B2
Authority
JP
Japan
Prior art keywords
image
movement
display
motion
marks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003113390A
Other languages
Japanese (ja)
Other versions
JP2004313551A (en
JP2004313551A5 (en
Inventor
博隆 馬場
修 森
清 吉田
望 渡邉
智彦 豊田
真樹 秋山
学 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2003113390A priority Critical patent/JP4359749B2/en
Publication of JP2004313551A publication Critical patent/JP2004313551A/en
Publication of JP2004313551A5 publication Critical patent/JP2004313551A5/ja
Application granted granted Critical
Publication of JP4359749B2 publication Critical patent/JP4359749B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、超音波診断画像、磁気共鳴画像又はX線CT画像に適用される、動きを有する心筋などの生体組織の運動表示方法、その方法を用いた画像診断装置に関する。
【0002】
【従来の技術】
超音波診断装置、磁気共鳴イメージング(MRI)装置、及びX線CT装置等の画像診断装置は、いずれも被検体の検査部位に係る断層像などをモニタに表示して診断に供するものである。例えば、心臓や血管等の循環器系及びその他の動きのある臓器の場合、それらを構成する生体組織(以下、組織と総称する)の動きを断層像により観察して、それら臓器等の機能を診断することが行なわれている。
【0003】
特に、心臓などの運動機能を定量的に評価できれば、診断の精度が一層向上することが期待されている。例えば、従来、超音波診断装置により得られた画像から心壁の輪郭を抽出し、その心壁輪郭に基づいて心室等の面積、容積、それらの変化率等から心機能(心臓ポンプ機能)を評価したり、局所の壁運動を観察して診断することが試みられている(特許文献1)。また、ドプラ信号等の計測信号に基づいて組織の変位を計測して、例えば局所的な収縮又は弛緩の分布を撮像し、これに基づいて心室の運動が活性化している場所を正確に決定したり、あるいは収縮期の心室壁の厚さ(壁厚)を計測する等、組織の運動を定量的に計測する方法が提案されている(特許文献2)。さらに、時々刻々変化する心房や心室の輪郭を抽出して、その輪郭を画像に重ねて表示するとともに、これに基づいて心室等の容量を求める技術が提案されている(特許文献3)。
【0004】
【特許文献1】
特開平9−13145号公報
【特許文献2】
特表2001−518342号公報
【特許文献3】
米国特許第5322067号公報(USP5,322,067)
【0005】
【発明が解決しようとする課題】
しかしながら、上記の従来技術は、いずれも心臓の全体的な機能を評価するための手法にとどまり、心筋などの各組織の動きを定量的に評価することについては配慮されていない。特に、心壁の輪郭を画像処理により抽出し、その輪郭に基づいて心室壁の厚み(壁厚)を計測したり、壁厚の変化を計測する従来技術は、必ずしも十分な精度を得るまでには至っていない。
【0006】
一般に、例えば、血栓等によって心筋に血が通わなくなると、心筋の動きが低下するといわれている。したがって、心室を構成する心筋の動きや壁厚の変化など、心臓の各組織の運動を定量的に計測できれば、治療法などを決定する際の有効な診断情報を提供できる。例えば、虚血の程度がわかれば、冠動脈再生術などの心臓の治療法選択及び治療部位を特定する指標として有効である。
【0007】
特に、心臓は収縮と拡張を繰返して血液を循環させることから、心筋壁厚の変化の度合いに点数をつけて診断するスコアリング法が提案されている。このスコアリング法は、例えば、心壁の延在方向に心壁を6分割し、動画像を観察しながら各分割領域ごとの壁厚の動きの程度を5段階に分けて評価する方法である。また、このスコアリングを、通常の状態と、患者に運動させて心臓に負荷をかけた負荷I状態と、さらに大きな負荷をかけた負荷II状態と、負荷を取り除いて回復した状態の4つの態様について実施して、心臓の診断を行なうことも行われている。
【0008】
しかし、従来のスコアリングは、断層像の動画像により心臓の動きを観察した観者の主観的な判断で評価せざるを得ないから、スコアリング結果が必ずしも客観的でなく、かつ的確な診断を行なうには相当の経験が要求されるという問題がある。
【0009】
そこで、本発明の発明者らは、心臓の断層像が表示されたモニタ上で、心筋壁の内外に一対の追跡点(マーク)を設定し、動画像上で追跡点を含む切り出し画像の移動先を相関法などの画像処理によって検出し、心筋壁の動きに合わせて追跡点を移動させて重畳表示する一方、その追跡結果に基づいて一対の追跡点間の距離(壁厚)等を定量的に計測することを提案している(特願2002-266864号)。
【0010】
しかし、定量的に計測した心室壁厚のデータを表示する具体的な方法についての配慮が十分でないことから、観者が的確な診断を行なう上で改善する点があった。
【0011】
本発明の課題は、定量的に計測した心室壁厚等の、動きを有する生体組織の所定部位の動きの表示法を改善することにある
【0012】
【課題を解決するための手段】
上記課題を解決する本発明の生体組織の運動表示方法は、動きを有する組織の断層を撮像してなる動画像が記憶された画像記憶部から一フレーム画像を読み出して表示部に表示する第1ステップと、該表示された前記一フレーム画像上において所定部位を挟んで対向する少なくとも一対のマークを設定する第2ステップと、前記各マークが設定された部位の所定部位の動きを前記動画像上で追跡する第3ステップと、前記所定部位の動きに合わせて前記各マークの位置を変更し、変更後の前記一対のマーク間の距離を求める第4ステップとを実行することを特徴とする。さらに、前記一対のマーク間の距離と該距離の変化率と該距離の変化速度の少なくとも1つの運動量を求める第5ステップと、前記各対のマーク位置における前記所定部位の運動量を、該運動量に応じて輝度と色の少なくとも一方を変えた運動表示画像を前記表示部に表示する第6ステップとを有し、前記動きを有する組織の断層像について前記第1ステップから第6ステップを実行するようにすることができる。
【0013】
このような本発明の生体組織の運動表示方法によれば、組織の動き、例えば、心筋の動きである壁厚の変化等が、数値でなく輝度や色の変化としてマークの位置に対応付けて表示されるから、輝度や色に基づいて一目で心筋の動きに関する各分割領域のスコアを評価することができる。したがって、観測者ごとに主観的に定性評価する場合に比べて、評価のバラツキを低減できる。ここで、各マークが設定された部位(例えば、心筋)の動きをそれぞれ動画像上で追跡する上記のステップは、前記マークを含むサイズの切出し画像を前記一フレーム画像に設定するステップと、前記動画像の他のフレーム画像を検索して前記切出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出するステップと、該一致度が最も高い局所画像と前記切出し画像の座標差に基づいて前記マークの移動先を求めるステップとを含んで構成することができる。この場合において、抽出された局所画像を新たな切出し画像とし、動画像のさらに他のフレーム画像に対して一致が最も高い局所画像を抽出するステップと、一致度が最も高い局所画像と切出し画像の座標差に基づいてマークの移動先を求めるステップとを繰り返し実行して、前記マークの移動先を順次求めることにより、マークを心筋の動きに追従させて移動表示することもできる。
【0014】
また、本発明の画像診断装置は、動きを有する組織の断層を撮像して得られる動画像データが記憶される画像記憶手段と、前記組織の断層像を表示する表示部と、前記画像記憶手段に記憶された前記動画像データを読み出して動画像又は静止画像を前記表示部に表示させる表示制御手段と、前記表示部に表示された前記静止画像上の所定部位を挟んで対向する少なくとも一対のマークを設定する操作部と、前記表示部に表示された静止画像に前記各マークを含む切出し画像をそれぞれ設定し、前記表示部に表示される前記動画像に基づいて前記切出し画像の移動先を追跡する切り出し画像追跡手段と、該切出し画像の移動先に基づいて前記各マークの移動量を求める移動量演算手段と、動きが異なる各断層像について前記移動量に基づいて運動表示画像を生成して前記表示部に表示させる画像生成手段とを備えて構成することができる。さらに、前記移動量演算手段により求めた各マークの移動量に基づいて、前記一対のマーク間の距離と該距離の変化率と該距離の変化速度の少なくとも1つの運動量を求める運動算出手段を備え、前記画像生成手段は、前記運動算出手段により求めた前記運動量に応じて輝度と色の少なくとも一方の画素値を変えて前記運動表示画像を生成する構成とすることができる。
【0015】
本発明において、各負荷状態の運動表示画像を表示画面に並べて表示することいが好ましいが、各負荷状態の運動表示画像を時系列的に順次表示するようにしてもよい。また、心臓の1周期を複数の時相に分割し、負荷状態が異なる心臓の運動表示画像の時相を合わせて並べて表示することが望ましい。さらに、本発明の運動表示画像に時間軸を合わせて、心電計により計測される心電図や、心音計により計測される心音波形を並べて表示することが好ましい。
【0016】
具体的な運動表示画像は、矩形領域の一方の軸を前記心筋に沿って配置された複数対のマークの設定位置に対応させ、他方の軸を時間軸に対応させて表示することができる。この場合、矩形領域の時間と複数対のマークの設定位置の少なくとも一方を指定する線を入力設定することにより、指定線に沿った運動量の変化を表すグラフを表示部に表示するステップを設ける。
【0017】
また、運動表示画像の他の具体例としては、各対のマーク位置における動画像の心筋に対応する領域の輝度と色の少なくとも一方を当該位置における運動量に応じて変えた画像、あるいは心筋の内壁と外壁を模擬してなる模式図形に、該模式図形における各対のマーク位置に対応する領域の輝度と色の少なくとも一方を当該位置における運動量に応じて変えた画像を重ねた画像とすることができる。特に、心筋の模式図形に重ねて運動表示画像を表示することにより、心筋の動きが悪い部位を直視的に診断できる。
【0018】
【発明の実施の形態】
(実施の形態1)
本発明の心臓の運動表示方法を適用してなる一実施の形態の画像診断装置について、図1〜図4を用いて説明する。図1は本実施形態の心臓の運動表示方法の手順を示し、図2は図1の心臓の運動表示方法を適用してなる画像診断装置のブロック構成図である。図2に示すように、画像診断装置は、被検体である生体の断層を撮影してなる動画像が格納される画像記憶部1と、画像を表示する表示部2と、各種の指令を入力する操作卓3と、表示部2に表示される動画像の心臓のの動きを追跡する自動追跡部4と、自動追跡部4の追跡結果に基づいて又は運動算出部6の計測情報に基づいて運動表示画像を生成して記憶する画像生成記憶部5と、自動追跡部4の追跡結果に基づいて各種の計測情報を算出する運動算出部6と、これらを接続してなる信号伝送路7を含んで構成されている。
【0019】
画像記憶部1には、破線で示した診断画像撮像装置8から被検体の断層像を撮影してなる動画像がオンライン又はオフラインで格納されるようになっている。診断画像撮像装置8としては、超音波診断装置、磁気共鳴イメージング(MRI)装置及びX線CT装置等の診断装置が適用可能である。また、本実施の形態では、被検体の異なる運動負荷における心臓の断層像を撮像した例えば4状態の動画像が格納される。つまり、通常の負荷状態Aと、患者に運動をさせて心臓に負荷をかけた負荷I状態Bと、さらに大きな負荷をかけた負荷II状態Cと、負荷を取り除いて回復した状態Dの4つの態様についての動画像が格納される。また、それらの断層像は、図示していない心電計から出力される心電波形に同期させて撮像し、その心電波形を断層像に同期させて記憶しておくことが好ましいが、これに限らず時間軸を同期させて記憶しておくようにする。
【0020】
操作卓3は、表示部2に動画像の一フレーム画像(静止画像)を表示させる指令、表示部2に表示された静止画像上で動きを追跡したい生体組織の部位にマーク(目印)を重畳表示させる指令、表示部2に表示する画像の種類を選択する指令、等の各種指令を入力可能に形成されている。マークを設定する場合、4つの異なる負荷状態A〜Dの静止画像を4つ並べて表示してもよく、時間をずらして別々に表示してもよい。
【0021】
自動追跡部4は、画像診断装置全体を制御する制御手段10と、表示部2に表示する画像を切り替え制御する表示制御手段11と、表示部2に表示された一フレーム画像のマークの位置に対応する追跡部位を含むサイズの切出し画像を設定する切出し画像設定手段12と、画像記憶部1から動画像の他のフレーム画像を読み出して、切出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出する切出し画像追跡手段13と、一致度が最も高い局所画像と切出し画像の座標差を求める移動量演算手段14と、その座標差に基づいて追跡部位の移動先座標を求める移動追跡手段15とを備えて構成されている。この移動追跡手段15により求められた追跡部位(マーク)の移動先は、動画像に合わせて順次記憶して動画像の追跡画像を生成するようにしてもよい。
【0022】
一方、運動算出部5は、自動追跡部4で求められた追跡部位の移動先座標に基づいて、追跡部位の移動量、移動速度、移動方向等の動きに関する物理量である計測情報を定量的に求めるとともに、これらの計測情報の変化を線図で表示部2に表示させる機能を有して構成されている。特に、本実施の形態の運動算出部5は、追跡部位の移動量に基づいて心筋の内外壁に対向させて設定された一対のマーク間の距離を心筋の壁厚として求めるとともに、心筋の壁厚の変化と、壁厚の変化率と、壁厚の変化速度等の運動量を求める機能を有して構成されている。
【0023】
また、画像生成記憶部9は、運動算出部5により求められた心筋の運動量を、その運動量に応じて輝度と色の少なくとも一方を変えた運動表示画像を生成するとともに記憶する機能を有して構成されている。特に、運動表示画像は4つの異なる負荷状態A〜Dごとに作成する。また、心電計で計測された心電波形を運動表示画像の同期させて表示するように構成されている。
【0024】
表示制御手段11は、操作卓3から入力される指令に応じて、画像記憶部1に記憶された動画像データを読み出して動画像又は静止画像と、画像生成記憶部5に記憶されている運動表示画像を切り替えて、又は重ねて表示する機能を有している。
【0025】
次に、本実施形態の画像診断装置の詳細な機能構成について、図1に示した処理手順に従って動作とともに説明する。まず、心臓の心筋の動きの追跡動作は、操作卓3から組織の動き追跡モードを選択する指令が入力されることによって開始する(S1)。表示制御手段11は、画像記憶部1から動画像の最初のフレーム画像ft(t=0)を読み出して表示部2に表示させる(S2)。例えば、最初のフレーム画像f0として図3に示す心臓の心室21の断層像が表示されたものとする。図3において、操作者が動きを追跡したい生体組織の追跡部位として、心筋22の特定の部位を選択したい場合、操作者は操作部3のマウスなどを操作してフレーム画像f0に重ねて追跡部位を設定するためのマークである追跡点23を表示させる。そして、その追跡点23を移動操作して所望の追跡部位に重畳表示させて追跡部位を入力設定する。本発明の特徴である心筋の壁厚を計測する場合は、図6(a)に示すように、心筋23を挟んで対向する一対の追跡点23を入力設定する。なお、図3において、符号24は僧帽弁である。
【0026】
追跡点23が入力設定されると、制御手段10はフレーム画像f0上の追跡点23の座標を取込み、切出し画像設定手段12に送る(S3)。切出し画像設定手段12は、図4(a)に示す様に、各追跡点23の画像を中心として、縦横2(A+1)画素(但しAは自然数)のサイズの矩形領域を切出し画像25として設定する(S4)。ここで、切出し画像25のサイズは、追跡点23の生体組織とは異なる生体組織を含む大きさの領域に設定することが好ましい。
【0027】
切出し画像追跡手段13は、画像記憶部1から動画像の次のフレーム画像f1を読み出し、切出し画像25と画像の一致度が最も高い同一サイズの局所画像を抽出する(S5)。この抽出処理は、いわゆるブロックマッチング法又は相関法と称される画像処理である。この抽出処理をフレーム画像f1の全領域について行なうと、処理時間がかかり過ぎる。そこで、抽出処理時間を短縮するため、本実施形態では、フレーム画像f1よりも十分に小さい、図4(b)に示す検索領域26について行なうようにしている。つまり、検索領域26は、切出し画像25に対して上下左右に一定の振り幅の画素数Bを付加した矩形領域とする。この画素数Bは、追跡部位に係る組織の移動量よりも大きく、例えば3〜10画素に設定する。これは、心臓などの循環器系の動く範囲は、通常の視野において、狭い領域に限られるからである。このようにして、検索領域26内の同一サイズの局所画像27を順次ずらして切出し画像25との画像の一致度を求める。図5に、相関法による画像追跡処理の具体例を示す。同例は、説明を簡単にするために、切出し画像25のサイズを矩形の9画素領域とし、検索領域26についても矩形の25画素領域として説明する。つまり、同図(a)に示す切出し画像25は、追跡点23の画素を中心としてA=1画素に設定した例であり、同図(b)に示す検索領域26はB=1画素に設定した例である。これによれば、同図(b)に示す様に、9個の局所領域27について画像の一致度を求めることになる。画像の一致度を求める方法については、公知の種々の方法を適用できる。
【0028】
次に、検索した複数の局所画像27の内で画像の一致度が最も高い局所画像27maxを抽出し、局所画像27maxを切出し画像25の移動先とし、局所画像27maxの座標を求める(S6)。これらの画像の座標は、中心画素の座標、あるいは矩形領域の何れかの角の座標で代表する。そして、局所画像27maxと切出し画像25の座標差を求め、これに基づいて追跡点23の移動先座標を求めて記憶する。必要に応じて、表示制御手段11は、追跡点23の移動先座標に基づいて表示部2のフレーム画像f1に追跡点23のマークを重ねて表示する(S7)。なお、局所画像27maxと切出し画像25における追跡点23の相対位置は変化しないものとして扱っている。
【0029】
運動算出部6は、S7で求められた追跡点23の移動先座標に基づいて、追跡点23の動き、つまり追跡部位の組織の動きに関する各種の計測情報を算出して記憶する(S8)。すなわち、移動前後の追跡点23の座標に基づいて、移動方向及び移動量を定量的に計測することができる。本実施の形態では一対の追跡点23間の距離から心筋23の壁厚を算出し、壁厚の変化、変化率、変化速度を指令に応じて算出し、記憶する(S9)。これに代えて、又は加えて、追跡部位の移動量、移動速度、移動方向等の動きに関する物理量である計測情報を定量的に求めることができる。そして、求められた追跡点23の移動に関する各種の計測情報、及びその変化をグラフで表示部に表示させることができる。これにより、観者は、追跡部位の動きを容易に観察することができる。
【0030】
次に、ステップS10に進み、動画像の全てのフレーム画像について追跡点23の追跡が終了したか否か判断し、未処理のフレーム画像があれば、ステップS5に戻ってS5〜S10の処理を繰り返す。全てのフレーム画像について追跡点23の追跡が終了した場合は、追跡処理動作を終了し、追跡点23の移動履歴のデータを記憶する。次いで、画像生成記憶部5は、指定された壁厚の変化、変化率、変化速度の運動表示画像を生成して表示部に表示させる。この表示画像の具体的な例は、後述する。このように、本実施形態によれば、追跡点23の移動先の座標を順次求めることができるから、追跡部位の動きを定量的に、かつ精度よく簡単に計測することができ、診断の情報を的確に提供することができる。
【0031】
次に、本発明の特徴部である心臓の運動表示方法の具体例について図6〜図11を用いて説明する。まず、操作卓3から指令を入力して表示部2に心臓の断層像を表示させる。このとき、図6(a)に示すように、運動負荷が異なる4つの断層像の静止画を表示させる。この静止画上で心筋22に沿って、心壁を挟んで複数対(1〜n)の追跡点23を設定し、動画像に切り替えて追跡処理を実行させる。なお、図6(a)では1つの断層像の静止画のみを示しているが、必要な場合は図7(a)に示すように4状態A〜Dの断層像の同一時相の静止画を並べて表示し、それぞれの状態A〜Dにそれぞれ複数対(1〜n、但しnは自然数)の追跡点23を設定することもできる。このようにして複数対(1〜n)の追跡点23の設定が終了すると、自動追跡部4が動作して、状態A〜Dごとに各追跡点23の移動を追跡する。運動算出部6は、各追跡点23の移動量の計測結果に基づいて、各対(1〜n)の追跡点23間の距離(壁厚)を計測するとともに、図6(b)、(c)に示すように、任意の一対の追跡点23における壁厚の変化と変化率を計測し、画像生成記憶部5において壁厚の変化と変化率のグラフを作成して、表示部2に表示させるようにすることができる。これにより、心臓の伸縮及び拡張に伴う心筋の動きを定量的に把握することができる。
【0032】
ところが、複数対(1〜n)の追跡点23の相互間における壁厚の変化や変化率を対比するには、n対の追跡点23ごとに計測される多数のグラフを並べて表示しなければならないから、煩雑になり実用的でない。つまり、心臓の運動機能を6分割した領域についてスコアリングを実施する場合、心筋22の各分割領域における壁厚の変化の平均値をグラフで表示するとしても、6つのグラフを並べて表示することになるから、対比観察が煩雑になる。
【0033】
そこで、図8(a)に示すように、各状態A〜Dに対応させて壁厚の変化を3次元的にグラフ表示をすることが考えられる。なお、同図において、横軸は時間を表し、縦軸は壁厚変化率を表し、奥行軸は心筋22に沿った計測部位を表しており、心臓が最も拡張したときに計測を開始して収縮期から再び拡張するまでの一周期について計測した結果である。このように、3次元画像で表示できれば、ある程度見やすくなるが、さらに見やすくして診断を支援するため、本実施の形態では、心筋の壁厚の変化(運動量)を時間軸に沿って輝度変化ないしカラー化した運動表示画像を生成して表示することを特徴とする。
【0034】
運動表示画像の一例としては、図8(b)に示すように、表示部2の表示画面に矩形の表示領域30を設定し、その横軸を時間軸とし、縦軸を計測部位として、その表示領域に各計測部位の心筋の壁厚の変化(運動量)を時間軸に沿って輝度変化ないしカラー化して表示するようにする。同図は模式的に示したものであり、図において、補助線は壁厚の等厚線に相当し、各補助線に囲まれる領域r1は低レベルの壁厚変化域、領域r2は中レベルの壁厚変化域、r3は高レベルの壁厚変化域を示し、それらの各領域は輝度(濃淡)又は色を連続的な壁厚変化に応じて連続的に変えて表示される。同図から明らかなように、心筋の真中付近の壁厚変化が他の域に比べて遅れている一方、心筋両端部の壁厚変化が激しいことが一目でわかる。例えば、壁厚変化が小さいときは輝度を最小値(例えば、黒)とし、壁厚変化が激しくなるにつれて輝度を増加するようにする。この運動表示画像は、運動算出部6の計測結果に基づいて、画像生成記憶部5によって作成されて記憶される。
【0035】
図8(b)の表示に代えて、図9〜図11に示す運動表示画像を形成することができる。すなわち、図9は、心筋の模擬画像であるシェーマを表示部に表示し、その画像上に図8(b)のような運動表示画像を重ねて表示するようにすることができる。この例によれば、心筋の形状に対応する部位の壁厚変化が表示されるから、心筋の運動状態を極めて認識しやすい。特に、4状態A〜Dにおける壁厚変化の激しい領域r3の変化を観察して、例えば負荷II状態に対応する状態Cになると2ヶ所に分かれていたr3がつながって来ることが観察できる。これは、例えば、激しい運動をすると血流が改善されて心筋が動き出すことを意味する。したがって、この部分の心筋は回復する余地があることを診断できる。なお、計測部位は心筋の断層像に対応させ、運動量の時間変化は動画像的に表示するようにする。
【0036】
また、図10は、図8(b)と同様の運動表示画像の4つの状態A〜Dを並べて表示した例であり、横軸は時間を、縦軸は計測部位に対応する。また、図11は、特定の心筋の位置における壁厚変化をグラフにして4つの状態A〜Dを並べて示した例であり、横軸は時間を、縦軸は壁厚変化を表している。図11の場合は、操作卓3を操作して、表示領域30の計測部位に指定線を入力することにより、その指定線上の計測部位における壁厚変化がグラフ化して表示される。
【0037】
以上の図8(b)〜図11は、心筋の壁厚変化の運動表示画像例であるが、壁厚の変化率又は壁厚の変化速度を同様に画像化して表示することもできる。例えば、壁厚の変化率を画像化する場合は、壁厚が厚く変化する方向を「赤」とし、薄くなる方向を「青」とする壁厚の変化率の運動表示画像を生成して表示することができる。また、壁厚の変化速度は、運動算出部6の計測結果に基づいて壁厚の変化速度のデータを求め、これに基づいて運動表示画像を生成して、表示領域に表示することができる。
【0038】
以上説明したように、上述の実施形態によれば、次のような効果が得られる。まず、心臓の手術後に心臓の動きが片側だけに偏る場合や、心筋壁の壁厚の変化が小さい部位の有無を観察して血の巡りが悪い部位を検査する場合、追跡点であるマークを心筋の動きに追従させて移動表示させても、心壁全体の揺れに惑わされて壁厚の変化の微妙な差異が観察しにくくなる。この点、上記の実施の形態によれば、マークの位置に対応させた心筋の各計測部位の壁厚の変化等の運動量を、輝度や色などの違いによって表示するようにしたから、一目で心臓の動きが偏る症状や、壁厚の変化が小さい部位である血の巡りが悪い部位を検知することができる。
【0039】
特に、心臓の機能をスコアリングによって評価する場合、一般に心臓の心壁に沿って心壁を6分割し、各分割領域ごとに壁厚の変化の度合いを5段階に分け、普通の動きの場合は「5」、動きがない場合は「1」、その中間は動きの度合いに応じて「2」〜「4」の点数をつける。さらに、通常状態Aと、患者に運動をさせて心臓に負荷をかけた負荷I状態Bと、さらに大きな負荷をかけた負荷II状態Cと、負荷を取り除いて回復した状態Dの4つの態様についてスコアリングを実施して、心臓を診断することが行なわれている。この場合、観者の主観的な判断で動きの度合いを決めて点数をつけると、スコアリング結果がバラツクという問題がある。この点、本実施の形態によれば、壁厚の変化、つまり心筋の動きを輝度の違い又は色の違いによって定量的に判別できるから、観者によるスコアリング結果のバラツキを低減して信頼性の高い評価を行うことができ、また経験が少ない観者でも同一の評価結果を得ることができる。特に4状態を対比して観察できるから、一層信頼性の高い評価を行うことができる。
【0040】
また、心筋の運動を定量的に認識できるから、虚血性心疾患において例えば虚血部位を特定したり、虚血の程度がわかるので、冠動脈再生術などの治療法選択および治療部位を特定する際の指標にできる。
【0041】
また、上述の実施形態において、心筋の動きを木目細かく観察するために、追跡部位のマークである追跡点23を操作卓3から入力設定する数が多くなり、設定作業が煩雑である。そこで、心筋壁に沿って追跡点23を設定する場合、操作者の判断で組織形状が緩やかに変化するような部位については適宜間隔を空けて、組織形状が大きく変化するような部位については間隔を狭めて設定するようにしてもよい。この場合、制御手段10により追跡点23を密な間隔に自動的に補完設定するようにすることが好ましい。
【0042】
また、上述の実施形態は、オフラインで行なう例について説明したが、画像追跡処理に係る速度を向上すれば、オンラインあるいはリアルタイムの動画像にも適用できる。また、2次元の断層像を例に説明したが、3次元断層像にも適用できることはいうまでもない。
【0043】
【発明の効果】
以上述べたように、本発明によれば、定量的に計測した心室壁厚の表示法を改善したことから、的確な診断を行うことができる。
【図面の簡単な説明】
【図1】図1は、本発明の生体組織の動き追跡表示方法の一実施形態の処理手順を示す図である。
【図2】図2は、図1の生体組織の動き追跡表示方法を適用してなる画像診断装置のブロック構成図である。
【図3】図3は、本発明の生体組織の動き追跡を、心臓の断層像に適用して説明するための図である。
【図4】図4は、本発明に係る画像追跡処理法の一実施形態を説明する図であり、(a)は切出し画像の一例を、(b)は検索領域の一例を示す図である。
【図5】図5は、相関法による画像追跡処理を、具体例を用いて説明する図である。
【図6】図6は、心壁を挟んで設定された複数対のマークの距離と、その距離の変化を計測してグラフにして表示する例である。
【図7】図7は、心臓のスコアリングのための運動負荷が異なる4つの心筋断層像を並べて表示した一例図である。
【図8】図8は、心筋の壁厚変化を示すグラフ、及び壁厚変化を時間軸に沿って輝度変化ないしカラー化して表示する運動表示画像の一例を示す図である。
【図9】図9は、心筋の模擬画像であるシェーマを表示部に表示し、その画像上に本発明の4状態の運動表示画像を重ねて表示する例を示した図である。
【図10】図10は、壁厚変化を時間軸に沿って輝度変化ないしカラー化して表示する運動表示画像を4状態について並べて表示した例を示した図である。
【図11】図11は、図10の特定の計測部位における壁厚変化をグラフ化して表示した一例図である。
【符号の説明】
1 画像記憶部
2 表示部
3 操作卓
4 自動追跡部
5 画像生成記憶部
6 運動算出部
7 信号伝送路
8 診断画像撮像装置
10 制御手段
11 表示制御手段
12 切出し画像設定手段
13 切出し画像追跡手段
14 移動量演算手段
15 移動追跡手段
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a motion display method for a living tissue such as a moving myocardium, which is applied to an ultrasound diagnostic image, a magnetic resonance image, or an X-ray CT image, and an image diagnostic apparatus using the method.
[0002]
[Prior art]
Image diagnostic apparatuses such as an ultrasonic diagnostic apparatus, a magnetic resonance imaging (MRI) apparatus, and an X-ray CT apparatus are all provided for diagnosis by displaying a tomographic image relating to the examination site of the subject on a monitor. For example, in the case of a circulatory system such as the heart and blood vessels and other organs with movement, the movement of living tissues (hereinafter referred to as tissues) constituting them is observed by a tomographic image, and the functions of the organs and the like are observed. Diagnosis is going on.
[0003]
In particular, if the motor function such as the heart can be quantitatively evaluated, it is expected that the accuracy of diagnosis is further improved. For example, conventionally, the contour of the heart wall is extracted from the image obtained by the ultrasonic diagnostic apparatus, and the heart function (heart pump function) is calculated based on the heart wall contour based on the area and volume of the ventricle and the rate of change thereof. Attempts have been made to evaluate or to observe and diagnose local wall motion (Patent Document 1). In addition, the displacement of the tissue is measured based on a measurement signal such as a Doppler signal, and for example, a local contraction or relaxation distribution is imaged. Based on this, the location where the ventricular motion is activated is accurately determined. Or a method for quantitatively measuring tissue motion, such as measuring the thickness (wall thickness) of a ventricular wall during systole (Patent Document 2). Furthermore, a technique has been proposed in which the contours of the atria and ventricles that change from time to time are extracted, the contours are superimposed on the image, and the volume of the ventricles and the like is calculated based on the contours (Patent Document 3).
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 9-13145 [Patent Document 2]
JP-T-2001-518342 [Patent Document 3]
US Pat. No. 5,322,067 (USP 5,322,067)
[0005]
[Problems to be solved by the invention]
However, any of the above conventional techniques is only a method for evaluating the overall function of the heart, and no consideration is given to quantitatively evaluating the movement of each tissue such as the myocardium. In particular, the conventional technique for extracting the outline of the heart wall by image processing and measuring the thickness (wall thickness) of the ventricular wall based on the outline or measuring the change in the wall thickness is not necessarily sufficient to obtain sufficient accuracy. Has not reached.
[0006]
In general, for example, if blood does not pass through the myocardium due to a thrombus or the like, the movement of the myocardium is said to decrease. Therefore, if the movement of each tissue of the heart, such as the movement of the myocardium constituting the ventricle and the change in the wall thickness, can be measured quantitatively, it is possible to provide effective diagnostic information when determining the treatment method. For example, if the degree of ischemia is known, it is effective as an index for selecting a treatment method for the heart such as coronary artery regeneration and specifying a treatment site.
[0007]
In particular, since the heart circulates blood by repeatedly contracting and expanding, a scoring method has been proposed in which the degree of change in myocardial wall thickness is scored for diagnosis. In this scoring method, for example, the heart wall is divided into six in the extending direction of the heart wall, and the degree of wall thickness movement for each divided region is evaluated in five stages while observing a moving image. . In addition, this scoring is divided into four modes: a normal state, a load I state in which a patient exercises a load on the heart, a load II state in which a greater load is applied, and a state in which the load is removed and recovered. The diagnosis of the heart is also performed.
[0008]
However, since conventional scoring must be evaluated by subjective judgment of the observer who observed the motion of the heart based on the moving image of the tomogram, the scoring result is not necessarily objective and accurate diagnosis There is a problem that considerable experience is required to do.
[0009]
Therefore, the inventors of the present invention set a pair of tracking points (marks) on the inside and outside of the myocardial wall on the monitor on which the tomographic image of the heart is displayed, and move the cutout image including the tracking points on the moving image. The tip is detected by image processing such as correlation method, and the tracking point is moved and superimposed according to the movement of the myocardial wall, while the distance (wall thickness) between the pair of tracking points is quantified based on the tracking result It proposes to measure automatically (Japanese Patent Application No. 2002-266864).
[0010]
However, since there is not enough consideration about the specific method of displaying the ventricular wall thickness data measured quantitatively, there was a point to be improved when the viewer made an accurate diagnosis.
[0011]
The subject of this invention is improving the display method of the movement of the predetermined part of the biological tissue which has a motion, such as the ventricular wall thickness measured quantitatively.
[0012]
[Means for Solving the Problems]
Movement display method of the biological tissue of the present invention for solving the above-mentioned problem, the displays on the display unit reads one frame image from the image storage unit for moving image sections ing by imaging the tissue is stored with motion A first step, a second step of setting at least a pair of marks facing each other across a predetermined part on the displayed one frame image, and a motion of the predetermined part of the part where each mark is set And performing a third step of tracking above and a fourth step of changing the position of each mark in accordance with the movement of the predetermined portion and obtaining the distance between the pair of marks after the change. . Further, a fifth step of obtaining at least one momentum of the distance between the pair of marks, the rate of change of the distance, and the rate of change of the distance, and the momentum of the predetermined portion at the position of each pair of marks is defined as A motion display image in which at least one of luminance and color is changed is displayed on the display unit, and the first to sixth steps are executed for the tomographic image of the tissue having the motion. Can be.
[0013]
According to the biological tissue motion display method of the present invention as described above, a tissue movement, for example, a change in wall thickness, which is a movement of the myocardium , is associated with a mark position as a change in luminance or color instead of a numerical value. Since it is displayed, the score of each divided region regarding the movement of the myocardium can be evaluated at a glance based on the luminance and the color. Therefore, the variation in evaluation can be reduced as compared with the case where the qualitative evaluation is subjectively performed for each observer. Here, the above-mentioned step of tracking the movement of the part (for example, myocardium) where each mark is set on the moving image sets the cut image having a size including the mark as the one-frame image, Searching other frame images of the moving image to extract a local image of the same size having the highest matching degree between the cut-out image and the image, and based on a coordinate difference between the local image having the highest matching degree and the cut-out image And determining the movement destination of the mark. In this case, the extracted local image is used as a new cut-out image, a step of extracting the local image having the highest match with the other frame images of the moving image, and the local image and the cut-out image having the highest matching degree are extracted. It is also possible to repeatedly perform the step of obtaining the movement destination of the mark based on the coordinate difference and sequentially obtain the movement destination of the mark, thereby moving and displaying the mark following the movement of the myocardium.
[0014]
The image diagnostic apparatus of the present invention includes a display unit displaying an image storage unit for moving image data that is obtained by imaging a tomographic tissue having a motion is stored, a tomographic image of the tissue, the image storage Display control means for reading out the moving image data stored in the means and displaying a moving image or a still image on the display unit, and at least a pair facing each other across a predetermined part on the still image displayed on the display unit An operation unit for setting the mark, and a cutout image including each mark is set in the still image displayed on the display unit, and the moving destination of the cutout image is based on the moving image displayed on the display unit A cut-out image tracking means for tracking the movement, a movement amount calculating means for obtaining a movement amount of each mark based on a movement destination of the cut-out image, and a tomographic image having a different movement based on the movement amount. It can be constructed and an image generating means for displaying on said display unit to generate a display image. Furthermore, a motion calculation means for obtaining at least one momentum of a distance between the pair of marks, a change rate of the distance, and a change speed of the distance based on the movement amount of each mark obtained by the movement amount calculation means. The image generation means may be configured to generate the motion display image by changing at least one pixel value of luminance and color according to the amount of motion obtained by the motion calculation means.
[0015]
In the present invention, it is preferable to display the exercise display images in each load state side by side on the display screen, but the exercise display images in each load state may be sequentially displayed in time series. In addition, it is desirable to divide one cycle of the heart into a plurality of time phases and display the time phases of the motion display images of the heart in different load states side by side. Furthermore, it is preferable to align and display the electrocardiogram measured by the electrocardiograph and the electrocardiogram measured by the electrocardiograph in alignment with the motion display image of the present invention.
[0016]
A specific motion display image can be displayed with one axis of the rectangular region corresponding to the set positions of a plurality of pairs of marks arranged along the myocardium and the other axis corresponding to the time axis. In this case, there is provided a step of displaying on the display unit a graph representing a change in momentum along the designated line by inputting and setting a line designating at least one of the time of the rectangular area and the setting positions of the plurality of pairs of marks.
[0017]
As another specific example of the motion display image, an image in which at least one of luminance and color of a region corresponding to the myocardium of the moving image at each pair of mark positions is changed according to the amount of motion at the position, or the inner wall of the myocardium And an image in which at least one of the luminance and color of the area corresponding to each pair of mark positions in the schematic figure is changed according to the momentum at the position is superimposed on the schematic figure simulating the outer wall. it can. In particular, by displaying a motion display image superimposed on a schematic figure of the myocardium, it is possible to directly diagnose a site where the myocardial movement is bad.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
(Embodiment 1)
An image diagnostic apparatus according to an embodiment to which the heart motion display method of the present invention is applied will be described with reference to FIGS. FIG. 1 shows the procedure of the heart motion display method of this embodiment, and FIG. 2 is a block diagram of an image diagnostic apparatus to which the heart motion display method of FIG. 1 is applied. As shown in FIG. 2, the diagnostic imaging apparatus inputs an image storage unit 1 that stores a moving image obtained by imaging a tomogram of a living body that is a subject, a display unit 2 that displays an image, and various commands. An operation console 3, an automatic tracking unit 4 that tracks the movement of the heart of a moving image displayed on the display unit 2, and a tracking result of the automatic tracking unit 4 or based on measurement information of the motion calculation unit 6. An image generation storage unit 5 that generates and stores an exercise display image, an exercise calculation unit 6 that calculates various measurement information based on the tracking result of the automatic tracking unit 4, and a signal transmission path 7 formed by connecting them. It is configured to include.
[0019]
In the image storage unit 1, a moving image obtained by capturing a tomographic image of a subject from the diagnostic image capturing apparatus 8 indicated by a broken line is stored online or offline. As the diagnostic image imaging apparatus 8, diagnostic apparatuses such as an ultrasonic diagnostic apparatus, a magnetic resonance imaging (MRI) apparatus, and an X-ray CT apparatus can be applied. In the present embodiment, for example, four-state moving images obtained by capturing tomographic images of the heart under different exercise loads of the subject are stored. That is, the normal load state A, the load I state B in which the patient is exercised to load the heart, the load II state C in which a larger load is applied, and the state D in which the load is removed and recovered A moving image of the aspect is stored. In addition, it is preferable that these tomographic images are captured in synchronization with an electrocardiogram waveform output from an electrocardiograph (not shown), and the electrocardiographic waveform is stored in synchronization with the tomographic image. However, the time axis is synchronized and stored.
[0020]
The console 3 superimposes a mark (mark) on a part of a living tissue whose movement is desired to be tracked on the still image displayed on the still image displayed on the still image displayed on the display unit 2. Various commands such as a command to be displayed and a command to select the type of image to be displayed on the display unit 2 can be input. When setting a mark, four still images of four different load states A to D may be displayed side by side, or may be displayed separately at different times.
[0021]
The automatic tracking unit 4 includes a control unit 10 that controls the entire image diagnostic apparatus, a display control unit 11 that controls switching of an image displayed on the display unit 2, and a mark position of one frame image displayed on the display unit 2. A cut-out image setting unit 12 that sets a cut-out image having a size including the corresponding tracking part, and another frame image of the moving image is read out from the image storage unit 1 and the cut-out image and the local image of the same size having the highest degree of coincidence between the images. Cutout image tracking means 13 for extracting an image, movement amount calculation means 14 for obtaining the coordinate difference between the local image having the highest degree of coincidence and the cutout image, and movement tracking means for obtaining the movement destination coordinates of the tracking portion based on the coordinate difference 15. The movement destination of the tracking part (mark) obtained by the movement tracking unit 15 may be sequentially stored according to the moving image to generate a tracking image of the moving image.
[0022]
On the other hand, the motion calculation unit 5 quantitatively calculates measurement information, which is a physical quantity related to movement such as the movement amount, movement speed, and movement direction of the tracking part, based on the movement destination coordinates of the tracking part obtained by the automatic tracking part 4. It has a function of obtaining and displaying the change of the measurement information on the display unit 2 with a diagram. In particular, the motion calculation unit 5 according to the present embodiment obtains the distance between a pair of marks set to face the inner and outer walls of the myocardium based on the amount of movement of the tracking region as the wall thickness of the myocardium, and the wall of the myocardium. It has a function of obtaining momentum such as change in thickness, rate of change in wall thickness, and rate of change in wall thickness.
[0023]
Further, the image generation storage unit 9 has a function of generating and storing a motion display image in which at least one of luminance and color is changed according to the amount of motion of the myocardium obtained by the motion calculation unit 5. It is configured. In particular, an exercise display image is created for each of four different load states A to D. The electrocardiographic waveform measured by the electrocardiograph is configured to be displayed in synchronization with the motion display image.
[0024]
The display control unit 11 reads out the moving image data stored in the image storage unit 1 in accordance with a command input from the console 3, and displays the moving image or the still image and the exercise stored in the image generation storage unit 5. It has a function of switching or displaying the displayed images.
[0025]
Next, the detailed functional configuration of the diagnostic imaging apparatus of the present embodiment will be described along with the operation according to the processing procedure shown in FIG. First, the motion tracking operation of the heart muscle starts when a command for selecting the tissue motion tracking mode is input from the console 3 (S1). The display control means 11 reads the first frame image ft (t = 0) of the moving image from the image storage unit 1 and displays it on the display unit 2 (S2). For example, it is assumed that a tomographic image of the heart ventricle 21 shown in FIG. 3 is displayed as the first frame image f0. In FIG. 3, when the operator wants to select a specific part of the myocardium 22 as a tracking part of the biological tissue whose movement is to be tracked, the operator operates the mouse or the like of the operation unit 3 to superimpose the tracking part on the frame image f0. The tracking point 23 which is a mark for setting is displayed. Then, the tracking point 23 is moved to be superimposed on the desired tracking part, and the tracking part is input and set. When measuring the wall thickness of the myocardium, which is a feature of the present invention, as shown in FIG. 6A, a pair of tracking points 23 facing each other with the myocardium 23 in between are input and set. In FIG. 3, reference numeral 24 denotes a mitral valve.
[0026]
When the tracking point 23 is input and set, the control means 10 takes in the coordinates of the tracking point 23 on the frame image f0 and sends it to the cutout image setting means 12 (S3). As shown in FIG. 4A, the cut-out image setting means 12 cuts out a rectangular area having a size of 2 (A + 1) pixels in length and width (A is a natural number) around the image of each tracking point 23. (S4). Here, the size of the cut-out image 25 is preferably set in a region having a size including a living tissue different from the living tissue of the tracking point 23.
[0027]
The cutout image tracking unit 13 reads the next frame image f1 of the moving image from the image storage unit 1, and extracts a local image of the same size having the highest degree of matching between the cutout image 25 and the image (S5). This extraction process is image processing called a so-called block matching method or correlation method. If this extraction process is performed for the entire region of the frame image f1, it takes too much processing time. Therefore, in order to shorten the extraction processing time, in the present embodiment, the search area 26 shown in FIG. 4B, which is sufficiently smaller than the frame image f1, is performed. That is, the search area 26 is a rectangular area in which the number of pixels B having a fixed swing width is added to the cutout image 25 in the vertical and horizontal directions. This pixel number B is larger than the amount of movement of the tissue related to the tracking region, and is set to 3 to 10 pixels, for example. This is because the range of movement of the circulatory system such as the heart is limited to a narrow region in a normal visual field. In this way, the local image 27 having the same size in the search area 26 is sequentially shifted to obtain the degree of coincidence with the cut image 25. FIG. 5 shows a specific example of image tracking processing by the correlation method. In this example, in order to simplify the explanation, the size of the cut-out image 25 is assumed to be a rectangular 9-pixel area, and the search area 26 is also assumed to be a rectangular 25-pixel area. That is, the cutout image 25 shown in FIG. 10A is an example in which A = 1 pixel is set around the pixel of the tracking point 23, and the search area 26 shown in FIG. This is an example. According to this, as shown in FIG. 5B, the image coincidence degree is obtained for nine local regions 27. Various known methods can be applied to the method for obtaining the degree of coincidence of images.
[0028]
Next, a local image 27max having the highest image matching degree is extracted from the plurality of searched local images 27, and the local image 27max is set as a movement destination of the cut image 25 to obtain the coordinates of the local image 27max (S6). The coordinates of these images are represented by the coordinates of the center pixel or the coordinates of any corner of the rectangular area. Then, the coordinate difference between the local image 27max and the cut-out image 25 is obtained, and based on this, the movement destination coordinates of the tracking point 23 are obtained and stored. If necessary, the display control means 11 displays the mark of the tracking point 23 on the frame image f1 of the display unit 2 based on the movement destination coordinates of the tracking point 23 (S7). Note that the relative position of the tracking point 23 in the local image 27max and the cutout image 25 is treated as not changing.
[0029]
The motion calculation unit 6 calculates and stores various measurement information related to the movement of the tracking point 23, that is, the movement of the tissue of the tracking part, based on the movement destination coordinates of the tracking point 23 obtained in S7 (S8). That is, the movement direction and the movement amount can be quantitatively measured based on the coordinates of the tracking point 23 before and after the movement. In this embodiment, the wall thickness of the myocardium 23 is calculated from the distance between the pair of tracking points 23, and the change, rate of change, and rate of change of the wall thickness are calculated according to the command and stored (S9). Instead of or in addition to this, it is possible to quantitatively obtain measurement information that is a physical quantity relating to movement such as the movement amount, movement speed, and movement direction of the tracking region. And the various measurement information regarding the movement of the tracking point 23 calculated | required and its change can be displayed on a display part with a graph. Thereby, the viewer can easily observe the movement of the tracking portion.
[0030]
Next, it progresses to step S10, it is judged whether tracking of the tracking point 23 was complete | finished about all the frame images of a moving image, and if there exists an unprocessed frame image, it will return to step S5 and will perform the process of S5-S10. repeat. When the tracking of the tracking point 23 is completed for all the frame images, the tracking processing operation is ended and the movement history data of the tracking point 23 is stored. Next, the image generation storage unit 5 generates a motion display image of the designated wall thickness change, rate of change, and rate of change, and displays the motion display image on the display unit. A specific example of this display image will be described later. As described above, according to the present embodiment, the coordinates of the movement destination of the tracking point 23 can be obtained sequentially, so that the movement of the tracking portion can be easily measured quantitatively and accurately, and diagnostic information can be obtained. Can be provided accurately.
[0031]
Next, a specific example of the heart motion display method, which is a feature of the present invention, will be described with reference to FIGS. First, a command is input from the console 3 to display a tomographic image of the heart on the display unit 2. At this time, as shown in FIG. 6A, still images of four tomographic images having different exercise loads are displayed. On this still image, a plurality of pairs (1 to n) of tracking points 23 are set along the myocardium 22 across the heart wall, and the tracking process is executed by switching to a moving image. In FIG. 6A, only one tomographic still image is shown. However, when necessary, as shown in FIG. 7A, still images of four states A to D in the same time phase. Can be displayed side by side, and a plurality of pairs (1 to n, where n is a natural number) of tracking points 23 can be set for each of the states A to D. When the setting of a plurality of pairs (1 to n) of tracking points 23 is completed in this way, the automatic tracking unit 4 operates to track the movement of each tracking point 23 for each of the states A to D. The motion calculation unit 6 measures the distance (wall thickness) between the tracking points 23 of each pair (1 to n) based on the measurement result of the movement amount of each tracking point 23, and FIG. As shown in c), the wall thickness change and rate of change at an arbitrary pair of tracking points 23 are measured, a graph of the wall thickness change and rate of change is created in the image generation storage unit 5, and the display unit 2 It can be displayed. Thereby, the movement of the myocardium accompanying the expansion and contraction and expansion of the heart can be grasped quantitatively.
[0032]
However, in order to compare the wall thickness change and rate of change between a plurality of pairs (1 to n) of tracking points 23, a large number of graphs measured for each of n pairs of tracking points 23 must be displayed side by side. It becomes complicated and impractical. That is, when scoring is performed for a region obtained by dividing the heart's motor function into six parts, even if the average value of the wall thickness change in each divided region of the myocardium 22 is displayed as a graph, six graphs are displayed side by side. Therefore, the comparative observation becomes complicated.
[0033]
Therefore, as shown in FIG. 8A, it is conceivable to display a three-dimensional graph of the change in wall thickness corresponding to each of the states A to D. In the figure, the horizontal axis represents time, the vertical axis represents the wall thickness change rate, the depth axis represents the measurement site along the myocardium 22, and the measurement was started when the heart was most expanded. It is the result measured about one period until it expands again from a systole. In this way, if it can be displayed as a three-dimensional image, it will be easier to see to some extent, but in this embodiment, the change in the wall thickness of the myocardium (momentum) is not changed along the time axis. It is characterized by generating and displaying a colored exercise display image.
[0034]
As an example of the exercise display image, as shown in FIG. 8B, a rectangular display area 30 is set on the display screen of the display unit 2, the horizontal axis is a time axis, and the vertical axis is a measurement part. Changes in the wall thickness (momentum) of the myocardium at each measurement site are displayed in the display area with luminance changes or colorization along the time axis. This figure is schematically shown. In the figure, the auxiliary line corresponds to the equal thickness line of the wall thickness, the region r1 surrounded by each auxiliary line is a low level wall thickness change region, and the region r2 is a medium level. The wall thickness change region, r3, indicates a high level wall thickness change region, and each of these regions is displayed by continuously changing the luminance (shading) or color according to the continuous wall thickness change. As is apparent from the figure, it can be seen at a glance that the wall thickness change near the middle of the myocardium is delayed compared to other regions, while the wall thickness change at both ends of the myocardium is severe. For example, when the wall thickness change is small, the luminance is set to the minimum value (for example, black), and the luminance is increased as the wall thickness change becomes intense. This exercise display image is created and stored by the image generation storage unit 5 based on the measurement result of the exercise calculation unit 6.
[0035]
Instead of the display shown in FIG. 8B, exercise display images shown in FIGS. 9 to 11 can be formed. That is, in FIG. 9, a schema that is a simulated image of the myocardium can be displayed on the display unit, and a motion display image as shown in FIG. 8B can be superimposed on the image. According to this example, since the wall thickness change of the part corresponding to the shape of the myocardium is displayed, the motion state of the myocardium is very easily recognized. In particular, by observing the change in the region r3 where the wall thickness changes drastically in the four states A to D, for example, in the state C corresponding to the load II state, it can be observed that r3 divided into two places is connected. This means, for example, that if the exercise is intense, the blood flow is improved and the myocardium starts to move. Therefore, it can be diagnosed that the myocardium in this portion has room for recovery. The measurement site corresponds to the tomographic image of the myocardium, and the temporal change in the amount of exercise is displayed as a moving image.
[0036]
FIG. 10 is an example in which four states A to D of an exercise display image similar to those in FIG. 8B are displayed side by side, with the horizontal axis corresponding to time and the vertical axis corresponding to the measurement site. FIG. 11 is an example in which the wall thickness change at a specific myocardial position is graphed and the four states A to D are shown side by side, with the horizontal axis representing time and the vertical axis representing wall thickness change. In the case of FIG. 11, by operating the console 3 and inputting a designated line to the measurement site in the display area 30, the wall thickness change at the measurement site on the designated line is displayed as a graph.
[0037]
FIGS. 8B to 11 are examples of motion display images of changes in the wall thickness of the myocardium. However, the change rate of the wall thickness or the change rate of the wall thickness can be similarly imaged and displayed. For example, when imaging the rate of change of wall thickness, a motion display image of the rate of change of wall thickness is generated and displayed with “red” as the direction of change in wall thickness and “blue” as the direction of decrease in thickness. can do. The wall thickness change rate can be obtained by obtaining wall thickness change rate data based on the measurement result of the motion calculation unit 6, generating a motion display image based on the data, and displaying the motion display image on the display area.
[0038]
As described above, according to the above-described embodiment, the following effects can be obtained. First, if the heart movement is biased to only one side after the heart surgery, or if you want to inspect the part where the blood circulation is poor by observing the part where the change in the wall thickness of the myocardial wall is small, mark the tracking point. Even if the movement display is performed following the movement of the myocardium, it is difficult to observe the subtle difference in the change in the wall thickness because the whole heart wall is confused. In this regard, according to the above embodiment, the momentum such as the change in wall thickness of each measurement site of the myocardium corresponding to the position of the mark is displayed by the difference in brightness, color, etc. It is possible to detect a symptom in which the motion of the heart is biased or a site where blood circulation is poor, which is a site where the change in wall thickness is small.
[0039]
In particular, when evaluating the function of the heart by scoring, the heart wall is generally divided into six along the heart wall of the heart, and the degree of change in wall thickness is divided into five stages for each divided region. “5”, “1” when there is no movement, and “2” to “4” according to the degree of movement in the middle. Furthermore, there are four modes: a normal state A, a load I state B in which the patient is exercised to load the heart, a load II state C in which a greater load is applied, and a state D in which the load is removed and recovered Scoring is performed to diagnose the heart. In this case, there is a problem that the scoring result varies when the degree of movement is determined by the subjective judgment of the viewer and given a score. In this regard, according to the present embodiment, the change in wall thickness, that is, the movement of the myocardium can be quantitatively discriminated based on the difference in brightness or the difference in color. Evaluation can be performed, and the same evaluation result can be obtained even by a viewer with little experience. In particular, since four states can be observed in comparison, evaluation with higher reliability can be performed.
[0040]
In addition, since the motion of the myocardium can be recognized quantitatively, it is possible to identify, for example, the ischemic site or the degree of ischemia in ischemic heart disease. Can be used as an indicator.
[0041]
Further, in the above-described embodiment, in order to observe the movement of the myocardium finely, the number of tracking points 23 that are marks of the tracking site is input and set from the console 3, and the setting work is complicated. Therefore, when the tracking point 23 is set along the myocardial wall, an interval is appropriately provided for a portion where the tissue shape changes gently according to the operator's judgment, and an interval is provided for a portion where the tissue shape changes greatly. You may make it set narrowing. In this case, it is preferable that the tracking point 23 is automatically complemented and set at a close interval by the control means 10.
[0042]
Moreover, although the above-mentioned embodiment demonstrated the example performed offline, if the speed concerning an image tracking process is improved, it can be applied also to an online or real-time moving image. In addition, although a two-dimensional tomographic image has been described as an example, it goes without saying that the present invention can also be applied to a three-dimensional tomographic image.
[0043]
【The invention's effect】
As described above, according to the present invention, since the display method of the ventricular wall thickness measured quantitatively is improved, an accurate diagnosis can be performed.
[Brief description of the drawings]
FIG. 1 is a diagram showing a processing procedure of an embodiment of a biological tissue motion tracking display method of the present invention.
FIG. 2 is a block configuration diagram of an image diagnostic apparatus to which the biological tissue motion tracking display method of FIG. 1 is applied.
FIG. 3 is a diagram for explaining the application of motion tracking of a living tissue of the present invention to a tomographic image of the heart.
FIGS. 4A and 4B are diagrams for explaining an embodiment of an image tracking processing method according to the present invention, in which FIG. 4A is an example of a cut-out image, and FIG. 4B is an example of a search area; .
FIG. 5 is a diagram for explaining image tracking processing by a correlation method using a specific example;
FIG. 6 is an example in which a distance between a plurality of pairs of marks set across a heart wall and a change in the distance are measured and displayed as a graph.
FIG. 7 is an example diagram in which four myocardial tomographic images having different exercise loads for scoring the heart are displayed side by side.
FIG. 8 is a diagram showing an example of a graph showing a change in the wall thickness of the myocardium and an example of a motion display image that displays the change in the wall thickness along the time axis by changing the luminance or coloring.
FIG. 9 is a diagram showing an example in which a schema that is a simulated image of the myocardium is displayed on the display unit, and the four-state motion display image of the present invention is superimposed on the image.
FIG. 10 is a diagram showing an example in which motion display images for displaying a change in wall thickness along a time axis with luminance changes or colors are displayed side by side in four states.
11 is an example of a graph showing a change in wall thickness at the specific measurement site in FIG. 10; FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image memory | storage part 2 Display part 3 Console 4 Automatic tracking part 5 Image generation memory | storage part 6 Motion calculation part 7 Signal transmission path 8 Diagnostic image imaging device 10 Control means 11 Display control means 12 Cutout image setting means 13 Cutout image tracking means 14 Movement amount calculation means 15 Movement tracking means

Claims (7)

動きを有する組織の断層を撮像してなる動画像が記憶された画像記憶部から一フレーム画像を読み出して表示部に表示する第1ステップと、該表示された前記一フレーム画像上において所定部位を挟んで対向する少なくとも一対のマークを設定する第2ステップと、前記各マークが設定された所定部位の動きを前記動画像上で追跡する第3ステップと、前記所定部位の動きに合わせて前記各マークの位置を変更し、変更後の前記一対のマーク間の距離を求める第4ステップと、前記一対のマーク間の距離と該距離の変化率と該距離の変化速度の少なくとも1つの運動量を求める第5ステップと、第5ステップで求めた前記所定部位の運動量に応じて輝度と色の少なくとも一方を変えた運動表示画像を前記表示部に表示する第6ステップとを有し、前記運動表示画像は、矩形領域の一方の軸を前記所定部位に沿って配置された複数対のマークの設定位置に対応させ、他方の軸を時間軸に対応させて生成され、入力設定される前記矩形領域の時間と複数対のマークの設定位置の少なくとも一方を指定する指定線に沿った前記運動量の変化を表すグラフを前記表示部に表示する第7ステップを有する生体組織の運動表示方法。  A first step of reading out one frame image from an image storage unit storing a moving image obtained by imaging a tomographic tissue having movement and displaying the frame on a display unit; and a predetermined region on the displayed one frame image A second step of setting at least a pair of marks opposed to each other, a third step of tracking the movement of the predetermined part on which each mark is set on the moving image, and the respective steps according to the movement of the predetermined part A fourth step of determining the distance between the pair of marks after changing the position of the mark, and determining at least one momentum of the distance between the pair of marks, the rate of change of the distance, and the rate of change of the distance; A fifth step and a sixth step of displaying on the display unit an exercise display image in which at least one of luminance and color is changed according to the amount of exercise of the predetermined part obtained in the fifth step. The motion display image is generated and input and set so that one axis of the rectangular region corresponds to a setting position of a plurality of pairs of marks arranged along the predetermined portion and the other axis corresponds to a time axis. A biological tissue motion display method including a seventh step of displaying on the display unit a graph representing a change in the amount of motion along a specified line that specifies at least one of the time of the rectangular region and the setting positions of a plurality of pairs of marks. . 前記所定部位は、動きを有する組織の内壁と外壁の所定部位であり、前記運動表示画像は、前記所定部位の内壁と外壁を模擬してなる模式図形に、該模式図形における前記各対のマーク位置に対応する領域の輝度と色の少なくとも一方を当該位置における前記運動量に応じて変えた画像を重ねて生成されるものであることを特徴とする請求項1に記載の生体組織の運動表示方法。  The predetermined part is a predetermined part of an inner wall and an outer wall of a tissue having movement, and the motion display image is a schematic figure simulating the inner wall and the outer wall of the predetermined part, and each pair of marks in the schematic figure The method for displaying a movement of a living tissue according to claim 1, wherein an image in which at least one of luminance and color of a region corresponding to the position is changed according to the amount of movement at the position is superimposed and generated. . 動きを有する組織の断層を撮像して得られる動画像データが記憶される画像記憶手段と、前記組織の断層像を表示する表示部と、前記画像記憶手段に記憶された前記動画像データを読み出して動画像又は静止画像を前記表示部に表示させる表示制御手段と、前記表示部に表示された前記静止画像上の所定部位を挟んで対向する少なくとも一対のマークを設定する操作部と、前記表示部に表示された静止画像に前記各マークを含む切出し画像をそれぞれ設定し、前記表示部に表示される前記動画像に基づいて前記切出し画像の移動先を追跡する切り出し画像追跡手段と、該切出し画像の移動先に基づいて前記各マークの移動量を求める移動量演算手段と、動きが異なる各断層像について求めた前記移動量に基づいて運動表示画像を生成して前記表示部に表示させる画像生成手段とを備え、
さらに、前記画像生成手段は、矩形領域の一方の軸を前記所定部位に沿って配置された複数対のマークの設定位置に対応させ、他方の軸を時間軸に対応させた前記運動表示画像を生成し、入力設定される前記矩形領域の時間と複数対のマークの設定位置の少なくとも一方を指定する指定線に沿って、前記移動量演算手段により求めた前記移動量に基づいて前記一対のマーク間の運動量の変化を表すグラフを生成して前記表示部に表示する画像診断装置。
Image storage means for storing moving image data obtained by imaging a tomographic tissue having movement, a display unit for displaying the tomographic image of the tissue, and reading out the moving image data stored in the image storage means Display control means for displaying a moving image or a still image on the display unit, an operation unit for setting at least a pair of marks facing each other with a predetermined portion on the still image displayed on the display unit, and the display A cut-out image tracking means for setting a cut-out image including each of the marks in the still image displayed on the section and tracking the movement destination of the cut-out image based on the moving image displayed on the display section; A movement amount calculating means for calculating a movement amount of each mark based on a movement destination of the image; and a movement display image generated based on the movement amount obtained for each tomographic image having different movements, and And an image generating means for displaying on the radical 113,
Further, the image generation means is configured to display the motion display image in which one axis of the rectangular region corresponds to a setting position of a plurality of pairs of marks arranged along the predetermined portion, and the other axis corresponds to the time axis. The pair of marks based on the amount of movement obtained by the amount-of-movement calculating means along a designation line that designates at least one of the time of the rectangular area to be generated and set and the setting position of a plurality of pairs of marks. diagnostic imaging apparatus for displaying in front Symbol display unit to generate a graph showing the change in momentum between.
前記画像生成手段は、前記動きが異なる各断層像の前記運動表示画像を表示画面に並べて表示させることを特徴とする請求項に記載の画像診断装置。The image diagnostic apparatus according to claim 3 , wherein the image generation unit displays the motion display images of the tomographic images having different motions side by side on a display screen. 前記移動量演算手段により求めた各マークの移動量に基づいて、前記一対のマーク間の距離と該距離の変化率と該距離の変化速度の少なくとも1つの運動量を求める運動算出手段を備え、
前記画像生成手段は、前記運動算出手段により求めた前記運動量に応じて輝度と色の少なくとも一方の画素値を変えて前記運動表示画像を生成することを特徴とする請求項に記載の画像診断装置。
Based on the movement amount of each mark obtained by the movement amount calculation means, comprising a movement calculation means for obtaining at least one momentum of a distance between the pair of marks, a change rate of the distance, and a change speed of the distance;
The image diagnosis according to claim 3 , wherein the image generation unit generates the motion display image by changing at least one pixel value of luminance and color in accordance with the amount of motion obtained by the motion calculation unit. apparatus.
前記運動表示画像は、前記各対のマーク位置における前記動画像の所定部位に対応する領域の輝度と色の少なくとも一方を当該位置における前記移動量に応じて変えた画像であることを特徴とする請求項に記載の画像診断装置。The motion display image is an image in which at least one of luminance and color of an area corresponding to a predetermined part of the moving image at each pair of mark positions is changed according to the amount of movement at the position. The diagnostic imaging apparatus according to claim 3 . 前記運動表示画像は、前記所定部位を模擬してなる模式図形に、該模式図形における前記各対のマーク位置に対応する領域の輝度と色の少なくとも一方を当該位置における前記運動量に応じて変えた画像を重ねて生成されるものであることを特徴とする請求項に記載の画像診断装置。The motion display image is a schematic figure simulating the predetermined part, and at least one of luminance and color of an area corresponding to the pair of mark positions in the schematic figure is changed according to the amount of exercise at the position. The diagnostic imaging apparatus according to claim 3 , wherein the diagnostic imaging apparatus is generated by overlapping images.
JP2003113390A 2003-04-17 2003-04-17 Movement display method and diagnostic imaging apparatus for living tissue Expired - Lifetime JP4359749B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003113390A JP4359749B2 (en) 2003-04-17 2003-04-17 Movement display method and diagnostic imaging apparatus for living tissue

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003113390A JP4359749B2 (en) 2003-04-17 2003-04-17 Movement display method and diagnostic imaging apparatus for living tissue

Publications (3)

Publication Number Publication Date
JP2004313551A JP2004313551A (en) 2004-11-11
JP2004313551A5 JP2004313551A5 (en) 2006-06-15
JP4359749B2 true JP4359749B2 (en) 2009-11-04

Family

ID=33473349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003113390A Expired - Lifetime JP4359749B2 (en) 2003-04-17 2003-04-17 Movement display method and diagnostic imaging apparatus for living tissue

Country Status (1)

Country Link
JP (1) JP4359749B2 (en)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100588371C (en) * 2005-07-27 2010-02-10 株式会社日立医药 Image diagnosis device, measurement point setting method, and program
RU2448649C2 (en) * 2006-05-25 2012-04-27 Конинклейке Филипс Электроникс Н.В. Quantitative analysis and presentation of cardiac chamber wall thickening
JP4960021B2 (en) 2006-06-02 2012-06-27 株式会社東芝 Ultrasonic Doppler diagnostic device and control program for ultrasonic Doppler diagnostic device
JP5173303B2 (en) * 2007-07-27 2013-04-03 株式会社東芝 Medical image processing apparatus and medical image diagnostic apparatus
WO2009078297A1 (en) 2007-12-19 2009-06-25 Konica Minolta Medical & Graphic, Inc. Dynamic image processing system
JP5315686B2 (en) * 2007-12-19 2013-10-16 コニカミノルタ株式会社 Dynamic image diagnosis support system
JP5180593B2 (en) * 2008-01-07 2013-04-10 株式会社東芝 X-ray computed tomography apparatus and three-dimensional image processing apparatus
JP5361194B2 (en) 2008-01-09 2013-12-04 キヤノン株式会社 Image processing apparatus, image processing method, and computer program
JP5222082B2 (en) * 2008-09-25 2013-06-26 キヤノン株式会社 Information processing apparatus, control method therefor, and data processing system
JP5361327B2 (en) * 2008-10-24 2013-12-04 富士フイルムRiファーマ株式会社 ECG synchronized image processing apparatus, method, and computer program
JP6016222B2 (en) * 2010-10-25 2016-10-26 東芝メディカルシステムズ株式会社 Medical image processing apparatus, medical image photographing apparatus, and medical image processing program
JP5660849B2 (en) * 2010-10-26 2015-01-28 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー Image processing apparatus, program, and image diagnostic apparatus
JP5426783B2 (en) * 2013-01-10 2014-02-26 株式会社東芝 X-ray computed tomography apparatus, image processing apparatus, and program
JP5918325B2 (en) * 2014-09-11 2016-05-18 日立アロカメディカル株式会社 Ultrasonic diagnostic equipment
CN114173665A (en) * 2019-08-01 2022-03-11 国立大学法人大阪大学 Vascular wall thickness estimation method, vascular wall thickness estimation device, and vascular wall thickness estimation system
CN119488318A (en) * 2023-08-21 2025-02-21 深圳市理邦精密仪器股份有限公司 Method for determining thickness of right ventricular free wall and ultrasonic device
CN118948246B (en) * 2024-08-28 2025-04-18 广州医科大学附属第一医院(广州呼吸中心) A method, system and device for combined multi-color imaging of CT and MRI

Also Published As

Publication number Publication date
JP2004313551A (en) 2004-11-11

Similar Documents

Publication Publication Date Title
EP1543773B1 (en) Biological tissue motion trace method and image diagnosis device using the trace method
JP4359749B2 (en) Movement display method and diagnostic imaging apparatus for living tissue
JP4389081B2 (en) Region-of-interest tracking control method, diagnostic imaging apparatus using the method, and region-of-interest tracking control program
CN101219061B (en) Coloring electroanatomical maps to indicate ultrasound data acquisition
EP2866638B1 (en) Enhanced visualization of blood vessels using a robotically steered endoscope
AU2004273587B2 (en) Method and device for visually supporting an electrophysiology catheter application in the heart
CN102512209B (en) Ultrasonic diagnostic equipment
JP5148315B2 (en) Medical image processing apparatus and medical image processing program
JP4596759B2 (en) Image diagnostic apparatus and method of operating image diagnostic apparatus
CN100389725C (en) Ultrasonic diagnostic device and ultrasonic image processing method
JP5215036B2 (en) Medical image processing apparatus and medical image processing program
JP4503238B2 (en) Movement display method and diagnostic imaging apparatus for living tissue
CN102860827A (en) MRI involving arterial spin labeling
JPH07250834A (en) Ultrasonic diagnostic system
JP4027867B2 (en) Biomagnetic field measurement device
US20090220050A1 (en) Method for Determining and Displaying at Least One Piece of Information on a Target Volume
JP4321121B2 (en) Method for tracking movement of biological tissue in diagnostic image and diagnostic imaging apparatus using the method
JP4847684B2 (en) Diagnostic imaging equipment
JP2005087594A (en) Diagnostic imaging equipment
US20250327890A1 (en) Information processing device, information processing method, and recording medium
JP2004283583A (en) Method of operating an imaging medical examination device
JP5508035B2 (en) Diagnostic imaging equipment
JP2013144068A (en) Treatment support apparatus and control program
JP4352212B2 (en) Biological tissue motion tracking display method and diagnostic imaging apparatus
JP2010505494A (en) Medical imaging system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060413

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090728

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4359749

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130821

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term