JP7629598B2 - Ultrasound treatment and diagnosis system, program, and affected area tracking evaluation method - Google Patents
Ultrasound treatment and diagnosis system, program, and affected area tracking evaluation method Download PDFInfo
- Publication number
- JP7629598B2 JP7629598B2 JP2021069893A JP2021069893A JP7629598B2 JP 7629598 B2 JP7629598 B2 JP 7629598B2 JP 2021069893 A JP2021069893 A JP 2021069893A JP 2021069893 A JP2021069893 A JP 2021069893A JP 7629598 B2 JP7629598 B2 JP 7629598B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- organ
- acoustic shadow
- ultrasound
- complement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Surgical Instruments (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
本発明は、超音波治療診断システム、プログラムおよび患部追従評価方法に関する。 The present invention relates to an ultrasound diagnostic treatment system , a program, and a method for evaluating tracking of an affected area.
超音波を一点に集束させ、患部を焼灼する治療法であるＨＩＦＵ（High Intensity Focused Ultrasound）が知られている。この治療法による治療対象は、臓器内の結石、腫瘍などである。
この治療法の利点は、メスで開腹せずに治療が可能なことであり、患者の身体への負担を低減することができる。また、この治療法は、放射線治療の超音波版であり、放射線治療のような被曝の恐れがなく、非侵襲的であると言える。
一方、この治療法の問題点として、患者の呼吸、拍動等により臓器が運動し、患部に精確に焦点を合わせることが困難になる点がある。患部に精確に焦点を合わせることができないと、正常組織を損傷するおそれが生じてしまう。
従って、呼吸性運動する患部を追従しながら治療するシステムが必要であると言える。
High-intensity focused ultrasound (HIFU) is a known treatment method that focuses ultrasound at one point to cauterize an affected area. This treatment method is used to treat stones, tumors, and the like within organs.
The advantage of this treatment is that it can be performed without opening the abdomen with a scalpel, which reduces the burden on the patient's body. In addition, this treatment is an ultrasound version of radiation therapy, so there is no risk of exposure like with radiation therapy, and it can be said to be non-invasive.
However, a problem with this treatment is that organs move due to the patient's breathing, heartbeat, etc., making it difficult to focus precisely on the affected area. If the focus cannot be precisely focused on the affected area, there is a risk of damaging normal tissue.
Therefore, a system is needed that can treat the affected area while tracking the respiratory movement.
本発明者等が研究を行ってきた非侵襲超音波診断・治療統合システム（ＮＩＵＴＳ：Non-Invasive Ultrasound Theragnostic System）とは、呼吸・拍動等により能動的に運動する患部を抽出・追従・モニタリングしながら、超音波を集束させてピンポイントに患部へ照射することにより、がん組織の焼灼や、結石の破砕を、患者の皮膚表面を切開することなく非侵襲かつ低負担で行なおうとするものである。 The Non-Invasive Ultrasound Theragnostic System (NIUTS) that the inventors have been researching is a system that aims to cauterize cancer tissue and break up stones non-invasively and with little burden on the patient, without incising the surface of the skin, by extracting, tracking, and monitoring the affected area that is actively moving due to breathing, pulsation, etc., and irradiating the affected area with focused ultrasound waves in a pinpoint manner.
本発明者等が研究を行ってきたシステムの問題点としては、骨などの硬い組織により音波が強く反射することなどがある。詳細には、ＨＩＦＵ治療対象である腎臓は、肋骨、胸骨に覆われているため、音響陰影が発生し、深部の情報が欠損してしまうおそれがある。
音響陰影の影響としては、ＨＩＦＵ治療患部が隠れて診断・モニタリングが困難になること、臓器の追従の精度が低下することなどがある。
Problems with the system that the inventors have been researching include strong reflection of sound waves from hard tissues such as bones, etc. In particular, the kidneys that are the subject of HIFU treatment are covered by the ribs and sternum, which creates acoustic shadows and can lead to a loss of information about deeper areas.
The effects of acoustic shadowing include the hiding of the affected area of the HIFU treatment, making diagnosis and monitoring difficult, and reducing the accuracy of tracking of organs.
また従来から、生体内を運動する注目部分の追跡の精度及びロバスト性の向上を図った生体内運動追跡装置が知られている（例えば、特許文献１参照）。特許文献１に記載された技術では、臓器位置推定部が臓器の過去の動きに基づき生体像における臓器の推定位置を求める。また、特許文献１に記載された技術では、音響陰影が臓器の一部に重なる場合に、臓器の輪郭の非欠損部分に基づいて臓器の位置や回転角が推定される。
ところで、特許文献１に記載された技術では、音響陰影を含む臓器の超音波画像を補完するために、臓器の輪郭を推定しなければならない。
Also, there has been known an in vivo motion tracking device that aims to improve the accuracy and robustness of tracking a part of interest moving in a living body (see, for example, Patent Document 1). In the technology described in
In the technique described in
上述した点に鑑み、本発明は、音響陰影の存在下で臓器の追従の向上および常時診断の可能性を図ることができる超音波治療診断システム、プログラムおよび患部追従評価方法を提供することを目的とする。
詳細には、本発明は、臓器の輪郭を推定する必要なく、臓器の超音波画像に含まれる音響陰影を補完することができる超音波治療診断システム、プログラムおよび患部追従評価方法を提供することを目的とする。
In view of the above, an object of the present invention is to provide an ultrasonic diagnostic and treatment system , a program, and an evaluation method for tracking of an affected area that can improve tracking of an organ and enable continuous diagnosis in the presence of acoustic shadows.
In particular, the present invention aims to provide an ultrasonic diagnostic and treatment system , program, and method for evaluating diseased area tracking that can complement acoustic shadows contained in ultrasonic images of an organ without the need to estimate the contour of the organ.
本発明者等は、鋭意研究において、臓器が呼吸などにより運動していることを利用した、音響陰影領域への画像補完アルゴリズムを見い出したのである。
詳細には、本発明者等は、臓器が呼吸などにより運動しているため、ある時点に撮像された臓器の超音波画像において臓器の特定部位が音響陰影の影響を受けていても、他の時点に撮像された臓器の超音波画像では臓器のその部位が音響陰影の影響を受けておらず、その部位が音響陰影の影響を受けていない臓器の超音波画像を用いることによって、その部位が音響陰影の影響を受けている臓器の超音波画像を補完できることを見い出した。
Through intensive research, the present inventors have discovered an image completion algorithm for acoustic shadow regions that utilizes the fact that organs move due to breathing and the like.
In detail, the inventors have found that even if a particular part of an organ is affected by acoustic shadowing in an ultrasound image of the organ taken at a certain point in time because the organ moves due to breathing, etc., that part of the organ is not affected by acoustic shadowing in an ultrasound image of the organ taken at another point in time, and therefore, by using an ultrasound image of an organ in which that part is not affected by acoustic shadowing, it is possible to complement an ultrasound image of an organ in which that part is affected by acoustic shadowing.
本発明の一態様は、超音波画像を利用する治療および／または診断に用いられる超音波治療診断システムであって、超音波画像を取得する画像取得部と、前記画像取得部によって取得された複数の超音波画像を保管する画像群保管部と、前記画像取得部によって取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する臓器マスク生成部と、前記画像取得部によって取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する音響陰影マスク生成部と、前記画像取得部によって取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する補完対象画像設定部と、前記画像群保管部によって保管されている複数の超音波画像から、前記補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する参考画像探索部と、前記参考画像から、前記補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する補完領域抽出部と、前記補完対象画像に含まれる音響陰影を、前記補完領域抽出部によって抽出された前記補完領域で合成補完する合成補完画像生成部とを備え、前記参考画像探索部は、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記画像群保管部によって保管されている複数の超音波画像のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとに基づいて、前記参考画像を探索する、超音波治療診断システムである。 One aspect of the present invention is an ultrasound treatment and diagnosis system used for treatment and/or diagnosis using ultrasound images, comprising an image acquisition unit that acquires ultrasound images, an image group storage unit that stores a plurality of ultrasound images acquired by the image acquisition unit, an organ mask generation unit that generates an organ mask corresponding to an organ included in the ultrasound image acquired by the image acquisition unit, an acoustic shadow mask generation unit that generates an acoustic shadow mask corresponding to an acoustic shadow included in the ultrasound image acquired by the image acquisition unit, a complementation target image setting unit that sets a complementation target image, which is an ultrasound image acquired by the image acquisition unit, that includes an acoustic shadow and requires complementation, and a selection unit that selects an ultrasound image suitable for complementing the acoustic shadow included in the complementation target image from the plurality of ultrasound images stored by the image group storage unit. The ultrasound treatment and diagnosis system includes a reference image search unit that searches for a reference image, which is an ultrasound image obtained by extracting a region from the reference image, a complementation region that is a region used to complement an acoustic shadow included in the image to be complemented, and a synthetic complement image generation unit that synthesizes and complements the acoustic shadow included in the image to be complemented with the complementation region extracted by the complementation region extraction unit, and the reference image search unit searches for the reference image based on an organ mask corresponding to an organ included in the image to be complemented, an acoustic shadow mask corresponding to the acoustic shadow included in the image to be complemented, an organ mask corresponding to an organ included in a reference candidate image, which is each of a plurality of ultrasound images stored by the image group storage unit, and an acoustic shadow mask corresponding to the acoustic shadow included in the reference candidate image.
本発明の一態様の超音波治療診断システムでは、前記臓器マスク生成部は、医療画像用のセグメンテーション手法による臓器セグメンテーションを行うことによって臓器マスクを生成してもよい。 In one aspect of the ultrasound diagnostic and treatment system of the present invention, the organ mask generation unit may generate an organ mask by performing organ segmentation using a segmentation method for medical images.
本発明の一態様の超音波治療診断システムでは、前記音響陰影マスク生成部は、医療画像用のセグメンテーション手法による音響陰影セグメンテーションを行うことによって音響陰影マスクを生成してもよい。 In one aspect of the ultrasound diagnostic and treatment system of the present invention, the acoustic shadow mask generator may generate an acoustic shadow mask by performing acoustic shadow segmentation using a segmentation method for medical images.
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる臓器に対応する臓器マスクとの類似度に基づいて、前記参考画像を探索してもよい。 In an ultrasound diagnostic and treatment system according to one aspect of the present invention, the reference image search unit may search for the reference image based on the similarity between an organ mask corresponding to an organ included in the image to be complemented and an organ mask corresponding to an organ included in the reference candidate image.
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、Ｄｉｃｅ係数を用いることによって、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる臓器に対応する臓器マスクとの類似度を算出してもよい。 In an ultrasound diagnostic and treatment system according to one aspect of the present invention, the reference image search unit may use a Dice coefficient to calculate the similarity between an organ mask corresponding to an organ included in the image to be complemented and an organ mask corresponding to an organ included in the reference candidate image.
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとの類似度に基づいて、前記参考画像を探索してもよい。 In one aspect of the ultrasound diagnostic and treatment system of the present invention, the reference image search unit may search for the reference image based on the similarity between an acoustic shadow mask corresponding to the acoustic shadow included in the image to be complemented and an acoustic shadow mask corresponding to the acoustic shadow included in the reference candidate image.
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、Ｄｉｃｅ係数を用いることによって、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとの類似度を算出してもよい。 In an ultrasound diagnostic and treatment system according to one aspect of the present invention, the reference image search unit may use Dice coefficients to calculate the similarity between an acoustic shadow mask corresponding to an acoustic shadow included in the image to be complemented and an acoustic shadow mask corresponding to an acoustic shadow included in the reference candidate image.
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致するように、前記補完対象画像に含まれる臓器に対応する臓器マスクおよび前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクに対して、前記参考候補画像に含まれる臓器に対応する臓器マスクおよび前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクの位置合わせを行い、前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致する状態で、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとで音響陰影の輪郭が重複しない場合に、前記参考候補画像を前記参考画像としてもよい。 In one aspect of the ultrasound diagnostic and treatment system of the present invention, the reference image search unit aligns the organ mask corresponding to the organ included in the reference candidate image and the acoustic shadow mask corresponding to the acoustic shadow included in the reference candidate image with the organ mask corresponding to the organ included in the image to be complemented and the acoustic shadow mask corresponding to the acoustic shadow included in the reference candidate image, so that the contours of the organs in the organ mask corresponding to the organ included in the image to be complemented and the organ mask corresponding to the organ included in the reference candidate image match, and when the contours of the acoustic shadows do not overlap between the acoustic shadow mask corresponding to the acoustic shadow included in the image to be complemented and the acoustic shadow mask corresponding to the acoustic shadow included in the reference candidate image, the reference candidate image may be set as the reference image.
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致する状態で、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとで音響陰影の輪郭が少なくとも部分的に重複する場合に、前記画像群保管部によって保管されている複数の超音波画像のうちの他の超音波画像を前記参考候補画像として、前記参考画像を探索してもよい。 In an ultrasound treatment and diagnosis system according to one aspect of the present invention, the reference image search unit may search for the reference image by using another ultrasound image among the multiple ultrasound images stored by the image group storage unit as the reference candidate image when the contours of the organs in the organ mask corresponding to the organ included in the image to be complemented and the organ mask corresponding to the organ included in the reference candidate image match, and the contours of the acoustic shadows in the acoustic shadow mask corresponding to the acoustic shadow included in the image to be complemented and the acoustic shadow mask corresponding to the acoustic shadow included in the reference candidate image at least partially overlap.
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭を一致させるために、前記参考候補画像に含まれる臓器に対応する臓器マスクおよび前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクの平行移動、回転、拡大および縮小の少なくともいずれかを行ってもよい。 In one aspect of the ultrasound diagnostic and treatment system of the present invention, the reference image search unit may perform at least one of translation, rotation, enlargement, and reduction of an organ mask corresponding to an organ included in the reference candidate image and an acoustic shadow mask corresponding to an acoustic shadow included in the reference candidate image in order to match the contours of the organs in the organ mask corresponding to the organ included in the image to be complemented and the organ mask corresponding to the organ included in the reference candidate image.
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、Ｄｉｃｅ係数を用いることによって、前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致したか否かを評価してもよい。 In an ultrasound diagnostic and treatment system according to one aspect of the present invention, the reference image search unit may use a Dice coefficient to evaluate whether or not the contours of an organ match between an organ mask corresponding to an organ included in the image to be complemented and an organ mask corresponding to an organ included in the reference candidate image.
本発明の一態様の超音波治療診断システムでは、前記補完領域抽出部によって前記参考画像から抽出される前記補完領域の形状は、前記補完対象画像に含まれる音響陰影の形状と同一であってもよい。 In one aspect of the ultrasound diagnostic and treatment system of the present invention, the shape of the complement area extracted from the reference image by the complement area extraction unit may be the same as the shape of the acoustic shadow included in the image to be complemented.
本発明の一態様の超音波治療診断システムでは、前記補完領域抽出部によって前記参考画像から抽出される前記補完領域の形状は、前記補完対象画像に含まれる音響陰影の形状と異なり、前記補完領域は、前記補完対象画像に含まれる音響陰影より小さく、前記補完領域には、臓器の輪郭よりも内側の部分に対応する領域のみが含まれてもよい。 In one aspect of the ultrasound diagnostic and treatment system of the present invention, the shape of the complementation region extracted from the reference image by the complementation region extraction unit may be different from the shape of the acoustic shadow included in the image to be complemented, the complementation region may be smaller than the acoustic shadow included in the image to be complemented, and the complementation region may include only an area corresponding to a portion inside the contour of an organ.
本発明の一態様の超音波治療診断システムは、前記合成補完画像生成部によって生成された合成補完画像を表示する合成補完画像表示部を備え、前記合成補完画像表示部は、前記合成補完画像に含まれる前記補完領域と前記補完領域以外の領域とを識別可能に表示してもよい。 The ultrasound diagnostic and treatment system of one aspect of the present invention includes a composite complementary image display unit that displays the composite complementary image generated by the composite complementary image generation unit, and the composite complementary image display unit may display the complementary area included in the composite complementary image in a distinguishable manner from an area other than the complementary area.
本発明の一態様の超音波治療診断システムでは、前記画像取得部によって取得される超音波画像には、３次元プローブを用いて得られた超音波画像が含まれてもよい。 In one aspect of the ultrasound diagnostic and treatment system of the present invention, the ultrasound images acquired by the image acquisition unit may include ultrasound images obtained using a three-dimensional probe.
本発明の一態様は、コンピュータに、超音波画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得された複数の超音波画像を保管する画像群保管ステップと、前記画像取得ステップにおいて取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する臓器マスク生成ステップと、前記画像取得ステップにおいて取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する音響陰影マスク生成ステップと、前記画像取得ステップにおいて取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する補完対象画像設定ステップと、前記画像群保管ステップにおいて保管されている複数の超音波画像から、前記補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する参考画像探索ステップと、前記参考画像から、前記補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する補完領域抽出ステップと、前記補完対象画像に含まれる音響陰影を、前記補完領域抽出ステップにおいて抽出された前記補完領域で合成補完する合成補完画像生成ステップとを実行させるためのプログラムであって、前記参考画像探索ステップでは、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記画像群保管ステップにおいて保管された複数の超音波画像のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとに基づいて、前記参考画像が探索される、プログラムである。 One aspect of the present invention is a method for performing a method of ... a reference image search step for extracting a reference image from the reference image, a complementation area extraction step for extracting a complementation area from the reference image, the complementation area being an area used to complement the acoustic shadow included in the image to be complemented, and a synthetic complement image generation step for synthesizing and complementing the acoustic shadow included in the image to be complemented with the complementation area extracted in the complementation area extraction step, in which the reference image is searched for in the reference image search step based on an organ mask corresponding to the organ included in the image to be complemented, an acoustic shadow mask corresponding to the acoustic shadow included in the image to be complemented, an organ mask corresponding to the organ included in reference candidate images, which are each of a plurality of ultrasound images stored in the image group storage step, and an acoustic shadow mask corresponding to the acoustic shadow included in the reference candidate image.
本発明の一態様は、前記超音波治療診断システムの前記合成補完画像生成部によって生成された合成補完画像に対して、テンプレートマッチングを用いることによって前記合成補完画像に含まれる患部の追従評価を行う、患部追従評価方法である。 One aspect of the present invention is a method for evaluating tracking of an affected area, which uses template matching to evaluate the tracking of an affected area included in a synthetic complement image generated by the synthetic complement image generation unit of the ultrasound diagnostic and treatment system.
本発明によれば、音響陰影の存在下で臓器の追従の向上および常時診断の可能性を図ることができる超音波治療診断システム、プログラムおよび患部追従評価方法を提供することができる。
詳細には、本発明によれば、臓器の輪郭を推定する必要なく、臓器の超音波画像に含まれる音響陰影を補完することができる超音波治療診断システム、プログラムおよび患部追従評価方法を提供することができる。
According to the present invention, it is possible to provide an ultrasonic diagnostic and treatment system , a program , and an affected area tracking evaluation method that can improve organ tracking and enable continuous diagnosis in the presence of acoustic shadows.
In particular, the present invention can provide an ultrasound treatment and diagnosis system , program, and method for evaluating diseased area tracking that can complement acoustic shadows contained in ultrasound images of organs without the need to estimate the contours of the organs.
以下、本発明の超音波治療診断システム、超音波治療診断方法、プログラムおよび患部追従評価方法の実施形態について説明する。 The following describes embodiments of the ultrasound diagnostic treatment system, ultrasound diagnostic treatment method, program, and affected area tracking evaluation method of the present invention.
＜第１実施形態＞
図１は第１実施形態の超音波治療診断システム１の一例を示す図である。
図１に示す例では、第１実施形態の超音波治療診断システム１が、超音波画像を利用する治療および／または診断に用いられる。
超音波治療診断システム１は、画像取得部１１と、画像群保管部１２と、臓器マスク生成部１３と、音響陰影マスク生成部１４と、補完対象画像設定部１５と、参考画像探索部１６と、補完領域抽出部１７と、合成補完画像生成部１８と、合成補完画像表示部１９とを備えている。
画像取得部１１は超音波画像を取得する。画像取得部１１は、例えば特許文献１に記載された技術と同様に、超音波プローブ等を用いて得られた超音波画像を取得する。画像取得部１１によって取得される超音波画像は、２次元映像表示に対応する超音波プローブを用いて得られた超音波画像であっても、３次元映像表示に対応する３次元プローブを用いて得られた超音波画像であってもよい。
First Embodiment
FIG. 1 is a diagram showing an example of an ultrasound diagnostic and
In the example shown in FIG. 1, an ultrasound treatment and
The ultrasound
The
図２は画像取得部１１によって取得された超音波画像ＵＭの一例などを示す図である。詳細には、図２（Ａ）は画像取得部１１によって取得された超音波画像ＵＭの一例を示しており、図２（Ｂ）は第１実施形態の超音波治療診断システム１によって生成された合成補完画像ＣＭの一例を示す図である。
図２に示す例では、画像取得部１１によって取得された超音波画像ＵＭに含まれる臓器が腎臓であるが、他の例では、画像取得部１１によって取得された超音波画像ＵＭに含まれる臓器が腎臓以外の臓器であってもよい。
図２（Ａ）に示すように、画像取得部１１によって取得された超音波画像ＵＭには、音響陰影が含まれる場合がある。そのような場合に、第１実施形態の超音波治療診断システム１では、後述するように、図２（Ａ）に示す音響陰影を補完する処理が行われ、図２（Ｂ）に示すような合成補完画像ＣＭが生成される。
図２に示す例では、腎臓の同断面動画上における図２（Ａ）に示す音響陰影による欠損領域の臓器組織が、第１実施形態の超音波治療診断システム１によって、図２（Ｂ）に示すように再現される。
2A and 2B are diagrams showing an example of an ultrasound image UM acquired by the
In the example shown in FIG. 2, the organ included in the ultrasound image UM acquired by the
As shown in Fig. 2(A), an acoustic shadow may be included in the ultrasound image UM acquired by the
In the example shown in Figure 2, the organ tissue in the missing area due to the acoustic shadow shown in Figure 2 (A) on the same cross-sectional video of the kidney is reproduced as shown in Figure 2 (B) by the ultrasound treatment and
図１に示す例では、画像群保管部１２が、画像取得部１１によって取得された複数の超音波画像を保管する。
図３は超音波プローブを用いて得られた超音波画像ＵＭｋ、ＵＭｋ－１、…、ＵＭｋ－ｉ、…、ＵＭ０が、画像取得部１１によって取得され、画像群保管部１２に保管される流れなどの一例を示す図である。
図３に示す例では、超音波プローブを用いて得られた超音波画像の新しさ（古さ）を示す識別番号「０」が付された超音波画像ＵＭ０（つまり、図３に示す例では、超音波プローブを用いて最初に得られた超音波画像ＵＭ０）などが、画像群保管部１２に保管されている。また、画像群保管部１２には、「０」から「ｋ－１」までの識別番号が付された超音波画像などが保管されている。更に、識別番号「ｋ」が付された超音波画像ＵＭｋ（つまり、図３に示す例では、超音波プローブを用いて得られた最新の超音波画像ＵＭｋ）などが、画像群保管部１２に保管されようとしている。
In the example shown in FIG. 1 , the image
FIG. 3 is a diagram showing an example of a process in which ultrasound images UMk, UMk-1, ..., UMk-i, ..., UM0 obtained using an ultrasound probe are acquired by the
In the example shown in FIG. 3, an ultrasound image UM0 with an identification number "0" indicating the newness (oldness) of an ultrasound image obtained using an ultrasound probe (i.e., in the example shown in FIG. 3, the ultrasound image UM0 obtained first using the ultrasound probe) is stored in the image
図１に示す例では、臓器マスク生成部１３が、画像取得部１１によって取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する。
図３に示す例では、臓器マスク生成部１３が、超音波画像ＵＭ０に含まれる臓器に対応する臓器マスクＧＭ０、超音波画像ＵＭｋ－ｉに含まれる臓器に対応する臓器マスクＧＭｋ－ｉ、超音波画像ＵＭｋ－１に含まれる臓器に対応する臓器マスクＧＭｋ－１などを生成し、それらは、超音波画像ＵＭ０、…、ＵＭｋ－ｉ、…、ＵＭｋ－１などと共に画像群保管部１２に保管されている。
また、図３に示す例では、臓器マスク生成部１３が、超音波画像ＵＭｋに含まれる臓器に対応する臓器マスクＧＭｋを生成し、臓器マスクＧＭｋは、超音波画像ＵＭｋなどと共に画像群保管部１２に保管されようとしている。
In the example shown in FIG. 1 , the organ
In the example shown in Figure 3, the organ
In addition, in the example shown in Figure 3, the organ
図１に示す例では、臓器マスク生成部１３は、例えば、第１実施形態の超音波治療診断システム１の利用者が、画像取得部１１によって取得された超音波画像に含まれる臓器の輪郭をなぞり書き（手書き）したものを利用して、臓器マスクを生成する。
他の例では、臓器マスク生成部１３が、学習機能を有しており、画像取得部１１によって取得された超音波画像に基づいて、その超音波画像に含まれる臓器に対応する臓器マスクを自動生成してもよい。この例では、臓器を含む超音波画像と、その超音波画像に含まれる臓器に対応する臓器マスク（つまり、臓器マスク生成部１３が生成すべき臓器マスク）との組が、教師データとして臓器マスク生成部１３に与えられ、臓器マスク生成部１３の学習が行われる。この例では、臓器マスク生成部１３が、下記の文献に記載されたＵ－Ｎｅｔによる臓器セグメンテーションを行うことによって、臓器マスクを自動生成する。
Olaf Ronneberger, et al., U-Net: Convolutional Networks for Biomedical Image Segmentation, Medical Image Computing and Computer-Assisted Intervention - MICCAI, 2015, pp 234-241.
「Ｕ－Ｎｅｔ：ディープラーニングによるSemantic Segmentation手法（https://blog.negativemind.com/2019/03/15/semantic-segmentation-by-u-net/）」に記載されているように、Ｕ－ＮｅｔはＭＩＣＣＡＩ（Medical Image Computing and Computer-Assisted Intervention）２０１５で発表されたＵ－Ｎｅｔ：Convolutional Networks for Biomedical Image Segmentationで提案された医療画像用セグメンテーション（部分領域の抽出）手法のひとつである。Ｕ－Ｎｅｔは全結合総を持たず、畳み込み層で構成されているため、入力画像サイズを固定する必要がない。Ｕ－Ｎｅｔは、ほぼ左右対称のEncoder-Decoder構造で、Encoderのpoolingを経てダウンダンプリングされた特徴マップをDecoderでアップサンプリングしていく。Ｕ－Ｎｅｔでは、Encoderの各層で出力される特徴マップをDecoderの対応する各層の特徴マップに連結（concatenation）するアプローチ（「スキップ接続」と呼ばれる）が導入されている。
In the example shown in Figure 1, the organ
In another example, the organ
Olaf Ronneberger, et al., U-Net: Convolutional Networks for Biomedical Image Segmentation, Medical Image Computing and Computer-Assisted Intervention - MICCAI, 2015, pp 234-241.
As described in "U-Net: Semantic Segmentation by Deep Learning (https://blog.negativemind.com/2019/03/15/semantic-segmentation-by-u-net/)", U-Net is one of the segmentation (subregion extraction) methods for medical images proposed in U-Net: Convolutional Networks for Biomedical Image Segmentation, presented at MICCAI (Medical Image Computing and Computer-Assisted Intervention) 2015. Since U-Net does not have a fully connected network and is composed of convolutional layers, it is not necessary to fix the input image size. U-Net has an almost symmetrical Encoder-Decoder structure, and the feature map downsampled through Encoder pooling is upsampled by the Decoder. U-Net introduces an approach called "skip connection" that concatenates the feature maps output by each layer of the Encoder to the feature maps of the corresponding layers of the Decoder.
図４は手書きしたものを利用して臓器マスク生成部１３によって臓器マスクＧＭＡが生成される例と、臓器マスク生成部１３によって臓器マスクＧＭＢが自動生成される例とを比較して示す図である。
図４の左下に示す例では、臓器マスク生成部１３が、画像取得部１１によって取得された超音波画像ＵＭに含まれる臓器の輪郭がなぞり書き（手書き）されたものを利用して、臓器マスクＧＭＡを生成する。
図４の右下に示す例では、学習機能を有する臓器マスク生成部１３が、Ｕ－Ｎｅｔによる臓器セグメンテーションを行うことによって、画像取得部１１によって取得された超音波画像ＵＭから、その超音波画像ＵＭに含まれる臓器に対応する臓器マスクＧＭＢを自動生成する。
FIG. 4 is a diagram showing a comparison between an example in which an organ mask GMA is generated by the organ
In the example shown in the lower left of Figure 4, the organ
In the example shown in the lower right of Figure 4, an organ
図１に示す例では、音響陰影マスク生成部１４が、画像取得部１１によって取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する。
図３に示す例では、音響陰影マスク生成部１４が、超音波画像ＵＭ０に含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭ０、超音波画像ＵＭｋ－ｉに含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭｋ－ｉ、超音波画像ＵＭｋ－１に含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭｋ－１などを生成し、それらは、超音波画像ＵＭ０、…、ＵＭｋ－ｉ、…、ＵＭｋ－１などと共に画像群保管部１２に保管されている。
また、図３に示す例では、音響陰影マスク生成部１４が、超音波画像ＵＭｋに含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭｋを生成し、音響陰影マスクＡＭｋは、超音波画像ＵＭｋなどと共に画像群保管部１２に保管されようとしている。
In the example shown in FIG. 1 , the acoustic
In the example shown in FIG. 3, the acoustic shadow
In the example shown in FIG. 3, the acoustic shadow
図１に示す例では、音響陰影マスク生成部１４は、例えば、第１実施形態の超音波治療診断システム１の利用者が、画像取得部１１によって取得された超音波画像に含まれる音響陰影の輪郭をなぞり書き（手書き）したものを利用して、音響陰影マスクを生成する。
他の例では、音響陰影マスク生成部１４が、学習機能を有しており、画像取得部１１によって取得された超音波画像に基づいて、その超音波画像に含まれる音響陰影に対応する音響陰影マスクを自動生成してもよい。この例では、音響陰影を含む超音波画像と、その超音波画像に含まれる音響陰影に対応する音響陰影マスク（つまり、音響陰影マスク生成部１４が生成すべき音響陰影マスク）との組が、教師データとして音響陰影マスク生成部１４に与えられ、音響陰影マスク生成部１４の学習が行われる。この例では、音響陰影マスク生成部１４が、上述した文献に記載されたＵ－Ｎｅｔによる音響陰影セグメンテーションを行うことによって、音響陰影マスクを自動生成する。
In the example shown in Figure 1, the acoustic shadow
In another example, the acoustic shadow
図１に示す例では、補完対象画像設定部１５が、画像取得部１１によって取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する。
図３に示す例では、補完対象画像設定部１５が、画像取得部１１によって取得された超音波画像ＵＭｋ（つまり、図３に示す例では、画像群保管部１２に保管されようとしている最新の超音波画像ＵＭｋ）を補完対象画像として設定する。
In the example shown in FIG. 1, the complement target
In the example shown in Figure 3, the complement target
図１に示す例では、参考画像探索部１６が、画像群保管部１２によって保管されている複数の超音波画像から、補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する。詳細には、参考画像探索部１６は、補完対象画像に含まれる臓器に対応する臓器マスクと、補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、画像群保管部１２によって保管されている複数の超音波画像のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクと、参考候補画像に含まれる音響陰影に対応する音響陰影マスクとに基づいて、参考画像を探索する。
図３に示す例では、参考画像探索部１６が、画像群保管部１２によって保管されている複数の超音波画像ＵＭｋ－１、…、ＵＭｋ－ｉ、…、ＵＭ０から、補完対象画像としての超音波画像ＵＭｋに含まれる音響陰影ＡＳの補完に適した超音波画像である参考画像ＲＭを探索する。詳細には、参考画像探索部１６は、補完対象画像としての超音波画像ＵＭｋに含まれる臓器に対応する臓器マスクＧＭｋと、補完対象画像としての超音波画像ＵＭｋに含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭｋと、画像群保管部１２によって保管されている複数の超音波画像ＵＭｋ－１、…、ＵＭｋ－ｉ、…、ＵＭ０のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクＧＭｋ－１、…、ＧＭｋ－ｉ、…、ＧＭ０と、参考候補画像（超音波画像ＵＭｋ－１、…、ＵＭｋ－ｉ、…、ＵＭ０）に含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭｋ－１、…、ＡＭｋ－ｉ、…、ＡＭ０とに基づいて、参考画像ＲＭを探索する。
1, the reference
In the example shown in Figure 3, the reference
図１に示す例では、補完領域抽出部１７が、参考画像探索部１６によって探索された参考画像から、補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する。
図３に示す例では、補完領域抽出部１７が、参考画像ＲＭから、補完対象画像としての超音波画像ＵＭｋに含まれる音響陰影ＡＳの補完に用いられる補完領域ＣＡを抽出する。
In the example shown in FIG. 1, the complement
In the example shown in FIG. 3, the complement
図１に示す例では、合成補完画像生成部１８が、補完対象画像に含まれる音響陰影を、補完領域抽出部１７によって抽出された補完領域で合成補完する。
図３に示す例では、合成補完画像生成部１８が、補完対象画像としての超音波画像ＵＭｋに含まれている音響陰影ＡＳを、参考画像ＲＭに含まれている補完領域ＣＡを用いて合成補完する。つまり、合成補完画像生成部１８は、補完対象画像としての超音波画像ＵＭｋに含まれている音響陰影ＡＳを、参考画像ＲＭに含まれている補完領域ＣＡで置換することによって、補完対象画像としての超音波画像ＵＭｋから合成補完画像ＣＭ（図２（Ｂ）および図３参照）を生成する。
In the example shown in FIG. 1 , the composite complement
In the example shown in Fig. 3, the synthetic complement
図１に示す例では、合成補完画像表示部１９が、合成補完画像生成部１８によって生成された合成補完画像を表示する。
図３に示す例では、合成補完画像表示部１９が、合成補完画像ＣＭに含まれる補完領域ＣＡと補完領域ＣＡ以外の領域とを識別可能に、合成補完画像ＣＭを表示する。
他の例では、図２（Ｂ）に示すように、合成補完画像表示部１９が、合成補完画像ＣＭに含まれる補完領域ＣＡと補完領域ＣＡ以外の領域とを識別できないように（つまり、補完領域ＣＡと補完領域ＣＡ以外の領域との境界がわからないように）、合成補完画像ＣＭを表示してもよい。
In the example shown in FIG. 1, the composite complement
In the example shown in FIG. 3, the composite complemented
In another example, as shown in FIG. 2(B), the composite complement
図５は本発明者等が行った臓器マスク生成実験を説明するための図である。詳細には、図５（Ａ）は臓器マスク生成実験において用いられた学習用の超音波画像の一例を示しており、図５（Ｂ）は臓器マスク生成実験において用いられた学習用の臓器マスクの一例を示している。つまり、臓器マスク生成実験が、図５（Ａ）に示す超音波画像と図５（Ｂ）に示す臓器マスクとの組などが学習用の教師データとして用いられた。図５（Ｃ）は臓器マスク生成実験において用いられた検証用の超音波画像の一例を示しており、図５（Ｄ）は臓器マスク生成実験において用いられた検証用の臓器マスクの一例を示している。
図５に示す臓器マスク生成実験では、超音波画像を得るために下記の文献に記載された超音波診断ファントム上腹部病変付モデルが用いられた。
https://www.kyotokagaku.com/jp/educational/products/detail03/pdf/us-1b_catalog.pdf
Fig. 5 is a diagram for explaining an organ mask generation experiment conducted by the present inventors. In detail, Fig. 5(A) shows an example of an ultrasound image for learning used in the organ mask generation experiment, and Fig. 5(B) shows an example of an organ mask for learning used in the organ mask generation experiment. That is, in the organ mask generation experiment, a pair of the ultrasound image shown in Fig. 5(A) and the organ mask shown in Fig. 5(B) was used as training data for learning. Fig. 5(C) shows an example of an ultrasound image for verification used in the organ mask generation experiment, and Fig. 5(D) shows an example of an organ mask for verification used in the organ mask generation experiment.
In the organ mask generation experiment shown in FIG. 5, an ultrasound diagnostic phantom model with an upper abdominal lesion described in the following document was used to obtain an ultrasound image.
https://www.kyotokagaku.com/jp/educational/products/detail03/pdf/us-1b_catalog.pdf
図５に示す臓器マスク生成実験では、腎臓の超音波画像のデータとして、様々な方向から撮像されたものが用いられた。撮像された腎臓の超音波画像のデータを拡張するために、撮像された腎臓の超音波画像に対して、回転、縦横スライド（平行移動）、せん断、拡大縮小の処理が行われた。撮像された腎臓の超音波画像（つまり、音響陰影を含んでいない超音波画像）に対して、扇形の音響陰影をランダムに付与する処理が行われた。
また、図５に示す臓器マスク生成実験では、学習用データとして、１０８０枚の腎臓臓器断面画像が用いられ、検証用データとして、２７０枚の腎臓臓器断面画像が用いられ、評価用データとして、１３０枚の腎臓臓器断面画像が用いられた。
In the organ mask generation experiment shown in Fig. 5, kidney ultrasound images captured from various directions were used. In order to expand the data of the captured kidney ultrasound images, the captured kidney ultrasound images were subjected to rotation, vertical and horizontal sliding (translation), shearing, and scaling. The captured kidney ultrasound images (i.e., ultrasound images that do not include acoustic shadows) were subjected to randomly adding fan-shaped acoustic shadows.
In addition, in the organ mask generation experiment shown in Figure 5, 1,080 kidney organ cross-sectional images were used as learning data, 270 kidney organ cross-sectional images were used as verification data, and 130 kidney organ cross-sectional images were used as evaluation data.
図１に示す例では、参考画像探索部１６が、補完対象画像に含まれる臓器に対応する臓器マスクと、参考候補画像に含まれる臓器に対応する臓器マスクとの類似度に基づいて、参考画像を探索する。詳細には、参考画像探索部１６は、Ｄｉｃｅ係数を用いることによって、補完対象画像に含まれる臓器に対応する臓器マスクと、参考候補画像に含まれる臓器に対応する臓器マスクとの類似度を算出する。
In the example shown in FIG. 1, the reference
図６は本発明者等が行った臓器マスク生成実験における実験条件などを説明するための図である。
本発明者等が行った臓器マスク生成実験では、Ｕ－Ｎｅｔによる臓器セグメンテーションを行うことによって臓器を含む超音波画像から自動生成された臓器マスク（つまり、推定された臓器マスク）と、生成されるべき臓器マスク（つまり、正解の臓器マスク）との類似度が、Ｄｉｃｅ係数を用いて算出された。
図６の左上部分は、推定された臓器マスクと正解の臓器マスクとの類似度が高くなるほど、損失関数が１に近い値になることを示している。
本発明者等が行った臓器マスク生成実験では、図６に示すように、エポック数として、６００ｅｐｏｃｈ→４７６ｅｐｏｃｈ目の重みを使用した。最適関数として、Ａｄａｍ（学習率＝０．００１）を使用した。損失関数として、Ｄｉｃｅ係数を使用した。画像前処理として、４００×４００→グレースケール化→２５６×２５６→正規化（０～１）→音響陰影付与を行った。
本発明者等が行った臓器マスク生成実験では、図６の右側部分に示す実行環境（計算機）のもとで、図６の右側部分に示す損失関数（Ｌｏｓｓ）とエポック数（Ｅｐｏｃｈ）との関係が得られた。
FIG. 6 is a diagram for explaining the experimental conditions in the organ mask generation experiment conducted by the present inventors.
In an organ mask generation experiment conducted by the inventors, the similarity between an organ mask (i.e., an estimated organ mask) automatically generated from an ultrasound image including an organ by performing organ segmentation using U-Net and the organ mask to be generated (i.e., the correct organ mask) was calculated using the Dice coefficient.
The upper left part of FIG. 6 shows that the higher the similarity between the estimated organ mask and the ground truth organ mask, the closer the loss function is to 1.
In the organ mask generation experiment conducted by the inventors, as shown in FIG. 6, the weights of the 600th epoch and the 476th epoch were used as the number of epochs. Adam (learning rate = 0.001) was used as the optimal function. The Dice coefficient was used as the loss function. The image preprocessing was performed as follows: 400 x 400 → grayscale → 256 x 256 → normalization (0 to 1) → acoustic shading.
In an organ mask generation experiment conducted by the present inventors, the relationship between the loss function (Loss) and the number of epochs (Epoch) shown in the right part of FIG. 6 was obtained under the execution environment (computer) shown in the right part of FIG. 6.
図７は本発明者等が行った臓器マスク生成実験の結果を説明するための図である。
詳細には、図７（Ａ）はＤｉｃｅ係数が０．９７６になった例における臓器を含む超音波画像と、その超音波画像から自動生成された臓器マスク（推定された臓器マスク）と、生成されるべき臓器マスク（正解の臓器マスク）とを左側から順に示している。
図７（Ｂ）はＤｉｃｅ係数が０．９７４になった例における臓器を含む超音波画像と、その超音波画像から自動生成された臓器マスク（推定された臓器マスク）と、生成されるべき臓器マスク（正解の臓器マスク）とを左側から順に示している。
図７（Ｃ）はＤｉｃｅ係数が０．９５９になった例における臓器を含む超音波画像と、その超音波画像から自動生成された臓器マスク（推定された臓器マスク）と、生成されるべき臓器マスク（正解の臓器マスク）とを左側から順に示している。
図７（Ｄ）はＤｉｃｅ係数が０．９５１になった例における臓器を含む超音波画像と、その超音波画像から自動生成された臓器マスク（推定された臓器マスク）と、生成されるべき臓器マスク（正解の臓器マスク）とを左側から順に示している。
本発明者等が行った臓器マスク生成実験では、図７に示すように、Ｄｉｃｅ係数の平均が０．９７０になった。つまり、本発明者等が行った臓器マスク生成実験では、音響陰影と臓器とを含む超音波画像から、臓器領域を高精度に抽出することができた（すなわち、高精度な臓器マスクを自動生成することができた）。
本発明者等が行った臓器マスク生成実験と同様の手法を用いることによって、音響陰影と臓器とを含む超音波画像から、音響陰影領域を高精度に抽出することができる（すなわち、高精度な音響陰影マスクを自動生成することができる）。
FIG. 7 is a diagram for explaining the results of an organ mask generation experiment conducted by the present inventors.
In detail, FIG. 7(A) shows, from the left, an ultrasound image including an organ in an example where the Dice coefficient is 0.976, an organ mask automatically generated from the ultrasound image (estimated organ mask), and an organ mask to be generated (correct organ mask).
Figure 7 (B) shows, from the left, an ultrasound image including an organ in an example where the Dice coefficient is 0.974, an organ mask automatically generated from the ultrasound image (estimated organ mask), and an organ mask to be generated (correct organ mask).
Figure 7 (C) shows, from the left, an ultrasound image including an organ in an example where the Dice coefficient is 0.959, an organ mask automatically generated from the ultrasound image (estimated organ mask), and an organ mask to be generated (correct organ mask).
Figure 7 (D) shows, from the left, an ultrasound image including an organ in an example where the Dice coefficient is 0.951, an organ mask automatically generated from the ultrasound image (estimated organ mask), and an organ mask to be generated (correct organ mask).
In an organ mask generation experiment conducted by the present inventors, the average Dice coefficient was 0.970, as shown in Fig. 7. In other words, in an organ mask generation experiment conducted by the present inventors, it was possible to extract organ regions with high accuracy from ultrasound images containing acoustic shadows and organs (i.e., it was possible to automatically generate highly accurate organ masks).
By using a technique similar to that used in the organ mask generation experiments conducted by the inventors, it is possible to extract acoustic shadow regions with high accuracy from ultrasound images that contain acoustic shadows and organs (i.e., it is possible to automatically generate highly accurate acoustic shadow masks).
図１に示す例では、参考画像探索部１６が、補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、参考候補画像に含まれる音響陰影に対応する音響陰影マスクとの類似度に基づいて、参考画像を探索する。詳細には、参考画像探索部１６は、Ｄｉｃｅ係数を用いることによって、補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、参考候補画像に含まれる音響陰影に対応する音響陰影マスクとの類似度を算出する。
In the example shown in FIG. 1, the reference
また、図１に示す例では、参考画像探索部１６が、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致するように、補完対象画像に含まれる臓器に対応する臓器マスクおよび補完対象画像に含まれる音響陰影に対応する音響陰影マスクに対して、参考候補画像に含まれる臓器に対応する臓器マスクおよび参考候補画像に含まれる音響陰影に対応する音響陰影マスクの位置合わせを行う。
In the example shown in FIG. 1, the reference
図８は参考画像探索部１６による位置合わせの一例を説明するための図である。
図８に示す例では、参考画像探索部１６が、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭を一致させるために、参考候補画像に含まれる臓器に対応する臓器マスクおよび参考候補画像に含まれる音響陰影に対応する音響陰影マスクの平行移動（詳細には、例えば重心中心への平行移動）を行う。
更に、図８に示す例では、参考画像探索部１６が、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭を一致させるために、参考候補画像に含まれる臓器に対応する臓器マスクおよび参考候補画像に含まれる音響陰影に対応する音響陰影マスクの回転（詳細には、例えば重心中心の回転）を行う。
他の例では、参考画像探索部１６が、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭を一致させるために、参考候補画像に含まれる臓器に対応する臓器マスクおよび参考候補画像に含まれる音響陰影に対応する音響陰影マスクの拡大または縮小を行ってもよい。
FIG. 8 is a diagram for explaining an example of positioning by the reference
In the example shown in Figure 8, the reference
Furthermore, in the example shown in Figure 8, the reference
In another example, the reference
図１に示す例では、参考画像探索部１６は、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致する状態で、補完対象画像に含まれる音響陰影に対応する音響陰影マスクと参考候補画像に含まれる音響陰影に対応する音響陰影マスクとで音響陰影の輪郭が重複しない場合（例えば図８の右上部分の場合）に、参考候補画像を参考画像とする。
一方、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致する状態で、補完対象画像に含まれる音響陰影に対応する音響陰影マスクと参考候補画像に含まれる音響陰影に対応する音響陰影マスクとで音響陰影の輪郭が少なくとも部分的に重複する場合（例えば図８の右下部分の場合）に、参考画像探索部１６は、画像群保管部１２によって保管されている複数の超音波画像のうちの他の超音波画像を参考候補画像として、参考画像を探索する。
In the example shown in Figure 1, the reference
On the other hand, when the contours of an organ match between the organ mask corresponding to the organ included in the image to be complemented and the organ mask corresponding to the organ included in the reference candidate image, and the contours of the acoustic shadow at least partially overlap between the acoustic shadow mask corresponding to the acoustic shadow included in the image to be complemented and the acoustic shadow mask corresponding to the acoustic shadow included in the reference candidate image (for example, the case of the lower right part of Figure 8), the reference
図１に示す例では、参考画像探索部１６が、図８に示すように、Ｄｉｃｅ係数を用いることによって、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致したか否かを評価する。
In the example shown in FIG. 1, the reference
図９は補完領域抽出部１７による参考画像ＲＭからの補完領域ＣＡの抽出および合成補完画像生成部１８による補完対象画像の合成補完（合成補完画像ＣＭの生成）の一例を説明するための図である。
図９に示す例では、補完領域抽出部１７が、参考画像ＲＭから、補完対象画像としての超音波画像に含まれる音響陰影ＡＳの補完に用いられる補完領域ＣＡを抽出する。合成補完画像生成部１８は、補完対象画像に含まれている音響陰影ＡＳを、参考画像ＲＭに含まれている補完領域ＣＡを用いて合成補完する。つまり、合成補完画像生成部１８は、補完対象画像に含まれている音響陰影ＡＳを、参考画像ＲＭに含まれている補完領域ＣＡで置換することによって、補完対象画像から合成補完画像ＣＭを生成する。
図９に示す例では、補完領域抽出部１７によって参考画像ＲＭから抽出される補完領域ＣＡの形状が、補完対象画像に含まれる音響陰影ＡＳの形状と同一である。
他の例では、補完領域抽出部１７によって参考画像ＲＭから抽出される補完領域ＣＡの形状が、補完対象画像に含まれる音響陰影ＡＳの形状と異なっていてもよい。この例では、補完領域ＣＡが補完対象画像に含まれる音響陰影ＡＳより小さく、補完領域ＣＡには、臓器の輪郭よりも内側の部分に対応する領域のみが含まれる。この例では、補完対象画像に含まれる音響陰影ＡＳのうちの臓器の輪郭よりも外側の部分に対応する領域が、合成補完画像ＣＭにそのまま残される。
FIG. 9 is a diagram for explaining an example of extraction of a complementary area CA from a reference image RM by the complementary
9, the complement
In the example shown in FIG. 9, the shape of the complement area CA extracted from the reference image RM by the complement
In another example, the shape of the complement area CA extracted from the reference image RM by the complement
図１０は本発明者等が行った合成補完実験を説明するための図である。
図１０に示す臓器マスク生成実験では、超音波画像を得るために上述した文献に記載された超音波診断ファントム上腹部病変付モデルが用いられ、そのモデルを呼吸性運動方向に移動させながら超音波画像を得た。
FIG. 10 is a diagram for explaining a synthesis and complementation experiment conducted by the present inventors.
In the organ mask generation experiment shown in FIG. 10, the ultrasound diagnostic phantom model with an upper abdominal lesion described in the above-mentioned literature was used to obtain ultrasound images, and ultrasound images were obtained while moving the model in the direction of respiratory motion.
図１０に示す臓器マスク生成実験では、同一断面の腎臓ファントムの超音波動画が用いられた。ベッド型ロボットによって、呼吸性運動が再現された。超音波画像として、腹部から撮像された腎臓断面画像Ａと、背部から撮像された腎臓断面画像Ｂとが１種類ずつ利用された。事前にアノテーションしたデータが、臓器マスクとして利用された。扇形の音響陰影がランダムに作成された。腹部から撮像された腎臓断面画像Ａが３１７枚用いられ、背部から撮像された腎臓断面画像Ｂが２８０枚用いられた。 In the organ mask generation experiment shown in Figure 10, ultrasound videos of a kidney phantom of the same cross section were used. Respiratory movements were reproduced by a bed-type robot. One type of kidney cross section image A captured from the abdomen and one type of kidney cross section image B captured from the back were used as ultrasound images. Pre-annotated data was used as the organ mask. Fan-shaped acoustic shadows were randomly created. 317 kidney cross section images A captured from the abdomen and 280 kidney cross section images B captured from the back were used.
図１１は本発明者等が行った合成補完実験の評価方法を説明するための図である。
図１１に示す合成補完実験の評価方法では、補完対象画像と合成補完画像との類似度評価が行われた。詳細には、補完領域ＣＡ内の臓器領域ＧＡの正解画像に対する類似度評価が行われた。
図１１に示す類似度評価では、零平均正規化相互相関（ＺＮＣＣ：Zero-mean Normalized Cross-Correlation）が用いられた。零平均正規化相互相関は－１以上１以下の値になり、零平均正規化相互相関の値が１に近いほど、補完領域ＣＡ内の臓器領域ＧＡの正解画像に対する類似度は高くなる。目標類似度としての零平均正規化相互相関の値が０．７００に設定された。
FIG. 11 is a diagram for explaining the evaluation method of the synthesis and complementation experiment conducted by the present inventors.
In the evaluation method of the synthesis and complement experiment shown in Fig. 11, a similarity evaluation was performed between the complement target image and the synthesis and complemented image. In detail, a similarity evaluation was performed between the organ area GA in the complement area CA and the correct image.
In the similarity evaluation shown in Fig. 11, zero-mean normalized cross-correlation (ZNCC) was used. The zero-mean normalized cross-correlation has a value between -1 and 1, and the closer the value of the zero-mean normalized cross-correlation is to 1, the higher the similarity of the organ area GA in the complement area CA to the correct image. The value of the zero-mean normalized cross-correlation as the target similarity was set to 0.700.
本発明者等が行った合成補完実験では、補完された腎臓領域の類似度評価として、上述した腎臓断面画像Ａを２８６枚用いた場合の腎臓領域のＺＮＣＣ平均が０．７４０になった。上述した腎臓断面画像Ｂを２５３枚用いた場合の腎臓領域のＺＮＣＣ平均は０．６３０になった。合計の腎臓領域のＺＮＣＣ平均は０．６６７になった。 In a synthesis and complementation experiment conducted by the inventors, the average ZNCC of the kidney region was 0.740 when 286 of the above-mentioned kidney cross-sectional images A were used to evaluate the similarity of the complemented kidney region. The average ZNCC of the kidney region was 0.630 when 253 of the above-mentioned kidney cross-sectional images B were used. The average ZNCC of the total kidney region was 0.667.
図１２は図１０に示す腎臓断面画像Ａについて本発明者等が行った合成補完実験（画像合成実験）の結果を示す図である。詳細には、図１２はＺＮＣＣを用いた腎臓補完領域の類似度比較を示している。図１２の横軸は画像の番号を示しており、図１２の縦軸は類似度を示している。ＺＮＣＣを用いた腎臓補完領域の類似度比較では、ＺＮＣＣの平均が０．７４０になった。
本発明者等が行った合成補完実験では、腎臓領域の目標類似度０．７００を達成した合成補完画像を生成することができた。つまり、合成補完画像において、輪郭や内部組織を滑らかに合成することができた。
Fig. 12 shows the results of a synthesis and completion experiment (image synthesis experiment) conducted by the present inventors on the kidney cross-sectional image A shown in Fig. 10. In detail, Fig. 12 shows a similarity comparison of kidney completion regions using ZNCC. The horizontal axis of Fig. 12 shows the image number, and the vertical axis of Fig. 12 shows the similarity. In the similarity comparison of kidney completion regions using ZNCC, the average ZNCC was 0.740.
In a synthesis and complementation experiment conducted by the present inventors, it was possible to generate a synthesis and complementation image that achieved the target similarity of 0.700 for the kidney region. In other words, it was possible to synthesize the contours and internal tissues smoothly in the synthesis and complementation image.
図１３は第１実施形態の超音波治療診断システム１において実行される処理の一例を示すフローチャートである。
図１３に示す例では、ステップＳ１１において、画像取得部１１が超音波画像を取得する。
次いで、ステップＳ１２では、画像群保管部１２が、ステップＳ１１において取得された複数の超音波画像を保管する。
次いで、ステップＳ１３では、臓器マスク生成部１３が、ステップＳ１１において取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する。
また、ステップＳ１４では、音響陰影マスク生成部１４が、ステップＳ１１において取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する。
また、ステップＳ１５では、補完対象画像設定部１５が、ステップＳ１１において取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する。
次いで、ステップＳ１６では、参考画像探索部１６が、ステップＳ１２において保管された複数の超音波画像から、ステップＳ１５において設定された補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する。
次いで、ステップＳ１７では、補完領域抽出部１７が、ステップＳ１６において探索された参考画像から、ステップＳ１５において設定された補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する。
次いで、ステップＳ１８では、合成補完画像生成部１８が、ステップＳ１５において設定された補完対象画像に含まれる音響陰影を、ステップＳ１７において抽出された補完領域で合成補完する。
次いで、ステップＳ１９では、合成補完画像表示部１９が、ステップＳ１８において生成された合成補完画像を表示する。
FIG. 13 is a flowchart showing an example of processing executed in the ultrasound
In the example shown in FIG. 13, in step S11, the
Next, in step S12, the image
Next, in step S13, the
In step S14, the acoustic
In step S15, the complement target
Next, in step S16, the reference
Next, in step S17, the complement
Next, in step S18, the composite complement
Next, in step S19, the composite complement
上述したように、第１実施形態の超音波治療診断システム１では、臓器の輪郭を推定する必要なく、臓器の超音波画像に含まれる音響陰影を補完することができる。
As described above, the ultrasound treatment and
＜第２実施形態＞
以下、本発明の超音波治療診断システム、超音波治療診断方法、プログラムおよび患部追従評価方法の第２実施形態について説明する。
第２実施形態の超音波治療診断システム１は、後述する点を除き、上述した第１実施形態の超音波治療診断システム１と同様に構成されている。従って、第２実施形態の超音波治療診断システム１によれば、後述する点を除き、上述した第１実施形態の超音波治療診断システム１と同様の効果を奏することができる。
Second Embodiment
A second embodiment of the ultrasonic diagnostic treatment system, ultrasonic diagnostic treatment method, program, and affected area tracking evaluation method of the present invention will be described below.
The ultrasonic
上述したように、第１実施形態の超音波治療診断システム１では、合成補完画像生成部１８によって生成された合成補完画像に対して、テンプレートマッチングを用いた評価が行われない。
一方、第２実施形態の超音波治療診断システム１では、後述するように、合成補完画像生成部１８によって生成された合成補完画像に対して、図１１に示す類似度評価に加えて、テンプレートマッチングを用いることによって合成補完画像に含まれる患部の追従評価が行われる。
As described above, in the ultrasound
On the other hand, in the second embodiment of the ultrasound
図１４は本発明者等が行った合成補完実験における合成補完画像に含まれる患部の追従評価方法を説明するための図である。
図１４に示す合成補完実験の評価方法では、合成補完画像生成部１８によって生成された合成補完画像の視認性評価のために、テンプレートマッチングによる患部追従が行われる。テンプレートマッチングによる追従（追跡）については、例えば特開２０１９－０３３９６０号公報に記載された技術と同様の技術が用いられる。
図１４に示す合成補完実験の評価方法では、テンプレートを正解画像、補完対象画像、合成補完画像内で走査し、ＺＮＣＣが最も高い位置を検出し、重心座標（ｘ，ｙ）とした。また、ユークリッド距離［ｍｍ］の目標精度を１ｍｍ以内に設定した。
図１４において、「ＥＤ正－影」は、正解画像と補完対象画像とのユークリッド距離を示しており、「ＥＤ正－合」は、正解画像と合成補完画像とのユークリッド距離を示している。
FIG. 14 is a diagram for explaining a method for evaluating the tracking of an affected area included in a composite-complemented image in a composite-complementation experiment conducted by the present inventors.
14, the evaluation method of the synthetic complement experiment involves tracking of the affected area by template matching in order to evaluate the visibility of the synthetic complement image generated by the synthetic complement
In the evaluation method of the synthesis and complement experiment shown in Fig. 14, the template was scanned in the correct image, the complement target image, and the synthesis and complement image, and the position with the highest ZNCC was detected and set as the center of gravity coordinate (x, y). The target accuracy of the Euclidean distance [mm] was set to within 1 mm.
In FIG. 14, "ED correct-shadow " indicates the Euclidean distance between the correct image and the image to be complemented, and "ED correct-match " indicates the Euclidean distance between the correct image and the composite complemented image.
本発明者等が行った合成補完実験では、テンプレートマッチングによる患部追従評価として、上述した腎臓断面画像Ａ（動画像Ａ）を用いた場合に、正解画像と音響陰影入り画像（補完対象画像）とのユークリッド距離平均が３５．２［ｍｍ］になり、正解画像と合成補完画像とのユークリッド距離平均が０．５３［ｍｍ］になった。正解画像の患部領域のＺＮＣＣ平均が０．７８６になり、音響陰影入り画像（補完対象画像）の患部領域のＺＮＣＣ平均が０．６３５になり、合成補完画像の患部領域のＺＮＣＣ平均が０．７６１になった。
上述した腎臓断面画像Ｂ（動画像Ｂ）を用いた場合には、正解画像と音響陰影入り画像（補完対象画像）とのユークリッド距離平均が１７．３［ｍｍ］になり、正解画像と合成補完画像とのユークリッド距離平均が０．３３［ｍｍ］になった。正解画像の患部領域のＺＮＣＣ平均が０．８３３になり、音響陰影入り画像（補完対象画像）の患部領域のＺＮＣＣ平均が０．５９７になり、合成補完画像の患部領域のＺＮＣＣ平均が０．７８８になった。
腎臓断面画像Ａ（動画像Ａ）に関する結果と腎臓断面画像Ｂ（動画像Ｂ）に関する結果とを合わせると、正解画像と音響陰影入り画像（補完対象画像）とのユークリッド距離平均が２５．７［ｍｍ］になり、正解画像と合成補完画像とのユークリッド距離平均が０．４２［ｍｍ］になった。正解画像の患部領域のＺＮＣＣ平均が０．８１１になり、音響陰影入り画像（補完対象画像）の患部領域のＺＮＣＣ平均が０．６１５になり、合成補完画像の患部領域のＺＮＣＣ平均が０．７７５になった。
In a synthesis and complement experiment conducted by the present inventors, when the above-mentioned kidney cross-sectional image A (moving image A) was used to evaluate diseased area tracking by template matching, the average Euclidean distance between the correct image and the acoustic shadowed image (image to be complemented) was 35.2 [mm], and the average Euclidean distance between the correct image and the synthetic complemented image was 0.53 [mm]. The average ZNCC of the diseased area of the correct image was 0.786, the average ZNCC of the diseased area of the acoustic shadowed image (image to be complemented) was 0.635, and the average ZNCC of the diseased area of the synthetic complemented image was 0.761.
When the above-mentioned kidney cross-sectional image B (moving image B) was used, the average Euclidean distance between the correct image and the acoustic shadowed image (image to be complemented) was 17.3 [mm], and the average Euclidean distance between the correct image and the synthetic complemented image was 0.33 [mm]. The average ZNCC of the affected area of the correct image was 0.833, the average ZNCC of the affected area of the acoustic shadowed image (image to be complemented) was 0.597, and the average ZNCC of the affected area of the synthetic complemented image was 0.788.
Combining the results for kidney cross-sectional image A (moving image A) and kidney cross-sectional image B (moving image B), the average Euclidean distance between the correct image and the acoustic shadowed image (image to be complemented) was 25.7 [mm], and the average Euclidean distance between the correct image and the synthetic complemented image was 0.42 [mm]. The average ZNCC of the affected area of the correct image was 0.811, the average ZNCC of the affected area of the acoustic shadowed image (image to be complemented) was 0.615, and the average ZNCC of the affected area of the synthetic complemented image was 0.775.
図１５は本発明者等が行った第２実施形態の超音波治療診断システム１を用いた腎臓断面画像Ａ（動画像Ａ）に関する合成補完実験（画像合成実験）の結果を示す図である。
詳細には、図１５（Ａ）は正解画像（正解動画像）と合成補完画像とのユークリッド距離および正解画像（正解動画像）と補完対象画像とのユークリッド距離を示している。図１５（Ａ）の横軸は画像の番号を示しており、図１５（Ａ）の縦軸は、正解動画像（正解動画像）と合成補完画像生成部１８によって生成された合成補完画像とのユークリッド距離、および、正解動画像（正解動画像）と補完対象画像設定部１５によって設定された補完対象画像とのユークリッド距離を示している。上述したように、正解動画像（正解動画像）と合成補完画像とのユークリッド距離の平均が０．５３ｍｍになり、正解動画像（正解動画像）と補完対象画像とのユークリッド距離の平均が３５．２ｍｍになった。
図１５（Ｂ）は検出領域の類似度比較を示している。図１５（Ｂ）の横軸は画像の番号を示しており、図１５（Ｂ）の縦軸は正解画像、補完対象画像（音響陰影入り画像）および合成補完画像の類似度を示している。上述したように、正解画像の患部領域のＺＮＣＣ平均が０．７８６になり、合成補完画像の患部領域のＺＮＣＣ平均が０．７６１になった。
FIG. 15 is a diagram showing the results of a synthesis and complementation experiment (image synthesis experiment) conducted by the present inventors on a renal cross-sectional image A (moving image A) using the ultrasound diagnostic and
In detail, Fig. 15(A) shows the Euclidean distance between the correct image (correct answer video image) and the synthetic complement image, and the Euclidean distance between the correct image (correct answer video image) and the complement target image. The horizontal axis of Fig. 15(A) shows the image number, and the vertical axis of Fig. 15(A) shows the Euclidean distance between the correct answer video image (correct answer video image) and the synthetic complement image generated by the synthetic complement
Fig. 15B shows a comparison of the similarity of the detected regions. The horizontal axis of Fig. 15B shows the image number, and the vertical axis of Fig. 15B shows the similarity of the correct image, the complemented image (acoustic shadowed image), and the composite complemented image. As described above, the average ZNCC of the affected area of the correct image was 0.786, and the average ZNCC of the affected area of the composite complemented image was 0.761.
図１６は腎臓断面画像Ａに対するテンプレートマッチングによる患部追従評価を説明するための図である。
詳細には、図１６（Ａ）は音響陰影を含む補完対象画像（補完対象動画像）に対してテンプレートマッチングによる患部追従評価が行われている状態を示している。図１６（Ａ）に示す評価では、音響陰影が補完対象画像に含まれているため、患部（腎臓）に追従できない結果となった。
図１６（Ｂ）は正解画像（正解動画像）に対してテンプレートマッチングによる患部追従評価が行われている状態を示している。図１６（Ｂ）に示す評価では、音響陰影が正解画像に含まれていないため、患部（腎臓）に追従することができた。
図１６（Ｃ）は合成補完画像（合成補完動画像）に対してテンプレートマッチングによる患部追従評価が行われている状態を示している。図１６（Ｃ）に示す評価では、音響陰影が補完領域によって補完されているため（つまり、音響陰影が合成補完画像に含まれていないため）、患部（腎臓）に追従することができた。
FIG. 16 is a diagram for explaining evaluation of diseased area tracking by template matching for kidney cross-sectional image A.
In detail, Fig. 16A shows a state where evaluation of diseased part tracking by template matching is performed on a complement target image (complement target moving image) including an acoustic shadow. In the evaluation shown in Fig. 16A, since the complement target image includes an acoustic shadow, the result is that tracking of the diseased part (kidney) is not possible.
Fig. 16B shows a state where evaluation of diseased area tracking is performed on a correct image (correct moving image) by template matching. In the evaluation shown in Fig. 16B, since the correct image does not include an acoustic shadow, it was possible to track the diseased area (kidney).
Fig. 16C shows a state where the evaluation of tracking of the affected area by template matching is performed on the synthetic complement image (synthetic complement video image). In the evaluation shown in Fig. 16C, since the acoustic shadow is complemented by the complement area (i.e., the acoustic shadow is not included in the synthetic complement image), tracking of the affected area (kidney) was possible.
本発明者等が行った合成補完実験では、患部追従精度０．４２［ｍｍ］を達成した合成補完画像を生成することができた。つまり、治療患部モニタリングに十分な精度を達成した。また、合成補完領域の類似度が低い場合に、輪郭や内部組織のずれが生じ、そのずれが視認性の低下につながることが確認できた。 In a synthesis completion experiment conducted by the inventors, a synthesis completion image was generated that achieved an affected area tracking accuracy of 0.42 mm. In other words, sufficient accuracy was achieved for monitoring the affected area during treatment. It was also confirmed that when the similarity of the synthesis completion area is low, deviations in the contours and internal tissues occur, and these deviations lead to reduced visibility.
第２実施形態の超音波治療診断システム１では、音響陰影の存在下で臓器の追従の向上および常時診断の可能性を図ることができる。
The ultrasound treatment and
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。上述した各実施形態および各例に記載の構成を組み合わせてもよい。 Although the above describes the form for carrying out the present invention using the embodiments, the present invention is not limited to these embodiments in any way, and various modifications and substitutions can be made without departing from the scope of the present invention. The configurations described in the above-mentioned embodiments and examples may be combined.
なお、上述した実施形態における超音波治療診断システム１が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
In addition, the whole or part of the functions of each unit of the ultrasound
Furthermore, "computer-readable recording medium" refers to portable media such as flexible disks, optical magnetic disks, ROMs, and CD-ROMs, and storage units such as hard disks built into computer systems. Furthermore, "computer-readable recording medium" may also include those that dynamically hold a program for a short period of time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line, and those that hold a program for a certain period of time, such as volatile memory inside a computer system that serves as a server or client in such cases. Furthermore, the above program may be one that realizes part of the above-mentioned functions, or may be one that can realize the above-mentioned functions in combination with a program already recorded in the computer system.
１…超音波治療診断システム、１１…画像取得部、１２…画像群保管部、１３…臓器マスク生成部、１４…音響陰影マスク生成部、１５…補完対象画像設定部、１６…参考画像探索部、１７…補完領域抽出部、１８…合成補完画像生成部、１９…合成補完画像表示部 1...Ultrasound treatment and diagnosis system, 11...Image acquisition section, 12...Image group storage section, 13...Organ mask generation section, 14...Acoustic shadow mask generation section, 15...Complement target image setting section, 16...Reference image search section, 17...Complement area extraction section, 18...Synthetic complementary image generation section, 19...Synthetic complementary image display section
Claims (17)
超音波画像を取得する画像取得部と、
前記画像取得部によって取得された複数の超音波画像を保管する画像群保管部と、
前記画像取得部によって取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する臓器マスク生成部と、
前記画像取得部によって取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する音響陰影マスク生成部と、
前記画像取得部によって取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する補完対象画像設定部と、
前記画像群保管部によって保管されている複数の超音波画像から、前記補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する参考画像探索部と、
前記参考画像から、前記補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する補完領域抽出部と、
前記補完対象画像に含まれる音響陰影を、前記補完領域抽出部によって抽出された前記補完領域で合成補完する合成補完画像生成部とを備え、
前記参考画像探索部は、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記画像群保管部によって保管されている複数の超音波画像のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとに基づいて、前記参考画像を探索する、
超音波治療診断システム。 An ultrasound diagnostic and treatment system for use in treatment and/or diagnosis using ultrasound images, comprising:
an image acquisition unit for acquiring an ultrasound image;
an image group storage unit that stores a plurality of ultrasound images acquired by the image acquisition unit;
an organ mask generating unit that generates an organ mask corresponding to an organ included in the ultrasound image acquired by the image acquiring unit;
an acoustic shadow mask generating unit that generates an acoustic shadow mask corresponding to an acoustic shadow included in the ultrasound image acquired by the image acquiring unit;
a complementation target image setting unit that sets a complementation target image, which is an ultrasound image acquired by the image acquisition unit, that includes an acoustic shadow and needs to be complemented;
a reference image search unit that searches for a reference image that is an ultrasound image suitable for complementing an acoustic shadow included in the complement target image from among the plurality of ultrasound images stored by the image group storage unit;
a complementation region extraction unit that extracts, from the reference image, a complementation region that is used to complement an acoustic shadow included in the complement target image;
a synthetic complement image generating unit that synthesizes and complements the acoustic shadow included in the complement target image with the complement area extracted by the complement area extracting unit,
the reference image search unit searches for the reference image based on an organ mask corresponding to an organ included in the image to be complemented, an acoustic shadow mask corresponding to an acoustic shadow included in the image to be complemented, an organ mask corresponding to an organ included in a reference candidate image, which is each of a plurality of ultrasound images stored by the image group storage unit, and an acoustic shadow mask corresponding to an acoustic shadow included in the reference candidate image;
Ultrasound treatment and diagnostic system.
請求項１に記載の超音波治療診断システム。 The organ mask generation unit generates an organ mask by performing organ segmentation using a segmentation method for medical images.
The ultrasound diagnostic and treatment system according to claim 1 .
請求項１に記載の超音波治療診断システム。 The acoustic shadow mask generating unit generates an acoustic shadow mask by performing acoustic shadow segmentation using a segmentation method for medical images.
The ultrasound diagnostic and treatment system according to claim 1 .
請求項１に記載の超音波治療診断システム。 the reference image search unit searches for the reference image based on a similarity between an organ mask corresponding to an organ included in the complement target image and an organ mask corresponding to an organ included in the reference candidate image;
The ultrasound diagnostic and treatment system according to claim 1 .
請求項４に記載の超音波治療診断システム。 The reference image search unit calculates a similarity between an organ mask corresponding to an organ included in the complement target image and an organ mask corresponding to an organ included in the reference candidate image by using a Dice coefficient.
The ultrasonic diagnostic and treatment system according to claim 4.
請求項１に記載の超音波治療診断システム。 The reference image search unit searches for the reference image based on a similarity between an acoustic shadow mask corresponding to an acoustic shadow included in the complement target image and an acoustic shadow mask corresponding to an acoustic shadow included in the reference candidate image.
The ultrasound diagnostic and treatment system according to claim 1 .
請求項６に記載の超音波治療診断システム。 The reference image search unit calculates a similarity between an acoustic shadow mask corresponding to an acoustic shadow included in the complement target image and an acoustic shadow mask corresponding to an acoustic shadow included in the reference candidate image by using a Dice coefficient.
The ultrasonic diagnostic and treatment system according to claim 6.
前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致するように、前記補完対象画像に含まれる臓器に対応する臓器マスクおよび前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクに対して、前記参考候補画像に含まれる臓器に対応する臓器マスクおよび前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクの位置合わせを行い、
前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致する状態で、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとで音響陰影の輪郭が重複しない場合に、前記参考候補画像を前記参考画像とする、
請求項１に記載の超音波治療診断システム。 The reference image search unit
aligning an organ mask corresponding to an organ included in the reference candidate image and an acoustic shadow mask corresponding to an acoustic shadow included in the reference candidate image with respect to an organ mask corresponding to an organ included in the image to be complemented and an acoustic shadow mask corresponding to an acoustic shadow included in the image to be complemented, so that the contours of the organs in the organ mask corresponding to the organ included in the image to be complemented and the organ mask corresponding to the organ included in the reference candidate image coincide with each other;
When an organ mask corresponding to an organ included in the image to be complemented and an organ mask corresponding to an organ included in the reference candidate image match in outline, and an acoustic shadow mask corresponding to an acoustic shadow included in the image to be complemented and an acoustic shadow mask corresponding to an acoustic shadow included in the reference candidate image do not overlap in outline, the reference candidate image is selected as the reference image.
The ultrasound diagnostic and treatment system according to claim 1 .
前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致する状態で、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとで音響陰影の輪郭が少なくとも部分的に重複する場合に、前記画像群保管部によって保管されている複数の超音波画像のうちの他の超音波画像を前記参考候補画像として、前記参考画像を探索する、
請求項８に記載の超音波治療診断システム。 The reference image search unit
when an organ mask corresponding to an organ included in the image to be complemented and an organ mask corresponding to an organ included in the reference candidate image have identical contours, and when an acoustic shadow mask corresponding to an acoustic shadow included in the image to be complemented and an acoustic shadow mask corresponding to an acoustic shadow included in the reference candidate image at least partially overlap with each other, another ultrasound image among the plurality of ultrasound images stored by the image group storage unit is set as the reference candidate image, and the reference image is searched for.
The ultrasound diagnostic and treatment system according to claim 8.
前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭を一致させるために、前記参考候補画像に含まれる臓器に対応する臓器マスクおよび前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクの平行移動、回転、拡大および縮小の少なくともいずれかを行う、
請求項８に記載の超音波治療診断システム。 The reference image search unit
performing at least one of translation, rotation, enlargement, and reduction of an organ mask corresponding to an organ included in the reference candidate image and an acoustic shadow mask corresponding to an acoustic shadow included in the reference candidate image, in order to match the contours of the organs between the organ mask corresponding to the organ included in the image to be complemented and the organ mask corresponding to the organ included in the reference candidate image;
The ultrasound diagnostic and treatment system according to claim 8.
Ｄｉｃｅ係数を用いることによって、前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致したか否かを評価する、
請求項８に記載の超音波治療診断システム。 The reference image search unit
using a Dice coefficient to evaluate whether or not an organ contour matches an organ mask corresponding to an organ included in the image to be complemented and an organ mask corresponding to an organ included in the reference candidate image;
The ultrasound diagnostic and treatment system according to claim 8.
請求項１に記載の超音波治療診断システム。 a shape of the complement area extracted from the reference image by the complement area extraction unit is identical to a shape of an acoustic shadow included in the complement target image;
The ultrasound diagnostic and treatment system according to claim 1 .
前記補完領域は、前記補完対象画像に含まれる音響陰影より小さく、
前記補完領域には、臓器の輪郭よりも内側の部分に対応する領域のみが含まれる、
請求項１に記載の超音波治療診断システム。 the shape of the complement area extracted from the reference image by the complement area extraction unit is different from the shape of the acoustic shadow included in the complement target image,
the complemented region is smaller than an acoustic shadow included in the complement target image;
The complementary region includes only a region corresponding to a portion inside the outline of an organ.
The ultrasound diagnostic and treatment system according to claim 1 .
前記合成補完画像表示部は、前記合成補完画像に含まれる前記補完領域と前記補完領域以外の領域とを識別可能に表示する、
請求項１に記載の超音波治療診断システム。 a composite complement image display unit that displays the composite complement image generated by the composite complement image generation unit,
the composite complement image display unit displays the complement area included in the composite complement image and an area other than the complement area in a distinguishable manner;
The ultrasound diagnostic and treatment system according to claim 1 .
請求項１に記載の超音波治療診断システム。 The ultrasound images acquired by the image acquisition unit include ultrasound images acquired using a three-dimensional probe.
The ultrasound diagnostic and treatment system according to claim 1 .
超音波画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された複数の超音波画像を保管する画像群保管ステップと、
前記画像取得ステップにおいて取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する臓器マスク生成ステップと、
前記画像取得ステップにおいて取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する音響陰影マスク生成ステップと、
前記画像取得ステップにおいて取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する補完対象画像設定ステップと、
前記画像群保管ステップにおいて保管されている複数の超音波画像から、前記補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する参考画像探索ステップと、
前記参考画像から、前記補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する補完領域抽出ステップと、
前記補完対象画像に含まれる音響陰影を、前記補完領域抽出ステップにおいて抽出された前記補完領域で合成補完する合成補完画像生成ステップとを実行させるためのプログラムであって、
前記参考画像探索ステップでは、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記画像群保管ステップにおいて保管された複数の超音波画像のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとに基づいて、前記参考画像が探索される、
プログラム。 On the computer,
An image acquisition step of acquiring an ultrasound image;
an image group storage step of storing the plurality of ultrasound images acquired in the image acquisition step;
an organ mask generating step of generating an organ mask corresponding to an organ included in the ultrasound image acquired in the image acquiring step;
an acoustic shadow mask generating step of generating an acoustic shadow mask corresponding to an acoustic shadow included in the ultrasound image acquired in the image acquiring step;
a complementation target image setting step of setting a complementation target image which is an ultrasound image acquired in the image acquisition step, the ultrasound image including an acoustic shadow and which needs to be complemented;
a reference image searching step of searching for a reference image that is an ultrasound image suitable for complementing an acoustic shadow included in the complement target image from among the plurality of ultrasound images stored in the image group storing step;
a complementation region extraction step of extracting, from the reference image, a complementation region used for complementing an acoustic shadow included in the complement target image;
a synthetic complement image generating step of synthesizing and complementing an acoustic shadow included in the complement target image with the complement area extracted in the complement area extracting step,
In the reference image search step, the reference image is searched for based on an organ mask corresponding to an organ included in the image to be complemented, an acoustic shadow mask corresponding to an acoustic shadow included in the image to be complemented, an organ mask corresponding to an organ included in a reference candidate image, which is each of the multiple ultrasound images stored in the image group storage step, and an acoustic shadow mask corresponding to an acoustic shadow included in the reference candidate image.
program.
患部追従評価方法。 and performing a tracking evaluation of the diseased area included in the composite complement image by using template matching for the composite complement image generated by the composite complement image generating unit of the ultrasound diagnostic and treatment system according to claim 1.
Method for assessing patient follow-up.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021069893A JP7629598B2 (en) | 2021-04-16 | 2021-04-16 | Ultrasound treatment and diagnosis system, program, and affected area tracking evaluation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021069893A JP7629598B2 (en) | 2021-04-16 | 2021-04-16 | Ultrasound treatment and diagnosis system, program, and affected area tracking evaluation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022164416A JP2022164416A (en) | 2022-10-27 |
| JP7629598B2 true JP7629598B2 (en) | 2025-02-14 |
Family
ID=83742896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021069893A Active JP7629598B2 (en) | 2021-04-16 | 2021-04-16 | Ultrasound treatment and diagnosis system, program, and affected area tracking evaluation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7629598B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116596901A (en) * | 2023-05-25 | 2023-08-15 | 千诊万确(上海)科技有限公司 | A big data-based ultrasonic data monitoring system and method |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010233961A (en) | 2009-03-31 | 2010-10-21 | Canon Inc | Image processing apparatus and image processing method |
| WO2011118287A1 (en) | 2010-03-24 | 2011-09-29 | オリンパス株式会社 | Endoscope device |
| JP2018509229A (en) | 2015-03-25 | 2018-04-05 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Segmentation selection system and segmentation selection method |
| JP2018113648A (en) | 2017-01-13 | 2018-07-19 | 日本電信電話株式会社 | Video image generation device, video image generation method, and program |
| JP2018143416A (en) | 2017-03-03 | 2018-09-20 | 国立大学法人 東京大学 | In vivo motion tracking device |
| WO2019130636A1 (en) | 2017-12-27 | 2019-07-04 | 株式会社日立製作所 | Ultrasound imaging device, image processing device, and method |
| JP2020534892A (en) | 2017-09-14 | 2020-12-03 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Ultrasonic image processing |
-
2021
- 2021-04-16 JP JP2021069893A patent/JP7629598B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010233961A (en) | 2009-03-31 | 2010-10-21 | Canon Inc | Image processing apparatus and image processing method |
| WO2011118287A1 (en) | 2010-03-24 | 2011-09-29 | オリンパス株式会社 | Endoscope device |
| JP2018509229A (en) | 2015-03-25 | 2018-04-05 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Segmentation selection system and segmentation selection method |
| JP2018113648A (en) | 2017-01-13 | 2018-07-19 | 日本電信電話株式会社 | Video image generation device, video image generation method, and program |
| JP2018143416A (en) | 2017-03-03 | 2018-09-20 | 国立大学法人 東京大学 | In vivo motion tracking device |
| JP2020534892A (en) | 2017-09-14 | 2020-12-03 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Ultrasonic image processing |
| WO2019130636A1 (en) | 2017-12-27 | 2019-07-04 | 株式会社日立製作所 | Ultrasound imaging device, image processing device, and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022164416A (en) | 2022-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11830189B2 (en) | Systems and methods to process ultrasound images for musculoskeletal conditions | |
| Gillies et al. | Deep learning segmentation of general interventional tools in two‐dimensional ultrasound images | |
| US10368809B2 (en) | Method and apparatus for tracking a position of a tumor | |
| CN111918697A (en) | Medical image processing device, treatment system, and medical image processing program | |
| JP6829437B2 (en) | In vivo motion tracking device | |
| JP4481824B2 (en) | System and method for identifying vascular borders | |
| US20230149092A1 (en) | Systems and methods for compensating for obstructions in medical images | |
| Yang et al. | Medical instrument detection in ultrasound: a review | |
| CN111192268A (en) | Medical image segmentation model construction method and CBCT image bone segmentation method | |
| JP7629598B2 (en) | Ultrasound treatment and diagnosis system, program, and affected area tracking evaluation method | |
| Kimbowa et al. | Advancements in needle visualization enhancement and localization methods in ultrasound: a literature review | |
| Tyagi et al. | Nerve block target localization and needle guidance for autonomous robotic ultrasound guided regional anesthesia | |
| CN115300809B (en) | Image processing method and device, computer equipment and storage medium | |
| CN121038732A (en) | Remote intervention robot system, control method and equipment | |
| JP2025510396A (en) | Full Ablation Workflow System | |
| Smistad et al. | Real-time segmentation of blood vessels, nerves and bone in ultrasound-guided regional anesthesia using deep learning | |
| Yang et al. | Medical instrument detection in ultrasound-guided interventions: A review | |
| Wang et al. | Optimal path generation in scala tympani and path planning for robotic cochlear implant of perimodiolar electrode | |
| JP7486603B2 (en) | Method and system for supplementing medical scan image information onto an augmented reality image - Patents.com | |
| Matsuyama et al. | A novel complementation method of an acoustic shadow region utilizing a convolutional neural network for ultrasound-guided therapy | |
| CN119273906B (en) | Unsupervised domain self-adaptive medical image segmentation method based on style consistency | |
| CN120959893B (en) | Methods and devices for obtaining intraoperative transesophageal ultrasound images guided by preoperative CT images | |
| Regodic | Visual guidance for optimal placement of an auditory brainstem implant with magnetic navigation and maximum clinical application accuracy | |
| Igarashi et al. | Lesion tracking method using CNN for non-invasive ultrasound theranostic system | |
| Hongxu et al. | Medical instrument detection in ultrasound: a review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240404 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250122 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7629598 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |