JP7092346B2 - 画像制御装置 - Google Patents

Description

本開示は画像制御装置に関する。

従来、ＨＩＦＵ（High Intensity Focused Ultrasound）治療システムが知られている。ＨＩＦＵ治療システムは、超音波を照射するプローブを備える。プローブから照射された超音波は焦点に収束する。術者は、超音波を照射する前に、プローブの先端の位置が目標照射位置と一致するように、プローブを移動させる。目標照射位置は治療したい患部である。ＨＩＦＵ治療システムは特許文献１に開示されている。

特開２０１８－６５２２３号公報

プローブの周辺には水袋が取り付けられている。そのため、術者は、プローブの先端を直接視認することが困難である。その結果、術者は、プローブの先端の位置と、目標照射位置との位置関係を理解し難い。

本開示の一局面は、プローブの先端の位置と、目標照射位置との位置関係を術者に理解させることができる画像制御装置を提供することを目的とする。

本開示の一局面は、経皮的治療デバイス（１３）の作業領域（３７）を表す画像を取得するように構成された画像取得ユニット（２１）と、前記画像取得ユニットが取得する前記画像において、前記経皮的治療デバイスが前記作業領域を遮蔽する程度を推測するように構成された画像推測ユニット（２３）と、前記画像取得ユニットが取得した前記画像であって、前記遮蔽する程度が閾値以下であると前記画像推測ユニットにより推測された前記画像を記憶するように構成された記憶ユニット（２５）と、前記記憶ユニットが最後に記憶した前記画像における、前記経皮的治療デバイスが備えるプローブの先端の位置を推測するように構成されたプローブ推測ユニット（２７）と、前記記憶ユニットが最後に記憶した前記画像に、前記プローブ推測ユニットが推測した前記先端の位置を表す先端マーカ（５９）を追加するように構成されたマーカ追加ユニット（２９）と、前記先端マーカが追加された前記画像を出力するように構成された出力ユニット（３１）と、を備える画像制御装置（３）である。

本開示の一局面である画像制御装置は、経皮的治療デバイスの作業領域を表す画像に、先端マーカを追加することができる。術者は、先端マーカが追加された画像を見ることで、プローブの先端の位置と、作業領域に含まれる目標照射位置との位置関係を容易に理解することができる。

また、本開示の一局面である画像制御装置は、経皮的治療デバイスが作業領域を遮蔽する程度が閾値以下である画像を使用する。そのため、画像において、経皮的治療デバイスが目標照射位置を遮蔽してしまうことを抑制できる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述す
る実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

治療システム１の構成を表す説明図である。 画像制御装置３の機能的構成を表すブロック図である。 画像制御装置３が実行する処理を表すフローチャートである。 記憶画像５７の例を表す説明図である。 矢印マーカ５９及び焦点マーカ６１が追加された記憶画像５７を表す説明図である。 先端ユニット１３が目標マーカ５８等を遮蔽している仮想的な画像を表す説明図である。 画像制御装置３が実行する処理を表すフローチャートである。 矢印マーカ５９が追加された横方向画像６３の例を表す説明図である。

本開示の例示的な実施形態を、図面を参照しながら説明する。
１．治療システム１の構成
治療システム１の構成を図１、図２に基づき説明する。図１に示すように、治療システム１は、画像制御装置３と、カメラ５と、ディスプレイ７と、ロボット制御部９と、ロボットアーム１１と、先端ユニット１３と、監視用力覚センサ１５と、を備える。先端ユニット１３は経皮的治療デバイスに対応する。経皮的治療デバイスとは、超音波、放射線等を外部から患者の体内に照射するデバイスである。

画像制御装置３は、ＣＰＵ１７と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ１９とする）と、を有するマイクロコンピュータを備える。画像制御装置３の各機能は、ＣＰＵ１７が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１９が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像制御装置３は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。

画像制御装置３は、図２に示すように、画像取得ユニット２１と、画像推測ユニット２３と、記憶ユニット２５と、プローブ推測ユニット２７と、マーカ追加ユニット２９と、出力ユニット３１と、画像変換ユニット３３と、読み出しユニット３５と、を備える。

画像制御装置３に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。

図１に示すように、カメラ５は台３６に固定されている。カメラ５は作業領域３７を撮影することができる。カメラ５は作業領域３７の斜め上方に位置する。作業領域３７は患者３９の一部である。患者３９はベッド４１の上に横臥している。作業領域３７は、先端ユニット１３が作業を行う領域である。カメラ５は、ステレオカメラ又はデプスカメラである。カメラ５は、カメラ５から作業領域３７までの距離（以下では撮影距離とする）を表す情報を作成することができる。カメラ５の撮影方向及び撮影範囲は一定である。

ディスプレイ７は、画像制御装置３が出力する画像を表示する。術者はディスプレイ７
に表示された画像を見ることができる。術者とは、治療システム１を使用する者である。
ロボット制御部９は、ロボットアーム１１の動作を制御する。ロボットアーム１１の根元部４３は台３６に固定されている。根元部４３とカメラ５との位置関係は一定である。

ロボットアーム１１の先端部４５には、先端ユニット１３及び監視用力覚センサ１５が取り付けられている。ロボットアーム１１は、動作することにより、先端ユニット１３及び監視用力覚センサ１５の位置を変化させることができる。ロボットアーム１１は、先端ユニット１３のうち、後述する水袋５１を患者３９に押し付けることができる。監視用力覚センサ１５は、患者３９が先端ユニット１３に加える力を検出する。

先端ユニット１３は、ＨＩＦＵ照射部４７、診断プローブ４９、水袋５１、操作部５３、及び操作用力覚センサ５５を備える。ＨＩＦＵ照射部４７は、焦点に収束した超音波を作業領域３７に照射する。ＨＩＦＵ照射部４７は、超音波を照射するプローブに対応する。

診断プローブ４９は、超音波を用いて、患者３９の体内を表す超音波画像を作成する。水袋５１は、ＨＩＦＵ照射部４７と患者３９との間に位置する。水袋５１は患者３９に押し当てられる。

操作部５３は、術者が把持可能なハンドルである。操作部５３は術者により操作される。操作用力覚センサ５５は、術者によって操作部５３に加えられた力の大きさと方向とを検出する。ロボット制御部９は、操作用力覚センサ５５が検出した力の大きさと方向とに応じてロボットアーム１１を動作させる。
２．画像制御装置３が実行する処理
画像制御装置３が所定時間ごとに繰り返し実行する処理を図３～図６に基づき説明する。図３のステップ１では、画像推測ユニット２３が、ロボット制御部９から、先端ユニット１３の位置を取得する。先端ユニット１３の位置とは、根元部４３を基準とする３次元空間における位置である。

ステップ２では、画像推測ユニット２３が遮蔽比率を推測する。遮蔽比率とは、カメラ５が作業領域３７を撮影して生じる画像のうち、先端ユニット１３が占める部分の比率である。例えば、カメラ５が生成する画像全体の面積をＡとする。その画像のうち、先端ユニット１３が占める部分の面積をＢとする。遮蔽比率は、（Ｂ／Ａ）×１００％である。遮蔽比率は、カメラ５が生成する画像において、先端ユニット１３が作業領域を遮蔽する程度に対応する。

カメラ５の撮影方向及び撮影範囲は一定であるから、先端ユニット１３の位置が決まれば、遮蔽比率は一義的に決まる。メモリ１９は、先端ユニット１３の位置と、遮蔽比率との関係を規定するマップを予め記憶している。画像推測ユニット２３は、前記ステップ１で取得した先端ユニット１３の位置をマップに入力することで、遮蔽比率を推測する。すなわち、画像推測ユニット２３は、前記ステップ１で取得した先端ユニット１３の位置に基づき、遮蔽比率を推測する。

ステップ３では、前記ステップ２で推測した遮蔽比率が予め設定した閾値以下であるか否かを画像推測ユニット２３が判断する。遮蔽比率が閾値以下であると判断した場合、本処理はステップ４に進む。遮蔽比率が閾値より大きいと判断した場合、本処理はステップ１２に進む。

ステップ４では、画像取得ユニット２１が、カメラ５を用いて画像を取得する。取得した画像は作業領域３７を表す画像である。また、取得した画像は、遮蔽比率が閾値以下で
あると推測された画像である。

ステップ５では、画像変換ユニット３３が、前記ステップ４で取得した画像を、作業領域３７の真上の視点から見た画像に変換する。このとき、画像変換ユニット３３は、カメラ５から、撮影距離を表す情報を取得し、画像の変換に使用する。

ステップ６では、前記ステップ５で変換した画像を、記憶ユニット２５がメモリ１９に記憶する。記憶した画像を以下では記憶画像とする。メモリ１９に既に記憶画像が記憶されていた場合、記憶ユニット２５は既存の記憶画像を消去する。よって、メモリ１９に記憶されている記憶画像は、記憶ユニット２５が最後に記憶した記憶画像である。

図４に、記憶画像５７の例を示す。記憶画像５７は作業領域３７を表す。作業領域３７には、目標照射位置を表すマーカ（以下では目標マーカ５８とする）が術者によって記入されている。

ステップ７では、記憶画像における、ＨＩＦＵ照射部４７の先端の位置（以下では照射部先端位置とする）をプローブ推測ユニット２７が推測する。また、記憶画像における、ＨＩＦＵ照射部４７の軸方向（以下では単に軸方向とする）をプローブ推測ユニット２７が推測する。なお、ステップ７で使用される記憶画像は、前記ステップ６で記憶された記憶画像か、後述するステップ１２で読み出された記憶画像である。

カメラ５の位置及び撮影方向は一定であるから、先端ユニット１３の位置及び撮影距離が決まれば、照射部先端位置及び軸方向は一義的に決まる。メモリ１９は、先端ユニット１３の位置と、撮影距離と、照射部先端位置及び軸方向との関係を規定するマップを予め記憶している。プローブ推測ユニット２７は、前記ステップ１で取得した先端ユニット１３の位置と、カメラ５から取得した撮影距離とをマップに入力することで、照射部先端位置及び軸方向を推測する。

ステップ８では、記憶画像における、焦点の位置をプローブ推測ユニット２７が推測する。焦点とは、ＨＩＦＵ照射部４７が照射する超音波の焦点である。焦点の位置は、照射部先端位置から軸方向に沿って所定距離進んだ位置である。プローブ推測ユニット２７は、前記ステップ７で推測した照射部先端位置及び軸方向に基づき焦点の位置を推測する。

ステップ９では、図５に示すように、マーカ追加ユニット２９が、記憶画像５７に矢印マーカ５９を追加する。矢印マーカ５９の先端５９Ａの位置は、前記ステップ７で推測した照射部先端位置である。矢印マーカ５９が示す方向は、前記ステップ７で推測した軸方向と平行である。よって、矢印マーカ５９は、照射部先端位置及び軸方向を表す。矢印マーカ５９は先端マーカ及び方向マーカに対応する。

ステップ１０では、図５に示すように、マーカ追加ユニット２９が、記憶画像５７に焦点マーカ６１を追加する。焦点マーカ６１の位置は、前記ステップ８で推測した焦点の位置である。よって、焦点マーカ６１は焦点の位置を表す。

ステップ１１では、矢印マーカ５９及び焦点マーカが追加された記憶画像を、出力ユニット３１が出力する。出力された画像はディスプレイ７に表示される。
ステップ１２では、読み出しユニット３５がメモリ１９から記憶画像を読み出す。読み出される記憶画像は、過去の前記ステップ６において記憶された記憶画像である。なお、前記ステップ６において、記憶ユニット２５は、既存の記憶画像が存在する場合、その既存の記憶画像を消去し、新たな記憶画像を記憶する。よって、ステップ１２において読み出しユニット３５が読み出す記憶画像は、記憶ユニット２５が最後に記憶した記憶画像で
ある。
３．画像制御装置３が奏する効果
（１Ａ）画像制御装置３は、記憶画像５７に矢印マーカ５９を追加することができる。先端５９Ａの位置は照射部先端位置である。そのため、術者は、記憶画像５７を見ることで、照射部先端位置と、目標マーカ５８との位置関係を容易に理解することができる。

（１Ｂ）画像制御装置３は、遮蔽比率が閾値以下である記憶画像を使用する。そのため、図６に示すように、ディスプレイ７に表示される記憶画像５７において、先端ユニット１３が目標マーカ５８等を遮蔽してしまうことを抑制できる。

（１Ｃ）画像制御装置３は、カメラ５が生成した画像を、真上の視点から作業領域３７を見た記憶画像５７に変換する。そのため、術者は、記憶画像５７を見ることで、矢印マーカ５９、目標マーカ５８、及び焦点マーカ６１の位置関係を一層容易に理解することができる。

（１Ｄ）矢印マーカ５９は軸方向を表す。そのため、術者は、記憶画像５７を見ることで、軸方向を容易に理解することができる。
（１Ｅ）画像制御装置３は、記憶画像５７に焦点マーカ６１を追加することができる。焦点マーカ６１の位置は、ＨＩＦＵ照射部４７が照射する超音波の焦点の位置である。そのため、術者は、記憶画像５７を見ることで、ＨＩＦＵ照射部４７が照射する超音波の焦点の位置を容易に理解することができる。

（１Ｆ）画像制御装置３は、先端ユニット１３の位置を取得する。画像制御装置３は、取得した先端ユニット１３の位置に基づき、遮蔽比率を推測する。そのため、画像制御装置３は、遮蔽比率を容易に推測することができる。

＜第２実施形態＞
１．第１実施形態との相違点
第２実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

前述した第１実施形態では、図３に示す処理を実行する。これに対し、第２実施形態では、図７に示す処理を実行する点で、第１実施形態と相違する。
２．画像制御装置３が実行する処理
画像制御装置３が所定時間ごとに繰り返し実行する処理を図７に基づき説明する。図７のステップ２１では、画像取得ユニット２１が、カメラ５を用いて画像を取得する。取得した画像は作業領域３７を表す画像である。

ステップ２２では、画像推測ユニット２３が、前記ステップ２１で取得した画像において、色が水袋５１の色と一致する領域（以下では水袋領域とする）を認識する。水袋領域は、前記ステップ２１で取得した画像のうち、水袋５１を表示している部分である。

ステップ２３では、画像推測ユニット２３が、以下の式（１）により遮蔽比率Ｘ（％）を算出する。
式（１） Ｘ＝（Ｃ／Ａ）×１００
式（１）においてＣは水袋領域の面積である。Ａは、前記ステップ２１で取得した画像全体の面積である。上記のとおり、画像推測ユニット２３は、前記ステップ２１で取得した画像の表示内容に基づき、遮蔽比率Ｘを算出する。

ステップ２４では、前記ステップ２３で算出した遮蔽比率Ｘが予め設定した閾値以下であるか否かを画像推測ユニット２３が判断する。遮蔽比率が閾値以下であると判断した場合、本処理はステップ２５に進む。遮蔽比率が閾値より大きいと判断した場合、本処理はステップ３２に進む。

ステップ２５では、画像変換ユニット３３が、前記ステップ２１で取得した画像を、作業領域３７の真上の視点から見た画像に変換する。このとき、画像変換ユニット３３は、カメラ５から、撮影距離を表す情報を取得し、画像の変換に使用する。

ステップ２６では、記憶ユニット２５が、前記ステップ２５で変換した画像をメモリ１９に記憶する。記憶された画像は記憶画像である。メモリ１９に既に記憶画像が記憶されていた場合、記憶ユニット２５は既存の記憶画像を消去する。よって、メモリ１９に記憶されている記憶画像は、記憶ユニット２５が最後に記憶した画像である。

ステップ２７～３２の処理は、第１実施形態における前記ステップ７～１２の処理と同様である。
３．画像制御装置３が奏する効果
以上詳述した第２実施形態によれば、前述した第１実施形態の効果（１Ａ）～（１Ｅ）を奏し、さらに、以下の効果を奏する。

（２Ａ）画像制御装置３は、カメラ５を用いて取得した画像の表示内容に基づき、遮蔽比率Ｘを算出する。そのため、画像制御装置３は、遮蔽比率Ｘを正確に算出することができる。
＜他の実施形態＞
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）画像制御装置３は、カメラ５を用いて取得した画像を、作業領域３７の横の視点から見た画像（以下では横方向画像とする）に変換してもよい。画像制御装置３は、横方向画像に、矢印マーカ５９、焦点マーカ６１等を追加することができる。図８に、矢印マーカ５９が追加された横方向画像６３の例を示す。画像制御装置３は、横方向画像をディスプレイ７に出力することができる。

（２）先端ユニット１３が作業領域３７を遮蔽する程度を表す指標は、遮蔽比率以外の指標であってもよい。
（３）照射部先端位置を表すマーカは、矢印マーカ５９以外のマーカであってもよい。例えば、照射部先端位置を表すマーカは、円形、四角形、三角形、星印等のマーカ等であってもよい。画像制御装置３は、照射部先端位置を表すマーカと、軸方向を表すマーカとを、それぞれ記憶画像に追加してもよい。

（４）記憶画像は、真上の視点から作業領域３７を見た画像でなくてもよい。例えば、記憶画像は、斜め上の視点から作業領域３７を見た画像であってもよい。
（５）画像制御装置３は、カメラ５を用いて取得した画像に矢印マーカ５９及び焦点マーカ６１を追加してから、画像を変換してもよい。

（６）ＨＩＦＵ照射部４７の代わりに、他の経皮的治療デバイスを用いてもよい。他の経皮的治療デバイスとして、例えば、放射線照射デバイス等が挙げられる。
（７）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によっ
て実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（８）上述した画像制御装置の他、当該画像制御装置を構成要素とする治療システム、当該画像制御装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、治療システムの制御方法等、種々の形態で本開示を実現することもできる。

１…治療システム、３…画像制御装置、５…カメラ、７…ディスプレイ、９…ロボット制御部、１１…ロボットアーム、１３…先端ユニット、２１…画像取得ユニット、２３…画像推測ユニット、２５…記憶ユニット、２７…プローブ推測ユニット、２９…マーカ追加ユニット、３１…出力ユニット、３３…画像変換ユニット、３５…読み出しユニット、３７…作業領域、４７…ＨＩＦＵ照射部、５１…水袋、５７…記憶画像、５８…目標マーカ、５９…矢印マーカ、６１…焦点マーカ

Claims (7)

1. 固定されたカメラを用いて経皮的治療デバイス（１３）の作業領域（３７）を表す画像を取得するように構成された画像取得ユニット（２１）と、
   前記画像取得ユニットが取得する前記画像において、前記経皮的治療デバイスが前記作業領域を遮蔽する程度を推測するように構成された画像推測ユニット（２３）と、
   前記画像取得ユニットが取得した前記画像であって、前記遮蔽する程度が閾値以下であると前記画像推測ユニットにより推測された前記画像を記憶するように構成された記憶ユニット（２５）と、
   前記記憶ユニットが最後に記憶した前記画像における、前記経皮的治療デバイスが備えるプローブの先端の位置を推測するように構成されたプローブ推測ユニット（２７）と、
   前記記憶ユニットが最後に記憶した前記画像に、前記プローブ推測ユニットが推測した前記先端の位置を表す先端マーカ（５９）を追加するように構成されたマーカ追加ユニット（２９）と、
   前記先端マーカが追加された前記画像を出力するように構成された出力ユニット（３１）と、
   前記経皮的治療デバイスの位置と、前記カメラから前記作業領域までの距離である撮影距離と、前記先端の位置との関係を規定するマップを記憶したメモリと、
   を備え、
   前記プローブ推測ユニットは、前記経皮的治療デバイスの位置と、前記撮影距離とを取得し、取得した前記経皮的治療デバイスの位置と、前記撮影距離とを前記マップに入力することで、前記先端の位置を推測するように構成された画像制御装置（３）。
2. 請求項１に記載の画像制御装置であって、
   前記画像取得ユニットが取得した前記画像を、予め設定された視点から前記作業領域を見た画像に変換するように構成された画像変換ユニット（３３）をさらに備え、
   前記出力ユニットは、前記画像変換ユニットにより変換された前記画像を出力するように構成された画像制御装置。
3. 請求項２に記載の画像制御装置であって、
   前記画像変換ユニットが変換した画像のうち、少なくとも一部の画像は、前記作業領域を横方向から見た画像（６３）である画像制御装置。
4. 請求項１～３のいずれか１項に記載の画像制御装置であって、
   前記マーカ追加ユニットは、前記記憶ユニットが最後に記憶した前記画像に、前記プローブの軸方向を表す方向マーカ（５９）をさらに追加するように構成され、
   前記出力ユニットは、前記方向マーカがさらに追加された前記画像を出力するように構成された画像制御装置。
5. 請求項１～４のいずれか１項に記載の画像制御装置であって、
   前記プローブ（４７）は超音波を照射するプローブであり、
   前記マーカ追加ユニットは、前記記憶ユニットが最後に記憶した前記画像に、前記超音波の焦点の位置を表す焦点マーカ（６１）をさらに追加するように構成され、
   前記出力ユニットは、前記焦点マーカがさらに追加された前記画像を出力するように構成された画像制御装置。
6. 請求項１～５のいずれか１項に記載の画像制御装置であって、
   前記画像推測ユニットは、前記経皮的治療デバイスの位置を取得し、取得した前記経皮的治療デバイスの位置に基づき、前記遮蔽する程度を推測するように構成された画像制御装置。
7. 請求項１～５のいずれか１項に記載の画像制御装置であって、
   前記画像推測ユニットは、前記画像の表示内容に基づき、前記遮蔽する程度を推測するように構成された画像制御装置。

Images