JP7703738B2 - 画像誘導手術において位置合わせされた蛍光透視画像を使用するためのシステム及び方法 - Google Patents

Description

（関連出願）
本特許出願は、２０１６年２月１２日に出願された“SYSTEMS AND METHODS FOR USING FLUOROSCOPY TO ASSIST INSTRUMENT NAVIGATION IN IMAGE-GUIDED SURGERY”と題する米国仮特許出願第62/294,870号、及び２０１６年２月１２日に出願された“SYSTEMS AND METHODS FOR USING REGISTERED FLUOROSCOPIC IMAGES IN IMAGE-GUIDED SURGERY”と題する米国仮特許出願第62/294,879号の優先権及び出願日の利益を主張し、いずれも、それらの全体が本明細書に参照により援用される。

本開示は、画像誘導処置を行うためのシステム及び方法を対象とし、より具体的には、画像誘導処置の間に位置合わせされたリアルタイム透視画像と以前の解剖学的構造の画像を使用するためのシステム及び方法を対象とする。

低侵襲医療技術は、医療処置中に損傷を受けた組織の量を減らし、それによって患者の回復時間、不快感及び有害な副作用を減少させることを意図している。このような低侵襲技術は、患者の解剖学的構造における自然開口部を通って、或いは１つ又は複数の外科的切開部を通って実施されることができる。これらの自然開口部又は切開部を通して、臨床医は、標的組織の位置に達するように低侵襲医療器具（外科的、診断的、治療的、又は生検器具を含む）を挿入することができる。標的組織の位置に到達するのを助けるために、医療器具の位置及び動きは、患者の解剖学的構造の手術前又は以前の手術中の静止画像と関係付けられることがある。イメージに関連付けられた画像誘導器具を用いて、器具は、肺、結腸、腸、腎臓、心臓、循環器系などの解剖学的システム内の自然開口部又は外科的に形成された通路を通り抜けることができる。伝統的に、患者の解剖学的構造の手術前又は手術中の画像は、詳細で、しばしば三次元の画像である。しかし、それらは患者の解剖学的構造の静的な事前の表現である。蛍光透視法（Fluoroscopy）は、患者の解剖学的構造への医療処置中に使用される放射線不透過性器具を含む患者の解剖学的構造のリアルタイム画像を提供するイメージングモダリティ（imaging modality）である。しかし、透視画像は、特定のタイプの組織の高品質画像を捕捉しないことがある。画像誘導手術を行うために向上したナビゲーション情報を提供するように、リアルタイムの透視画像及び以前の静止画像を位置合わせするためのシステム及び方法が必要とされている。

国際公開第２０１６／０１８６４６号

本発明の実施形態は、説明に続く請求項によって要約される。

一実施形態では、コンピュータシステムによって実行される方法は、医療器具のある部分が患者の解剖学的構造内に配置されている間に、患者の解剖学的構造の蛍光透視画像を受け取るステップを含む。蛍光透視画像は、蛍光透視基準フレーム（蛍光透視座標系）（fluoroscopic frame of reference）を有する。この部分はインジケータ部分とも呼ばれ得るとともに、その部分は、非限定的な例として、医療器具の近位セクション、中間セクション、遠位セクション、及び／又は遠位端部を含む、医療器具の任意の長さを備え得る。この部分は、解剖学的構造モデル（anatomic model）基準フレーム（座標系）において検知位置又は別の方法で既知の位置を有する。この方法は、蛍光透視画像において部分の位置を識別するステップ、及び、蛍光透視画像においてこの部分の位置を使用して蛍光透視基準フレームおいてこの部分の抽出位置を識別するステップをさらに含む。この方法は、この部分の検知位置及び部分の抽出位置に基づいて蛍光透視基準フレームを解剖学的構造モデル基準フレームに位置合わせするステップをさらに含む。

別の実施形態では、コンピュータシステムによって実行される方法は、複数の解剖学的構造ランドマークの位置のセットを識別するステップであって、複数の解剖学的構造ランドマークはモデル基準フレーム（model frame of reference）において患者の解剖学的構造の通路の解剖学的構造モデル内でレンダリングされる、ステップと、医療器具のある部分が患者の解剖学的構造の通路内の複数の解剖学的構造ランドマークを通過する（traverses）間に、患者の解剖学的構造の蛍光透視画像データを受け取るステップとを含む。蛍光透視画像データは、蛍光透視基準フレームを有する。この方法は、蛍光透視基準フレームにおいて複数の解剖学的構造ランドマークにおける部分位置のセットを識別するステップと、モデル基準フレームにおける複数の解剖学的構造ランドマークの位置のセット及び蛍光透視基準フレームにおける部分位置のセットを共通基準フレーム（common frame of reference）に位置合わせするステップとをさらに含む。

別の実施形態では、コンピュータシステムによって実行される方法は、モデル基準フレームにおいて患者の解剖学的構造の通路の解剖学的構造モデルについてのモデルポイントのセットを受け取るステップと、医療器具のインジケータ部分が患者の解剖学的構造の通路を通過する間に患者の解剖学的構造の蛍光透視画像データを受け取るステップとを含む。蛍光透視画像データは、蛍光透視基準フレームを有する。この方法は、蛍光透視画像データから、蛍光透視基準フレームにおいてインジケータ部分位置ポイントのセットを識別するステップ、及び一致のセット（set of matches）を生成するようそれぞれのインジケータ部分位置ポイントをモデルポイントのセットにおけるモデルポイントと一致させるステップとをさらに含む。この方法は、一致のセットに基づいて、モデル基準フレームを蛍光透視基準フレームに位置合わせするステップをさらに含む。

別の実施形態では、コンピュータ支援医療システムは、手術座標空間内にある配向面（plane of orientation）を有する蛍光透視撮像装置と、１つ又は複数のプロセッサとを有する。１つ又は複数のプロセッサは：医療器具のある部分が患者の解剖学的構造内のある位置に配置されている間に、患者の解剖学的構造の蛍光透視画像を受け取るステップであって、蛍光透視画像は配向面を有する、ステップを含む方法を実行するように構成される。この方法はまた、医療器具の部分の動きを駆動するコマンドを受信するステップと、部分の作動された動きが蛍光透視画像の配向面に拘束されるように、部分の作動を拘束するステップと、拘束された作動で部分の動きを駆動するステップとを含む。一態様では、システムは、拘束された作動で部分の動きを駆動する間に医療器具からセンサ情報を受信するステップと、受信したセンサ情報から蛍光透視画像の配向面外の部分の動きを認識するステップと、部分を蛍光透視画像の配向面内に調整する信号を受信するステップとを含む。

別の実施形態では、コンピュータシステムによって実行される方法は、患者の解剖学的構造の解剖学的構造モデルを受け取るステップを含み、関心領域が解剖学的構造モデルにおいて識別される。この方法はさらに、患者の解剖学的構造内に配置され且つ解剖学的構造モデルに位置合わせされた器具の器具形状センサから形状センサデータを受け取るステップと、受け取った形状センサデータ及び関心領域に基づいて表示のために蛍光透視画像面を決定するステップとを含む。

前述の一般的な説明及び以下の詳細な説明はいずれも、本質的に例示的且つ説明的なものであり、本開示の範囲を限定することなく本開示の理解を提供することを意図していることが理解されるべきである。その点について、本開示の追加の態様、特徴、及び利点は、以下の詳細な説明から当業者には明らかであろう。

本開示の態様は、添付の図面と併せて読むと以下の詳細な説明から最もよく理解される。業界の標準的な慣例に従って、様々な特徴は一定の縮尺で描かれていないことが強調される。実際、種々の特徴の寸法は、議論の明瞭化のために任意に増減されることがある。加えて、本開示は、様々な例において参照番号及び／又は文字を繰り返すことがある。この繰返しは、簡潔さ及び明瞭さを目的とするものであり、それ自体が議論された様々な実施形態及び／又は構成間の関係を規定するものではない。

本開示の実施形態による、遠隔操作医療システムである。

本開示の態様を用いる医療器具システムを示す。

本開示の実施形態による、伸長された医療器具を持つ図２Ａの医療器具システムの遠位端部を示す。

ヒトの肺の中に配置される図２Ａの医療器具システムの遠位端部を示す。

本開示の実施形態による画像誘導外科処置において誘導を提供するために使用される方法を示すフローチャートである。

本開示の実施形態による医療器具及び透視イメージングシステムを含む手術座標空間の側面図である。

本開示の実施形態による画像誘導外科処置のフローチャートを示す。

本開示の他の実施形態による画像誘導外科処置のフローチャートを示す。

本開示の他の実施形態による画像誘導外科処置の一部のフローチャートを示す。

本開示の実施形態による透視基準フレームにおいて器具部分位置を決定するための透視画像を示す。

本開示の実施形態による透視基準フレームにおいて器具部分位置を決定するための透視画像を示す。

本開示の実施形態による透視基準フレームにおいて器具部分位置を決定するための透視画像を示す。

本開示の実施形態による位置合わせされた並んだ透視及び解剖学的構造モデル画像が表示されている表示装置である。

本開示の実施形態による透視画像に位置合わせされ且つオーバーレイされた解剖学的構造モデル画像が表示されている表示装置である。

透視と解剖学的基準フレームとの間の関係付けられた解剖学的ランドマークを表す相関表を示す。

透視画像の分割を示す。

透視画像の分割を示す。

本開示の他の実施形態による画像誘導外科処置の一部のフローチャートを示す。

好ましい透視表示面を決定する方法を示す。

２次元透視誘導下で医療器具を駆動するための方法を示す。

本発明の態様に関する以下の詳細な説明において、開示された実施例の十分な理解を提供するために、多くの具体的詳細が説明される。しかし、この開示における実施形態がこれらの具体的詳細が無くとも実施され得ることは当業者にとって明らかである。他の例では、よく知られた方法、手順、構成要素、及び回路は、本発明の実施形態の態様を不必要に分かり難くすることがないよう、詳細には説明されていない。また、不必要な説明の繰り返しを避けるため、１つの実施形態に従って説明された１又は複数の構成要素又は動作は、他の実施形態から適用できるように、使用又は省略されることができる。

以下の実施形態は、様々な器具及び器具の一部を三次元空間におけるそれらの状態の観点から説明する。本明細書で使用されるとき、用語“位置(position)”は、三次元空間における物体又は物体の一部分の場所（位置）（location）（例えばＸ、Ｙ、Ｚのデカルト座標に沿った並進の３自由度）を指す。本明細書で使用されるとき、用語“向き、配向（orientation）”は、物体又は物体の一部の回転配置（rotational placement）（例えば、ロール、ピッチ、及びヨーの回転の３自由度）を指す。本明細書で使用されるとき、用語“姿勢、ポーズ（pose）”は、少なくとも１つの並進自由度における物体又は物体の一部の位置、及び少なくとも１つの回転自由度におけるその物体又は物体の一部の向きを指す（合計で６つの自由度まで）。本明細書で使用されるとき、用語“形状（shape）”は、物体に沿って測られた姿勢、位置、又は向きのセットを指す。

図面の図１を参照すると、例えば手術、診断、治療又は生検処置で使用する遠隔操作医療システムが、概して、遠隔操作医療システム１００として示されている。図１に示すように、遠隔操作システム１００は、概して、患者Ｐに対して様々な処置を実行する際に医療器具システム１０４を操作する遠隔操作マニピュレータアセンブリ１０２を含む。遠隔操作マニピュレータアセンブリ１０２は、遠隔操作アセンブリ１０２又はマニピュレータアセンブリ１０２とも呼ばれ得る。医療器具システム１０４はまた、医療器具１０４と呼ばれ得る。マニピュレータアセンブリ１０２は、手術台Ｏに又はその近くに取り付けられる。オペレータ入力システム１０６（「マスタアセンブリ１０６」とも呼ばれる）は、臨床医又は外科医Ｓが、介入部位を見るとともにマニピュレータアセンブリ１０２を制御することを可能にする。

オペレータ入力システム１０６は、手術台Ｏと同じ部屋に通常配置される外科医のコンソールに配置されることができる。しかし、外科医Ｓは、患者Ｐと異なる部屋又は全く異なる建物に配置され得ることが理解されるべきである。オペレータ入力アセンブリ１０６は、概して、１つ又は複数のマニピュレータアセンブリ１０２を制御するための１つ又は複数の制御装置を含む。制御装置は、ジョイスティック、トラックボール、データグローブ、トリガ－ガン、手動操作コントローラ、音声認識装置、体動センサ又は存在センサのような多くの様々な入力装置を含むことができる。いくつかの実施形態では、制御装置は、外科医に、テレプレゼンス、又は外科医が器具１０４を直接制御している強い感覚を持つよう制御装置が器具１０４と一体であるという認識を提供するように、関連する医療器具１０４と同じ自由度を備える。他の実施形態では、制御装置は、関連する医療器具１０４より多い又は少ない自由度を有し且つ依然として外科医にテレプレゼンスを提供し得る。いくつかの実施形態では、制御装置は、６自由度で動き、器具を作動させる（例えば、把持ジョーを閉じる、電極に電位を印加する、薬物治療を施すなど）ための作動可能なハンドルも含み得る、手動入力装置である。

遠隔操作アセンブリ１０２は、医療器具システム１０４を支持し、１つ又は複数の非サーボ制御リンク（例えば、手動で位置決めされ、適所にロックされ得る１つ又は複数のリンク、一般にセットアップ構造と呼ばれる）及び遠隔操作マニピュレータの運動学的構造を含み得る。遠隔操作アセンブリ１０２は、制御システム（例えば制御システム１１２）からのコマンドに応答して医療器具システム１０４への入力を駆動する複数のアクチュエータ又はモータを含む。モータは、医療器具システム１０４に結合されるとき医療器具を自然に又は外科的に形成された解剖学的開口部の中に進めることができる駆動システムを含む。他のモータ駆動システムは、３自由度の直線運動（例えば、Ｘ、Ｙ、Ｚデカルト軸に沿った直線運動）及び３自由度の回転運動（例えば、Ｘ、Ｙ、Ｚデカルト軸の周りの回転）を含み得る、多自由度で医療器具の遠位端部を動かし得る。加えて、モータは、生検装置などのジョーで組織を把持するために器具の関節運動可能なエンドエフェクタを作動させるために使用されることができる。レゾルバ、エンコーダ、ポテンショメータ、及び他の機構のようなモータ位置センサは、モータ軸の回転及び向きを表すセンサデータを遠隔操作アセンブリに提供することができる。この位置センサデータは、モータによって操作される物体の動きを決定するために使用されることができる。

遠隔操作医療システム１００はまた、遠隔操作型アセンブリの器具に関する情報を受信するための１つ又は複数のサブシステムを備えたセンサシステム１０８を含む。そのようなサブシステムは、位置／場所（ロケーション）センサシステム（例えば、電磁（ＥＭ）センサシステム）；カテーテル先端部及び／又は医療器具システム１０４の可撓性ボディに沿った１つ又は複数のセグメントの位置、向き、速さ、速度、姿勢、及び／又は形状を決定するための形状センサシステム；並びに／又はカテーテルシステムの遠位端部から画像を取り込むための可視化システム；を含むことができる。

可視化システム（例えば、図２Ａの可視化システム２３１）は、手術部位の同時又はリアルタイムの画像を記録し、その画像を臨床医又は外科医Ｓに提供する観察スコープアセンブリ（viewing scope assembly）を含むことができる。同時画像は、例えば、手術部位内に配置された内視鏡によって取り込まれた２次元又は３次元画像であり得る。この実施形態では、可視化システムは、医療器具１０４に一体的に又は取り外し可能に結合され得る内視鏡構成要素を含む。しかし、代替実施形態では、別個のマニピュレータアセンブリに取り付けられた別個の内視鏡が、手術部位を撮像するために医療器具とともに使用され得る。可視化システムは、制御システム１１２（以下に説明する）のプロセッサを含み得る１つ又は複数のコンピュータプロセッサと相互作用するか、さもなければその１つ又は複数のコンピュータプロセッサによって実行されるハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせとして実装され得る。制御システム１１２のプロセッサは、本明細書で開示されるプロセスに対応する命令を含む命令を実行し得る。

遠隔操作医療システム１００はまた、センサシステム１０８のサブシステムによって生成された手術部位及び医療器具システム（複数可）１０４の画像又は表現（representation）を表示するためのディスプレイシステム１１０（また「ディスプレイ１１０」）を含む。ディスプレイシステム１１０及びオペレータ入力システム１０６は、オペレータがテレプレゼンスの知覚を伴って医療器具システム１０４及びオペレータ入力システム１０６を制御できるように方向付けられ得る。

ディスプレイシステム１１０はまた、視覚化システムによって取り込まれた手術部位及び医療器具の画像を表示し得る。ディスプレイシステム１１０及び制御装置は、スコープアセンブリ内のイメージング装置と医療器具との相対位置が外科医の目と手の相対位置に類似するように方向付けられるので、オペレータが医療器具１０４及びハンド制御部を、あたかも実質的に正確な存在で（in substantially true presence）作業空間を見ているかのように、操作できるようになる。正確な存在（true presence）とは、画像の提示が、器具１０４を身体的に操作しているオペレータの視点をシミュレートする正確な視点画像であることを意味する。

代替的に又は付加的に、ディスプレイシステム１１０は、コンピュータ断層撮影法（ＣＴ）、磁気共鳴画像法（ＭＲＩ）、蛍光透視法、サーモグラフィ、超音波、光コヒーレンス断層撮影法（ＯＣＴ）、サーマルイメージング、インピーダンスイメージング、レーザイメージング、ナノチューブＸ線イメージング等のようなイメージング技術からのイメージングデータを使用して手術前又は手術中に記録された手術部位の画像を提示することができる。手術前又は手術中の画像データは、２次元、３次元、又は４次元（例えば、時間ベース若しくは速度ベースの情報を含む）画像として、あるいは手術前又は手術中の画像データセットから作成されたモデルからの画像として提示されることができる。

いくつかの実施形態では、しばしば画像化された誘導外科処置のために、ディスプレイシステム１１０は、臨床医又は外科医Ｓに、器具１０４の先端の位置の視点からの内部手術部位の仮想画像提示するように、医療器具１０４の実際の位置が術前画像又は同時画像／モデルと位置合わせされる（すなわち、動的に参照される）仮想ナビゲーション画像を表示し得る。器具１０４の先端の画像又は他のグラフィカル若しくは英数字のインジケータが、外科医が器具１０４を制御するのを支援するために仮想画像に重ね合わせられ得る。代替的には、器具１０４は、仮想画像において見えなくてもよい。

他の実施形態では、ディスプレイシステム１１０は、臨床医又は外科医Ｓに外部視点からの手術部位内の医療器具の仮想画像を提示するように、医療器具の実際の位置が手術前画像又は同時画像と位置合わせされる仮想ナビゲーション画像を表示し得る。医療器具の一部の画像又は他のグラフィカル若しくは英数字のインジケータは、外科医が器具１０４を制御するのを支援するために、仮想画像に重ね合わされ得る。

遠隔操作医療システム１００はまた、制御システム１１２を含む。制御システム１１２は、医療器具１０４、オペレータ入力システム１０６、センサシステム１０８、及びディスプレイシステム１１０の間の制御を行うために、少なくとも１つのメモリと、少なくとも１つのコンピュータプロセッサ（図示せず）と、典型的には複数のプロセッサとを含む。制御システム１１２はまた、ディスプレイシステム１１０に位置合わせされた画像を提供するための命令を含む、本明細書に開示された態様に従って記載される方法の一部又は全部を実施するためのプログラム命令（例えば、命令を記憶するコンピュータ可読媒体）を含む。制御システム１１２は、図１の簡略化された概略図において単一のブロックとして示されているが、システムは、処理のある部分がオプションで遠隔操作アセンブリ１０２上又はそれに隣接して実行され、処理の別の部分が、オペレータ入力システム１０６において実行される等の２つ以上のデータ処理回路を含み得る。多種多様な集中型又は分散型データ処理アーキテクチャのいずれかが用いられ得る。同様に、プログラムされた命令は、いくつかの別個のプログラム若しくはサブルーチンとして実装されてもよく、又は本明細書に記載の遠隔操作システムのいくつかの他の態様に統合されてもよい。一実施形態では、制御システム１１２は、Bluetooth（登録商標）、IrDA、HomeRF、IEEE 802.11、DECT、及びワイヤレステレメトリのようなワイヤレス通信プロトコルをサポートする。

いくつかの実施形態では、制御システム１１２は、医療器具システム１０４からフォース（力）フィードバック及び／又はトルクフィードバックを受ける１つ又は複数のサーボコントローラを含み得る。フィードバックに応答して、サーボコントローラは、オペレータ入力システム１０６に信号を送信する。サーボコントローラ（複数可）はまた、遠隔操作アセンブリ１０２に指示する信号を送信して、体の開口部を介して患者の体内の内部手術部位に延びる医療器具システム（複数可）１０４を動かし得る。任意の適切な従来の又は専用のサーボコントローラが使用され得る。いくつかの実施形態では、サーボコントローラ及び遠隔操作アセンブリは、患者の体に隣接して配置される遠隔操作アームカートの一部として提供される。

制御システム１１２は、画像誘導手術処置で使用されるとき、医療器具システム（複数可）１０４にナビゲーション支援を提供する仮想可視化システムをさらに含み得る。仮想可視化システムを使用する仮想ナビゲーションは、解剖学的通路の取得された手術前又は手術中のデータセットを参照することに基づいている。より具体的には、仮想可視化システムは、コンピュータ断層撮影法（ＣＴ）、磁気共鳴画像法（ＭＲＩ）、蛍光透視法、サーモグラフィ、超音波、光干渉断層撮影法（ＯＣＴ）、サーマルイメージング、インピーダンスイメージング、レーザイメージング、ナノチューブＸ線イメージングなどのようなイメージング技術を使用して画像化される手術部位の画像を処理する。単独又は手動入力と組み合わせたソフトウェアが、記録された画像を部分的又は全体的な解剖学的器官若しくは解剖学的領域のセグメント化された２次元又は３次元の複合表現に変換するために、使用される。画像データセットは複合表現に関連付けられる。複合表現及び画像データセットは、通路の様々な位置及び形状並びにそれらの接続性を記述する。複合表現を生成するために使用される画像は、手術前又は医療処置の間の前の時間に手術中に記録され得る。代替実施形態では、仮想可視化システムは、標準表現（すなわち、患者固有ではない）又は標準表現及び患者固有データのハイブリッドを使用し得る。複合表現及び複合表現によって生成された任意の仮想画像は、動きの１つ又は複数の段階中（例えば、肺の吸気／呼気サイクル中）の変形可能な解剖学的領域の静的姿勢を表し得る。

仮想ナビゲーション手順の間に、センサシステム１０８は、患者の解剖学的構造に対する器具のおおよその位置を計算するために使用され得る。位置は、患者の解剖学的構造のマクロレベル（外部）追跡画像及び患者の解剖学的構造の仮想内部画像の両方を生成するために使用されることができる。仮想可視化システムからのもののような手術前に記録された手術画像と一緒に医療器具を位置合わせ及び表示するために電磁（ＥＭ）センサ、光ファイバセンサ、又は他のセンサ使用する様々なシステムが知られている。例えば、参照によりその全体が本明細書に組み込まれる、米国特許出願第１３／１０７，５６２号（２０１１年５月１３日出願）（“Medical System Providing Dynamic Registration of a Model of an Anatomic Structure for Image-Guided Surgery”を開示する）は、そのようなシステムの１つを開示している。

遠隔操作医療システム１００は、照明システム、操縦制御システム、洗浄システム、及び／又は吸引システムのようなオプションの操作及びサポート（support）システム（図示せず）をさらに含み得る。代替実施形態では、遠隔操作システムは、１より多い遠隔操作アセンブリ及び／又は１より多いオペレータ入力システムを含み得る。マニピュレータアセンブリの正確な数は、他の要因の中で特に、手術処置及び手術室内の空間制約に依存する。オペレータ入力システムは、併置されてもよく、又は別々の場所に配置されてもよい。複数のオペレータ入力システムは、１より多いオペレータが１つ又は複数のマニピュレータアセンブリを様々な組み合わせで制御することを可能にする。

図２Ａは、遠隔操作医療システム１００で行われる画像誘導医療処置において医療器具システム１０４として使用され得る医療器具システム２００（「医療器具２００」又は「器具システム２００」とも）を示す。代替的には、医療器具システム２００は、非遠隔操作の診査手術（exploratory procedure）のために、又は内視鏡のような従来の手動操作される医療器具を伴う手術で使用されてもよい。追加的又は代替的に、医療器具システム２００は、患者の解剖学的通路の位置に対応するデータポイントのセットを集める（すなわち、測定する）ために使用されてもよい。

器具システム２００は、構成要素を収容するために使用されるとき「ハウジング２０４」と呼ばれ得る器具ボディ２０４に結合されたカテーテルシステム２０２（「カテーテル２０２」とも）を含む。カテーテルシステム２０２は、近位端部２１７及び遠位端部２１８（カテーテルボディ２１６の先端部分であるとき、「先端部分２１８」と呼ばれ得る）を有する細長い可撓性カテーテルボディ２１６を含む。一実施形態では、可撓性ボディ２１６は、約３ｍｍの外径を有する。他の可撓性ボディの外径は、より大きくても小さくてもよい。カテーテルシステム２０２は、遠位端部２１８におけるカテーテル先端の及び／又はカテーテルボディ２１６に沿った１つ又は複数のセグメント２２４の位置、向き、速さ、速度、姿勢、及び／又は形状を決定するための形状センサシステム２２２（「形状センサ２２２」とも）をオプションで含み得る。遠位端部２１８と近位端部２１７との間のカテーテルボディ２１６の全長は、セグメント２２４に効果的に分割され得る。器具システム２００が遠隔操作医療システム１００医療器具１０４である場合、形状センサシステム２２２は、センサシステム１０８の構成要素であり得る。器具システム２００が手動で操作されるか又は非遠隔操作処置のために使用される場合、形状センサシステム２２２は、形状センサに問い合わせし、受け取った形状データを処理する追跡（トラッキング）システム２３０に結合され得る。

形状センサシステム２２２は、可撓性カテーテルボディ２１６と整列した（例えば、内部チャネル（図示せず）内に設けられる又は外部に取り付けられる）光ファイバを含み得る。一実施形態では、光ファイバは、約２００μｍの直径を有する。他の実施形態では、寸法はより大きくても小さくてもよい。形状センサシステム２２２の光ファイバは、カテーテルシステム２０２の形状を決定するための光ファイバ曲げセンサを形成する。１つの代替例では、ファイバブラッググレーティング（ＦＢＧ）を含む光ファイバが、１又は複数の次元における構造の歪み測定を提供するために使用される。光ファイバの形状及び相対位置を３次元でモニタするための様々なシステム及び方法が、米国特許出願第１１／１８０，３８９号（２００５年７月１３日出願）（“Fiber optic position and shape sensing device and method relating thereto”を開示している）；米国特許出願第１２／０４７，０５６号（２００４年７月１６日出願）（“Fiber-optic shape and relative position sensing”を開示している）；及び米国特許第６，３８９，１８７号（１９９８年６月１７日出願）（“Optical Fibre Bend Sensor”を開示している）に記載されており、これらは末Ｂ手、その全体が本明細書に参照により組み込まれる。代替実施形態のセンサは、レイリー散乱、ラマン散乱、ブリルアン散乱、及び蛍光散乱のような他の適切な歪み検出技術を使用し得る。他の代替の実施形態では、カテーテルの形状は、他の技術を用いて決定され得る。例えば、カテーテルの遠位先端部姿勢の履歴が、時間間隔にわたるデバイスの形状を再構成するために使用されることができる。別の例として、履歴ポーズ、位置、又は向きのデータが、呼吸のような交互運動のサイクルに沿った器具システムの既知の点について記憶され得る。この記憶されたデータは、カテーテルに関する形状情報を明らかにするために使用され得る。代替的には、カテーテルに沿って配置される、電磁（ＥＭ）センサのような一連の位置センサが形状検知のために使用されることができる。代替的には、特に、解剖学的通路が概して静的である場合、処置中に器具システム上のＥＭセンサのような位置センサからのデータの履歴が器具の形状を表すために使用されてもよい。代替的には、外部磁場によって制御される位置又は向きを有する無線デバイスが形状検知のために使用されてもよい。無線デバイスの位置の履歴は、ナビゲートされる通路の形状を決定するために使用されてもよい。

医療器具システムは、オプションで、位置センサシステム２２０を含み得る。位置センサシステム２２０は、外部生成電磁場に曝され得る１つ又は複数の導電性コイルを含むセンサシステム２２０を持つＥＭセンサシステムの構成要素であり得る。このような実施形態では、位置センサシステム２２０を有するＥＭセンサシステムの各コイルは、外部生成電磁場に対するコイルの位置及び向きに依存する特性を有する誘導電気信号を生成する。一実施形態では、ＥＭセンサシステムは、６自由度、例えば３つの位置座標Ｘ、Ｙ、Ｚ並びに基準点のピッチ、ヨー、及びロールを示す３つの配向角、又は５自由度、例えば、３つの位置座標Ｘ、Ｙ、Ｚ並びに基点のピッチ及びヨーを示す２つの配向角、を測定するように構成され且つ配置され得る。ＥＭセンサシステムの更なる説明は、米国特許第６，３８０，７３２号（１９９９年８月１１日出願）（“Six-Degree of Freedom Tracking System Having a Passive Transponder on the Object Being Tracked”を開示している）に提供されており、これはその全体が本明細書に参照により組み込まれる。いくつかの実施形態では、（患者の固定座標系における）形状センサのベースの位置に関する情報とともにセンサの形状は、遠位先端部を含む形状センサの様々な点の位置が計算されることを可能にするので、形状センサは位置センサとしても機能し得る。

追跡システム２３０は、遠位端部２１８及び器具システム２００に沿った１つ又は複数のセグメント２２４の位置、向き、速度、姿勢、及び／又は形状を決定するための位置センサシステム２２０及び形状センサシステム２２２を含み得る。追跡システム２３０は、制御システム１１６のプロセッサを含み得る、１つ又は複数のコンピュータプロセッサと相互作用するかさもなければそれによって実行されるハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせとして実装され得る。

可撓性カテーテルボディ２１６は、医療器具２２６を受け入れるようにサイズ決めされ且つ成形されたチャネル２２１（図２Ｂ参照）を含む。医療器具は、例えば、画像キャプチャプローブ、生検器具、レーザアブレーションファイバ、又は他の手術、診断、若しくは治療ツールを含み得る。医療ツールは、メス、ブラントブレード、光ファイバ、又は電極のような単一の作動部材を有するエンドエフェクタを含み得る。他のエンドエフェクタは、例えば、鉗子、把持器、はさみ、又はクリップアプライアを含み得る。電気的に作動するエンドエフェクタの例は、電気手術電極、トランスデューサ、センサなどを含む。

様々な実施形態では、医療器具（複数可）２２６は、表示するために可視化システム２３１によって処理される画像（ビデオを含む）をキャプチャするために、可撓性カテーテルボディ２１６の遠位端部２１８に又はその近くに立体視又はモノスコープカメラを持つ遠位部分を含む画像キャプチャプローブであり得る。画像キャプチャプローブは、キャプチャされた画像データを送信するためにカメラに結合されるケーブルを含み得る。代替的には、画像キャプチャ器具は、可視化システムに結合するファイバスコープのような光ファイバ束であってもよい。画像キャプチャ器具は、例えば、可視スペクトル、赤外線スペクトル、又は紫外スペクトルのうちの１つ又は複数の画像データをキャプチャする、単一スペクトル又はマルチスペクトルであり得る。

種々の実施形態では、医療器具２２６は、標的の解剖学的構造の位置からサンプル組織又は細胞のサンプリングを除去するために使用される生検器具である。器具２２６は、処置を行うためにチャネル２２１の開口部から前進され、その後、処置が完了すると、チャネルに引き戻され得る。医療器具２２６は、カテーテル可撓性ボディの近位端部２１７から又は可撓性ボディに沿った別のオプションの器具ポート（図示せず）から取り外され得る。

医療器具２２６は、器具の遠位端部を制御可能に曲げるために器具の近位端部と遠位端部との間に延在するケーブル、リンケージ、又は他の作動制御器（図示せず）を収容し得る。操縦可能な器具は、米国特許第７，３１６，６８１号（２００５年１０月４日出願）（“Articulated Surgical Instrument for Performing Minimally Invasive Surgery with Enhanced Dexterity and Sensitivity”を開示している）及び米国特許出願第１２／２８６，６４４号（２００８年９月３０日出願）（“Passive Preload and Capstan Drive for Surgical Instruments”を開示している）に詳細に説明されており、これらは、その全体が本明細書に参照により組み込まれる。

可撓性カテーテルボディ２１６はまた、例えば、遠位端部の破線の描写２１９によって示されるように、遠位端部を制御可能に曲げるために、ハウジング２０４と遠位端部２１８との間に延在するケーブル、リンケージ、又は他の操縦（ステアリング）制御部（図示せず）を収容し得る。操縦可能なカテーテルは、参照によりその全体が本明細書に組み込まれる米国特許出願第１３／２７４，２０８号（２０１１年１０月１４日出願）（“Catheter with Removable Vision Probe”を開示している）に詳細に記載されている。器具システム２００が遠隔操作アセンブリによって作動される実施形態では、ハウジング２０４は、遠隔操作アセンブリのモータ駆動要素に取り外し可能に結合されるとともにそこから電力を受け取る駆動入力部を含み得る。器具システム２００が手動で操作される実施形態では、ハウジング２０４は、把持機構、手動アクチュエータ、又は器具システムの動作を手動で制御するための他の構成要素を含み得る。カテーテルシステムは、操縦可能であることができ、代替的には、システムは、器具が曲がることのオペレータ制御のための統合された機構なしで操縦不能であってもよい。また或いは代替的に、医療器具がそれを通って標的手術部位に展開され且つ使用される１つ又は複数の管腔が、可撓性ボディ２１６の壁に画定される。

様々な実施形態では、医療器具システム２００は、肺の検査、診断、生検、又は治療に使用するための、気管支鏡又は気管支カテーテルのようなフレキシブル気管支器具を含み得る。器具システム２００はまた、結腸、腸、腎臓、脳、心臓、循環器系等を含む様々な解剖学的システムのいずれかにおいて、自然に又は外科的に形成された接続通路を介して、ナビゲーション及び他の組織の治療にも適している。

追跡システム２３０からの情報は、器具システム２００の制御で使用するために外科医又は他の操作者にディスプレイシステム１１０上でリアルタイム位置情報を提供するように、可視化システム２３１及び／又は手術前に取得されたモデルからの情報と組み合わされるナビゲーションシステム２３２に送られ得る。制御システム１１６は、器具システム２００を位置決めするためのフィードバックとして位置情報を利用し得る。手術器具を手術画像に位置合わせするために光ファイバセンサを使用する様々なシステムが、“Medical System Providing Dynamic Registration of a Model of an Anatomic Structure for Image-Guided Surgery”を開示する２０１１年５月１３日に出願された米国特許出願第１３／１０７，５６２号に提供されており、これは、参照によりその全体が本明細書に組み込まれる。

図２Ａの実施形態では、器具システム２００は、遠隔操作医療システム１００内で遠隔操作される。代替実施形態では、遠隔操作アセンブリ１０２は、直接オペレータ制御に置き換えられてもよい。直接操作の代替では、様々なハンドル及びオペレータインタフェースが器具のハンドヘルド操作のために含まれ得る。

代替実施形態では、遠隔操作システムは、１より多いスレーブマニピュレータアセンブリ及び／又は１より多いマスタアセンブリを含み得る。マニピュレータアセンブリの正確な数は、とりわけ、医療処置及び手術室内の空間の制約などに依存する。マスタアセンブリは、併置されてもよく、又は別々の場所に配置されてもよい。複数のマスタアセンブリは、１人より多いオペレータが１つ又は複数のスレーブマニピュレータアセンブリをさまざまな組み合わせで制御することを可能にする。

図３は、患者の解剖学的構造の解剖学的通路内に配置されたカテーテルシステム２０２を示す。この実施形態では、解剖学的通路は、人の肺２０１の気道である。代替実施形態では、カテーテルシステム２０２は、解剖学的構造の他の通路に使用されてもよい。

図４は、画像誘導手術処置で使用するための一般的な方法３００を示すフローチャートである。提供される様々な例は、解剖学的構造内で行われる処置の使用を説明するが、代替実施形態では、本開示の装置及び方法は、解剖学的構造内で使用される必要はなく、むしろ患者の解剖学的構造の外で使用されてもよい。プロセス３０２において、手術前又は手術中画像データを含む以前の画像データ（prior image data）が、コンピュータ断層撮影法（ＣＴ）、磁気共鳴画像法（ＭＲＩ）、サーモグラフィ、超音波、光干渉断層撮影法（ＯＣＴ）、サーマルイメージング、インピーダンスイメージング、レーザイメージング、又はナノチューブＸ線イメージングのようなイメージング技術から得られる。手術前又は手術中画像データは、２次元、３次元、又は４次元（例えば、時間ベース又は速度ベースの情報を含む）画像に対応し得る。例えば、画像データは、図３の人間の肺２０１を表し得る。

プロセス３０４において、単独又は手動入力と組み合わせたコンピュータソフトウェアが、記録された画像を部分的又は全体的な解剖学的器官又は解剖学的領域のセグメント化された２次元又は３次元複合表現又はモデルに変換するために、使用される。複合表現及び画像データセットは、通路の様々な位置及び形状並びにそれらの接続性を記述する。より具体的には、セグメント化（segmentation）プロセス中、画像は、色、濃度、強度、及びテクスチャのような特定の特性又は計算された特性を共有するセグメント又は要素（例えば、ピクセル又はボクセル）に分割される。このセグメント化プロセスは、取得された画像に基づく標的の解剖学的構造又は解剖学的構造モデルのモデルを形成する２次元又は３次元再構成をもたらす。モデルを表現するために、セグメント化プロセスは、標的の解剖学的構造を表すボクセルのセットの輪郭を描き（delineate）、次いで、マーチングキューブ関数のような関数を適用して、ボクセルを囲む３Ｄ表面を生成し得る。モデルは、メッシュ、ボリューム、又はボクセルマップを生成することによって作成され得る。追加的に又は代替的に、モデルは、モデル化された通路の中心を通って延びる相互接続された線又は点のセットを含む中心線モデルを含み得る。モデルが、相互接続された線の集合を含む中心線モデルを含む場合、それらの線分は、雲（cloud）又は点の集合に変換され得る。線分を変換することによって、相互接続された線分に対応する点の所望の量が手動又は自動で選択されることができる。

プロセス３０６において、解剖学的構造モデル、医療処置を行うために使用される医療器具（例えば、器具システム２００）、及び患者の解剖学的構造は、患者への画像誘導外科処置の前及び／又はその間に共通基準フレームに共に位置合わせされる。共通基準フレームは、例えば、手術環境基準フレーム又は患者基準フレームであり得る。プロセス３０６は、患者に対して医療器具を位置特定することを含む。プロセス３０６はまた、患者に対して解剖学的構造モデルを位置合わせすることを含む。一般に、位置合わせは、剛体変換及び／又は非剛体変換を使用して、測定点をモデルの点に一致させることを含む。測定点は、解剖学的構造内のランドマーク、処置中に走査され且つ追跡される電磁コイル、又は形状センサシステムを使用して生成され得る。測定点は、反復最接近点（iterative closest point）（ＩＣＰ）技術において使用するために生成され得る。ＩＣＰ及び他の位置合わせ技術は、いずれも２０１５年８月１４日に出願された、米国仮特許出願第６２／２０５，４４０号及び米国仮特許出願第６２／２０５，４３３号に記載されておあり、これらは参照によりその全体が本明細書に組み込まれる。プロセス３０８において、医療処置は、医療器具の動きをガイドするように解剖学的構造モデルデータを使用して行われ得る。

以前の画像データ、例えばＣＴスキャン（すなわち、コンピュータ断層撮影スキャン）を使用して作成された解剖学的構造モデルは、多くの処置に適した微細な解剖学的詳細を提供するために画像誘導手術で使用される。しかし、以前の画像データに基づくモデルは、位置合わせエラーを受けやすく、周期的又は非周期的な解剖学的運動による変形、医療器具の存在及び医療器具による生体組織の変形、又は以前の画像データが取得されてから生じた可能性のある患者の解剖学的構造に対する他の変更を含む、解剖学的構造のリアルタイム構成を示していない。蛍光透視法は、Ｘ線を用いて患者の解剖学的構造のリアルタイム動画像を得る透視イメージングモダリティである。従来の放射線写真は、患者の一部をＸ線検出器の前に置き、その後短いＸ線パルスで照射することによって得られるＸ線画像である。同様の方法で、蛍光透視法は、手術環境内の放射線不透過性医療器具、放射線不透過性染料、及び／又は放射線不透過性基準マーカ（radiopaque fiducial markers）を含む、患者の内部のリアルタイムの動画像を得るために、Ｘ線を使用する。蛍光透視システム（Fluoroscopy systems）は、位置の柔軟性を提供し、手動又は自動制御を介して環状（orbital）、水平及び／又は垂直移動が可能なＣアームシステムを含み得る。非Ｃアームシステムは静止しており、低い動きの柔軟性を提供する。蛍光透視システムは、一般に、患者の解剖学的構造の２次元リアルタイム画像を生成するために、イメージインテンシファイア（image intensifier）又はフラットパネル検出器のいずれかを使用する。２平面蛍光透視システム（Bi-planar fluoroscopy systems）は、異なる（多くの場合、直交する）視点からの２つの蛍光透視画像（fluoroscopy image）を同時にキャプチャする。Ｘ線画像の質及び有用性は、画像化される組織のタイプに依存して変化し得る。骨や金属のようなより密度の高い材料は、肺の空気で満たされた軟組織よりも一般的にＸ線画像でより見える。肺の処置の場合、ＣＴモデルは、蛍光透視画像上で識別するのが困難な気道及び腫瘍の解剖学的詳細を提供するが、透視画像は、医療機器及び密度の高い解剖学的組織のリアルタイムの可視化を提供する。したがって、解剖学的構造モデルに位置合わせされた蛍光透視画像は、肺のような解剖学的構造の特定の部分を通り抜けるのに臨床医にとって有用であり得る。

図５は、患者Ｐがプラットフォーム３５２上に配置される手術座標系Ｘ_Ｓ、Ｙ_Ｓ、Ｚ_Ｓを有する、いくつかの実施形態による例示の手術環境３５０を示す。患者Ｐは、著しい患者の動きが、鎮静作用、拘束又は他の手段によって制限されるという意味で、手術環境内で静止し得る。患者が呼吸運動を一時的に中断しない限り、患者Ｐの呼吸及び心臓の動きを含む周期的な解剖学的運動が継続し得る。手術環境３５０内で、医療器具３５４は器具キャリッジ３５６に結合される。器具キャリッジ３５６は、手術環境３５０内に固定された又は移動可能な挿入ステージ３５８に取り付けられる。器具キャリッジ３５６は、挿入運動（すなわち、Ｘ_Ｓ方向の運動）及び、オプションで、ヨー、ピッチ、及びロールを含む多方向における器具の遠位端部の動きを制御するために、器具３５４に結合する遠隔操作マニピュレータアセンブリ（例えば、マニピュレータアセンブリ１０２）の構成要素であり得る。器具キャリッジ３５６又は挿入ステージ３５８は、挿入ステージに沿った器具キャリッジの動きを制御するサーボモータ（図示せず）を含み得る。医療器具３５４は、近位剛体器具ボディ（proximal rigid instrument body）３６２に結合された可撓性カテーテル３６０を含み得る。剛体器具ボディ３６２は、器具キャリッジ３５６に対して結合され且つ固定される。光ファイバ形状センサ３６４が、器具３５４に沿って延び、固定された又は既知の点３６６からカテーテル３６０の部分３６８までの形状を測定するように動作可能である。図示された実施形態では、部分３６８は、遠位端部分として示されている。他の実施形態では、部分３６８は、カテーテルの中央部分を含む、カテーテル３６０の長さに沿った他の場所に配置されてもよい。部分３６８は、カテーテル３６０のインジケータ部分（例えば、部分３６８が画像データ内で識別され得る）として機能し得るように成形され且つ構成される。医療器具３５４は、医療器具システム２００と実質的に同様であり得る。蛍光透視イメージングシステム３７０（蛍光透視システム３７０とも呼ばれる）が、患者Ｐの近くに配置されて、カテーテル３６０が患者内に延ばされる間の患者の蛍光透視画像を取得する。システム３７０は、例えば、移動式Ｃアーム蛍光透視イメージングシステムであり得る。いくつかの実施形態では、システム３７０は、ワシントンＤ．Ｃ．のSiemens Corporationからの多軸Artis Zeego蛍光透視イメージングシステムであり得る。

図６は、手術環境３５０において画像誘導手術を行うための方法４５０を示すフローチャートである。方法４５０を含むこの説明の方法は、ブロック、ステップ、動作、又はプロセスのセットとして図６に示されている。例示された列挙された動作の全てが、方法４５０の全ての実施形態で実行されるわけではない。加えて、方法に明示的に示されていないいくつかの追加の動作が、列挙されたプロセスの前、後、間、又は列挙されたプロセスの一部として含まれていてもよい。この説明の方法のいくつかの実施形態は、メモリに格納された方法のプロセスに対応する命令を含む。これらの命令は、制御システム１１２のプロセッサのようなプロセッサによって実行され得る。

したがって、方法４５０のいくつかの実施形態は、手術前又は手術中の画像データを含む以前の画像データが、ＣＴ、ＭＲＩ、サーモグラフィ、超音波、ＯＣＴ、サーマルイメージング、インピーダンスイメージング、レーザイメージング、又はナノチューブＸ線イメージングのようなイメージング技術から取得されるプロセス４５２で開始し得る。以前の画像データは、２次元、３次元、又は４次元（例えば、時間ベース又は速度ベースの情報を含む）画像に対応し得る。上述のように、解剖学的構造モデルは、解剖学的構造モデルの基準フレームにおける以前の画像データから作成される。プロセス４５４において、医療器具２００に含まれる形状センサ２２２に関連付けられることができる器具センサ基準フレーム（Ｘ_Ｉ、Ｙ_Ｉ、Ｚ_Ｉ）が、解剖学的構造モデル基準フレーム（Ｘ_Ｍ、Ｙ_Ｍ、Ｚ_Ｍ）に位置合わせされる。モデル及び器具の基準フレームの間のこの位置合わせは、例えば、参照により組み込まれる米国仮特許出願第６２／２０５，４４０号及び第６２／２０５，４３３号に記載されているようなポイントベースのＩＣＰ技術を用いて達成され得る。代替的には、モデル基準フレームがセンサ基準フレームに位置合わせされてもよく、又はモデル及びセンサ基準フレームが別の共通基準フレームに位置合わせされてもよい。共通基準フレームは、例えば、手術環境基準フレーム（Ｘ_Ｓ、Ｙ_Ｓ、Ｚ_Ｓ）又は患者基準フレームであり得る。例えば、解剖学的構造モデル座標系及びセンサ座標系を位置合わせすることは：解剖学的構造モデルのモデルポイントのセットを受け取ることと；解剖学的構造の通路内で位置センサによって測定された位置に対応する測定ポイントのセットを受け取ることであって、それぞれのポイントはセンサ座標系内の座標を有する、受け取ることと；一致のセットを生成するよう、測定ポイントのセットのうちの測定ポイントを、モデルポイントのセットのうちのモデルポイントに一致させることと；一致のセットに基づいてモデルポイントのセットに対して測定ポイントのセットを動かすことと；を含む。

プロセス４５６において、図９Ｂを参照して、（イメージングから決定された形状情報とは対照的に）センサデータが、姿勢情報を計算するために使用される。例えば、様々な例では、患者の解剖学的構造の内部、近傍、隣接した、又は外部の場所Ｌにおける医療器具の一部分の検知された位置及び向きが、医療器具の姿勢情報を決定するために使用される。検知された位置及び向きは、センサデータから取得され得る、測定され得る、又は計算され得る。この実施形態では、医療器具の部分３６８は、インジケータ部分と呼ばれ、放射線不透過性遠位端部分を含むことができる。他の実施形態では、蛍光透視画像上で視認可能な医療器具の他の放射線不透過性部分がインジケータ部分であってもよい。インジケータ部分は、蛍光透視画像上で見える任意の長さの医療器具を含むことができる。センサ情報は、光ファイバ形状センサから受信され、センサ基準フレームにおけるインジケータ部分３６８の検知された位置及び向きを計算するために使用される。プロセス４５４における解剖学的構造モデル基準フレーム（又は他の共通基準フレーム）への器具センサ基準フレームの位置合わせに基づいて、センサフレームにおけるインジケータ部分の位置及び／又は向き（すなわち、検知された姿勢）が、プロセス４５８において解剖学的構造モデル基準フレームに変換される。たとえば、解剖学的構造モデル座標系における医療器具の放射線不透過性部分の前記検知された位置を決定することは、センサ座標系におけるセンサ位置情報の座標のセットを解剖学的構造モデル座標系において対応する座標のセットを用いて参照することを含む。

プロセス４６０において、蛍光透視システム３７０は、患者Ｐの蛍光透視画像データ及び患者内に延ばされたカテーテル３６０をキャプチャする。蛍光透視画像データからレンダリングされた１つ又は複数の蛍光透視画像が、インジケータ部分３６８が解剖学的位置Ｌに位置するか又は解剖学的位置Ｌに接触している間に取得される。インジケータ部分３６８が位置Ｌにある間に取得された画像は、単一の視点からのものであってもよく又は同じ時間及び同じ場所における複数の視点からのインジケータ部分３６８を示す画像の複数の平面のセット（multi-planar set of images）（２平面画像のセットを含む）であってもよい。いくつかの例では、カテーテル３６０は、インジケータ部分３６８が１つ又は複数の蛍光透視画像内の解剖学的構造の位置Ｌに視覚的に隣接するように患者の外側に配置されることができる。

プロセス４６２において、インジケータ部分３６８は、蛍光透視画像データ内で識別され、したがって、蛍光透視基準フレームにおける位置Ｌの位置も識別される。様々な実施形態では、蛍光透視システム３７０は、多平面画像を生成することができ、したがって、３次元蛍光透視基準フレーム（Ｘ_Ｆ、Ｙ_Ｆ、Ｚ_Ｆ）を提供する。複数の画像の使用はまた、インジケータ部分３６８の向きの決定を可能にし、したがって、インジケータ部分に関する姿勢情報を提供する。他の実施形態では、蛍光透視システムは、２次元蛍光透視基準フレームを提供し得る。

蛍光透視画像内のインジケータ部分３６８の位置、したがって蛍光透視基準フレーム内の示された位置Ｌを抽出するために、様々な技術が使用され得る。一実施形態では、図９Ａ及び図９Ｂを参照すると、インジケータ部分３６８は、インジケータ部分３６８が存在しない画像６００を、インジケータ部分３６８が存在する画像６１０とを比較することによって、画像データ内で識別されることができる。２つの画像は、例えば制御システム１１２のコンピュータによって分析されて、２つの画像間のグラフィック上の差異を決定する。画像の患者の解剖学的構造部分は２つの画像において同じであるので、インジケータ部分３６８を含むカテーテル３６０は、画像６１０に固有の構造として識別可能である。識別されたカテーテル３６０に関連するグラフィック構成要素（例えば画素、ボクセル）を識別することによって、蛍光透視フレーム内のインジケータ部分３６８の存在及び位置が計算されることができる。インジケータ部分３６８は位置Ｌに配置されているので、位置Ｌの位置もまたインジケータ部分を抽出するグラフィック解析によって決定される。

別の実施形態では、図９Ｂ及び図９Ｃを参照すると、インジケータ部分３６８は、インジケータ部分３６８が位置Ｋにある画像６２０と、インジケータ部分３６８が位置Ｌにある画像６１０とを比較することによって、画像データ内で識別されることができる。２つの画像は、例えば制御システム１１２のコンピュータによって分析されて、２つの画像間のグラフィック上の差異を決定する。画像の患者の解剖学的構造部分は２つの画像において同じであるので、インジケータ部分３６８を含むカテーテル３６０は、各画像６１０、６２０において固有の構造として識別可能である。識別されたカテーテル３６０の遠位端部に関連するグラフィック構成要素を識別することによって、各画像の蛍光透視フレーム内のインジケータ部分３６８の存在及び位置が計算されることができる。インジケータ部分３６８は位置Ｌ及びＫに配置されているので、位置Ｌ及びＫの位置もまたインジケータ部分を抽出するグラフィック解析によって決定される。

別の実施形態では、図１３Ａを参照すると、インジケータ部分３６８は、器具１００２を含む蛍光透視画像１０００がユーザに表示される半自動抽出技術によって画像データ内で識別され得る。ユーザは、タッチスクリーン、マウス、トラックボール、又は視線のような入力デバイスを使用して、器具１００２の輪郭１００４又は遠位先端部のような器具の一部を作成する。ユーザから受信したアウトライン１００４入力に基づいて、セグメント化アルゴリズムは、画像１０００内の器具１００２の特徴（例えば、ピクセルシェーディング、サイズ）を識別し、器具に対応する画像のセグメント（例えば、ピクセル又はボクセル）を分割することに進む。

別の実施形態では、図１３Ｂを参照すると、インジケータ部分３６８は、器具１０２２を含む蛍光透視画像１０１０がユーザに表示される半自動抽出技術によって画像データ内で識別され得る。探索領域１０１４が、ユーザによって識別されるか、又は、画像内への医療器具の入口点１０１６を画像内で探索するために事前定義され得る（例えば、画像の左下象限）。セグメント化アルゴリズムは、医療器具の予想される形状（例えば、陰影の予想される連続性又は彩度、予想される幅、予想される長さ、予想される湾曲）に関連する所定の形状を探索し得る。セグメント化アルゴリズムが画像１０１０内の医療器具を識別した後、アルゴリズムは、器具に対応する画像のセグメント（例えば、画素又はボクセル）を分割することに進む。

別の実施形態では、予想される形状は、形状センサから受け取られる形状情報によって定義され、予想される形状は、半自動抽出技術による使用のための初期探索領域を識別するために使用される。セグメント化アルゴリズムは、時間及び計算リソースを最小限に抑えるために、初期探索領域内の予想される形状をさらに探索し得る。セグメント化アルゴリズムが予想される形状を識別した後、アルゴリズムは、器具に対応する画像のセグメント（例えば、画素又はボクセル）を分割することに進む。

別の実施形態では、インジケータ部分３６８は、形状センサによって又はカテーテルの端部の所定の（すなわち、予想された又は以前から知られている）形状又はマーカによって測定された形状のような、所定の（すなわち予想された又は以前に既知の）放射線不透過性形状について、キャプチャされた蛍光透視画像をグラフィック上で分析し且つ認識することによって、識別され得る。例えば、カテーテルから伸びる針又はカテーテルの端部の固定具の既知の形状が、発見されることができ、画像から抽出されることができる。蛍光透視画像におけるこれらインジケータ部分のグラフィカルな認識は、蛍光透視フレームにおけるタッチ位置Ｌの位置を提供する。

再び図６を参照すると、プロセス４６４において、蛍光透視画像基準フレームが解剖学的モデル基準フレームに位置合わせされる。代替的には、蛍光透視画像基準フレーム及び解剖学的構造モデル基準フレームの両方が、手術基準フレームのような共通基準フレームに位置合わせされる。プロセス４６２は、蛍光透視画像基準フレーム内の位置Ｌにおけるインジケータ部分３６８の位置及び向きを提供し、プロセス４５８は、モデル基準フレーム内のインジケータ部分３６８の位置Ｌの位置及び向きを提供するので、インジケータ部分３６８のそれぞれのフレーム位置は、フレームを一緒に位置合わせするために相互に関連付けられる（correlated）。プロセス４５６、４５８、４６０、４６２は、患者の解剖学的構造内の複数の位置におけるインジケータ部分の複数の位置に対して繰り返されてもよい。プロセス４６４における位置合わせは、それぞれのフレーム内のこれらの複数の位置を関連付け、複数の位置に対応する点の剛体変換又は非剛体変換を実行することによって実行又は向上されることができる。

プロセス４６６において、図１０及び図１１を参照すると、カテーテルが患者の解剖学的構造を通過する（traverses）ときに、位置合わせされた基準フレームが表示され、表示画像（複数可）を見る臨床医が、以前の画像（prior-time image）（例えば、ＣＴ画像）の解剖学的構造の詳細とともに蛍光透視画像内のリアルタイム器具トラッキングの利点を利用することを可能にする。図１０は、蛍光透視基準フレーム（Ｘ_Ｆ、Ｙ_Ｆ、Ｚ_Ｆ）を有する蛍光透視画像７１０及びモデル基準フレーム（Ｘ_Ｍ、Ｙ_Ｍ、Ｚ_Ｍ）を有する以前のモデル画像（prior-time model image）７２０（例えば、限定ではない例として、ＣＴ技術によって取得されたＣＴ画像又は任意の他の適切なイメージング技術によって取得された画像など）を表示するディスプレイ７００を示す。蛍光透視基準フレーム及びモデル基準フレームは位置合わせされており、位置合わせされた画像が並べて表示される。基準フレームが位置合わせされた状態で、１つの画像からの構造は、臨床医が医療処置を行うのを支援するために、オプションで、他の画像にスーパーインポーズ又はオーバーレイされ（overlaid）得る。例えば、蛍光透視画像７１０において可視であるカテーテル３６０は、抽出され、画像７１０上にオーバーレイされることができる。付加的に又は代替的に、画像７２０において可視である標的組織７３０（例えば、腫瘍）が、抽出され、蛍光透視画像７２０上にオーバーレイされてもよい。

図１１は、以前の画像データ８２０が蛍光透視画像データ８３０上にオーバーレイされている単一の画像８１０を表示するディスプレイ８００を示す。いくつかの実施形態（図示せず）では、標的組織への経路が、以前のモデル画像データ内で計画され、以前のモデル画像（例えば、ＣＴ画像）内に表示され得る。経路はその後抽出され、蛍光透視画像データ上にオーバーレイされ得る。

オプションで、蛍光透視画像データが解剖学的構造モデルに位置合わせされた後、重要な特徴が、蛍光透視画像データ、解剖学的構造モデル、又はその２つの組み合わせから生成された２次元又は３次元画像から見られて分析されることができる。例えば、蛍光透視画像データ内の陰影は、腫瘍を示すことができ、又は解剖学的構造モデルを生成するために使用されるセグメント化されたＣＴデータ内の腫瘍をどこで探すべきかを示すことができる。

オプションで、蛍光透視画像データが解剖学的構造モデルに位置合わせされた後、仮想蛍光透視図が生成されてもよい。この位置合わせは、モデルに対する蛍光透視画像面を示すので、別のビュー平面（plane of view）からの患者の解剖学的構造の仮想図が生成されてもよい。例えば、実際の蛍光透視画像平面に直交する平面からの仮想図が、解剖学的モデルから生成されて、臨床医に２平面蛍光透視画像に近い経験を提供することができる。

加えて又はオプションで、解剖学的構造モデルに位置合わせされた透視図を用いて、標的組織、腫瘍、又は他の目印のような解剖学的特徴が、蛍光透視画像内で識別され、解剖学的構造モデル内の対応する特徴の位置を特定するために用いられることができる。例えば、腫瘍が、解剖学的構造モデル内の対応する腫瘍を識別するのに役立つように、蛍光透視図において可視であることができる。解剖学的構造モデルにおいて同定されると、腫瘍は標的として標識されることができ、その標的へのナビゲーション経路が解剖学的構造モデル内で計画されることができる。

図７は、手術環境３５０において画像誘導手術を実行するための別の方法５００を示すフローチャートである。方法５００を含むこの説明の方法は、ブロック、ステップ、動作、又はプロセスのセットとして図７に示されている。例示された、列挙された動作のすべてが、方法５００の全ての実施形態で実行されるわけではない。加えて、方法に明示的に図示されていないいくつかの追加の動作が、列挙されたプロセスの前、後、間、又は列挙されたプロセスの一部として含まれてもよい。この説明の方法のいくつかの実施形態は、メモリに格納された方法のプロセスに対応する命令を含む。これらの命令は、制御システム１１２のプロセッサのようなプロセッサによって実行され得る。

方法５００は、手術前ＣＴスキャンなどの患者の解剖学的構造の以前のイメージングデータを取得する前述のプロセス４５２と、解剖学的構造モデル基準フレームに器具センサ基準フレームを位置合わせするプロセス４５４とを含む。一連のプロセス５０２は、解剖学的構造ランドマークポイントを収集して一致させ、蛍光透視及びモデルの基準フレームを位置合わせするためのサブプロセスを記述する。プロセス５０８において、蛍光透視システム３７０は、インジケータ部分３６８が画像データから生成された蛍光透視画像において可視である解剖学的構造ランドマークに接触するか又は近接して配置されている間に、患者Ｐ及びカテーテル３６０の蛍光透視画像データを取り込む。解剖学的構造ランドマークは、脊柱、胸郭、胸骨、襟骨、横隔膜、血管系、又は気道樹の可視部分のような蛍光透視法で可視である任意の固有の構造であり得る。プロセス５１０において、インジケータ部分３６８が透視画像データ内で識別され、したがって、蛍光透視基準フレーム内の示された解剖学的構造ランドマークの位置も識別される。様々な実施形態では、蛍光透視システム３７０は、多平面画像を生成することができ、したがって、３次元透視基準フレーム（Ｘ_Ｆ、Ｙ_Ｆ、Ｚ_Ｆ）を提供することができる。他の実施形態では、蛍光透視システムは、２次元透視基準フレームを提供することができる。蛍光透視画像データからインジケータ部分を抽出する方法は上述されている。プロセス５１２において、同じ解剖学的構造ランドマークが解剖学的構造モデルにおいて選択され、蛍光透視画像データにおける解剖学的構造ランドマークと互いに関係付けられる。例えば、カテーテルのインジケータ部分が解剖学的構造ランドマークに接触している間（リアルタイム蛍光透視画像において臨床医によって見られるとき）、ユーザは、解剖学的構造ランドマークの位置において、解剖学的構造モデルを表示するタッチスクリーンをタッチすることができる。モデルにおいて解剖学的構造ランドマークの位置を特定するための他のマーキング方法が使用されてもよい。したがって、蛍光透視基準フレームにおける解剖学的構造ランドマークの座標及びモデル基準フレームにおける解剖学的構造ランドマークの座標は互いに関係付けられることができる。図１２において、各ランドマーク９１０を蛍光透視基準フレーム内の位置９２０及びモデル基準フレーム内の位置９３０に参照する相関テーブル９００がまとめられることができる。プロセス５０２は、複数の解剖学的構造ランドマークの各々について繰り返されることができる。例えば、３つ以上の解剖学的構造ランドマークを選択することができる。

プロセス５１４において、蛍光透視画像基準フレームは解剖学的構造モデル基準フレームに位置合わせされる。解剖学的構造ランドマークポイント位置合わせは、参照により本明細書に組み込まれている米国仮特許出願第６２／２０５，４４０号及び第６２／２０５，４３３号に記載されている。例えば、蛍光透視画像の解剖学的構造基準ポイントのセットは、モデルにおける解剖学的構造ランドマークポイントと一致する。一致したポイントの１つ又は両方のセットは、次に、蛍光透視及びモデルの基準フレームを位置合わせするために、剛体変換又は非剛体変換によって回転、並進移動又は別の方法で操作される。プロセス５１６において、図１０及び１１を参照すると、カテーテルが患者の解剖学的構造を通過するときに、位置合わせされた基準フレームが表示され、表示画像を見る臨床医が以前の画像（例えば、ＣＴ画像）の解剖学的構造の詳細とともに蛍光透視画像内のリアルタイム器具トラッキングの利点を利用することを可能にする。

図８は、プロセス５０２を置換するために方法５００で使用され得るサブプロセス５５０を示すフローチャートである。プロセス５５２において、インジケータ部分３６８が患者の解剖学的構造の通路を通過する間に、蛍光透視システム３７０は、患者Ｐ及びカテーテル３６０の蛍光透視画像データをキャプチャする。プロセス５５４において、インジケータ部分３６８の複数のロケーションポイント（location points）が蛍光透視画像データ内で識別され、したがって、蛍光透視基準フレーム内のロケーションポイントの位置も識別される。この実施形態では、蛍光透視システム３７０は、多平面画像を生成することができ、したがって、３次元蛍光透視基準フレーム（Ｘ_Ｆ、Ｙ_Ｆ、Ｚ_Ｆ）を提供することができる。他の実施形態では、蛍光透視システムは、２次元透視基準フレームを提供し得る。蛍光透視画像データからインジケータ部分を抽出する方法は上述されている。プロセス５５６において、蛍光透視画像基準フレームが解剖学的構造モデル基準フレームに位置合わせされる。ポイントクラウド位置合わせは、参照により本明細書に組み込まれる米国仮特許出願第６２／２０５，４４０号及び第６２／２０５，４３３号に記載されている。例えば、蛍光透視画像の解剖学的構造基準ポイントのセットは、解剖学的モデルにおけるモデルポイント（例えば、通路の以前の又は同時のＣＴスキャンから受信されたモデルポイント）と一致するように剛体又は非剛体変換によって回転、並進移動又はその他の法帆で操作される。ＩＣＰ又は他のポイント位置合わせ技術により、蛍光透視及びモデルの基準フレームが位置合わせされる。

図１４は、手術環境３５０において画像誘導手術を行うための方法１１００を示すフローチャートである。方法１１００は、手術前又は手術中の画像データを含む以前の画像データが、ＣＴ、ＭＲＩ、サーモグラフィ、超音波、ＯＣＴ、サーマルイメージング、インピーダンスイメージング、レーザイメージング、又はナノチューブＸ線イメージングのようなイメージング技術から取得されるプロセス１１０２で始まる。以前の画像データは、２次元、３次元、又は４次元（例えば、時間ベース又は速度ベースの情報を含む）画像に対応し得る。上述したように、解剖学的構造モデルは、以前の画像データから作成される。プロセス１１０４において、医療器具のインジケータ部分が患者の解剖学的構造内の位置Ｌに位置する間に、形状センサ情報が医療器具から受信される。

プロセス１１０６において、蛍光透視システム３７０は、患者Ｐ及び患者内に延ばされたカテーテル３６０の蛍光透視画像データをキャプチャする。蛍光透視画像データからレンダリングされる１つ又は複数の蛍光透視画像が、インジケータ部分３６８が解剖学的構造の位置Ｌに位置する又は解剖学的構造の位置Ｌに接触している間に、取得される。インジケータ部分３６８が位置Ｌにある間に取得される画像は、単一の視点からのものであり得る又は同時且つ同じ場所における複数の視点からのインジケータ部分３６８を示す複数の平面の画像セット（２平面画像のセットを含む）であり得る。

プロセス１１０８において、カテーテル３６０の形状が蛍光透視画像データにおいて識別され、したがって、蛍光透視基準フレーム内の（カテーテルの遠位先端部における）位置Ｌの位置も識別される。様々な実施形態では、蛍光透視システム３７０は、多平面画像を生成することができ、したがって、３次元蛍光透視基準フレーム（Ｘ_Ｆ、Ｙ_Ｆ、Ｚ_Ｆ）を提供する。他の実施形態では、蛍光透視システムは、２次元蛍光透視基準フレームを提供することができる。カテーテルの形状及び／又はインジケータ部分の姿勢を抽出するための様々な実施形態は上述されている。プロセス１１１０において、プロセス１１１０からの形状センサ情報は、蛍光透視画像データから決定された形状情報と比較される。形状センサがねじれる又は鋭く曲げられるようになる場合、光ファイバ形状センサから決定される形状情報は、不正確さを含む可能性がある。加えて、誤差は光ファイバ形状センサの長さによって蓄積するので、形状及び遠位先端部位置は、より長い器具ではより不正確になる可能性がある。センサ情報の精度は、複数のソースから受信した器具形状情報を融合することによって改善され得る。プロセス１１１０において、医療器具からの形状センサ情報は、蛍光透視画像形状情報に基づいて修正される。例えば、形状センサ情報における遠位先端部の位置は、蛍光透視画像形状情報における遠位先端部の位置に調整されてもよい。別の例では、形状情報は、不正確さが予想される部分（例えば、遠位先端部分）に沿ってのみ平均化又は修正されてもよい。

プロセス１１１２において、修正された器具センサ情報は、先に説明された位置合わせ方法のいずれかを用いて解剖学的構造モデルに位置合わせされる。プロセス１１１４において、画像誘導医療処置が、器具遠位先端部のより正確な位置特定（localization）を提供する修正されたセンサ情報を伴って、医療用器具を用いて行われる。位置特定された（localized）器具の遠位先端部に基づいて、遠位先端部の視点（位置及び向き）からの患者の解剖学的構造の仮想画像が解剖学的構造モデルから生成され得る。加えて、位置特定された器具の遠位先端部に基づいて、解剖学的構造モデルからの画像上にオーバーレイされた医療器具の仮想画像が、医療器具の動きを誘導する（guide）ために使用され得る。

図１５は、好ましい蛍光透視ビュー平面を決定する方法１２００を示す。プロセス１２０２において、手術前又は手術中の画像データを含む以前の画像データが、ＣＴ、ＭＲＩ、サーモグラフィ、超音波、ＯＣＴ、サーマルイメージング、インピーダンスイメージング、レーザイメージング、又はナノチューブＸ線イメージングのようなイメージング技術から、取得される。以前の画像データは、２次元、３次元、又は４次元（例えば、時間ベース又は速度ベースの情報を含む）画像に対応し得る。上述のように、解剖学的構造モデルは、以前の画像データから作成される。プロセス１２０４において、医療器具２００の器具センサ２２２は、方法４５０のプロセス４５４について上述したように、解剖学的構造モデルに位置合わせされる。プロセス１２０６において、好ましい蛍光透視ビュー平面が決定されて、臨床医に、カテーテルの遠位先端部の動き、カテーテルの遠位先端部から出る生検針又は他のツールの動き、及び／又はツールによって係合される（例えば、腫瘍）又はツールによって回避される（例えば、穿孔を避けるための肺胸膜）組織領域を可視化することを可能にする。より具体的には、好ましい蛍光透視平面は、形状センサ情報から器具の遠位先端部分の姿勢を決定することによって選択されることができる。好ましい蛍光透視平面は、器具の遠位先端部の姿勢（例えば、図１３Ｂのビュー平面）に概して平行であり得る。これに加えて又はこれに代えて、好ましい蛍光透視平面は、器具の遠位先端部分と関心のある組織領域との間の距離を測定し、最大距離を提供する蛍光透視ビュー平面を決定することによって、決定されてもよい。この蛍光透視ビュー平面は、器具の遠位先端部分と組織領域との間の軌跡と概して平行であり、従って、生検針が標的組織領域を捕えた（intercepted）かどうか又は患者に怪我をさせるであろう領域を回避したかどうかについて臨床医に最も正確な情報を提供する。

図１６は、２次元蛍光透視誘導下で医療器具を駆動するための方法１３００を示す。プロセス１３０２において、手術基準フレーム内の患者の解剖学的構造の蛍光透視画像データが、蛍光透視システム３７０から取得される。蛍光透視システムの向き、したがってイメージング平面の向きは、外部追跡システム、画像化された基準点、又は方法４５０について上述したような形状検知データの使用を含む様々な方法により決定され得る。蛍光透視イメージング平面の決定の説明は、その全体が参照により本明細書に組み込まれる、２０１５年９月１０日に出願された、Systems and Methods of Pose Estimation and Calibration of Perspective Imaging System in Image Guided Surgeryを包含する米国仮出願第６２／２１６，４９４号に見出される。いくつかの例では、蛍光透視システムのグラフィカルレンダリングが、所望の透視画像平面内の蛍光透視画像を取得することを容易にするために、生成され得る。特に、このようなレンダリングは、所望の又は所定の蛍光透視平面内の蛍光透視画像を適切にキャプチャするように、ユーザが蛍光透視システムの要素（例えば、フルオロアーム（fluoro arm）又はＸ線イメージャ）の位置決めをするのを支援し得る。いくつかの例では、システム又はユーザは、所望の又は所定の蛍光透視画像平面内で蛍光透視画像を取得するためのシステム構成をより良好に達成するために、蛍光透視システムのためのジョイント構成のセットを受け取り得る。プロセス１３０４において、二次元蛍光透視画像が蛍光透視画像データからの表示のために生成される。表示される画像は、イメージング平面の配向面に基づく配向面を有する。プロセス１３０６において、制御システム１１２は、カテーテルシステム２０２の動きを駆動するコマンドを受信する。プロセス１３０８において、カテーテルシステム２０２又はカテーテルの一部の動きは、表示された蛍光透視画像の配向面の平面に拘束される。一実施形態では、カテーテルのインジケータ部分の動きのみが、蛍光透視画像の配向面に拘束されてもよい。カテーテルのインジケータ部分の動きは、遠隔操作システムにおけるオペレータ制御部の動きを制限することによって拘束されることができ、その結果、オペレータは、カテーテルの部分を拘束面から移動させる方向に制御部を動かすことを防止される。追加的または代替的に、カテーテルのインジケータ部分の動きは、遠隔操作マニピュレータアセンブリ内の少なくとも１つのアクチュエータ又は作動ケーブルの動きを制限することによって、拘束されてもよい。上述の開ループ拘束システムにおけるオペレータ制御部又は器具の作動機構に対する拘束にもかかわらず、カテーテルのインジケータ部分は、隣接する組織からの解剖学的構造の力に起因する拘束された平面の外の動きをなお経験する可能性がある。閉ループシステムでは、医療器具の形状、位置、又は他のセンサから受信したセンサ情報は、蛍光透視画像の配向面からのインジケータ部分の動きを認識するために、制御システムによって受信され、分析されることができる。認識された平面外の動きに応答して、制御システムは、インジケータ部分を調整して配向面に戻す信号又はコマンドを提供することができる。いくつかの例では、インジケータ部分を調整するための信号及び／又はコマンドは、オーバーライド又は無視されてもよい。他の例では、インジケータ部分を調節するための信号及び／又はコマンドは、インジケータ部分を自動的に調整して配向面に戻してもよい。様々な実施形態では、１つ又は複数の追加の蛍光透視画像が、拘束面に対する直交面又は他の非平行面から取得されることができ、臨床医が拘束面の外のインジケータ部分の動きを観察することを可能にする。様々な実施形態では、表示された蛍光透視画像の配向面にインジケータ部分の動きを拘束することは、手動スイッチ、音声作動スイッチ、足作動スイッチ、又は別のオペレータ制御機構を含み得るオペレータ制御スイッチの作動によって開始されることができる。追加的に又は代替的に、表示された蛍光透視画像の配向面にインジケータ部分の動きを拘束することは、蛍光透視画像の表示又はオペレータが蛍光透視画像を見ているという認識に応答して制御システム１１２によって開始されてもよい。

この開示は、遠隔操作システムのための様々なシステム及び方法を記載しているが、それらは、マニピュレータアセンブリ及び器具が直接制御される非遠隔操作システムでの使用も考慮されている。提供される様々な例は、解剖学的構造内で行われる処置の使用を説明するが、代替実施形態では、この開示の装置及び方法は、解剖学的構造内で使用する必要はなく、むしろ患者の解剖学的構造の外で使用されることもできる。

本発明の実施形態における１つ又は複数の要素は、制御システム１１２のようなコンピュータシステムのプロセッサ上で実行するためにソフトウェアで実装されてもよい。ソフトウェアで実装される場合、本発明の実施形態の要素は、本質的には、必要なタスクを実行するためのコードセグメントである。プログラム又はコードセグメントは、光媒体、半導体媒体、及び磁気媒体を含む情報を格納することができる任意の媒体を含む、非一時的プロセッサ可読記憶媒体又はデバイスに格納されることができる。プロセッサ可読記憶デバイスの例は、電子回路；半導体デバイス、半導体メモリデバイス、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）；フロッピー（登録商標）ディスケット、ＣＤ－ＲＯＭ、光ディスク、ハードディスク、又は他の記憶装置を含む。コードセグメントは、インターネット、イントラネットなどのようなコンピュータネットワークを介してダウンロードされることができる。

提示されたプロセス及び表示は、本質的に、特定のコンピュータ又は他の装置に関連するものではないことに留意されたい。様々なこれらのシステムに必要な構成は、特許請求の範囲内の要素として現れるであろう。加えて、本発明の実施形態は、特定のプログラミング言語を参照して説明されていない。様々なプログラミング言語が本明細書に記載される本発明の教示を実施するために使用され得ることが理解されるであろう。

本発明のある例示的な実施形態が記載されるとともに添付の図面に示されているが、そのような実施形態は、広範な発明を単に説明するものであって、限定するものではなく、当業者には様々な他の改変が思い浮かび得るので、本発明の実施形態は、図示されるとともに記載された特定の構造及び構成に限定されるものではないことが理解されるべきである。

次の付記を記す。
（付記１） コンピュータシステムによって実行される方法であって：
医療器具のある部分が患者の解剖学的構造内に配置されている間に前記患者の解剖学的構造の蛍光透視画像を受け取るステップであって、前記蛍光透視画像は蛍光透視基準フレームを有し、前記部分は、解剖学的構造モデル基準フレームにおいて検知位置を有する、ステップと；
前記蛍光透視画像において前記部分を識別するステップと；
前記蛍光透視画像において識別された前記部分を使用して、前記蛍光透視基準フレームおいて前記部分の抽出位置を識別するステップと；
前記部分の前記検知位置及び前記部分の前記抽出位置に基づいて前記蛍光透視基準フレームを前記解剖学的構造モデル基準フレームに位置合わせするステップと；
を含む、方法。
（付記２） 前記蛍光透視画像において識別された前記部分を使用して、前記蛍光透視基準フレームにおいて前記部分の抽出された向きを識別するステップ、をさらに含み、
前記部分は、前記解剖学的構造モデル基準フレームにおいて検知された向きを有し、
前記蛍光透視基準フレームを前記解剖学的構造モデル基準フレームに位置合わせするステップはさらに、前記部分の前記検知された向き及び前記部分の前記抽出された向きに基づく、
付記１に記載の方法。
（付記３） 前記蛍光透視画像において前記部分を識別するステップは、前記蛍光透視画像において前記部分の予想される形状を識別するステップを含む、
付記１に記載の方法。
（付記４） 前記蛍光透視画像において前記部分を識別するステップは、前記医療器具の前記部分が前記患者の解剖学的構造内に配置されている間の前記患者の解剖学的構造の前記蛍光透視画像を、前記医療器具の前記部分が前記患者の解剖学的構造内に配置されていないときに記録された前記患者の解剖学的構造の蛍光透視画像と比べるステップを含む、
付記１に記載の方法。
（付記５） 前記蛍光透視画像において前記部分を識別するステップは、前記医療器具の前記部分が前記患者の解剖学的構造内の第１の位置に配置されている間の前記患者の解剖学的構造の前記蛍光透視画像を、前記医療器具の前記部分が前記患者の解剖学的構造内の第２の位置に配置されているときに記録された前記患者の解剖学的構造の蛍光透視画像と比較するステップを含む、
付記１に記載の方法。
（付記６） 前記解剖学的構造モデル基準フレームにおける前記患者の解剖学的構造の通路の解剖学的構造モデルについてのモデルポイントのセットを受け取るステップをさらに含む、
付記５に記載の方法。
（付記７） 前記通路の解剖学的構造モデルについての前記モデルポイントのセットは、コンピュータ断層撮影から作られる、
付記６に記載の方法。
（付記８） 前記蛍光透視画像のある部分及び前記解剖学的構造モデルのある部分の共に位置合わせされた画像内で前記医療器具の前記部分を表示するステップをさらに含む、
付記６に記載の方法。
（付記９） 前記解剖学的構造モデル内で標的組織を識別するとともに表示するステップと；
前記蛍光透視画像の前記部分の前記共に位置合わせされた画像において前記標的組織をオーバーレイするステップと；
をさらに含む、
付記８に記載の方法。
（付記１０） 前記解剖学的構造モデルにおける前記標的組織への経路を計画するステップと；
前記蛍光透視画像の前記部分の前記共に位置合わせされた画像において前記経路をオーバーレイするステップと；
をさらに含む、
付記９に記載の方法。
（付記１１） 前記医療器具の前記部分の前記検知位置を決定するために前記医療器具の位置センサからセンサ位置情報を受け取るステップであって、前記センサ位置情報はセンサ基準フレーム内にある、ステップと；
前記解剖学的構造モデル基準フレーム及び前記センサ基準フレームを位置合わせするステップであって、前記解剖学的構造モデル基準フレームは、前記患者の解剖学的構造の解剖学的構造通路の解剖学的構造モデルと関連付けられる、ステップと；
前記解剖学的構造モデル基準フレーム及び前記センサ基準フレームの前記の位置合わせから、前記解剖学的構造モデル基準フレームにおける前記部分の前記検知位置を決定するステップと；
をさらに含む、
付記１に記載の方法。
（付記１２） 前記位置センサは、前記医療器具に沿って延びる光ファイバ形状センサである、
付記１１に記載の方法。
（付記１３） 前記解剖学的構造モデル基準フレームにおける前記医療器具の前記部分の前記検知位置を決定するステップは、前記センサ基準フレームにおける前記センサ位置情報の座標のセットを前記解剖学的構造モデル基準フレームにおいて対応する座標のセットを用いて参照するステップを含む、
付記１１に記載の方法。
（付記１４） 前記解剖学的構造モデル基準フレーム及び前記センサ基準フレームを位置合わせするステップは：
前記解剖学的構造モデルのモデルポイントのセットを受け取るステップと；
前記解剖学的構造通路の中から収集される測定ポイントのセットを受け取るステップであって、それぞれのポイントは前記センサ基準フレーム内の座標を有する、ステップと；
一致のセットを生成するよう、前記測定ポイントのセットのうちの前記測定ポイントを、前記モデルポイントのセットのうちの前記モデルポイントに一致させるステップと；
前記一致のセットに基づいて前記モデルポイントのセットに対して前記測定ポイントのセットを動かすステップと；
を含む、
付記１１に記載の方法。
（付記１５） コンピュータシステムによって実行される方法であって：
複数の解剖学的構造ランドマークの位置のセットを識別するステップであって、前記複数の解剖学的構造ランドマークはモデル基準フレームにおいて患者の解剖学的構造の通路の解剖学的構造モデル内でレンダリングされる、ステップと；
医療器具のある部分が前記患者の解剖学的構造の前記通路内の前記複数の解剖学的構造ランドマークを通過する間に、前記患者の解剖学的構造の蛍光透視画像データを受け取るステップであって、前記蛍光透視画像データは、蛍光透視基準フレームを有する、ステップと；
前記蛍光透視基準フレームにおいて前記複数の解剖学的構造ランドマークにおける前記医療器具の前記部分の位置のセットを識別するステップと；
前記モデル基準フレームにおける前記複数の解剖学的構造ランドマークの前記位置のセット及び前記蛍光透視基準フレームにおける前記複数の解剖学的構造ランドマークでの前記医療器具の前記部分の前記位置のセットを共通基準フレームに位置合わせするステップと；
を含む、方法。
（付記１６） 前記蛍光透視基準フレームにおいて前記医療器具の前記部分の前記位置のセットを識別するステップは、前記蛍光透視基準フレームにおいて前記医療器具の前記部分の所定の形状を識別するステップを含む、
付記１５に記載の方法。
（付記１７） 前記蛍光透視基準フレームにおいて前記医療器具の前記部分の前記位置のセットを識別するステップは、前記医療器具の前記部分が前記複数の解剖学的構造ランドマークのうちの少なくとも１つに配置されている間の前記患者の解剖学的構造の前記蛍光透視画像データを、前記医療器具の前記部分が前記患者の解剖学的構造の中に配置されていないときに記録された前記患者の解剖学的構造の蛍光透視画像データと比較するステップを含む、
付記１５に記載の方法。
（付記１８） 前記蛍光透視基準フレームにおいて前記位置のセットを識別するステップは、前記医療器具の前記部分が前記複数の解剖学的構造ランドマークのうちの少なくとも１つに配置されている間の前記患者の解剖学的構造の前記蛍光透視画像データを、前記医療器具の前記部分が前記患者の解剖学的構造の中の他の場所に配置されているときに記録された前記患者の解剖学的構造の画像と比較するステップを含む、
付記１５に記載の方法。
（付記１９） 前記蛍光透視画像のある部分、前記解剖学的構造モデルのある部分、及び前記医療器具の前記部分の共に位置合わせされた画像を表示するステップをさらに含む、
付記１５に記載の方法。
（付記２０） 前記共通基準フレームは、前記モデル基準フレームである、
付記１５に記載の方法。
（付記２１） 前記共通基準フレームは、前記蛍光透視基準フレームである、
付記１５に記載の方法。
（付記２２） コンピュータシステムによって実行される方法であって：
モデル基準フレームにおいて患者の解剖学的構造の通路の解剖学的構造モデルについてのモデルポイントのセットを受け取るステップと；
医療器具のインジケータ部分が前記患者の解剖学的構造の前記通路を通過する間に前記患者の解剖学的構造の蛍光透視画像データを受け取るステップであって、前記蛍光透視画像データは、蛍光透視基準フレームを有する、ステップと；
前記蛍光透視画像データから、前記蛍光透視基準フレームにおいてインジケータ部分位置ポイントのセットを識別するステップと；
一致のセットを生成するようそれぞれの前記インジケータ部分位置ポイントを前記モデルポイントのセットにおけるモデルポイントと一致させるステップと；
前記一致のセットに基づいて前記モデル基準フレームを前記蛍光透視基準フレームに位置合わせするステップと；
を含む、方法。
（付記２３） 前記蛍光透視基準フレームにおいて前記インジケータ部分位置ポイントのセットを識別するステップは、前記蛍光透視基準フレームにおいて前記インジケータ部分の予想される形状を識別するステップを含む、
付記２２に記載の方法。
（付記２４） 前記蛍光透視基準フレームにおいて前記インジケータ部分位置ポイントのセットを識別するステップは、前記医療器具の前記インジケータ部分が配置されている間の前記患者の解剖学的構造の前記蛍光透視画像データを、前記医療器具の前記インジケータ部分が前記患者の解剖学的構造内に配置されていないときに記録された前記患者の解剖学的構造と比較するステップを含む、
付記２２に記載の方法。
（付記２５） 前記蛍光透視画像データから生成される蛍光透視画像のある部分、前記解剖学的構造モデルのある部分、及び前記医療器具の前記インジケータ部分の共に位置合わせされた画像を表示するステップをさらに含む、
付記２２に記載の方法。
（付記２６） 前記一致のセットに基づいて記モデル基準フレームを前記蛍光透視基準フレームに位置合わせするステップは、前記一致のセットに基づいて前記モデルポイントのセットに対して前記インジケータ部分位置ポイントのセットを動かすステップを含む、
付記２２に記載の方法。
（付記２７） コンピュータ支援医療システムであって：
手術座標空間内の蛍光透視撮像装置と；
１つ又は複数のプロセッサを含む処理ユニットと；を有し、
前記処理ユニットは：
医療器具のある部分が患者の解剖学的構造内の位置に配置されている間に、前記蛍光透視撮像装置から前記患者の解剖学的構造の配向面を有する蛍光透視画像を受け取り；
前記医療器具の前記部分の動きを駆動するコマンドを受信し；
前記部分の作動された動きが前記蛍光透視画像の前記配向面に拘束されるように、前記部分の作動を拘束し；
前記の拘束された作動で前記部分の動きを駆動する；
ように構成される、
コンピュータ支援医療システム。
（付記２８） 前記処理ユニットは、前記蛍光透視画像を表示するようにさらに構成される、
付記２７に記載のコンピュータ支援医療システム。
（付記２９） 前記処理ユニットは、その中で前記部分の作動されていない動きが可視である第２の配向面を有する第２の蛍光透視画像を表示するようにさらに構成される、
付記２８に記載のコンピュータ支援医療システム。
（付記３０） 前記処理ユニットは：
前記の拘束された作動で前記部分の前記動きを駆動する間に前記医療器具からセンサ情報を受信し；
受信した前記センサ情報から前記蛍光透視画像の前記配向面外の前記部分の動きを認識し；
前記医療器具の前記部分を前記蛍光透視画像の前記配向面内に調整する信号を送信する；
ようにさらに構成される、
付記２７に記載のコンピュータ支援医療システム。
（付記３１） 前記センサ情報は、光ファイバ形状センサから受信される、
付記３０に記載のコンピュータ支援医療システム。
（付記３２） 前記部分の前記作動を拘束することは、遠隔操作制御システムのオペレータ制御装置の動きを拘束することを含む、
付記２７に記載のコンピュータ支援医療システム。
（付記３３） 前記部分の前記作動を拘束することは、遠隔操作マニピュレータアセンブリの少なくとも１つのアクチュエータの動きを拘束することを含む、
付記２７に記載のコンピュータ支援医療システム。
（付記３４） 前記部分の前記作動を拘束することは、制御スイッチの作動に応じる、
付記２７に記載のコンピュータ支援医療システム。
（付記３５） コンピュータシステムによって実行される方法であって：
患者の解剖学的構造の解剖学的構造モデルを受け取るステップであって、関心領域が前記解剖学的構造モデルにおいて識別される、ステップと；
前記患者の解剖学的構造内に配置され且つ前記解剖学的構造モデルに位置合わせされた器具の器具形状センサから形状センサデータを受け取るステップと；
受け取った前記形状センサデータ及び前記関心領域に基づいて表示のために蛍光透視画像面を決定するステップと；
を含む、方法。
（付記３６） 前記器具形状センサは、前記器具の遠位先端部分に配置され、前記蛍光透視画像面を決定するステップは：
受け取った前記形状センサデータから前記器具の前記遠位先端部分の姿勢を決定するステップと；
前記器具の前記遠位先端部分と前記関心領域との間の距離を決定するステップと；
を含む、
付記３５に記載の方法。
（付記３７） 前記蛍光透視画像面を決定するステップは、前記器具の前記遠位先端部分と前記関心領域との間の前記距離が最大である前記蛍光透視画像面を決定するステップをさらに含む、
付記３６に記載の方法。
（付記３８） 前記蛍光透視画像面を決定するステップは、前記遠位先端部分の前記姿勢と平行である前記蛍光透視画像面を決定するステップをさらに含む、
付記３６に記載の方法。
（付記３９） 前記器具形状センサは、光ファイバ形状センサである、
付記３５に記載の方法。
（付記４０） 決定された前記蛍光透視画像面において蛍光透視画像を取得するための構成で蛍光透視システムのグラフィカルレンダリングを提供するステップをさらに含む、
付記３５に記載の方法。
（付記４１） 決定された前記蛍光透視画像面において蛍光透視画像を取得するためのシステム構成を達成するよう蛍光透視システムのためのジョイント構成のセットを提供するステップをさらに含む、
付記３５に記載の方法。

Claims (14)

1. 命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、１つ又は複数のプロセッサによって実行されるとき、前記１つ又は複数のプロセッサに：
   複数の解剖学的構造ランドマークの位置のセットを識別するステップであって、前記複数の解剖学的構造ランドマークはモデル座標系において患者の解剖学的構造の通路の解剖学的構造モデル内でレンダリングされる、ステップと；
   医療器具の部分が前記患者の解剖学的構造の前記通路内の前記複数の解剖学的構造ランドマークを通過する間に、前記患者の解剖学的構造の蛍光透視画像データを受け取るステップであって、前記蛍光透視画像データは、蛍光透視座標系を有する、ステップと；
   前記蛍光透視座標系において前記複数の解剖学的構造ランドマークにおける前記医療器具の前記部分の位置のセットを識別するステップと；
   前記モデル座標系における前記複数の解剖学的構造ランドマークの前記位置のセット及び前記蛍光透視座標系における前記複数の解剖学的構造ランドマークでの前記医療器具の前記部分の前記位置のセットを共通座標系に位置合わせするステップと；
   を実行させる、
   非一時的コンピュータ可読媒体。
2. 前記蛍光透視座標系において前記医療器具の前記部分の前記位置のセットを識別するステップは、前記蛍光透視座標系において前記医療器具の前記部分の所定の形状を識別するステップを含む、
   請求項１に記載の非一時的コンピュータ可読媒体。
3. 前記蛍光透視座標系において前記医療器具の前記部分の前記位置のセットを識別するステップは、前記医療器具の前記部分が前記複数の解剖学的構造ランドマークのうちの少なくとも１つに配置されている間の前記患者の解剖学的構造の前記蛍光透視画像データを、前記医療器具の前記部分が前記患者の解剖学的構造の中に配置されていないときに記録された前記患者の解剖学的構造の前記蛍光透視画像データと比較するステップを含む、
   請求項１に記載の非一時的コンピュータ可読媒体。
4. 前記蛍光透視座標系において前記医療器具の前記部分の前記位置のセットを識別するステップは、前記医療器具の前記部分が前記複数の解剖学的構造ランドマークのうちの少なくとも１つに配置されている間の前記患者の解剖学的構造の前記蛍光透視画像データを、前記医療器具の前記部分が前記患者の解剖学的構造の中の他の場所に配置されているときに記録された前記患者の解剖学的構造の画像と比較するステップを含む、
   請求項１に記載の非一時的コンピュータ可読媒体。
5. 前記１つ又は複数のプロセッサによって実行されるとき、前記１つ又は複数のプロセッサに、前記蛍光透視画像データの部分、前記解剖学的構造モデルの部分、及び前記医療器具の前記部分の共に位置合わせされた画像を表示させる命令をさらに記憶する、
   請求項１に記載の非一時的コンピュータ可読媒体。
6. 前記共通座標系は、前記モデル座標系である、
   請求項１に記載の非一時的コンピュータ可読媒体。
7. 前記共通座標系は、前記蛍光透視座標系である、
   請求項１に記載の非一時的コンピュータ可読媒体。
8. 医療システムであって：
   医療器具と；
   メモリ及び少なくとも１つのプロセッサを有する制御システムであって：
   複数の解剖学的構造ランドマークの位置のセットを識別し、前記複数の解剖学的構造ランドマークはモデル座標系において患者の解剖学的構造の通路の解剖学的構造モデル内でレンダリングされ；
   医療器具の部分が前記患者の解剖学的構造の前記通路内の前記複数の解剖学的構造ランドマークを通過する間に、前記患者の解剖学的構造の蛍光透視画像データを受け取り、前記蛍光透視画像データは、蛍光透視座標系を有し；
   前記蛍光透視座標系において前記複数の解剖学的構造ランドマークにおける前記医療器具の前記部分の位置のセットを識別し；
   前記モデル座標系における前記複数の解剖学的構造ランドマークの前記位置のセット及び前記蛍光透視座標系における前記複数の解剖学的構造ランドマークでの前記医療器具の前記部分の前記位置のセットを共通座標系に位置合わせする；
   ように構成される、制御システムと；
   を有する、
   医療システム。
9. 前記制御システムは、前記蛍光透視座標系において前記医療器具の前記部分の所定の形状を識別することによって、前記蛍光透視座標系において前記医療器具の前記部分の前記位置のセットを識別するように構成される、
   請求項８に記載の医療システム。
10. 前記制御システムは、前記医療器具の前記部分が前記複数の解剖学的構造ランドマークのうちの少なくとも１つに配置されている間の前記患者の解剖学的構造の前記蛍光透視画像データを、前記医療器具の前記部分が前記患者の解剖学的構造の中に配置されていないときに記録された前記患者の解剖学的構造の前記蛍光透視画像データと比較することによって、前記蛍光透視座標系において前記医療器具の前記部分の前記位置のセットを識別するように構成される、
    請求項８に記載の医療システム。
11. 前記制御システムは、前記医療器具の前記部分が前記複数の解剖学的構造ランドマークのうちの少なくとも１つに配置されている間の前記患者の解剖学的構造の前記蛍光透視画像データを、前記医療器具の前記部分が前記患者の解剖学的構造の中の他の場所に配置されているときに記録された前記患者の解剖学的構造の画像と比較することによって、前記蛍光透視座標系において前記医療器具の前記部分の前記位置のセットを識別するように構成される、
    請求項８に記載の医療システム。
12. ディスプレイをさらに有し、前記制御システムは、前記ディスプレイに、前記蛍光透視画像データの部分、前記解剖学的構造モデルの部分、及び前記医療器具の前記部分の共に位置合わせされた画像を表示するように構成される、
    請求項８に記載の医療システム。
13. 前記共通座標系は、前記モデル座標系である、
    請求項８に記載の医療システム。
14. 前記共通座標系は、前記蛍光透視座標系である、
    請求項８に記載の医療システム。

Images