JP7611982B2 - コンピュータ支援外科手術ナビゲーションのためのカメラ追跡システム - Google Patents

Description

本開示は、医療デバイス及びシステムに関し、より具体的には、外科手術中のコンピュータ支援ナビゲーションに使用されるカメラ追跡システムに関する。

コンピュータ支援外科手術ナビゲーションシステムは、患者に対して姿勢をとる外科用器具又は他のデバイスが、患者の解剖学的構造の医療画像に対する姿勢にどのように相関するか、及びそれらの姿勢が術前外科的計画にどのように相関するかについてのコンピュータ化された視覚化を外科医に提供するための、手術室において十分に確立された技術となっている。コンピュータ支援外科手術ナビゲーション用のカメラ追跡システムは、通常、患者に固定された患者基準アレイ（「動的基準ベース」（dynamic reference base、ＤＲＢ））に対して、外科手術中に外科医によって位置付けされている、外科用器具上の基準アレイの姿勢を追跡するために追跡カメラのセットを使用する。実際の器具のコンピュータモデルは、コンピュータモデルが患者の解剖学的構造の位置合わせされた画像上に重ねられ得るように、基準要素と関連付けられる。カメラ追跡システムは、基準アレイの相対的な姿勢を使用して、実際の器具が患者に対してどのように姿勢をとるかを判定し、実際の器具のコンピュータモデルが医療画像上のオーバーレイとしてどのように対応して姿勢をとるかを判定する。それにより、外科医は、患者の外科的処置中に外科用器具をナビゲートするために、相対的な姿勢のリアルタイムの視覚的フィードバックを使用することができる。

医療画像上の器具コンピュータモデルオーバーレイの忠実度を確保するために、コンピュータモデルに対する実際の器具の正確度は、使用前に検証される必要がある。正確度チェックは、追跡された実際の器具の先端を別の基準要素と関連付けられたディボットに入れることによって実施され得る。ディボットは、典型的には、円錐形の形状の窪みである。図５は、追跡される基準アレイを支持するアーム上の検証ディボットにその先端が接触される際にカメラ追跡システムによって追跡され得る器具を例解し、追跡される基準アレイもまた、カメラ追跡システムによって追跡される。器具コンピュータモデルに基づいて判定された器具先端の予測された位置は、ディボットの追跡された位置に基づいて判定された、測定された位置と比較される。ユーザが器具先端をディボット内に適切に位置付けられたと仮定すると、予測された位置と測定された位置との間の距離が、追跡される器具の正確度を判定する。正確度チェックに合格しない場合、その器具は、検証されず、使用されるべきではない。

器具検証中の不正確度の例示的な原因は、以下を含む。
１．変形した器具、例えば、屈曲した先端。
２．変形した基準要素、例えば、屈曲した基準アレイ固定具又は屈曲したマーカ装着支柱であって、基準要素における相対的に小さい角度シフトは、基準要素の追跡に対して対応する非常に小さい誤差を結果的にもたらし得るが、器具先端の追跡に対してははるかに大きい誤差を結果としてもたらし得ることに留意されたい。
３．製造上の欠陥、汚れ、又はマーカ装着支柱上若しくはマーカ装着ソケット内における光学マーカの不正確な装着に起因する光学マーカの不正確度。

使用時の器具の検証は、不正確さを補償することを可能にし、物理的先端の測定された場所がモデルベースの予測に一致するように、追跡の忠実度を改善し得る。

本開示のいくつかの実施形態は、外科手術中のコンピュータ支援ナビゲーションのためのカメラ追跡システムを対象とする。システムは、少なくとも部分的に重複する視野を有する実際のデバイスを撮像する追跡カメラから取得された画像のセット内の基準アレイのマーカの場所を識別することを含む動作を実施するように構成された少なくとも１つのプロセッサを含む。動作は、画像のセット内の実際のデバイスの特徴部の測定された座標場所を、マーカの識別された場所に基づいて、かつマーカと特徴部との間の相対的な場所関係に基づいて、判定する。動作は、画像のセット内の特徴部の座標場所の予測を出力するように構成されたニューラルネットワークを通じて、測定された座標場所に基づいて識別された画像のセット内の関心対象の領域を処理する。ニューラルネットワークは、既知の座標場所でレンダリングされたコンピュータモデルの特徴部を含むトレーニング画像に基づいてトレーニングされている。動作は、画像のセット内の実際のデバイスの特徴部の座標場所の予測に基づいて、三次元（three-dimensional、３Ｄ）空間内の実際のデバイスの特徴部の姿勢を追跡する。

本開示のいくつかの他の実施形態は、外科手術中のコンピュータ支援ナビゲーションのための別のカメラ追跡システムを対象とする。システムは、少なくとも部分的に重複する視野を有する較正パターンを撮像する正確度カメラから画像を取得することを含む動作を実施するように構成された少なくとも１つのプロセッサを含み、正確度カメラが、剛直な固定具を通じてマーカの基準アレイに接続される。動作は、正確度カメラからの画像内の実際の較正パターンを識別する。動作は、正確度カメラの相対的な姿勢に基づいて、正確度カメラからの画像内の予想される較正パターンを計算する。動作は、正確度カメラからの画像内の実際の較正パターンと予想される較正パターンとの間の差異に基づいて、正確度カメラの相対的な姿勢を調整する。

本開示のいくつかの他の実施形態は、外科手術中のコンピュータ支援ナビゲーションのための別のカメラ追跡システムを対象とする。システムは、少なくとも部分的に重複する視野を有する基準マーカを撮像する追跡カメラから取得された画像内で実際のデバイスに取り付けられた基準マーカの連続表面に沿った離隔された光反射材料エリアのパターンの座標を識別することを含む動作を実施するように構成された少なくとも１つのプロセッサを含む。動作は、基準マーカの連続表面に沿った離隔された光反射材料エリアのパターンの識別された座標に基づいて、３Ｄ空間内の基準マーカの姿勢を追跡する。

本開示のいくつかの他の実施形態は、外科手術中のコンピュータ支援ナビゲーションのためのカメラ追跡システムによって追跡されるように構成された基準マーカを対象とする。基準マーカは、光吸収材料及び光反射材料のうちの一方の表面を有する物体と、物体の表面にわたって延在するカバー層と、を含む。カバー層は、光吸収材料及び光反射材料のうちの他方である。カバー層は、物体の表面の離隔されたエリアを露出する開口部のパターンを有する。

本発明の主題の実施形態による他のカメラ追跡システム及び基準マーカは、以下の図面及び詳細な説明を検討すると、当業者には明らかであるか、又は明らかになるであろう。全てのそのような追加のカメラ追跡システム及び基準マーカが、本明細書内に含まれ、本発明の主題の範囲内にあり、添付の特許請求の範囲によって保護されることが意図される。更に、本明細書に開示される全ての実施形態は、別々に実装され得るか、又は任意の方法及び／若しくは組み合わせで組み合わされ得ることが意図される。

本開示の態様は、例として例解され、添付の図面によって限定されるものではない。図面において、
いくつかの実施形態による、ナビゲートされる外科手術のためのカメラ追跡システムを含み、ロボット支援のための外科用ロボットを更に含み得る、手術室内の外科的処置中に配置された外科用システムの上面図である。 いくつかの実施形態による、患者に対して位置付けられたカメラ追跡システム及び外科用ロボットを例解する。 いくつかの実施形態に従って構成されたカメラ追跡システム及び外科用ロボットを更に例解する。 いくつかの実施形態に従って動作するように構成される、ＸＲヘッドセット、コンピュータプラットフォーム、撮像デバイス、及び外科用ロボットを含む、外科用システムのブロック図を例解する。 追跡される基準アレイを支持するアーム上の検証ディボットにその先端が接触される際にカメラ追跡システムによって追跡され得る器具を例解し、追跡される基準アレイもまた、カメラ追跡システムによって追跡される。 いくつかの実施形態による、追跡カメラからの画像内のデバイス特徴部の座標場所を予測するためのニューラルネットワークを含む、カメラ追跡システムの構成要素を例解する。 いくつかの実施形態による、コンピュータ自動化様式で、ニューラルネットワークを識別、トレーニング、試験、及び展開するための動作のフローチャートを例解する。 いくつかの実施形態による、外科手術中のコンピュータ支援ナビゲーションのための器具又は他のデバイスを検証するために使用される一対の正確度カメラを含むカメラ追跡システムの上面図を例解する。 いくつかの実施形態による、正確度カメラの相対的な姿勢を較正するために使用される較正パターンを含む、図８のカメラ追跡システムの別の上面図を例解する。 いくつかの実施形態による、正確度カメラの位置付けを較正するために図８のカメラ追跡システムによって実施され得る動作のフローチャートを例解する。 いくつかの実施形態による、外科手術中のコンピュータ支援ナビゲーションのために図８のカメラ追跡システムによって実施され得る動作のフローチャートを例解する。 いくつかの実施形態による、器具又は他のデバイスの支柱に取り付けられている基準マーカを例解する。 カメラ追跡システムによる追跡のために、下にある物体表面の離隔されたエリアを露出させる開口部のパターンを有するカバー層を有する基準マーカの異なる実施形態の一部分を例解する。 カメラ追跡システムによる追跡のために、下にある物体表面の離隔されたエリアを露出させる開口部のパターンを有するカバー層を有する基準マーカの異なる実施形態の一部分を例解する。 カメラ追跡システムによる追跡のために、下にある物体表面の離隔されたエリアを露出させる開口部のパターンを有するカバー層を有する基準マーカの異なる実施形態の一部分を例解する。 カメラ追跡システムによる追跡のために、下にある物体表面の離隔されたエリアを露出させる開口部のパターンを有するカバー層を有する基準マーカの異なる実施形態の一部分を例解する。 カメラ追跡システムによる追跡のために、下にある物体表面の離隔されたエリアを露出させる開口部のパターンを有するカバー層を有する基準マーカの異なる実施形態の一部分を例解する。 カメラ追跡システムによる追跡のために、下にある物体表面の離隔されたエリアを露出させる開口部のパターンを有するカバー層を有する基準マーカの異なる実施形態の一部分を例解する。

本開示は、本明細書の説明に記載又は図面に例解される構成の詳細及び構成要素の配列に対するその用途に限定されないことを理解されたい。本開示の教示は、他の実施形態で使用及び実施され得、様々な方法で実施又は実行され得る。また、本明細書で使用される表現及び専門用語は、説明の目的のためであり、限定するものとみなされるべきではないことを理解されたい。本明細書の「含む（including）」、「備える（comprising）」、又は「有する（having）」、及びその変形の使用は、その後に列挙された項目及びその等価物、並びに追加の項目を包含することを意味する。別途指定されない限り、又は限定されない限り、「装着された（mounted）」、「接続された（connected）」、「取り付けられた（attached）」、「支持された（supported）」、及び「結合された（coupled）」という用語並びにそれらの変形は、広く使用され、直接及び間接的な装着、接続、取り付け、支持、及び結合の両方を包含する。更に、「接続された」及び「結合された」は、物理的又は機械的接続又は結合に限定されない。

以下の考察は、当業者が本開示の実施形態を作製及び使用することを可能にするために提示されるものである。例解された実施形態に対する様々な修正は、当業者には、非常に明らかであり、本明細書の原理は、本開示の実施形態から逸脱することなく、他の実施形態及び用途に適用され得る。したがって、実施形態は、示される実施形態に限定されることを意図するものではなく、本明細書に開示される原理及び特徴と一致する最も広い範囲を与えられるべきである。以下の詳細な説明は、図面を参照して読まれるべきであり、異なる図の同様の要素は、同様の参照番号を有する。図は必ずしも縮尺どおりではなく、選択された実施形態を示し、実施形態の範囲を限定することを意図するものではない。当業者は、本明細書で提供される実施例が、多くの有用な代替物を有し、実施形態の範囲内にあることを認識するであろう。

本開示のいくつかの実施形態は、使用時に器具及び他のデバイスを検証し、外科手術中のコンピュータ支援ナビゲーション中に器具及び他のデバイスの姿勢を追跡するための様々なカメラ追跡システムを対象とする。いくつかの他の実施形態は、外科手術中にコンピュータ支援ナビゲーションのためのカメラ追跡システムによって追跡されるように構成されている基準マーカを対象とする。これらの実施形態を詳細に説明する前に、ナビゲートされる外科手術システムで実施形態を実施するために使用され得る様々な構成要素が、図１～図４を参照して説明される。

図１は、いくつかの実施形態による、ナビゲートされる外科手術のためのカメラ追跡システム２００を含み、ロボット支援のための外科用ロボット１００を更に含み得る、手術室内の外科的処置中に配置された外科用システムの上面図である。図２は、いくつかの実施形態による、患者に対して位置付けられたカメラ追跡システム２００及び外科用ロボット１００を例解する。図３は、いくつかの実施形態に従って構成されたカメラ追跡システム２００及び外科用ロボット１００を更に例解する。図４は、いくつかの実施形態に従って動作するように構成される、ＸＲヘッドセット１５０、コンピュータプラットフォーム４００、撮像デバイス４２０、及び外科用ロボット１００を含む、外科用システムのブロック図を例解する。

ＸＲヘッドセット１５０は、手術室内で人員によって着用されている間、コンピュータで生成されたＸＲ画像で実世界シーンを増強するように構成され得る。ＸＲヘッドセット１５０は、ユーザによる複合的な視認のために、コンピュータで生成されたＸＲ画像を、実世界シーンからの光を透過させることを許容するシースルー表示画面上に表示することによって、拡張現実（augmented reality、ＡＲ）視認環境を提供するように構成され得る。代替的に、ＸＲヘッドセット１５０は、ユーザが表示画面上にコンピュータで生成されたＡＲ画像を見ている間に、実世界シーンからの光がユーザによって直接見られるのを防止するか、又は実質的に防止することによって、仮想現実（virtual reality、ＶＲ）視認環境を提供するように構成され得る。ＸＲヘッドセット１５０は、ＡＲ及びＶＲ視認環境の両方を提供するように構成され得る。したがって、ＸＲヘッドセットという用語は、ＡＲヘッドセット又はＶＲヘッドセットと称され得る。

図１～図４を参照すると、外科用ロボット１００は、例えば、１つ以上のロボットアーム１０４と、ディスプレイ１１０と、例えば、ガイドチューブ１１４を含むエンドエフェクタ１１２と、１つ以上の追跡マーカを含み得るエンドエフェクタ基準アレイと、を含み得る。患者基準アレイ１１６（ＤＲＢ）は、複数の追跡マーカ１１７を有し、患者２１０に（例えば、患者２１０の骨に）直接固設される。基準アレイ１７０は、器具、外科用ツール、外科用インプラントデバイスなどに取り付けられるか、又は形成される。

カメラ追跡システム２００は、部分的に重複する視野を有するように構成された離隔されたステレオカメラであり得る追跡カメラ２０４を含む。カメラ追跡システム２００は、所望の場所で追跡カメラ２０４を移動させ、配向させ、支持するためのアーム２０２の任意の好適な構成を有し得、個々のマーカの場所及びマーカのアレイの姿勢を追跡するように動作可能な少なくとも１つのプロセッサを含み得る。

本明細書で使用される場合、「姿勢」という用語は、別のマーカ（例えば、監視マーカ）及び／又は定義された座標系（例えば、カメラ座標系）に対するマーカ（例えば、ＤＲＢ）の場所（例えば、３つの直交軸に沿った）及び／又は回転角（例えば、３つの直交軸の周りの）を指す。したがって、姿勢は、別のマーカに対する及び／若しくは定義された座標系に対するマーカの多次元場所のみに基づいて、他のマーカ及び／若しくは定義された座標系に対する多次元回転角度のみに基づいて、又は多次元場所と多次元回転角度との組み合わせに基づいて定義され得る。したがって、「姿勢」という用語は、場所、回転角度、又はそれらの組み合わせを指すために使用される。

追跡カメラ２０４は、例えば、追跡カメラ２０４の視点から視認可能である間のカメラ座標系の所与の測定体積において、例えば、患者２１０（例えば、患者基準アレイ、ＤＲＢ）、エンドエフェクタ１１２（例えば、エンドエフェクタ基準アレイ）、外科医１２０及び／又は外科助手１２６によって着用されるＸＲヘッドセット１５０などに形成するか、又は取り付けることができる、単一のマーカ（例えば、監視マーカ）及び基準アレイに対するアクティブ及びパッシブ追跡マーカを識別するように動作可能な赤外線カメラ（例えば、二焦点又は立体写真測量カメラ）を含み得る。追跡カメラ２０４は、三次元における個々のマーカの場所及び基準アレイの姿勢を識別及び判定するために、所与の測定体積をスキャンし、マーカから発せられるか、又は反射される光を検出し得る。例えば、アクティブ状態の基準アレイは、電気信号（例えば、赤外線発光ダイオード（light emitting diode、ＬＥＤ））によってアクティブ化される赤外線発光マーカを含み得、パッシブ状態の基準アレイは、例えば、追跡カメラ２０４又は他の好適なデバイス上の照明器によって発せられる赤外光を反射する（例えば、入射光の方向への入射ＩＲ放射を反射する）再帰反射マーカを含み得る。

ＸＲヘッドセット１５０は、各々、ＸＲカメラヘッドセットの視野（field-of-view、ＦＯＶ）１５２及び１５４内の監視マーカの場所及び基準アレイの姿勢をそれぞれ追跡し得る追跡カメラ（例えば、離隔されたステレオカメラ）を含み得る。したがって、図１に例解されるように、様々な物体上の監視マーカの場所及び基準アレイの姿勢は、ＸＲヘッドセット１５０のＦＯＶ１５２及び１５４、並びに／又は追跡カメラ２０４のＦＯＶ６００内にある間、追跡され得る。

図１及び図２は、手術室環境内のカメラ追跡システム２００及び外科用ロボット１００の配置のための潜在的な構成を例解する。コンピュータ支援ナビゲートされた外科手術は、外科的処置ナビゲーション情報を表示するためのＸＲヘッドセット１５０、並びに／又は他のディスプレイ３４、３６、及び１１０を制御するカメラ追跡システムによって提供され得る。外科用ロボット１００は、コンピュータ支援ナビゲート外科手術中に任意選択的である。

カメラ追跡システム２００は、慣性追跡情報及び光学追跡情報（追跡データのフレーム）などの、複数のＸＲヘッドセット１５０によって提供される追跡情報及び他の情報を使用して動作し得る。ＸＲヘッドセット１５０は、視覚情報を表示するように動作し、着用者に音声情報を再生し得る。この情報は、ローカルソース（例えば、外科用ロボット１００及び／若しくは他の医療機器）、リモートソース（例えば、患者医療画像サーバ）、並びに／又は他の電子機器からのものであり得る。カメラ追跡システム２００は、３Ｄ座標系の３つの軸に対する６自由度（6 degrees-of-freedom、６ＤＯＦ）及び各軸の周りの回転角度でマーカを追跡し得る。ＸＲヘッドセット１５０はまた、手の姿勢及びジェスチャを追跡して、ＸＲヘッドセット１５０を通して表示される「仮想」ボタン及びインターフェースとのジェスチャベースの相互作用を可能にするように動作し得、様々な定義されたコマンドとして手又は指のポインティング又はジェスチャを解釈することもできる。追加的に、ＸＲヘッドセット１５０は、デジタルルーペと呼ばれる１～１０倍の倍率のデジタルカラーカメラセンサを有し得る。いくつかの実施形態では、ＸＲヘッドセット１５０のうちの１つ以上は、ローカル又はリモート情報を表示するが、含まれるセンサがより少なく、したがって、より軽量である最小限のＸＲヘッドセットである。

「外側から内側の」マシンビジョンナビゲーションバーは、追跡カメラ２０４をサポートし、カラーカメラを含み得る。マシンビジョンナビゲーションバーは、一般に、着用者の頭部上に位置付けされている状態のＸＲヘッドセット１５０ほど、頻繁に又は素早く動かないため、環境のより安定したビューを有する。患者基準アレイ１１６（ＤＲＢ）は、一般に、重力に対して安定したピッチ及びロールで患者に堅固に取り付けられている。この局所的な精密な患者基準物１１６は、エンドエフェクタ１１２上の基準アレイ、器具基準アレイ１７０、及びＸＲヘッドセット１５０上の基準アレイなどの、他の追跡されたアレイに対する基準フレームの共通基準として機能し得る。

外科用ナビゲーションを使用する外科的処置中に、患者基準アレイ１１６がシフトしたかどうかについての情報を提供するために、監視マーカが患者に固定され得る。例えば、椎弓根スクリュー固定の計画された配置を伴う脊椎固定処置中に、２つの小さい切開が、上後腸骨棘の両側にわたって行われる。次に、ＤＲＢ及び監視マーカが上後腸骨棘の両側に固定される。監視マーカの場所が患者基準アレイ１１６に対して変化する場合、カメラ追跡システム２００は、移動の量を示す計器を表示し得、かつ／又はポップアップ警告メッセージを表示して、患者基準アレイがぶつかった可能性があることをユーザに知らせ得る。患者基準アレイが実際にぶつかった場合、追跡される座標系に対する患者基準アレイの位置合わせは、無効になり得、目標から外れた誤ったナビゲーションを結果としてもたらし得る。

存在するとき、外科用ロボット（「ロボット」ともいう）は、患者２１０の近く又はその隣に位置付けられ得る。ロボット１００は、外科的処置を受ける患者２１０のエリアに応じて、患者２１０の近くの任意の好適な場所に位置付けられ得る。カメラ追跡システム２００は、ロボットシステム１００から分離され、患者２１０の足元に位置付けられ得る。この場所は、追跡カメラ２００が、外科的エリア２０８に対する直接的な視線を有することを可能にする。示される構成では、外科医１２０は、ロボット１００の向かい側に位置付けられ得るが、依然としてエンドエフェクタ１１２及びディスプレイ１１０を操作することができる。外科助手１２６は、エンドエフェクタ１１２及びディスプレイ１１０の両方へのアクセスを伴って、同じく外科医１２０の向かい側に位置付けられ得る。所望される場合、外科医１２０及び助手１２６の場所は、逆にされ得る。麻酔医１２２、看護師、又はスクラブテクニシャンは、カメラ追跡システム２００からの情報をディスプレイ３４上に表示するように接続され得る機器を操作することができる。

ロボット１００の他の構成要素に関して、ディスプレイ１１０は、外科用ロボット１００に、又は遠隔場所に取り付けられ得る。エンドエフェクタ１１２は、ロボットアーム１０４に結合され、少なくとも１つのモータによって制御され得る。いくつかの実施形態では、エンドエフェクタ１１２は、患者２１０に外科的処置を実施するために使用される外科用器具、ツール、又はインプラントを受容し、配向するように構成されるガイドチューブ１１４を備えることができる。

本明細書で使用される場合、「エンドエフェクタ」という用語は、「エンドエフェクチュエータ」及び「エフェクチュエータ要素」という用語と互換的に使用される。「器具」という用語は、非限定的に使用され、「ツール」及び「インプラント」と互換的に使用され、一般に、本明細書に開示される実施形態による外科的処置中に使用できる任意のタイプのデバイスを指すことができる。より一般的な用語であるデバイスは、エンドエフェクタなどの構造を指し得る。例示的な器具、ツール、及びインプラントとしては、限定なしで、ドリル、スクリュードライバ、鋸、拡張器、開創器、プローブ、インプラント挿入器、及びねじ、スペーサ、椎体間固定デバイス、プレート、ロッドなどのインプラントデバイスが挙げられる。ガイドチューブ１１４とともに一般的に示されているが、エンドエフェクタ１１２は、外科手術で使用するのに好適な任意の好適な器具と置換され得ることが理解されるであろう。いくつかの実施形態では、エンドエフェクタ１１２は、所望の方法で外科用器具の移動をもたらすための任意の既知の構造を備えることができる。

外科用ロボット１００は、エンドエフェクタ１１２の並進及び配向を制御するように動作可能である。ロボット１００は、例えば、ｘ、ｙ、及びｚ軸に沿ってコンピュータ制御下でエンドエフェクタ１１２を動かし得る。エンドエフェクタ１１２は、エンドエフェクタ１１２と関連付けられたオイラー角（例えば、ロール、ピッチ、及び／又はヨー）のうちの１つ以上が選択的にコンピュータ制御され得るように、ｘ、ｙ、及びｚ軸、並びにＺフレーム軸のうちの１つ以上を中心に選択的に回転するように構成され得る。いくつかの実施形態では、エンドエフェクタ１１２の並進及び配向の選択的制御は、例えば、回転軸のみを含む６ＤＯＦロボットアームを利用する従来のロボットと比較して、著しく改善された正確度を有する医療処置の実施を可能にし得る。例えば、外科用ロボット１００は、患者２１０上で動作するために使用され得、ロボットアーム１０４は、患者２１０の身体の上に位置付けすることができ、エンドエフェクタ１１２は、患者２１０の身体に向かってｚ軸に対して選択的に角度付けされている。

いくつかの例示的な実施形態では、ＸＲヘッドセット１５０は、外科用器具の姿勢の更新されたグラフィック表示を動的に表示するように制御することができるので、ユーザは、処置中に外科器具の姿勢を常に認識することができる。

いくつかの更なる実施形態では、外科用ロボット１００は、外科用器具が、選択された予め計画された軌道から外れる場合、ロボットアーム１０４によってガイドされる外科用器具の経路を補正するように動作可能であり得る。外科用ロボット１００は、エンドエフェクタ１１２及び／又は外科用器具の移動の停止、修正、及び／又は手動制御を可能にするように動作可能であり得る。したがって、使用中、外科医又は他のユーザは、コンピュータ支援ナビゲート手術の一部として外科用ロボット１００を使用し得、エンドエフェクタ１１２及び／又は外科用器具の自律的又は半自律的移動を停止、修正、又は手動制御する選択肢を有する。

マーカの基準アレイが、３つの直交軸に沿った６ＤＯＦの姿勢及び軸の周りの回転を追跡するために、ロボットアーム１０２及び／若しくは１０４、エンドエフェクタ１１２（例えば、図２のエンドエフェクタアレイ１１４）、並びに／又は外科用器具（例えば、器具アレイ１７０）上に形成されるか、又はそれらに接続され得る。基準アレイは、マークされた物体（例えば、エンドエフェクタ１１２、患者２１０、及び外科用器具）の各々が、追跡カメラ２００によって追跡されることを可能にし、追跡された姿勢は、外科処置中にナビゲートされるガイダンスを提供するために使用される、並びに／又はエンドエフェクタ１１２及び／若しくはエンドエフェクタ１１２によって操作される器具をガイドするために外科用ロボット１００の移動を制御するために使用され得る。

図３を参照すると、外科用ロボット１００は、ディスプレイ１１０と、上部アーム１０２と、下部アーム１０４と、エンドエフェクタ１１２と、垂直柱３１２と、キャスタ３１４と、テーブル３１８と、状態及び他の情報を示すために光を使用するリング３２４と、を含み得る。キャビネット１０６は、限定されるものではないが、バッテリ、配電モジュール、プラットフォームインターフェースボードモジュール、及びコンピュータを含む、外科用ロボット１００の電気部品を収容し得る。カメラ追跡システム２００は、ディスプレイ３６、追跡カメラ２０４、アーム２０２、キャビネット３３０に収容されたコンピュータ、及び他の構成要素を含み得る。

コンピュータ支援ナビゲート外科手術では、患者の解剖学的構造の軸方向、矢状、及び／又は冠状ビューなどの垂直２Ｄスキャンスライスが表示されて、外科用器具の相対的な姿勢とともに患者の解剖学的構造のユーザ視覚化を可能にする。ＸＲヘッドセット又は他のディスプレイは、患者の解剖学的構造の１つ以上の２Ｄスキャンスライスを解剖学的構造の３Ｄグラフィカルモデルとともに表示するように制御され得る。３Ｄグラフィカルモデルは、例えば、ＣＴスキャンデバイスによって、患者の３Ｄスキャンから生成され得る、及び／又は患者のスキャンから必ずしも形成されない解剖学的構造のベースラインモデルに基づいて生成され得る。

例示的な外科用システム：
図４は、いくつかの実施形態に従って動作するように構成される、ＸＲヘッドセット１５０、コンピュータプラットフォーム４００、撮像デバイス４２０、及び外科用ロボット１００を含む、外科用システムのブロック図を例解示する。

撮像デバイス４２０は、Ｃアーム撮像デバイス、Ｏアーム撮像デバイス、及び／又は患者画像データベースを含み得る。ＸＲヘッドセット１５０は、ナビゲートされた外科的処置を実施するための改善されたヒトインターフェースを提供する。ＸＲヘッドセット１５０は、例えば、コンピュータプラットフォーム４００を介して、限定なしで、ハンドジェスチャベースのコマンドの識別、ＸＲヘッドセット１５０の表示デバイス４３８及び／又は別の表示デバイス上のＸＲグラフィカルオブジェクトの表示のうちのいずれか１つ以上を含む機能を提供するように構成され得る。表示デバイス４３８は、ビデオプロジェクタ、フラットパネルディスプレイなどを含み得る。ユーザは、ＸＲグラフィカルオブジェクトを、シースルー表示画面を通して見られる特定の実世界オブジェクトにアンカー固定されたオーバーレイとして見ることができる。ＸＲヘッドセット１５０は、追加的に又は代替的に、表示デバイス４３８上に、１つ以上のＸＲヘッドセット１５０及び他のカメラに取り付けられたカメラから動画ストリームを表示するように構成され得る。

ＸＲヘッドセット１５０の電気部品は、複数のカメラ４３０、マイクロフォン４３２、ジェスチャセンサ４３４、姿勢センサ（例えば、慣性測定ユニット（inertial measurement unit、ＩＭＵ））４３６、表示デバイス４３８、及び無線／有線通信インターフェース４４０を含むことができる。ＸＲヘッドセット１５０のカメラ４３０は、可視光捕捉カメラ、近赤外線捕捉カメラ、又は両方の組み合わせであり得る。

カメラ４３０は、カメラ４３０の視野内で実施される識別ユーザのハンドジェスチャを追跡することによって、ジェスチャセンサ４３４として動作するように構成され得る。代替的に、ジェスチャセンサ４３４は、ジェスチャセンサ４３４に近接して実施されるハンドジェスチャを感知し、かつ／又は物理的接触、例えば、センサ４３４若しくはその筐体上でのタップを感知する、近接センサ及び／又はタッチセンサであり得る。姿勢センサ４３６、例えばＩＭＵは、多軸加速度計、傾斜センサ、並びに／又は１つ以上の定義された座標軸に沿ってＸＲヘッドセット１５０の回転及び／若しくは加速度を感知することができる別のセンサを含み得る。これらの電気部品の一部又は全部は、頭部装着型構成要素筐体に収納され得るか、又は腰若しくは肩など他の場所に装着するように構成されている別の筐体に収納され得る。

上で説明したように、外科用システムは、動作処理のためのコンピュータプラットフォーム４００に接続され得、かつナビゲーションコントローラ４０４を含む、及び／又はＸＲヘッドセットコントローラ４１０の他の動作機能を提供し得る、カメラ追跡システム２００を含む。外科用システムは、外科用ロボット１００を含み得る。ナビゲーションコントローラ４０４は、例えば、解剖学的構造上で外科用ツールを使用して外科的処置が実施される場所を定義する、外科的計画機能からの外科的計画に基づいて、かつカメラ追跡システム２００によって判定された解剖学的構造の姿勢に基づいて、患者の解剖学的構造に対して外科用ツールを動かして位置付けるための視覚ナビゲーションガイダンスをオペレータに提供するように構成され得る。ナビゲーションシステム４０４は、外科用ツールの目標姿勢、患者の解剖学的構造の姿勢、並びに外科用ツール及び／又は外科用ロボット１００のエンドエフェクタの姿勢に基づいて、ナビゲーション情報を生成するように更に構成され得、ステアリング情報が、外科的計画を実施するために外科用ツール及び／又は外科用ロボット１００のエンドエフェクタがどこに移動されるべきかを示すために、ＸＲヘッドセット１５０の表示デバイス４３８及び／又は別の表示デバイスを通して表示される。

ＸＲヘッドセット１５０の電気部品は、有線／無線インターフェース４４０を通してコンピュータプラットフォーム４００の電気部品に動作可能に接続され得る。ＸＲヘッドセット１５０の電気部品は、様々な撮像デバイス４２０、例えばＣアーム撮像デバイス、Ｉ／Ｏアーム撮像デバイス、患者画像データベース、及び／又は有線／無線インターフェース４４０を通した他の医療機器に、例えば、コンピュータプラットフォーム４００を通して動作可能に接続されるか、又は直接接続され得る。

外科用システムは、ＸＲヘッドセット１５０、コンピュータプラットフォーム４００、及び／又は有線ケーブル及び／又は無線通信リンクを介して接続された別のシステム構成要素に少なくとも部分的に存在し得るＸＲヘッドセットコントローラ４１０を含み得る。様々な機能は、ＸＲヘッドセットコントローラ４１０によって実行されるソフトウェアによって提供される。ＸＲヘッドセットコントローラ４１０は、カメラ追跡システム２００及びナビゲーションコントローラ４０４から情報を受信し、表示デバイス４３８上に表示するための情報に基づいてＸＲ画像を生成するように構成されている。

ＸＲヘッドセットコントローラ４１０は、カメラ４３０（追跡カメラ）からの追跡カメラからの追跡データのフレーム、マイクロフォン１６２０からの信号、並びに／又は姿勢センサ４３６及びジェスチャセンサ４３４からの情報を動作的に処理して、表示デバイス４３８上のＸＲ画像として、及び／又はユーザが見るために他の表示デバイス上に表示するための他のものとして、表示するための情報を生成するように構成され得る。したがって、ＸＲヘッドセット１５０内の回路ブロックとして例解されるＸＲヘッドセットコントローラ４１０は、ＸＲヘッドセット１５０の他の例解された構成要素に動作上接続されているものとして理解されるべきであるが、必ずしも共通のハウジング内に存在するか、又はユーザによって別様に輸送可能であるとは限らない。例えば、ＸＲヘッドセットコントローラ４１０は、コンピュータプラットフォーム４００内に存在し得、これは、結果的に、カメラ追跡システム２００のキャビネット３３０、外科用ロボット１００のキャビネット１０６内などに存在し得る。

デバイス特徴部座標場所のニューラルネットワーク予測を伴うカメラ追跡システム：
いくつかの実施形態は、外科手術中の検証、較正、及び／又はナビゲーションのためにナビゲーションカメラを使用して器具の先端又はデバイスの他の特徴部を直接追跡するように構成されている様々なカメラ追跡システムを対象とする。様々な実施形態が、器具先端を追跡する文脈で説明されるが、それらは、それに限定されず、実際のデバイスのコンピュータモデル（例えば、コンピュータ支援描画）内でモデル化される実際のデバイスの任意の視覚的に認識可能な特徴部を追跡するために使用され得る。実際のデバイスは、器具、エンドエフェクタ、又は他の装置に対応し得る。

図６は、いくつかの実施形態による、追跡カメラからの画像内のデバイス特徴部の座標場所を予測するように構成されたニューラルネットワークを含む、カメラ追跡システムの構成要素を例解する。図６を参照すると、カメラ追跡システム２００は、図１のカメラ２０４などの追跡カメラ６００と、画像処理モジュール６０２と、畳み込みニューラルネットワークなどのニューラルネットワーク６０４と、器具検証及び追跡モジュール６０６と、を含む。

いくつかの実施形態によると、画像処理モジュール６０２は、少なくとも部分的に重複する視野を有する実際のデバイスを撮像する追跡カメラ６００から取得された画像のセット内の基準アレイのマーカの場所を識別する。画像処理モジュール６０２は、画像のセット内の実際のデバイスの特徴部の測定された座標場所を、マーカの識別された場所に基づいて、かつマーカと特徴部との間の相対的な場所関係に基づいて、判定する。システム２００は、画像のセット内の特徴部の座標場所の予測を出力するように構成されているニューラルネットワーク６０４を通じて、測定された座標場所に基づいて識別された画像のセット内の関心対象の領域を処理する。ニューラルネットワーク６０４は、既知の座標場所でレンダリングされたコンピュータモデルの特徴部を含むトレーニング画像に基づいてトレーニングされている。器具検証及び追跡モジュール６０６は、画像のセット内の実際のデバイスの特徴部の座標場所の予測に基づいて、三次元（３Ｄ）空間内の実際のデバイスの特徴部の姿勢を追跡する。

更なる実施形態では、実際のデバイスの特徴部の座標場所の予測が、ニューラルネットワーク６０４の出力に基づいて、画像のセット内の特徴部の予測された画素座標を示す。

更なる実施形態では、器具検証及び追跡モジュール６０６は、一対の追跡カメラ６００からの一対の画像のセットにおける実際のデバイスの特徴部の二次元（two-dimensional、２Ｄ）座標場所の予測の三角測量に基づいて、追跡された空間内の実際のデバイスの特徴部の予測された３Ｄ姿勢を判定する。器具検証及び追跡モジュール６０６は、画像のセットのペアにおける基準アレイのマーカの場所の三角測量に基づいて、追跡された空間における実際のデバイスの特徴部の測定された３Ｄ姿勢を判定し、特徴部の予測された３Ｄ姿勢と特徴部の測定された３Ｄ姿勢との比較に基づいて特徴部オフセットを較正する。

実際のデバイスデータムの、データムとも呼ばれる実際の特徴部を追跡するために、コンピュータモデル（例えば、既知のＣＡＤデータ）が、要求された特徴部（データム）の画像画素座標を返すように、ニューラルネットワーク６０４をトレーニングするために使用することができる。例示的なシナリオでは、高コントラスト光学マーカは、動作が、マーカ及び器具先端を同じ剛体に較正することを可能にするために、器具先端と同じ画像フレーム内の追跡された場所を有することができる。このようにして、機械的な「検証ディボット」の必要性が排除され、器具及び装置のリアルタイムかつ自動化された測定を動作的に実施することができる。左右のステレオカメラで先端場所を見つけた後、３Ｄ場所が２Ｄ場所の三角測量を使用して判定される。マーカは、それらの３Ｄ場所を判定するために三角測量される前に、２Ｄ画像で同様に識別され得る。

更なる実施形態では、器具検証及び追跡モジュール６０６は、実際のデバイスの特徴部の測定された座標場所が、実際のデバイスの特徴部の座標場所の予測の閾値距離内にあるかどうかに基づいて、実際のデバイスの特徴部を検証する。

更なる実施形態では、ニューラルネットワーク６０４を通して、トレーニング画像内の既知の座標場所でレンダリングされたコンピュータモデルの特徴部を含むトレーニング画像が処理されて、トレーニング画像内のコンピュータモデルの特徴部の座標場所の予測を出力する。トレーニング画像内の特徴部の既知の座標場所が、トレーニング画像内のコンピュータモデルの特徴部の座標場所の予測と比較され、ニューラルネットワークのパラメータ６０４が、比較に基づいてトレーニングされる。

ニューラルネットワーク６０４は、例えば、数万又は数百万の画像を使用してトレーニングされ得る。アルファ画像が、コンピュータモデルに基づいてデバイスレンダリングのコンピュータ生成された表現を用いて生成され得、透明な背景を用いてレンダリングされ得る。アルファ画像は、次いで、ニューラルネットワーク６０４をトレーニングする際に使用するためのトレーニング画像を生成するために、異なる合成背景で拡張され得る。一実施形態では、トレーニング画像が、トレーニング画像のうちの少なくともいくつかの間のコンピュータモデルの特徴部の異なるレンダリングされた背景、異なるレンダリングされた照明条件、及び／又は異なるレンダリングされた姿勢を伴って、トレーニング画像内の既知の座標場所にレンダリングされたコンピュータモデルの特徴部を含むように生成される。

ニューラルネットワーク６０４のパラメータをトレーニングする動作が、トレーニング画像内の既知の座標場所にレンダリングされたコンピュータモデルの特徴部を含むトレーニング画像に基づいて、ニューラルネットワーク６０４の少なくとも１つの層の結合ノードに割り当てられた重み及び／又は発火閾値を適合させることを含み得る。

追跡カメラ６００からの画像をリアルタイム又はほぼリアルタイムで処理することを規定するように構成されている畳み込みニューラルネットワーク６０４（convolutional neural network、ＣＮＮ）が使用され得る。ＣＮＮはまた、画像入力特徴部に沿って摺動し、特徴マップとして知られる並進等変応答を提供する畳み込みカーネル又はフィルタの共有重みアーキテクチャに基づいて、シフト不変又は位置不変人工ニューラルネットワーク（Shift Invariant or Space Invariant Artificial Neural Network、ＳＩＡＮＮ）としても知られる。

ＣＮＮでは、入力は、形状：（入力数）×（入力高さ）×（入力幅）×（入力チャネル）を有するテンソルである。畳み込み層を通過した後、画像は、形状：（入力数）×（特徴マップ高さ）×（特徴マップ幅）×（特徴マップチャネル）を有する、活性化マップとも呼ばれる特徴マップに抽象化されることになる。畳み込み層は、入力を畳み込み、その結果を次の層に渡す。

複数の異なるタイプの器具を追跡するために１つのニューラルネットワークをトレーニングするのではなく（これは、過度に大きいアーキテクチャを必要とし、非常に時間がかかることがある）、いくつかの実施形態では、異なるニューラルネットワークがトレーニングされ、異なるタイプのデバイスの特徴部座標場所を予測するために使用される。効果的なトレーニングは、少なくともいくつかのシナリオにおいて、教師ありトレーニング動作に使用される数千のラベル付き画像を必要とし得る。数百の相対的に小さいデバイスタイプ専用ニューラルネットワークを数百の異なるタイプの器具及び他の装置に対応するようにトレーニングすることは、現実的ではないほど、非常に時間がかかる場合がある。したがって、いくつかの実施形態は、シミュレータトレーニング動作を介して、トレーニング、評価、及び展開を自動化することを対象とする。シミュレータは、動的照明を有する光球（任意選択的にＨＯＲＩ）を含むことができる。関連器具がシーンに追加され、非常に類似したレンズ特性を有する仮想ナビゲーションカメラが、広く変化する背景を伴って、数千の異なる姿勢で基準要素及び器具先端を捕捉する。次いで、出力画像は、ナビゲーションカメラ自体を一致させるために、トレーニング時に処理される。例えば、画像はモノクロにされ得、輝度定数が適用され、ノイズがブラーカーネルとともに適用され得る。

一旦、数千から百万を超えるシミュレートされた画像が完全に拡張されると、ニューラルネットワークは、シミュレートされた画像を使用してトレーニングされる。ニューラルネットワークの性能を評価することは、トレーニングデータセット内にない（すなわち、ニューラルネットワークによって見られていない）数千の様々な試験画像に対してニューラルネットワークを試験することを伴う。予測された測定値と既知のグラウンドトゥルースとを比較した結果に応じて、ニューラルネットワークは、（本明細書の実施形態に従って手術室で使用するために）成功したものとして展開されるか、又は失敗し、継続的なトレーニング改善のために返送される。ニューラルネットワークは、数個から数十個のニューラルネットワークのアンサンブルがトレーニングされ、現場で実行され得るほど十分に高速であり得る。ニューラルネットワーク間の分散が過剰である場合、測定は拒否される。アンサンブル出力を平均化することもまた、約１０％～３０％だけ正確度を改善し得る。

図７は、いくつかの実施形態による、コンピュータ自動化様式で、ニューラルネットワークを識別、トレーニング、試験、及び展開するための動作のフローチャートを例解する。

図７を参照すると、コンピュータ支援設計ツールにおいて器具の３Ｄモデルを設計することを含み得る、新しい器具タイプのコンピュータモデルが構成される（７００）。ツールのコンピュータ生成画像は、様々な異なる背景及び照明条件を有するトレーニング画像においてレンダリングされる（７０２）。ニューラルネットワークは、トレーニング画像を使用してトレーニングされ（すなわち、パラメータがトレーニングされ）、試験される（７０４）。試験正確度が判定され（７０６）、試験正確度が許容可能な範囲内である場合、新しいツールタイプのためのトレーニングされたニューラルネットワークがカメラ追跡システムに統合される（７０８）。次いで、ニューラルネットワークは、新しい器具タイプに対応する実際の器具の特徴部（データム）の正確度を検証するために、かつ実際の器具の特徴部（データム）の場所を追跡するために、ライブ画像データ上で外科的処置中に実行され得る（７１０）。

対照的に、試験正確度が許容可能な範囲内にないと判定されたとき（７０６）、動作は、結果を評価し（７１２）、新しい器具に対する試験正確度がニューラルネットワークの更なるトレーニングを通じて改善され得ることを示す規則が満たされるかどうかの判定（７１４）が行われる。規則が満たされる場合、動作は、評価（７１２）に基づいてニューラルネットワーク及び／又はトレーニング画像データを適合させ（７１６）（例えば、背景及び照明条件を変更する）、ニューラルネットワークは、更にトレーニングされ、試験される（７０４）。対照的に、規則が満たされないとき、動作は、要求された特徴部（データム）を追跡するためのサポートの拒否を示す（７１８）。

デバイス特徴部検証のための正確度カメラを有するカメラ追跡システム：
ナビゲーションカメラが十分に較正されていない場合、又は手術室条件があまりにも制御されておらず動的である場合、他の動作が、可視光光学カメラ（「正確度カメラ」とも呼ばれる）に取り付けられた専用の検証及び較正固定具を使用して実施され得る。較正固定具及び関連付けられた動作は、器具のニューラルネットワークベースの検証の上記手法に対する代替的なアプローチとして使用され得るか、又は上記のアプローチと組み合わせて使用され得る。

動作は、既存の近赤外線（near-infrared、ＮＩＲ）追跡カメラ２００（図２）と並行して動作する正確度カメラに適用されるコンピュータビジョン技術を使用し得る。コンピュータビジョン技術はまた、上記に説明された実施形態のいずれかなどのニューラルネットワークを活用し得る。

動作は、診断オーバーレイを有する正確度カメラビデオデータのライブフィードを含む意味のある視覚的フィードバックをユーザに提供し得る。ＸＲヘッドセットとともに使用されるとき、ディスプレイは、予測されたコンピュータモデル対実際のコンピュータモデル、例えば、コンピュータ支援設計（computer-aided design、ＣＡＤ）情報のコンピュータレンダリングされたオーバーレイとともに、左又は右の追跡カメラ及び／又は正確度カメラのいずれかを含むフローティングウィンドウを提示し得る。正確度カメラに対して改善された測定視野のために、器具又は他のデバイスを一方向又は別の方向に移動させるようにユーザに指示する、ユーザへの視覚ガイダンスも示され得る（例えば、矢印を介して）。同様に、３Ｄモデルは、空間認識のために器具又は他のデバイスの端に取り付けられ得る。この情報は、強化された可視性のためにスケーリング又は拡大され得る。

ライブ又は一時停止の画像又はビデオ情報は、検証及び／又は較正プロセス中又はその後に２Ｄモニタ上に表示され得る。数値又は他の診断を含む、測定された情報対予想された情報のグラフィックオーバーレイが示され得る。

いずれの場合も、視覚化は、器具及び／又は他のデバイスが動き回るとリアルタイムで更新され得、自動化された測定とは独立した直感的なフィードバックを提供する。不正確な器具又はインプラントの取り付けなどの場合、誤差は、これらの視覚化から外科スタッフに直ちにかつ直感的に知られるようになり得る。

いくつかの実施形態では、追跡される器具の複数のビューが、追跡カメラ２００によってそれ自体が追跡される正確度カメラを用いて捕捉される。器具及び正確度カメラは、追跡カメラ２００によって追跡される基準要素を含む。

図８は、いくつかの実施形態による、外科手術中のコンピュータ支援ナビゲーションのための器具又は他のデバイスを検証するために使用される一対の正確度カメラ８００を含むカメラ追跡システムの上面図を例解する。正確度カメラ８００は、剛直な固定具８１０を通じてマーカの基準アレイ８１２に接続されて、正確度カメラ８００間のいかなる移動も排除する。正確度カメラ８００は、器具特徴部が検証動作中に位置し得る検証空間８２０の少なくとも部分的に重複する視野を有するように、固定具８１０によって配向される。正確度カメラ８００は、より高い画素解像度を有するが、器具特徴部が検証空間８２０内で正確度カメラ８００に対して相対的に近くに位置付けられるため、追跡カメラ２００よりも狭い視野を有し得る。

画面８３０は、正確度カメラ８００に対して検証空間８２０の背後に位置するように、固定具８１０から延在し得る。画面８３０は、安定した又は調整可能な色を有し、かつ／又は照明、例えば、電界発光パネルを提供して、正確度カメラ８００によって撮像されている間に検証されている器具に対して所望の背景を作成し得る。所望の背景は、正確度カメラ８００からの画像内の器具特徴部の３Ｄ場所を判定するときに、コンピュータビジョン技術の再現性、信頼性、及び正確度を改善し得る。

正確度カメラ８００は、カメラの可視性に影響しないように、又は歪み若しくは屈折を加えないように、緊密に引っ張られた（又は硬質シェルから作製された）薄い滅菌透明ドレープで覆われ得る。

較正パターンが、正確度カメラ８００間の相対的な姿勢を較正するために使用され得る。図９は、いくつかの実施形態による、正確度カメラ８００の相対的な姿勢を較正するために使用され得る較正パターン９００を含む、図８のカメラ追跡システムの別の上面図を例解する。較正パターン９００は、正確度カメラ８００から取得される画像に含まれるように、検証空間８２０に表示される。動作は、正確度カメラ８００からの画像内の実際の較正パターンを識別し、正確度カメラ８００の相対的な姿勢に基づいて、正確度カメラ８００からの画像内の予想される較正パターンを計算する。次いで、動作は、正確度カメラ８００からの画像内の実際の較正パターンと予想される較正パターンとの間の差異に基づいて、正確度カメラ８００の相対的な姿勢を調整する。相対的な姿勢の調整は、正確度カメラ８００間の距離及び角度オフセットを特徴付ける所定の関係を調整することを含み得る。

図１０は、いくつかの実施形態による、正確度カメラ８００の位置付けを較正するために図８のカメラ追跡システムによって実施され得る動作のフローチャートを例解する。

図１０を参照すると、動作は、例えば、正確度カメラ８００及び固定具８１０に従って定義されたベースラインの相対的な姿勢に基づいて、正確度カメラ８００間の相対的な姿勢を推定する（１００２）。動作は、較正パターンの定義されたパターンに基づいて、かつ相対的な姿勢の推定値に基づいて、正確度カメラ８００からの画像内に捕捉されることが予想される、予想される較正パターンを計算する（１０００）。動作は、予想される較正パターンと、正確度カメラ８００からの画像内で識別された実際の較正パターンとの間の差異を計算する（１００４）。差異が、閾値誤差未満であることなどによって、定義された規則を満たすと判定されたとき（１００６）、正確度カメラ８００間の相対的な姿勢は、そのとき存在する推定値に基づいて較正される（１０１０）。対照的に、差異が定義された規則を満たさないと判定されたとき（１００６）、相対的な姿勢の推定値が調整され（１００８）、動作は、別の予想されるパターンを計算し（１０００）、差異を計算し（１００４）、差異が定義された規則を満たすかどうかを判定する（１００６）ために繰り返される。

図１１は、いくつかの実施形態による、外科手術中のコンピュータ支援ナビゲーションのために図８のカメラ追跡システムによって実施され得る動作のフローチャートを例解する。

図１１を参照すると、動作は、正確度カメラから取得された画像のセット内で識別された特徴部の座標場所に基づいて、器具の特徴部、例えば、先端の姿勢を推定する（１１００）。動作は、器具特徴部の予想される姿勢を判定する（１１０４）。判定（１１０４）は、少なくとも部分的に重複する視野を用いて基準アレイ及び器具を撮像する追跡カメラから取得される画像のセット内で、器具に取り付けられた基準アレイのマーカの姿勢を測定することを含み得る。判定（１１０４）は、器具及び特徴部のコンピュータモデル１１０２、並びに基準アレイのマーカの測定された姿勢に基づいて、器具の特徴部の予想される姿勢を判定することを更に含む。いくつかの実施形態では、器具特徴部の予想される姿勢の判定（１１０４）は、正確度カメラ８００からの画像内の器具特徴部の場所を推定するために、ニューラルネットワークを使用して実施され得、それは、上記の実施形態のうちの１つ以上について説明されたものと同様の動作を使用して、３Ｄ姿勢に変換され得る。

動作は、器具の特徴部の推定された姿勢と予想される姿勢との間の差異に基づいて、器具の特徴部の較正された姿勢を調整する。調整動作は、器具特徴部の推定された姿勢と予想される姿勢との間の差異を計算すること（１１０６）を含み得る。閾値誤差未満であることなどによって、差異が定義された規則（例えば、特徴部検証規則）を満たさないとき、器具特徴部の較正された姿勢が調整され得（１１１０）、及び／又は器具特徴部が未検証であるという指標が生成され得（例えば、ユーザに表示され）、動作は、器具特徴部の予想される姿勢を判定し（１１０４）、差異を計算し（１１０６）、差異が定義された規則を満たすかどうかを判定する（１１０８）ように繰り返される。差異が、定義された規則を満たすと判定されたとき（１１０８）、器具特徴部の較正された姿勢が、追跡カメラを使用して器具特徴部の姿勢を追跡する際に使用するために出力され得（１１１２）、及び／又は器具特徴部が検証されるという指標が生成され得る（例えば、ユーザに表示される）。定義された規則を満たすと判定されたとき（１１０８）、動作は、追跡カメラから取得された画像内の器具に取り付けられた基準アレイのマーカの姿勢に基づいて、かつ器具特徴部の較正された姿勢に基づいて、器具特徴部の姿勢を追跡することを可能にし得る。

図１１の１つの特定の実装では、外科用デバイスを較正するためのシステムは、ナビゲートされる外科用デバイスを追跡するための複数の追跡カメラ２０４を有する追跡カメラシステム２００と、較正固定具８１０であって、それに取り付けられた基準アレイマーカ２１８、及び少なくとも部分的に重複する視野を有するように互いに対して直交して配置され、かつ図１の要素１７０として示されるなどの基準アレイマーカを有する外科用デバイス（例えば、図５参照）の画像を取得するように構成された正確度カメラ８００を有する、較正固定具８１０と、外科用デバイス較正を実施するためのプロセッサと、を含む。

較正を必要とする外科用デバイスは、較正固定具８１０内に配置される。プロセッサは、次いで、外科用デバイスを撮像し、以下の動作を実施する。

それは、正確度カメラ８００から取得された画像のセット内で識別された特徴部の座標場所に基づいて、外科用デバイスの物理的特徴部（先端など）の姿勢（例えば、３Ｄ位置及び配向）を推定し、追跡カメラによって見られる較正固定具基準アレイマーカ８１２に基づいて、追跡カメラ２０４に対する較正固定具８１０の姿勢を判定する。上記の動作に基づいて、プロセッサは、追跡カメラに対する外科用デバイスの物理的特徴部の姿勢を判定する。

プロセスは、外科用デバイスのコンピュータモデル、及び追跡カメラ２０４から取得された画像のセットに含まれる外科用デバイスの基準アレイマーカの測定された姿勢に基づいて、外科用デバイス特徴部の予想される姿勢を更に判定する。プロセッサは、次いで、外科用デバイス特徴部の推定された姿勢と予想される姿勢との間の差異に基づいて、コンピュータモデル内の外科用デバイス特徴部の姿勢を調整する。

較正されている外科用デバイスのみを追跡する必要がある正確度カメラの焦点距離は、典型的には、手術室内の全てのナビゲートされるツール及び器具を追跡するために使用される追跡カメラの大きい焦点距離（例えば、１００ｃｍ超）に対して非常に小さい（例えば、１０ｃｍ～６０ｃｍの範囲内）。

ネガティブスペース（露出したコントラスト凹状表面）を使用する基準マーカの光学追跡：
追跡カメラによって追跡される基準マーカを使用する外科用ナビゲーションは、手術室で所望の技術となっている。基準要素は、光学マーカによって作成される固有の幾何学的パターンを使用して識別される。アクティブ光学マーカは、典型的には、光学カメラによって発せられたトリガに応答して赤外光を発する。パッシブ光学マーカは、関心対象のスペクトル帯域、典型的には赤外線で明るく光るが、シーンの残部は、相対的に暗い。

パッシブマーカのための２つの技術は、球体及び円板を含む。球体マーカは、支柱上に装着され得、これは、球体形状に起因して広角追跡を可能にし、組み立てることが相対的に単純であり得る。図１２は、いくつかの実施形態による、器具又は他のデバイスの支柱１２１０に取り付けられている球体マーカ１２００（基準マーカ）を例解する。マーカ１２００は、マーカ１２００内に延在し、かつ器具、他のデバイス、又は基準フレームの支柱１２１０を解放可能に接続するように適合された、ソケットを含み得る。しかしながら、球体マーカは、不完全な球体を作成する製造欠陥を生じ易く、外科手術間で再使用不能であるため、高い使い捨てコストを有し、球体マーカの反射表面が撮像されることを異物が妨げる場合、性能が損なわれることになり得る。対照的に、円板マーカは、ソケット内に装着され得る。円板マーカは、球体マーカよりも製造が容易であり得るが、依然として使い捨てコストを有し、球体マーカと比較してより制限された画角を有し、円板マーカの反射表面が撮像されることを異物が妨げる場合、性能が損なわれることになり得る。

再使用可能な光学マーカは、破片を取り除くために手術中に拭き取られることを可能にする保護レンズカバーによって保護される反射表面を有し得る。

本開示の様々な更なる実施形態は、外科手術中のコンピュータ支援ナビゲーションのためのカメラ追跡システムによって追跡されるように構成されている基準マーカを対象とする。基準マーカは、光吸収材料及び光反射材料のうちの一方の表面を有する物体（例えば、球体マーカ又は円板マーカ）と、物体の表面にわたって延在するカバー層と、を含む。カバー層は、光吸収材料及び光反射材料のうちの他方である。カバー層は、物体の表面の離隔されたエリアを露出する開口部のパターンを有する。開口部は、カバー層を通る切欠きとして形成され得、任意の形状を有し得る。下にある物体の表面の露出された離隔されたエリアは、追跡カメラを使用して追跡され得るネガティブスペースを形成する。

図１３、図１４ａ、図１４ｂ、図１５ａ、図１５ｂ、及び図１６は、カメラ追跡システムによる追跡のために、下にある物体表面の離隔されたエリアを露出させる開口部のパターンを有するカバー層を有する基準マーカの異なる実施形態の一部分を例解する。

最初に図１３を参照すると、上面図及び対応する側面断面図が、下にある物体１３０２の離隔されたエリアを露出させる開口部１３１０のパターンを有するカバー層１３００を示す。物体１３０２は、球体であり得、カバー層１３００は、球体の表面にわたって延在し得る。代替的に、物体１３０２は、円板であり得、カバー層１３００は、円板の表面にわたって延在し得る。

図１３に例解される実施形態では、物体１３０２の表面は、陽極酸化アルミニウムなどの光反射材料である。光学コントラストを提供するために、次いで、カバー層は、黒色陽極酸化材料などの光吸収材料である。別の実施形態では、物体１３０２の表面が光吸収材料であり、カバー層が光反射材料である。カバー層１３００の例示的な厚さは、２００ミクロンであり得るが、カバー層１３００は、十分なオフカメラ軸で見たときに、離隔されたエリアのうちの１つが追跡カメラのうちの１つ以上によって撮像されることを妨げるのに十分な深さを提供するような任意の厚さとすることができる。

カバー層１３００内の開口部１３０２を通して露出された物体１３０２の表面の離隔されたエリアは、いくつかの実施形態では、円形の形状である。他の実施形態では、離隔されたエリアは、楕円形、正方形、長方形などを含む、任意の他の形状を有し得る。

不透明カバー層１３００が、カメラ（例えば、図１及び図２のカメラ２０４）の視線に対して軸外し角で追跡カメラによって撮像されたときに、物体１３０２の表面のパターン化された離隔されたエリア（ネガティブスペース）の一部を不明瞭化するのに十分な厚さを有し得る。いくつかの更なる実施形態は、傾斜側壁表面を有するようにカバー層内に開口部を形成することによって軸外し角で撮像されるときに、物体１３０２の表面のパターン化された離隔されたエリアの不明瞭化を回避することを対象とする。

図１４ａは、一実施形態に従って構成されている、下にある物体１４０２の離隔されたエリアを露出させる開口部１４１０のパターンを有するカバー層１４００を含む別の基準マーカの一部分の側面断面図である。物体１４０２は、球体又は円板であり得、カバー層１４００は、球体又は円板の表面にわたって延在し得る。図１３の開口部１３１０とは対照的に、カバー層１４００の開口部１４１０は、傾斜側壁表面を有するように形成される。傾斜側壁開口部１４１０は、カバー層１４００によって不明瞭化されることなく、追跡カメラによって物体１３０２の表面のパターンの離隔されたエリアのより広い視野を可能にし得る。

図１４ｂは、一実施形態に従って構成されている、下にある物体１４０２の離隔されたエリアを露出させる開口部１４２０、１４２２、及び１４２４のパターンを有するカバー層１４００を含む別の基準マーカの一部分の側面断面図である。カバー層１４００内の開口部１４２０、１４２２、及び１４２４は、傾斜側壁表面と、追跡カメラの視線に対して異なる視野角と、を有するように形成される。開口部１４２０、１４２２、及び１４２４の異なる視野角は、追跡カメラによって開口部１４２０、１４２２、及び１４２４を通して露出される物体１３０２の表面のパターンの離隔されたエリアのはるかに狭い視野を可能にし得る。

基準マーカは、平坦な表面を有する必要はない。代わりに、基準マーカは、任意の形状を有し得、エンドエフェクタ又はツールなどのデバイスの角度付き又は球体表面に適合するように、カスタム成形され得る（例えば、スリーブとして）。

図１５ａは、一実施形態に従って構成されている、傾斜表面を有する下にある物体１５０２の離隔されたエリアを露出させる開口部１５１０、１５１２、１５１４のパターンを有するカバー層１５００を含む別の基準マーカの一部分の側面断面図である。図１５ｂは、一実施形態に従って構成されている、傾斜表面を有する下にある物体１５０２の離隔されたエリアを露出させる開口部１５２０、１５２２、１５２４のパターンを有するカバー層１５００を含む別の基準マーカの一部分の側面断面図である。物体１５０２は、球体、隆起した中央エリアを有する円板、又は他の形状であり得、カバー層１４００は、表面にわたって延在し得る。傾斜側壁開口部１４１０の形状は、カバー層１４００によって不明瞭化されることなく、追跡カメラによって開口部１５１０、１５１２、１５１４、１５２０、１５２２、及び１５２４を通して露出される物体１３０２の表面のパターンの離隔されたエリアの視野に影響する。例えば、開口部１５１０、１５１２、１５１４は、開口部１５２０、１５２２、１５２４よりも広い視野を有する。

開口部のパターンが、物体の、下にある表面と確実に位置合わせされるために、カバー層が表面上の同じ場所に取り付くことが重要であり得る。更に、カバー層は、追跡中に基準マーカの下にある物体に対して移動するべきではない。カバー層は、孔に収まるピン、スロットに収まる隆起縁、又は磁石を使用するキネマティックマウントを使用して、物体の、下にある表面に取り付けられ得る。

いくつかの関連する他の実施形態は、本明細書で開示される様々な基準マーカなどの、下にある物体の離隔されたエリアのパターンを露出させる開口部を含むカバーを有する基準マーカとともに使用するための、外科手術中のコンピュータ支援ナビゲーションのためのカメラ追跡システムを対象とする。カメラ追跡システムは、少なくとも部分的に重複する視野を有する基準マーカを撮像する追跡カメラから取得された画像内で実際のデバイスに取り付けられた基準マーカの連続表面に沿った離隔された光反射材料エリアのパターンの座標を識別するように動作するように構成され得る。カメラ追跡システムは、基準マーカの連続表面に沿った離隔された光反射材料エリアのパターンの識別された座標に基づいて、３Ｄ空間内の基準マーカの姿勢を追跡するように更に構成される。

いくつかの実施形態では、追跡カメラは、カバー及び／又は嵌合機構の公差に起因して導入される小さい基準要素誤差を較正するために使用され得る。そのような較正は、カバーのコストを減少させる一方で、追跡の正確度も改善させるように動作し得る。そのような実施形態では、カバーは、下にある物体の関連表面に適合する、例えば、カバー設計におけるコンプライアント機構を使用して緊密にスナップする、可撓性かつ使い捨ての黒色プラスチックから作製され得る。

最初に図１６を参照すると、上面図及び対応する側面断面図が、下にある物体１６０２の離隔されたエリアを露出させる開口部１６１０のパターンを有するカバー層１６００を示す。物体１６０２は、球体であり得、カバー層１６００は、球体の表面にわたって延在することができる。代替的に、物体１６０２は、円板であり得、カバー層１６００は、円板の表面にわたって延在することができる。カバー層１６１０は、薄い使い捨てフィルムとして、又は再使用可能な硬質材料、例えば、金属として形成され得る。カバー層１６００の相対的な厚さは、開口部の切欠きの縁が、下にある物体１６０２の露出されたエリアの視界を不明瞭化することを回避する。カバー層１６００が取り外し可能であるとき、カバー層１６００は、物体１６０２に取り付けられたか、又は接続された追跡プレート１６０４の定義されたエリアに取り付けられ得、及び／又は開口部１６１０のパターンは、画像処理技術を使用して較正することができる。例えば、長方形の形状のカバー層１６００は、追跡プレート１６０４に対して空間内で位置合わせされ得、開口部１６１０のパターンは、追跡プレート１６０４に対して位置合わせされて、下にある物体１６０２の離隔されたエリア、それによって、基準マーカのより正確な追跡を可能にし得る。

いくつかの実施形態では、器具が患者と接触しているときに望ましくない動きを防止するために、アクティブマーカをオフにすることによって、ガイドチューブ１１４に挿入された金属器具の検出に応答するように外科用ロボット１００が構成され得るとき。これは、エンドエフェクタが「アクティブ」であることを必要とし得、すなわち、電力を必要とし、設計の複雑さ及びコストを押し上げる。エンドエフェクタ１１２は、追跡カメラによって追跡され得る、ガイドチューブ１１４の近くに離隔された光反射材料のパターンを形成する切欠きを含み得る。器具アレイは、器具がガイドチューブに挿入されたときに切欠きを覆うことになるカバーを含み得る。追跡カメラがガイドチューブ１１４の近くのエンドエフェクタ１１２の切欠き検出することができないとき、システムは、器具がガイドチューブ１１４内にあると判定し、全ての動きを停止するか、又は「安全な」方向、例えば、患者から離れる方向への遅い動きのみを可能にするなどの、応答的な安全性の緩和を開始し得る。別の実施形態では、器具がガイドチューブ１１４内に挿入されたとき、器具がカバーを変位させ、これは、器具の挿入前にカメラに視認不能であった離隔された光反射材料のパターンを形成する切欠きを露出させる。

更なる定義及び実施形態：
本発明の概念の様々な実施形態の上記の説明において、本明細書で使用される用語は、特定の実施形態のみを説明する目的のためであり、本発明の概念を限定することを意図するものではないことを理解されたい。別途定義されない限り、本明細書で使用される全ての用語（技術用語及び科学用語を含む）は、本発明の概念が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書で定義されるものなどの用語は、本明細書及び関連技術の文脈においてそれらの意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的にそのように定義された、理想的又は過度に形式的な意味で解釈されるべきではないことが更に理解されよう。

要素が別の要素に「接続された」、「結合された」、「応答する」、又はそれらの変形と称される場合、それは、他の要素に直接接続され、結合され、若しくは応答することができるか、又は介在要素が存在し得る。対照的に、要素が別の要素に「直接接続された」、「直接結合された」、「直接応答する」、又はそれらの変形と称される場合、介在要素は存在しない。同様の番号は、全体を通して同様の要素を指す。更に、本明細書で使用される「結合された」、「接続された」、「応答する」、又はそれらの変形は、無線で結合され、接続され、又は応答することを含むことができる。本明細書で使用される場合、「ａ」、「ａｎ」、及び「ｔｈｅ」という単数形は、文脈が別途明確に示されない限り、複数形も含むことが意図される。周知の機能又は構造は、簡潔さ及び／又は明確さのために詳細に説明されない場合がある。「及び／又は」という用語は、関連する列挙された項目のうちの１つ以上のありとあらゆる組み合わせを含む。

本明細書では、第１、第２、第３などの用語が、様々な要素／動作を説明するために使用されることができるが、これらの要素／動作は、これらの用語によって限定されるべきではないことが理解されよう。これらの用語は、１つの要素／動作を別の要素／動作から区別するためにのみ使用される。したがって、いくつかの実施形態における第１の要素／動作は、本発明の概念の教示から逸脱することなく、他の実施形態では第２の要素／動作と呼ばれ得る。同じ参照番号又は同じ参照符号は、本明細書全体を通して同じ又は同様の要素を示す。

本明細書で使用される場合、「備える（comprise）」、「備える（comprising）」、「備える（comprises）」、「含む（include）」、「含む（including）」、「含む（includes）」、「有する（have）」、「有する（has）」、「有する（having）」、又はそれらの変形は、オープンエンドであり、１つ以上の記載された特徴、整数、要素、ステップ、構成要素又は機能を含むが、１つ以上の他の特徴、整数、要素、ステップ、構成要素、機能又はそれらの群の存在又は追加を排除するものではない。更にまた、本明細書で使用される場合、「例えば（exempli gratia）」というラテン句から派生する「例えば（e.g.）」という一般的な略語は、前述の項目の一般的な例又は複数の例を導入又は指定するために使用され得、そのような項目を限定することを意図するものではない。「すなわち（id est）」というラテン句から派生する「すなわち（i.e.）」という一般的な略語は、より一般的な列挙から特定の項目を指定するために使用することができる。

例示的な実施形態は、コンピュータ実装方法、装置（システム及び／又はデバイス）及び／又はコンピュータプログラム製品のブロック図及び／又はフローチャート例解図を参照して本明細書に記載されている。ブロック図及び／又はフローチャート例解図のブロック、並びにブロック図及び／又はフローチャート例解図におけるブロックの組み合わせは、１つ以上のコンピュータ回路によって実行されるコンピュータプログラム命令によって実装されることができることが理解される。これらのコンピュータプログラム命令は、コンピュータ及び／又は他のプログラム可能データ処理装置のプロセッサを介して実行される命令が、ブロック図及び／又はフローチャートブロック又は複数のブロックにおいて指定された機能／動作を実装するために、トランジスタ、メモリ位置に記憶された値、及びそのような回路内の他のハードウェア構成要素を変換及び制御し、それによってブロック図及び／又はフローチャートブロックで指定された機能／動作を実施するための手段（機能）及び／又は構造を形成するように、機械を製造するために汎用コンピュータ回路、専用コンピュータ回路、及び／又は他のプログラム可能データ処理回路のプロセッサ回路に提供され得る。

これらのコンピュータプログラム命令はまた、コンピュータ可読媒体に記憶された命令が、フローチャート及び／又はブロック図のブロック又は複数のブロックにおいて指定された機能／動作を実装させる命令を含む製品を生成するように、特定の方法で機能するようにコンピュータ又は他のプログラム可能データ処理装置に指示することができるコンピュータ可読媒体に記憶され得る。したがって、本発明の概念の実施形態は、集合的に「回路」、「モジュール」、又はそれらの変形と称されることができる、ハードウェア及び／又はデジタル信号プロセッサなどのプロセッサ上で実行されるソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）において具現化され得る。

また、いくつかの代替の実装では、ブロックに記載された機能／動作がまた、フローチャートに記載された順序とは異なる順序で発生し得ることにも留意されたい。例えば、連続して示される２つのブロックは、実際には実質的に同時に実行され得るか、又はブロックは、関与する機能／動作に応じて、時には逆の順序で実行され得る。更に、フローチャート及び／又はブロック図の所与のブロックの機能は、複数のブロックに分離され得るか、又はフローチャート及び／又はブロック図の２つ以上のブロックの機能は、少なくとも部分的に統合され得る。最後に、本発明の概念の範囲から逸脱することなく、例解されるブロック間に他のブロックが追加／挿入され得、及び／又はブロック／動作が省略され得る。更に、一部の図は、通信の主要な方向を示すために通信経路上に矢印を含むが、通信は、描かれた矢印と反対方向に発生し得ることを理解されたい。

本発明の概念の原理から実質的に逸脱することなく、実施形態に対して多くの変形及び変更が行われることができる。全てのそのような変形及び変更は、本発明の概念の範囲内で本明細書に含まれることが意図される。したがって、上記の主題は、例解的であるとみなされるべきであり、限定的ではなく、実施形態の添付の例は、本発明の概念の趣旨及び範囲内にある、そのような全ての変更、強化、及び他の実施形態を網羅することを意図している。したがって、法律によって許容される最大範囲まで、本発明の概念の範囲は、実施形態及びそれらの均等物の以下の例を含む本開示の最も広い許容可能な解釈によって決定されるべきであり、前述の詳細な説明によって制限又は限定されるものではない。

Claims (7)

1. 外科手術中のコンピュータ支援ナビゲーションのためのカメラ追跡システムであって、 少なくとも部分的に重複する視野を有する実際のデバイスを撮像する追跡カメラから取得された画像のセット内の基準アレイのマーカの場所を識別することと、
   前記画像の前記セット内の実際のデバイスの特徴部の測定された座標場所を、前記マーカの前記識別された場所に基づいて、かつ前記マーカと前記特徴部との間の相対的な場所関係に基づいて、判定することと、
   前記画像の前記セット内の前記特徴部の座標場所の予測を出力するように構成されたニューラルネットワークを通じて、前記測定された座標場所に基づいて識別された前記画像の前記セット内の関心対象の領域を処理することであって、前記ニューラルネットワークが、既知の座標場所でレンダリングされたコンピュータモデルの前記特徴部を含むトレーニング画像に基づいて、トレーニングされている、処理することと、
   前記画像の前記セット内の前記実際のデバイスの前記特徴部の座標場所の前記予測に基づいて、三次元（３Ｄ）空間内の前記実際のデバイスの前記特徴部の姿勢を追跡することと、を行うように動作可能な少なくとも１つのプロセッサを備える、カメラ追跡システム。
2. 前記実際のデバイスの前記特徴部の座標場所の前記予測が、前記画像の前記セット内の前記特徴部の予測された画素座標を示す、請求項１に記載のカメラ追跡システム。
3. 前記少なくとも１つのプロセッサが、
   前記追跡カメラのペアからの前記画像の前記セットのペアにおける前記実際のデバイスの前記特徴部の二次元（２Ｄ）座標場所の前記予測の三角測量に基づいて、追跡された空間内の前記実際のデバイスの前記特徴部の予測された３Ｄ姿勢を判定することと、
   前記画像の前記セットの前記ペアにおける前記基準アレイの前記マーカの前記場所の三角測量に基づいて、前記追跡された空間内の前記実際のデバイスの前記特徴部の測定された３Ｄ姿勢を判定することと、
   前記特徴部の前記予測された３Ｄ姿勢と前記特徴部の前記測定された３Ｄ姿勢との比較に基づいて、特徴部オフセットを較正することと、を行うように更に動作可能である、請求項１に記載のカメラ追跡システム。
4. 前記少なくとも１つのプロセッサが、
   前記実際のデバイスの前記特徴部の前記測定された座標場所が、前記実際のデバイスの前記特徴部の座標場所の前記予測の閾値距離内にあるかどうかに基づいて、前記実際のデバイスの前記特徴部を検証するように更に動作可能である、請求項１に記載のカメラ追跡システム。
5. 前記少なくとも１つのプロセッサが、
   前記ニューラルネットワークを通して、前記トレーニング画像内の前記既知の座標場所でレンダリングされた前記コンピュータモデルの前記特徴部を含むトレーニング画像を処理して、前記トレーニング画像内の前記コンピュータモデルの前記特徴部の座標場所の予測を出力することと、
   前記トレーニング画像内の前記特徴部の前記既知の座標場所を、前記トレーニング画像内の前記コンピュータモデルの前記特徴部の座標場所の前記予測と比較することと、
   前記比較に基づいて前記ニューラルネットワークのパラメータをトレーニングすることと、を行うように更に動作可能である、請求項４に記載のカメラ追跡システム。
6. 前記少なくとも１つのプロセッサが、
   前記トレーニング画像内の前記既知の座標場所にレンダリングされた前記コンピュータモデルの前記特徴部を含む前記トレーニング画像を、前記トレーニング画像のうちの少なくともいくつかの間の前記コンピュータモデルの前記特徴部の異なるレンダリングされた背景、異なるレンダリングされた照明条件、及び／又は異なるレンダリングされた姿勢を伴って、生成するように更に動作可能である、請求項５に記載のカメラ追跡システム。
7. 前記ニューラルネットワークの前記パラメータをトレーニングする前記動作が、前記トレーニング画像内の前記既知の座標場所にレンダリングされた前記コンピュータモデルの前記特徴部を含む前記トレーニング画像に基づいて、前記ニューラルネットワークの少なくとも１つの層の結合ノードに割り当てられた重み及び／又は発火閾値を適合させることを含む、請求項４に記載のカメラ追跡システム。

Images