JP7669486B2 - コンピュータ支援の手術における超音波ベースの複数の骨の位置決めの手術システム及び使用方法 - Google Patents

Description

関連出願の相互参照
本出願は、２０２０年１０月２７日に出願された米国仮出願第６３／１０５，９７３号の利益を主張し、その全体が本明細書で参照により本出願に援用される。

本開示は、コンピュータ支援の手術における医療システム及び使用方法に関する。より具体的には、本開示は、コンピュータ支援の手術における手術位置決めシステム及び方法に関する。

最近の整形外科関節置換手術は通常、特定の処置の有効性及び効率を高めるために、少なくともある程度の手術の術前計画を伴う。特に、術前計画は、処置の全体の時間、及び患者の関節が開放され露出している時間を低減しつつ、骨切除及びインプラント埋入の精度を高め得る。

整形外科関節置換手術の実行時のロボットシステムの使用は、特定の処置の術中時間を大幅に低減し得る。これまで以上に、処置の有効性は、術前計画段階中に利用されるツール、システム、及び方法に基づき得る。

術前計画に伴うステップの例は、インプラントサイズ、位置、及び向き、切除面及び深さ、手術部位にアクセスする軌道、並びに他のことを決定することを伴い得る。特定の場合では、術前計画は、関節置換を受ける患者の骨及び軟部組織の３次元（「３Ｄ」）の患者固有のモデルを生成することを伴い得る。３Ｄの患者モデルは、パラメータの中でも特に、インプラントサイズ、インプラントの向き、インプラントの位置、並びに対応する切除面及び深さの様々な可能性を計画する際の視覚的な支援として使用され得る。

しかし、ロボットシステムが関節置換を実行し得る前に、患者に対してロボットシステム及びナビゲーションシステムを位置決めする必要がある。位置決めは、患者に対して術前計画で定められる仮想的な境界及び制約を物理的な空間内でマッピングすることを伴うため、ロボットシステムは、患者に対して正確に追跡され、患者の解剖学的構造に適用される境界に対して制約され得る。

手術位置決めの特定の態様についての枠組みは当該技術分野で既知であり得るが、ロボット及びロボット支援の整形外科関節置換手術の効率及び有効性を更に高めるために位置決めの特定の態様を更に改良したシステム及び方法が必要である。

本開示の態様は、超音波画像内の骨面を検出し、任意で分類するように訓練される様々なニューラルネットワークのうちの１つ又は組合せを含み得る。

本開示の態様はまた、超音波モダリティ及び第２のモダリティ（例えば、ＣＴ／ＭＲＩ、又は患者の解剖学的なデータに従って変形される１つ以上の統計的／汎用モデルを採用した面再構成）間で（通常、関節を形成する）Ｎ個の骨の骨面を同時に共通で位置決めして、超音波モダリティから第２のモダリティへの少なくともＮｘ６自由度の変換、及びＮ個の捕捉された骨のうちの１つに超音波モダリティの画像データ内の領域を割り当てる分類情報、を最適化することによって当該骨を捕捉することができるアルゴリズムを含み得る。

特定の場合では、（骨のスライス／小さい部分だけを捕捉した）個々の超音波画像を１つの一貫した３Ｄ画像データセットにまとめるために、Ｎ個の捕捉された骨の各々に取り付けられた解剖学的構造のトラッカに対して超音波プローブが追跡される。スキャンされた骨が固定されている場合、超音波画像は、超音波プローブのみを追跡することによってまとめられ得る。

特定の場合では、複数の位置決めは、３Ｄポイントクラウド／メッシュベースであり得る。このような状況において、Ｎ個の骨は、三角化メッシュを取得して第２のモダリティ（ＣＴ／ＭＲＩの骨のセグメンテーション）でセグメント化され得る。

特定の場合では、複数の位置決めは、画像ベースであり得る。このような状況において、超音波画像の骨面を検出する必要なく、分類された超音波データを第２のモダリティと直接的に一致させる。

本開示の態様は、手術計画に対する患者の骨の手術位置決めについてのシステムを含み得、手術位置決めは、患者の骨の超音波画像を採用し、超音波画像は、複数の骨の骨面を含む個々の超音波画像を含み、個々の超音波画像は、患者の骨にわたる超音波プローブの単一のスワス（ｓｗａｔｈ）に起因する超音波スキャンから生成されている。このようなシステムにおいて、システムは、処理デバイスと、１つ以上の実行可能命令が記憶されたコンピュータ可読媒体と、を含む計算デバイスを含む。処理デバイスは、１つ以上の命令を実行するように構成されている。１つ以上の実行可能命令は、ｉ）個々の超音波画像内の骨面を検出し、ｉｉ）個々の超音波画像内の骨面の各々を骨のタイプに従って分類して、分類された骨面に達するように訓練される１つ以上のニューラルネットワークを含む。

１つ以上のニューラルネットワークは、個々の超音波画像内の骨面を検出する畳み込みネットワークを含み得る。実施形態に応じて、１つ以上のニューラルネットワークは、骨面の各々を分類する、ピクセル分類ネットワーク及び／又は尤度分類ネットワークを含み得る。

システムは、複数の骨の骨面を有する個々の超音波画像を受信し、次いで、ｉ）個々の超音波画像内の骨面を検出し、ｉｉ）骨面の各々を骨のそのタイプに従って分類して、分類された骨面に達することができるため有利である。換言すれば、システムは、個々の超音波画像が複数の骨の骨面を含むにも関わらず、依然、骨面を検出及び分類することができる。有利なことに、この能力は、関節を形成する患者の骨にわたる超音波プローブの単一のスワスに起因する超音波スキャンから個々の超音波画像を生成することを可能にする。したがって、この能力により、関節の患者の骨にわたる超音波プローブのスワスを単一の骨に制限する必要がなく、スワスは単に、結果として生じる超音波画像が複数の骨を含むように関節の全ての骨にわたって広がることができ、システムは、骨面がシステムによって分類されるように骨面を検出し骨面を分類することができる。

システムの一バージョンでは、処理デバイスは、１つ以上の命令を実行して、３Ｄポイントへの、個々の超音波画像の分類された骨面の２Ｄ画像ピクセルの変換を計算し、それによって、分類された３Ｄ骨面ポイントクラウドを生成する。実施形態に応じて、３Ｄポイントへの、個々の超音波画像の分類された骨面の２Ｄ画像ピクセルの変換を計算する際に、特定の媒体内の超音波の伝播速度が考慮されてもよく、超音波プローブの既知のセットの姿勢は、超音波プローブ座標系に関連してプローブトラッカに対して取得されてもよく、変換は、プローブトラッカ空間と超音波プローブ座標系との間で計算されてもよい。

システムの一バージョンでは、処理デバイスは、１つ以上の命令を実行して、患者の骨のコンピュータモデルへの患者の骨の初期又は大まかな位置決めを計算する。

システムの一実施形態では、患者の骨のコンピュータモデルへの患者の骨の初期又は大まかな位置決めを計算する際に、第１のポイントクラウド及び第２のポイントクラウドがシステムによって生成され、第１のポイントクラウドは、患者の骨の第１の骨に関するものであって、第１の骨に関連付けられた第１のトラッカに対するものであり、第２のポイントクラウドは、患者の骨の第２の骨に関するものであって、第２の骨に関連付けられた第２のトラッカに対するものである。したがって、患者の膝の文脈では、第１のポイントクラウドは、患者の骨の大腿骨に関するものであって、大腿骨に固定された第１のトラッカに対するものであり、第２のポイントクラウドは、脛骨に関するものであって、脛骨に固定された第２のトラッカに対するものである。患者の骨のコンピュータモデルへの患者の骨の初期又は大まかな位置決めを計算する際に、システムは、第１のポイントクラウドの骨面ポイントを第１の骨のコンピュータモデル上に一致させ、第２のポイントクラウドの骨面ポイントを第２の骨のコンピュータモデル上に一致させる。

システムの他の実施形態では、患者の骨のコンピュータモデルへの患者の骨の初期又は大まかな位置決めを計算する際に、システムは、目印ベースの位置決め及び／又は解剖学的構造のトラッカピンベースの位置決めを採用し得る。

システムの一バージョンでは、処理デバイスは、１つ以上の命令を実行して、初期又は大まかな位置決め及び分類された３Ｄ骨面ポイントクラウドを採用して最終的な複数の骨の位置決めを計算し、最終的な複数の骨の位置決めは、分類された３Ｄ骨面ポイントクラウド及び患者の骨間で収束を達成する。実施形態に応じて、分類された３Ｄ骨面ポイントクラウド及び患者の骨間で収束が存在する最終的な複数の骨の位置決めを計算する際に、システムは、第１のトラッカを参照して、分類された３Ｄ骨面ポイントクラウドに初期又は大まかな位置決めを適用し得る。膝関節の文脈では、第１のトラッカは、大腿骨に取り付けられ得る。

実施形態に応じて、分類された３Ｄ骨面ポイントクラウド及び患者の骨間で収束が存在する最終的な複数の骨の位置決めを計算する際に、システムは、患者の骨のコンピュータモデルに対する、分類された３Ｄ面ポイントクラウドの最近接ポイントを反復して計算する。

本開示の態様は、手術計画に対して患者の関節の複数の骨を位置決めする方法を含み得る。実施形態に応じて、当該方法は、超音波画像の少なくとも一部が複数の骨を描写する患者の関節の超音波画像を受信することと、畳み込みネットワークを採用して、超音波画像内で複数の骨の骨面を検出することと、尤度分類器ネットワーク又はピクセル分類器ネットワークのうちの少なくとも１つを採用して、骨面の各々を骨のそのタイプに従って分類して、分類された骨面に達することと、分類された骨面の２Ｄ超音波画像ピクセルを３Ｄに変換して、分類された３Ｄ骨面ポイントクラウドをもたらすことと、患者の関節の複数の骨の医療画像表示への、患者の関節の複数の骨の初期の大まかな位置決めを生成することと、初期の大まかな位置決めを、分類された３Ｄ骨面ポイントクラウドに適用することによって、手術計画に対する患者の関節の複数の骨の最終的な複数の骨の位置決めを計算することと、を含み得る。

一実施形態では、分類された骨面の２Ｄ超音波画像ピクセルを３Ｄに変換する際に、特定の媒体内の超音波の伝播速度が考慮され得る。

一実施形態では、分類された骨面の２Ｄ超音波画像ピクセルを３Ｄに変換する際に、分類された骨面の２Ｄ超音波画像ピクセルは、２Ｄピクセル空間から、超音波プローブ座標系の３Ｄメトリック座標系にマッピングされ得る。

一実施形態では、分類された骨面の２Ｄ超音波画像ピクセルを３Ｄに変換する際に、超音波プローブの既知のセットの姿勢は、超音波プローブ座標系に関連してプローブトラッカに対して取得され得る。

一実施形態では、分類された骨面の２Ｄ超音波画像ピクセルを３Ｄに変換する際に、変換は、プローブトラッカ空間と超音波プローブ座標系との間で計算され得る。

一実施形態では、患者の関節の複数の骨の医療画像表示への、患者の関節の複数の骨の初期の大まかな位置決めを生成する際に、第１のポイントクラウド及び第２のポイントクラウドが生成され得、第１のポイントクラウドは、複数の骨の第１の骨に関するものであって、第１の骨に関連付けられた第１のトラッカに対するものであり、第２のポイントクラウドは、複数の骨の第２の骨に関するものであって、第２の骨に関連付けられた第２のトラッカに対するものである。

一実施形態では、患者の関節の複数の骨の医療画像表示への、患者の関節の複数の骨の初期の大まかな位置決めを生成する際に、第１のポイントクラウドの骨面ポイントを第１の骨のコンピュータモデル上に一致させ得、第２のポイントクラウドの骨面ポイントを第２の骨のコンピュータモデル上に一致させる。

一実施形態では、患者の関節の複数の骨の医療画像表示への、患者の関節の複数の骨の初期の大まかな位置決めを生成する際に、目印ベースの位置決めが採用され得る。

一実施形態では、患者の関節の複数の骨の医療画像表示への、患者の関節の複数の骨の初期の大まかな位置決めを生成する際に、解剖学的構造のトラッカピンベースの位置決めが採用され得る。

一実施形態では、初期の大まかな位置決めを、分類された３Ｄ骨面ポイントクラウドに適用することによって、手術計画に対する患者の関節の複数の骨の最終的な複数の骨の位置決めを計算する際に、最終的な複数の骨の位置決めは、分類された３Ｄ骨面ポイントクラウド及び患者の骨間で収束を達成する。そうする際に、初期の大まかな位置決めは、第１のトラッカを参照して、分類された３Ｄ骨面ポイントクラウドに適用され得る。実施形態に応じて、この最終的な位置決め中、採用されたアルゴリズムは、その結果が安定状態に達するまで収束し、アルゴリズムはまた、分類された３Ｄ骨面ポイントクラウド自体の分類を改良し得、その結果、分類の任意の初期の誤差が除去され得るか又は少なくとも低減され得る。最終的な位置決めのこれらの態様を達成する際に、分類された３Ｄ骨面ポイントクラウド及び初期又は大まかな位置決めは、充分に位置決めされた状態になり、最終的な複数の骨の位置決めがもたらされる。

一実施形態では、初期の大まかな位置決めを、分類された３Ｄ骨面ポイントクラウドに適用することによって、手術計画に対する患者の関節の複数の骨の最終的な複数の骨の位置決めを計算する際に、患者の骨のコンピュータモデルに対する、分類された３Ｄ面ポイントクラウドの最近接ポイントの反復計算が行われ得る。

本開示の態様は、手術計画に対する患者の骨の手術位置決めについての方法を含み得る。実施形態に応じて当該方法は、患者の骨の超音波画像を受信することであって、超音波画像は、複数の骨の骨面を含む個々の超音波画像を含み、個々の超音波画像は、患者の骨にわたる超音波プローブの単一のスワスに起因する超音波スキャンから生成されている、ということと、個々の超音波画像内の骨面を検出し、個々の超音波画像内の骨面の各々を骨のタイプに従って分類して、分類された骨面に達するように訓練される１つ以上のニューラルネットワークを採用することと、を含み得る。

本開示の態様は、患者の骨の超音波画像を処理するように構成された手術システムを含み得、超音波画像は、患者の骨の各々についての骨面を含む。一実施形態では、システムは、処理デバイスと、１つ以上の実行可能命令が記憶されたコンピュータ可読媒体と、を含む計算デバイスを含む。処理デバイスは、１つ以上の実行可能命令を実行するように構成されている。１つ以上の実行可能命令は、ｉ）超音波画像内の患者の骨の各々の骨面を検出し、ｉｉ）患者の骨の各々の骨面に関連付けられた超音波画像ピクセルの第１のポイントクラウドを分離する。

実施形態の一バージョンでは、骨面の検出は、１つ以上の実行可能命令の少なくとも一部を形成する画像処理アルゴリズムを介して生じ得る。画像処理アルゴリズムは、機械学習モデルを含み得る。第１のポイントクラウドの分離は、１つ以上の実行可能命令の少なくとも一部を形成するピクセル分類ニューラルネットワークを介して生じ得る。第１のポイントクラウドの分離は、１つ以上の実行可能命令の少なくとも一部を形成する画像ベースの分類ニューラルネットワークを介して生じ得る。

実施形態の一バージョンでは、処理デバイスは、１つ以上の実行可能命令を実行して、分離された３Ｄポイントクラウドへの第１のポイントクラウドの変換を計算し得、分離された３Ｄポイントクラウドは、分離された３Ｄポイントクラウドの超音波画像ピクセルが各々、患者の骨の対応する骨面に相互に関連付けられるように分離される。分離された３Ｄポイントクラウドへの第１のポイントクラウドの変換を計算する際に、超音波画像ピクセルは、超音波プローブトラッカに較正され得、超音波プローブトラッカは、追跡カメラに較正される。超音波画像ピクセルを超音波プローブトラッカに較正する際に、特定の媒体内の超音波の伝播速度が考慮され得る。分離された３Ｄポイントクラウドへの第１のポイントクラウドの変換を計算する際に、超音波画像ピクセルは、超音波プローブトラッカに較正され得、超音波プローブトラッカは、追跡カメラに較正され、座標系は、患者の骨の骨面に配置された解剖学的構造のトラッカを介した骨面に対するものである。第１のポイントクラウドの分離は、第１のポイントクラウドの幾何学的分析を介して生じ得る。

実施形態の一バージョンでは、１つ以上の実行可能命令は、患者の骨の骨モデルへの、患者の骨から取得される第２のポイントクラウドの初期又は大まかな位置決めを計算し得る。第２のポイントクラウドは、患者の骨における複数のトラッカに対する複数のポイントクラウドを含み得る。複数のポイントクラウドは、患者の骨の骨モデルのある骨モデルに位置決めされた、あるポイントクラウドと、患者の骨の骨モデルの別の骨モデルに位置決めされた、別のポイントクラウドと、を含み得る。

初期又は大まかな位置決めは、目印ベースであり得る。初期又は大まかな位置決めは、解剖学的構造のトラッカの位置及び向きから計算され得る。初期又は大まかな位置決めを計算する際に、第３のポイントクラウド及び第４のポイントクラウドがシステムによって生成され得、第３のポイントクラウドは、患者の骨の第１の骨に関するものであって、第１の骨に関連付けられた第１のトラッカに対するものであり、第４のポイントクラウドは、患者の骨の第２の骨に関するものであって、第２の骨に関連付けられた第２のトラッカに対するものである。

実施形態の一バージョンでは、初期又は大まかな位置決めを計算する際に、システムは、第３のポイントクラウドの骨面ポイントを第１の骨のコンピュータモデル上に一致させ、第４のポイントクラウドの骨面ポイントを第２の骨のコンピュータモデル上に一致させ得る。

実施形態の一バージョンでは、処理デバイスは、１つ以上の命令を実行して、初期又は大まかな位置決め及び分離された３Ｄポイントクラウドを採用して最終的な複数の骨の位置決めを計算し得、最終的な複数の骨の位置決めは、分離された３Ｄポイントクラウドと患者の骨との間の最終的な位置決めを達成する。分類された３Ｄ骨面ポイントクラウドと患者の骨との間の最終的な位置決めが存在する最終的な複数の骨の位置決めを計算する際に、システムは、患者の骨のコンピュータモデルへの分離された３Ｄポイントクラウドの位置決めを反復して改良し、分離された３Ｄポイントクラウドの分離を反復して改良し得る。

本開示の態様は、患者の骨の超音波画像を処理する方法を含み得、超音波画像は、患者の骨の各々についての骨面を含む。このような方法の一実施形態は、超音波画像内の患者の骨の各々の骨面を検出することと、患者の骨の各々の骨面に関連付けられた超音波画像ピクセルの第１のポイントクラウドを分離することと、を含み得る。

実施形態の一バージョンでは、骨面の検出は、画像処理アルゴリズムを介して生じ得る。画像処理アルゴリズムは、機械学習モデルを含み得る。第１のポイントクラウドの分離は、ピクセル分類ニューラルネットワークを介して生じ得る。第１のポイントクラウドの分離は、画像ベースの分類ニューラルネットワークを介して生じ得る。

実施形態の一バージョンでは、当該方法は、分離された３Ｄポイントクラウドへの第１のポイントクラウドの変換を計算することを更に含み、分離された３Ｄポイントクラウドは、分離された３Ｄポイントクラウドの超音波画像ピクセルが各々、患者の骨の対応する骨面に相互に関連付けられるように分離される。分離された３Ｄポイントクラウドへの第１のポイントクラウドの変換を計算する際に、超音波画像ピクセルは、超音波プローブトラッカに較正され得、超音波プローブトラッカは、追跡カメラに較正される。超音波画像ピクセルを超音波プローブトラッカに較正する際に、特定の媒体内の超音波の伝播速度が考慮され得る。

実施形態の一バージョンでは、分離された３Ｄポイントクラウドへの第１のポイントクラウドの変換を計算する際に、超音波画像ピクセルは、超音波プローブトラッカに較正され得、超音波プローブトラッカは、追跡カメラに較正され、座標系は、患者の骨の骨面に配置された解剖学的構造のトラッカを介した骨面に対するものである。第１のポイントクラウドの分離は、第１のポイントクラウドの幾何学的分析を介して生じ得る。

実施形態の一バージョンでは、当該方法は、患者の骨の骨モデルへの、患者の骨から取得される第２のポイントクラウドの初期又は大まかな位置決めを計算することを更に含む。第２のポイントクラウドは、患者の骨における複数のトラッカに対する複数のポイントクラウドを含み得る。複数のポイントクラウドは、患者の骨の骨モデルのある骨モデルに位置決めされた、あるポイントクラウドと、患者の骨の骨モデルの別の骨モデルに位置決めされた、別のポイントクラウドと、を含み得る。初期又は大まかな位置決めは、目印ベースであり得る。初期又は大まかな位置決めは、解剖学的構造のトラッカの位置及び向きから計算され得る。

実施形態の一バージョンでは、初期又は大まかな位置決めを計算する際に、第３のポイントクラウド及び第４のポイントクラウドが生成され得、第３のポイントクラウドは、患者の骨の第１の骨に関するものであって、第１の骨に関連付けられた第１のトラッカに対するものであり、第４のポイントクラウドは、患者の骨の第２の骨に関するものであって、第２の骨に関連付けられた第２のトラッカに対するものである。初期又は大まかな位置決めを計算する際に、第３のポイントクラウドの骨面ポイントを第１の骨のコンピュータモデル上に一致させ得、第４のポイントクラウドの骨面ポイントを第２の骨のコンピュータモデル上に一致させる。

実施形態の一バージョンでは、当該方法は、初期又は大まかな位置決め及び分離された３Ｄポイントクラウドを採用して最終的な複数の骨の位置決めを計算することを更に含み、最終的な複数の骨の位置決めは、分離された３Ｄポイントクラウドと患者の骨との間の最終的な位置決めを達成する。分類された３Ｄ骨面ポイントクラウドと患者の骨との間の最終的な位置決めが存在する最終的な複数の骨の位置決めを計算する際に、患者の骨のコンピュータモデルへの分離された３Ｄポイントクラウドの位置決めが反復して改良され得、分離された３Ｄポイントクラウドの分離が反復して改良される。

特許又は出願ファイルは、カラーで作られた少なくとも１つの図面を含む。カラー図面を有する本特許又は特許出願公報のコピーは、請求して必要な料金の支払うと庁によって提供される。

図１は、手術システムの図である。

図２は、関節形成術の手術計画及び実行を示すフローチャートである。

図３Ａは、関節形成術の実行中の触覚ガイダンスを示す。 図３Ｂは、関節形成術の実行中の触覚ガイダンスを示す。

図４Ａは、大腿骨及び脛骨を示す膝関節の冠状画像である。

図４Ｂは、大腿骨及び膝蓋骨を示す膝関節の軸方向の画像である。

図４Ｃは、大腿骨、膝蓋骨、及び脛骨を示す膝関節の矢状画像である。

図４Ｄは、大腿骨及び脛骨を示す膝関節の冠状画像である。

図４Ｅは、大腿骨、膝蓋骨、及び脛骨の３Ｄモデルを含む３Ｄ関節モデルである。

図５Ａは、超音波ベースの複数の骨の位置決めプロセスである、図２に示される位置決めプロセスの術前及び術中の態様を示すフローチャートである。

図５Ｂは、図５Ａの位置決めプロセス、すなわち、超音波スイープから、分類又は分離された３次元（「３Ｄ」）骨面ポイントクラウドを生成するプロセスの部分の態様の画像描写である。

図６Ａは、図５Ａの位置決めプロセス、すなわち、ピクセル分類を利用した超音波画像骨面検出のプロセスの部分のフローチャートである。

図６Ｂは、図６Ａのプロセスの画像描写である。

図７Ａは、図５Ａの位置決めプロセス、すなわち、尤度分類を利用した超音波画像骨面検出のプロセスの部分のフローチャートである。

図７Ｂは、図７Ａのプロセスの画像描写である。

図８Ａは、図５Ａの位置決めプロセス、すなわち、３Ｄポイントへの超音波２次元（「２Ｄ」）画像ピクセルの変換を計算するプロセスの部分のフローチャートである。

図８Ｂは、図８Ａのプロセスの画像描写である。

図９Ａは、図５Ａの位置決めプロセス、すなわち、ＣＡＤモデル空間内の全体的な位置決めデータ（プローブ姿勢／目印）を取得するプロセスの部分のフローチャートである。

図９Ｂは、図９Ａのプロセスの画像描写である。

図１０Ａは、図５Ａの位置決めプロセスのフローチャートであり、すなわち、初期の位置決めが術中に取得される。

図１０Ｂは、図１０Ａのプロセスの代替的な態様の画像描写である。 図１０Ｃは、図１０Ａのプロセスの代替的な態様の画像描写である。

図１１Ａは、図５Ａの位置決めプロセス、すなわち、「１クリック／１姿勢」の位置決めのプロセスの部分のフローチャートである。

図１１Ｂは、図１１Ａのプロセスの態様の画像描写である。 図１１Ｃは、図１１Ａのプロセスの態様の画像描写である。

図１２は、図５Ａの位置決めプロセス、すなわち、目印ベースの位置決めのプロセスの部分のフローチャートである。

図１３Ａは、図５Ａの位置決めプロセス、すなわち、解剖学的構造のトラッカピンベースの位置決めのプロセスの部分のフローチャートである。

図１３Ｂは、図１３Ａのプロセスの態様の画像描写である。

図１４Ａは、図５Ａの位置決めプロセス、すなわち、最終的な複数の骨の位置決めの計算のプロセスの部分のフローチャートである。

図１４Ｂは、図１４Ａのプロセスの態様の画像描写である。 図１４Ｃは、図１４Ａのプロセスの態様の画像描写である。

図１５は、位置決めシステム又は手術目標を確認する図である。

図１６は、本明細書で論じられる様々なシステム及び方法を実装し得る１つ以上の計算ユニットを有する例示的な計算システムである。

本出願は、以下の出願の全体を参照により援用する。２０１７年８月３０日に出願され、「術中の骨盤の位置決めのシステム及び方法」と題された国際出願ＰＣＴ／ＵＳ２０１７／０４９４６６号明細書、２０１６年５月２７日に出願され、「手術システムについての術前計画及び関連付けられた術中の位置決め」と題された国際出願ＰＣＴ／ＵＳ２０１６／０３４８４７号明細書、２０１０年９月２９日に出願され、「補装部品を配置し、及び／又は手術ツールの移動を制約する手術システム」と題された米国特許出願第１２／８９４，０７１号明細書、２０１１年９月１６日に出願され、「関節置換手術におけるパラメータを測定するシステム及び方法」と題された米国特許出願第１３／２３４，１９０号明細書、２００６年２月２１日に出願され、「触覚ガイダンスシステム及び方法」と題された米国特許出願第１１／３５７，１９７号明細書、２００９年１２月２２日に出願され、「第１及び第２の伝達要素を用いた伝達」と題された米国特許出願第１２／６５４，５１９号明細書、２００９年１２月２２日に出願され、「接続によって組み立てられ得るデバイス」と題された米国特許出願第１２／６４４，９６４号明細書、並びに２００７年５月１８日に出願され、「手術デバイスの較正を確認するシステム及び方法」と題された米国特許出願第１１／７５０，８０７号明細書。

手術位置決めシステム及び使用方法が、手術システム１００と関連して本明細書に開示される。手術位置決めは、例えば、物理的な空間内の作業境界で、術前計画で決定される仮想的な境界をマッピングすることを必要とする。手術ロボットは、孔の穿孔又は骨面の切除などの、仮想的な境界内での特定の動作を実行することを許可され得る。一旦、仮想的な境界が患者の物理的な空間にマッピングされると、ロボットは、計画された場所及び向きで、孔を穿孔し得るか又は骨面を切除し得るが、予め計画された仮想的な境界の外側でこのような動作を実行することを制約され得る。患者の解剖学的構造の正確で精密な位置決めは、手術処置中の手術ロボットの正確なナビゲーションを可能にする。位置決めプロセスにおける正確性及び精度の必要性は、位置決めを実行するのに必要な時間とバランスを取る必要がある。

ロボット支援の手術の場合、仮想的な境界は、術前計画で定められ得る。完全なロボット手術の場合、仮想的なツール経路は、術前計画で定められ得る。いずれの場合も、術前計画は、例えば、骨切除深さを定めることと、大腿骨前方皮質の容認できない切欠きが、候補のインプラントの提案された骨切除深さ及び提案された姿勢に関連付けられているかどうかを識別することと、を含み得る。術前に計画された骨切除深さ及びインプラント姿勢に、大腿骨前方皮質の容認できない切欠きがなく、外科医によって承認されると想定すると、骨切除深さは、術前計画で採用された患者の骨モデルに実際の患者の骨の軟骨顆面を術中に位置決めすることによって軟骨厚さを考慮するように更新され得る。そのように軟骨厚さを考慮することによって、実際のインプラントは、手術システム１００を介して埋め込まれると、実際の患者の骨の切除された軟骨顆面の代わりに機能するように配置されたそれぞれの顆面を有する。術前計画の更なる説明は、２０１６年５月２７日に出願され、「手術システムについての術前計画及び関連付けられた術中の位置決め」と題された国際出願ＰＣＴ／ＵＳ２０１６／０３４８４７号明細書で見出され得、その全体が本明細書で参照により援用される。

手術位置決めの詳細な議論を開始する前に、ここで、手術システムの概略及びその動作が以下のように与えられる。

Ｉ．手術システムの概略

手術システムの詳細な議論を開始するために、図１への参照が行われる。図１から理解され得るように、手術システム１００は、ナビゲーションシステム４２と、コンピュータ５０と、（ロボットアーム６０とも称される）触覚デバイス６０と、を含む。ナビゲーションシステムは、患者の骨（すなわち、脛骨１０、大腿骨１１）及び手術中に利用される手術ツール（例えば、ポインタデバイス、プローブ、切削ツール）を追跡して、外科医が骨切処置中にディスプレイ５６上で骨及びツールを視覚化することを可能にする。

ナビゲーションシステム４２は、骨の姿勢（すなわち、位置及び向き）を追跡するように構成された任意のタイプのナビゲーションシステムであり得る。例えば、ナビゲーションシステム４２は、非機械的追跡システム、機械的追跡システム、又は非機械的及び機械的追跡システムの任意の組合せを含み得る。ナビゲーションシステム４２は、検出デバイス４４の基準の座標フレームに対する対象物の姿勢を取得する検出デバイス４４を含む。対象物が基準の座標フレーム内で移動すると、検出デバイスは、対象物の姿勢を追跡して対象物の移動を検出する。

一実施形態では、ナビゲーションシステム４２は、図１に示されるような非機械的追跡システムを含む。非機械的追跡システムは、検出デバイス４４と、追跡される対象物（例えば、患者の脛骨１０及び大腿骨１１）上にそれぞれ配置され、且つ検出デバイス４４によって検出可能である追跡可能要素（例えば、ナビゲーションマーカー４６、４７）と、を有する光追跡システムである。一実施形態では、検出デバイス４４は、追跡可能要素上のパターン（例えば、チェッカボードパターン）を検出するＭｉｃｒｏｎＴｒａｃｋｅｒ（カナダのトロントのＣｌａｒｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｃ．）などの可視光ベースの検出器を含む。別の実施形態では、検出デバイス４４は、赤外線放射に反応し、且つ関節形成術の処置が実行される手術室内に配置可能である、ステレオカメラペアを含む。追跡可能要素は、固定及び安定した方式で、追跡される対象物に取り付けられており、追跡される対象物に対する既知の幾何学的関係を有するマーカーのアレイを含む。既知であるように、追跡可能要素は、アクティブ（例えば、発光ダイオード、すなわちＬＥＤ）又はパッシブ（例えば、反射球体、チェッカボードパターンなど）であり得、固有の形状（例えば、マーカーの固有の幾何学的配置）、又はアクティブな有線若しくは無線マーカーの場合、固有の発射パターンを有し得る。動作時、検出デバイス４４は、追跡可能要素の位置を検出し、手術システム１００（例えば、埋め込み型電子機器を使用した検出デバイス４４）は、追跡される対象物に対する、追跡可能要素の位置、固有の形状、及び既知の幾何学的関係に基づいて、追跡される対象物の姿勢を計算する。追跡システム４２は、脛骨１０上に配置されたナビゲーションマーカー４６及び大腿骨１１上に配置されたナビゲーションマーカー４７などの、ユーザが追跡を望む各対象物について追跡可能要素を含む。触覚ガイドのロボット支援の手術中、ナビゲーションシステムは、（触覚デバイス６０の包括的又は全体的な位置を追跡するための）触覚デバイスマーカー４８と、（触覚デバイス６０の遠位端を追跡するための）エンドエフェクタマーカー５４と、患者における特定の関連の解剖学的な目印、及びシステム１００の部分における特定の位置決め場所、を触るための鋭い先端を有する追跡される超音波プローブ５５及び追跡されるスタイラス５７の形態である、位置決めプロセスで使用するためのフリーハンドナビゲーションプローブ５５、５７と、を更に含み得る。追加的に又は代替的に、システム１００は、電磁追跡を採用し得る。

本明細書に開示されるシステム及び方法が、例えば、Ｓｔｒｙｋｅｒ（登録商標）のＭａｋｏ（登録商標）手術ロボットによって採用されたものなどの上述のナビゲーションシステムを採用したロボット支援の手術システムの文脈で与えられているが、本開示は、ナビゲートされる他の手術システムに容易に適用可能である。例えば、追加的に又は代替的に、本明細書に開示されるシステム及び方法は、例えば、Ｓｔｒｙｋｅｒ（登録商標）のｅＮａｃｔ Ｋｎｅｅ Ｎａｖｉｇａｔｉｏｎソフトウェアの文脈などで、ナビゲートされる関節形成術のジグを採用して骨を作る手術処置に適用され得る。同様に、また、追加的に又は代替的に、本明細書に開示されるシステム及び方法は、ナビゲートされる鋸又はハンドヘルド型ロボットを採用して骨を作る手術処置に適用され得る。

図１に示されるように、手術システム１００は、コンピュータ５０として図に表される処理回路を更に含む。処理回路は、プロセッサと、メモリデバイスと、を含む。プロセッサは、汎用プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、処理構成要素のグループ、特定用途のプロセッサ、又は他の好適な電子処理構成要素として実装され得る。メモリデバイス（例えば、メモリ、メモリユニット、ストレージデバイスなど）は、本出願に記載される様々なプロセス、層、及び機能を完了させるか又は容易にするデータ及び／又はコンピュータコードを記憶する１つ以上のデバイス（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードディスクストレージなど）である。メモリデバイスは、揮発性メモリ若しくは不揮発性メモリであり得るか、又は揮発性メモリ若しくは不揮発性メモリを含み得る。メモリデバイスは、データベース構成要素、オブジェクトコード構成要素、スクリプト構成要素、又は様々な動作をサポートする任意の他のタイプの情報構造及び本出願に記載される情報構造を含み得る。好ましい実施形態によると、メモリデバイスは、処理回路を介してプロセッサと通信可能に接続されており、（例えば、処理回路及び／又はプロセッサによって）本明細書に記載される１つ以上のプロセスを実行するコンピュータコードを含む。

コンピュータ５０は、ナビゲーションシステム４２及び触覚デバイス６０と通信するように構成されている。更に、コンピュータ５０は、整形外科／関節形成術の処置に関連する情報を受信し、骨切処置の実行に関連する様々な機能を実行し得る。例えば、コンピュータ５０は、画像分析、手術計画、位置決め、ナビゲーション、画像ガイダンス、及び触覚ガイダンスに関連する機能を実行するのに必要なソフトウェアを有し得る。より具体的には、ナビゲーションシステムは、関節形成術の処置を実行する際に、自律ロボット又は外科医支援のデバイス（触覚デバイス）と関連して動作し得る。

コンピュータ５０は、関節形成術の処置が実行される患者の解剖学的構造の画像を受信する。図２を参照すると、関節形成術の実行の前に、医療撮像機械を用いて捕捉されるＣＴ又はＭＲＩなどの任意の既知の撮像技術を使用して、患者の解剖学的構造がスキャンされ得る（ステップ８０１）。本開示は、ＣＴ又はＭＲＩ機械などの医療撮像機械を用いて捕捉又は生成される医療画像の参照を行うが、医療画像を生成する他の方法が本明細書において可能であり想定される。例えば、骨の画像は、骨面のトポグラフィをスキャン又は位置決めするハンドヘルド型のスキャン又は撮像デバイスなどの医療撮像機械を介して術中に生成され得る。更に別の例として、多種多様なモダリティから取得される患者の解剖学的なデータは、術前又は術中に、患者の解剖学的なデータに従って１つ以上の統計的／汎用モデルを変形させることによって医療画像を生成するために使用され得る。したがって、医療撮像機械という用語は、撮像センタに配置されるか又は術中に使用される様々なサイズのデバイス（例えば、Ｃアーム、ハンドヘルド型デバイス）を包含することを意図しており、医療画像という用語は、関節形成術の処置を計画及び実行するのに役立つ、画像、モデル、又は患者の他の解剖学的な表示データを包含することを意図している。

続いて、スキャンデータは次いで、患者の解剖学的構造の３次元表示を取得するためにセグメント化される。例えば、膝関節形成術の実行の前に、大腿骨及び脛骨の３次元表示が生成される。３次元表示を使用して、計画プロセスの一部として、大腿骨及び脛骨の目印が選択され得、患者の大腿骨－脛骨のアライメントが、コンピュータ５０を介してモデル及びサイズに関して選択され得る、提案される大腿骨及び脛骨のインプラントの向き及び配置と共に計算される。大腿骨及び脛骨の目印は、特に、大腿骨頭中心と、遠位滑車溝と、顆間隆起の中心と、脛骨－足首の中心と、中央の脛骨棘と、を含み得る。大腿骨－脛骨のアライメントは、大腿骨機能軸線（すなわち、大腿骨頭中心から遠位滑車溝への線）と、脛骨機能軸線（すなわち、足首中心から顆間隆起中心への線）との間の角度である。患者の現在の大腿骨－脛骨のアライメント、及び関節形成術の処置によって達成される所望の大腿骨－脛骨のアライメントに基づいて、且つ、提案される大腿骨及び脛骨のインプラントのサイズ、モデル、及び配置を更に含み、提案されるインプラントの埋込に関連付けられた所望の伸展、内反－外反角、及び内－外回転を含んで、コンピュータ５０は、提案されるインプラントの所望の埋込を計算するか、又は関節形成術の処置を実行するプロセスで触覚デバイス６０を介して生成される切除を含む提案されるインプラントの埋込の術前計画（ステップ８０３）を少なくとも支援するようにプログラムされる。ステップ８０３を介して達成される術前計画は、レビュー、調整、及び承認のために外科医に提供され、術前計画は、外科医によって指示されるように更新される（ステップ８０２）。

コンピュータ５０は、ステップ８０３に従って手術計画を展開するために使用されるので、ユーザは、情報を入力し手術計画の任意の部分を修正するために、手術計画中の任意の段階でコンピュータ５０とやり取りし得ることを理解されたい。手術計画は、（触覚ベースのロボット支援の手術の場合）計画された複数の仮想的な境界、又は（自律ロボット手術の場合）ツール経路計画を含み得る。仮想的な境界又はツール経路は、関節形成術の処置中に骨１０、１１で生成される孔及び／又は切削を表し得る。一旦、手術計画が展開されると、触覚デバイス６０は、ユーザが骨１０、１１における計画された孔及び切削を生成するのを支援するために使用される。特に、骨切除深さの計画及び大腿骨前方骨幹部の切欠きの防止に関する術前計画は、以下でより完全に説明される。

骨１０、１１における孔の穿孔及び切削又は切除の生成は、２０１１年８月３０日に付与され、全体が参照により本明細書に援用される、「触覚ガイダンスシステム及び方法」と題された米国特許第８，０１０，１８０号明細書に記載された触覚ガイダンスシステムなどの触覚的にガイドされる対話型のロボットシステムの支援により達成され得る。外科医がロボットアームを操作して、高速ドリル、矢状鋸、又は他の好適なツールで骨に孔を穿孔するか又は切削を実行するとき、システムは、ロボットアームの制御システムに予めプログラムされた適切な形状に孔及び切削を彫刻する際に、外科医をガイドするために触覚フィードバックを提供する。触覚ガイダンス及びフィードバックは、以下でより完全に説明される。

手術計画中、コンピュータ５０は、関節形成術の処置中に埋め込まれる大腿骨及び脛骨のインプラントに関連する情報を更に受信する。例えば、ユーザは、入力デバイス５２（例えば、キーボード、マウスなど）を使用して、選択される大腿骨及び脛骨のインプラントのパラメータをコンピュータ５０に入力し得る。代替的に、コンピュータ５０は、様々なインプラント及びそのパラメータの予め確立されたデータベースを含み得、ユーザは、選択されるインプラントをデータベースから選び得る。また更なる実施形態では、インプラントは、患者固有の手術計画に基づいてカスタム設計され得る。インプラントの選択は、手術計画の任意の段階で生じ得る。

手術計画は更に、インプラントの少なくとも１つのパラメータ又はインプラントのパラメータの関数に基づき得る。インプラントは、手術計画プロセスの任意の段階で選択され得るため、インプラントは、コンピュータ５０による計画された仮想的な境界の決定の前又は当該決定の後に選択され得る。まずインプラントが選択される場合、計画された仮想的な境界は、インプラントのパラメータに少なくとも部分的に基づき得る。例えば、骨１０、１１で生成される孔又は切削を表す計画された仮想的な境界間の距離（又は任意の他の関係）は、所望の内反－外反の大腿骨－脛骨のアライメント、伸展、内－外回転、又は関節形成術のインプラントの埋込の所望の手術成果に関連付けられた任意の他の因子、に基づいて計画され得る。このように、手術計画の実施は、切除された骨面及び孔の適切なアライメントをもたらして、選択されたインプラントが所望の手術成果を達成することを可能にする。代替的に、コンピュータ５０は、インプラント選択の前に、計画された仮想的な境界を含む手術計画を展開し得る。この場合、インプラントは、計画された仮想的な境界に少なくとも部分的に基づいて選択され得る（例えば、入力され得るか、選ばれ得るか、又は設計され得る）。例えば、インプラントは、手術計画の実行が、切除された骨面及び孔の適切なアライメントをもたらして、選択されたインプラントが所望の手術成果を達成することを可能にするように、計画された仮想的な境界に基づいて選択され得る。

仮想的な境界又はツール経路は、仮想的な空間内に存在しており、物理的な（すなわち、現実の）空間内に存在しているか又は生成される特徴を表し得る。仮想的な境界は、物理的な空間内の対象物とやり取りすることができる物理的な空間内の作業境界に対応する。例えば、作業境界は、触覚デバイス６０に接続された手術ツール５８とやり取りし得る。手術計画は多くの場合、孔及び切除を表す仮想的な境界を含むように本明細書に記載されているが、手術計画は、骨１０、１１に対する他の修正を表す仮想的な境界を含み得る。更に、仮想的な境界は、物理的な空間内の対象物とやり取りすることができる物理的な空間内の任意の作業境界に対応し得る。

本明細書に開示されるシステム及び方法が関節形成術の文脈内にあるが、それらは、インプラントを採用しない手術の文脈で容易に役立つことに留意されたい。したがって、例えば、制限的ではなく、ナビゲーション及び触覚は、本明細書に開示されるシステムが、概して任意のタイプのナビゲートされる手術を実行する際に、骨腫瘍（肉腫）を切除すること、又は骨若しくは軟部組織で別のタイプの切開又は切除を行うことを可能にするように術前に計画され得る。

再び図２を参照すると、手術計画の後であって、関節形成術の処置を実行する前に、物理的な解剖学的構造（例えば、骨１０、１１）は、以下で詳細に記載されるように、位置決め技術（ステップ８０４）を使用して、解剖学的構造の仮想的な表示（例えば、術前の３次元表示）に位置決めされる。患者の解剖学的構造の位置決めは、手術処置中の正確なナビゲーション（ステップ８０５）を可能にし、これにより、仮想的な境界の各々は、物理的な空間内の作業境界と対応可能となる。例えば、図３Ａ及び図３Ｂを参照すると、脛骨１０における切除を表す仮想的な境界６２がコンピュータ又は他のディスプレイ６３上に表示されており、仮想的な境界６２は、手術室内の、手術部位などの物理的な空間６９内の作業境界６６に対応する。そして、作業境界６６の部分は、脛骨１０における計画された切除の場所に対応する。

仮想的な境界、したがって対応する作業境界は、任意の構成又は形状であり得る。図３Ａを参照すると、脛骨１０で生成される近位切除を表す仮想的な境界６２は、脛骨１０における近位切除の生成中にユーザを支援するのに好適な任意の構成であり得る。脛骨１０の仮想的な表示内に示される仮想的な境界６２の部分は、手術ツールによって除去される骨を表す。切除される脛骨１０における脛骨のインプラントの埋込を容易にするために、同様の仮想的な境界が脛骨１０内に穿孔されるか又はミーリングされる孔について生成され得る。仮想的な境界（したがって、対応する作業境界）は、３次元容積を完全に囲んで包囲する面を含み得る。代替的な実施形態では、仮想的な境界及び作業境界は、３次元容積を完全に囲んでおらず、むしろ、「アクティブな」面及び「開放」部分の両方を含む。例えば、脛骨における近位切除を表す仮想的な境界６２は、実質的に矩形箱形状の「アクティブな」面６２ａと、「開放」部分６４を有する、矩形箱形状の部分に接続された折り畳み漏斗又は三角形箱形状の「アクティブな」面６２ｂと、を有し得る。一実施形態では、仮想的な境界６２は、２０１１年１２月２９日に出願され、全体が参照により本明細書に援用される、「触覚ガイドゾーンを選択的にアクティブにするシステム及び方法」と題された米国出願第１３／３４０，６６８号明細書に記載されているような折り畳み漏斗で生成され得る。仮想的な境界６２に対応する作業境界６６は、仮想的な境界６２と同じ構成を有する。換言すれば、脛骨１０における近位切除をガイドする作業境界６６は、実質的に矩形箱形状の「アクティブな」面６６ａと、「開放」部分６７を有する、矩形箱形状の部分に接続された折り畳み漏斗又は三角形箱形状の「アクティブな」面６６ｂと、を有し得る。

更なる実施形態では、骨１０における切除を表す仮想的な境界６２は、実質的に矩形箱形状の部分６２ａのみを含む。矩形箱形状の部分のみを有する仮想的な境界の端は、対応する作業境界の開放上部が骨１０の外面と一致するような「開放」上部を有し得る。代替的に、図３Ａ及び図３Ｂに示されるように、仮想的な境界部分６２ａに対応する矩形箱形状の作業境界部分６６ａは、骨１０の外面を超えて延び得る。

一部の実施形態では、骨の部分を通る切除を表す仮想的な境界６２は、厚みがあるか又は厚みがない実質的に平面形状を有し得る。代替的に、仮想的な境界６２は、湾曲し得るか又は不規則な形状を有し得る。仮想的な境界６２が線又は平面形状として描写され、仮想的な境界６２が厚みも有する場合、仮想的な境界６２は、骨における切除を生成するために使用される手術ツールよりもわずかに厚くてもよく、その結果、ツールは、骨内にある間、作業境界６６のアクティブな面内で制約され得る。このような線又は平面の仮想的な境界６２は、対応する作業境界６６が、漏斗又は他の適切な形状で骨１０の外面を超えて延びて、手術ツール５８が骨１０に近づいているときに外科医を支援するように計画され得る。（以下で記載されるような）触覚ガイダンス及びフィードバックは、手術ツール５８と作業境界のアクティブな面との間の関係に基づいてユーザに提供され得る。

手術計画はまた、２０１２年１２月２１日に出願され、全体が参照により本明細書に援用される、「手術ツールの触覚制御のためのシステム及び方法」と題された米国出願第１３／７２５，３４８号に記載されているように、手術ツールの自動アライメントを含み、触覚制御内に入り触覚制御から出て行くのを容易にするための仮想的な境界を含み得る。

仮想的な境界を含む手術計画は、患者の骨密度に関連する情報に基づいて展開され得る。患者の骨の密度は、患者の解剖学的構造のＣＴ、ＭＲＩ、又は他の撮像から取得されるデータを使用して計算される。一実施形態では、人間の骨を表し既知のカルシウム含有量を有する較正対象物は、画像の密度値と骨密度測定値との間の対応関係を取得するために撮像される。次いで、この対応関係は、患者の解剖学的構造の個々の画像の密度値を骨密度測定値に変換するために適用され得る。次いで、患者の解剖学的構造の個々の画像は、患者の骨密度情報を含む患者の解剖学的構造の３次元表示（すなわち、モデル）を生成するために、骨密度測定値の対応するマップを用いてセグメント化されて使用される。次いで、有限要素分析（ＦＥＡ）などの画像分析が、モデルに対して、その構造健全性を評価するために実行され得る。

患者の解剖学的構造の構造健全性を評価できることにより、関節形成術の計画の有効性が向上する。例えば、患者の骨の特定の部分があまり密でないと思われる場合（すなわち、骨粗しょう症）、孔、切除、及びインプラント配置は、骨の弱くなった部分の破損のリスクを最小化するように計画され得る。更に、手術計画の実施後の骨及びインプラントの組合せの計画された構造（例えば、術後の骨及びインプラント配置）も、手術計画を向上させるために、術前に構造健全性について評価され得る。本実施形態では、関節形成術及び埋込の処置の実行後の患者の骨及びインプラント配置を表すように、孔及び／又は切削が計画されて骨モデル及びインプラントモデルが操作される。患者の体重及びライフスタイルなどの、術後の骨及びインプラント配置の構造健全性に影響を及ぼす様々な他の因子が考慮され得る。術後に配置が構造的に健全で且つ運動学的に機能するかどうかを判定するために、術後の骨及びインプラント配置の構造健全性が分析される。構造的に弱いこと又は運動学的な懸念が分析により明らかになった場合、所望の術後の構造健全性及び機能を達成するように手術計画が修正され得る。

一実施形態では、一旦、手術計画が最終決定されると、外科医は、触覚デバイス６０の支援により関節形成術の処置を実行し得る（ステップ８０６）。一実施形態では、触覚デバイス６０（ステップ８０６）の代替として又はそれに加えて、手術システム１００は、Ｓｔｒｙｋｅｒ（登録商標）のＡｄｖａｎｃｅｄ Ｇｕｉｄａｎｃｅ ＴｅｃｈｎｏｌｏｇｉｅｓのＯｒｔｈｏＭａｐ（登録商標）Ｐｒｅｃｉｓｉｏｎ Ｋｎｅｅ ｎａｖｉｇａｔｉｏｎ ｓｏｆｔｗａｒｅを採用する。ＯｒｔｈｏＭａｐ（登録商標）Ｐｒｅｃｉｓｉｏｎ Ｋｎｅｅ ｎａｖｉｇａｔｉｏｎ ｓｏｆｔｗａｒｅは、切削ガイドが所定の場所にナビゲートされるのを容易にする。

ステップ８０６に係る触覚デバイス６０を採用した実施形態の文脈では、触覚デバイス６０を通じて、手術システム１００は、触覚ガイダンス及びフィードバックを外科医に提供して、外科医が手術計画を正確に実施するのを助ける。関節形成術の処置中の触覚ガイダンス及びフィードバックは、従来の関節形成術の技術と比較して、より優れた手術ツールの制御を可能にし、インプラントのより正確なアライメント及び配置をもたらす。更に、触覚ガイダンス及びフィードバックは、計画目的でＫワイヤ及び蛍光透視法を使用する必要性を除去することを意図している。代わりに、患者の解剖学的構造の３次元表示を使用して手術計画が生成及び確認され、触覚デバイスは、手術処置中にガイダンスを提供する。

「触覚」は、タッチの感覚を指し、触覚の分野は、触感及び／又はフォースフィードバックをオペレータに提供する人間対話型デバイスに関する。触感フィードバックは概して、例えば、振動などの触感の感覚を含む。（「レンチ」としても既知である）フォースフィードバックは、力（例えば、移動に対する抵抗）及び／又はトルクの形態のフィードバックを指す。レンチは、例えば、力、トルク、又は力及びトルクの組合せの形態のフィードバックを含む。触覚フィードバックはまた、触感及び／又はフォースフィードバックをユーザに提供し得る手術ツールに提供される力の量を無効にするか又は変更することを包含し得る。

手術システム１００は、手術ツール５８と作業境界のうちの少なくとも１つとの間の関係に基づいて、触覚フィードバックを外科医に提供する。手術ツール５８と作業境界との間の関係は、触覚フィードバックを提供するためにナビゲーションシステムによって取得され手術システム１００によって利用され得る、手術ツール５８と作業境界との間の任意の好適な関係であり得る。例えば、当該関係は、１つ以上の作業境界に対する手術ツール５８の位置、向き、姿勢、速度、又は加速度であり得る。当該関係は更に、１つ以上の作業境界に対する手術ツール５８の位置、向き、姿勢、速度、及び加速度の任意の組合せであり得る。手術ツール５８と作業境界との間の「関係」はまた、手術ツール５８と作業境界との間の別の関係に起因する量又は測定値を指し得る。換言すれば、「関係」は、別の関係の関数であり得る。具体例として、手術ツール５８と作業境界との間の「関係」は、手術ツール５８と作業境界との間の位置関係によって生成される触覚力の大きさであり得る。

手術中、外科医は、触覚デバイス６０を操作して、デバイスに接続された手術ツール５８をガイドする。手術システム１００は、触覚デバイス６０を通じて触覚フィードバックをユーザに提供して、大腿骨及び脛骨のインプラントの埋込を容易にするのに必要とされる、患者の骨に対する計画された孔、切削、又は他の修正の生成中に外科医を支援する。例えば、手術システム１００は、手術ツール５８が作業境界と交差するのを実質的に防止又は制約することによって外科医を支援し得る。手術システム１００は、触感フィードバックを提供すること、フォースフィードバックを提供すること、及び／又は手術ツールに提供される力の量を変更することを含む、任意の数の触覚フィードバック機構及びその組合せによって、手術ツールが作業境界と交差するのを制約し得る。本明細書で使用される「制約」は、移動を制限する傾向を記載するために使用される。したがって、手術システムは、手術ツール５８の移動を制限する傾向にある触覚デバイス６０に対する反対の力を印加することによって手術ツール５８を直接的に制約し得る。手術システムはまた、触感フィードバックを提供してユーザに自身の動作を変更するように警告することによって手術ツール５８を間接的に制約し得る。これは、ユーザに自身の動作を変更するように警告することが、手術ツール５８の移動を制限する傾向にあるためである。また更なる実施形態では、手術システム１００は、ツールの移動を更に制限する傾向にある、手術ツール５８への力の制限によって手術ツール５８を制約し得る。

様々な実施形態では、手術システム１００は、手術ツール５８が作業境界に近づくとき、作業境界との手術ツール５８の接触時、及び／又は手術ツール５８が所定の深さ分、作業境界に進入した後に、触覚フィードバックをユーザに提供する。外科医は、例えば、振動として、触覚デバイスの更なる移動に抵抗するか若しくはアクティブに反対するレンチとして、又は触覚デバイスの更なる移動を実質的に防止する堅固な「壁」として、触覚フィードバックを経験し得る。代替的に、ユーザは、手術ツール５８に提供される力の変更に起因する触感の感覚（例えば、振動の変化）、又はツールに提供される力の停止に起因する触感の感覚として、触覚フィードバックを経験し得る。手術ツール５８が穿孔しているとき、切削しているとき、又は他の場合には直接的に骨に対して動作しているときに手術ツールへの力が変更又は停止される場合、外科医は、ツールがもはや穿孔できず、切削できず、又は他の場合には骨を通って移動できないことにより、更なる移動に対する抵抗の形態の触覚フィードバックを感じる。一実施形態では、手術ツール５８と作業境界との間の接触時に、手術ツールへの力が変更される（例えば、ツールへの力を減少させる）か又は停止される（例えば、ツールが無効にされる）。代替的に、手術ツール５８に提供される力は、手術ツール５８が作業境界に近づくときに変更され得る（例えば、減少し得る）。

別の実施形態では、手術システム１００は、作業境界に向けて又は作業境界に沿って手術ツール５８をガイドするように触覚フィードバックを提供することによって、骨に対する計画された孔、切削、及び他の修正を外科医が生成するのを支援し得る。一例として、手術システム１００は、手術ツール５８の先端と作業境界の最近接座標との間の位置関係に基づいて、触覚デバイス６０に力を提供し得る。当該力は、最近接の作業境界に手術ツール５８を近づかせ得る。一旦、手術ツール５８が作業境界に実質的に接近又は接触すると、手術システム１００は、作業境界の部分に沿って移動するように手術ツール５８をガイドする傾向にある力を印加し得る。別の実施形態では、力は、作業境界のある部分から作業境界の別の部分に（例えば、作業境界の漏斗形状の部分から作業境界の矩形箱形状の部分に）移動するように手術ツール５８をガイドする傾向にある。

更に別の実施形態では、手術システム１００は、ある作業境界から別の作業境界に手術ツールをガイドするように触覚フィードバックを提供することによって、骨に対する計画された孔、切削、及び修正を外科医が生成するのを支援するように構成されている。例えば、外科医は、ユーザが手術ツール５８を作業境界６６に向けてガイドするときに手術ツール５８を作業境界６６に向けて引っ張る傾向にある力を経験し得る。その後、ユーザが、作業境界６６によって包囲された空間から手術ツール５８を除去して、手術ツール５８が第２の作業境界（図示せず）に近づくように触覚デバイス６０を操作するとき、外科医は、作業境界６６から第２の作業境界に向けて押し出す力を経験し得る。

本明細書に記載されるような触覚フィードバックは、手術システム１００による作業境界に対する修正と関連して動作し得る。「作業境界」に対する修正として本明細書で論じられているが、手術システム１００は、作業境界に対応する仮想的な境界を修正することを理解されたい。作業境界に対する修正の一部の例には、１）作業境界の再構成（例えば、形状又はサイズの変更）、並びに２）作業境界全体又は作業境界の部分をアクティブ及び非アクティブにすること（例えば、「開放」部分を「アクティブな」面に変換すること、及び「アクティブな」面を「開放」部分に変換すること）が含まれる。触覚フィードバックと同様に、作業境界に対する修正は、手術ツール５８と１つ以上の作業境界との間の関係に基づいて、手術システム１００によって実行され得る。作業境界に対する修正は更に、骨に向けた手術ツール５８の移動及び手術ツール５８による骨の切削などの様々な動作を容易にすることによって、関節形成術の処置中に必要とされる孔及び切削をユーザが生成するのを支援する。

一実施形態では、作業境界に対する修正は、骨１０に向けた手術ツール５８の移動を容易にする。手術処置中、患者の解剖学的構造がナビゲーションシステムによって追跡されるため、手術システム１００は、患者の解剖学的構造の移動に対応して作業境界６６の全体を移動させる。この基準線の移動に加えて、作業境界６６の部分は、骨１０に向けた手術ツール５８の移動を容易にするように再成形及び／又は再構成され得る。一例として、手術システムは、手術ツール５８と作業境界６６との間の関係に基づいて、手術処置中に、矩形箱形状の部分６６ａに対して作業境界６６の漏斗形状の部分６６ｂを傾斜させ得る。したがって、作業境界６６は、手術ツール５８が骨１０に近づくときに、作業境界６６の部分６６ｂによって包囲された空間内に手術ツール５８が残るように手術処置中に動的に修正され得る。

別の実施形態では、作業境界又は作業境界の部分はアクティブ及び非アクティブにされる。作業境界全体をアクティブ及び非アクティブにすることは、手術ツール５８が骨１０に近づいているときにユーザを支援し得る。例えば、外科医が、第１の作業境界６６に近づいている間、又は手術ツール５８が、第１の作業境界６６によって包囲された空間内にある間、第２の作業境界（図示せず）が非アクティブにされ得る。同様に、外科医が、第１の対応する切除の生成を完了させた後、第２の切除を生成しようとしているときに、第１の作業境界６６が非アクティブにされ得る。一実施形態では、手術ツール５８が、第２の作業境界につながっている漏斗部分内のエリアに入った後であるが、依然、第１の漏斗部分６６ｂの外側にあるとき、作業境界６６が非アクティブにされ得る。作業境界の部分をアクティブにすることにより、前の開放部分（例えば、開放上部６７）が、作業境界のアクティブな面に変換される。対照的に、作業境界の部分を非アクティブにすることにより、作業境界の前のアクティブな面（例えば、作業境界６６の端部６６ｃ）が、「開放」部分に変換される。

作業境界全体又はその部分をアクティブ及び非アクティブにすることは、手術処置中、手術システム１００によって動的に達成され得る。換言すれば、手術システム１００は、手術処置中に、仮想的な境界又は仮想的な境界の部分のアクティブ化及び非アクティブ化をトリガする因子及び関係の存在を決定するようにプログラムされ得る。別の実施形態では、ユーザは、（例えば、入力デバイス５２を使用することによって）手術システム１００とやり取りして関節形成術の処置の様々な段階の開始又は完了を示すことができ、それによって、作業境界又はその部分をアクティブ又は非アクティブにするようにトリガする。

上述のような手術システム１００の動作及び機能を考慮して、ここで議論を、手術システム１００を介して実行される手術を術前に計画する方法に向け、患者の実際の骨、また手術システム１００の適用可能な構成要素に対して術前計画を合わせる方法の詳細な議論が後に続く。

様々な切除、孔の穿孔などを実行するように外科医によってデバイス６０が操作されるため、触覚デバイス６０は、外科医支援のデバイス又はツールとして記載され得る。特定の実施形態では、デバイス６０は、外科医支援とは対照的に、自律ロボットであり得る。すなわち、触覚境界とは対照的に、自律ロボットは、所定のツール経路に沿って動作し得るだけであり、その結果、触覚フィードバックが必要ではないので、ツール経路は、骨を切除し孔を穿孔するために定められ得る。特定の実施形態では、デバイス６０は、ナビゲーションシステム４２と関連して動作する、少なくとも１自由度を有する切削デバイスであり得る。例えば、切削ツールは、ツール上にトラッカを有する回転バー（ｂｕｒｒ）を含み得る。切削ツールは、外科医によって自由に操作可能でありハンドヘルド型であり得る。このような場合、触覚フィードバックは、仮想的な境界と交わるとバーが回転をやめることに制限され得る。したがって、デバイス６０は広範に、本出願に記載されるデバイスのいずれか及び他のものを包含するものとみなされるべきである。

手術処置が完了した後、直後に又はある期間の後に、術後分析（ステップ８０７）が実行され得る。術後分析は、計画された処置と比較したときの実際の手術処置の精度を決定し得る。すなわち、実際のインプラント配置の位置及び向きが、計画された値と比較され得る。内反－外反の大腿骨－脛骨のアライメント、伸展、内－外回転などの因子、又は関節形成術のインプラントの埋込の所望の手術成果に関連付けられた任意の他の因子が、計画された値と比較され得る。

ＩＩ．関節形成術の処置の術前ステップ

関節形成術の処置の術前ステップは、患者の撮像と、評価の中でも特に、インプラント配置、骨切除深さ決定、及び前方骨幹部の切欠き評価を含み得る術前計画プロセスと、を含み得る。骨切除深さ決定は、患者の遠位大腿骨及び近位脛骨の３次元コンピュータモデルに対して、候補の大腿骨及び脛骨のインプラントの３次元コンピュータモデルを選択及び配置して、関節形成術の処置についての望ましい手術成果を達成するインプラントの位置及び向きを決定することを含む。この評価の一部として、必要な脛骨及び大腿骨の切除の深さが、当該切除の面の向きと共に計算される。

前方骨幹部の切欠き評価は、インプラント３次元モデルが、骨切除深さ決定中に提案されるように大腿骨３次元モデルに対して配置されて向きを定められたときに、選択された大腿骨のインプラントの３次元モデルの前方フランジ部が患者の遠位大腿骨の３次元モデルの前方骨幹部と交差するかどうかを判定することを含む。２つのモデルのこのような交差は、前方大腿骨骨幹部の切欠きを示し、これを回避する必要がある。

骨切除深さの決定及び前方骨幹部の切欠き評価の実行は、２０１６年５月２７日に出願され、全体が参照により本明細書に援用される、国際出願ＰＣＴ／ＵＳ２０１６／０３４８４７号明細書に記載されている。

Ａ．術前の撮像

手術処置（例えば、膝関節形成術、臀部関節形成術、足首関節形成術、肩関節形成術、肘関節形成術、脊柱処置（例えば、融着、埋込、側弯症の修正など））の準備において、患者は、例えば、撮像センタで術前の撮像を受け得る。患者は、手術する関節において、撮像モダリティの中でも特に、磁気共鳴画像法（「ＭＲＩ」）、コンピュータ断層撮影（「ＣＴ」）スキャン、放射線透過スキャン（「Ｘ線」）を受け得る。大腿骨１０４、膝蓋骨１０５（他の図で図示）、及び脛骨１０６を含む患者の膝関節１０２の例示的な冠状画像スキャンである図４Ａで分かるように、患者の膝はＣＴスキャンを受け得る。ＣＴスキャンは、医療におけるデジタル画像と通信（「ＤＩＣＯＭ」）ファイルとしてパッケージ化された膝関節１０２のヘリカルスキャンを含み得る。ファイルから、２次元画像のスライス又は断面を複数の面（例えば、冠状、矢状、軸方向）で見ることができる。図４Ｂ、図４Ｃ、及び図４Ｄから理解され得るように、セグメンテーションプロセスが、骨輪郭線においてスプライン１１０を適用することによって２次元画像１０８に対して実行され得る。又は、セグメンテーションプロセスは、スプライン１１０を２Ｄ画像スライスに適用する必要なく、全体として画像１０８に対して実行され得る。このような術前の撮像及び計画ステップは、２０１９年１２月１３日に出願され、全体が参照により本明細書に援用される、国際出願ＰＣＴ／ＵＳ２０１９／０６６２０６号明細書で見出され得る。

図４Ｂ、図４Ｃ、及び図４Ｄは、それぞれ、骨面上にスプライン１１０を有する大腿骨１０４及び膝蓋骨１０５の軸方向の画像１０８、大腿骨１０４、膝蓋骨１０５、及び脛骨１０６の骨面上にスプライン１１０を有する関節１０２の矢状画像１０８、並びに大腿骨１０４及び脛骨１０６上にスプライン１１０を有する関節１０２の冠状画像１０８を示す。特定の場合では、セグメンテーションプロセスは、各２次元画像スライス１０８上のスプライン１１０を人が識別する手動プロセスであり得る。特定の場合では、セグメンテーションプロセスは自動化されてもよく、ここで、スプライン１１０は、画像スライス１０８内の骨輪郭線に自動的に適用される。特定の場合では、セグメンテーションプロセスは、手動プロセス及び自動プロセスの組合せであり得る。

セグメンテーションプロセスが完了した後、セグメント化された画像１０８は、３Ｄ大腿骨モデル１１２、３Ｄ膝蓋骨モデル１１３、及び３Ｄ脛骨モデル１１４を含む関節１０２の３次元（「３Ｄ」）骨モデル１１１を生成するために組み合わされ得る。

３Ｄ関節モデル１１１の等角の軸方向－冠状－矢状図である図４Ｅで分かるように、モデル１１１は、骨を修正するための任意の手術処置の実行前の悪化状態の関節１０２、より具体的にはその大腿骨１０４、膝蓋骨１０５、及び脛骨１０６を表す。この３Ｄ関節モデル１１１から、術前計画プロセスの様々なステップが実行され得る。これらの３Ｄ骨モデル１１２～１１４の各々は、２次元画像スライス１０８を生成するために使用される医療撮像システムの座標系に対して生成され得る。例えば、画像スライス１０８がＣＴ撮像を介して生成される場合、３Ｄ骨モデルは、ＣＴ座標系１１５に対して生成され得る。

特定の場合では、患者の関節１０２の各骨１０４、１０５、及び１０６の３Ｄモデル１１２、１１３、及び１１４を含む患者の関節の３Ｄモデル１１１は、当該骨及び関節の統計的なモデル又は汎用モデルから生成されてもよく、統計的なモデル又は汎用モデルは、２Ｄ画像スライス１０８をスプライン１１０でセグメント化する必要がない特定の因子に基づいて、患者の関節１０２の骨１０４、１０５、及び１０６を近似するために、変形されるか又は他の場合には修正される。特定の場合では、セグメンテーションプロセスは、手動か、自動か、又は手動及び自動の組合せで、大腿骨１０４、膝蓋骨１０５、及び脛骨１０６のスキャンされた画像１０８に対して３Ｄの統計的な又は汎用骨モデルを適合させ得る。このような場合、セグメンテーションプロセスは、２次元画像スライス１０８の各々にスプライン１１０を適用することを必要としない。代わりに、３Ｄの統計的な又は汎用骨モデルは、スキャンされた画像１０８において大腿骨１０４、膝蓋骨１０５、及び脛骨１０６の形状に適合又は変形される。したがって、変形又は適合された３Ｄ骨モデルは、図４Ｅに示される３Ｄ関節モデル１１１を必要とする。

一実施形態では、汎用骨モデルは、サイズ及び形状に関する、多数の（例えば、数千又は数万の）実際の骨の医療画像（例えば、ＣＴ、ＭＲＩ、Ｘ線など）の分析の結果であってもよく、この分析は、多数の実際の骨の統計的な平均である汎用骨モデルを生成するために使用される。別の実施形態では、画像内のサイズ、形状、及び外観のバリエーションを含む母集団の統計的な分布を記述した統計的なモデルが導出される。

特定の場合では、患者のモデルを生成する他の方法が採用され得る。例えば、患者の骨モデル又はその部分は、骨の１つ以上のエリア内で骨又は軟骨面を位置決めすることにより術中に生成され得る。このようなプロセスは、１つ以上の骨面輪郭を生成し得る。したがって、本明細書に記載される様々な方法は、セグメント化された医療画像（例えば、ＣＴ、ＭＲＩ）並びに術中の撮像方法及び他のことから生成される３次元骨モデルを包含することを意図している。

方法の撮像及びその後のステップは、膝関節１０２に関して記載されているが、本開示の教示は同様に、特に、臀部、足首、肩、手首、肘、及び脊柱などの他の関節に適用可能である。

Ｂ．インプラント選択、インプラントの配置及び向きの術前計画

患者の関節１０２の３Ｄ大腿骨モデル１１２が生成された後、術前計画の残りの部分が開始し得る。例えば、外科医又は手術システム１００は、適切なインプラントを選択し得、インプラントの位置及び向きが決定され得る。当該選択は、選ばれたインプラントを適合させるために、患者の骨に対する適切な切削又は切除を決定し得る。このような術前計画ステップは、２０１６年５月２７日に出願され、全体が参照により本明細書に援用される、国際出願ＰＣＴ／ＵＳ２０１６／０３４８４７号明細書で見出され得る。

ＩＩＩ．手術処置

術前計画ステップが完了した後、手術は、計画に従って開始し得る。すなわち、外科医は、手術システム１００の触覚デバイス６０を使用して、患者の骨の切除を実行し得、外科医は、インプラントを埋め込んで関節に対する機能を修復し得る。手術処置のステップは、以下のことを含み得る。

Ａ．位置決め

位置決めは、患者の物理的な骨に対する、（図４Ｅの）骨モデル１１１～１１４及び関連付けられた仮想的な境界又はツール経路を含む術前計画をマッピングするプロセスであるため、ロボットアーム６０は空間的に、手術処置を正確に実行するために患者の物理的な骨に対して向きを定められる。骨モデル１１１～１１４及び関連付けられた仮想的な境界又はツール経路を含む術前計画は、第１の座標系（ｘ１、ｙ１、ｚ１）でコンピュータ５０上に記憶され得る。様々なトラッカアレイ（例えば、４８、５４）を介してロボットアーム６０の移動を追跡するナビゲーションシステム４２はまた、コンピュータ５０と通信する。ナビゲーションシステム４２はまた、脛骨１０及び大腿骨１１上にそれぞれ配置された様々なトラッカアレイ４６、４７を介して患者の体を追跡する。このように、ロボットアーム６０及び手術する骨１０、１１の位置及び向き（すなわち、姿勢）は、コンピュータ５０内の第２の座標系（ｘ２、ｙ２、ｚ２）で互いに対して既知である。第１の座標系（ｘ１、ｙ１、ｚ１）及び第２の座標系（ｘ２、ｙ２、ｚ２）を共通の座標系で一緒にマッピングするか、変換するか、又は位置決めするプロセスは、位置決めとして既知である。

一旦、位置決めされると、骨モデル１１１～１１４及び仮想的な境界又はツール経路は、患者の物理的な骨の任意の移動が、それに応じて骨モデル１１１～１１４及び仮想的な境界又はツール経路を移動させるように、患者の物理的な骨における適切な場所に「ロック」され得る。したがって、ロボットアーム６０は、術前計画で定められ、且つ患者の骨が移動するとそれと共に移動する仮想的な境界又はツール経路に沿って動作するように制約され得る。このように、ロボットアーム６０は、位置決めプロセスを介して患者の物理的な体の姿勢を空間的に認識している。

ｉ．術中の超音波データからの分類／分離された３Ｄ骨面ポイントクラウドの生成

以下で詳細に論じられるように、手術システム１００のコンピュータ５０、より具体的には、コンピュータのプロセッサ及びメモリは、超音波画像内で骨面を検出して、捕捉されている解剖学的構造に従って超音波画像内の当該骨面を分類するように訓練される様々なニューラルネットワークのうちの１つ又は組合せを採用した１つ以上のアルゴリズムを記憶及び実行する。

以下でも詳細に論じられるように、手術システム１００のコンピュータ５０、より具体的には、コンピュータのプロセッサ及びメモリは、Ｎ個の骨を捕捉する超音波モダリティ及び第２のモダリティ（例えば、ＣＴ／ＭＲＩ）間の（通常、関節を形成する）Ｎ個の骨の骨面の同時の共通位置決めを可能にする１つ以上のアルゴリズムを記憶及び実行する。２つのモダリティ間のＮ個の骨の骨面の共通位置決めは、超音波モダリティから第２のモダリティへのＮｘ６自由度の変換、及びＮ個の捕捉された骨のうちの１つに超音波モダリティの画像データ内の領域を割り当てる分類情報、を最適化する１つ以上のアルゴリズムを介して達成される。

一実施形態では、２つのモダリティ間のＮ個の骨の骨面の共通位置決めは、３Ｄポイントクラウド及び三角化メッシュ間で生じて３Ｄポイントクラウド／メッシュベースであり得る。このような状況において、Ｎ個の骨は、三角化メッシュを取得するために第２のモダリティ（例えば、ＣＴ／ＭＲＩの骨のセグメンテーション）でセグメント化される必要があり、３Ｄポイントクラウドは、三角化メッシュに適用される。

別の実施形態では、２つのモダリティ間のＮ個の骨の骨面の共通位置決めは、画像ベースであり得る。換言すれば、骨面を検出する必要なく、分類された超音波画像データを第２のモダリティと直接的に一致させる。

Ｎ個の骨を捕捉する２つのモダリティ間でＮ個の骨の骨面を同時に共通で位置決めする１つ以上のアルゴリズムの議論を開始するために、図５Ａへの参照が行われる。図５Ａは、図１で描写される手術システム１００によって採用されるような図２に示される全体的な位置決めプロセス（ステップ８０４）に関してより詳細に示すフローチャートである。図５Ａで描写されるプロセスは、２ステップの処置を採用した超音波ベースの複数の骨の位置決めプロセス５０３であり、ステップ６１０、６１２、７７６に起因する初期又は大まかな位置決め（ステップ７７６）は、ステップ５１２、５２７、５８０、６００に起因し、且つ手術目標領域（すなわち、患者の関節形成術の文脈における患者の関節領域）で取得される超音波スイープから生成される分類又は分離された３Ｄ骨面ポイントクラウド（ステップ６００）と組み合わされる（ステップ９００）。したがって、超音波ベースの複数の骨の位置決めプロセス５０３は、２つの主要なステップ又は態様を有し、初期の位置決めは、位置決めアライメントの第１の推測を確立し、次いで、そこから非常に正確なアライメントを計算することによって開始ポイントが改良されると言うことができる。

超音波ベースの複数の骨の位置決めプロセス５０３の分類又は分離された３Ｄ骨面ポイントクラウド（ステップ６００）は、患者の関節、及び患者の関節の近傍におけるその各骨を包囲する患者の表面積の全てではないとしても、そのほとんどで取得される術中の超音波画像で開始する。例えば、膝関節形成術について、超音波スイープは、患者の膝の各骨（大腿骨、脛骨、及び膝蓋骨）の骨面の超音波画像データを得るために、上下に１回以上、膝の全てではないとしても、そのほとんどに及ぶ。次いで、術中の超音波画像は、取得された超音波画像ポイントの数百万個の個々のポイントのうちのどの個々のポイントが、患者の関節の各骨に属するかを決定するために、機械学習を介してアルゴリズム的に分析され、各骨に属する分類又は分離されたポイントクラウドがもたらされる。換言すれば、膝関節形成術の文脈において、アルゴリズムは、術中の超音波画像の各ポイント又はピクセルを、そのそれぞれの膝関節の骨に適切に割り当てて、その結果、各ポイント又はピクセルは、そのそれぞれの骨に対応するように分類又は分離されると言うことができ、それによって、分類又は分離された３Ｄ骨面ポイントクラウドがもたらされる。別の方法で述べると、術中の超音波画像の各ポイント又はピクセルは、分類又は分離された３Ｄ骨面ポイントクラウドの超音波画像ピクセル又はポイントが各々、患者の骨の対応する骨面に相互に関連付けられるように、分類又は分離された３Ｄ骨面ポイントクラウドに変換される。

図５Ａから理解され得るように、初期又は大まかな位置決め（ステップ７７６）は、特定の術前の計画された姿勢又は患者の解剖学的構造に対する目印のセットに従って、患者の膝に術中に適用される追跡されるプローブ５７を用いて開始して、患者の膝骨のセグメント化された医療撮像（ＣＴ、ＭＲＩなど）から生成される３Ｄ ＣＡＤ骨モデル１１１に、物理的な追跡される骨を位置決めする変換を生成する。最終的な位置決めは、ステップ６００の分類された３Ｄ骨面ポイントクラウドとのステップ７７６の初期の位置決めのアルゴリズムの組合せを介して生じ、分類されたポイントクラウドのそれぞれの部分を、初期の位置決めのポイントクラウド及びそのそれぞれの３Ｄ ＣＡＤ骨モデルの面とアルゴリズム的に一致させる（ステップ９００）。この最終的な位置決め中、採用されたアルゴリズムは、その結果が安定状態に達するまで収束し、アルゴリズムはまた、分類又は分離された３Ｄ骨面ポイントクラウド自体の分類又は分離を改良し得、その結果、分類／分離の任意の初期の誤差が除去され得るか又は少なくとも低減され得る。最終的な位置決めのこれらの態様を達成する際に、分類又は分離された３Ｄ骨面ポイントクラウド及び初期又は大まかな位置決めは、充分に位置決めされた状態になり、最終的な複数の骨の位置決めがもたらされる。次いで、ステップ９００のこの最終的な複数の骨の位置決めは、患者の関節に対して手術を実行する際に手術システム１００によって採用され得る。

手術システム１００のこの超音波ベースの位置決めプロセス５０３は、単に医療専門家が患者の関節領域の超音波スイープを実行し、次いで、機械学習が引き継いで、超音波スイープにおけるどのポイントが患者の関節のどの骨に属するかを識別し、次いで、当該ポイントを３Ｄ骨モデルの正しい骨に割り当て一致させることによって、位置決めを達成できるという点で効率的である。したがって、位置決めプロセス５０３は、患者の関節の複数の骨の全てが１回で超音波を介して撮像されることを可能にし、次いで、システムは、関節の各骨に属するポイントクラウドのポイントを識別及び分離し、その後、関節の３Ｄモデルの適切な骨にポイントを割り当て／一致させて、最終的な位置決めプロセスを完了させ、ポイントは、適切な骨に割り当てられるだけでなく、骨における対応する解剖学的な場所に配置される。

図５Ａに示されるように、手術システム１００の超音波ベースの位置決めプロセス５０３は、術前の態様５００と術中の態様５０２と、を含み、術前の態様５００及び術中の態様５０２は各々、ワークフロー部及びデータフロー部に分割されている。ワークフロー部について、人は、機械／ツール／デバイス／システムを動作させるか、又は識別されたワークフローステップの実行を物理的に行う。データフロー部について、図１６を参照して以下でより詳細に論じられるように、図１で描写される手術システム１００と関連付けられたコンピュータシステム１３００の１つ以上のハードウェアプロセッサ１３０２は、識別されたデータフローステップを実行する際にプログラムを実行する。

術前の態様５００のワークフロー部の間、医療画像は、この詳細な説明の節「Ａ．術前の撮像」で上述したように、患者の関節で取得される（ステップ５０４）。図５Ａに示されるように、術前の態様５００は、データフロー部に続き、次いで、医療画像は、図４Ａ～図４Ｅを参照してこの詳細な説明の節「Ａ．術前の撮像」で上述したように、患者の関節を形成する骨の３Ｄ ＣＡＤモデルを生成するために使用される（ステップ５０６）。術前の態様５００のデータフロー部は、患者の関節画像１０８（図４Ａ～図４Ｄ）の患者の骨１０４～１０６の３Ｄ ＣＡＤモデル１１１～１１４（図４Ｅ）に対するＣＡＤモデル空間内の初期の位置決めデータの生成で終わる（ステップ５０８）。具体的には、初期の位置決めデータのこの生成（ステップ５０８）は、３ＤＣＡＤモデル空間内の上述のプローブ姿勢及び解剖学的な目印を定めることを含む。

図５Ａの超音波ベースの複数の骨の位置決めプロセス５０３の術中の態様５０２のワークフロー部に向かい、医療専門家は、解剖学的構造のトラッカ（例えば、図１における４６、４７を参照）を患者の骨（例えば、図１における脛骨１０及び大腿骨１１）に設置する（ステップ５１０）。好ましい実施形態では、トラッカ４６、４７は通常、ステップ５１０で示されるように図５Ａの全体的な位置決めプロセス５０３の術中の部分５０２の開始時に患者の骨１０、１１に設置されるが、代替的な一実施形態では、目標の肢（例えば、脚）が充分に固定されている場合、位置決めの部分は、トラッカ４６、４７（図１）が骨１０、１１に取り付けられる前に行われ得る。例えば、初期の位置決め（ステップ７７６）が完了し、その後、分類されたポイントクラウドを生成し（ステップ６００）、両方とも図５Ａ及び他のものに対して以下でより詳細に論じられる。次いで、トラッカ４６、４７の場所が識別され得、それに応じて、トラッカが患者の骨１０、１１に設置される。初期の位置決め７７６が繰り返され、その後、ステップ７７６の初期の位置決め及びステップ６００の分類されたポイントクラウドは、最終的な位置決め（ステップ９００）を達成するために組み合わされ得る。

再び図５Ａを参照して、好ましい実施形態に続き、ここで、全体的な位置決めプロセス５０３の術中の部分５０２の開始時にステップ５１０に従ってトラッカ４６、４７が患者の骨１０、１１に設置され、次いで、医療専門家は、追跡可能な超音波プローブ（例えば、図１における５５を参照）を利用して、関節領域にわたる患者の骨の複数の超音波スイープを記録する（ステップ５１２）。当該スイープは、一般的な方法での関節エリアのものであり得、どのデータポイントがどの骨に属しているか及び骨のどの場所に属しているかに関して定められていない超音波画像データポイントのコラージュにおいて様々な骨（例えば、膝関節の文脈における大腿骨、脛骨、及び膝蓋骨）を捕捉する。

超音波スイープからの分類された３次元（「３Ｄ」）骨面ポイントクラウドの生成のプロセスの画像描写である図５Ｂから理解され得るように、図５Ａのステップ５１２に起因する超音波スイープ５１４は、どの骨か、及び骨におけるどの場所かに関して定められていない大腿骨１１、膝蓋骨（図示せず）、及び脛骨１０（例えば、図１を参照）に関連付けられた超音波画像データを有する。プロセスにおけるこのポイントで実際に定められていないが、図５Ｂに示されるように、超音波スイープ５１４は、大腿骨データポイント５１６、膝蓋骨データポイント５１８、及び脛骨データポイント５２０を有すると理解され得る。このデータは、大腿骨の超音波画像５２２、膝蓋骨の超音波画像（図示せず）、及び脛骨の超音波画像５２４を含む２Ｄ超音波画像５２３のセットの形態で配置され得るが、当該超音波画像は、特定のポイントが骨又は軟部組織の一部であるかどうかに関して定められておらず、且つ特定のデータポイントが属するのが関節のどの特定の骨か、及び特定の骨におけるどの場所かに関して定められていないデータポイントを有する。次いで、手術システム１００は、図５Ａの分類モジュール（ステップ５２７）を介して、図５Ｂに示されるように、分類された骨面ピクセル５２６に２Ｄ超音波画像５２３のセットを変換する。２Ｄ超音波画像が図５Ｂで描写され本明細書で論じられているが、本明細書に記載されるプロセスは、２Ｄ超音波画像の代用又は２Ｄ超音波画像との混合での３Ｄ超音波画像の使用により容易に達成され得ることに留意されたい。したがって、本開示全体を通じて、２Ｄ超音波画像の任意の言及は、３Ｄ超音波画像も包含すると理解されるべきである。

図５Ａに示されるように、一実施形態では、分類された骨面ピクセル５２６を２Ｄ超音波画像５２３のセットから生成し、分類モジュール（ステップ５２７）は、２つの代替的な分類プロセス、すなわち、ピクセル分類ニューラルネットワークを介した超音波画像骨面によるもの（ステップ５２８）、又は尤度分類ニューラルネットワークを介した超音波画像骨面検出によるものの（ステップ５３０）うちのいずれかを採用し得る。他の実施形態では、分類された骨面ピクセル５２６を２Ｄ超音波画像５２３のセットから生成し、分類モジュール（ステップ５２７）は、例えば、画像を見ずに様々なポイントの３Ｄ配置だけを見て、骨１０、１１に固定された２つのナビゲーションマーカー４６、４７の距離から無の分類を導出すること、及び／又は結果として生じるポイントクラウド自体に対して分類アルゴリズムを実行することなどの他のプロセスを採用し得る。更に他の実施形態では、ポイントクラウドの分類は、例えば、ランダムフォレストなどの分類及び畳み込みに加えて、他の非機械学習プロセス又は他のネットワークを介して解明される。また更なる実施形態では、ポイントクラウドの分類は、非機械学習プロセスを介して解明され得る。一実施形態では、ポイントクラウドの分類は、ポイントクラウドの幾何学的分析を介して解明され得る。例えば、ポイントクラウドのこのような幾何学的分析は、（例えば、膝関節形成術の文脈で）主成分分析のような主軸の分離と、（例えば、脊柱／椎骨の処置の文脈で）連結成分分析のようなクラスタリング法と、凸状／凹状／管状／などのような形状特性と、を含み得る。最終的に、本開示を過度に制限しない目的で、画像を入力として受信する分類モジュール５２７が存在し、分類された骨ポイントクラウドは、分類モジュールから出力され、これらの目的を達成するために分類モジュールの一部であり得る多数の異なるプロセスが存在する。

図６Ａは、ピクセル分類を利用した超音波画像骨面検出（ステップ５２８）のための手術システム１００のプロセスのフローチャートであり、図６Ｂは、図６Ａのプロセスの画像描写である。図６Ａに示されるように、このプロセスは、超音波画像骨面検出器５３２及び超音波画像ピクセル分類器５３４を採用し、その両方が、入力部、処理部、及び出力部に分けられる。図６Ａ及び図６Ｂに示されるように、超音波画像骨面検出器５３２は、図５Ｂの２Ｄ超音波画像５２３を入力として受信し（ステップ５３６）、それを畳み込みネットワークを介して処理して、各超音波画像にわたって各ポイントで骨面ポイントの有無を検出し（ステップ５３８）、「ゼロ（０）が非骨面と同等である」５４２及び「イチ（１）が骨面と同等である」５４４のバイナリ画像５４０を出力する（ステップ５４６）。

同様に、超音波画像ピクセル分類器５３４は、図５Ｂの２Ｄ超音波画像５２３を入力として受信し（ステップ５４８）、それを、分類ネットワークを介して処理して、各超音波画像にわたって各ポイントに存在する特定のタイプの解剖学的構造を決定し（ステップ５５０）、「ゼロ（０）が脛骨と同等である」、「イチ（１）が大腿骨と同等である」、及び「ニ（２）が膝蓋骨と同等である」の解剖学的構造のタイプを示す単一の数５５２を出力する（ステップ５５４）。この詳細な議論で与えられる例は膝関節の文脈にあるが、本明細書で教示される概念は同様に、例えば、制限的ではなく、脊柱、肩、肘、手首、臀部、足首などの任意のタイプの関節に適用可能であることに留意されたい。

図７Ａは、尤度分類を利用した超音波画像骨面検出（ステップ５３０）のための手術システム１００のプロセスのフローチャートであり、図７Ｂは、図７Ａのプロセスの画像描写である。このプロセスは、入力部、処理部、及び出力部に分けられる。図７Ａ及び図７Ｂに示されるように、畳み込みネットワーク５５６は、図５Ｂの２Ｄ超音波画像５２３を入力として受信し（ステップ５５８）、それを処理して、骨面ポイントを検出し、ポイントが特定の解剖学的構造に属する尤度を定めることによって各ポイントを分類する（ステップ５６０）。例えば、膝の文脈において、畳み込みネットワーク５５６は、２Ｄ超音波画像５２３内で骨面ポイントを検出し、次いで、任意の特定の検出された骨面ポイントが大腿骨、脛骨、又は膝蓋骨に属する尤度を計算する（ステップ５６０）。畳み込みネットワーク５５６は、Ｎ個のバイナリ画像５６２を出力し、ここで、Ｎは、考慮される骨の数であり、各バイナリ画像の各ピクセルは、ピクセルが骨面を表しているかどうかに応じて「ゼロ（０）」又は「イチ（１）」で復号される（ステップ５６３）。

図７Ｂから理解され得るように、例示用の例において、この例のためにのみ膝蓋骨が無視されており、大腿骨及び脛骨が存在するため、バイナリ画像の数Ｎは２である。この例において膝蓋骨も使用される場合、大腿骨、膝蓋骨、及び脛骨が存在するため、バイナリ画像の数Ｎは３である。

バイナリ画像の数Ｎが２である例に続いて、畳み込みネットワーク５５６は、超音波画像５２３を分析し、それが脛骨の画像５６４又は大腿骨の画像５６６を表す尤度に従って画像５２３を分類し、分類は、機械学習の文脈において超音波画像５２３のアルゴリズムの評価を介したものである（図７Ｂのステップ５６２）。次いで、ステップ５６２に従って分類された各分類画像５６４のピクセルは、特定の各ピクセルが骨面を表すかどうかに関して復号される（図７Ｂのステップ５６８）。例えば、分類された脛骨の画像５６４は、その非骨面ピクセル５７０及びその骨面ピクセル５７２を識別するために評価され、当該骨面ピクセル５７２は、脛骨の骨面ピクセル５７２である（ステップ５６８）。同様に、分類された大腿骨の画像５６６は、その非骨面ピクセル５７４及びその骨面ピクセル５７６を識別するために評価され、当該骨面ピクセル５７６は、大腿骨の骨面ピクセル５７６である（ステップ５６８）。

図５Ａ及び図５Ｂに戻って、一旦、分類された骨面ピクセル５２６が、分類された２Ｄの大腿骨の骨面ピクセル５２６Ｆ及び分類された２Ｄの脛骨の骨面ピクセル５２６Ｔを提供するために、分類モジュール（ステップ５２７）を介して２Ｄ超音波画像５２３のセットから生成されると、２Ｄ面ピクセル５２６Ｆ、５２６Ｔを３Ｄ面ピクセル５７８Ｆ、５７８Ｔに変換するために、当該２Ｄ面ピクセル５２６Ｆ、５２６Ｔの２Ｄから３Ｄへの変換が計算される（ステップ５８０）。

図８Ａは、３Ｄ面ピクセル５７８Ｆ、５７８Ｔへの２Ｄ面ピクセル５２６Ｆ、５２６Ｔの変換を計算するプロセス（ステップ５８０）のフローチャートであり、図８Ｂは、図８Ａのプロセスの画像描写である。図８Ａ及び図８Ｂに示されるように、このプロセスは、超音波プローブの時間的な較正（ステップ５８２）を採用し、超音波スキャン（図５Ｂにおける５１４）が、超音波プローブの遠位の先端５５Ａを介して投射及び検出される超音波５８３を介して骨（図１における１０、１１）で取得され、超音波プローブ５５が術中に追跡されているときに、超音波プローブの追跡可能要素５５Ｂがナビゲーションシステム４２の検出デバイス４４によって検出されるときに、特定の媒体／組織内の超音波５８３の伝播速度が考慮される（ステップ５８４）。遠位の先端５５Ａは、自身の固有の座標系５８６を有するセンサアレイを含む。そうする際に、超音波画像５２２、５２４の２Ｄ面ピクセル５２６Ｆ、５２６Ｔは、２Ｄピクセル空間（２Ｄピクセル座標系）５８６から３Ｄメトリック座標系５８８にマッピングされる変換５８５を受け、２Ｄ面ピクセル５２６Ｆ、５２６Ｔを３Ｄ面ピクセル５７８Ｆ、５７８Ｔに変換し、その２Ｄピクセル座標を、固有の超音波プローブ座標系５８８内の３Ｄ座標に変換する（ステップ５９０）。

図８Ａに示され図８Ｂから理解され得るように、超音波プローブの時間的な較正（ステップ５８２）の完了時、プロセスは、プローブトラッカに対する超音波プローブの較正に移動する（ステップ５９２）。そうする際に、システムは、固有の超音波プローブ座標系５８８に関連して、ナビゲーションシステム４２のプローブ検出デバイス４４に対する超音波プローブ５５の既知のセットの姿勢を取得する（ステップ５９４）。次いで、システムは、プローブトラッカ空間と固有の超音波プローブ座標系との間の変換を完了させる（ステップ５９６）。

ステップ５８０又はそのバージョンに係る、３Ｄ面ピクセル５７８Ｆ、５７８Ｔへの２Ｄ面ピクセル５２６Ｆ、５２６Ｔの変換の計算に関連付けられた補完的及び／又は代替的なプロセスに関する更なる情報について、国際出願日が２０１８年８月１６日で、「学習ベースのセグメンテーション及び音速較正を用いた超音波の骨の位置決め」と題されたＰＣＴ出願番号ＰＣＴ／ＩＢ２０１８／０５６１８９号明細書（国際公開第２０１９／０３５０４９（Ａ１）号パンフレット）への参照が行われ、本明細書で、本出願の全体が参照により本開示に援用される。

直前の議論は２Ｄ超音波プローブの文脈で行われているが、２Ｄ超音波プローブは、この詳細な説明に開示されるプロセスを続行するために３Ｄ超音波プローブに置き換えられ得ることを理解されたい。したがって、この詳細な説明に開示されるプロセスは、２Ｄ超音波プローブ及び２Ｄピクセル／ポイントに制限されるべきではなく、当該超音波ピクセル／ポイントが２Ｄか３Ｄかに関わらず、３Ｄ超音波プローブ、及び画像座標系内の任意のタイプの超音波ピクセル／ポイントを含むとみなされるべきである。

超音波プローブを用いた個々の各超音波スイープは、患者の骨のスライス又は小さい部分を捕捉する個々の超音波画像を生成する。超音波プローブを用いた複数の個々の超音波スイープは通常、超音波が患者の骨を撮像するときに必要とされる。個々の各超音波画像を１つの一貫した３Ｄ超音波画像データセットにまとめるために、Ｎ個の捕捉された骨の各々に取り付けられた解剖学的構造のトラッカに対して超音波プローブが追跡される。

超音波スキャンされる骨が固定されている場合、個々の超音波画像をまとめるプロセスは簡略化され得る。具体的には、このような場合、個々の各超音波画像は、超音波プローブのみを追跡することによって他の個々の超音波画像とまとめられ得る。

図５Ａ及び図５Ｂから理解され得るように、一旦、システムは、ステップ５８０を完了させると、次いで、分類された３Ｄ骨面ポイントクラウド５９８を生成する（ステップ６００）。分類された３Ｄ骨面ポイントクラウド５９８は、大腿骨に分類される大腿骨ポイント６０２、膝蓋骨に分類される膝蓋骨ポイント６０４、及び脛骨に分類される脛骨ポイント６０６を有する。超音波プローブを使用した位置決めのプロセスの更なる補完的な態様又は代替的な態様について、２０１３年１２月３１日に出願され、「超音波プローブを使用した位置決めのシステム及び方法」と題された米国特許出願第１４／１４４，９６１号明細書への参照が行われ、その開示の全体が参照により本明細書に援用される。

ｉｉ．初期の大まかな位置決め

上述し図５Ａに示されるように、術前の態様５００のワークフロー部の間、医療画像は、この詳細な説明の節「Ａ．術前の撮像」で上述したように、患者の関節で取得される（ステップ５０４）。図５Ａに示されるように、術前の態様５００は、データフロー部に続き、次いで、医療画像は、図４Ａ～図４Ｅを参照してこの詳細な説明の節「Ａ．術前の撮像」で上述したように、患者の関節を形成する骨の３Ｄ ＣＡＤモデルを生成するために使用される（ステップ５０６）。術前の態様５００のデータフロー部は、患者の関節画像１０８（図４Ａ～図４Ｄ）の患者の骨１０４～１０６の３Ｄ ＣＡＤモデル１１１～１１４（図４Ｅ）に対するＣＡＤモデル空間内の初期の位置決めデータの生成で終わる（ステップ５０８）。具体的には、初期の位置決めデータのこの生成（ステップ５０８）は、３ＤＣＡＤモデル空間内の上述のプローブ姿勢及び解剖学的な目印を定めることを含む。

図５Ａのステップ５０８に係るプローブ姿勢及び解剖学的な目印を定める術前のプロセスの議論について、ここで、ステップ５０８のプロセスを概説したフローチャートである図９Ａへの参照が行われる。図９Ａに示されるように、ステップ５０８は、位置決めされる患者の解剖学的構造に対するプローブの恣意的な姿勢Ｐを定めること（ステップ７００）によって開始する。次いで、図９Ａ及び図９Ｂから理解され得るように、プローブ５７（図１）の３Ｄ ＣＡＤモデル（すなわち、３Ｄ ＣＡＤプローブモデル５７Ｍ）が、図４Ｅに示される３Ｄ ＣＡＤ骨モデル１１１に対して定められた恣意的な姿勢Ｐで配置され、変換（Ｔ_{プローブ対３Ｄ画像}）７０１が記録され、変換７０１は、プローブ座標系ＣＳ_プローブから３Ｄ画像座標空間ＣＳ_３Ｄ画像に、３Ｄ ＣＡＤプローブモデル５７Ｍを３Ｄ ＣＡＤ骨モデル１１１にマッピングする（ステップ７０２）。具体的には、可能性のある多数の恣意的な姿勢Ｐの非制限的な一例として、図９Ｂに示されるように、３Ｄ ＣＡＤプローブモデル５７Ｍは、膝領域１０２の３Ｄ ＣＡＤ骨モデル１１１の３Ｄ ＣＡＤ大腿骨モデル１１２の大腿骨前方皮質の中心に対して垂直な方向を指し中央に向くように配置される。もちろん、特定の手術用途に好適な任意の他の恣意的な姿勢Ｐが定められ得る。ステップ７０２は、専用の手術計画者又は外科医によって実行され得る。膝領域１０２の３Ｄ ＣＡＤ骨モデル１１１は、ボリュームレンダリング、又は他のタイプのＣＴ画像若しくは医療画像、若しくはそこから定められるモデルであり得る。

図５Ａに示されるように、一旦、初期の位置決めデータの生成が、ステップ５０８に関して上述したように完了すると、超音波ベースの複数の骨の位置決めプロセス５０３の術中の態様５０２のワークフロー部の一部として、初期の位置決めデータが取得される（ステップ６１０）。図５Ａのステップ６１０に係る初期の位置決めデータを取得する術中のプロセスの議論について、ここで、ステップ６１０のプロセスを概説したフローチャートである図１０Ａへの参照が行われる。図１０Ａに示されるように、ステップ６１０は、ステップ５０８の定められた姿勢Ｐに従って患者の解剖学的構造に対して、追跡されるプローブ５７を配置すること（ステップ７０４）によって開始する。換言すれば、この例において、ステップ７０４について、３Ｄ ＣＡＤプローブモデル５７Ｍ及び３Ｄ ＣＡＤ骨モデル１１１の３Ｄ ＣＡＤ大腿骨モデル１１２間の図９Ｂで描写される姿勢Ｐは、実際の物理的なプローブ５７及び患者の実際の大腿骨１１間で術中に再現される。次いで、この術中の姿勢Ｐが記録される（ステップ７０６）。

図１０Ｂから理解され得るように、ステップ７０６の術中の姿勢Ｐの記録は、変換（Ｔ_{プローブ対ナビゲーションカメラ}）７０５を取得する追跡システム４２の追跡カメラ４４を用いて達成され得る。代替的には、図１０Ｃに示されるように、ステップ７０６の術中の姿勢Ｐの記録は、変換（Ｔ_{プローブ対解剖学的構造のトラッカ}）７０７を取得する追跡システム４２の解剖学的構造のトラッカ４７を用いて達成され得る。

ステップ６１０のプロセスは、４ｘ４の行列乗算を介して初期の位置決めの計算で終了し、追跡カメラ４４が図１０Ｂに示されるように採用される場合は、Ｔ_{ナビゲーションカメラ対３Ｄ画像}＝Ｔ_{プローブ対３Ｄ画像}＊ｉｎｖ（Ｔ_{プローブ対ナビゲーションカメラ}）であるか、又は解剖学的構造のトラッカ４７が図１０Ｃに示されるように採用される場合は、Ｔ_{解剖学的構造のトラッカ対３Ｄ画像}＝Ｔ_{プローブ対３Ｄ画像}＊ｉｎｖ（Ｔ_{プローブ対解剖学的構造のトラッカ}である（ステップ７１０）。図５Ａに示されるように、次いで、この初期の位置決めデータは、超音波ベースの複数の骨の位置決めプロセス５０３の術中の態様５０２のデータフロー部の一部として位置決めモジュール６１２に入る。

図５Ａに示されるように、位置決めモジュール（ステップ６１２）は、３つの非制限的な例で、「１クリック／１姿勢」の位置決め（ステップ６１４）、「目印ベース」の位置決め（ステップ６１６）、又は「解剖学的構造のトラッカピンベース」の位置決め（６１８）などの多種多様の代替的な位置決めプロセスのうちのいずれかを採用し得る。当該３つのアプリケーション６１４、６１６、６１８のうちのいずれかは、解剖学的構造のトラッカ空間からＣＡＤモデル（ＣＴ／ＭＲＩ）座標系への変換の初期の位置決め（すなわち、「大まかな」推測）を確立することができる。位置決めモデル（ステップ６１２）の一部であり得る他の代替的な位置決めプロセスは、例えば、「プローブベース」の位置決め、「プローブミニスイープベース」の位置決め、更には較正されたデジタルカメラを利用して、位置決めされる患者の解剖学的構造の写真を生成し、そこから姿勢及び場所を推定することを含み得る。

図１１Ａは、「１クリック／１姿勢」の位置決め（ステップ６１４）を利用した位置決めの手術システム１００のプロセスのフローチャートであり、図１１Ｂ及び図１１Ｃは、図１１Ａのプロセスの画像描写である。図１１Ａ及び図１１Ｂに示されるように、このプロセス（ステップ６１４）は、図１、図１０Ｂ、及び図１０Ａにおける追跡されるプローブ５７を術中に使用し、大腿骨１１、脛骨１０、及び任意で膝蓋骨の骨面ポイントを記録して、２つのポイントクラウド６２０、６２２を生成することによって開始する（ステップ６２４）。このステップ６２４では、一方のポイントクラウド（すなわち、大腿骨のトラッカ関連のポイントクラウド（「ＦＴＲＰＣ」）６２０は、図１における大腿骨のトラッカ４７に対して取得され）、他方のポイントクラウド（すなわち、脛骨のトラッカ関連のポイントクラウド（「ＴＴＲＰＣ」）６２２は、脛骨のトラッカ４６に対して取得される）（ステップ６２４）。換言すれば、一方のポイントクラウド６２０が大腿骨のトラッカ４７に関し、他方のポイントクラウド６２２が脛骨のトラッカ４６に関する、実質的に２つのポイントクラウド６２０、６２２が取得される。

図１１Ｂから理解され得るように、ＦＴＲＰＣ６２０は、大腿骨データポイント６２０Ｆ、膝蓋骨データポイント６２０Ｐ、及び脛骨データポイント６２０Ｔを有するが、当該データポイントのいずれもまだ、そのように識別されておらず、単に、全体的なＦＴＲＰＣ６２０のデータポイントである。同様に、ＴＴＲＰＣ６２２は、大腿骨データポイント６２２Ｆ、膝蓋骨データポイント６２２Ｐ、及び脛骨データポイント６２２Ｔを有するが、当該データポイントのいずれもまだ、そのように識別されておらず、単に、全体的なＴＴＲＰＣ６２２のデータポイントである。

図１１Ａ及び図１１Ｂに示されるように、「１クリック／１姿勢」の位置決めプロセス（ステップ６１４）が継続し、術中に分類アルゴリズムをＦＴＲＰＣ６２０及びＴＴＲＰＣ６２２に適用して、大腿骨のトラッカに対する大腿骨のみのポイントクラウド（「ＦＯＰＣＲＦＴ」）６２６及び脛骨のトラッカに対する脛骨のみのポイントクラウド（「ＴＯＰＣＲＴＴ」）６２８を出力する（ステップ６３０）。ポイントクラウドのこの分離は、術前の３Ｄ ＣＡＤ骨モデルにおける膝の姿勢が術中の膝の姿勢と異なる場合があるので有利である。

図１１Ａ及び図１１Ｃから理解され得るように、ステップ６３０の後、「１クリック／１姿勢」の位置決めプロセス（ステップ６１４）が継続し、大腿骨１１及び脛骨１０についてそれぞれ位置決め変換６３２、６３４を術中に計算する（ステップ６３６）。位置決め変換のこの計算は、位置決めアルゴリズム（例えば、「反復最近接ポイント」）を採用し得る。例えば、大腿骨の位置決め（Ｔ_{大腿骨のトラッカ対ＣＡＤ大腿骨モデル}）を取得するために、ＦＯＰＣＲＦＴ６２６の骨面ポイントを大腿骨ＣＡＤモデル１１２上に一致させる（ステップ６３８）。同様に、脛骨の位置決め（Ｔ_{脛骨のトラッカ対ＣＡＤ脛骨モデル}）を取得するために、ＴＯＰＣＲＴＴ６２８の骨面ポイントを脛骨ＣＡＤモデル１１４上に一致させる（ステップ６４０）。複数の骨面が超音波プローブ５５を介して同時に取得されるステップ５１２の術中の超音波面捕捉プロセスを少なくとも部分的に容易にするため、ステップ６１４のこの「１クリック／１姿勢」の位置決めは有益である。

図１２は、目印ベースの位置決め（ステップ６１６）を利用した位置決めの手術システム１００のプロセスのフローチャートである。図１２に示されるように、このプロセス（ステップ６１６）は、ＣＡＤモデル空間内の骨の各３Ｄ ＣＡＤモデル上の３つ以上の解剖学的な目印についてＸ－Ｙ－Ｚ座標を定めて第１のポイントセットを生成することによって開始する（ステップ７５０）。手術が膝関節形成術の文脈にあり、骨が脛骨１０及び大腿骨１１である（図１を参照）本例では、このステップ７５０は、３Ｄ ＣＡＤ大腿骨モデル１１２及び３Ｄ ＣＡＤ脛骨モデル１１４の各々において３つ以上の解剖学的な目印についてＸ－Ｙ－Ｚ座標を定めることによって第１のポイントセットを生成する。このステップ７５０は、術前又は術中に達成され得る。

ステップ７５０の後、第２のポイントセットは、ステップ７５０で定められた各解剖学的な目印について解剖学的構造のトラッカ空間内のＸ－Ｙ－Ｚ座標を取得するナビゲートされるプローブ５７を介して、解剖学的な目印を術中にデジタル化することによって生成される（ステップ７５５）。換言すれば、ステップ７５５について、第２のポイントは、実際の脛骨１１及び大腿骨１２において、対応する３Ｄ ＣＡＤ脛骨モデル１１４及び３Ｄ ＣＡＤ大腿骨モデル１１２それぞれで定められた当該目印に対応する当該骨における目印で術中にデジタル化される。ステップ６１６の最終的な態様について、典型的なポイント対ポイントの一致アルゴリズムを使用して第１及び第２のポイントセットを互いに一致させ、各骨について初期の位置決めがもたらされる（ステップ７６０）。代替的な実施形態では、ステップ７６０のポイント対ポイントのアルゴリズムは、ポイント対面のアルゴリズムによって置き換えられてもよく、術前の３Ｄ ＣＡＤ大腿骨モデル１１２及び３Ｄ ＣＡＤ脛骨モデル１１４は、ポイントクラウドを有さず、面モデルである。

要約すると、図１２に記載される目印ベースの位置決め６１６は、ＣＡＤ空間（術前計画）及び解剖学的構造のトラッカ空間（術中）内の目印のデジタル化を含むと言うことができる。当該２つの目印セットを有することは、目印ベースの位置決め６１６（図５Ａを参照）を採用する場合に位置決めモジュール６１２を介して完了される初期の位置決めを計算するのに効率的である。

図１３Ａは、解剖学的構造のトラッカピンベースの位置決め（ステップ６１８）を利用した位置決めの手術システム１００のプロセスのフローチャートである。図１３Ａ及び図１３Ｂに示されるように、このプロセス（ステップ６１８）は、解剖学的構造のトラッカ４６、４７を患者の骨（例えば、膝関節形成術であるこの例の文脈において脛骨１０及び大腿骨１１）に固定的に取り付けるために使用されるピンの取り付けによって開始し、ピンの取り付けは、各タイプの手術処置について、一貫した繰り返し可能な方法で行われる（ステップ７７０）。次いで、ナビゲーションシステム４２（図１）は、解剖学的構造のトラッカ４６、４７を追跡して、解剖学的構造のトラッカ４６、４７に対する患者の骨１０、１１の場所に関する大まかな推定を取得する（ステップ７７２）。

図１３Ａ及び図１３Ｂから理解され得るように、ステップ６１８の最終的な態様について、膝関節７６２が配置され、その自由度が決定される（ステップ７７４）。そうする際に、患者の大腿骨１１及び脛骨１０（図１）は術中に、膝７６２について互いに対して関節でつながれ、患者の脛骨１０及び大腿骨１１上に取り付けられたトラッカ４６、４７を参照する第２のポイントクラウド７６４を、ポイントクラウド７６４の脛骨部７６６及びポイントクラウド７６４の大腿骨部７６８が膝関節７６２で互いに対して関節でつながれるように曲げる。この関節は、大腿骨モデル１１２及び脛骨モデル１１４に変換される。

要約すると、図１３Ａ及び図１３Ｂに記載される解剖学的構造のトラッカピンベースの位置決め６１８は、解剖学的構造のトラッカが配置される典型的な場所、及び膝がどのように曲げられるか（例えば、解剖学的構造のトラッカピンは、前方中間骨幹部に取り付けられ、膝は、中間屈曲である（例えば、３０°～７０°））に関するいくつかの想定を採用すると言うことができる。この認識を使用することによって、解剖学的構造のトラッカピンに対する３Ｄ空間内の膝関節の中心の場所及びその向きが大まかに推定され得る。最終的に、この場所及び向きは、初期の位置決め変換を定めるために使用され、これは、解剖学的構造のトラッカピンベースの位置決め６１８（図５Ａを参照）を採用する場合に位置決めモジュール６１２を介して完了される初期の位置決めを計算するのに効率的である。

図５Ａに示されるように、一旦、位置決めモジュール（ステップ６１２）が、３つの代替的な位置決めプロセス（すなわち、「１クリック／１姿勢」の位置決め（ステップ６１４）、「目印ベースの位置決め」（ステップ６１６）、又は「解剖学的構造のトラッカピンベース」の位置決め（６１８））のうちのいずれかを介して初期又は「大まかな推測」の位置決めプロセスを完了させると、位置決めモジュールは、初期又は「大まかな推測」の位置決めデータ（例えば、トラッカ４６、４７から３Ｄ ＣＡＤ骨モデル１１１、１１２、１１３、１１４への変換の推測）を出力する（ステップ７７６）。

ｉｉｉ．最終的な複数の骨の位置決めの計算

図５Ａ及び図５Ｂから理解され得るように、ステップ７７６の初期の位置決めデータは、ここで図１４Ａ～図１４Ｃに関して論じられるように、最終的な複数の骨の位置決め（ステップ９００）を計算するために、ステップ６００の分類された３Ｄ骨面ポイントクラウド５９８を用いて利用される。ここで、図１４Ａは、図５Ａにおけるステップ９００についてのプロセスのフローチャートであり、図１４Ｂ及び図１４Ｃは、図１４Ａのプロセスの態様の画像描写である。図１４Ａ及び図１４Ｂに示されるように、図５Ａのステップ７７６の初期又は大まかな位置決めデータ９０２は、大腿骨のトラッカ４７を参照して、図５Ａのステップ６００の分類された３Ｄポイントクラウド５９８に適用される（ステップ９０４）。図５Ｂに関して上述し図１４Ｂに示されるように、分類された３Ｄポイントクラウド５９８は、大腿骨に分類された大腿骨ポイント６０２と、膝蓋骨に分類された膝蓋骨ポイント６０４と、脛骨に分類された脛骨ポイント６０６と、を有する。図５Ａにおけるステップ６１２の初期の位置決めモジュールの文脈で上述し図１４Ｂで描写されるように初期の位置決めデータ９０２は、ステップ６１２の初期の位置決めモジュールの３つの初期の位置決めプロセス６１４、６１６、６１８のうちのいずれかを介して各々生成された大腿骨ポイントクラウド９１２、膝蓋骨ポイントクラウド９１３（任意）、及び脛骨ポイントクラウド９１４を含み、各ポイントクラウド９１２、９１３、９１４は、ステップ６１２の初期の位置決めモデル及びステップ７７６に係るそこからの出力を介して、適用可能な３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４に位置決めされる。

図１４Ａに示されるように、最終的な位置決めプロセス（ステップ９００）が継続し、初期の位置決め又は変換の３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４上のポイントクラウド９１２、９１３、９１４のポイントに対する、分類された３Ｄポイントクラウド６０２、６０４、６０６の最近接ポイントを反復して計算する（ステップ９２０）。より具体的には、位置決め変換は、分類された３Ｄポイントクラウド６０２、６０４、６０６のポイントを、初期の位置決め又は変換の３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４上のポイントクラウド９１２、９１３、９１４のポイントに一致させることによって、ＣＡＤモデル空間から解剖学的構造のトラッカ座標系に更新される（ステップ９２５）。ステップ９２５の後、ポイント対最近接ポイントの距離分析に基づいて、ステップ９２５に起因して、分類された３Ｄポイントクラウドのポイントの分類を更新し、任意の骨対骨の干渉にペナルティを与える（ステップ９３０）。次いで、分類された３Ｄポイントクラウド６０２、６０４、６０６及び３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４上のポイントクラウド９１２、９１３、９１４間で収束が達成されたかどうかを判定するための確認が行われる（ステップ９３５）。収束がまだ達成されていない場合、最終的な複数の骨の位置決めの計算は、ステップ９３５の収束確認からステップ９２０に戻る。収束が達成された場合、最終的な位置決めは完了し（ステップ９４０）、収束した初期又は大まかな位置決めデータ（例えば、３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４及びその上のポイントクラウド９１２、９１３、９１４）は最終的に、分類された３Ｄポイントクラウド６０２、６０４、６０６で位置決めされ、ポイントクラウド９１２、９１３、９１４及び６０２、６０４、６０６の２つのセットはそれぞれ、図１４Ｃで描写されるように３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４について、互いに一致し概して同一の広がりを有する。最終的な位置決めが図５Ａのステップ９００に従って達成されると、図２に示されるように、手術システム１００及び処置は次いで、位置決め（ステップ８０５）からナビゲーション（ステップ８０５）などに進んで、手術システム１００を介して患者における手術全体を通じて必要とされるステップ８０５からの最終的な位置決めデータを利用し得る。

図１４Ａ～図１４Ｃに関して直前で上述した図５Ａの最終的な位置決めプロセス（９００）における工夫として、一実施形態では、最終的な位置決めプロセス９００が継続し、初期の位置決め又は変換の３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４上の三角化メッシュ骨面に対する、分類された３Ｄポイントクラウド６０２、６０４、６０６の最近接ポイントを反復して計算する。より具体的には、位置決め変換は、分類された３Ｄポイントクラウド６０２、６０４、６０６のポイントを、初期の位置決め又は変換の３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４上の三角化メッシュ骨面に一致させることによって、ＣＡＤモデル空間から解剖学的構造のトラッカ座標系に更新される。最終的な位置決めプロセス９００が継続し、コスト関数が最小化される最適化アルゴリズムを実行する。一実施形態では、その時に存在する位置決め行列に依存するこのコスト関数は、以下の様々な項の加重和である。（１）分類された３Ｄポイントクラウド６０２、６０４、６０６の各ポイントについての、位置決め行列の適用後の初期の位置決め又は変換の３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４上の最近接の三角化メッシュ骨面までの最小距離、（２）分類された３Ｄポイントクラウド６０２、６０４、６０６の各ポイントについての、３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４が交換されるのを防止するためにその初期の推測と一致しない３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４に割り当てられる固定のペナルティ、（３）各３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４の三角化メッシュ面上の各ポイント又は場所についての、このポイント又は場所が骨衝突を回避するために別の３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４内にある場合の固定のペナルティ、及び（４）要求される位置決めの各自由度についての、初期の位置決めに加えて適用される変換／位置決めの大きさに関するペナルティ項であり、初期の位置決めが充分正確であるため、そこから逸れる必要がないこと想定する。一実施形態では、骨割り当ては、第１のステップ内で暗黙的に計算されるため、反復最近接ポイントアルゴリズムを採用する場合に必要とされ得るように、ポイントクラウド割り当ての最適化、そして変換の最適化間で明示的に交互にされる必要はない。

最終的な位置決めプロセス９００が継続し、分類された３Ｄポイントクラウド６０２、６０４、６０６及び３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４上の三角化メッシュ骨面間で収束が達成されたかどうかを判定するための確認が行われる。収束がまだ達成されていない場合、最終的な複数の骨の位置決めの計算は、収束確認から戻って、初期の位置決め又は変換の３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４上の三角化メッシュ骨面に対する、分類された３Ｄポイントクラウド６０２、６０４、６０６の最近接ポイントを再び反復して計算し、収束が再び確認されるまで上述のプロセスの残りを通じて継続する。

収束が達成された場合、最終的な位置決めは完了し、収束した初期又は大まかな位置決めデータ（例えば、３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４の三角化メッシュ骨面）は最終的に、分類された３Ｄポイントクラウド６０２、６０４、６０６で位置決めされ、ポイントクラウド９１２、９１３、９１４はそれぞれ、３Ｄ ＣＡＤ骨モデル１１２、１１３、１１４の三角化メッシュ骨面のそれぞれのエリアについて、一致し概して同一の広がりを有する。最終的な位置決めが図５Ａのステップ９００に従って達成されると、再び、図２に示されるように、手術システム１００及び処置は次いで、位置決め（ステップ８０５）からナビゲーション（ステップ８０５）などに進んで、手術システム１００を介して患者における手術全体を通じて必要とされるステップ８０５からの最終的な位置決めデータを利用し得る。

本明細書に開示される位置決めプロセスは、単一の骨の一貫した位置決めを、結果として生じる位置決めにおいて重複する骨が無いように強要しなくてもよいという点で有利である。更に、プロセスは、柔軟／ユーザフレンドリであり、医療専門家が複数の骨のスキャンを回避する必要が無いため、より速いワークフローを提供する。プロセスはまた、他の骨からの外れ値による悪影響を受けない。

したがって、１つの骨のみが位置決めされるとき、ユーザは、近傍の別の骨を偶発的にスキャンすることを回避する必要がない。

最終的に、本明細書に開示される位置決めプロセスは、処置の切開サイズに依存しないため有利であり、これは、当該技術分野で既知の位置決めプロセスを用いた場合にはない。これは特に、臀部及び肩の処置について有用であり、足首の処置についてより一層有用であり、これは、当該処置についての切開が非常に小さく、典型的なデジタル化ツール（ナビゲートされるポインタ、鋭いプローブなど）を用いて関連の骨面にアクセスするのが難しくなるためである。有利なことに、超音波は、骨全体の骨構造の実質的に全てに対するアクセスを可能にする。

更に、本明細書に開示される位置決めプロセスは、完全なロボット用途又はロボット支援用途に制限されないため有利である。具体的には、位置決めプロセスはまた、術前の撮像を採用した任意のナビゲートされる手術であり得る。例示として、位置決めプロセスは、ナビゲートされる切削ジグ用途、ナビゲートされるＡＣＬ再建、更には、骨肉腫を除去するためのナビゲートされる処置の一部として採用され得る。

ＩＶ．手術の目標を確認する位置決めシステム

例えば、手術が左膝に対して実行される予定であったときに患者の右膝に対して関節形成術を実行するなどの、患者の間違った側の手術処置を完了させるリスクを最小化する高い関心が継続して存在する。したがって、手術チームが手術の実行時に任意の重要なステップを取る前に、手術チームが正しい目標に対して手術することを迅速に確証又は確認するために使用され得る位置決めシステム１５００が必要である。

図１５は、位置決めシステム１５００の図である。図１５に示されるように、位置決めシステム１５００は、ナビゲーション又は追跡システム４２と、コンピュータ５０と、位置決めツール５５、５７と、を含む。ナビゲーション又は追跡システム４２は、位置決めツール５５、５７を追跡する検出デバイス４４を含み、コンピュータ５０は、入力デバイスと、ディスプレイ５６と、を含む。追跡される超音波プローブ５５及び／又は追跡されるスタイラス５７の形態であり得る位置決めツールは、患者の解剖学的構造の術前に生成された患者固有のモデル及び／又は画像に患者の解剖学的構造を位置決めする際に、手術目標１５０２の近傍における患者の特定の解剖学的な目印を撮像及び／又はタッチするために使用され得る。位置決めシステム１５００のこれらの構成要素の全ては、上述の図１の手術システム１００の要素とほぼ同じように機能するように構成されている。

ナビゲーション又は追跡システム４２は、患者の手術目標１５０２の位置決めで利用される位置決めツール５５、５７を追跡して、手術目標が正しいものであることを確認する。図１５では、手術目標１５０２は、患者の膝１５０２であるが、肩、肘、臀部、足首、脊柱などでもよい。

動作時に、位置決めシステム１５００は、図１の上述の手術システム１００を用いて実行されるロボット又はロボット支援の手術に先行するものとして使用され得る。同様に、位置決めシステム１５００は、従来の非ロボット手術に先行するものとして使用され得る。いずれの場合も、医療者は、患者に対して位置決めシステム１５００を術前に利用して、意図された手術目標１５０２を正しく識別し得る。例えば、膝関節形成術又は他の関節形成術の文脈では、位置決めシステム１５００は、目標の膝１５０２に隣接する患者の脛骨１０及び／又は大腿骨１１の目印をスキャン及び／又はタッチすることによって、目標の膝１５０２を他の非目標の膝と区別するために使用される。脊柱処置の文脈では、位置決めシステム１５００は、椎骨の骨境界を識別し、且つ手術の目標である適切な椎骨の高さを識別するために使用され得る。いずれの場合も、位置決めシステムは、第１の切開及びそれに続く切開の正しい場所を決定するために採用される。

一実施形態では、手術目標の確認目的の術前の位置決めは、推測される患者の手術目標１５０２を静止状態で保持し、追跡される超音波プローブを用いて推測される患者の手術目標１５０２をスキャンすることによって生じ得る。結果として生じる画像が処理され、図５Ａで概説され詳細に上述した方法に従って、コンピュータ５０を介して患者の手術目標の術前の患者固有の画像又はコンピュータモデルに位置決めされる。推測される患者の手術目標１５０２が、患者の手術目標の術前の患者固有の画像又はコンピュータモデルに上手く位置決めされる場合、これにより、推測される患者の手術目標１５０２が実際に正しい手術目標であると確認される。次いで、ロボット、ロボット支援、又は従来の手術は、正しく識別された手術目標において行われ得る。

Ｖ．好ましい計算システム

図１６を参照して、本明細書で論じられる様々なシステム及び方法を実装し得る１つ以上の計算ユニットを有する例示的な計算システム１３００の詳細な説明が提供される。計算システム１３００は、関節形成術の処置の術前計画、位置決め、及び術後分析で利用されるコンピュータ又はシステム、並びに他の計算又はネットワークデバイスのうちのいずれかに適用可能であり得る。当該デバイスの特定の実装は、可能性のある異なる特定の計算アーキテクチャのものであってもよく、その全てが本明細書で具体的に論じられるわけではないが当業者によって理解されることが認識されるであろう。

コンピュータシステム１３００は、コンピュータプロセスを実行するためにコンピュータプログラム製品を実行することができる計算システムであり得る。データ及びプログラムファイルは、ファイルを読み取りプログラムを内部で実行するコンピュータシステム１３００に入力され得る。１つ以上のハードウェアプロセッサ１３０２、１つ以上のデータストレージデバイス１３０４、１つ以上のメモリデバイス１３０８、及び／又は１つ以上のポート１３０８～１３１０を含むコンピュータシステム１３００の要素の一部が図１６に示されている。追加的に、当業者によって認識される他の要素が計算システム１３００に含まれ得るが、図１６で明示的に描写されていないか又は本明細書で更に論じられない。コンピュータシステム１３００の様々な要素は、１つ以上の通信バス、ポイント対ポイントの通信経路、又は図１６で明示的に描写されていない他の通信手段によって互いに通信し得る。

プロセッサ１３０２は、例えば、中央処理装置（ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、及び／又は１つ以上の内部レベルのキャッシュを含み得る。１つ以上のプロセッサ１３０２が存在してもよく、その結果、プロセッサ１３０２は、単一の中央処理装置、又は並列処理環境と通常称される、互いに並列で命令を実行し動作を実行することができる複数の処理装置を備える。

コンピュータシステム１３００は、従来のコンピュータ、分散コンピュータ、又はクラウド計算アーキテクチャを介して利用可能にされる１つ以上の外部コンピュータなどの任意の他のタイプのコンピュータであり得る。記載される本技術は、任意で、データ記憶デバイス１３０４上に記憶され、メモリデバイス１３０６上に記憶され、及び／又はポート１３０８～１３１０のうちの１つ以上を介して通信されるソフトウェアにおいて実装され、それによって、図１６におけるコンピュータシステム１３００を、本明細書に記載される動作を実装する専用の機械に変える。コンピュータシステム１３００の例には、パーソナルコンピュータ、端末、ワークステーション、携帯電話、タブレット、ラップトップ、パーソナルコンピュータ、マルチメディアコンソール、ゲーミングコンソール、セットトップボックス、及び同種のものが含まれる。

１つ以上のデータストレージデバイス１３０４は、アプリケーションプログラム、及び計算システム１３００の様々な構成要素を管理するオペレーティングシステム（ＯＳ）の両方の命令を含み得るコンピュータプロセスを実行するコンピュータ実行可能命令などの、計算システム１３００内で生成又は採用されるデータを記憶することができる任意の不揮発性データストレージデバイスを含み得る。制限することなく、データストレージデバイス１３０４は、磁気ディスクドライブ、光ディスクドライブ、ソリッドステートドライブ（ＳＳＤ）、フラッシュドライブ、及び同種のものを含み得る。データストレージデバイス１３０４は、リムーバブルデータストレージ媒体、非リムーバブルデータストレージ媒体、並びに／又は１つ以上のデータベース管理製品、ウェブサーバ製品、アプリケーションサーバ製品、及び／若しくは他の更なるソフトウェア構成要素を含むこのようなコンピュータプログラム製品を用いて有線若しくは無線のネットワークアーキテクチャを介して利用可能にされる外部ストレージデバイスを含み得る。リムーバブルデータストレージ媒体の例には、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタルバーサタイルディスク読み取り専用メモリ（ＤＶＤ－ＲＯＭ）、磁気光ディスク、フラッシュドライブ、及び同種のものが含まれる。非リムーバブルデータストレージ媒体の例には、内部磁気ハードディスク、ＳＳＤ、及び同種のものが含まれる。１つ以上のメモリデバイス１３０６は、揮発性メモリ（例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）など）及び／又は不揮発性メモリ（例えば、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリなど）を含み得る。

記載される本技術に従ってシステム及び方法を実現する機構を含むコンピュータプログラム製品は、機械可読媒体と称され得るデータストレージデバイス１３０４及び／又はメモリデバイス１３０６内に存在し得る。機械可読媒体は、機械による実行のための本開示の動作のうちのいずれか１つ以上を実行する命令を記憶若しくはエンコードすることができるか、又はこのような命令によって利用されるか若しくはそれと関連付けられるデータ構造及び／若しくはモジュールを記憶若しくはエンコードすることができる、任意の有形の非一時的媒体を含み得ることが認識されるであろう。機械可読媒体は、１つ以上の実行可能命令又はデータ構造を記憶する単一の媒体又は複数の媒体（例えば、集中型若しくは分散型データベース並びに／又は関連付けられたキャッシュ及びサーバ）を含み得る。

一部の実装では、コンピュータシステム１３００は、他の計算、ネットワーク、又は車両デバイスと通信する、入力／出力（Ｉ／Ｏ）ポート１３０８及び通信ポート１３１０などの１つ以上のポートを含む。ポート１３０８～１３１０が組み合わされてもよく又は分離されてもよく、より多くのポート又はより少ないポートがコンピュータシステム１３００に含まれてもよいことが認識されるであろう。

Ｉ／Ｏポート１３０８は、Ｉ／Ｏデバイス又は他のデバイスに接続されてもよく、それによって、情報が、計算システム１３００に入力されるか又は計算システム１３００から出力される。制限することなく、このようなＩ／Ｏデバイスは、１つ以上の入力デバイス、出力デバイス、及び／又は他のデバイスを含み得る。

一実装では、入力デバイスは、Ｉ／Ｏポート１３０８を介して計算システム１３００への入力データとして、人間の声、物理的な移動、物理的なタッチ若しくは圧力、及び／又は同種のものなどの人間が生成した信号を電気信号に変換する。同様に、出力デバイスは、Ｉ／Ｏポート１３０８を介して、計算システム１３００から受信される電気信号を、音、光、及び／又はタッチなどの、人間によって出力として感知され得る信号に変換し得る。入力デバイスは、Ｉ／Ｏポート１３０８を介してプロセッサ１３０２に情報及び／又はコマンドの選択を通信する、英数字及び他のキーを含む英数字入力デバイスであり得る。入力デバイスは、マウス、トラックボール、カーソル方向キー、ジョイスティック、及び／若しくはホイールなどの方向及び選択制御デバイス、カメラ、マイク、位置センサ、向きセンサ、重力センサ、慣性センサ、及び／若しくは加速度計などの１つ以上のセンサ、並びに／又はタッチ感応ディスプレイスクリーン（「タッチスクリーン」）を含むがこれらに制限されない別のタイプのユーザ入力デバイスであり得る。制限することなく、出力デバイスは、ディスプレイ、タッチスクリーン、スピーカ、触感及び／若しくは触覚出力デバイス、並びに／又は同種のものを含み得る。一部の実装では、入力デバイス及び出力デバイスは、例えば、タッチスクリーンの場合には同じデバイスであり得る。

一実装では、通信ポート１３１０は、ネットワークに接続されており、それによって、コンピュータシステム１３００は、本明細書に記載される方法及びシステムの実行、並びにそれによって決定される情報及びネットワーク構成変更の送信に役立つネットワークデータを受信し得る。違う風に述べると、通信ポート１３１０は、１つ以上の有線又は無線通信ネットワーク又は接続によって計算システム１３００と他のデバイスとの間で情報を送信及び／又は受信するように構成された１つ以上の通信インターフェースデバイスにコンピュータシステム１３００を接続する。制限することなく、このようなネットワーク又は接続の例には、ユニバーサルシリアルバス（ＵＳＢ）、イーサネット、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信（ＮＦＣ）、ロングタームエボリューション（ＬＴＥ）などが含まれる。１つ以上のこのような通信インターフェースデバイスは、ポイント対ポイントの通信経路上、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）上、ローカルエリアネットワーク（ＬＡＮ）上、セルラー（例えば、第３世代（３Ｇ）若しくは第４世代（４Ｇ））ネットワーク上、又は別の通信手段上で、直接的に１つ以上の他の機械と通信するために通信ポート１３１０を介して利用され得る。更に、通信ポート１３１０は、電磁信号の通信及び／又は受信のためのアンテナ又は他のリンクと通信し得る。

例示的な実装では、患者データ、骨モデル（例えば、汎用、患者固有）、変換ソフトウェア、位置決めソフトウェア、インプラントモデル、及び他のソフトウェア、並びに他のモジュール及びサービスは、データストレージデバイス１３０４及び／又はメモリデバイス１３０６上に記憶されプロセッサ１３０２によって実行される命令によって具現化され得る。コンピュータシステム１３００は、手術システム１００の一部に統合されてもよく、又は他の場合には当該一部を形成し得る。

但し、図１６に記載されたシステムは、本開示の態様を採用し得るか又は当該態様に従って構成され得るコンピュータシステムの可能性のある一例である。本開示の技術を計算システム上で実装するコンピュータ実行可能命令を記憶する他の非一時的な有形のコンピュータ可読ストレージ媒体が利用され得ることが認識されるであろう。

本開示では、本明細書に開示される方法、例えば、特に図５Ａ～図１４Ｃに示されるものは、デバイスによって読み取り可能な命令のセット又はソフトウェアとして実装され得る。更に、開示される方法におけるステップの特定の順序又は階層は、例示的なアプローチの事例であることが理解される。設計の好みに基づいて、方法におけるステップの特定の順序又は階層は、開示された主題内に留まりつつ再配置され得ることが理解される。添付の方法は、見本の順序で様々なステップの存在する要素を特許請求しており、必ずしも、提示される特定の順序又は階層に制限されることを意味するわけではない。

本明細書に記載される方法のうちのいずれかを含む記載された開示は、本開示に係るプロセスを実行するようにコンピュータシステム（又は他の電子デバイス）をプログラムするために使用され得る命令が記憶された非一時的な機械可読媒体を含み得るコンピュータプログラム製品又はソフトウェアとして提供され得る。機械可読媒体は、機械（例えば、コンピュータ）によって読み取り可能な形態（例えば、ソフトウェア、処理アプリケーション）の情報を記憶する任意の機構を含む。機械可読媒体は、磁気ストレージ媒体、光ストレージ媒体、磁気光ストレージ媒体、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブルメモリ（例えば、ＥＰＲＯＭ及びＥＥＰＲＯＭ）、フラッシュメモリ、又は電子命令を記憶するのに好適な他のタイプの媒体を含み得るが、これらに制限されない。

本開示は様々な実装を参照して記載されているが、当該実装は例示的であり、本開示の範囲はそれに制限されないことが理解されるであろう。多数の変更、修正、追加、及び改善が可能である。より概略的には、本開示に従う実施形態は、特定の実装の文脈で記載されている。機能は、本開示の様々な実施形態で異なるようにブロックで分離され得るか若しくは組み合わされ得るか、又は異なる用語で記載され得る。当該及び他の変更、修正、追加、及び改善は、以下の特許請求の範囲で定められるような本開示の範囲内に入り得る。

概して、本明細書に記載される実施形態は特定の実施形態を参照して記載されているが、本開示の精神及び範囲から逸脱することなく、それに対する修正が行われ得る。本明細書で使用される「含む」という用語は、包含的である、すなわち、「～を含むが～に制限されない」ことを意図したものであることにも留意されたい。

様々な好ましい実施形態で示されるようなシステム及び方法の構造及び配置は、単なる例示である。いくつかの実施形態のみが本開示で詳細に記載されているが、多数の修正が可能である（例えば、様々な要素のサイズ、寸法、構造、形状、及び割合、パラメータの値、取り付け配置、材料の使用、色、向きなどの変更）。例えば、要素の位置は、逆にされてもよく、又は他の場合には変更されてもよく、個別の要素又は位置の性質又は数は、改変又は変更されてもよい。したがって、全てのこのような修正は、本開示の範囲内に含まれることを意図したものである。任意のプロセス又は方法ステップの順序又はシーケンスは、代替的な実施形態に従って変更又は再順序付けされ得る。他の置換、修正、変更、及び省略は、本開示の範囲から逸脱することなく、好ましい実施形態の設計、動作条件、及び配置において行われ得る。
本明細書に開示される発明は以下を含む。
［態様１］
患者の骨の超音波画像を処理するように構成された手術システムであって、前記超音波画像は、前記患者の骨の各々についての骨面を含み、前記システムは、
処理デバイスと、１つ以上の実行可能命令が記憶されたコンピュータ可読媒体と、を含む計算デバイスを備え、前記処理デバイスは、前記１つ以上の実行可能命令を実行するように構成されており、前記１つ以上の実行可能命令は、ｉ）前記超音波画像内の前記患者の骨の各々の前記骨面を検出し、ｉｉ）前記患者の骨の各々の前記骨面に関連付けられた超音波画像ピクセルの第１のポイントクラウドを分離する、システム。
［態様２］
前記骨面の前記検出は、前記１つ以上の実行可能命令の少なくとも一部を形成する画像処理アルゴリズムを介して生じる、態様１に記載のシステム。
［態様３］
前記画像処理アルゴリズムは、機械学習モデルを含む、態様２に記載のシステム。
［態様４］
前記第１のポイントクラウドの前記分離は、前記１つ以上の実行可能命令の少なくとも一部を形成するピクセル分類ニューラルネットワークを介して生じる、態様２に記載のシステム。
［態様５］
前記第１のポイントクラウドの前記分離は、前記１つ以上の実行可能命令の少なくとも一部を形成する画像ベースの分類ニューラルネットワークを介して生じる、態様２に記載のシステム。
［態様６］
前記処理デバイスは、前記１つ以上の実行可能命令を実行して、分離された３Ｄポイントクラウドへの前記第１のポイントクラウドの変換を計算し、前記分離された３Ｄポイントクラウドは、前記分離された３Ｄポイントクラウドの前記超音波画像ピクセルが各々、前記患者の骨の対応する骨面に相互に関連付けられるように分離される、態様１に記載のシステム。
［態様７］
前記分離された３Ｄポイントクラウドへの前記第１のポイントクラウドの前記変換を計算する際に、前記超音波画像ピクセルは、超音波プローブトラッカに較正され、前記超音波プローブトラッカは、追跡カメラに較正される、態様６に記載のシステム。
［態様８］
前記超音波画像ピクセルを前記超音波プローブトラッカに較正する際に、特定の媒体内の超音波の伝播速度が考慮される、態様７に記載のシステム。
［態様９］
前記分離された３Ｄポイントクラウドへの前記第１のポイントクラウドの前記変換を計算する際に、前記超音波画像ピクセルは、超音波プローブトラッカに較正され、前記超音波プローブトラッカは、追跡カメラに較正され、座標系は、前記患者の骨の前記骨面に配置された解剖学的構造のトラッカを介した前記骨面に対するものである、態様６に記載のシステム。
［態様１０］
前記第１のポイントクラウドの前記分離は、前記第１のポイントクラウドの幾何学的分析を介して生じる、態様６に記載のシステム。
［態様１１］
前記１つ以上の実行可能命令は、前記患者の骨の骨モデルへの、前記患者の骨から取得される第２のポイントクラウドの初期又は大まかな位置決めを計算する、態様６に記載のシステム。
［態様１２］
前記第２のポイントクラウドは、前記患者の骨における複数のトラッカに対する複数のポイントクラウドを含む、態様１１に記載のシステム。
［態様１３］
前記複数のポイントクラウドは、前記患者の骨の前記骨モデルのある骨モデルに位置決めされた、あるポイントクラウドと、前記患者の骨の前記骨モデルの別の骨モデルに位置決めされた、別のポイントクラウドと、を含む、態様１２に記載のシステム。
［態様１４］
前記初期又は大まかな位置決めは、目印ベースである、態様１１に記載のシステム。
［態様１５］
前記初期又は大まかな位置決めは、解剖学的構造のトラッカの位置及び向きから計算される、態様１１に記載のシステム。
［態様１６］
前記初期又は大まかな位置決めを計算する際に、第３のポイントクラウド及び第４のポイントクラウドが前記システムによって生成され、前記第３のポイントクラウドは、前記患者の骨の第１の骨に関するものであって、前記第１の骨に関連付けられた第１のトラッカに対するものであり、前記第４のポイントクラウドは、前記患者の骨の第２の骨に関するものであって、前記第２の骨に関連付けられた第２のトラッカに対するものである、態様１１に記載のシステム。
［態様１７］
前記初期又は大まかな位置決めを計算する際に、前記システムは、前記第３のポイントクラウドの骨面ポイントを前記第１の骨のコンピュータモデル上に一致させ、前記第４のポイントクラウドの前記骨面ポイントを前記第２の骨のコンピュータモデル上に一致させる、態様１６に記載のシステム。
［態様１８］
前記処理デバイスは、前記１つ以上の命令を実行して、前記初期又は大まかな位置決め及び前記分離された３Ｄポイントクラウドを採用して最終的な複数の骨の位置決めを計算し、前記最終的な複数の骨の位置決めは、前記分離された３Ｄポイントクラウドと前記患者の骨との間の最終的な位置決めを達成する、態様１１に記載のシステム。
［態様１９］
分類された３Ｄ骨面ポイントクラウドと前記患者の骨との間の前記最終的な位置決めが存在する前記最終的な複数の骨の位置決めを計算する際に、前記システムは、前記患者の骨のコンピュータモデルへの前記分離された３Ｄポイントクラウドの前記位置決めを反復して改良し、前記分離された３Ｄポイントクラウドの前記分離を反復して改良する、態様１８に記載のシステム。
［態様２０］
患者の骨の超音波画像を処理する方法であって、前記超音波画像は、前記患者の骨の各々についての骨面を含み、前記方法は、
前記超音波画像内の前記患者の骨の各々の前記骨面を検出することと、
前記患者の骨の各々の前記骨面に関連付けられた超音波画像ピクセルの第１のポイントクラウドを分離することと、
を含む、方法。
［態様２１］
前記骨面の前記検出は、画像処理アルゴリズムを介して生じる、態様２０に記載の方法。
［態様２２］
前記画像処理アルゴリズムは、機械学習モデルを含む、態様２１に記載の方法。
［態様２３］
前記第１のポイントクラウドの前記分離は、ピクセル分類ニューラルネットワークを介して生じる、態様２１に記載の方法。
［態様２４］
前記第１のポイントクラウドの前記分離は、画像ベースの分類ニューラルネットワークを介して生じる、態様２１に記載の方法。
［態様２５］
分離された３Ｄポイントクラウドへの前記第１のポイントクラウドの変換を計算することを更に含み、前記分離された３Ｄポイントクラウドは、前記分離された３Ｄポイントクラウドの前記超音波画像ピクセルが各々、前記患者の骨の対応する骨面に相互に関連付けられるように分離される、態様２０に記載の方法。
［態様２６］
前記分離された３Ｄポイントクラウドへの前記第１のポイントクラウドの前記変換を計算する際に、前記超音波画像ピクセルは、超音波プローブトラッカに較正され、前記超音波プローブトラッカは、追跡カメラに較正される、態様２５に記載の方法。
［態様２７］
前記超音波画像ピクセルを前記超音波プローブトラッカに較正する際に、特定の媒体内の超音波の伝播速度が考慮される、態様２６に記載の方法。
［態様２８］
前記分離された３Ｄポイントクラウドへの前記第１のポイントクラウドの前記変換を計算する際に、前記超音波画像ピクセルは、超音波プローブトラッカに較正され、前記超音波プローブトラッカは、追跡カメラに較正され、座標系は、前記患者の骨の前記骨面に配置された解剖学的構造のトラッカを介した前記骨面に対するものである、態様２５に記載の方法。
［態様２９］
前記第１のポイントクラウドの前記分離は、前記第１のポイントクラウドの幾何学的分析を介して生じる、態様２５に記載の方法。
［態様３０］
前記患者の骨の骨モデルへの、前記患者の骨から取得される第２のポイントクラウドの初期又は大まかな位置決めを計算することを更に含む、態様２５に記載の方法。
［態様３１］
前記第２のポイントクラウドは、前記患者の骨における複数のトラッカに対する複数のポイントクラウドを含む、態様３０に記載の方法。
［態様３２］
前記複数のポイントクラウドは、前記患者の骨の前記骨モデルのある骨モデルに位置決めされた、あるポイントクラウドと、前記患者の骨の前記骨モデルの別の骨モデルに位置決めされた、別のポイントクラウドと、を含む、態様３１に記載の方法。
［態様３３］
前記初期又は大まかな位置決めは、目印ベースである、態様３０に記載の方法。
［態様３４］
前記初期又は大まかな位置決めは、解剖学的構造のトラッカの位置及び向きから計算される、態様３０に記載の方法。
［態様３５］
前記初期又は大まかな位置決めを計算する際に、第３のポイントクラウド及び第４のポイントクラウドが生成され、前記第３のポイントクラウドは、前記患者の骨の第１の骨に関するものであって、前記第１の骨に関連付けられた第１のトラッカに対するものであり、前記第４のポイントクラウドは、前記患者の骨の第２の骨に関するものであって、前記第２の骨に関連付けられた第２のトラッカに対するものである、態様３０に記載の方法。
［態様３６］
前記初期又は大まかな位置決めを計算する際に、前記第３のポイントクラウドの骨面ポイントを前記第１の骨のコンピュータモデル上に一致させ、前記第４のポイントクラウドの前記骨面ポイントを前記第２の骨のコンピュータモデル上に一致させる、態様３５に記載の方法。
［態様３７］
前記初期又は大まかな位置決め及び前記分離された３Ｄポイントクラウドを採用して最終的な複数の骨の位置決めを計算することを更に含み、前記最終的な複数の骨の位置決めは、前記分離された３Ｄポイントクラウドと前記患者の骨との間の最終的な位置決めを達成する、態様３０に記載の方法。
［態様３８］
分類された３Ｄ骨面ポイントクラウドと前記患者の骨との間の前記最終的な位置決めが存在する前記最終的な複数の骨の位置決めを計算する際に、前記患者の骨のコンピュータモデルへの前記分離された３Ｄポイントクラウドの前記位置決めが反復して改良され、前記分離された３Ｄポイントクラウドの前記分離が反復して改良される、態様３７に記載の方法。

Claims (6)

1. 患者の骨の超音波画像を処理するように構成された手術システムであって、前記超音波画像は、前記患者の骨の各々についての骨面を含み、前記手術システムは、
   少なくとも一つの手術ツールと、
   処理デバイスと、１つ以上の実行可能命令が記憶されたコンピュータ可読媒体と、を含む計算デバイスと、を備え、前記処理デバイスは、前記１つ以上の実行可能命令を実行するように構成されており、前記１つ以上の実行可能命令は、
   ｉ）前記超音波画像内の前記患者の骨の各々の前記骨面を超音波画像ピクセルとして検出し、
   ｉｉ）前記超音波画像ピクセルを、３Ｄポイントに変換し、
   ｉｉｉ）各骨面に分類された３Ｄポイントクラウドを生成し、
   ｉｖ）前記患者の骨に設置されたトラッカの３次元位置の追跡を利用してポイントクラウドを取得し、
   ｖ）前記患者の骨の骨モデル、及び、前記患者の骨に設置されたトラッカの３次元位置の追跡を利用して取得され、前記患者の骨の骨モデルに対して位置決めされた、前記ポイントクラウドを、最終的に、各骨面に分類された３Ｄポイントクラウドで位置決めし、前記患者の骨の骨モデルについて、前記患者の骨に設置されたトラッカの３次元位置の追跡を利用して取得され、前記患者の骨の骨モデルに対して位置決めされた、前記ポイントクラウドと、各骨面に分類された３Ｄポイントクラウドと、が一致し、
   前記少なくとも一つの手術ツールは、前記計算デバイスと通信し、前記最終的な複数の骨の位置決めは、前記患者の骨の各々に関連する前記少なくとも一つの手術ツールをナビゲートするための入力としての役割を果たす、システム。
2. 前記骨面の前記検出は、前記１つ以上の実行可能命令の少なくとも一部を形成する画像処理アルゴリズムを介して生じる、請求項１に記載のシステム。
3. 前記画像処理アルゴリズムは、機械学習モデルを含む、請求項２に記載のシステム。
4. 患者の骨の超音波画像を処理する方法であって、前記超音波画像は、前記患者の骨の各々についての骨面を含み、前記方法は、
   前記超音波画像内の前記患者の骨の各々の前記骨面を超音波画像ピクセルとして検出することと、
   前記超音波画像ピクセルを、３Ｄポイントに変換することと、
   各骨面に分類された３Ｄポイントクラウドを生成することと、
   前記患者の骨に設置されたトラッカの３次元位置の追跡を利用してポイントクラウドを取得することと、
   前記患者の骨の骨モデル、及び、前記患者の骨に設置されたトラッカの３次元位置の追跡を利用して取得され、前記患者の骨の骨モデルに対して位置決めされた、前記ポイントクラウドを、最終的に、各骨面に分類された３Ｄポイントクラウドで位置決めし、前記患者の骨の骨モデルについて、前記患者の骨に設置されたトラッカの３次元位置の追跡を利用して取得され、前記患者の骨の骨モデルに対して位置決めされた、前記ポイントクラウドと、各骨面に分類された３Ｄポイントクラウドと、が一致することと、
   を含み、
   前記患者の骨の各々に関連する少なくとも一つの手術ツールをナビゲートするために前記最終的な複数の骨の位置決めを使用する、方法。
5. 前記骨面の前記検出は、画像処理アルゴリズムを介して生じる、請求項４に記載の方法。
6. 前記画像処理アルゴリズムは、機械学習モデルを含む、請求項５に記載の方法。

Images