JP7522745B2 - 口腔内走査を誘導するための方法およびシステム - Google Patents

Description

関連出願の相互参照
本国際出願は、２０１９年１月３０日に出願された欧州特許出願第１９００００５６２号の利益および優先権を主張するものである。この特許出願は、あらゆる目的のために参照により本願明細書に組み込まれる。

本出願は、全般的には、口腔内走査を誘導するための方法、システム、およびコンピュータ可読記憶媒体に関し、より具体的には、患者の口内の走査ストラテジを視覚化するための方法、システム、およびコンピュータ可読記憶媒体に関する。

口腔内カメラのユーザは、音声出力の変化によって、走査プロセスが中断されたかどうかを判断することができる。口腔内の全ての必要な領域が走査されたかどうかを確認するために、ユーザは、走査部位から顔を背けて、口腔の走査領域の３次元（３Ｄ）再構成を表示するディスプレイ／モニタを目視することができる。したがって、ユーザが、口腔内走査中に、顎の３Ｄ再構成または顎を走査するためのストラテジを見るためにモニタの方に顔を向けなくても、患者の口の中を見続けることができる手順を有することが有用であり得る。

米国特許出願公開第２０１７／００５６１３６（Ａ１）号明細書は、３次元光学記録を実行する方法を開示しており、この方法では、ユーザが視認できるように走査部位から離れたモニタ上に走査命令が表示される。

米国特許出願第２０１７２０２６３３号明細書は、ユーザによる視認のためのウェアラブルディスプレイを備える、医療介入を誘導するための撮像表示システムを開示しており、ディスプレイは、術前手術ナビゲーション画像、術中画像、および生体内顕微鏡画像または感知データを含む、複合または合成画像を提示する。

米国特許出願第２００２００８２４９８号明細書は、患者の一部の３次元（３Ｄ）ボリュームデータを取り込むステップと、ボリュームデータを処理してデータのグラフィック表現を提供するステップと、前記患者の一部を含むシーンの立体ビデオビューを取り込むステップと、グラフィック表現および立体ビデオビューをブレンドした形でレンダリングして立体拡張画像を提供するステップと、ビデオシースルーディスプレイに前記立体拡張画像を表示するステップとを含む、画像誘導手術の方法を開示している。

米国特許出願公開第２０１６０１９１８８７号明細書には、外科医の静的または動的視点からの患者の拡張ビューを表示するためのリアルタイム手術ナビゲーション方法および装置が記載されている。表面画像、術前画像または術中画像から処理された患者の内部解剖学的構造のグラフィック表現、および両方の画像を幾何学的に位置合わせするコンピュータが使用され得る。画像を幾何学的に位置合わせすることに応答して、ヘッドマウントディスプレイは、外科医に対して患者の拡張ビューを提示することができる。

上記に関連する既存の制限、ならびに他の制限は、口腔内走査のストラテジを可視化するための請求項１に記載の方法、請求項１１に記載のシステム、および請求項１２に記載のコンピュータ可読記憶媒体によって克服され得る。

本明細書内の態様では、本発明は、拡張可視化を利用して顎の走査を誘導するための方法であって、顎モデルを取得するステップと、顎モデルと第１および第２の制御点とを含む走査ストラテジを提供するステップと、走査ストラテジが標的部位上に直接重ね合わされて現れるように、拡張可視化のための表示装置を通して拡張として走査ストラテジを標的部位にオーバーレイするステップと、第１および第２の制御点に基づいて記録経路を決定するステップと、第１の制御点に対応する顎の領域の上に口腔内カメラを位置決めするステップと、決定された記録経路によって画定された顎の対応領域が記録されるように、決定された記録経路に沿って顎の上で口腔内カメラを移動させることによって複数の３次元光学記録を取得するステップと、複数の３次元光学記録を全体的な３次元記録に位置合わせするステップとを含む方法を提供する。

本明細書内の別の態様では、該方法はさらに、（ｉ）顎モデルが標準３次元顎モデルまたは走査されている歯の進行中の３次元再構成であり、（ｉｉ）標準３次元顎モデルが患者の歯の状態に合わせて修正され、（ｉｉｉ）標準３次元顎モデルおよび走査されている歯の進行中の３次元再構成が拡張可視化のための表示装置のユーザの視野に別個に表示され、（ｉｖ）咬合測定、舌側測定、頬側測定の第１のステップ、頬側測定の第２のステップ、周縁測定、バイトブロック測定、および口蓋測定からなる群から選択された測定プロセスを誘導するために走査ストラテジがオーバーレイされ、（ｖ）顎の異なる部分を記録するために走査ストラテジが自動的に更新され、（ｖｉ）ギャップを有する複数の３次元光学記録の領域をさらに決定して、さらに記録するために連続して走査ストラテジにおける追加の制御点および／または追加の記録経路を提供し、（ｖｉｉ）走査ストラテジを更新するために位置合わせステップの成功が追跡され、（ｖｉｉｉ）追跡システムに基づいてリアルタイムの走査ストラテジの向きの更新をさらに含み、前記追跡システムは、口腔内カメラからの情報、患者の動きを追跡する情報、および／または臨床医の動きを追跡する情報を含み、（ｉｘ）前記標的部位は、実際の歯、または拡張可視化のための表示装置のユーザの視野内の部位からなる群から選択された部位であるのうちの１つまたは複数のステップを含む。

別の態様では、拡張可視化を利用して顎の走査を誘導するためのシステムであって、拡張可視化のための表示装置と、顎モデルを取得するステップ、顎モデルと第１および第２の制御点とを含む走査ストラテジを提供するステップ、走査ストラテジが標的部位上に直接重ね合わされて現れるように、拡張可視化のための表示装置を通して拡張として走査ストラテジを標的部位にオーバーレイするステップ、第１および第２の制御点に基づいて記録経路を決定するステップ、第１の制御点に対応する顎の領域の上に口腔内カメラを位置決めするステップ、決定された記録経路によって画定された顎の対応領域が記録されるように、決定された記録経路に沿って顎の上で口腔内カメラを移動させることによって複数の３次元光学記録を取得するステップ、および複数の３次元光学記録を全体的な３次元記録に位置合わせするステップを実行するように構成された少なくとも１つのプロセッサと、を備えるシステムが提供される。さらなる態様では、患者の動きおよび顎の動きは、そのような動きの間の走査によって生じるギャップが、歯の対応する領域の再走査によって埋められるように追跡される。さらに、全体的な３次元記録における画質／解像度が低い（３Ｄ点密度が不十分である）部分が決定され、歯の対応する領域の再走査によって埋められる。

本明細書内の別の態様では、該システムはさらに、（ｉ）顎モデルが標準３次元顎モデルまたは走査されている歯の進行中の３次元再構成であり、（ｉｉ）プロセッサはさらに、標準３次元顎モデルを患者の歯の状態に合わせて修正するようにさらに構成され、（ｉｉｉ）プロセッサはさらに、標準３次元顎モデルおよび走査されている歯の進行中の３次元再構成を拡張可視化のための表示装置のユーザの視野に別個に表示するように構成され、（ｉｖ）プロセッサはさらに、咬合測定、舌側測定、頬側測定の第１のステップ、頬側測定の第２のステップ、周縁測定、バイトブロック測定、および口蓋測定からなる群から選択された測定プロセスを誘導するために走査ストラテジをオーバーレイするように構成され、（ｖ）プロセッサはさらに、顎の異なる部分を記録するために走査ストラテジを自動的に更新するように構成され、（ｖｉ）プロセッサはさらに、ギャップを有する複数の３次元光学記録の領域を決定して、さらに記録するために連続して走査ストラテジにおける追加の制御点および／または追加の記録経路を提供するステップを実行するように構成され、（ｖｉｉ）プロセッサはさらに、走査ストラテジを更新するために位置合わせステップの成功を追跡するように構成され、（ｖｉｉｉ）追跡システムに基づいてリアルタイムの走査ストラテジの向きの更新ステップを実行するように構成され、前記追跡システムは、口腔内カメラからの情報、患者の動きを追跡する情報、および／または臨床医の動きを追跡する情報を含み、（ｉｘ）前記標的部位は、実際の歯、または拡張可視化のための表示装置のユーザの視野内の部位からなる群から選択された部位である、１つまたは複数の構成を含む。

さらに別の態様では、非一時的なコンピュータ可読記憶媒体であって、コンピュータシステムによって実行されたときに、コンピュータシステムに、顎モデルを取得するステップと、顎モデルと第１および第２の制御点とを含む走査ストラテジを提供するステップと、患者の走査ストラテジが標的部位上に直接重ね合わされて現れるように、拡張可視化のための表示装置を通して拡張として走査ストラテジを標的部位にオーバーレイするステップと、第１および第２の制御点に基づいて記録経路を決定するステップと、決定された記録経路によって画定された顎の領域に対応する複数の３次元光学記録を取得するステップと、複数の３次元光学記録を全体的な３次元記録に位置合わせするステップとを含む手順を実行させる、非一時的なコンピュータ可読記憶媒体が提供される。

例示的な実施形態は、本明細書内の以下の詳細な説明および添付図面からより十分に理解されるであろう。

本発明の一実施形態に係る、３次元光学記録の重なりを示した上面図である。 本発明の一実施形態に係る可視化システムを示すシステム図である。 本発明の例示的な一実施形態に係る標準モデルの上面図である。 本発明の例示的な一実施形態に係る３次元走査の上面図である。 本発明の一実施形態に係るコンピュータシステムを示すブロック図である。 本発明の例示的な一実施形態に係る方法を示すフローチャートである。 本発明の例示的な一実施形態に係る別の方法を示すフローチャートである。 咬合測定のための走査ストラテジの上面図である。 舌側測定のための走査ストラテジの上面図である。 頬側測定の第１のステップのための走査ストラテジの上面図である。 頬側測定の第２のステップのための走査ストラテジの上面図である。 複数の周縁記録シーケンスを示す走査ストラテジの上面図である。 異なるクラスタの連結を示す略図である。 バイトブロック位置合わせを示す走査ストラテジの上面図である。

本明細書に記載される例示的な態様によれば、口腔内走査のための最適な走査ストラテジを提案および可視化するための方法、システムおよびコンピュータ可読記憶媒体が提供される。
口腔内走査を誘導するためのシステム

口腔内走査中、口腔内カメラ１６（図１）は、測定中に設定周波数で連続して複数の個々の３次元光学記録４を自動的に記録することができる、または手動で記録するように操作され得る。個々の３次元光学記録４は、次に、位置合わせ方法を用いて、測定すべき歯の被写体の全体的な３次元記録に合成され得る。測定中、口腔内カメラ１６は、歯の被写体（下顎または上顎など）に対して移動され得、３次元光学画像が規則的な時間間隔で生成される。個々の画像は、例えば、１０Ｈｚ～２０Ｈｚのクロック周波数で生成され得る。位置合わせは、記録された個々の３次元光学記録４を評価し得るコンピュータシステム１００によって実行され得る。位置合わせ方法としては、ＩＣＰ（反復最近傍点アルゴリズム：Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ ａｌｇｏｒｉｔｈｍ）が使用され得る。このアルゴリズムは、２次元または３次元の被写体を位置合わせするための公知のプロセスである。ここで、異なる回転および平行移動が位置合わせすべき２つの個々の３次元光学記録４の対応点対に適用されて、点対間の距離の二次誤差が最小化され得る。この反復収束は、２つの記録が重なり領域内で一致するまで実行され得る。

あるいは、位置合わせは、記録される被写体の色、記録される被写体の表面曲率に基づいて、または被写体の特徴的な幾何学的形状に基づいて行われてもよい。特徴的な幾何学形状に基づいて位置合わせを行う場合、パターン認識アルゴリズムが使用され得、この場合、位置合わせすべき２つの個々の３次元光学記録４が特定の歯の咬合面などの特定の幾何学形状パターンについて検索され得る。

しかしながら、位置合わせプロセスは、例えば、口腔内カメラの被写体に対する移動が速すぎることで重なり領域５のサイズが不十分である場合に、位置合わせ誤差を含み得る。さらに、口腔内カメラ１６の焦点が鮮明に設定されないことで、被写体が不明瞭に撮像され、画像の記録品質が不十分となる場合がある。さらなる理由は、測定中に患者の舌または治療歯科医の指などの可動物が記録されることであり得る。その結果、画像の重なり領域は一致しない場合がある。

したがって、１つまたは複数の走査ストラテジ４２は、（図２の可視化システムに示されているように、かつ後述するように）拡張された形で臨床医１０に対して表示され得、最適化された記録経路を使用して別々に取得された異なる記録および異なる記録からのクラスタが、大域的位置合わせのために安定したフレームワーク内で互いに位置合わせされ得、前記大域的位置合わせは、最適化された記録経路により可能になる。口領域における走査ストラテジ４２の拡張表示は、臨床医が患者１４の口から離れて別の画面を見る必要性を排除または実質的に排除し得る。

走査ストラテジ４２の一部として、第１の制御点１３（図３ａ）は、表示装置１２によって表示される顎モデル２６上に、同様に表示装置１２によって表示され得る。したがって、口腔内カメラ１６は、例えば１８Ｈｚの周波数で、測定中に複数の個々の３次元光学記録４を自動的に記録することができ、カメラが実際の歯１７に対して移動されるときに個々の記録を手動で作動させる必要がなくなる。口腔内カメラ１６は、例えば、縞投影法または共焦点測定法に従って機能し得る。

図２は、頭部装着型拡張現実眼鏡、ＨＵＤディスプレイ、もしくは立体ビデオ画像を受信することができる立体ディスプレイなどの拡張可視化のための表示装置１２、または走査ストラテジ４２（例えば、標準３次元顎モデル２６ａもしくは走査されている歯の進行中の３次元再構成２６ｂ（図３ａ、図３ｂ）であり得る顎モデル２６（好ましくは、３次元顎モデル）上の第１の制御点１３、第２の制御点１５、および／または記録経路２３など）を拡張された形で標的部位１４ａ上（患者１４の顎もしくは実際の歯１７、または表示装置１２を通して見ている臨床医１０の視野３２内の任意の場所など）または走査ストラテジ４２が標的部位１４ａ上に直接重ね合わせられて現れる標的部位の立体ビデオ上にオーバーレイするために使用され得る、別の表示装置１２を備える可視化システム１を示す。制御点は、異なる形状、サイズ、色、構造などの異なる形態を有し得、記録の開始、終了、または別の位置を定義する任意の対象物であり得る。

あるいは、走査ストラテジ４２は、標的部位上に直接重ね合わされずに、臨床医が装着しているシースルー型スマートグラスの画面上に直接表示され得る。さらに、走査ストラテジ４２は、患者の実際の歯１７の異なる部分を記録するために継続的に自動更新され得る。表示装置１２を使用することによって、臨床医１０は、患者１４の口腔内２２のどこから走査を開始することができるかを可視化することができ、記録方向を含む最適な走査ストラテジが臨床医１０に示され得る。ソフトウェアは、３次元光学記録４の適切な重なりなどの所定の基準に基づいて、顎のどの領域がまだ走査されていないか、および／または完全な走査を達成するためにどの領域が再走査され得るかを表示装置１２上に示すことができる。

表示装置１２は、コンピュータシステム１００に接続されてもよいし、コンピュータシステム１００の一部を形成してもよい。コンピュータシステムを用いて、位置合わせされた３次元光学記録４のどの領域がギャップを有するかを自動的に決定することが可能であり得、その結果、追加の制御点および／または追加の記録経路が、ユーザ誘導のために顎モデル２６上のこれらの領域に連続して表示され得る。したがって、全てのギャップが埋められるまで、制御点ごとに誘導が行われ得る。

コンピュータシステム１００（図４にも示されている）は、追跡システム２とプロセッサ１２２とを含み得る。追跡システム２は、代替として、コンピュータシステムから分離されてもよく、本明細書内に示されているデバイス、構成要素、および／またはシステムのうちのいずれかの少なくとも一部を形成してもよい。追跡システム２は、プロセッサ１２２に電気的に接続され得、共通座標系における画像（例えば、走査ストラテジ４２）および対象物（例えば、標的部位１４ａ）の正確な位置および向きに関するリアルタイム位置データを提供し得る。本明細書内の例示的な実施形態では、追跡システム２は、例えば、患者１４、患者の特徴（頭部または口腔内など）、および／または患者１４上に配置された所定のマーカ（図示せず）の視覚追跡のためのカメラなどの視覚ベースのシステムであり得る。前記視覚追跡は、例えば、対象物／パターン認識を使用して達成され得る。３Ｄ光学追跡システムおよび／または立体カメラシステムなどのカメラシステム３は、コンピュータシステムに含まれてもよく、および／または追跡システム２を形成してもよく、または追跡システム２の一部であってもよい。カメラシステム３は、臨床医１０の表示装置１２に組み込まれてもよい。カメラシステムは、例えば、以下で説明する（ｉ）構造光、（ｉｉ）飛行時間（ＴｏＦ）、および／または（ｉｉｉ）立体原理を含む、いくつかの深度感知原理のうちの１つに基づいて動作し得る。構造光を使用するカメラの場合、光源を使用して既知のパターンを患者１４上に投影することができ、受信機は反射パターンの歪みを検出して幾何学的形状に基づいた深度マップを計算することができる。飛行時間（ＴｏＦ）原理を使用するカメラの場合、光源はパルスを送出することができ、センサは、その飛行時間を記録するために患者１４からのパルスの反射を検出することができる。光の速度が一定であることが分かっているので、システムは、患者１４がどの程度離れているかを計算することができる。あるいは、変調光源が送られてもよく、患者から反射された光の位相変化が検出されてもよい。立体原理を採用するカメラの場合、患者の複数の画像を取り込むために複数のカメラが異なる位置に配置され得、深度マップが幾何学的形状に基づいて計算され得る。この深度情報は、治療中（例えば歯科治療中）に患者の位置を追跡するために使用され得る。

追跡システム２はさらに、口腔内カメラ１６からのデータを含み得、必要に応じて走査ストラテジ４２を更新するために、口腔内走査中に位置合わせプロセスの成功が追跡され得る。

本発明の例示的な実施形態では、走査ストラテジ４２は、任意選択で、走査手順の前または走査手順中にコンピュータシステム１００のユーザインターフェース１２６（ジェスチャ認識システムおよび／または音声認識システムなど）を介して臨床医１０からの要求が受信された後に、標的部位１４ａ上にオーバーレイされ得る。表示装置１２を通した標的部位１４ａ上への走査ストラテジ４２のオーバーレイは、動的かつリアルタイムで実行され得、追跡システム２と連携して動作するプロセッサ１２２によって達成され得、追跡システム２によって取り込まれた（ｉ）患者１４および／または（ｉｉ）臨床医１０の位置変化は、オーバーレイされた患者走査ストラテジ４２の対応する位置変化に変換され得、そのことにより、患者１４および／または臨床医１０が動いても、表示装置１２の画面にルーティングされた前記走査ストラテジ４２が患者１４の標的部位１４ａ上に直接重ね合わされて現れる。さらに、臨床医１０からの要求に応答して、プロセッサは、既に走査された歯に基づいて走査プロセスに対して進行中のまたは所定の変更／適応を行うように構成され得る。
口腔内走査を誘導するためのコンピュータシステム

拡張現実を使用して口腔内走査を誘導するためのシステム１について説明してきたが、ここで図４を参照する。 図４は、本明細書内の例示的な実施形態の少なくともいくつかに従って使用され得るコンピュータシステム１００のブロック図である。この例示的なコンピュータシステム１００に関して本明細書内では様々な実施形態を説明することができるが、この説明を読んだ後に、他のコンピュータシステムおよび／またはアーキテクチャを使用して本開示を実装する方法が当業者に明らかになり得る。

本明細書の例示的な一実施形態では、コンピュータシステム１００は、少なくとも１つのコンピュータプロセッサ１２２を含み得、追跡システム２、ユーザインターフェース１２６、および入力ユニット１３０を含み得る。入力ユニット１３０は、コンピュータプロセッサ１２２に情報を送信するために使用され得る。本発明の例示的な一実施形態において、入力ユニット１３０は、タッチスクリーンインターフェース（図示せず）上で使用される指またはスタイラスである。入力ユニット１３０は、代替として、ジェスチャ／音声認識デバイス、トラックボール、マウス、またはキーボードもしくはスタイラスなどの他の入力デバイスであり得る。一例では、表示ユニット１２８、入力ユニット１３０、およびコンピュータプロセッサ１２２は、一体となってユーザインターフェース１２６を形成し得る。

コンピュータプロセッサ１２２は、例えば、中央処理ユニット、多重処理ユニット、特定用途向け集積回路（「ＡＳＩＣ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）を含み得る。プロセッサ１２２は、通信インフラ１２４（例えば、通信バスまたはネットワーク）に接続され得る。本明細書内の一実施形態では、プロセッサ１２２は、走査ストラテジ４２の要求を受信し得、コンピュータシステム１００の１つまたは複数の記憶ユニットから、その要求に関する命令を取得し得る。プロセッサ１２２は、次いで、前記命令をロードし、走査ストラテジ４２が標的部位１４ａ上にオーバーレイされ得ることにより前記走査ストラテジ４２が前記標的部位１４ａ上に直接重ね合わされて現れるように、走査ストラテジ４２を表示装置１２の画面にルーティングするなど、ロードされた命令を実行し得る。本発明のさらに別の代替実施形態では、コンピュータシステムは、投影ベースの拡張現実システムを使用してもよく、例えば、プロジェクタおよび深度センサを追跡システム２および／または患者１４上のマーカ（例えば、隠れマーカ）と共に使用して、走査ストラテジ４２を患者の標的部位１４ａ（例えば、頬側口腔）上に直接投影してもよい。ここでは、拡張現実眼鏡などの表示装置１２は、投影された走査ストラテジ４２を視認するのに必要でない場合がある。

走査ストラテジ４２を臨床医１０に視覚的に伝達する１つまたは複数のステップ／手順は、コンピュータ可読プログラム命令の形態で非一時的な記憶装置に記憶され得る。手順を実行するために、プロセッサ１２２は、図４に示され、後述するように、記憶装置に記憶されている適切な命令をメモリにロードし、その後、ロードされた命令を実行する。

コンピュータシステム１００は、ランダムアクセスメモリ（「ＲＡＭ」）であり得るメインメモリ１３２をさらに備えることができ、また二次メモリ１３４も含むことができる。二次メモリ１３４は、例えば、ハードディスクドライブ１３６および／または取り外し可能な記憶ドライブ１３８（例えば、フロッピーディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリドライブなど）を含み得る。取り外し可能な記憶ドライブ１３８は、周知の方法で取り外し可能記憶ユニット１４０に対する読み取りおよび／または書き込みを行うことができる。取り外し可能な記憶ユニット１４０は、例えば、フロッピーディスク、磁気テープ、光ディスク、フラッシュメモリデバイスなどであり得、これらは、取り外し可能な記憶ドライブ１３８によって書き込みおよび読み取りが可能である。取り外し可能な記憶ユニット１４０は、コンピュータ実行可能ソフトウェア命令および／またはデータを記憶する非一時的なコンピュータ可読記憶媒体を含み得る。

さらなる代替形態では、二次メモリ１３４は、コンピュータシステム１００にロードされるコンピュータ実行可能プログラムまたは他の命令を記憶する他のコンピュータ可読媒体を含み得る。このようなデバイスは、取り外し可能な記憶ユニット１４４およびインターフェース１４２（例えば、プログラムカートリッジおよびカートリッジインターフェース）と、取り外し可能なメモリチップ（例えば、消去可能プログラマブル・リードオンリメモリ（「ＥＰＲＯＭ」）またはプログラマブル・リードオンリメモリ（「ＰＲＯＭ」）および関連するメモリソケットと、ソフトウェアおよびデータを取り外し可能な記憶ユニット１４４からコンピュータシステム１００の他の部分に転送することを可能にする他の取り外し可能な記憶ユニット１４４およびインターフェース１４２と、を含み得る。

コンピュータシステム１００はさらに、コンピュータシステム１００と外部デバイスとの間のソフトウェアおよびデータの転送を可能にする通信インターフェース１４６を含み得る。このようなインターフェースは、モデム、ネットワークインターフェース（例えば、イーサネットカード、またはワイヤレスインターフェース）、通信ポート（例えば、ユニバーサルシリアルバス（「ＵＳＢ」）ポートまたはＦｉｒｅＷｉｒｅ（登録商標）ポート）、ＰＣメモリカード国際協会（「ＰＣＭＣＩＡ」）インターフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを含み得る。通信インターフェース１４６を介して転送されるソフトウェアおよびデータは、通信インターフェース１４６による送信および／または受信が可能であり得る電子的、電磁的、光学的または別のタイプの信号であり得る信号の形態であり得る。信号は、通信路１４８（例えば、チャネル）を介して通信インターフェース１４６に供給され得る。通信路１４８は、信号を搬送し得、ワイヤまたはケーブル、光ファイバ、電話回線、セルラーリンク、無線周波数（「ＲＦ」）リンクなどを使用して実装され得る。通信インターフェース１４６は、コンピュータシステム１００とリモートサーバまたはクラウドベースのストレージ（図示せず）との間でソフトウェアまたはデータまたは他の情報を転送するために使用され得る。

１つまたは複数のコンピュータプログラムまたはコンピュータ制御ロジックは、メインメモリ１３２および／または二次メモリ１３４に記憶され得る。コンピュータプログラムはさらに、通信インターフェース１４６を介して受信され得る。コンピュータプログラムは、コンピュータプロセッサ１２２によって実行されると、コンピュータシステム１００に後述の方法を実行させるコンピュータ実行可能命令を含み得る。

別の実施形態では、ソフトウェアは、非一時的なコンピュータ可読記憶媒体に記憶され、取り外し可能な記憶ドライブ１３８、ハードディスクドライブ１３６、および／または通信インターフェース１４６を使用して、コンピュータシステム１００のメインメモリ１３２および／または二次メモリ１３４にロードされ得る。制御ロジック（ソフトウェア）は、プロセッサ１２２によって実行されると、コンピュータシステム１００、より一般的には口腔内走査を誘導するためのシステムに、後述の方法の全てまたはいくつかを実行させる。本明細書内で説明する機能を実行するような他のハードウェア構成の実装は、この説明から当業者（複数可）には明らかであろう。
口腔内走査を誘導する方法

図４のコンピュータシステム１００について説明したが、次に、図５～図１３に関連して口腔内走査を誘導する方法についてさらに説明する。

図５は、口腔内走査を誘導するためのプロセス２００を示す。このプロセスは、ステップＳ１００に示されるように、顎モデル２６を取得することによって開始され得る。顎モデルは、標準３次元顎モデル２６ａまたは走査されている歯の進行中の３次元再構成２６ｂであり得る。

取得された顎モデル２６が標準３次元顎モデル２６ａである実施形態では、前記標準３次元顎モデル２６ａは、患者１４の歯の状態に対応するように修正され得る（ステップＳ２００）。例えば、患者の顎の特定の歯（例えば、ＦＤＩ（国際歯科連盟：Ｆｅｄｅｒａｔｉｏｎ Ｄｅｎｔａｉｒｅ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ）番号１８、２８、３８または４８を有する第３大臼歯）が欠損していると判断された場合、これらの歯も標準顎モデルから除去され得、そのことにより、臨床医１０は患者１４の実際の歯１７と標準３次元顎モデル２６ａのモデル歯１７ａとの間の１対１対応を確立することができる。しかしながら、標準３次元顎モデル２６ａは、好ましくは、カメラシステム３を介して取得された患者１４の実際の歯１７の画像に基づいて取得され得る。例えば、カメラシステム３によって取得された患者１４の口腔内２２の画像上での対象物認識を使用して、前記口腔内２２の解剖学的特徴（咬頭、裂溝、隆線、歯肉など、またはそれらの欠如など）を使用して、どの歯が存在するかまたは欠損しているかを判定することができる。この分析に基づいて、標準３次元モデル２６ａが前記画像の後にモデル化され得る、または人間の歯の所定の標準モデルが患者１４の実際の歯１７に対応するように修正され得る。

取得された顎モデル２６が走査されている歯の進行中の３次元再構成２６ｂである実施形態では、顎モデル２６は、標準３次元顎モデル２６ａとして開始され得、走査されてうまく位置合わせされた患者１４の実際の歯１７に対応する標準３次元顎モデル２６ａの一部は、口腔内カメラ１６によって取得された対応する３次元光学記録４の３次元再構成で置換され／カバーされ／オーバーレイされ得る。さらなる実施形態では、走査されている歯の進行中の３次元再構成２６ｂは、空のモデルとして開始され得、取得されている３次元光学記録４の３次元再構成によって連続的に埋められ得る。

取得された顎モデル２６が標準３次元顎モデル２６ａである実施形態では、走査されている歯の進行中の３次元再構成はさらに、進行を示すために臨床医１０の視野３２内の標準３次元顎モデル２６ａと並べて別個に表示され得る。

ステップＳ３００において、顎モデル２６は、走査ストラテジ４２の一部として、標的部位１４ａの上に拡張された形でオーバーレイされ得る。その後、顎モデル２６（ひいては走査ストラテジ４２）の向きが、患者の動き２０６および臨床医の動き２０２を追跡する追跡システム２からのリアルタイムデータに基づいてリアルタイムで連続的に更新され得る。（ステップＳ４００）。

ステップＳ５００において、走査ストラテジ４２は、後述するように、かつ図６～図１３に示されているように、顎モデル２６の上に表示され得る１つまたは複数の制御点１３、１５、４２、５５、５７、６０、６１、７３、９３、９４、９６、９７および１つまたは複数の記録経路（３４、４１、５１、６２、７２、７４、７６、９２、９５）を使用して口腔内走査を実行する際に臨床医を誘導するように修正され得る。ここで、コンピュータシステム１００は、走査手順のために臨床医１０によって使用されている口腔内カメラ１６と通信することができる。取得された３次元光学記録４および制御点の確認に基づいて、走査ストラテジ４２は以下のように修正され得る。

図６に示されているように、第１の制御点１３（図３ａに示されている）は、ステップＳ５０２において、顎モデル２６上のモデル歯１７ａの咬合面８（例えば、臼歯９）の中央に表示され得る。第１の制御点１３は、黒丸で概略的に表されている。次に、臨床医１０は、口腔内カメラ１６が第１の制御点１３を記録するように、臼歯９の領域内で口腔内カメラ１６を移動させることができる。口腔内カメラ１６は、音響信号、視覚信号および／または触覚信号がフィードバックとして生じ、そのことによって第１の制御点１３の位置が確認される（Ｓ５０４）まで、所定の時間、第１の制御点１３の上で安定して保持され得る。フィードバックは、取得された３次元光学記録４の妥当性（適切な重なり、適切な露光時間など）に基づき得る。第１の制御点１３は、口腔内カメラ１６上のボタン１１を操作することによって手動で確認される場合もある。あるいは、制御点１０はさらに、入力ユニット１３０（例えば、ジェスチャ／音声認識装置であり得る）を使用して確認されてもよい（図４）。

また、第１の制御点１３に加えて、第２の制御点１５および記録経路２３が表示され得る（ステップＳ５０６）。表示された記録経路２３は、実際の歯１７のどの領域を測定すべきかを表示するために、臨床医１０のためのユーザ誘導としての機能を果たし得る。次に、ステップＳ５０８において、実際の歯１７が記録経路３４に沿って測定され／走査されて、第１のクラスタが取得される。走査された歯は、臨床医１０のためのさらなる誘導として、走査ストラテジ４２内にマークされ得る（例えば、走査されていない歯とは異なる色がつけられ得る）。次に、後述するように、他の制御点および他の記録経路を使用して、他のクラスタについて測定が繰り返され得る（ステップＳ５１０）。その後、ステップＳ５１２において、クラスタは、共有重なり領域を使用して大域的位置合わせステップにおいて合成され得る。

顎モデル２６が実際の歯にオーバーレイされない一実施形態では、顎モデル２６は、視野３２内で回転され得、そのことにより、記録すべき記録領域３３（破線として示されている）の頬側面２０が前景に表示され、以前に測定された咬合面８も見ることができる。ここで、顎モデル４２上の視線は、口腔内カメラ１６の動きに応じて測定中に変化し得る。

図７～図１３は、標的部位１４ａ上または臨床医１０の視野３２内に拡張された形でオーバーレイされた走査ストラテジ４２を示しており、走査ストラテジ４２は、患者の実際の歯１７の記録を誘導する際に使用され得る。

図７は、上顎用の走査ストラテジ４２（顎モデル２６を含む）を示しており、ＦＤＩ番号３７を有する第１臼歯３０上の第１の制御点１３から始まる第１の記録経路３４は、ＦＤＩ番号４７を有する第２臼歯３１上の顎弓の反対側端部上の第２制御点１５まで延びる。そのことにより、第１の記録経路３４は、顎モデル２６のモデル歯１７ａの歯中心１８を通って延びる。したがって、口腔内カメラ１６は、３次元光学記録４の中心が第１の記録経路３４と一致する、または実質的に一致するように移動され得る。このようにして、上顎の咬合方向から咬合測定が行われ得る。図８は、舌側または口腔方向４０からの上顎の舌側測定の誘導を示す走査ストラテジ４２を示す。口腔内カメラ１６は、舌側方向４０からの記録が第２の制御点１５から始まって第３の制御点４３に向かう第２の記録経路４１に沿って実行され得るように、実際の歯１７に対して位置決めされ得る。したがって、舌側測定によって上顎の内側歯面が測定され得る。

図９は、頬側方向５０からの頬側測定の誘導を示す走査ストラテジ４２を示しており、口腔内カメラ１６は、頬側歯面５２および唇側歯面５３が測定されるように、顎の周りで回動され得る。したがって、歯５４は、第１のステップにおいて測定されなくてもよい。第３の記録経路５１は、ＦＤＩ番号３７を有する臼歯の第４の制御点５５から始まり、顎弓の中央５６を越えて第５の制御点５７まで延び得る。したがって、第４の制御点５５の位置は、制御点４３および制御点１３の位置に対応し得る。

図１０は、第４の記録経路６２に沿って、第６の制御点６０から始まり、顎弓の中央５６を越えて第７の制御点６１までの第２の頬側測定を示す走査ストラテジ４２を示す。図９の第１の頬側測定からの第１のクラスタおよび図１０の第２の頬側測定からの第２のクラスタは、顎弓の中央の共有重なり領域６３を使用して互いに位置合わせされ得る。

図１１は、制御点７３間の第５の記録経路７２に沿って測定される顎弓の顎曲線７１に対して垂直な頬側方向７０における第１の周縁記録シーケンスを示す走査ストラテジ４２を示す。このことにより、第５の記録経路７２は、ＦＤＩ番号１４を有する臼歯の領域内を通ることができる。さらに、第２の周縁記録シーケンスは、ＦＤＩ番号１１を有する切歯の領域において第６の記録経路７４に沿って唇側方向７５に実行され得、第３の周縁記録シーケンスは、ＦＤＩ番号２４を有する臼歯の領域において第７の記録経路７６に沿って頬側方向７７に実行され得る。

図１２は、図７の咬合測定からの第１のクラスタ８０と、図８の舌側測定からの第２のクラスタ８１と、図９および図１０の頬側方向からの第３のクラスタ８２とが、図１１の第１の周縁記録シーケンスの第４のクラスタ８３によって、さらに第２の周縁記録シーケンスの第５のクラスタ８４および第３の周縁記録シーケンスの第６のクラスタ８５によって、互いに連結されることを示した略図である。連結点８６は十字で示されている。

図１３は、上顎の第１の３次元モデル９０が下顎の第２の３次元モデル９１に対して位置合わせされ得る、バイトブロック位置合わせを示すための走査ストラテジ４２を示す。このようにして、制御点９３と制御点９４との間の記録経路９２に沿って第１の頬側記録シーケンスが実行され得、制御点９６と制御点９７との間の記録経路９５に沿って第２の頬側記録シーケンスが実行され得る。このことにより、第１の頬側記録シーケンスは、ＦＤＩ番号１４、４４を有する歯の領域内を通ることができる。第２の頬側記録シーケンスは、ＦＤＩ番号２４、３４を有する歯の領域内を通ることができる。

本発明のさらなる実施形態では、口蓋測定が行われ得る。ここでは、３Ｄ口腔内走査は、義歯を作成するために、カメラシステム３からの画像（拡張視覚化のための表示装置１２によって取り込まれた口蓋の画像など）と合成され得る。デジタルインプレッションは、歯肉頬／歯肉唇移行部の走査を取得するには不十分であり得る。しかしながら、表示装置によって取り込まれた歯肉頬／歯肉唇移行部の画像を合成することによって、義歯設計／製作のための適切な情報を得ることができる。

前述の説明から、本明細書内に記載されている例示的な実施形態は、口腔内走査を誘導するための方法、システム、およびコンピュータ可読記憶媒体を提供することを理解されたい。

別段の定義がない限り、本明細書内で使用されている全ての技術用語および科学用語は、本発明が属する技術分野の当業者によって一般に理解されている意味と同じ意味を有するものとする。本明細書に記載されるものと同様または同等である方法および材料が本開示の実践または試験において使用され得るが、好適な方法および材料は、上記に記載されている。本明細書内で言及される全ての刊行物、特許出願、特許、および他の参考文献は、適用可能な法律および規制によって許容される範囲内で、その内容全体が参照によって引用したものとする。本開示は、その精神または本質的な属性から逸脱することなく、他の特定の形態で具現化されてもよく、したがって、本発明の実施形態は、あらゆる点において、例示的であり、限定的ではないと考えられるのが望ましくあり得る。本明細書内で使用されている任意の見出しは、便宜のみを目的としたものであり、法的または制限効果を有するものではない。

Claims (10)

1. 拡張可視化を利用して顎の走査を誘導する方法であって、
   顎モデルを取得するステップと、
   前記顎モデルならびに第１の制御点および第２の制御点を含む走査ストラテジを提供するステップと、
   前記走査ストラテジが標的部位上に直接重ね合わされて現れるように、拡張可視化のための表示装置を介して前記走査ストラテジを前記標的部位上に拡張としてオーバーレイするステップと、
   前記第１の制御点および前記第２の制御点に基づいて記録経路を決定するステップと、
   前記第１の制御点に対応する前記顎の領域の上に口腔内カメラを位置決めするステップと、
   前記決定された記録経路によって画定される前記顎の対応する領域が記録されるように、前記決定された記録経路に沿って前記顎の上で前記口腔内カメラを移動させることによって、複数の３次元光学記録を取得するステップと、
   前記複数の３次元光学記録を全体的な３次元記録に位置合わせするステップと
   を含み、
   前記顎モデルは、標準３次元顎モデルまたは走査されている歯の進行中の３次元再構成であり、前記標準３次元顎モデルおよび前記走査されている歯の進行中の３次元再構成は、拡張可視化のための前記表示装置のユーザの視野内に別個に表示される、
   方法。
2. 前記標準３次元顎モデルは、患者の歯の状態に対応するように修正される、請求項１に記載の方法。
3. 前記走査ストラテジは、咬合測定、舌側測定、頬側測定の第１のステップ、頬側測定の第２のステップ、臼歯又は切歯の周縁測定、上顎の第１の３次元モデルが下顎の第２の３次元モデルに対して位置合わせをするための上顎から下顎までの長さの測定、および口蓋測定からなる群から選択される測定プロセスを誘導するためにオーバーレイされる、請求項１または請求項２に記載の方法。
4. 前記走査ストラテジは、前記顎の異なる部分を記録するために自動的に更新される、請求項１～請求項３のいずれか一項に記載の方法。
5. ギャップを有する前記複数の３次元光学記録の領域を決定するステップと、さらなる記録のために連続して前記走査ストラテジ上に追加の制御点および／または追加の記録経路を提供するステップとをさらに含む、請求項１～請求項４のいずれか一項に記載の方法。
6. 前記走査ストラテジを更新するために前記位置合わせステップの成功が追跡される、請求項１～請求項５のいずれか一項に記載の方法。
7. 追跡システムに基づいて前記走査ストラテジの向きをリアルタイムで更新するステップをさらに含み、前記追跡システムは、前記口腔内カメラからの情報、患者の動きを追跡する情報、および／または臨床医の動きを追跡する情報を含む、請求項１～請求項６のいずれか一項に記載の方法。
8. 前記標的部位は、実際の歯、または拡張可視化のための前記表示装置のユーザの視野内の部位からなる群から選択された部位である、請求項１～請求項７のいずれか一項に記載の方法。
9. 拡張可視化を利用して顎の走査を誘導するコンピュータシステムであって、
   拡張可視化のための表示装置と、
   請求項１～請求項８のいずれか一項に記載の方法を実行するように構成された少なくとも１つのプロセッサと
   を備えるコンピュータシステム。
10. 請求項９に記載のコンピュータシステムによって実行されると、前記コンピュータシステムに、請求項１～請求項８のいずれか一項に記載の方法を実行させるプログラムを記憶する、非一時的なコンピュータ可読記憶媒体。

Images