JP6789310B2 - 移動追尾及びシミュレーション用の装置並びに方法 - Google Patents

Description

本発明は，移動するハンドピースの位置及び方位を追尾し，追尾したハンドピース位置に基づいてディスプレイにイメージを出力する技術に関する。より具体的に，本発明は，歯科シミュレーション環境におけるハンドピースの移動を追尾して，歯科用ツールの使用をシミュレートする技術に関する。

訓練目的のために歯科技術をシミュレートする装置は，本出願人の製造に係るSimodont（商標）型シミュレータを含めて既知である。これらのシミュレータは，バーチャルリアリティ技術により，研修医に各種の歯科的処置を練習可能とするものである。シミュレータは，一般的には，３Ｄグラスを装着した使用者が視認するための３Ｄイメージを表示するディスプレイスクリーンを備える。ディスプレイスクリーンの下方には少なくとも１つのハンドピースが配置され，このハンドピースは，１組のリンク部材と電動モータとを備える機構によってシミュレータに固定されている。これらは，（ユーザによって動かされる際の）ハンドピースの相対位置と，ユーザが歯，歯列または顎部の仮想的な３Ｄイメージ上で歯科的処置（例えば，歯内へのドリル操作）を行う際にユーザによって及ぼされる力を測定するものである。ハンドピースは，歯科医のドリル操作をシミュレートし，研修医が自らドリル操作を行う際，研修医に触覚的フィードバックを与える。

シミュレータ装置の目的は，歯科研修医が，仮想的ではなく，現実の患者に歯科的技術を適用する前に，歯科研修医に練習のためのシミュレーション環境を与えることである。それ故，シミュレーションプロセスがより現実的であるほど，研修医は訓練に一層集中し，研修医及び患者の両者にとって一層良好な結果を得ることができる。

歯科医院において使用される一般的なツールは，歯又は歯肉や，歯科医の視角からは明確に視認できないその他の口腔内領域を視認するために歯科医が使用するハンドル端部における小さなミラーである。Simodont（商標）型シミュレータにおいて，歯科医の口腔ミラーは，１組のリンクを介してシミュレータに連結されたハンドピース（これは，歯科医のドリルとは異なり，触覚的フィードバックを与えるものではない。）によってシミュレートされる。ミラーハンドピースを動かすと，各リンクの移動量および移動角度を測定し，ミラーハンドピースの相対位置が計算される。これに伴って，歯科医の口腔ミラーのイメージがディスプレイ上で移動する。しかしながら，研修医がハンドピースを動かす範囲内において，リンクは可動範囲を制限する。研修医に適切な可動範囲を与える（これにより研修医は自分が本物のミラーを実際に扱っている感覚を与える）ために必要とされるリンクの数は，位置精度を犠牲にするものである。これに加えて，リンクは，その重量がユーザに感じられ（これによりシミュレーションの「現実感」が損なわれ），また，使い過ぎや誤用によって損耗及び破損を被る。

本発明の課題は，上述した欠点の少なくとも幾つかを軽減することである。

本発明は，第１の態様において，請求項１に記載した歯科用シミュレーション装置を提供する。この装置は，歯科シミュレーション環境下において手持ち物体の動きを正確に追尾し，かつ，追尾した動きを歯科用ツールのアニメーションに正確に変換し得るものである。

本発明は，第２の態様において，請求項１５に記載したハンドピースを提供する。ハンドピースの動きは，ハンドピースの動きは，光源と，ハンドピースの方位を測定する手段とに基づき，医療用シミュレータ装置により追尾することができる。

本発明は，第３の態様において，請求項２５に記載したコンピュータで実行可能な方法を提供する。この方法は，物理的な物体の動きを，視認スクリーン上に表示される仮想的な物体の動きに複製可能とするものである。

本発明は，第４の態様において，請求項３０に記載したシステムを提供する。

本発明は，第５の態様において，請求項３４に記載したシステムを提供する。

本発明の好適な特徴は，添付した従属請求項に記載したとおりである。

歯科用シミュレータ装置の斜視図である。 歯科用シミュレータ装置の断面斜視図である。 本発明の一実施形態に係るミラー追尾装置の略線図である。 本発明の一実施形態に係る歯科用シミュレータ装置の要部を示す略線図である。 図４ａのシミュレータ装置の要部を示す投影図である。 本発明の一実施形態に係る追尾装置における主要なハードウェア部品を示す略線図である。

歯科用シミュレーション装置の全体を図１に示す。この装置100は，バーチャルリアルティ技術を使用して歯科技術を練習するために歯科研修医によって使用されるものである。研修医は，視認スクリーン101に対面する椅子（図示せず）に腰掛ける。ハンドレスト102は，概ね，研修医が歯科技術をシミュレートするエリアを画定する。電源ボタン105は装置のオンオフ切り替えを行い，高さ調整スイッチ106は，ユーザにより，ハンドレスト102及び視認スクリーン101を含む装置100の位置の高さを調整可能とするものである。視認スクリーン101は，仮想的な三次元の移動イメージを表示するものであり，その動きは，研修医によるハンドピースの動き（概ねハンドレスト102のエリア内に存在する）に対応する。研修医は，受動的な３Ｄグラスを装着して視認スクリーン上101のイメージを視認する。マウス104は，シミュレータのユーザにより，仮想的な三次元空間内で，視認スクリーン101上におけるイメージの相対位置及び方位を調整可能とするものである。フットペダル107は，シミュレートされたドリル（又はその他の歯科用動力ツール）の操作制御を容易とするものである。

シミュレータ装置100は，（タッチ感応スクリーンで構成することのできる）訓練スクリーン103も備える。訓練スクリーン103は，研修医が訓練に関連する情報，例えば訓練プログラム，個別的レッスン，得点及び採点データ，指導医のコメント等にアクセスし，かつ，過去の訓練教材を復習するために使用されるものである。シミュレーションプロセスの実行されている間，視認スクリーン101上に表示されるイメージは，訓練用スクリーン103にも出力され，研修医によるシミュレータ装置の使用を傍観者により確認可能とする。

図２は，歯科用シミュレータ装置における幾つかの内蔵部品を示し，図１におけると同等の部品は100を加算した参照数字で表されている。この装置200の主たる演算機能は，中央コンピュータ213により与えられる。プロジェクタ211及び光学的ボックス210は，出力３Ｄイメージをディスプレイスクリーン201に供給するための手段を構成する。図１のハンドレスト102は，図２にも示されている。ハンドピース208（「ハンドピース」との用語は，手で持つことのできる任意の装置又は機材一般を指すために使用される。）は，歯科医のドリル操作をシミュレートするために使用される。ハンドピース208は，概ね歯科医用ドリルにおけるハンドルと同様の外観及び感触を与えるハンドルを備える。しかしながら，ハンドピース208の遠位端（すなわち，バール部の位置する個所）は，１組のリンク部材を介して触覚ディスプレイ209に連結される。リンク部材及び触覚ディスプレイは共に電動モータ，力センサ，角度位置センサ，並びに慣性測定ユニット（ＩＭＵ）及びポテンショメータを備える。歯科医のドリル操作は，触覚制御ユニット212により制御される連続的フィードバック機構によってシミュレートされる。これにより，ユーザがハンドピース208に加える力と，その動きが触覚制御ユニット212に供給され，触覚制御ユニット212により触覚ディスプレイ209の適切な操作を指示することにより，（立体物体との相互作用をシミュレートするために）必要とされる反力，（動力歯科ツールの操作をシミュレートするための）振動，及びソフトウェア・ルーチンのセット（これは，例えば，特定の歯科操作を含む特定の訓練セッションに関連することができる。）に基づく，動きに対する制限を指示する。

以下，本発明の好適な実施形態につき，図３〜図５を参照して記載する。図３〜図５は，歯科医の口腔ミラーの使用をシミュレートするために単独で，又はハンドピース208と併せて使用されるミラーハンドピース320を示す。

ミラーハンドピース320はハウジング321を備え，その寸法は，標準的な歯科医用口腔ミラーにおけるハンドルの寸法に概ね適合するように選択される。従って，ハウジング321は，直径が好適には１２ｍｍ未満，長さが好適には１００ｍｍ以下である。ハウジング321の構成材料は，光源又は発光器322から発せられる光（ここに「光」とは，任意の電磁放射線を指す。）の外的検出が可能となるように選択される。好適には，発光器322は赤外線発光ダイオード（ＬＥＤ）である。発光器322は，後述するように，能動的な赤外線マーカとして作用する。ハウジング321は，金属等の任意の適宜材料で構成し得るものであるが，好適には，人間工学的にも適当な粗面化プラスチックで構成する。ミラーハンドピース320の重量は３０グラム未満であり，チャネル325において使用者の親指と人差し指により把持することが想定される。

ミラーハンドピース320の近位端323は，ケーブル（図３には図示せず）を介してカメラＰＣＢに接続されている。他の実施形態において，ハンドピース320は，バッテリー及びトランスミッタを備え，カメラＰＣＢ435と無線通信を行う。ハウジング321の遠位端322は，赤外線ＬＥＤを収容する。ＬＥＤの位置は，（後述する態様で）光学的に追尾され，シミュレーション訓練の間に視認スクリーン101上に表示される歯科医用の口腔ミラーにおけるミラー部分の仮想的イメージにマップされる。

ミラーハンドピース320のハウジング321は，慣性測定ユニット（ＩＭＵ）324を含む小型ＰＣＢを更に備える。ＩＭＵは，（ゲーム用コンソールや，携帯電話を含む）各種装置に広く使用されており，三次元方向における位置及び方位を測定するためのジャイロスコープ及び加速度計を備えている。標準的なＩＭＵは，各並進自由度につき，加速度データを積分して位置値を決定する。また，各回転自由度につき，角速度データを積分して角度位置データを提供する。ＩＭＵは，地磁界に対する方位データを提供するための磁力計を含むことができる。磁力計による方位データは，ジャイロスコープにより取得される角度位置データを再補正して，小さな積分誤差から生じる不正確性を補償するように使用される。ＩＭＵの作動原理に関する詳細は，当業者がアクセスできる情報である。

ミラーハンドピース320の動きを追尾する一般的なスペースは，図４ａ及び図４ｂにエリア430として示すものである。エリア430は，ハンドレスト435の上方に位置しており，研修医が１つ又は複数のミラーハンドピース320及び／又はハンドピース208を操作するためのエリアを画定する。

光学的ボックス210には，２つの上側カメラ413, 432が固定されている。上側カメラの視野は，エリア430の中心に向けて下向きとされている。図４ｂに示すように，２つの下側カメラ433, 434がハンドレスト435の下方に配置されている。下側カメラは，ハンドレスト435が配置される装置100のメインハウジングから側方に延在する構造に固定されている。他の実施形態では，全てのカメラをハンドレスト435に対して取付け可能な構造に固定して，当該構造を歯科用シミュレータ装置100に対して着脱可能とする。下側カメラ433, 434は，追尾エリア430の中心436に向けて上向きとされている。追尾エリア430は，約２５０ｍｍ×２００ｍｍ×１５２ｍｍであり，概ねカメラ431, 432, 433及び434の合成視野により画定される。光学的追尾によれば，触覚ディスプレイにおける電動モータの作動との干渉が回避される。他の実施形態では，ＬＥＤをハンドレスト435に組み込むことにより，ユーザが視認スクリーン201を見ることにより，ハンドレスト435に対するミラーハンドピース324の位置を視認可能とする。

カメラ431, 432, 433及び434は，ＬＥＤ322から発せられる赤外線を検出し，毎秒２５フレームでイメージの撮影を行う赤外線カメラである。作動中に各カメラで撮影された１組のイメージを含むイメージフィードは，カメラＰＣＢ437上のプロセッサに伝送される。各イメージにつき，ＰＣＢ437上のプロセッサは撮影されたイメージにおける各ピクセル線のライン走査を行い，グレースケール輝度／強度値が所定の閾値を超えるピクセルを特定する。所定の閾値は，関連する情報を含むものとみなされる強度値範囲（閾値の最小強度値と不特定の最高値との間の範囲）を画定するものである。強度値が閾値に満たないピクセルに関するピクセルデータは，無視する。

各イメージにつき，強度値が閾値を超えるピクセルに関するピクセルデータをＰＣＢ437のプロセッサにより分析して，ピクセルのクラスタを特定する。ピクセルの最大クラスタを特定する。最大クラスタの中心で特定されるのが，イメージ内におけるＬＥＤ322の位置である。ＰＣＢ437のプロセッサが「ブロッブ追尾」技術を適用しており，輝度値が閾値に満たないと判断した後にピクセルの更なる分析を行うものではないため，全体イメージの一部のみが更に処理される。従って，ＬＥＤの二次元的な特定のために必要とされるプロセッサ資源は，イメージにおける全てのピクセルが分析を要する場合よりも僅かである。

ＰＣＢ437のプロセッサは，各カメラからの各イメージにつき，ピクセルにおける最大クラスタの中心のｘ及びｙ座標を決定し，これに伴って，各カメラフィードについての１組の二次元位置座標をリアルタイムで生成する。４系統の二次元座標がメインコンピュータ213に伝送される。

メインハードウェア部品を図５に示す。各カメラからのイメージ受信に加えて，カメラＰＣＢ４３７は，ミラーハンドピース３２０内のＩＭＵ324からのデータをシリアルプロトコルに基づいて受信する。各カメラフィードについてのｘ，ｙ座標の組と共に，カメラＰＣＢは，ＩＭＵ324からの位置及び方位データを装置100のメインコンピュータ213に送信する。

メインコンピュータ213は，カメラＰＣＢ437から受信したデータを，ダイナミックローディング機構を使用して処理する。その作動原理は，当業者がアクセスできる情報である。４つのｘ，ｙ座標対セット（各対は，それぞれのカメラからのＬＥＤ座標に対応する。）を使用して，コンピュータ213は，リアルタイムで，そしてダイナミックローディングライブラリ内において，三角測量を行って，エリア430内におけるＬＥＤ322の位置を特定するｘ，ｙ，ｚ座標を生成する。ｘ，ｙ，ｚ座標の生成速度は，カメラのフレームレートと同じである。カメラの台数を増やせば，ｘ，ｙ，ｚデータの精度が改善され，三角測量を行うためのプロセッサ資源が拡張される。三角測量を行って三次元位置データを生成するに十分なデータを提供するためには，最低でも２台のカメラが必要とされることは言うまでもない。

ＩＭＵ234は位置及び方位データを毎秒１００回の速度で生成し，従ってメインコンピュータ213は毎秒１００回の速度にて位置及び方位データを更新する。歯科医の口腔ミラーの仮想的イメージを視認スクリーン201上に動画化するための位置データの主たる起源は，（カメラＰＣＢよりも高い頻度で位置データを提供する）ＩＭＵからの位置データである。しかしながら，ＩＭＵ324により加速度を積分して位置データを提供する際に生じる僅かな誤差のため，メインコンピュータ213が受信するＩＭＵ位置データは不正確であり得る。この問題に対処するため，カメラデータからのｘ，ｙ，ｚ座標を使用するｘ，ｙ，ｚ位置データに基づいてＩＭＵ位置データを修正し，再補正を行う。

ミラーハンドピース320の方位及び回転に関するデータもＩＭＵにより提供され，ＩＭＵ位置データと共にメインコンピュータ213により受信される。ＩＭＵ位置データ（これは，定期的に修正されたＩＭＵ位置データを含む。）と共に，方位及び回転データは，ハンドピース320の三次元方向での動きのリアルタイムでの完全な記述を提供する。ミラーハンドピース320の位置データの絶対位置精度は２ｍｍ以下，ミラーハンドピース320の方位データの絶対方位精度は１度以下である。また，相対位置解像度は０．１５ｍｍ未満，相対方位解像度は０．１度未満である。そして，システム全体のレイテンシは３０ｍｓ未満である。

メインコンピュータ２１３は追尾されたミラーハンドピースの位置及び方位データに基づいてインストラクションを生成し，判断されたミラーハンドピースの位置及び方位データに応じてシミュレーションプログラムに指示を与えることにより，視認スクリーン201上における口腔ミラーの仮想的イメージの相対位置及び方位を調整する。ユーザがミラーハンドピース320をエリア430内において動かすと，これに応じて歯科医の口腔ミラーの加想定イメージは三次元で動画化され，研修医はミラーを使用して１本又は複数本の歯の異なる方向からの仮想的な三次元イメージを視認することができる。ミラーの反射を適切にシミュレートするため，仮想的ミラーのミラー面に表示されるイメージは，（標準的なステレオ視のための）２回ではなく，４回与えられる必要がある。

以上，歯科医用ミラーをシミュレートするための追尾装置を参照して本発明を記載したが，前述したプロセスが力フィードバックを必要としない任意の自由移動型手持ち器具もシミュレート可能であることは言うまでもない。

Claims (17)

1. ディスプレイと；
   １つ又は複数のプロセッサと；
   発光器及び慣性測定ユニット（ＩＭＵ）を備えるハンドピースであって，前記ＩＭＵが，前記１つ又は複数のプロセッサのうちの少なくとも１つに接続されており，前記ＩＭＵが，ＩＭＵ位置及び方位データを生成するように構成され，前記ＩＭＵ位置及び方位データが，前記ハンドピースの位置及び方位を記述する，ハンドピースと；
   前記１つ又は複数のプロセッサのうちの少なくとも１つに接続された少なくとも２台のカメラであって，前記少なくとも２台のカメラの各々が，前記発光器の１組のイメージを生成する，カメラと；
   を備え，
   前記１つ又は複数のプロセッサが：
   ・前記少なくとも２台のカメラの各々から前記１組のイメージを受信し，
   ・各イメージにつき、強度値が所定の閾値を超えるピクセルのクラスタを特定し、
   ・各イメージにつき，特定された前記ピクセルのクラスタの位置に基づいて、該イメージ内における前記発光器の位置を特定する二次元座標データを生成し、
   ・前記二次元座標データに基づいて，三角測量を行って、前記発光器の位置を特定する三次元座標データを生成し，
   ・前記ＩＭＵ位置及び方位データを受信し、
   ・前記ＩＭＵ位置及び方位データに基づいて、シミュレーションインストラクションを生成し，かつ，前記シミュレーションインストラクションに基づいて，前記ディスプレイ上に物体の三次元的な仮想イメージを表示すると共に前記物体の動きを動画化するように構成され；
   前記１つ又は複数のプロセッサは，前記三次元座標データを使用して前記ＩＭＵ位置及び方位データにおける位置データの誤差を補正する装置。
2. 請求項１に記載の装置であって，シミュレートされるイメージが歯科用口腔ミラーである，装置。
3. 請求項１又は２に記載の装置であって，前記カメラが赤外線カメラであり，前記発光器が赤外線ＬＥＤである，装置。
4. 請求項１〜３の何れか一項に記載の装置であって，前記カメラが４台のカメラを備える，装置。
5. 請求項１〜４の何れか一項に記載の装置であって，前記ハンドピースが追尾スペース内で可動であり，前記装置が，前記追尾スペース内で可動である第２のハンドピースを更に備える，装置。
6. 請求項１〜５の何れか一項に記載の装置であって，前記１つ又は複数のプロセッサは，更に，前記ディスプレイ上に，前記第２のハンドピースに対応する，三次元的にシミュレートされた第２の物体を表示すると共に，前記第２のハンドピースの動きに基づいて前記第２の物体の動きを動画化するように構成されている，装置。
7. 請求項１〜６の何れか一項に記載の装置であって，前記ハンドピースは，ケーブルによって前記装置に接続されるも，それ以外の点では自由に動くことができる，装置。
8. 請求項１〜７の何れか一項に記載の装置であって，前記１つ又は複数のプロセッサのうちの少なくとも１つは，各カメラからの１組のイメージの各々の各ピクセル線をスキャンすることにより，どのピクセルが所定の閾値を超える強度値を有するかを判断するように構成される，装置。
9. 請求項８に記載の装置であって，前記１つ又は複数のプロセッサのうちの少なくとも１つは，前記所定の閾値を超える強度値を有するピクセルを特定するデータを生成する，装置。
10. 請求項９に記載の装置であって，前記所定の閾値を超える強度値を有するピクセルを特定するデータは，強度値が前記所定の閾値を超えるピクセルのクラスタを特定するように分析される，装置。
11. 請求項１０に記載の装置であって，前記所定の閾値を超える強度値を有するピクセルのクラスタは，その中心が前記イメージ中における前記ＬＥＤの位置を規定する最大クラスタを特定するように分析される，装置。
12. 請求項１〜１１の何れか一項に記載の装置であって，前記三次元座標データと，前記ＩＭＵ位置及び方位データは，動的ローディングライブラリにおいて組み合わされる，装置。
13. 歯科シミュレーション環境下において，発光器及び慣性測定ユニット（ＩＭＵ）を有する物体の動きをシミュレートするためにコンピュータで実行される方法であって：
    前記発光器から発せられた光を使用して各々が撮像された１組のイメージを受信するステップと；
    各イメージにつき、強度値が所定の閾値を超えるピクセルのクラスタを特定するステップと；
    各イメージにつき，特定された前記ピクセルのクラスタの位置に基づいて、該イメージ内における前記発光器の位置を特定する二次元座標データを生成するステップと；
    前記二次元座標データに基づいて，三角測量を行って、前記発光器の位置を特定する三次元座標データを生成するステップと；
    前記ＩＭＵからＩＭＵデータを受信するステップと；
    前記ＩＭＵデータに基づいてシミュレーションインストラクションを生成するステップと；
    前記シミュレーションインストラクションに基づいて，ディスプレイ上で物体のイメージを動画化するステップと；
    を備え、
    前記方法は、更に前記三次元座標データに基づいて、ＩＭＵ位置データにおける誤差を補正するステップを含む方法。
14. 請求項１３に記載のコンピュータで実行される方法であって，前記分析ステップは，各イメージにおける各ピクセル線をスキャンすることにより，所定の閾値を超える輝度値を有するピクセルを特定することを備える，方法。
15. 請求項１４に記載のコンピュータで実行される方法であって，二次元座標データを特定する前記ステップは，所定の閾値を超える輝度値を有するピクセルのクラスタを特定し，該クラスタの中心の座標を特定することを備える，方法。
16. 請求項１３〜１５の何れか一項に記載のコンピュータで実行される方法であって，前記ＩＭＵにより提供される位置データを前記三次元座標データと比較し，該三次元座標データにより前記ＩＭＵからの位置データを定期的に補正する，方法。
17. プロセッサで実行したときに請求項１３〜１６の何れか一項に記載の方法を実行するインストラクションを備える，機械可読型の保存媒体。
    

Images